NaN数据的处理

平均值替换

一组数据存在放m*n的array或mat中,其中m表示数据的个数,n表示数据的属性维度。数据中会有NaN类型的数据,可以使用平均值的方式替换。

替换方法:

分别计算每一维度(每一列)上非NaN数据的平均值,然后替换每一维度(每一列)的NaN数据。

# dataMat为np.mat类型
def replaceNanWithMean(dataMat):
    # 获取属性的维度
    num_feat = np.shape(dataMat)[1]
    for i in range(num_feat):
        # 计算每一维度上的平均值, .A的意思是将mat -> array类型
        meanVal = np.mean(dataMat[np.nonzero(~np.isnan(dataMat[:, i].A))[0], i])
        dataMat[np.nonzero(np.isnan(dataMat[:, i].A))[0], i] = meanVal
    return dataMat