NaN数据的处理
平均值替换
一组数据存在放m*n的array或mat中,其中m表示数据的个数,n表示数据的属性维度。数据中会有NaN类型的数据,可以使用平均值的方式替换。
替换方法:
分别计算每一维度(每一列)上非NaN数据的平均值,然后替换每一维度(每一列)的NaN数据。
# dataMat为np.mat类型
def replaceNanWithMean(dataMat):
# 获取属性的维度
num_feat = np.shape(dataMat)[1]
for i in range(num_feat):
# 计算每一维度上的平均值, .A的意思是将mat -> array类型
meanVal = np.mean(dataMat[np.nonzero(~np.isnan(dataMat[:, i].A))[0], i])
dataMat[np.nonzero(np.isnan(dataMat[:, i].A))[0], i] = meanVal
return dataMat