'''
数据探索：
1 数据质量分析
缺失值
异常值
不一致的值
重复数据及含有特殊符号(如 # 、￥、*)的数据
2 数据特征分析
分布分析
对比分析
统计量分析
周期性分析
贡献度分析
相关性分析



数据预处理：
1 数据清洗
缺失值处理： 均值/中位数/众数插补  使用固定值  最近临插补  回归方法  插值法(拉格朗日插值法)
异常值处理
2 数据集成
实体识别：  同名异义  异名同义  单位不统一
冗余属性识别:  同一属性多次出现  同一属性命名不一致导致重复
3 数据变换
简单函数变换
规范化：  最小-最大规范化  零-均值规范化  小数定标规范化
连续属性离散化：  等宽法  等频法  基于聚类分析的方法
属性构造
小波变化
4 数据规约
属性规约：  合并属性  逐步向前选择  逐步向后删除  决策树归纳  主成分分析
数值规约：  直方图  聚类  抽样  参数回归





'''


'''
data.corr()
data.corr()[u'百合酱蒸凤爪']
data[u'百合酱蒸凤爪'].corr(data[u'翡翠蒸香茜饺'])

(data - data.min())/(data.max() - data.min()) #最小-最大规范化
(data - data.mean())/data.std() #零-均值规范化
data/10**np.ceil(np.log10(data.abs().max())) #小数定标规范化




'''
