缺失值处理

概念

数据缺失主要包括记录缺失和字段信息缺失等情况，其对数据分析会有较大影响，导致结果不确定性更加显著

判断是否有缺失值数据

isnull：缺失值为True，非缺失值为False
        notnull：缺失值为False，非缺失值为True

删除缺失值 - dropna

填充/替换缺失数据

fillna
        replace
        缺失值插补方法
            （1）均值/中位数/众数插补
            （2）临近值插补
            （3）插值法 —— 拉格朗日插值法
                拉格朗日插值法

                    scipy.interpolate import lagrange
            （3）插值法 —— 拉格朗日插值法，实际运用

不处理

异常值处理

概念

异常值是指样本中的个别值，其数值明显偏离其余的观测值。
        异常值也称离群点，异常值的分析也称为离群点的分析
        异常值分析 → 3σ原则 / 箱型图分析
        异常值处理方法 → 删除 / 修正填补

处理方法

删除
        修正填补

异常值分析

1）3σ原则：如果数据服从正态分布，异常值被定义为一组测定值中与平均值的偏差超过3倍的值 → p(|x - μ| > 3σ) ≤ 0.003
        2）箱型图分析
            q1 = s['25%']
            q3 = s['75%']
            iqr = q3 - q1
            mi = q1 - 1.5*iqr
            ma = q3 + 1.5*iqr

数据归一化、标准化

概念

数据的标准化（normalization）是将数据按比例缩放，使之落入一个小的特定区间。
         在某些比较和评价的指标处理中经常会用到，去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权
        最典型的就是数据的归一化处理，即将数据统一映射到[0,1]区间上

（1）0-1标准化

将数据的最大最小值记录下来，并通过Max-Min作为基数（即Min=0，Max=1）进行数据的归一化处理
        x = (x - Min) / (Max - Min)

（2）Z-score标准化

# Z分数（z-score）,是一个分数与平均数的差再除以标准差的过程 → z=(x-μ)/σ，其中x为某一具体分数，μ为平均数，σ为标准差
        # Z值的量代表着原始分数和母体平均值之间的距离，是以标准差为单位计算。在原始分数低于平均值时Z则为负数，反之则为正数
        # 数学意义：一个给定分数距离平均数多少个标准差?

连续数据离散化

概念

连续属性变换成分类属性，即连续属性离散化
        在数值的取值范围内设定若干个离散划分点，将取值范围划分为一些离散化的区间，最后用不同的符号或整数值代表每个子区间中的数据值

等宽法 → 将数据均匀划分成n等份，每份的间距相等

cut方法

等频法 → 以相同数量的记录放进每个区间

qcut方法