数据预处理之重复值

目录

0、前言

1、重复值的识别

1.1 DataFrame识别重复值-duplicated()

1.2 Serier识别重复值-is_unique

 2、统计重复行的数量-duplicated().sum()

 3、重复值的处理

0、前言

在实际数据采集、数据处理和数据分析中，经常会遇到的一个问题就是：重复数据。重复数据在进行数据分析或数据挖掘的过程中，对其输出结果有重要的影响。比如，在逻辑回归分析中，重复数据会影响模型的拟合优度；数据分析中，重复数据会影响预测内容准确性。所以，处理重复值数据有着重要的意义和作用。

1、重复值的识别

1.1 DataFrame识别重复值-duplicated()

data.duplicated()
data.duplicated("sex")

1.2 Serier识别重复值-is_unique

import pandas as pd
s = pd.Series(range(5),index=['a','a','b','b','c'])
s.index.is_unique

 2、统计重复行的数量-duplicated().sum()

data.duplicated().sum()

 3、重复值的处理

数据去重是处理重复值的主要方法，但如下几种情况慎重去重：

（1）样本不均衡时，故意重复采样的数据；

（2）分类模型，某个分类训练数据过少，可以采取简单复制样本的方法来增加样本数量

重复记录用户检测业务规则问题

（3）事务型数据，尤其与钱相关的业务场景下出现重复数据时，如重复订单，重复出库申请

data.drop_duplicates()
data.drop_duplicates(["age"]) #删除数据中指定列值相同的记录