pandas去重需指定subset业务主键，keep参数控制保留策略，NaN需谨慎处理；空值应按成因选择填充或删除；类型转换前须用coerce验证；清洗步骤应函数化、可复现、可版本控制。

用 pandas.DataFrame.drop_duplicates() 去重前必须明确「去重依据」

重复行不等于“完全相同”，业务上常需按关键字段判断是否冗余。比如用户表中 id 不同但 phone 和 email 都一致，应视为同一人重复录入。

• 直接调用 df.drop_duplicates() 默认检查所有列，容易漏掉逻辑重复
• 务必用 subset 参数指定业务主键，例如 df.drop_duplicates(subset=['phone', 'email'])
• 注意 keep 参数：设为 'first'（默认）保留首次出现；设为 'last' 保留最新记录；设为 False 则全部删除——后者适合清理测试数据或临时脏数据
• 若字段含 NaN，pandas 默认把它们视为相等，可能误删。可先用 fillna() 统一处理，或改用 df[~df.duplicated(subset=..., keep='first')] 避免隐式 NaN 比较

空值处理不能只靠 fillna() 或 dropna()

填均值、删整行看似简单，但会扭曲分布或丢失关键样本。真实清洗中要区分空值成因：是采集失败？字段不适用？还是用户主动留空？

• df.isna().sum() 先看各列缺失比例；超过 70% 缺失且无业务补全路径的列，建议直接 df.drop(columns=['col_name'])
• 对数值型字段，避免无差别用 df['col'].fillna(df['col'].mean()) —— 若存在长尾分布（如订单金额），中位数更稳健：df['amount'].fillna(df['amount'].median())
• 分类字段优先用众数填充：df['status'].fillna(df['status'].mode()[0] if not df['status'].mode().empty else 'unknown')
• 时间字段缺失时，慎用当前时间填充。更合理的是标记为 pd.NaT 并单独建列 is_time_missing 供后续建模使用

用 astype() 转类型前先验证数据合法性

直接 df['age'].astype('int') 遇到 'N/A' 或浮点字符串会报 ValueError: invalid literal for int()，但错误信息不指明哪一行出问题。

• 先用 pd.to_numeric(df['age'], errors='coerce') 将非法值转为 NaN，再检查 df['age'].isna().sum() 确认异常量级
• 日期列别急着 pd.to_datetime()：含模糊格式（如 '2025-13-01' 或 'Q1 2025'）会导致整列变 NaT。加参数 errors='coerce' 并配合 df['date'].dt.year.isna() 定位问题行
• 字符串列转 category 类型前，先 df['city'].nunique() / len(df) 看基数率；若唯一值占比 > 0.5，转 category 反而增大内存

规则必须可复现：把清洗步骤封装成函数而非脚本片段

临时写一堆 df = df[...]; df['x'] = ... 很快变成“只有当时写的人能看懂”的黑盒。下次数据源字段微调或新增校验项，就得重翻日志逐行改。

• 每个清洗动作对应一个纯函数，输入 DataFrame，输出 DataFrame，不修改原对象。例如：

def clean_phone_column(df):
    df = df.copy()
    df['phone'] = df['phone'].str.replace(r'\D', '', regex=True)
    df = df[df['phone'].str.len() == 11]
    return df

• 用字典统一管理规则执行顺序：cleaning_pipeline = [('drop_dupes', drop_duplicates_by_key), ('clean_phone', clean_phone_column)]，再循环调用保持可插拔
• 关键校验点加断言：assert df['user_id'].is_unique, "user_id contains duplicates after dedup"，失败时立刻暴露问题而非静默带病运行

最易被忽略的是：清洗规则本身需要版本控制。哪怕只是加了一行 df['score'] = df['score'].clip(lower=0, upper=100)，也该和原始数据哈希值、执行时间一起记入元数据表——否则半年后发现模型效果下滑，根本没法回溯是哪次清洗引入了截断偏差。

# python  # go  # ai  # 数据清洗 

相关栏目： 【 网站优化151355 】 【 网络推广146373 】 【 网络技术251813 】 【 AI营销90571 】

相关推荐： html文件怎么打开证书错误_https协议的html打开提示不安全【指南】  logo在线制作免费网站在线制作好吗,DW网页制作时，如何在网页标题前加上logo？  Laravel如何发送邮件和通知_Laravel邮件与通知系统发送步骤  哪家制作企业网站好,开办像阿里巴巴那样的网络公司和网站要怎么做？  Laravel如何实现用户密码重置功能？（完整流程代码）  Laravel队列任务超时怎么办_Laravel Queue Timeout设置详解  如何在腾讯云服务器快速搭建个人网站？  高端建站如何打造兼具美学与转化的品牌官网？  JavaScript如何操作视频_媒体API怎么控制播放  佛山网站制作系统,佛山企业变更地址网上办理步骤？  高防服务器如何保障网站安全无虞？  使用C语言编写圣诞表白程序  python中快速进行多个字符替换的方法小结  如何在Windows服务器上快速搭建网站？  Python进程池调度策略_任务分发说明【指导】  公司门户网站制作公司有哪些,怎样使用wordpress制作一个企业网站？  php中::能调用final静态方法吗_final修饰静态方法调用规则【解答】  如何快速生成可下载的建站源码工具？  Laravel如何清理系统缓存命令_Laravel清除路由配置及视图缓存的方法【总结】  linux top下的 minerd 木马清除方法  Python数据仓库与ETL构建实战_Airflow调度流程详解  齐河建站公司：营销型网站建设与SEO优化双核驱动策略  网站图片在线制作软件,怎么在图片上做链接？  在线制作视频的网站有哪些,电脑如何制作视频短片？  中国移动官方网站首页入口 中国移动官网网页登录  javascript基本数据类型及类型检测常用方法小结  通义万相免费版怎么用_通义万相免费版使用方法详细指南【教程】  Laravel如何集成微信支付SDK_Laravel使用yansongda-pay实现扫码支付【实战】  如何快速搭建FTP站点实现文件共享？  矢量图网站制作软件,用千图网的一张矢量图做公司app首页，该网站并未说明版权等问题，这样做算不算侵权？应该如何解决？  如何正确下载安装西数主机建站助手？  C#如何调用原生C++ COM对象详解  如何快速搭建支持数据库操作的智能建站平台？  详解CentOS6.5 安装 MySQL5.1.71的方法  Laravel中的withCount方法怎么高效统计关联模型数量  黑客如何利用漏洞与弱口令入侵网站服务器？  深圳网站制作设计招聘,关于服装设计的流行趋势，哪里的资料比较全面？  如何自定义建站之星模板颜色并下载新样式？  Linux虚拟化技术教程_KVMQEMU虚拟机安装与调优  jQuery 常见小例汇总  Laravel如何记录自定义日志？（Log频道配置）  如何利用DOS批处理实现定时关机操作详解  如何获取免费开源的自助建站系统源码？  1688铺货到淘宝怎么操作 1688一键铺货到自己店铺详细步骤  Laravel如何连接多个数据库_Laravel多数据库连接配置与切换教程  微信小程序 wx.uploadFile无法上传解决办法  教你用AI将一段旋律扩展成一首完整的曲子  韩国网站服务器搭建指南：VPS选购、域名解析与DNS配置推荐  Laravel中间件起什么作用_Laravel Middleware请求生命周期与自定义详解  Laravel怎么做数据加密_Laravel内置Crypt门面的加密与解密功能