数据缺失、混乱、重复怎么办？最全数据清洗指南让你所向披靡

https://imagepphcloud.thepaper.cn/pph/image/63/225/204.jpg{}机器之心
选自TowardsDataScience
作者：Lianne & Justin
机器之心编译
参与：魔王、杜伟
要获得优秀的模型，首先需要清洗数据。这是一篇如何在 Python 中执行数据清洗的分步指南。

在拟合机器学习或统计模型之前，我们通常需要清洗数据。用杂乱数据训练出的模型无法输出有意义的结果。数据清洗：从记录集、表或数据库中检测和修正（或删除）受损或不准确记录的过程。它识别出数据中不完善、不准确或不相关的部分，并替换、修改或删除这些脏乱的数据。
「数据清洗」光定义就这么长，执行过程肯定既枯燥又耗时。

图源：https://www.kdnuggets.com/2017/09/cartoon-machine-learning-class.html为了将数据清洗简单化，本文介绍了一种新型完备分步指南，支持在 Python 中执行数据清洗流程。读者可以学习找出并清洗以下数据的方法：
缺失数据；
不规则数据（异常值）；
不必要数据：重复数据（repetitive data）、复制数据（duplicate data）等；
不一致数据：大写、地址等；
该指南使用的数据集是 Kaggle 竞赛 Sberbank 俄罗斯房地产价值预测竞赛数据（该项目的目标是预测俄罗斯的房价波动）。本文并未使用全部数据，仅选取了其中的一部分样本。