七、数据清洗技术
（1）*数据仓库中的数据是面向某一主题的数据的集合，这些数据从多个业务系统中抽取而来且包含历史数据，这样就避免不了有的数据是错误数据、有的数据相互之间有冲突，这些错误的或有冲突的数据显*然是我们不想要的，称为“脏数据”。 **
（2）我们要按照一定的规则把“脏数据”“洗掉”，这就是数据清洗。
（****3）需要清洗数据的主要类型:残缺数据、错误数据、重复数据。
*（4）数据清洗的内容：一致性检查、无效值和缺失值的处理***。 **
（5）**常用工具 **
**①、DataWrangler **
**②、Google Refine **
八、网络爬虫技术——数据采集、处理和存储
**网络爬虫是一种按照一定的规则、自动的抓取万维网信息的脚本或者程序，简单点就是爬虫是用事先写好的程序去抓取网络上的数据，这样的程序叫爬虫。是数据采集的一种手段。 **
（一）通用爬虫
（二）聚焦网络爬虫
**爬虫软件可以分为两类： **
- **云爬虫（不需要安装软件） **
- **采集器（下载安装） **
常用工具：
**①、神箭手云爬虫 **
**②、八爪鱼 **
**③、集搜客 GooSeeker **
**④、WebMagic **
**⑤、DenseSpider **
本文转载自: https://blog.csdn.net/xiaofengdada/article/details/123354815
版权归原作者 xiaochuhe. 所有， 如有侵权，请联系我们删除。
版权归原作者 xiaochuhe. 所有， 如有侵权，请联系我们删除。