大数据数据中台之数据采集

文章目录

前言

需要支持三十几种异构数据源之间的数据同步，能够零开发实现任意数据源、任意条件、任何复杂网络环境下的高效数据互联互通。支持高并发下的处理数据采集，支持数据的批量、全量、增量同步。

一、数据采集是什么？

数据仓库的重要数据来源就是业务数据，业务数据有结构化的例如：商品，厂家，交易订单等等，还有非结构化的访问日志等，我们需要每日定时从业务数据中抽取数据，传输到数据仓库中，之后再对数据进行分析统计。
为保证统计结果的正确性，需要保证数据仓库中的数据与业务数据是同步的，离线数仓的计算周期通常为天，周，月，一次性，特殊情况下还有分钟，小时等。
数据采集的功能就是，可以任意指定数据来源，数据结构，支持各种计算周期，实现数据入仓。

二、使用步骤

1.创建任务

配置任务输入和输出

2.发布规则配置

3.任务安全机制

设定任务的优先级和任务失败重试次数，如果发生异常，可通过邮件方式提醒项目负责人。

总结

以上内容是数据中台开篇，数据采集，将各种数据格式数据，周期性写入数据仓库，本文展示的功能界面，方便数仓实施人员收集数据，快速便捷地处理数据，使其专注在业务数据梳理而不是如何开发采集的问题。
大数据中台包括：离线数仓，实时数仓，质量监控，数据服务，数据安全，数据资产，数据大屏。
欢迎技术交流:qq 493467006，非诚勿扰。