Hadoop，Spark，Tez的区别与联系
本文主要介绍，三种计算引擎的的各自优势，与区别，可以帮助你在学习过程中解决学习中的疑惑！
伪分布式集群搭建（hadoop）
hadoop伪分布式搭建
大数据平台下的数据治理
数据治理是指从使用零散数据变为使用统一主数据、从具有很少或没有组织和流程治理到企业范围内的综合数据治理、从尝试处理主数据混乱状况到主数据井井有条的一个过程。
通过WordCount案例深入理解MapReduce的实现过程
- MrAppMaster：负责整个程序的过程调度和状态协调- MapTask：负责Map阶段的整个数据处理流程- ReduceTask：负责Reduce阶段的整个数据处理过程
大数据的薪资怎么样？想学大数据了？
猎聘大数据研究院发布了《2022未来人才就业趋势报告》从排名来看，2022年1-4月各行业中高端人才平均年薪来看，人工智能行业中高端人才平均年薪最高，为31.04万元；金融行业中高端人才以27.69万元的平均年薪位居第二；通信、大数据行业中高端人才平均年薪分别为27.51万元、25.23万元，位列第
Dataset 的基础知识和RDD转换为DataFrame
Dataset是从Spark1.6 Alpha版本中引入的一个新的数据抽线结构，最懂在Spark2.0版本被定义成Spark新特性。RDD， DataFrame，Dataset数据对比1 RDD数据没有数据类型和元数据信息2 DataFrame添加了Schema信息，每一行的类型固定为Row，每一列
HiveSQL优化技巧总结
基于Hive的开发过程中主要涉及到的可能是SQL优化这块。减少数据量（例如分区、列剪裁）避免数据倾斜（例如加参数、Key打散）避免全表扫描（例如on添加加上分区等）减少job数（例如相同的on条件的join放在一起作为一个任务）
Elasticsearch：使用向量搜索来搜索图片及文字
在 eCommerce 里的应用中，我们可以对图像来进行搜索从而达到更好的应用体验。如果你之前阅读过我的文章 “”，可能对这个并不陌生。我们可以通过对图片的处理，把它变成向量，然后我们再进行向量搜索，从而达到搜索的目的。在今天的 demo 中，我们来展示如何使用 Elasticsearch 来搜素图
大数据批量处理神器 - 自定义周期批量消费队列的实现
大数据批量处理神奇-自定义周期批量消费队列的实现周期批量消费队列(BlockingQueue)的实现LinkedBlockingQueue与ArrayBlockingQueue的比较
吐血整理的大数据学习资源大全
一、网站网易公开课 https://open.163.com/腾讯课堂 https://ke.qq.com/中国大学慕课 https://www.icourse163.org/B站 https://www.bilibili.com/学习资源非常多，内容系统且全面，重点关注一些专业培训机构上传的学习视
实景三维建设背景下，三维GIS面临哪些挑战?
是一个对多遥感器的图像数据和其他信息的处理过程，它着重于把那些在空间或时间上冗余或互补的多源数据，按一定的规则（或算法）进行运算处理，获得比任何单一数据更精确、更丰富的信息，生成一幅具有新的空间、波谱、时间特征的合成图像。通常情况是指将空间分辨率更高的全色波段影像与空间分辨率较低的多光谱影像想融合，
大数据ClickHouse（二十）：ClickHouse 可视化工具操作
tabix支持通过浏览器直接连接 ClickHouse，不需要安装其他软件，就可以访问ClickHouse。有两种使用方式，一种是直接浏览器访问配置。另一种是使用ClickHouse内嵌方式。
人家不卡学历，是自己真的没能力
CSDN 的小伙伴们，大家好，我是二哥呀。除了这个问题，这位球友还私信咨询了二哥其他几个问题，我觉得都挺具有代表性意义的，这里就统一回复下，希望也能给CSDN的读者朋友们一点帮助和启发。
回归分析预测世界大学综合得分
大学排名是一个非常重要同时也极富挑战性与争议性的问题，一所大学的综合实力涉及科研、师资、学生等方方面面。
数据采集集成-网络数据采集（一）
本文给大家介绍一下，学到的数据采集集成方面的基础知识。
DataFrame基础知识
DataFrame：可以看出分布式Row对象的集合，在二维表数据集的每一列都带有名称和类型，这些就是schema（元数据）Select：col：某一列，as：重命名 filter：过滤groupBy() ，对记录进行分组sort排序。，并且可以从很多数据源中创建，如结构化文件、外部数据库、Hive
劝大家别去国企制造业干IT，软件多数据乱，报表开发完全没法做
不用再像以前一样要先从各个系统下载数据，然后再整合到excel做报表。其次就是对于一些流水线日、周报的制作，以往要花很多文员的人力去定期捞数据、弄表格，过程繁琐不说还费时费力，现在我们IT部门设置好报表模板后，只要定期更新数据就行。以前需要一周才能整合一个月的生产数据，现在半天就能搞定。还有一点比较
大数据ClickHouse（十八）：Spark 写入 ClickHouse API
SparkCore写入ClickHouse，可以直接采用写入方式。下面案例是使用SparkSQL将结果存入ClickHouse对应的表中。
大数据ClickHouse（十九）：Flink 写入 ClickHouse API
【代码】大数据ClickHouse（十九）：Flink 写入 ClickHouse API。
大数据集群环境配置从Hadoop—＞ ...........—＞Hbase
包含hadoop，flume，kafka，hbase，zookeeper，mysql，tomcat，redis的部署流程，适用于单个环境的安装和项目集群环境的安装。
