六十五、Spark-综合案例(搜狗搜索日志分析)
业务逻辑：针对SougoQ用户查询日志数据中不同字段，使用SparkContext读取日志数据，封装到RDD数据集中，调用Transformation函数和Action函数进行处理不同业务统计分析...
六十四、Spark-分别统计各个单词个数及特殊字符总个数
广播变量（Broadcast Variables）：广播变量用来把变量在所有节点的内存之间进行共享，在每个机器上缓存一个只读的变量，而不是为机器上的每个任务都生成一个副本，简单理解：减少内存，减小计算压力;
Mysql千万级别数据如何 做分页？
后端开发中为了防止⼀次性加载太多数据导致内存、磁盘IO都开销过⼤，经常需要分⻚展示，这个时候就需要⽤到MySQL的LIMIT关键字。但你以为LIMIT分⻚就万事大吉了么，LIMIT在数据量⼤的时候极可能造成深度分页问题。例如，上图，我们在查user表时，mysql会先根据条件去磁盘检索得到符合条件的
数分-理论-大数据7-Spark
数分-理论-大数据7-Spark（大数据框架）(数据分析系列)文章目录数分-理论-大数据7-Spark（大数据框架）1知识点2具体内容2.1概述2.1.1起源2.1.2诞生2.1.3Spark与Hadoop、MapReduce、HDFS的关系2.1.4生态体系2.2编程模型-核心2.2.1RDD概述
Hive hql 经典5道面试题
最近在深入了解Hive，尚硅谷的这5道题很经典，有引导意义，分步解题也很有用，故记录之，方便回看1.连续问题如下数据为蚂蚁森林中用户领取的减少碳排放量找出连续 3 天及以上减少碳排放量在 100 以上的用户id dt lowcarbon1001 2021-12-12 1231002 2021-12-
22届计算机考研复试技巧以及注意事项高频问答35问Python集锦【一定要记牢】
这几天22年考研初试成绩即将公布，我们的考生下一步即将面临的就是复试，我 们知道复试中面试一项是起着最最至关重要的作用。那么，在复试面试时大家应该注意哪些 事项呢？总结多年来学员的经验，提供以下高频出现的问题。
六十三、Spark-读取数据并写入数据库
需求说明：使用Spark流式计算 将数据写入MySQL，并读取数据库信息进行打印
北汇信息正式加入IAMTS联盟，助力智能网联汽车事业发展
2022年1月，北汇信息正式加入国际智能网联汽车合作联盟（IAMTS）。此前，北汇信息曾多次与IAMTS的负责人员沟通，阐述了北汇信息的企业理念，业务领域以及专业经验，最终获得联盟的认可，成功“入盟”。作为国内领先的测试方案服务商，北汇信息将为IAMTS贡献中国实践的解决方案，助力全球智能网联汽车的
SpringBoot整合RocketMQ，顺序消息
目录引言问题分析RocketMq顺序消息生产者消费者消费结果小结引言总有那么一种业务需求是要有先后顺序来执行问题分析例：在A系统下了一个订单，需要推到B系统去生成订单和发货单，并且是要先生成订单再生成发货单，如果按正常情况去先发造成订单的消息到MQ，再发生成发货单的消息到MQ会出现的几种问题；推送订
02环境搭建
02环境搭建
Zookeeper里Leader选举算法
Zookeeper里Leader选举算法
Matplotlib数据可视化从入门到进阶
在数据分析与机器学习中，我们经常要用到大量的可视化操作。一张制作精美的数据图片，可以展示大量的信息，一图顶千言。而在可视化中，Matplotlib算得上是最常用的工具。Matplotlib 是 python 最著名的绘图库，它提供了一整套 API，十分适合绘制图表，或修改图表的一些属性，如字体、标签
大数据分析那点事
写在前文，首先声明博主对数据分析领域也在不断学习当中，文章中难免可能会出现一些错误，欢迎大家及时指正，博主在此之前也曾对不同量级、不同领域的数据进行过分析，但是在过程中总是感觉有许多困惑，即自己也会问自己？自己分析的是否全面，是否有价值，从哪些方面出发？对于这些问题博主做了思考。归根到底还是在理论上
关于ElasticSearch的十道经典面试题
系统中的数据，随着业务的发展，时间的推移，将会非常多，而业务中往往采用模糊查询进行数据的搜索，而模糊查询会导致查询引擎放弃索引，导致系统查询数据时都是全表扫描，在百万级别的数据库中，查询效率是非常低下的，而我们使用 ES 做一个全文索引，将经常查询的系统功能的某些字段，比如说电商系统的**商品表中商
hive中多表full join主键重复问题
目录0. 其他1. 问题描述2. 问题复现2.1. 建表语句2.2. 插入数据2.3. 查询SQL以及问题3. 问题原因4. 问题解决0. 其他1. 问题描述在Hive中（其他类似SQL，比如PostgreSQL可能也存在此问题），当对多张表（3张及以上）进行full join时，会存在每张表的主键
2022 NFT全生态研究报告（涵盖国内外绝大部分知名项目）
2022年NFT全生态研究报告，将NFT市场上所有项目归类研究总结，将重点项目玩法提炼升华，将国内政策及大厂动向全方位把握
Pandas数据分析教程(1)-Series和DataFrame
Pandas数据分析(1)-Series和DataFram前言最近自己也在进行Python数据分析的学习，故在此写下本文作为笔记使用，本文是笔记系列的的第一篇，不定期更新。写的博客如有错误或者疏忽的地方，还望各位大佬指点，在此表示感激不尽。Pandas是建立在Numpy模组和matplotlib模组
ElasticSearch
介绍了ElasticSearch的基本概念，以及相关使用，并结合项目中的业务进行了总结。
Java开发之实时计算--Flink
简介介绍计算框架对java开发的重要性介绍flink的架构介绍flink的基本概念：常用算子、checkpoint、state、window介绍flink的编程模型：DataStream、DataSet、Table API、SQL介绍flink的部署计算框架每个Java开发一定要懂至少一个流行的计算
spark技术学习与思考（sparkcore&sparksql）
Spark 产生之前，已经有 MapReduce 这类非常成熟的并行计算框架存在了，并提供了高层次的API(map/reduce)，它在集群上进行计算并提供容错能力，从而实现分布式计算。所以为什么 spark 会流行呢？
