pyspark常用语法（含pandas对比）
2.遇到的错误初步解决办法是关闭spark重启或将自定义udf放到函数里面去，我也不太理解这个问题pandas、pyspark、spark相互转换，语法对比（超详细）python spark 求dataframe一列的max，min，medianpython spark 纵向合并多个Datafame
Python大数据之PySpark(六)RDD的操作
📢博客主页：https://manor.blog.csdn.net📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！📢本文由 Maynor 原创，首发于 CSDN博客🙉📢感觉这辈子，最深情绵长的注视，都给了手机⭐📢专栏持续更新,欢迎订阅：https://blog.csdn.net/
广州Y行信用卡中心大数据部数据开发岗笔试题
- 未排序，直接提取原表逻辑结构前10条记录。B.S.S#=SC.S# AND C.C#=SC.C# AND S.SEX IN '男' AND C.CNAME IN '数据库';A.S.S#=SC.S# AND C.C#=SC.C# AND S.SEX='男' AND C.CNAME='数据库';注
2023_Spark_实验二十七：Linux中Crontab（定时任务）命令详解及使用教程
通过crontab+shell，来模拟产生实时点击流数据，实现秒级数据产生，得到每5秒一条记录数据。
从实际业务问题出发去分析Eureka-Server端源码
Eureka-Server端源码解析
Flink Job 执行流程
模式【1】；生成，然后转化为JobGraph；【2】依次启动三者都服从分布式协同一致的策略；将JobGraph转化为，然后转化为物理执行任务Execution，然后进行deploydeploy过程会向请求slot，如果有直接deploy到对应的的slot里面，没有则向Yarn的申请，带contain
【详解】Spark数据倾斜问题由基础到深入详解-完美理解-费元星
spark hive数据倾斜，一文从浅到深，完美理解和解决
hive beeline参数及示例用法
beeline 是一个用于连接 HiveServer2 的命令行工具。
RabbitMQ笔记
队列是一种特殊的线性表，特殊之处在于它只允许在表的前端（front)进行删除操作，而在表的后端（rear)进行插入操作，和栈一样，队列是一种操作受限制的线性表。延迟队列，最重要的特性就体现在它的延时属性上，跟普通队列不一样的是，普通队列中的元素总是等着希望被早点取出消费，而延迟队列中的元素则是希望在
HIVE 中INSERT INTO 和 INSERT OVERWRITE 的区别，以及OVERWRITE哪些隐藏的坑
HIVE 中INSERT INTO 和 INSERT OVERWRITE 的区别，以及 overwrite 在分区表和非分区表中使用时的注意事项。
Flink快速部署集群，体验炸了！
Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。
【Spark源码分析】Spark的RPC通信二-初稿
Spark的RPC通信
大数据 | 实验一：大数据系统基本实验 | 熟悉常用的HBase操作
1）理解 HBase 在 Hadoop 体系结构中的角色。2）熟练使用 HBase 操作常用的 shell 命令。3）熟悉 HBase 操作常用的 Java API。
Flink SQL -- 命令行的使用
在flink 的流处理中，使用distinct，flink需要将之前的数据保存在状态中，如果数据一直增加，状态会越来越大 状态越来越大，checkpoint时间会增加，最终会导致flink任务出问题。当一段SQL语句在被多次使用的时候，就将通过with给这个SQL起一个别名，类似于封装起来，就是为这
Spark计算框架
Spark的诞生背景Spark 2009年诞生的一个技术，诞生的主要原因是因为Hadoop大数据解决方案存在一些弊端MR程序是基于磁盘进行运算，因此导致MR程序计算效率底下。MR程序无法计算复杂的任务，如果想要实现复杂的计算逻辑，可能编写多个MR Job，其中后续的Job依赖于前一个Job的输出，但
阿里云实时数据仓库Hologres&Flink
为企业所有决策制定过程，提供所有系统数据支持的战略集合。传统的离线数仓无法实现当天数据的及时分析数据，所以需要开发实时数仓开填补空缺。
Spark读写Hive
使用Spark读写分布式数据仓库Hive
Kafka快速入门
简介kafka诞生于领英公司，于2011年初开源，并于2012年10月23日由apache孵化出站。kafka最初诞生是为了解决Linkedin数据管道问题。由java和scala编写的。是一种高吞吐量的分布式发布订阅消息系统，可以处理消费者在网站中的所有动作流数据。官网：http://kafka.
大数据基础设施搭建 - 业务数据同步策略
套路：从body中拿出采集到的数据，解析出有用字段放入header中，配置文件中可以获取header中的东西。作用1：把从Kafka中获取的json串的业务表名放到header中。作用2：把从Kafka中获取的json串的ts时间戳转换成毫秒，放入header中。import com/**// 1、
Flume采集Kafka并把数据sink到OSS
我这里是为了防止sink的文件过于零碎, 但因为使用的memory channel, 缓存时间过长容易丢数据。默认启动时-Xmx20m, 过于小了, 加大堆内存可以直接放开。下载JindoSDK(连接OSS依赖), 下载地址。2. 进阶配置, 根据自己情况按需配置。3. Flume JVM参数。修改
