【shell-10】shell实现的各种kafka脚本
因为经常要用kafka环境参与测试，所以写了不少脚本。在很多时候可以大大提高测试的效率。topic数据传输【file数据录入到topic,topic数据下载到本地文件】此文件是个额外的日志文件主要用于打印日志，该文件会被下面的shell文件引用。topic信息查看【topic列表，topic gro
FlinkCDC全量及增量采集SqlServer数据
本文详细介绍Flink-CDC如何全量及增量采集Sqlserver数据源.
解决hive表新增的字段查询为空null问题
这是怎么回事，怀疑是不是数据没有插入成功，于是查看日志确实是写入成功了，后换了impala和presto 两种引擎查询，发现两个结果都有值，如果直接到目录下查看数据文件会发现确实有值。第二种方案，要是我们表里有很多分区，这样处理就显得有些繁琐了，不知有没有更优雅的处理方式，答案是肯定的，那就是在修改
第三节 zookeeper基础应用与实战2
Zookeeper作为一个分布式协调框架，内部存储了一些分布式系统运行时的状态的数据，比如master选举、比如分布式锁。对这些数据的操作会直接影响到分布式系统的运行状态。因此，为了保证zookeeper中的数据的安全性，避免误操作带来的影响。Zookeeper提供了一套ACL权限控制机制来保证数据
flink1.14.5使用CDH6.3.2的yarn提交作业
使用CDH6.3.2安装了hadoop集群，但是CDH不支持flink的安装，网上有CDH集成flink的文章，大都比较麻烦；但其实我们只需要把flink的作业提交到yarn集群即可，接下来以CDH yarn为基础，flink on yarn模式的配置步骤。
Flink 源码剖析｜累加器
（合并多个累加器的结果）功能的一种数据结构，在作业结束后，可以获取所有部分（各个 operator 的各个 subtask）合并后的最终结果并发送到客户端。类型表示累加器结果的类型，这个类型必须是可序列化的。，因此可以在不同算子（operator）的不同 UDF 中使用同一个累加器，Flink 会合
智慧校园大数据云平台介绍
过去几十年里，数据中心技术发生了天翻地覆的变化， 2000年前后的互联网发展推动了数据中心从大型机时代转向独立服务器和集中存储架构。相比之下，独立服务器带来了比大型机更加灵活的系统的环境；可以通过网络访问让也降低了运维的复杂性。业务部门需要盈利，数据是关键因素。依赖于其灵活的容量调配和高可用设计，集
将Sqoop与Hive集成无缝的数据分析
将Sqoop与Hive集成是在大数据环境中实现无缝数据分析的关键一步。Sqoop可以轻松地将关系型数据库中的数据导入到Hive中，以便进行高级数据分析和查询。希望本文提供的示例代码和详细内容有助于大家更好地理解和应用Sqoop与Hive的集成技术。
PySpark（四）PySpark SQL、Catalyst优化器、Spark SQL的执行流程、Spark新特性
Hive和Spark 均是:“均是构建大规模结构化数据计算的绝佳利器，同时SparkSQL拥有更好的性能。目前，企业中使用Hive仍旧居多，但SparkSQL将会在很近的未来替代Hive成为分布式SQL计算市场的顶级这里的重点是：Spark SQL能支持SQL和其他代码混合执行，自由度更高，且其是内
【SparkML系列3】特征提取器TF-IDF、Word2Vec和CountVectorizer
这种方法避免了计算全局的词到索引映射表，这对于大型语料库来说可能代价很高，但它会遭受潜在的哈希冲突，不同的原始特征经过哈希可能会变成相同的词项。词频-逆文档频率（Term frequency-inverse document frequency，简称TF-IDF）是一种在文本挖掘中广泛使用的特征向量
spark sql上线前的调试工作实现
spark sql上线前的调试阶段
ZooKeeper 相关概念总结(进阶)
ZooKeeper由Yahoo开发，后来捐赠给了Apache，现已成为Apache顶级项目。ZooKeeper是一个开源的分布式应用程序协调服务器，其为分布式系统提供一致性服务。其一致性是通过基于Paxos算法的ZAB协议完成的。其主要功能包括：配置维护、分布式同步、集群管理、分布式事务等。简单来说
大数据StarRocks(三) StarRocks数据表设计
StarRocks的表和关系型数据库类似, 由行和列构成. 每行数据对应用户一条记录, 每列数据有相同数据类型. 所有数据行的列数相同, 可以动态增删列. StarRocks中, 一张表的列可以分为维度列(也成为key列)和指标列(value列), 维度列用于分组和排序, 指标列可通过聚合函数SU
集成ApacheFlink：HBase与ApacheFlink的集成和应用
1.背景介绍1. 背景介绍Apache Flink 是一个流处理框架，用于实时数据处理和分析。HBase 是一个分布式、可扩展、高性能的列式存储系统，基于 Google Bigtable 的设计。在大数据处理中，Apache Flink 和 HBase 的集成可以实现高效的数据处理和存储。本文将介绍
flink重温笔记（四）：Flink 流批一体 API 开发——物理分区（上）
今天是学习flink的第四天啦！学习了物理分区的知识点，这一次学习了前4个简单的物理分区，称之为简单分区篇！Tips：我相信自己会越来会好的，明天攻克困难分区篇，加油！
SparkCore
SparkCore
大数据毕设分享 flink大数据淘宝用户行为数据实时分析与可视化
🔥 这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目，今天要分享的是🚩flink大数据淘宝用户行为数据实时分析与
基于 Hologres+Flink 的曹操出行实时数仓建设
本文整理自曹操出行实时计算负责人林震基于 Hologres+Flink 的曹操出行实时数仓建设的分享
59、Flink CEP - Flink的复杂事件处理介绍及示例（3）- 模式选取及超时处理
Flink 系列文章一、Flink 专栏Flink 专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink 部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink 的基础部分，比如术语、架构、编程模型、编程指南、基本的datastream api用
Hive调优
Hive调优总结:1. 改硬件.2. 开启或者增大某些设置(配置). 负载均衡, 严格模式(禁用低效SQL), 动态分区数...3. 关闭或者减小某些设置(配置). 严格模式(动态分区), 推测执行...4. 减少IO传输. Input(输入)
