git 常用命令
注意，不管是根目录下的 /fd1/ 目录，还是某个子目录 /child/fd1/ 目录，都会被忽略；此外，git 对于 .ignore 配置文件是按行从上到下进行规则匹配的，意味着如果前面的规则匹配的范围更大，则后面的规则将不会生效；说明：忽略全部内容，但是不忽略 .gitignore 文件、根目录
大数据之Kafka————java来实现kafka相关操作
生产者多线程是一种常见的技术实践，可以提高消息生产的并发性和吞吐量。通过将消息生产任务分配给多个线程来并行地发送消息，可以有效地利用系统资源，加快消息的发送速度。Java中写在生产者输入内容在kafka中可以让消费者提取。（2）、Producer进行多线程操作。一、在java中配置pom。通过jav
Elasticsearch：为日志分析设置安全的 Elasticsearch 管道
在我之前的许多文章中，我已经详细地描述了如何配置如下的管道：在实际的使用中，Elastic Stack 中的各个组件极有可能不在同样的一个机器上。我们该如何保证数据在传输过程中的安全呢？我们需要确保在上图所示的每一个连接都是安全的。在今天的教程中，我将详述如何在考虑安全的情况下设置 Filebeat
03.DolphinScheduler资源中心
当获取到任务组资源的任务结束运行后，会释放任务组资源，释放后会检查当前任务组是否有任务等待，如果有则标记优先级最好的任务可以运行，并新建一个可以执行的event。您可在新建任务定义时，可配置对应的任务组，并配置任务在任务组内运行的优先级。【任务组名称】：任务组配置页面显示的任务组名称，这里只能看到该
hive查询区分大小写
hive查询如何区分大小写
启动Flink显示初始化状态怎么解决？
启动flink任务胡一直出现初始化状态
Hive表统计信息采集及应用
Hive提供了分析表和分区的功能，可以将分析后的统计信息存入元数据中，该功能可以自动执行分析表或手动执行分析表。自动执行分析主要针对新创建的表，可以通过配置启用，配置说明详见。Hive默认启用表级别的统计信息收集，在DML（除了LOAD DATA语句）操作期间，自动收集并更新统计信息。默认不启用列级
大数据竞赛MR培训与题型
JavaHadoopMapReduce 自己定义的需要序列化和反序列化可以通过实现 Writable接口来使用。 在重写map方法时，如果中间处理数据时将类型转化为Java的数据类
使用nginx-lua配置统一url自动跳转到hadoop-ha集群的active节点
配置nginx-conf，其中/root/run_shell/hadoop-status为脚本执行的路径，/tmp/hadoop-status.tmp是随便的一个文件，避免文件名冲突，注意是>不是追加>>，access_by_lua_block是lua脚本，需要要安装上面的带有lua脚本的nginx
Hudi（23）：Hudi集成Hive之同步
Flink hive sync 现在支持两种 hive sync mode, 分别是 hms 和 jdbc 模式。其中 hms 只需要配置 metastore uris；注意：核心点为上述hive_sync系列的配置。
Flink源码之State创建流程
Flink内置状态管理是相比其他分布式流式处理系统最大的优势之一，不用借助外部存储组件，就可实现高效可靠的分布式状态管理，极大降低了学习和使用成本。
【flink】Chunk splitting has encountered exception
【代码】【flink】Chunk splitting has encountered exception。
解决Hadoop审计日志hdfs-audit.log过大的问题
新搭建的Hadoop环境没怎么用，就一个环境天天空跑，结果今天运维告诉我说有一台服务器磁盘超过80%了，真是太奇怪了，平台上就跑了几个spark测试程序，哪来的数据呢？终于发现在Hadoop的日志目录下，有一堆hdfs-audit.log日志，并且每个都有好几百M，删除之后，跟目录瞬间从81%减低到
数据仓库建设-数仓分层
数据仓库能够帮助企业做出更好的决策，提高业务效率和效益；在数据仓库建设时，绕不开的话题就是数仓分层。
大数据bug-sqoop（二：sqoop同步mysql数据到hive进行字段限制。）
query “${sql}” \ 这个参数添加对应表的sql语句。注意结尾必须添加 $CONDITIONS ，必须添加where 条件，如果没有where条件，写成where 1=1。–split-by ${split} \ 这个参数是切分数据的分割字段，一般来讲是mysql的主键。–t
Spark-Core核心算子
Spark-Core中1、数据源获取。2、转换算子。3、行动算子
ChatGPT的功能，优势，以及在生活中的应用
ChatGPT的功能和优势非常多，下面将详细介绍。总之，ChatGPT是一种非常有用和实用的人工智能技术，它可以为用户提供各种服务和建议，帮助用户解决各种问题和疑虑，提高生活质量和效率。2. 个性化服务：ChatGPT可以根据用户的兴趣和需求，提供个性化的服务和建议，让用户感受到更加贴心的关怀。3.
Flink+StarRocks 实时数据分析新范式
StarRocks 社区技术布道师谢寅，在 Flink Forward Asia 2022 实时湖仓的分享。
Data Structure, Algorithm,and Applications in C++
在学习这本书进阶内容之前，我们可以跟着它的第一章部分再巩固和复习对于普通的传值参数，我们已经司空见惯了我们一般只要对相应的函数体传入形参，在执行的main函数主体中传入实参就可以调用相应的内容。在运行时，函数体在执行前，把实参复制给形参，复制的过程是由形参类型的复制构造函数来完成的。如果实参和形参的
一站式Flink&Spark平台解决方案——StreamX
是一个完全由国人发起的开源项目。也欢迎大家联系我们，加入到开源项目中来，为中国开源崛起献上一份自己的力量，未来共同向着成为。比较多，两者是有一定区别的，侧重点不同。未来也会写文做一下两者的对比。生态的不断完善，越来越多的企业选择这两款组件，或者其中之一作为离线。流上的开发部署能力与运行监控能力，努力
