Flink1.17最新版本学习记录
主要记录FLink1.17学习笔记,包含FLink部署模式、DataStrem、时间和窗口、处理函数、多流转换、状态编程、容错机制、Table API和SQL等等。
HDFS编程实践
介绍HDFS编程实战
大数据技术原理与应用之可视化实训
目录第一部分 实训题目与要求1 问题提出1.1实训任务11.2实训任务22功能要求2.1实训任务12.2实训任务2第二部分 设计实训题目功能1 总体设计1.1实训任务11.2实训任务22主要函数设计2.1实训任务12.2实训任务23 问题与改进第三部分 实训效果一、实训任务1二、实训任务2第四部分
ES搜索框架--设置IK分词器
ES的默认中文分词效果太差了,稍微长一点的词句就完全匹配不到,于是选择使用安装IK中文分词器来实现索引的分词。参考:https://blog.csdn.net/w1014074794/article/details/119762827https://www.bbsmax.com/A/6pdDqDaX
【大数据hive】hive 拉链表设计与实现
hive 拉链表设计与实现
【TIANCHI】天池大数据竞赛(学习赛)--- 淘宝用户购物行为数据可视化分析
本人代码萌新一枚,目前还在学习python中,这篇文章是我本人对天池大数据竞赛上的学习赛上官方对数据分析后的自己的一些见解,参考的位置我会放在文章的最后。第一次在CSDN写文章,有错误还希望大家可以指正,我都会积极改正。例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机
智慧物流管理系统
智慧物流运用物联网、大数据、云计算、人工智能等技术优化物流决策过程。
SSM 如何使用 RabbitMQ 实现消息队列
本文介绍了如何在 SSM 框架中使用 RabbitMQ 实现消息队列。通过配置 RabbitMQ 的地址和认证信息,以及定义交换器和队列,可以轻松地实现消息的发送和接收。
Kafka 面试题
1、是什么确保了 Kafka 中服务器的负载平衡?2、消费者 API 的作用是什么?3、解释流 API 的作用?4、Kafka 为什么那么快?5、Kafka 系统工具有哪些类型?6、partition 的数据如何保存到硬盘7、Zookeeper 对于 Kafka 的作用是什么?8、流 API 的作用
PySpark完美安装
PySpark安装
RabbitMQ从入门到精通(详细)
根据最近对rabbitmq的深入学习,记录了相应的学习笔记,希望能帮助到大家。
hive 分桶文件的大小多大最合适
另一方面,如果某个列包含许多唯一值,例如包含顾客 ID 的列,这可能不是一个好的分桶字段,因为这可能会导致分桶数量过多,从而降低查询效率。在 Hive 中,选择分桶字段时,考虑到分桶字段的值将被用于对数据进行分区,因此选择较少离散值的列作为分桶字段可以提高查询效率。同时,指定适当的分桶数也很重要,应
hadoop之kerberos权限配置(ranger基础上)(三)
kerberos+ranger+kerberos权限控制
慧智物联剖析信息化与数字化的区别,文件管理不容忽视
从数据的角度来说,过去的信息化有很多数据,但是数据分散在不同的系统中,没有打通,没有真正发挥数据的价值。如果一个企业离不开信息系统就无法开展业务,那么可以说它是真正的信息化,而当它能够通过“数据资产”获得更好的利润或提高企业的效率时,就可以说它是真正的数字化。当然,这需要企业建立数据驱动的企业文化和
flink 流计算一条一条处理日志
创建 StreamExecutionEnvironment 对象。# 读取文件,创建 DataStream 对象。
你还在用Kettle吗?试试这款ETL工具
RestCloud ETL与kettle都提供了丰富转换和加载工具,例如数据清理、数据映射、数据合并和数据格式化等。RestCloud ETL 在此基础上创新提出“数据规则库”,所有任务都可以复用“数据规则”的算法独立对数据进行数据脱敏、数据加密、数据质量校验等操作。在数字化转型的过程中,数据集成是
进销存源码|进销存管理系统源码
进销存系统以系统格式编译所有信息,并将其存储在中央数据库中。管理层可以立即查看所有这些数据,甚至可以通过对这些数据应用许多分析操作来做出决策。人力资源、销售和市场营销、供应链等所有部门都可以访问这些数据和报告,并且自然对最高管理层也是可见的。
简单的kafka命令行操作
简单的kafka命令行操作一、主题topic命令行操作二、生产者命令行操作
98%的人都不会使用这6种地图可视化方法,学会直接涨薪5K
地图作为图表可视化中**存在感最强、效果最酷炫**的一种图表形式,一直深受报表制作者的青睐。可以说,有无地图,会直接影响到大家对报表是否**有档次**的直观感受。
AI仿写软件-仿写文章生成器
AI仿写软件是基于机器学习算法和人工智能技术开发的一种应用程序,它可以模仿并重构原始文本内容,以便生成大量新的内容。它的操作非常简单:只需将原始文本复制粘贴到应用程序中,然后单击生成按钮,即可得到全新的可编辑的文本稿件。万恶的时限压力使得我们不得不在有限的时间内输出更多的文本内容,以便吸引更多的关注