Flink实时电商数仓之DWS层
进行分词需要引入IK分词器，使用它时需要引入相关的依赖。它能够将搜索的关键字按照日常的使用习惯进行拆分。比如将苹果iphone 手机，拆分为苹果，iphone, 手机。
【大数据】分布式协调系统 Zookeeper
从设计模式的角度来理解：Zookeeper 是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接收观察者的注册。一旦数据的状态发生变化，Zookeeper 就会通知那些已经注册的观察者，以便它们能够及时做出反应。
Zookeeper的基础介绍和安装教程
Zookeeper的基础介绍和安装教程
Kafka实战：消费指定时间范围内的Kafka Topic数据
首先，我们需要设置好Kafka的环境并创建一个Topic。这里假设你已经安装并配置好了Kafka，并创建了一个名为"my_topic"的Topic。这样，我们就完成了消费指定时间范围内的Kafka Topic数据的代码编写。在上述代码中，我们首先设置了Kafka集群的地址和消费者的配置。然后，我们创
大数据Doris（四十八）：Doris的动态分区示例与查看动态分区表调度情况
注：2019-12-31 和 2020-01-01 在同一周内，如果分区的起始日期为 2019-12-31，则分区名为 p2019_53，如果分区的起始日期为 2020-01-01，则分区名为 p2020_01。同时，因为分区列 k1 的类型为 DATETIME，则分区值会补全时分秒部分，且皆为 0
数据仓库从0到1之数仓建模理论
存放原始数据，原始数据保持原状。原始数据一类是日志，一类是业务数据。业务数据从mysql导入进来，本身就是结构化的，以具体分隔符分割，可以直接记载到对应数据库。但是日志数据就不行，是一行一行的字符串，需要将字符串解析成可以导入hive的数据格式。即ODS层主要是对日志进行解析，要考虑解析成多少张表，
Python大数据之PySpark(三)使用Python语言开发Spark程序代码
函数式编程#Python中的函数式编程return x*x#2-lambda 匿名函数 java: x=>x*x 表达式 Scala:x->x*xreturn x+y# 语法 lambda表达式语言：【lambda 变量：表达式】# 列表表达式 [表达式 for 变量 in 可迭代的序列中 if 条
开源大数据集群部署（二）集群基础环境实施准备
作者：櫰木。
Flink SQL
在flink 的流处理中，使用distinct，flink需要将之前的数据保存在状态中，如果数据一直增加，状态会越来越大。两个表在join时只关联一段时间内的数据，之前的数据就不需要保存在状态中，可以避免状态无限增大。开启微批处理和预聚合，可以减少shuffle过程中传输的数据量，减轻下游算子计算的
[AIGC] Apache Spark 简介
由于Spark具有内存计算的优势，可以在处理大规模数据时获得更高的性能和效率。Apache Spark是一个开源的大数据处理框架，它提供了高效的分布式数据处理和分析能力。Spark SQL：Spark SQL是Spark提供的用于处理结构化数据的模块。弹性分布式数据集（RDD）：RDD是Spark的
node-red：使用node-red-contrib-amqp节点，实现与RabbitMQ服务器(AMQP)的消息传递
使用node-red的node-red-contrib-amqp节点，连接到RabbitMQ服务器(AMQP)，以使用路由键从某个主题获取一些消息，实现客户端与消息中间件数据的传递。
Flink-容错机制
Flink 作为一个大数据分布式流处理框架，必须要考虑系统的容错性，主要就是发生故障之后的恢复。Flink 容错机制的核心就是检查点，它通过巧妙的分布式快照算法保证了故障恢复后的一致性，并且尽可能地降低对处理性能的影响。本文中我们详细介绍了 Flink 检查点的原理、算法和配置，并且结合一致性理论与
基于Hadoop的电商数据分析系统设计与实现
同时，为了提供更加灵活和高效的数据分析功能，本系统还引入了Hive和Pig等工具，通过对数据进行抽象和高层次的处理，提供了基于SQL的查询和数据分析能力。首先，该研究目的在于提高电商企业的竞争力。Hadoop具有良好的可扩展性和容错性，能够处理大规模数据的并行计算任务，提供高吞吐量和低延迟的数据分析
Spark 完全分布式的安装和部署
头歌Spark 完全分布式的安装和部署
文化+科技融合发展 第十一届中关村大数据日成功举办
在主题为“从大数据十五年看未来十五年”圆桌对话中，主持人中关村大数据产业联盟秘书长赵国栋与中关村大数据产业联盟理事长、中关村发展集团总经理宣鸿，中关村大数据产业联盟首任理事长、宽带资本董事长田溯宁，二六三网络通信股份有限公司董事长李玉杰，拓尔思信息技术股份有限公司副董事长施水才共同就大数据发展历程、
flink1.18.0 macos sql-client.sh启动报错
【代码】flink1.18.0 macos sql-client.sh启动报错。
【flink番外篇】9、Flink Table API 支持的操作示例（5）- 表的列操作
系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink 部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink 的基础部分，比如术语、架构、编程模型、编程指南、基本的datastream api用法、四大基石等内容。3、Flik Table API和S
【踩坑专栏】禁止kafka自带的日志
如果直接使用log4j.properties修改kafka的日志级别，会没有效果。有文章说是因为jar包冲突[2]。在测试kafka的时候，有很多kafka自带的debug和info日志，需要禁止掉。在resource文件夹下，新增一个logback.xml文件。
熟悉 Hive 的基本操作
【代码】熟悉 Hive 的基本操作。
大数据毕设分享 flink大数据淘宝用户行为数据实时分析与可视化
🔥 这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目，今天要分享的是🚩flink大数据淘宝用户行为数据实时分析与
