5、Flink SQL管理平台flink-streaming-platform-web安装搭建
rest.bind-port可以设置成列表格式如50100,50101，也可设置成范围格式如50100-50200。这是缺少kafka-clients的jar包，只需将下载的kafka-clients jar包放在lib目录下重启flink，提交任务。rest.bind-port不设置，则Rest
摸鱼大数据——Spark SQL——Spark on Hive部署
spark.sql("""insert into spark_demo.stu values(1,'张三'),(2,'李四')""")spark-sql>insert into spark_demo.stu values(1,'张三'),(2,'李四');（1）检查hive中 hive-site
Docker-Compose配置zookeeper+KaFka+CMAK简单集群
基于Ubuntu24.04 TLS稳定版进行测试安装，仅供参考学习。
Kafka Offset原理与代码实例讲解
Kafka Offset原理与代码实例讲解作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming关键词：Kafka，Offset，消息队列，分布式系统，数据流处理1. 背景介绍
SparkStreaming--scala
reduce(func) 通过使用函数func（它接受两个参数并返回一个）聚合源DStream的每个RDD中的元素，返回单元素RDD的新DStream。join(otherStream, [numTasks]) 当在（K，V）和（K，W）对的两个DStream上调用时，返回（K，（V，W））对的新D
数据仓库面试总结
概念存储数据的仓库, 主要是用于存储过去既定发生的历史数据, 对这些数据进行数据分析的操作, 从而对未来提供决策支持四大特征面向于主题的: 面向于分析, 分析的内容是什么 什么就是我们的主题集成性: 数据是来源于各个数据源, 将各个数据源数据汇总在一起非易失性(稳定性): 存储在数据仓库中数据都是过
【大数据】—美国交通事故分析（2016 年 2 月至 2020 年 12 月）
在当今快速发展的数字时代，大数据已成为我们理解世界、做出决策的重要工具。特别是在交通安全领域，大数据分析能够揭示事故模式、识别风险因素，并帮助制定预防措施，从而挽救生命。本文将深入探讨2016年2月至2020年12月期间，美国交通事故的大数据集，旨在通过数据分析揭示交通事故的内在规律和趋势。
RabbitMQ python第三方库pika应用入门实践
RabbitMQ python第三方库pika应用入门实践
zookeeper+kafka消息队列群集部署
许多消息队列所采用的"插入-获取-删除"范式中，在把一个消息从队列中删除之前，需要你的处理系统明确的指出该消息已经被处理完毕，从而确保你的数据被安全的保存直到你使用完毕。例如，在电商系统中，用户下单后，订单处理的消息可以先放入消息队列，后续的库存更新、物流通知等操作可以异步进行，而不必等待每个环节依
如何学习Hive：糙快猛的大数据之路（ 从入门到实战）
本文涵盖从基础概念到高级优化技巧，深入剖析Hive的内部原理、性能调优和故障排除。通过实际案例，展示了Hive在金融、医疗、电信等行业的应用。文章还探讨了Hive与Spark、HBase等技术的集成，以及在数据湖、机器学习中的角色。从"糙快猛"的入门策略到企业级最佳实践，本指南助你成为真正的Hive
使用flume将消息导入Kafka
版本使用:flume190,kafka200,hadoop260在flume文件目录创建ngcf目录,创建flume配置文件text.conf//：指定source的类型为spooldir，即监控指定目录中新出现的文件，并将这些文件的内容作为事件（events）来处理。//source监控的目录//
大数据专家教你学Flink：用EventTime与WaterMark进行流数据处理
最简单的情况下，这也最容易理解：所有进入到Flink处理系统的流数据，都是在外部的其它系统中产生的，它们产生后具有了事件时间，经过传输后，进入到Flink处理系统，理论上（如果所有系统都具有相同系统时钟）该事件时间对应的时间戳要早于进入到Flink处理系统中进行处理的时间戳，但实际应用中会出现数据记
7.kafka中的消费语义、幂等性
kafka中的消费语义、幂等性
连接远程的kafka【linux】
连接远程的kafka【linux】
数据仓库和数据库有什么区别？
数据仓库和数据库是两种不同类型的数据存储解决方案，它们在设计、用途和功能上存在显著差异。首先，数据库主要用于事务处理系统，它们支持日常操作，如数据的插入、更新和删除。数据库通常具有高度规范化的结构，以减少数据冗余并确保数据一致性
泰迪科技2024年高校（本科/职业院校）大数据实验室建设及大数据实训平台整体解决方案
泰迪智能科技大数据实验室解决方案是一个全面而系统的解决方案，旨在帮助高校教学中的痛点问题。该方案包括了课程体系、教学服务、大数据实训平台等
SpringCloud 服务注册&发现-Eureka
【SpringCloud】 服务注册&服务发现介绍，Eureka注册中心使用(超详细)
数据仓库实践：数仓分层
数据仓库的分层依现状而定，并没有一个最佳实践，但即使数据的情况千千万万，也会至少有相互接近的实践方式，以减少实践成本。
二百四十四、Hive——Hive中解析复杂JSON，既有对象还有数组，而且数组中包含数组
Hive——Hive中解析复杂JSON，既有对象还有数组，而且数组中包含数组
RabbitMQ 消息传递
mandatory参数：告诉服务器至少将该消息路由到一个队列中，否则将消息返回给生产者。immediate参数：告诉服务器，如果该消息关联的队列上有消费者，则立刻投递；如果所有匹配的队列上都没有消费者，则直接将消息返还给生产者，不用将消息存入队列等待消费者了。
