zookeeper集群+kafka集群
zookeeper就是保存集群的元数据面试题：kafka的消息堆积如何解决？原因：消费者出现了延迟或者处理能力太差，导致消息堆积。解决办法：1.减少kafka持久化的保存时间2.修改主题的分区数，扩大分区的数量，提高消费者获取的通道3.可以指定多个消费者共同工作，处理消息的积压（代码完成）
RabbitMQ的介绍
(message queue)，从字面意思上看就个 FIFO 先入先出的队列，只不过队列中存放的内容是 message 而已，它是一种具有接收数据、存储数据、发送数据等功能的技术服务。消息指的是两个应用间传递的数据。数据的类型有很多种形式，可能只包含文本字符串，也可能包含嵌入对象。“消息队列(Mes
S2B2B模式：重塑商业生态，赋能未来商业
S2B2B，即Supply chain(供应链)to Business(企业)to Business(企业)，是一种将传统供应链模式与互联网技术深度融合的商业模式。在这一模式中，S(供应链)作为核心，通过构建强大的供应链服务体系，为企业提供全面、高效、智能化的供应链服务;而B(企业)既是S的服务对象
【中项】系统集成项目管理工程师-第3章 信息技术服务-3.6服务发展
当前，世界正在经历百年未有的大变局，新一轮科技革命和产业变革深入发展，IT服务业发展日趋复杂，机遇和挑战均有新的变化。一方面，IT服务业面临严峻的外部环境。国际环境日趋复杂，全球经济发展不稳定性、不确定性明显增加，新冠疫情等“黑天鹅”事件频发，数字化转型下的行业分化变革加速，IT服务业传统的商业与盈
Dinky手把手教程 - 连接Flink Sql Cli控制台
Dinky 是一个开箱即用的一站式实时计算平台，以 Apache Flink 为基础，连接 OLAP 和数据湖等众多框架,致力于流批一体和湖仓一体的建设与实践。flink sql cli是flink 提供的一个sql执行工具，可以方便的进行sql预览，执行等操作
Spark 2 迁移 Spark 3 参考手册
Apache Spark是一个广泛应用于大规模数据处理的开源统一分析引擎。自发布以来，它已经成为大数据处理的事实标准。2020年发布的Spark 3.0带来了许多新特性和改进，极大地提升了性能和易用性。如果你习惯使用Spark 2，那么了解新版本的变化将非常有帮助。本文将重点介绍Spark 2和Sp
基于大数据爬虫+hive+数据可视化大屏的网络电视剧收视率分析与可视化平台设计和实现(源码+LW+部署讲解)
基于Hive的网络电视剧收视率分析系统是一个高效、精确的数据管理与分析平台，旨在为电视传媒机构和观众提供一个全面的收视率数据解决方案。通过利用Hive的大数据处理能力，该系统能够存储和分析海量的收视数据，从而揭示不同电视剧的受欢迎程度和观众偏好。管理员可以通过系统管理模块轻松地更新用户信息、发布公告
【Hive SQL】数据探查-数据抽样
在大规模数据量的数据分析及建模任务中，往往针对全量数据进行挖掘分析时会十分耗时和占用集群资源，因此一般情况下只需要抽取一小部分数据进行分析及建模操作。下面罗列一些常用的数据抽样方法。
Windows系统下python版本pyflink从pulsar中读取数据并写入到mysql当中以及异常问题解决。
Windows环境下pyflink读取pulsar中指定主题数写入到mysql数据库中操作以及常见异常问题
不同环境下RabbitMQ的安装-2 ARM架构、X86架构、Window系统环境下安装RabbitMQ
Erlang（['ə:læŋ]）是一种通用的面向并发的编程语言，它由瑞典电信设备制造商爱立信所辖的CS-Lab开发，目的是创造一种可以应对大规模并发活动的编程语言和运行环境。最初是由爱立信专门为通信应用设计的，比如控制交换机或者变换协议等，因此非常适合构建分布式、实时软并行计算系统。Erlang运行
hadoop搭建本地hive库保姆级教程
3）远程模式：也是使用mysql存储元数据，但是用户可以在任意服务器上远程连接Hive并进行操作。注意]：hadoop和hive的运行都依赖jar包guava.jar,但是它们默认使用该jar包的版本不一致可能会有jar包冲突问题，所以需要用hadoop下的jar包替换hive中的。2）本地模式：使
Kafka生产者（二）
1、例如我们实现一个分区器实现，发送过来的数据中如果包含 atguigu，就发往 0 号分区，不包含 atguigu，就发往 1 号分区。2、实现步骤（1）定义类实现Partitioner 接口。（2）重写 partition()方法。import org/*** @Copyright： 自定义分区
Elasticsearch 与 OpenSearch：谁才是搜索霸主
Elasticsearch与AWSOpenSearch均基于Lucene，处理大规模数据。Elasticsearch速度快，资源使用更节约。AWSOpenSearch集成AWS服务，提供托管服务，安全功能为核心。Elasticsearch更适合即时、精确数据检索需求。
[Manticore Search] 索引和数据类型
manticore 索引和数据结构的学习
spark查看日志
当 Spark 任务已经提交到集群运行后，可以通过以下几种方式查看/tmp/logs/
日志审计Graylog 使用教程-kafka收取消息
Graylog 常用于 IT 运维、安全监控、故障排查等场景，通过对日志数据的集中管理和分析，帮助企业提高系统的可观测性和问题解决能力。产生的告警内容，我们自定义字段“renyuan”他的value通过映射表username关联到的。我们创建映射表时，通过username查找department内容
spark 广播变量broadcast
broadcast使用如下图，可以看到创建broadcast是val barr1 = sc.broadcast(arr1)，使用broadcast是barr1.value创建broadcast是使用的broadcastManager。
Eureka——Spring Cloud中的服务注册与发现组件
Eureka 是 Spring Cloud 中非常重要的核心模块，使用 Spring Cloud 就离不开 Eureka，我们用一个产品服务中的获取 Promotion 信息，及所有产品功能为例，让大家快速了解 Eureka 是做什么用的，及如何使用。Eureka，作为Spring Cloud微服务
Apache Kafka on Pulsar (KoP) 使用教程
Apache Kafka on Pulsar (KoP) 使用教程 kopKafka-on-Pulsar - A protocol handler that brings native Kafka protocol to Apache Pulsar项目地址:https://gitcode.com/g
看惯了黑黝黝的大屏风格再来看浅色系的大屏，很漂亮很个性
*看惯了黑黝黝的大屏风格，再来看浅色系的大屏，很漂亮很个性**在科技产品的世界里，大屏设计一直以其沉浸感和视觉冲击力占据着一席之地。然而，当我们长时间沉浸在那些深邃、沉稳的黑黝黝大屏中时，是否曾想过换一种风格，感受一下浅色系大屏带来的清新与个性？
