大数据-64 Kafka 高级特性 分区 分区重新分配 实测
上节研究Kafka的分区相关副本机制、同步节点、宕机恢复、Leader选举过程等。本节上机实际测试 分区重新分配的 全流程过程。向已经部署好的Kafka集群里添加机器，我们需要从已经部署好的Kafka节点中复制相应的配置文件，然后把里边的 BrokerID 修改为全局唯一的，最后启动这个节点即可让它
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
上节我们研究了Kafka的物理存储，日志存储的概述，日志切分文件，索引切分文件。本节继续研究Kafka的物理存储，日志存储模块，实机查看分析。如果是CreateTime则无法保证顺序。在偏移量索引文件索引中，索引数据都是顺序记录Offset，但时间戳索引文件中每个追加的索引时间戳必须大于之前追加的索
大数据-73 Kafka 高级特性 稳定性-事务 相关配置 事务操作Java 幂等性 仅一次发送
上节研究Kafka事务配置，事务语义、事务协调器等内容，本节继续研究Kafka高级事务，事务操作Java调用，实现生产者仅发送一次消息。只要Producer生产消息，这种场景需要事务的介入消费消息和生产消息并存，比如Consumer&Producer模式，这种场景是一般Kafka项目中比较常见的模式
【大数据】重塑时代的核心技术及其发展历程
本文旨在全面而简洁地概览大数据技术，深入剖析其基本概念与发展历程。开篇，文章首先阐明了大数据技术的核心概念，即指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，这些数据集合具有海量规模、高速增长和多样化的特点。随后，文章详细探讨了大数据技术如何通过这些特性，在数据存储、处理、分析及
大数据场景下的Zookeeper集群的搭建
等服务器2启动时，1和2都为自己投一票，1发现2的myid(后续配置)大于自身，把自己的票给服务器2，服务器2有2票还是没有半数以上，两者都looking状态，等服务器3来了，重复操作，服务器3就有3票达到半数以上，服务器3就称为leader,并且服务器1，2改为followeing状态，后续服务器
工业大数据来自哪里？大数据技术如何助力制造企业数字化转型？
随着工业大数据技术的不断进步和深化应用，我们正站在工业革命的新前沿。从微型传感器到物联网，从云计算到大数据分析，这些技术的融合正在重新定义生产效率、产品质量和企业决策。其中工业大数据将发挥着核心作用，为企业带来前所未有的洞察力和竞争优势。这不仅是技术的胜利，更是对未来工作方式和产业格局的一次深远革新
详解 Spark 各种运行环境的搭建
Mesos 是 Apache 下的开源分布式资源管理框架Kubernetes（k8s）是目前最为流行的容器管理工具Windows 模式：将解压缩到无中文无空格的路径中执行解压缩文件路径下bin目录中的文件，启动 Spark 本地环境编写 Scala 程序执行或在 DOS 命令行窗口中执行提交指令。
【IEEE出版 | 往届会后三个月检索】第五届大数据、人工智能与软件工程国际研讨会（ICBASE 2024）
会议旨在为从事大数据、人工智能与软件工程研究的专家学者、工程技术人员、技术研发人员提供一个共享科研成果和前沿技术，了解学术发展趋势，拓宽研究思路，加强学术研究和探讨，促进学术成果产业化合作的平台。大数据分析、深度学习、机器学习、人工智能、模式识别、数据挖掘、云计算技术、物联网、AI应用于物联网、聚类
数仓架构解析（第45天）
经典数仓架构，传统离线大数据架构背景解析。
大数据------JavaWeb------Filter&Listener&AJAX&Axios&JSON
Filter、Listener、AJAX、Axios、JSON完整知识点汇总
Hadoop 面试题（六）
1. 简述Google三驾马车是Hadoop等分布式系统的基石，其中论文()不属于三驾马车之一 ？2. 简述现有一个安装 2.6.5 版本的 Hadoop 集群，在不修改默认配置的情况下，存储 200 个每个 200M 的文本文件，请问最终会在集群中产生多少个数据块（包括副本） ？3. 假设有Had
Hadoop，ActiveMQ，RabbitMQ，Springboot Actuator未授权访问漏洞（附带修复方法）
Hadoop是⼀个由Apache基⾦会所开发的分布式系统基础架构，由于服务器直接在开放了Hadoop 机器 HDFS 的 50070 web 端⼝及部分默认服务端⼝，⿊客可以通过命令⾏操作多个⽬录下的数据，如进⾏删除，下载，⽬录浏览甚⾄命令执⾏等操作，产⽣极⼤的危害。在 Actuator 启⽤的情况
Flink 实时数仓（七）【DWS 层搭建（一）流量域汇总表创建】
Flink 实时数仓，流量域汇总表创建：流量域来源关键词粒度页面浏览各窗口汇总表，流量域版本-渠道-地区-访客类别粒度页面浏览各窗口汇总表
大数据计算模式之流处理和交互式计算
总结来说，交互式计算关注于对已有数据的快速查询和分析，以支持决策和探索；而流式计算则侧重于对实时数据流的即时处理，以捕捉数据中的瞬时变化和趋势，两者在大数据处理中扮演着互补的角色。日常工作中，我们一般会先把数据存储在表，然后对表的数据进行加工、分析。既然先存储在表中，那就会涉及到时效性概念。如果我们
大数据-74 Kafka 高级特性 稳定性 - 控制器、可靠性 副本复制、失效副本、副本滞后 多图一篇详解
上节研究了Kafka的事务相关配置、幂等性、Java实现仅保证一次发送的方案等等。本节我们研究Kafka稳定性-控制器、可靠性 副本复制、失效副本、副本滞后内容。Kafka集群包含若干个Broker，broker.id 指定broker的编号，编号不要重复。Kafka集群上创建的主题，包含若干个分区
69、Flink 的 DataStream Connector 之 Kafka 连接器详解
Flink 的 DataStream Connector 之 Kafka 连接器详解
基于大数据+爬虫的高校毕业生就业信息可视化系统设计与实现
今天带来的是高校毕业生就业信息可视化系统设计与实现，随着信息技术的迅猛发展，大数据已经渗透到各行各业，对就业市场也产生了深远的影响。高校毕业生作为就业市场的重要参与者，其就业信息的管理和匹配成为了一个亟待解决的问题。传统的就业信息管理方式往往存在数据分散、处理效率低下、信息匹配不准确等问题，难以满足
数据仓库: 2- 数据建模
星型模型是一种简单、高效的数据仓库设计模型, 使用与各种数据分析和商业智能应用;其易于理解、查询性能高和易于扩展的特性使其成为构建数据仓库的首选方案之一;雪花模型是一种数据库设计模型, 其中维度表被进一步规范化, 形成多层结构, 看起来像雪花的形状;事实表和维度表的设计是数据仓库建设的基础, 需要根
Python中高效处理大数据的几种方法
Pandas是Python中一个强大的数据分析库，提供了快速、灵活和表达式丰富的数据结构，旨在使“关系”或“标签”数据的处理既简单又直观。Pandas非常适合于处理表格数据，如CSV、Excel等。NumPy是Python的一个库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库
大数据中的电商数仓项目：探秘业务的核心
电商数仓系统不仅仅是一个数据存储和处理的系统，更是电商平台背后的“智慧大脑”。通过对海量数据的高效管理和深入分析，数仓系统为电商业务的各个环节提供了强有力的支持，让电商平台能够更加高效、精准地运营。在这个大数据时代，电商数仓的作用无疑是至关重要的。未来，随着技术的发展，电商数仓将会变得更加智能化和高
