【ZooKeeper】ZooKeeper快速入门
主要是重新整理了整个zookeeper的重要知识点。
ELK+Kafka+Filebeat日志分析系统详细！！！
ElasticSearch是一个基于Lucene的开源分布式搜索服务。只搜索和分析日志特点：分布式，配置简洁，自动发现，索引自动分片，索引副本机制，多数据源等。它提供了一个分布式多用户能力的全文搜索引擎。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二
大数据-73 Kafka 高级特性 稳定性-事务 相关配置 事务操作Java 幂等性 仅一次发送
上节研究Kafka事务配置，事务语义、事务协调器等内容，本节继续研究Kafka高级事务，事务操作Java调用，实现生产者仅发送一次消息。只要Producer生产消息，这种场景需要事务的介入消费消息和生产消息并存，比如Consumer&Producer模式，这种场景是一般Kafka项目中比较常见的模式
从SQL到Hive，这些区别你记好
根据万字长文——最详Hive入门指南。
Flink的扩展与插件化
Flink 的扩展与插件化1. 背景介绍1.1 问题的由来随着大数据时代的到来，实时数据处理逐渐成为各行业的关键需求。Apache Flink 作为一种新兴的分布式流处理框架,凭借其低延迟、高吞吐量和精确一次语义等优势,在实时数据处理领域受到了
Hive Transaction事务表（含实现原理）
hive事务表
sheng的学习笔记-hive框架原理
Hive是基于Hadoop的一个数据仓库（Data Aarehouse，简称数仓、DW），可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。是用于存储、分析、报告的数据系统，常用作离线数据仓库Hive的本质是：将Hive SQL转化成MapReduce程序，其灵活性和扩展性比较好，支
Spark 大规模机器学习（一）
原文：zh.annas-archive.org/md5/7A35D303E4132E910DFC5ADB5679B82A译者：飞龙协议：CC BY-NC-SA 4.0前言机器学习的核心是关注将原始数据转化为可操作智能的算法。这一事实使得机器学习非常适合于大数据的预测分析。因此，如果没有机器学习，要跟
MQ消息队列的基础使用（以RabbitMQ为例）
AMQP：Advanced Message Queueing Protocol，是用于在应用程序或之间传递业务消息的开放标准，该协议与语言平台无关，更符合微服务中独立性的要求。SpringAMQP：Spring AMQP是基于AMQP协议定义的一套API规范，提供了模板来发送和接收消息，包括两部分，
【大数据】重塑时代的核心技术及其发展历程
本文旨在全面而简洁地概览大数据技术，深入剖析其基本概念与发展历程。开篇，文章首先阐明了大数据技术的核心概念，即指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，这些数据集合具有海量规模、高速增长和多样化的特点。随后，文章详细探讨了大数据技术如何通过这些特性，在数据存储、处理、分析及
使用 bend-ingest-kafka 将数据流实时导入到 Databend
bend-ingest-kafka 作为一个强大的工具，为 Databend 用户提供了从 Kafka 实时导入数据的能力。通过本文的介绍，用户应该能够快速上手并利用这个工具来实现实时数据处理的需求。
Apache Flink Stateful Functions 使用教程
Apache Flink Stateful Functions 使用教程 flink-statefun-dockerDocker packaging for Apache Flink Stateful Functions项目地址:https://gitcode.com/gh_mirrors/fl/f
基于hive数据库的泰坦尼克号幸存者数据分析
泰坦尼克号是当时世界上体积最庞大、内部设施最豪华的客运轮船，有“永不沉没”的美誉。然而不幸的是，在它的处女航中，泰坦尼克号便遭厄运——它从英国南安普敦出发驶向美国纽约。（1）列名介绍PassengerID->乘客IDSurvived->是否生还Pclass->船舱级别Name->姓名Sex->性别A
大数据场景下的Zookeeper集群的搭建
等服务器2启动时，1和2都为自己投一票，1发现2的myid(后续配置)大于自身，把自己的票给服务器2，服务器2有2票还是没有半数以上，两者都looking状态，等服务器3来了，重复操作，服务器3就有3票达到半数以上，服务器3就称为leader,并且服务器1，2改为followeing状态，后续服务器
Hive原理与代码实例讲解
Hive原理与代码实例讲解1. 背景介绍1.1 大数据时代的到来随着互联网、物联网和移动互联网的快速发展,数据呈现出爆炸式增长。传统的关系型数据库管理系统(RDBMS)在存储和处理大规模数据集时遇到了巨大挑战。为了解决这一问题,大数据技术
Zookeeper（九）客户端的启动流程
ZooKeeper的客户端主要由以下几个核心组件组成。
云存储技术：HBase & HDFS 无感知迁移方案
在大数据生态系统中，HBase 和 HDFS 是两个关键组件。HBase 是一个分布式列式数据库，常用于实时读写大规模数据；HDFS 是一个高可靠的分布式文件系统，用于存储海量数据。 1、背景随着业务的发展和技术的进步，可能需要对现有的HBase/Hadoop集群进行迁移，或是因为各种原因（如成本控
工业大数据来自哪里？大数据技术如何助力制造企业数字化转型？
随着工业大数据技术的不断进步和深化应用，我们正站在工业革命的新前沿。从微型传感器到物联网，从云计算到大数据分析，这些技术的融合正在重新定义生产效率、产品质量和企业决策。其中工业大数据将发挥着核心作用，为企业带来前所未有的洞察力和竞争优势。这不仅是技术的胜利，更是对未来工作方式和产业格局的一次深远革新
Apache Flink 实践练习：开启流处理之旅
Apache Flink 实践练习：开启流处理之旅 flink-trainingApache Flink Training Excercises项目地址:https://gitcode.com/gh_mirrors/fl/flink-training 项目介绍Apache Flink 实践练习项目是
Hive UDF自定义函数原理与代码实例讲解
Hive UDF是Hive提供的用户自定义函数，用于执行特定的计算任务。它们可以是标量函数（单个输入和单个输出）、聚合函数（多个输入和单个输出）或表值函数（多个输入和多个输出）。Hive UDF可以是Java、Scala或Python编写的，通过将源代码编译为动态链接库（DLL）或共享库（SO）进行
