Spark和Flink的介绍、区别以及各自的应用场景
介绍Apache Spark是一个快速、通用的大规模数据处理引擎，由加州大学伯克利分校AMPLab开发，并于2010年开源。Spark基于内存计算，提供了比传统Hadoop MapReduce框架快数十倍的速度，并简化了大规模数据处理的复杂性。它支持多种编程语言（如Scala、Java、Python
记录使用FlinkSql进行实时工作流开发
Apache Flink是一个开源框架，用于处理无边界（无尽）和有边界（有限）数据流。它提供了低延迟、高吞吐量和状态一致性，使开发者能够构建复杂的实时应用和微服务。Flink的核心是流处理引擎，它支持事件时间处理、窗口操作以及精确一次的状态一致性。
Python数据可视化中的时间序列图表
在数据科学和分析领域，时间序列数据的可视化是至关重要的一环。时间序列图表帮助我们识别数据中的趋势、季节性模式和异常值，进而为决策提供依据。在Python中，常用的时间序列图表库包括Matplotlib、Pandas、Seaborn和Plotly等。本文将介绍如何使用这些库来绘制时间序列图表，并通过实
【理论篇】数据挖掘 第四章 数据仓库与联机分析处理
数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合，支持管理者的决策过程”。面向主题的(subject-oriented):数据仓库围绕一些重要主题，如顾客、供应商、产品和销售组织；集成的(integrated):通常，构造数据仓库是将多个异构数据源，如关系数据库、一般文件和联机事务处理记录
Flink开发语言使用 Java和Scala哪个更合适？
总之，Scala适合于函数式编程和并发编程，Java更加稳定、成熟，更适合于大型项目和企业级应用，在flink开发中可以混合使用java和scala，具体的项目可以根据实际的开发人员技术情况确定。一个是流处理的例子（Scala），另一个是批处理的例子（Java）。Scala 是一种混合了面向对象和函
Kafka 详解：全面解析分布式流处理平台
Apache Kafka 是一个分布式流处理平台，主要用于构建实时数据管道和流式应用。它具有高吞吐量、低延迟、高可用性和高可靠性的特点，广泛应用于日志收集、数据流处理、消息系统、实时分析等场景。
linux centos7部署zookeeper以及kafka
3288是备用端口，是万一集群中的Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口。配置完成后，使用chmod +x /etc/init.d/zookeeper.sh 加执行权限。3188是一个端口，是这个服务器F
数仓: 1- 数据仓库基础
数据仓库 ( Data Warehouse, 简称DW或DWH ) , 也称为企业数据仓库 ( EDW ) , 是一个用于报告和数据分析的系统, 被认为是商业智能的核心组成部分 ; 数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合, 用于支持管理决策 ; 它可以帮助企业整合来自不同数据源
RabbitMQ 入门
MQ( Message queue )，从字面意思上看，本质是个队列，FIFO 先进先出，只不过队列中存放的内容是消息(message)，消息可以非常简单，比如只包含文本字符串，JSON 等，也可以很复杂，比如内嵌对象，MQ 多用于分布式系统之间进行通信；：在业务流程中，一些操作可能非常耗时，但并不
Linux环境下Hadoop3.2.0集群部署
Hadoop集群部署
Docker搭建kafka+zookeeper以及Springboot集成kafka快速入门
重点在于那个missing-topics-fatal主题不存在的话，我们是否还要成功启动我自己的写的默认的主题是test，但是我还没在kafka里面创建，kafka里面还没有这个叫test的主题所以我启动的时候，报错然后失败了
Hive SQL进阶：掌握间隔连续查询技巧，优化大数据分析（二）
本文提供了7个SQL查询示例，涉及用户访问统计、活跃用户数、留存率计算、名次统计、连续活跃用户识别和营业额分析。
EXCEL数据导入HIVE
四、将test.txt文件上传至虚拟机的Linux环境中，同时在hive里新建Test数据表（已经建库），输入建表语句的时候务必注意对应字段的类型必须相同。本文将论述如何将Windows本地的excel表数据，导入到虚拟机Linux系统中的Hadoop生态中的Hive数据仓库中。至此，完成excel
Java中可以用的大数据推荐算法
Java中经常使用的大数据推荐算法介绍，给出了详细的伪代码示例，一目了然，原来如此简单。
【理论】Hive SQL和SQL的常用语法及区别
插入数据：`INSERT INTO table_name (column1, column2, ...) VALUES (value1, value2, ...);- 创建表：`CREATE TABLE table_name (column1 data_type, column2 data_type
Flink-DataWorks第三部分：数据集成（第59天）
本文主要详解了DataWorks的数据开发流程及操作，为第三部分：由于篇幅过长，分章节进行发布。后续： 运维中心的使用。
Apache Spark分布式计算框架架构介绍
Spark 基于 Spark Core 建立了 Spark SQL、Spark Streaming、MLlib、GraphX、SparkR 核心组件，基于不同组件可以实现不同的计算任务，这些计算任务的运行模式有：本地模式、独立模式（Standalone）、Mesos 模式、 YARN 模式。Spar
Zookeeper的监听机制及原理解析
ZK在现在之所以能非常好用，它便捷的监听功能是很重要的，本次我们就以监听为题，分析一下ZK的监听是怎么设计和管理的，并在文末写了个demo验证我们的所学
Linux环境如何彻底卸载感干净RabbitMQ并重新安装
环境Centos7下RabbitMq卸载与安装
RabbitMQ确认机制
RabbitMQ——确认机制
