idea连接hive
在hadoop平台写hive命令容易出错，但在idea中写hive命令可以提示代码，代码写错还可以提示错误，所以选择在idea中写hive命令。1.在idea中构建一个maven项目，引入相关依赖，并且相关依赖版本号与hive，hadoop的版本号一致。实验环境hadoop2.8.3
Flink CDC-Oracle CDC配置及DataStream API实现代码...可实现监控采集一个数据库的多个表
Flink CDC-Oracle CDC配置及DataStream API实现代码...可实现监控采集一个数据库的多个表
PySparkSQL（ DataFrame进阶，函数定义）
开窗函数的引入是为了既显示聚集前的数据，又显示聚集后的数据。即在每一行的最后一列添加聚合函数的结果。开窗用于为行定义一个窗口(这里的窗口是指运算将要操作的行的集合)，它对一组值进行操作，不需要使用 GROUP BY 子句对数据进行分组，能够在同一行中同时返回基础行的列和聚合列。●聚合函数和开窗函数聚
Hive case when 用法详细介绍
在上面的示例中，如果客户的收入大于100,000，则他们被分为“高”收入。如果他们的收入在50,000和100,000之间，则被归类为“中等”收入。在此示例中，如果年龄小于18岁，则将用户归类为“未成年”；例如，假设我们有一个包含客户信息的表，我们想根据客户的收入水平将其分类为高收入，中等收入和低收
大数据知识图谱解码：从核心概念到技术实战
知识图谱是近年来人工智能和数据科学领域的焦点。本文深入探索了知识图谱的核心概念、发展历程、研究内容以及其在表示、存储、获取、构建和推理方面的技术细节。结合Python和PyTorch示例代码，文章旨在为读者提供一个全面、深入且实用的知识图谱概览，帮助广大技术爱好者和研究者深化对此领域的认识。
RabbitMQ 的七种消息传递形式
RabbitMQ 的七种消息传递形式
MQ - KAFKA 高级篇
网卡/磁盘等都可以认为是DMA设备,是一个半自治单元,比如网卡有它自己的运算单元(相当于特异化的cpu)和自己的缓存,网卡接收和发送数据时是不需要cpu的全程参与的,磁盘也是类似的.简单来讲就是dma设备就是cpu领导下的一个不太聪明的小弟,cpu负责指挥小弟去干活,但干活的过程中是不需要cpu参与
RabbitMQ Management指标说明
主要是对RabbitMQ的管理页面参数做详细说明。管理页面主要分为一下几个模块。OverView（概览）、Connections（连接）、Channels（通道）、Exchanges（交换机）、Queues（队列）、Admin（管理）
大数据之非常详细Sqoop安装和基本操作
大数据之非常详细Sqoop安装和基本操作
Hadoop的启动和停止命令
hadoop命令集
数据仓库整理
包括了数据域划分和构建总线矩阵，数据域就是指 将业务过程或者维度进行抽象的集合，在划分数据域的时候，应该尽可能保证当前划分的能够覆盖所有的业务需求，又能在新业务进入时无影响的被包含到已有的数据域中或者扩展新的数据域，国际化数仓里面的数据域包括司机域，乘客域，交易域，客服域，安全域等等，阿里巴巴就会有
大数据系列——Flink理论
Flink是一个对有界和无界数据流进行有状态计算的分布式处理引擎和框架，既可以处理有界的批量数据集，也可以处理无界的实时流数据，为批处理和流处理提供了统一编程模型，其代码主要由 Java 实现，部分代码由 Scala实现。Flink以REST资源的形式和外部进行交互，所以可以集成在所有常见的集群资源
kafka中消息key作用与分区规则关系
在 kafka 2.0.0 的 java sdk 中ProducerRecord 中类注释如下说明了 key 与分区编号的关系。
Flink 状态管理与容错机制(CheckPoint & SavePoint)的关系
例如一个加法算子，第一次输入2+3=5那么以后我多次数据2+3的时候得到的结果都是5。得出的结论就是，相同的输入都会得到相同的结果，与次数无关。访问量的统计，我们都知道Nginx的访问日志一个请求一条日志，基于此我们就可以统计访问量。如下，/api/a这个url第一此访问的时候，返回的结果就是cou
大数据HIVE篇--控制hive任务中的map数和reduce数
空置Map和Reduce的个数
RabbitMQ反序列化未经授权的类异常解决方案
RabbitMQ反序列化异常解决方案
flink源码分析之功能组件(五)-高可用组件
本系列是flink源码分析的第二个系列，上一个《flink源码分析之集群与资源》分析集群与资源，本系列分析功能组件，kubeclient，rpc，心跳，高可用，slotpool，rest，metrics，future。本文解释高可用组件，包括两项服务，主节点选举和主节点变更通知* 高可用服务常见有
Kafka消息发送失败的常见原因及解决方案
异步确认：生产者在发送消息后不等待Kafka服务器的确认响应，而是立刻发送下一条消息。Kafka生产者可以设置重试次数和重试间隔时间，当消息发送失败时，Kafka生产者将自动进行重试。- 同步确认：生产者在发送消息后，等待Kafka服务器的确认响应，直到收到确认响应之后才继续发送下一条消息。这种方式
Kafka3.0.0版本——集群部署（linux环境-centos7）
Kafka3.0.0版本——集群部署（linux环境-centos7）
