使用RabbitMQ发送短信
/交换机//路由//消息队列 }@Service@[email protected]("发送消息。。。。。。");} }
Hive概论、架构和基本操作
Apache Spark是一个快速的，多用途的集群计算系统，相对于Hadoop MapReduce将中间结果保存在磁盘中，Spark使用了内存保存中间结果，能在数据尚未写入硬盘时在内存中进行计算，同时Spark提供SQL支持。Hive是建立在Hadoop上的数据仓库基础架构，它提供了一系列的工具，可
SpringBoot 2.3--2.7版本更新汇总
1、最低要求变更Gradle 6.3+（如果您使用 Gradle 构建）。Jetty 9.4.22+（如果您使用 Jetty 作为嵌入式容器）2、jdk支持添加了对 Java 14 的支持。也支持 Java 8 和 11。3、ElasticSearchNative Elasticsearch tra
Elasticsearch：集群管理的一些建议
在之前的文章 “” ，我们对集群管理做了一些介绍。在今天的文章中，我们接着来聊一下有关配置的方面的问题。这在很大程度上取决于你的用例，是索引还是搜索繁重。我们将在这里讨论在集群设置方面我们需要关注的最佳实践是什么。
如何通过SparkUI 查看SparkSql作业
执行计划中的每个蓝色方块都有非常多的信息可以查看，如肉眼直接可以看到的Scan orc table_name ，number of output rows: 说明扫描了哪个表，这个表有多少行，我们把鼠标放在对应的信息上也会显示详细的信息，扫描的表的hdfs路径，分区，表存在的字段，等等，如下图。注：
ClickHouse高可用集群分片-副本实操(四)
数据分片-允许多台机器/节点同并行执行查询，实现了分布式并行计算分片间的数据是不同的，不同的服务器存储同一张表的不同部分,作用是为了水平切分表,缓解单节点的压力。
python大数据作业-客户价值分析-实训头歌
1、利用python中pandas等库完成对数据的预处理，并计算R、F、M等3个特征指标，最后将处理好的文件进行保存。3、利用Sklearn库和RFM分析方法建立聚类模型，完成对客户价值的聚类分析，并对巨累结果进行评价。4、结合pandas、matplotlib库对聚类完成的结果进行可视化处理。3、
kafka查询offset&生产者offset计算&消费offset计算
对kafka做监控，需要获取到kafka接收到消息的offset和被消费者消费掉消息的offset，编写接口将数值交给prometheus，直接观察判断kafka的消费性能如何。
flink cep
本文详细的介绍了flink cep的概念与基础用法；
力扣-行程和用户
写一段 SQL 语句查出"2013-10-01"至"2013-10-03"期间非禁止用户（乘客和司机都必须未被禁止）的取消率。非禁止用户即 banned 为 No 的用户，禁止用户即 banned 为 Yes 的用户。
【分享】零代码连接钉钉宜搭与钉钉智能人事，轻松管理员工信息
烟台某知名食品有限公司是中国海洋水产企业，专注海洋水产品贸易、深加工30余年，集海洋食品的科研开发、生产、全球销售一体的现代化企业集团旗下的一家子公司。成立于1992年，位于美丽的芝罘岛，占地面积约4万平方米，有顺岸码头500米，一座5000吨冷库及4个国际标准化加工场，通过ISO9001质量体系认
Kafka可视化工具-Offset Explorer使用
一、概述Offset Explorer（以前称为Kafka Tool）是一个用于管理和使Apache Kafka ®集群的GUI应用程序。它提供了一个直观的UI，允许人们快速查看Kafka集群中的对象以及存储在集群主题中的消息。它包含面向开发人员和管理员的功能。二、环境信息系统环境：windows
图书推荐系统（附源码链接）
图书推荐实现了借书还书，信息修改，图书管理，用户管理等功能，使用到spark的地方响应时间较长，是一个弊端
DataX从入门实战到精通一文搞定
DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle 等)、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高效的数据同步功能。Oracle Database，又名 Oracle RDBMS，或简称 Oracle。是甲
Elasticsearch：索引状态是红色还是黄色？为什么？
在今天的文章中，我将详细介绍如何故障排除和修复索引状态。Elasticsearch 是一个伟大而强大的系统，特别是创建一个可扩展性极强的分布式数据存储，并自动跟踪、管理和路由索引中的所有数据。但有时事情会出错，索引会遇到或大或小的麻烦。这通常最终会导致它们具有红色或黄色的状态。集群将紧随其后，因为它
Elasticsearch(二）--Elasticsearch客户端讲解
Kibana是ELK家族中一个开源、免费的可视化数据搜索和分析平台。借助KIbana，用户不需要编码就可以将ES中分析的结果进行可视化呈现，如以常用的饼图、柱状图和时序图等方式呈现。除了可视化数据分析功能，Kibana还提供了Dev Tools，它是一款可以与ES进行交互式请求的工具，可以借助它进行
【大数据-实时流计算】图文详解 Apache Flink 架构原理
在Flink的整个软件架构体系中，同样遵循这分层的架构设计理念，在降低系统耦合度的同时，也为上层用户构建Flink应用提供了丰富且友好的接口。上图是Flink基本组件栈，从上图可以看出整个Flink的架构体系可以分为三层，从下往上依次是物理部署层、Runtime 核心层、API&Libraries层
Flink PostgreSQL CDC配置和常见问题
Postgres的CDC源表（即Postgres的流式源表）用于依次读取PostgreSQL数据库全量快照数据和变更数据，保证不多读也不少读一条数据。即使发生故障，也能采用ExactlyOnce方式处理。idINT,PRIMARYKEY(`id`)NOTENFORCED--如果要同步的数据库表定义了
如何解决ClickHouse的表处于只读状态
在使用ClickHouse的过程中，经常会遇到某个副本的表A处于readonly状态，无法更新数据。原因：说是zookeeper的压力大（建议data和log分开存储到不同的磁盘），metadata元数据丢失。此时通常有两种解决办法：1）创建一个和该表A结构相同的表A'，然后将数据从A表导入到A'，
人工智能知识全面讲解：Boosting族算法
9.2.1 Boosting是什么Boosting是一类算法的统称，翻译成中文为“自适应”算法，它们的主要特点是使用一组弱分类器通过“迭代更新”的方式构造一个强分类器。在每轮迭代中会在训练集上产生一个新的弱分类器，然后使用该弱分类器对所有样本进行分类，从而评估每个样本的重要性。从中文名可以看出来，B
