kafka消息监听
值得注意的是，上述代码是使用Spring Kafka提供的注解方式来创建Kafka消费者。通过该注解，您可以方便地定义多个消费者，并且框架会自动处理与Kafka的连接、消费消息等底层细节。注解可以订阅多个主题和分区，并指定每个分区的初始偏移量。groupId表示分组，不同组的消费者不是竞争关系。这段
springboot简单使用kafka消费者监听，以及kafka配置账号密码
【代码】springboot简单使用kafka消费者监听，以及kafka配置账号密码。
13、Flink 的table api与sql的基本概念、通用api介绍及入门示例
Apache Flink 有两种关系型 API 来做流批统一处理：Table API 和 SQL。Table API 是用于 Scala 和 Java 语言的查询API，它可以用一种非常直观的方式来组合使用选取、过滤、join 等关系型算子。Flink SQL 是基于 Apache Calcite
大数据学习（十一）hive中获取数组中的元素
hive函数
实验三：熟悉常用的HBase操作
向表tableName、行row(用S_Name表示)和字符串数组fields指定的单元格中添加对 应的数据valueso其中,fields中每个元素如果对应的列族下还有相应的列限定符，用 “columnFamily： column"表示。创建表，参数tableName 表的名称，字符串数组fiel
实现延迟队列的几种方案
步骤：把消息放到一个队列中（这个队列没有消费者，设置了超时时间），当到了超时时间后变成死信，MQ把死信交给绑定好的死信交换机，由死信交换机在交给目标队列，监听者监听这个目标队列即可。缺点：这种方案发布的时间可以会有误差，因为五分钟才执行一次，如果缩短时间设置一分钟或者几十秒执行一次那么数据库压力非常
MATLAB给数据加噪声/扰动
例：给正弦函数生成的数据加上相对误差水平为0.1的噪声：
【大数据之Hive】五、Hiveserver2服务部署
hiveserver2提供JDBC/ODBC接口，使得用户可以远程访问Hive数据，即作为客户端的代理与Hadoop集群进行交互。hiveserver2部署时需要部署到一个能访问集群的节点上，保证能够直接往Hadoop上提交数据。用户在客户端提交SQL语句时，由hiveserver请求HDFS或者提
Eureka注册中心
Eureka注册中心功能：服务注册与服务发现。提供者与消费者。在服务调用关系中，会有两个不同的角色：服务提供者：一次业务中，被其它微服务调用的服务。（提供接口给其它微服务）服务消费者：一次业务中，调用其它微服务的服务。（调用其它微服务提供的接口）服务既可以是服务提供者，也可以是服务消费者。.....
数据湖如何为企业带来9%的高增长？可否取代数据仓库？
客户认为云作为数据湖的优势的主要原因是更好的安全性、更快的部署、更好的可用性、更频繁的特性/功能更新、更具弹性、更广的地理覆盖范围以及与实际利用率相关的成本。数据湖允许您运行分析，而无需将数据移至单独的分析系统。数据仓库，也称为企业数据仓库，是一种数据存储系统，它将来自不同来源的结构化数据聚合起来，
对账平台设计
随着公司业务的蓬勃发展，交易履约清结算业务的复杂性也在不断的增高，资金以及各种数据的一致性和准确性也变得越发重要。
kettle-读取共享对象时发生一个严重错误
kettle 创建转换时发生一个严重错误
zookeeper报错length is greater than jute.maxbuffer=1048575
最近在给上云项目部署系统，通过压测都已经正式上生产后发现kafka存在异常错误，经排查发现zookeeper也存在错误，怀疑kafka的问题可能是由于zk异常到的，报错如下排查过程如下------------------>
logstash同步数据从kafka到es集群
【代码】logstash同步数据从kafka到es集群。
服务攻防-数据库安全-服务应用的安全问题以及测试流程-Mysql&Hadoop&未授权访问&RCE-漏洞复现
因为其服务是放在内网主机上面的，在内网内开了许多服务（端口 ），比如web和数据库，但是其只将web映射到外网，所以我们只能看到其服务在外网是开的，但是在进行扫描的时候我们扫描的仅仅是组网主机，而组网主机会将数据转发到内网再做处理，所以我们检测不到对应服务端口的开放。有些服务是通过口令验证来去判断服
笔记：配置多个kafka生产者和消费者
当然也可以只定义生产者或者只定义消费者，按需进行，以下示例是同时定义生产者和消费者。/*** 自定义kafka配置*//** 生产者 *//** 消费者 *//** 配置文件*/// @Primary 要指定一下，不然启动会因为存在多个KafkaProperties,而导致kafka的自动装配不懂要
RabbitMQ-基础学习
路由模式相当于增加一层限制，只有通过相应的限制交换机才能将消息发布到对应的队列，也就是在发布的时候路由参数数设置值，且交换机类型必须为direct。相对于routing在队列增加了匹配规则，让交换机发送与队列接受更加灵活。设置为BuiltinExchangeType.TOPIC。消费着只需要绑定相应
Zookeeper中的客户端配置认证(zoo_client.conf)
zk 客户端认证方式
HBase API设置列族的VERSION【留给有缘人】
如何使用 hbase api去设置hbase中数据的version呢？Delete类型的Cell有何意义？
Hive中的in、exists和left semi join
Hive中的in、exists和left semi join
