springboot整合kafka入门
Kafka实际环境有可能会出现Consumer全部宕机，虽然基于Kafka的高可用特性，消费者群组中的消费者可以实现再均衡，所有Consumer不处理数据的情况很少，但是还是有可能会出现，此时就要求Consumer重启的时候能够读取在宕机期间Producer发送的数据。msg=web world31
【消息队列】细说Kafka消费者的分区分配和重平衡
kafka 分区分配和重平衡
2、hive相关概念详解--架构、读写文件机制、数据存储
用户接口包括 CLI、JDBC/ODBC、WebGUI。CLI(command line interface)为shell命令行Hive中的Thrift服务器允许外部客户端通过网络与Hive进行交互，类似于JDBC或ODBC协议WebGUI是通过浏览器访问Hive元数据存储通常是存储在关系数据库如
启动Flink显示初始化状态怎么解决？
启动flink任务胡一直出现初始化状态
Python使用happybase写入HBase
本文介绍如何使用Python的happybase模块和gdal模块，从tif格式的影像文件中读取数据，并将其存储到HBase数据库中。
Hive表统计信息采集及应用
Hive提供了分析表和分区的功能，可以将分析后的统计信息存入元数据中，该功能可以自动执行分析表或手动执行分析表。自动执行分析主要针对新创建的表，可以通过配置启用，配置说明详见。Hive默认启用表级别的统计信息收集，在DML（除了LOAD DATA语句）操作期间，自动收集并更新统计信息。默认不启用列级
大数据竞赛MR培训与题型
JavaHadoopMapReduce 自己定义的需要序列化和反序列化可以通过实现 Writable接口来使用。 在重写map方法时，如果中间处理数据时将类型转化为Java的数据类
【图解RabbitMQ-3】消息队列RabbitMQ介绍及核心流程
在上一节中学习了JMS消息服务与AMQP协议。了解了这两大消息传递技术，这一节就学习基于AMQP协议实现的RabbitMQ消息中间件是什么？RabbitMQ的架构图是怎样的？以及RabbitMQ中的核心组件。有关于消息队列 RabbitMQ 基本介绍到此就结束了。
RabbitMQ 03 直连模式-可视化界面
直连模式-可视化界面
RabbitMQ查询队列使用情况和消费者详情实现
RabbitMQ Management插件还提供了基于RESTful风格的HTTP API接口来方便调用。一共涉及4种HTTP方法：GET、PUT、DELETE和POST。GET方法一般用来获取如集群、节点、队列、交换器等信息。PUT方法用来创建资源，如交换器、队列之类的。DELETE方法用来删除资
使用nginx-lua配置统一url自动跳转到hadoop-ha集群的active节点
配置nginx-conf，其中/root/run_shell/hadoop-status为脚本执行的路径，/tmp/hadoop-status.tmp是随便的一个文件，避免文件名冲突，注意是>不是追加>>，access_by_lua_block是lua脚本，需要要安装上面的带有lua脚本的nginx
Hudi（23）：Hudi集成Hive之同步
Flink hive sync 现在支持两种 hive sync mode, 分别是 hms 和 jdbc 模式。其中 hms 只需要配置 metastore uris；注意：核心点为上述hive_sync系列的配置。
企业级大数据处理实践——基于 Apache Flink
大数据领域正在经历一个百花齐放、草木皆兵的阶段，而Apache Flink作为当下最热门的开源大数据计算框架正在吸引越来越多的企业用户，帮助他们快速构建大数据平台，提升效率和价值。本文将从基础知识出发，通过Flink平台的实践案例，帮助读者搭建起真正可用的企业级大数据平台，并理解其内部运行机制，进而
rabbitmq的优先级队列
在我们系统中有一个的场景，我们的客户在天猫下的订单淘宝会及时将订单推送给我们，如果在用户设定的时间内未付款那么就会给用户推送一条短信提醒，很简单的一个功能对吧，但是，tianmao商家对我们来说，肯定是要分大客户和小客户的对吧，比如像苹果，小米这样大商家一年起码能给我们创造很大的利润，所以理应当然，
Flink源码之State创建流程
Flink内置状态管理是相比其他分布式流式处理系统最大的优势之一，不用借助外部存储组件，就可实现高效可靠的分布式状态管理，极大降低了学习和使用成本。
ZooKeeper 的工作原理
客户端的写请求会被转发给 Leader 节点,Leader 生成事务提案并使用 ZAB 协议广播给所有 Follower 节点,获得半数以上节点的确认后即可提交。客户端可以从任意的 Follower 节点读取数据,如果该节点的数据副本不是最新的,则会导致读取旧数据,ZooKeeper 会使用一致性协
高级篇-rabbitmq的高级特性
1.ReturnCallback:全局callback。2.ComfirmCallback: 发送信息时候设置。3.重启mq后看队列中数据是否还在(是否持久化)2.投递到交换机了，但是没有进入队列。1. 交互机、队列、消息都做持久化。2.消费者端关闭防止被消费。面试题：最后一分钟的总结。1.投递到交
zookeeper增加IP白名单－安全设置
简介： zookeeper未授权访问漏洞，处理这个漏洞最简单，常用的应该就是给zookeeper添加用户名、密码验证，如果项目比较急，且代码不支持zookeeper的用户名、密码验证，那采用ip白名单过滤，无疑是最快、最有效的方法之一。CREATE、READ、WRITE、DELETE、ADMIN 也
【RabbitMQ】RabbitMQ控制台的使用
如果在本机上装了RabbitMQ则在浏览器访问127.0.0.1:15672,如果在服务器装了RabbitMQ则通过在浏览器输入urlip:15762来访问登录后进入主页。
Flink 优化(六) --------- FlinkSQL 调优
Flink SQL 调优
