聊聊 Kafka：如何避免消费组的 Rebalance
一、前言我们上一篇聊了 Rebalance 机制，相信你对消费组的重平衡有个整体的认识。这里再简单回顾一下，Rebalance 就是让一个 Consumer Group 下所有的 Consumer 实例就如何消费订阅主题的所有分区达成共识的过程。在 Rebalance 过程中，Consumer Gr
2022DeepBrainChain双周报第103期(01.01-01.15)
合法合规地倔强生长~
大数据技术使用java实现MapReduce对文件进行切分，分类汇总
大数据技术使用java实现MapReduce对文件进行切分，分类汇总
TDengine：开源、高效的物联网大数据平台
一、物联网介绍物联网是一个非常宽泛的概念，它意味着各种设备和机器可以通过互联网进行连接并进行信息交换，主要应用在家居、医疗、交通等领域。 2021年7月13日，中国互联网协会发布了《中国互联网发展报告（2021）》，物联网市场规模高达1.7万亿元。二、主流平台1.亚马逊云科技（aws）aws物联网服
Apache 董事会即将终止 Apache Ambari 项目
2022年01月10日，来自 Cloudera 的工程师、Apache Ambari PMC 主席 Jayush Luniya 给 Ambari 社区发送了一封名为《[VOTE] Move...
Hadoop——MapReduce（3）
MapReduce：自己处理业务相关代码 + 自身的默认代码文章目录1.MapReduce优缺点2.MapReduce进程3.序列化4 InputFormat数据输入4.1 切片与MapTask并行度决定机制4.2 Job提交流程源码详解4.3 FileInputFormat 切片机制4.4 Fil
实时数仓中维度数据为什么采用HBase?
为什么不使用Redis?维度中user用户维度数据量大。为什么不适用MySQL?并发压力太大了，因为MySQL中的表本来就和用户打交道，响应用户请求，增删改查，再用它去查维度数据就没必要。初次之外还可以选择ES，这主要取决于实际场景或者架构师跟喜欢哪一种。...
springboot,vue,echart,mysql数据可视化-男女比例图-需求数据不存储在数据库中
由于自己的项目需要大数据可视化，所以就得学习，对于数据的处理就是一个难事，我在想如何对男女这个数据进行处理，因为两个数据不可能存储在数据库中，所以就需要hashmap这种形式去存储，而且男女人数是存储在另外一张表的，需要使用sql去统计出来。所以我不是从数据库中直接读取的男女总数，代码如下：后端代码
大数据Java基础DAY8（面向对象——封装）
封装封装概述 是指隐藏对象的属性和实现细节，仅对外提供公共访问方式。好处： 隐藏实现细节，提供公共的访问方式 提高了代码的复用性 提高安全性。封装原则： 将不需要对外提供的内容都隐藏起来。 把属性隐藏，提供公共方法对其访问。...
大数据Java基础DAY7（面向对象基础）
面向对象1、什么是面向对象的思想？ 面向对象的思想是基于面向过程的思想发展而来的。 面向过程：强调的是实现功能的每一个步骤 面向对象：强调的是对象，然后由这个对象去调用功能2、面向对象的特点： 1)、是一种更加符合我们现实生活习惯的思想 2)、可以将复杂的事情简单化 3)、我们从之前的参
HadoopHA 搭建
1.准备三台机器 centos7安装步骤 略（ 可以看我的 虚拟机安装 centos7 文章）2.配置免秘钥访问略（可以看我的免秘钥配置文章）3.JKD 安装1.8略4.Hadoop官网下载3.1.2网址 http://hadoop.apache.org/https://archive.apache
Hadoop HA《hadoop-Yarn》
1.Hadoop集群HA搭建可参考我的文章《Hadoop分布式搭建（一）》2.修改环境变量cd /opt/hadoop-3.1.2/etc/hadoopvi hadoop-env.shexport JAVA_HOME=/usr/lib/jvm/jdk1.8.0_111export HDFS_NAME
大数据之Javase
Java基础总结1
Python大数据-对淘宝用户的行为数据分析
数据获取本次数据是在网上获取的来源于： 数据集-阿里云天池 ，不在进行抓取或收集，大家可以看这篇文章Python爬虫-抓取数据到可视化全流程的实现，详细的写了数据抓取的过程数据清洗首先该数据是在多个文件下的CSV文件，通过递归对文件夹内所有文件进行查询，并合并了所有的指定文件，具体的操作步骤大家可以
大数据分析-零基础学Tableau+超详细讲解+示例练习（一）
大数据分析-零基础学Tableau+超详细讲解+示例练习（一）
[NewLife.XCode]实体队列（多线程生产的大数据集中保存）
Python微信订餐小程序课程视频https://edu.csdn.net/course/detail/36074Python实战量化交易理财系统https://edu.csdn.net/course/detail/35475阅读目录什么是实体队列如何使用实体队列提升吞吐系列教程NewLife.XC
新同事卷的要死 , 天天加班，动不动就手写spring , 直呼崩溃
2022了，是不是在备战金三银四了呢？最近在各大论坛和社区里看见不少小伙伴慷慨地分享了常见的面试题和八股文，为此咱这里也统一做一次大整理和大归类，这也算是划重点了。含：Spring Boot、SpringMVC、SpringIOC、spring特点、轻量级、控制反转、面向切向、容器、框架集合、核心组
Redis 作为消息队列
Redis 作为消息队列消息队列消息保序重复消息处理消息可靠性保证List 作为消息队列Streams 的消息队列、消息队列消息队列在存取消息时，必须要满足三个需求，分别是消息保序、处理重复的消息和保证消息可靠性。消息保序虽然消费者是异步处理消息，但是，消费者仍然需要按照生产者发送消息的顺序来处理消
【Hadoop】——JavaAPI操作
Haoop Java API操作
Coinbase买买买，越玩越大
Coinbase 收购 FairX 以推出加密衍生品加密货币交易所 Coinbase（爹一样的美国合规虚拟货币交易所） 正在收购美国衍生品平台 FairX。此举可能为 Coinbase 在美国提供加密衍生产品打开大门 目前，只有少数交易所允许美国投资者交易比特币和以太币期货，现金结算的产品是最受欢迎
