编码技巧——@KafkaListener的使用
最近在接手某个项目代码时，发现关于Kafka的consumer相关的代码写的很乱，consumer中写了大量的配置的代码，并且手动的拉取消息，并开启线程消费，不够优雅；理想的做法是单独维护kafka的consumer配置，在定义consumer的bean时，指定topic和group，仅实现消费逻辑
大数据必学Java基础（一百二十四）：Maven的常见插件
（注意：之前用的编译器插件，资源拷贝插件，不是可运行的插件，maven直接帮我们运行了，但是tomcat属于可运行插件，它什么时候工作需要程序员来控制，怎么控制呢？Maven在打包时默认只将src/main/resources里的配置文件拷贝到项目中并做打包处理，而非resource目录下的配置文件
《Java SE》网络编程基础知识归纳。
目录一、网络基本介绍1、什么是网络通信？2、网络3、IP地址4、域名5、网络通信协议6、Socket二、TCP网络通信编程 1、应用实例1（字节流）2、应用实例2（字节流）3、应用实例3（字符流）4、netstat 指令三、UDP网络通信编程 1、基本介绍2、基本流程3、应用实例...
图文详解 MapReduce 工作流程
前言本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系正文MapReduce 编程模型MapReduce 编程模型开发简单且功能强大，专门为并行处理大规模数据量而设
数学建模--评价类模型
一、主观评价1、层次分析法（AHP）①应用场景②步骤③模型实现④代码实现⑤优缺点评价2、模糊综合评价法（FCE）①应用场景②步骤③模型实现3、灰色关联分析法（GRA）①应用场景②步骤③模型实现二、客观评价1、主成分分析（PCA）2、因子分析（FA）①应用场景②步骤③模型分析④代码实现3、Topsis
kafka创建topic、添加配置等相关操作
创建topic、kafka命令行消费者、kafka命令行生产者、删除topic、kafka单个topic增加配置。kafka-console-consumer、kafka-console-producer、kafka-topics、kafka-configs的使用
Hadoop（一）Hadoop概述
Hadoop（一）Hadoop概述
Linux下安装zookeeper教程
Linux下安装zookeeper教程Zookeeper简介1、Zookeeper应用场景Zookeeper单机版安装1、获取安装包1.使用wget命令获取2.从官网下载2、安装步骤3、环境变量配置4、zoo.cfg配置5、zookeeper启动与客户端连接命令Zookeeper简介从字义上解释就是
第6篇: ElasticSearch写操作—原理及近实时性分析(完整版)
目前国内有大量的公司都在使用 Elasticsearch，包括阿里、京东、滴滴、今日头条、小米、vivo等诸多知名公司。除了搜索功能之外，Elasticsearch还结合Kibana、Logstash、Elastic Stack还被广泛运用在大数据近实时分析领域，包括日志分析、指标监控等多个领域.E
高效掌握JDBC技术（一）
以前学习的数据库连接技术：JDBC，好久不使用都有些遗忘了，所以开了一个专栏来分享有关的知识。我会从基础概念到实战一步一步来，循序渐进的高效的记录复习jdbc知识，打下夯实的基础。如有感兴趣的朋友也可以订阅专栏一同学习进步哦。.........
[含有环境搭建]一篇带你读懂HBase
✅作者简介：大家好,我是Philosophy7？让我们一起共同进步吧！🏆 📃个人主页：Philosophy7的csdn博客🔥系列专栏：👑哲学语录: 承认自己的无知，乃是开启智慧的大门💖如果觉得博主的文章还不错的话，请点赞👍+收藏⭐️+留言📝支持一下博>主哦🤞文章目录一、HBas
[机器学习、Spark]Spark机器学习库MLlib的概述与数据类型
MLlib是Spark提供的可扩展的机器学习库，其特点是采用较为先进的迭代式、内存存储的分析计算，使得数据的计算处理速度大大高于普通的数据处理引擎。MLlib的主要数据类型包括本地向量、标注点、本地矩阵。本地向量和本地矩阵是提供公共接口的简单数据模型，Breeze和Jblas提供了底层的线性代数运算
Perfetto分析进阶
一、Perfetto介绍Perfetto是AndroidQ中引入的全新下一代平台级跟踪工具，为Android、Linux和Chrome平台提供了一种通用的性能检测和跟踪分析工具集。其核心是引入了一种全新的用户空间到用户空间的跟踪协议，该协议基于protobuf序列化机制将抓取的数据填充到共享内存缓冲
一文速学-玩转MySQL获取时间、格式转换各类操作方法详解
时间在数据库中经常作为时间索引，在数据入库和出库以及更新的时候都需要变化。在一些指标计算或者是提取某段时间的数据时，都会根据数据库中的时间索引数据进行操作。因此很大一部分我们操作数据都得先从时间数据下手，但是想要真正提取到我们想要的时间作为索引，还需要我们掌握许多功能函数方便我们操作，这是一个比较复
湖仓一体电商项目（十四）：实时任务执行流程
依次启动如下Flink代码：”ProduceKafkaDBDataToODS.scala”、“DimDataToHBase.scala”、“ProduceKafkaODSDataToDWD.scala”、“ProduceUserLogInToDWS.scala”、“ProcessUserLoginI
28道Zookeeper面试题及答案
1、说说 Zookeeper 是什么？2、ZooKeeper 有哪些应用场景？3、说说Zookeeper的工作原理？4、请描述一下 Zookeeper 的通知机制是什么？5、Zookeeper 对节点的 watch 监听通知是永久的吗？6、 Zookeeper 集群中有哪些角色？7、 Zookeep
数据仓库基础
数据库中，最大的特点是面向应用进行数据的组织，各个业务系统可能是相互分离的。主题是一个抽象的概念，是较高层次上企业信息系统中的数据综合、归类并进行分析利用的抽象。而基于主题组织的数据则不同，它们被划分为各自独立的领域，每个领域有各自的逻辑内涵但互不交叉，在抽象层次上对数据进行完整、一致和准确的描述。
ES语法查询
ES库查询语法
大数据毕设选题 - 深度学习口罩佩戴检测系统（python OpenCV YOLO）
🔥 Hi，大家好，这里是丹成学长的毕设系列文章！🔥 对毕设有任何疑问都可以问学长哦!这两年开始，各个学校对毕设的要求越来越高，难度也越来越大… 毕业设计耗费时间，耗费精力，甚至有些题目即使是专业的老师或者硕士生也需要很长时间，所以一旦发现问题，一定要提前准备，避免到后面措手不及，草草了事。为了
数据湖（一）：数据湖概念
数据湖概念一、什么是数据湖数据湖是一个集中式的存储库，允许你以任意规模存储多个来源、所有结构化和非结构化数据，可以按照原样存储数据，无需对数据进行结构化处理，并运行不同类型的分析对数据进行加工，例如：大数据处理、实时分析、机器学习，以指导做出更好地决策。二、大数据为什么需要数据湖当前基
