Kafka的生产者与消费者机制+分区策略你这还不懂？
什么是KafkaKafka是最初由Linkedin公司开发，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目，也是一个开源【分布式流处理平台】，由Scala和Java编写，（也当做MQ系统，但不是纯粹的消息系统）目前 Kafka 已经定位为一个分布式流式处理平台，它以高吞吐、
Flink自定义Sink将数据存到MySQL
Flink自定义Sink将数据存到MySQL
万字 +图片解析死信队列和死信实战演练
文章目录1、死信队列1.1、概念1.2、死信来源1.3、死信实战1.3.1、代码架构图1、死信队列1.1、概念死信：就是无法被消费的消息。由于特定的原因导致queue中的某些消息无法被消费，这样的消息如果没有后续的处理，就变成了死信，有死信自然就有了死信队列。应用场景：保证订单业务的消息数据不丢失，
更新后-Hive免费版本2.1 报错问题收集
目前还不够全面，慢慢记录2021-12-24 Error while compiling statement: FAILED: SemanticException [Error 10002]: line **Invalid column reference ''错误显示是无效的行，一度怀疑自己查询和
Zeppelin安装配置
目录1.Zeppelin安装 利用Zeppelin工具操作hive,需确保电脑已经启动Hadoop集群和hiveserver2服务。 在master主机上的hive安装目录下启动hiveserver2服务[root@master hive]#bin/hiveserver21. Zeppel
Spark统计一座城市的男女人数，以及男女消费额的最高与最低
Spark统计一座城市的总人数，男女人数，总消费额，人均消费额，以及男女消费额的最高与最低
PageRank算法的MapReduce实现（输入有向图，迭代收敛）
输入为网页有向图的邻接表：通过统计输入文件的行数，即可得之网页总数为4每个网页的初值为1/N，即0.25第一行输入经过map处理后，得到如下结果：B 0.0833C 0.0833D 0.0833同理，第二三四行经过map处理后，得到：A 0.125D 0.125C 0.25B 0.125C 0.12
大数据高级开发工程师——数据采集框架Flume（1）
文章目录数据采集框架FlumeFlume基本介绍概述运行机制Flume采集系统结构图1. 简单结构2. 复杂结构Flume实战案例采集网络端口数据1. Flume的安装部署2. 开发配置文件3. 启动4. 使用 telnet 测试采集目录到HDFS1. 需求分析2. 开发配置文件3. 启动&
五十七、centos创建hadoop用户（修改hadoop用户密码，目录赋予hadoop用户权限等......）
1、创建一个名为hadoops的组groupadd hadoops查看所有组，新增组默认排在最后cat /etc/group2、创建一个名为hadoop的用户，并归到hadoops的组下useradd -g hadoops hadoop查看所有用户，新增用户默认排在最后cat /etc/passwd
基于ubuntu的hadoop完全分布式集群搭建
借鉴网址1借鉴网址2hadoop官方配置教程搭建虚拟机，克隆（或者先配置JAVA和Hadoop环境再克隆，之后要改主机名和映射以及SSH免密）可以利用xsync集群分发脚本一台机器配置其他机器分发修改主机名和ip映射检查配置ssh免密登录这里地址为 ~/.ssh配置JAVAHadoop配置Hadoo
史上最简单的 Elasticsearch 教程
史上最简单的Elasticsearch 系列课程
Hadoop集群进行map词频统计
一、首先新建虚拟机二、配置静态IP 1、首先查看虚拟网络编辑器 查看起始IP 2.1、修改静态IP输入指令：vi /etc/sysconfig/network-scripts/ifcfg-ens33 修改BOOTPROTO=static 增加IPADDR、NETWASK、GATEWAY、DNS1..
spark复习资料
@[TOC](SPARK试题汇总)# 选择题Scala中定义常量使用关键字 ？A. valB. varC. objectD. finalfor(i<-1 to 4;j<-0 to 3 if(i\==j)) print(j)的输出是？A. 1234B. 0123C. 234D. 1
Spark RDD 论文详解（三）Spark 编程接口
前言本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系目录Spark RDD 论文详解（一）摘要和介绍Spark RDD 论文详解（二）RDDsSpark RDD
使用 Spark GraphX 实现 PageRank 算法
前言本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系关联Spark RDD 论文详解（三）Spark 编程接口正文简介GraphX 提供了静态和动态 PageRa
RabbitMQ发布确认和交换机基础总结与实战
文章目录1、发布确认1.1、发布确认的引出1.2、发布确认的策略1.2.1、开启发布确认的方法1.2.2、单个确认发布1.2.3、批量确认发布1.2.4、异步确认发布1.2.5、如何处理异步未确认消息1.2.6、以上3种发布确认的速度对比2、交换机2.1、Exchanges2.1.1、概念2.1.2
10张图理解Elasticsearch核心概念
Elasticsearch（以下称之为ES）是一款基于Lucene的分布式全文搜索引擎，擅长海量数据存储、数据分析以及全文检索查询，它是一款非常优秀的数据存储与数据分析中间件，广泛应用于日志分析以及全文检索等领域，目前很多大厂都基于Elasticsearch开发了自己的存储中间件以及数据分析平台。
【Spark】Spark对数据的读入和写出操作
Spark对数据的读入和写出操作数据存储在文件中CSV类型文件JSON类型文件Parquet操作分区操作数据存储在Hive表中数据存储在MySQL中数据存储在文件中在操作文件前，我们应该先创建一个SparkSession val spark = SparkSession.builder()
es的query查询(term,prefix,exists,match，matchprase,range)
//查询前缀包含的内容POST /products/_search{ "query": { "prefix": { "desc.keyword": { "value": "iP" } } }}POST /products/_search{ "que
分布式计算模式：Stream
分布式计算模式：Stream前言什么是 Stream？Stream 工作原理Storm 的工作原理知识扩展：流计算和批量计算的区别是什么？总结前言分布式计算模式中的 MapReduce 模式的核心思想是，将大任务拆分成多个小任务，针对这些小任务分别计算后，再合并各小任务的结果 以得到大任务的计算结果
