万字 +图片解析死信队列和死信实战演练
文章目录1、死信队列1.1、概念1.2、死信来源1.3、死信实战1.3.1、代码架构图1、死信队列1.1、概念死信：就是无法被消费的消息。由于特定的原因导致queue中的某些消息无法被消费，这样的消息如果没有后续的处理，就变成了死信，有死信自然就有了死信队列。应用场景：保证订单业务的消息数据不丢失，
更新后-Hive免费版本2.1 报错问题收集
目前还不够全面，慢慢记录2021-12-24 Error while compiling statement: FAILED: SemanticException [Error 10002]: line **Invalid column reference ''错误显示是无效的行，一度怀疑自己查询和
Zeppelin安装配置
目录1.Zeppelin安装 利用Zeppelin工具操作hive,需确保电脑已经启动Hadoop集群和hiveserver2服务。 在master主机上的hive安装目录下启动hiveserver2服务[root@master hive]#bin/hiveserver21. Zeppel
Spark统计一座城市的男女人数，以及男女消费额的最高与最低
Spark统计一座城市的总人数，男女人数，总消费额，人均消费额，以及男女消费额的最高与最低
PageRank算法的MapReduce实现（输入有向图，迭代收敛）
输入为网页有向图的邻接表：通过统计输入文件的行数，即可得之网页总数为4每个网页的初值为1/N，即0.25第一行输入经过map处理后，得到如下结果：B 0.0833C 0.0833D 0.0833同理，第二三四行经过map处理后，得到：A 0.125D 0.125C 0.25B 0.125C 0.12
大数据高级开发工程师——数据采集框架Flume（1）
文章目录数据采集框架FlumeFlume基本介绍概述运行机制Flume采集系统结构图1. 简单结构2. 复杂结构Flume实战案例采集网络端口数据1. Flume的安装部署2. 开发配置文件3. 启动4. 使用 telnet 测试采集目录到HDFS1. 需求分析2. 开发配置文件3. 启动&
五十七、centos创建hadoop用户（修改hadoop用户密码，目录赋予hadoop用户权限等......）
1、创建一个名为hadoops的组groupadd hadoops查看所有组，新增组默认排在最后cat /etc/group2、创建一个名为hadoop的用户，并归到hadoops的组下useradd -g hadoops hadoop查看所有用户，新增用户默认排在最后cat /etc/passwd
基于ubuntu的hadoop完全分布式集群搭建
借鉴网址1借鉴网址2hadoop官方配置教程搭建虚拟机，克隆（或者先配置JAVA和Hadoop环境再克隆，之后要改主机名和映射以及SSH免密）可以利用xsync集群分发脚本一台机器配置其他机器分发修改主机名和ip映射检查配置ssh免密登录这里地址为 ~/.ssh配置JAVAHadoop配置Hadoo
史上最简单的 Elasticsearch 教程
史上最简单的Elasticsearch 系列课程
Hadoop集群进行map词频统计
一、首先新建虚拟机二、配置静态IP 1、首先查看虚拟网络编辑器 查看起始IP 2.1、修改静态IP输入指令：vi /etc/sysconfig/network-scripts/ifcfg-ens33 修改BOOTPROTO=static 增加IPADDR、NETWASK、GATEWAY、DNS1..
spark复习资料
@[TOC](SPARK试题汇总)# 选择题Scala中定义常量使用关键字 ？A. valB. varC. objectD. finalfor(i<-1 to 4;j<-0 to 3 if(i\==j)) print(j)的输出是？A. 1234B. 0123C. 234D. 1
Spark RDD 论文详解（三）Spark 编程接口
前言本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系目录Spark RDD 论文详解（一）摘要和介绍Spark RDD 论文详解（二）RDDsSpark RDD
使用 Spark GraphX 实现 PageRank 算法
前言本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系关联Spark RDD 论文详解（三）Spark 编程接口正文简介GraphX 提供了静态和动态 PageRa
RabbitMQ发布确认和交换机基础总结与实战
文章目录1、发布确认1.1、发布确认的引出1.2、发布确认的策略1.2.1、开启发布确认的方法1.2.2、单个确认发布1.2.3、批量确认发布1.2.4、异步确认发布1.2.5、如何处理异步未确认消息1.2.6、以上3种发布确认的速度对比2、交换机2.1、Exchanges2.1.1、概念2.1.2
10张图理解Elasticsearch核心概念
Elasticsearch（以下称之为ES）是一款基于Lucene的分布式全文搜索引擎，擅长海量数据存储、数据分析以及全文检索查询，它是一款非常优秀的数据存储与数据分析中间件，广泛应用于日志分析以及全文检索等领域，目前很多大厂都基于Elasticsearch开发了自己的存储中间件以及数据分析平台。
【Spark】Spark对数据的读入和写出操作
Spark对数据的读入和写出操作数据存储在文件中CSV类型文件JSON类型文件Parquet操作分区操作数据存储在Hive表中数据存储在MySQL中数据存储在文件中在操作文件前，我们应该先创建一个SparkSession val spark = SparkSession.builder()
es的query查询(term,prefix,exists,match，matchprase,range)
//查询前缀包含的内容POST /products/_search{ "query": { "prefix": { "desc.keyword": { "value": "iP" } } }}POST /products/_search{ "que
分布式计算模式：Stream
分布式计算模式：Stream前言什么是 Stream？Stream 工作原理Storm 的工作原理知识扩展：流计算和批量计算的区别是什么？总结前言分布式计算模式中的 MapReduce 模式的核心思想是，将大任务拆分成多个小任务，针对这些小任务分别计算后，再合并各小任务的结果 以得到大任务的计算结果
Spark3.0核心调优参数小总结
点击上方蓝色字体，选择“设为星标”回复”面试“获取更多惊喜本文已经加入「大数据成神之路PDF版」中提供下载。你可以关注公众号，后台回复：「PDF」即可获取。更多PDF下载可以参考：《重磅...
大数据实训
计算机专业大数据实训怎么做？学大数据为什么要做实训如何高效做好大数据实训一、细心且认真二、认真思考，动手操作三、独立解决出现的问题四、养成好习惯大数据实训的意义个人发展找工作时的优势学大数据为什么要做实训当我们学完大数据课程后，知道了大数据的基本理论，学了大数据理论知识不等于会大数据技术，就如同学武
