数据库-ElasticSearch学习笔记
简介Elasticsearch，简称ES，是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口，隐藏Lucene的复杂性。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引
这可能是最详细的分布式锁设计方案了
关于分布式锁的设计方案，你想要的这里都有！
2022届安防展观展体会
非常感谢公司提供的机会，让我能够有这样的机会参观这场技术和产品的饕餮盛宴。半天多的时间，能够非常近距离接触友商，客户，以及处于产业链不同环节的公司和它们的产品，让我获益良多。这里对我个人的观展记录进行总结和分享。我观展的主题围绕AI在产品中的应用落地进行，下面分别从AI的应用场景，芯片算法，软件技术
Flink CDC 高频面试 13 问
大家好，我是土哥。Flink cdc 2.1.1 发布后，更新了很多新功能以及知识点，今天为大家全面总结了 CDC 的知识点如 无锁算法及面试高频考点。具体内容如下：1 cdc 简介2 Flink cdc 2.1.1 新增内容3 核心知识点解刨4 CDC 高频面试题1 cdc 简介CDC (Chan
Kafka的生产者与消费者机制+分区策略你这还不懂？
什么是KafkaKafka是最初由Linkedin公司开发，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目，也是一个开源【分布式流处理平台】，由Scala和Java编写，（也当做MQ系统，但不是纯粹的消息系统）目前 Kafka 已经定位为一个分布式流式处理平台，它以高吞吐、
Flink自定义Sink将数据存到MySQL
Flink自定义Sink将数据存到MySQL
万字 +图片解析死信队列和死信实战演练
文章目录1、死信队列1.1、概念1.2、死信来源1.3、死信实战1.3.1、代码架构图1、死信队列1.1、概念死信：就是无法被消费的消息。由于特定的原因导致queue中的某些消息无法被消费，这样的消息如果没有后续的处理，就变成了死信，有死信自然就有了死信队列。应用场景：保证订单业务的消息数据不丢失，
更新后-Hive免费版本2.1 报错问题收集
目前还不够全面，慢慢记录2021-12-24 Error while compiling statement: FAILED: SemanticException [Error 10002]: line **Invalid column reference ''错误显示是无效的行，一度怀疑自己查询和
Zeppelin安装配置
目录1.Zeppelin安装 利用Zeppelin工具操作hive,需确保电脑已经启动Hadoop集群和hiveserver2服务。 在master主机上的hive安装目录下启动hiveserver2服务[root@master hive]#bin/hiveserver21. Zeppel
Spark统计一座城市的男女人数，以及男女消费额的最高与最低
Spark统计一座城市的总人数，男女人数，总消费额，人均消费额，以及男女消费额的最高与最低
PageRank算法的MapReduce实现（输入有向图，迭代收敛）
输入为网页有向图的邻接表：通过统计输入文件的行数，即可得之网页总数为4每个网页的初值为1/N，即0.25第一行输入经过map处理后，得到如下结果：B 0.0833C 0.0833D 0.0833同理，第二三四行经过map处理后，得到：A 0.125D 0.125C 0.25B 0.125C 0.12
大数据高级开发工程师——数据采集框架Flume（1）
文章目录数据采集框架FlumeFlume基本介绍概述运行机制Flume采集系统结构图1. 简单结构2. 复杂结构Flume实战案例采集网络端口数据1. Flume的安装部署2. 开发配置文件3. 启动4. 使用 telnet 测试采集目录到HDFS1. 需求分析2. 开发配置文件3. 启动&
五十七、centos创建hadoop用户（修改hadoop用户密码，目录赋予hadoop用户权限等......）
1、创建一个名为hadoops的组groupadd hadoops查看所有组，新增组默认排在最后cat /etc/group2、创建一个名为hadoop的用户，并归到hadoops的组下useradd -g hadoops hadoop查看所有用户，新增用户默认排在最后cat /etc/passwd
基于ubuntu的hadoop完全分布式集群搭建
借鉴网址1借鉴网址2hadoop官方配置教程搭建虚拟机，克隆（或者先配置JAVA和Hadoop环境再克隆，之后要改主机名和映射以及SSH免密）可以利用xsync集群分发脚本一台机器配置其他机器分发修改主机名和ip映射检查配置ssh免密登录这里地址为 ~/.ssh配置JAVAHadoop配置Hadoo
史上最简单的 Elasticsearch 教程
史上最简单的Elasticsearch 系列课程
Hadoop集群进行map词频统计
一、首先新建虚拟机二、配置静态IP 1、首先查看虚拟网络编辑器 查看起始IP 2.1、修改静态IP输入指令：vi /etc/sysconfig/network-scripts/ifcfg-ens33 修改BOOTPROTO=static 增加IPADDR、NETWASK、GATEWAY、DNS1..
spark复习资料
@[TOC](SPARK试题汇总)# 选择题Scala中定义常量使用关键字 ？A. valB. varC. objectD. finalfor(i<-1 to 4;j<-0 to 3 if(i\==j)) print(j)的输出是？A. 1234B. 0123C. 234D. 1
Spark RDD 论文详解（三）Spark 编程接口
前言本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系目录Spark RDD 论文详解（一）摘要和介绍Spark RDD 论文详解（二）RDDsSpark RDD
使用 Spark GraphX 实现 PageRank 算法
前言本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系关联Spark RDD 论文详解（三）Spark 编程接口正文简介GraphX 提供了静态和动态 PageRa
RabbitMQ发布确认和交换机基础总结与实战
文章目录1、发布确认1.1、发布确认的引出1.2、发布确认的策略1.2.1、开启发布确认的方法1.2.2、单个确认发布1.2.3、批量确认发布1.2.4、异步确认发布1.2.5、如何处理异步未确认消息1.2.6、以上3种发布确认的速度对比2、交换机2.1、Exchanges2.1.1、概念2.1.2
