Hadoop简介和体系架构
目录2．1 Hadoop简介2．1．1 Hadoop由来2．1．2 Hadoop发展历程2．1．3 Hadoop生态系统2．2 Hadoop的体系架构2．2．1 分布式文件系统HDFS2．2．2 分布式计算框架MapReduce2．2．3 分布式资源调度系统YARN2. 2. 4三大发行版本2．1
消息队列的消息积压解决办法
1.1 概述其实本质针对的场景，就是说可能你的消费端出了问题，不消费了；或者消费的速度极其慢。接着就坑爹了，就可能出现以下三大问题场景：1、可能你的消息队列集群的磁盘都快写满了，都没人消费，这个时候怎么办？2、或者是这整个就积压了几个小时，你这个时候怎么办？3、或者是你积压的时间太长了，导致比如 R
分库分表Sharding
这里写目录标题前言什么是分库分表？使用场景分库分表的复杂性技术选型demo前言笔者学年尚浅，目前接触的项目数据量不是很多，单表数据库最多的表数据量为562w，是一个学校的课程信息表，但是需要关联的表还是挺多的，如学籍表，如用户表等，按目前业务的发展来看，数据的增长量还是较快的。目前的查询效率未到千万
如何保证生产中RabbitMQ的高可用，看本文就够了【重点】
1.1 概述本文来探究一下使用消息队列的热点问题，如何保证消息队列的高可用，本文使用的消息队列是RabbitMQ，后续会出其他热门的MQ教程，敬请期待。1.2 RabbitMQ 的高可用性RabbitMQ基于主从模式实现高可用。RabbitMQ 有三种模式：单机模式、普通集群模式、镜像集群模式。1.
ElasticSearch(超详细解说)[springBoot整合ElasticSearch]
ElasticSearch简介ElasticSearch：智能搜索，分布式搜索引擎。是ELK的一个组成。是一个产品，而且是非常完善的产品，ELK代表的是：E就是ElasticSearch，L就是Logstach，K即使KibanaE:ElasticSearch 搜索和分析的功能；L:Logstach
Zookeeper的架构设计及原理分析
1. Zookeeper 设计猜想Zookeeper 作为一个分布式协调组件，很多应用系统都会依赖Zookeeper来实现相关业务的处理。前面我们一直在提到，在分布式架构中任何节点都不能以单点状态存在，所以Zookeeper首先需要解决的是单点故障问题，而常见的解决方案就是做主从集群，这个在前面的很
电信天翼云NB-IOT平台数据接入
1.引入依赖 <dependency> <groupId>com.ctiot.aep</groupId> <artifactId>mq-msgpush-sdk</artifactId> <version>1.0.1
水浊度传感器（ ADC 代码详解）
水浊度传感器硬件使用STM32F103 RCT6 （32芯片）TSW-30 (水浊度传感器)软件使用keil5 MDK串口调试助手实现说明 1. 水浊度传感器原理：这款浊度传感器利用光学原理，通过溶液中的透光率和 散射率来综合判断浊度情况。传感器内部
【meArm机械臂】第二篇·Arduino控制程序
meArm机械臂的Arduino测试及控制程序
树莓派如何与物联网平台交互（搭建一个树莓派网关）（一）
一、功能描述 树莓派网关采集485温湿度传感器以及485门磁开关状态数据上报到涂鸦云平台；同时收到云端的指令，树莓派网关处理之后，控制继电器动作，同时继电器返回当前的状态给云端。树莓派与涂鸦云平台交互代码：demo1下载地址树莓派与485子设备通信代码： demo2下载地址二、硬件准备树
那一年，我们在巴塞罗那找到的「ONES 图腾」
临近2021年岁末，「圣诞之星」被悬挂到圣家族大教堂第二高塔「圣母塔」之上，这意味着大教堂进入了最后的施工阶段。圣家族大教堂（简称「圣家堂」）被称为世界上最著名的「烂尾楼」——从1882年...
电力大数据存在的问题和解决方案
摘要：随着信息科学技术的进步，电力企业逐步实现了智能化、信息化管理，在此基情况下电力系统的信息数据也得到了迅速增长。电力大数据在提高电力企业工作质量和效率的同时，也存在着显著的安全问题，影响着电力大数据的应用。针对电力大数据的安全问题进行有效地解决，是当前电力企业面临的重要工作任务。什么是电力大数据
元宇宙--基础知识（二）
元宇宙价值链及元宇宙的运行机制
数字赋能 | 陕建数科与益企联科技签署合作伙伴协议
2月16日上午，陕西建工集团数字科技有限公司举行开业仪式。陕西建工党委书记、董事长张义光出席并致辞。北京益企联科技有限公司CEO何晓军出席开业仪式。▲陕建数字科技公司举行开业仪式▲陕西建工党委书记、董事长张义光致辞张义光在致辞中指出，组建陕建数科公司是集团紧跟国家数字化战略布局，大力推进建筑数字科技
RabbitMQ
RabbitMQ什么是消息队列消息（Message）是指在应用间传送的数据。消息可以非常简单，比如只包含文本字符串，也可以更复杂，可能包含嵌入对象。消息队列（Message Queue）是一种应用间的通信方式，消息发送后可以立即返回，由消息系统来确保消息的可靠传递。消息发布者只管把消息发布到 MQ
RabbitMQ学习总结（三）之linux环境安装rabbitmq
linux安装rabbitmq
elasticsearch安装ik分词器
elasticsearch安装ik分词器
大数据学习笔记
大数据面试（一）前言hive组成hive与mysql的区别内部表和外部表区别4个by自定义函数窗口函数hive优化数据倾斜杂SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入前
【云计算平台】Hadoop单机模式环境搭建
Centos7环境 – Hadoop单机模式部署接上一篇博客 点我跳转到虚拟机搭建，配置好虚拟机环境后进行hadoop单机模式的部署，我的云计算课程中只要求了简单的单机模式部署，如果有精力的话，应该会把伪分布式部署也简单地记录一下1. Hadoop介绍：Apache Hadoop 项目为可靠，可扩展
SpringBoot加ES整合的一些基本方法
springboot整合elasticsearch一些基本用法
