安装dnsmasq错误
安装DIG命令yum install bind-utils用命令查询可解析IPdig @114.114.114.114 registry-1.docker.io修改hosts映射vim/etc/hosts去dockerhub找一个下载量高的镜像安装
大数据Hadoop之——Scala基础
文章目录一、概述二、Scala发展历史三、 Scala 和 Java 关系四、Scala 环境搭建一、概述Scala是一门多范式的编程语言，一种类似java的编程语言 ，设计初衷是实现可伸缩的语言 、并集成面向对象编程和函数式编程的各种特性。Spark就是使用Scala编写的。因此为了更好的学习Sp
centos7搭建集群过程
搭建集群
Flume 与 Kafka 集成开发（和最近的日记）
自从早上的kafka被拿下之后，我今天的进度异常顺利，果然版本对了啥都不容易错，版本错了啥都是错的。平常看视频最多也就7 8 个，今天差不多看了十二三个，九点四十左右结束。明天再整理了，太累了。 刚刚得到一个好消息，后天的图书馆要解封了，确实幸喜，明天寝室艰苦奋斗一天，后天又可以去图书馆了..
Digispark USB开发板的应用_写给刚学完C的你
近万字教学，一杯奶茶的价格就可以制作的BadUSB可作为刚学完C语言的初次练习。本教程仅提供技术指导。有问题请在文章下方留言或联系个人VX。
【云计算平台】Hadoop伪分布式模式环境搭建
Centos7环境 – Hadoop伪分布式模式部署前一篇博客 Hadoop单机模式部署 中已经配置好了jdk环境，对hadoop软件也进行了安装和基本配置；本篇博客承接前篇，简单记录一下Hadoop伪分布式模式部署，伪分布式的部署应该会比较规范一点了，这里会新建一个hadoop用户来进行与hado
关系型数据库与非关系型数据库
1.关系型数据库（RDBMS)概述：sun,avg,max,min......侧重于关联计算例如：mysql没建立索引时：计算机只记录开头的第一个比特点，当查询时需要经过多次过筛选。建立了索引后：建立一个数据结构，为了查一条数据，还要进行多余的很多次计算2.非关系型数据库（NoSQL)概述：单点或者
Kafka消费者组整合代码实现分区分配策略以及offset使用场景
分区分配策略、Range、RoundRobin、Sticky 以及再平衡、offset 位移、自动提交offset、手动提交 offset、指定 Offset 消费、指定时间消费、漏消费和重复消费、消费者事务、数据积压
Export大数据量导出和打包
Export大数据量导出和打包
Kafka入门
Kafka是一个分布式系统，由通过高性能TCP网络协议进行通信的服务器和客户端组成。它可以部署在本地和云环境的裸机硬件、虚拟机和容器上。服务器：Kafka作为一个或多个服务器的集群运行，可以跨越多个数据中心或云区域。其中一些服务器形成存储层，称为代理。其他服务器运行Kafka Connect以将数据
MySql通过父id递归向下查询子节点
不用写存储过程，不用建数据库函数，一段sql就可以实现不用写存储过程，不用建数据库函数，一段sql就可以实现不用写存储过程，不用建数据库函数，一段sql就可以实现SELECT ID.LEVEL, DATA.* FROM ( SELECT @ids AS _ids, ( SELECT @ids :
利用用户行为数据——基于Spark平台的协同过滤实时电影推荐系统项目系列博客（二）
系列文章目录初识推荐系统——基于Spark平台的协同过滤实时电影推荐系统项目系列博客（一）……项目资源下载电影推荐系统网站项目源码Github地址（可Fork可Clone）电影推荐系统网站项目源码Gitee地址（可Fork可Clone）电影推荐系统网站项目源码压缩包下载（直接使用）电影推荐系统网站项
springBoot整合ElasticSearch【代码直接复制可用】（超级详细）
前期准备工作安装Elasticsearch+Kibana需要先安装好jdk（这个自行下载安装，就不过多说了）官方下载地址点击下载https://www.elastic.co/cn/downloads/elasticsearch建议不要下载过高版本的，也不要下载过低版本的，博主6、7、8版本都下载过，
Kafka原理及应用实践，用心看这篇就够了【重点】
1.1 概述Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据，具有高性能、持久化、多副本备份、横向扩展能力。1.2 基础架构及术语通过上面一张图，可能有的术语还不太清楚，下面我们一个一个的解释：Producer：Producer即生产者，消息的产生者，是
2022字节跳动数仓实习面经（2、3面、hr面）
字节已经给offer了，今天接着上一篇抖音电商部门的数仓实习生面经，这次面试是2、3面的总结，就放在一起吧。对往期内容感兴趣的同学可以查看如下内容👇:2022字节一面面经: 2022字节跳动数据仓库实习面经.2022 字节被拒面经: 2022暑期实习字节跳动数据研发面试经历.2022百度面经: 2
Dubbo源码分析，读完定能有所收获
Dubbo、源码、调用关系、整体设计、分层、服务注册与消费源码分析、注册中心Zookeeper剖析、目录结构、注册过程分析、URL规则分析、消费过程分析、拓展SPI源码分析、getExtensionLoader加载过程、Adaptive功能实现原理、集群容错源码分析、信息缓存Directory、路由
Hadoop简介和体系架构
目录2．1 Hadoop简介2．1．1 Hadoop由来2．1．2 Hadoop发展历程2．1．3 Hadoop生态系统2．2 Hadoop的体系架构2．2．1 分布式文件系统HDFS2．2．2 分布式计算框架MapReduce2．2．3 分布式资源调度系统YARN2. 2. 4三大发行版本2．1
消息队列的消息积压解决办法
1.1 概述其实本质针对的场景，就是说可能你的消费端出了问题，不消费了；或者消费的速度极其慢。接着就坑爹了，就可能出现以下三大问题场景：1、可能你的消息队列集群的磁盘都快写满了，都没人消费，这个时候怎么办？2、或者是这整个就积压了几个小时，你这个时候怎么办？3、或者是你积压的时间太长了，导致比如 R
分库分表Sharding
这里写目录标题前言什么是分库分表？使用场景分库分表的复杂性技术选型demo前言笔者学年尚浅，目前接触的项目数据量不是很多，单表数据库最多的表数据量为562w，是一个学校的课程信息表，但是需要关联的表还是挺多的，如学籍表，如用户表等，按目前业务的发展来看，数据的增长量还是较快的。目前的查询效率未到千万
如何保证生产中RabbitMQ的高可用，看本文就够了【重点】
1.1 概述本文来探究一下使用消息队列的热点问题，如何保证消息队列的高可用，本文使用的消息队列是RabbitMQ，后续会出其他热门的MQ教程，敬请期待。1.2 RabbitMQ 的高可用性RabbitMQ基于主从模式实现高可用。RabbitMQ 有三种模式：单机模式、普通集群模式、镜像集群模式。1.
