【Hadoop生态圈】2.使用Flume采集日志数据到HDFS中

使用Flume采集日志数据到HDFS中

大数据之Kerberos认证与kafka开启Kerberos配置

​Kerberos 是一种计算机网络认证协议,用来在非安全网络中,对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构,并且能够进行相互认证,即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听、防止重放攻击、保护数据完整性

Kubernetes1.23搭建Elasticsearch7集群(集群加密)

Kubernetes1.23.1上部署Elasticsearch7.16.2+Kibana7.16.2基于Kuboard3.3.0管理,内容详细且经过博主一步步创建、线上运行使用实战性极强,欢迎大家学习讨论!

ElasticSearch-第二天

es第二天

Hive 数据库常用基础命令

hive数据仓库的基本sql命令

Spark高手之路1—Spark简介

Spark官网Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎,相对于 Hadoop MapReduce 将中间结果保存在磁盘中, Spark 使用了内存保存中间结果, 能在数据尚未写入硬盘时在内存中进行运算.Spark 只是一个计算框架, 不像 Hadoop 一样包含了分布式文件

prometheus监控hadoop

prometheus监控hadoop

基于Linux的Spark安装与环境配置

基于Linux的Spark安装与环境配置

聊聊在springboot项目中如何配置多个kafka消费者

不知道大家有没有遇到这样的场景,就是一个项目中要消费多个kafka消息,不同的消费者消费指定kafka消息。遇到这种场景,我们可以通过kafka的提供的api进行配置即可。但很多时候我们会使用spring-kafka来简化开发,可是spring-kafka原生的配置项并没提供多个kafka配置,因此

【实时数仓】CDC简介、实现DWD层业务数据的处理(主要任务、接收kafka数据、动态分流*****)

CDC是Change Data Capture(变更数据获取)的简称。核心思想是,监测并捕获数据库的变动(包括数据或数据表的插入、更新以及删除等),将这些变更按发生的顺序完整记录下来,写入到消息中间件中以供其他服务进行订阅及消费。CDC主要分为基于查询和基于Binlog两种方式,主要了解一下这两种之

【Hadoop全分布式环境搭建】

Hadoop全分布式集群搭建,ntp时间同步,免密登录,hadoop一键启动

Error: Unable to find a match: mysql-community-server

Linux安装MySQL出现问题

hadoop之JobHistoryServer无法启动的解决方案

看完这些问题后,我继续网上翻阅出现了下面这段话,显示我的jdk版本是18的,版本冲突了,导致service编译通过(因为有jdk),然后运行失败(版本不兼容),但在次之前我是已经将java的jdk版本改到了8但是我的机子里面确实还装了一个jdk18版本,并且两个都是全局生效export。第一步:检查

大数据Canal(四):Canal HA原理及安装

Canal一般用于实时同步数据场景,那么对于实时场景HA显得尤为重要,Canal支持HA搭建,canal的HA分为两部分,canal server和canal client分别有对应的HA实现。将Canal安装包上传到node3,node4,并解压到“/software/canal”目录下,修改“/

hdfs小文件合并

hdfs小文件合并

电商在线订单分析与可视化

对电商数据进行数据分析,数据集在资源

连接器产业深度分析报告,国产化替代如何突出重围?(附厂商名录)

根据Bishop&Associate统计,汽车是目前连接器产品中最大的下游应用领域,2021年全球汽车连接器市场规模增长到170.80亿美元,高于同期全球连接器总规模增速,预计2025 年全球汽车连接器市场规模将达到194.52亿美元。目前,相对于站在主舞台的集成电路和行情暴涨的分立器件,连接器(C

Hadoop集群配置2

本章节讲对Hadoop安装后的一些基本配置,对于slave1和slave2的分发和使用!

猿创征文 | 国产数据库之神通数据库详解安装和使用

神通数据库详解安装和使用

PHP Kafka 使用详解

PHP使用kafka进行消息订阅

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈