Hadoop集群启动但是没有datanode/namenode的情况
Hadoop集群我们是用三台笔记本电脑装了Ubuntu虚拟机然后进行集群的搭建。但是后来启动集群,一开始是主节点没启动起来,因为配置文件看走眼,配错了,然后又重新初始化了一次,然后可能因为重复初始化,导致datanode又没了,然后一直在尝试,一直在搜CSDN到底什么原因。目前根据搜索到的以及老师说
大数据开发工程师是做什么的?岗位要求高吗?
大数据开发工程师是做什么的?岗位要求高吗?大数据开发工程师要负责数据仓库建设、ETL开发、数据分析、数据指标统计、大数据实时计算平台及业务开发、平台建设及维护等工作内容。熟练掌握数据仓库、hadoop生态体系、计算及二次开发、大数据平台工具的开发:开发平台、调度系统、元数据平台等工具,该岗位对于技术
Hadoop3.3.4最新版本安装分布式集群部署
NameNode和SecondaryNameNode不要安装在同一台服务器ResourceManager也很消耗内存,不要和NameNode、SecondaryNameNode配置在同一台机器上。
【Hadoop生态圈】2.使用Flume采集日志数据到HDFS中
使用Flume采集日志数据到HDFS中
大数据之Kerberos认证与kafka开启Kerberos配置
Kerberos 是一种计算机网络认证协议,用来在非安全网络中,对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构,并且能够进行相互认证,即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听、防止重放攻击、保护数据完整性
Kubernetes1.23搭建Elasticsearch7集群(集群加密)
Kubernetes1.23.1上部署Elasticsearch7.16.2+Kibana7.16.2基于Kuboard3.3.0管理,内容详细且经过博主一步步创建、线上运行使用实战性极强,欢迎大家学习讨论!
ElasticSearch-第二天
es第二天
Hive 数据库常用基础命令
hive数据仓库的基本sql命令
Spark高手之路1—Spark简介
Spark官网Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎,相对于 Hadoop MapReduce 将中间结果保存在磁盘中, Spark 使用了内存保存中间结果, 能在数据尚未写入硬盘时在内存中进行运算.Spark 只是一个计算框架, 不像 Hadoop 一样包含了分布式文件
基于Linux的Spark安装与环境配置
基于Linux的Spark安装与环境配置
【实时数仓】CDC简介、实现DWD层业务数据的处理(主要任务、接收kafka数据、动态分流*****)
CDC是Change Data Capture(变更数据获取)的简称。核心思想是,监测并捕获数据库的变动(包括数据或数据表的插入、更新以及删除等),将这些变更按发生的顺序完整记录下来,写入到消息中间件中以供其他服务进行订阅及消费。CDC主要分为基于查询和基于Binlog两种方式,主要了解一下这两种之
【Hadoop全分布式环境搭建】
Hadoop全分布式集群搭建,ntp时间同步,免密登录,hadoop一键启动
Error: Unable to find a match: mysql-community-server
Linux安装MySQL出现问题
hadoop之JobHistoryServer无法启动的解决方案
看完这些问题后,我继续网上翻阅出现了下面这段话,显示我的jdk版本是18的,版本冲突了,导致service编译通过(因为有jdk),然后运行失败(版本不兼容),但在次之前我是已经将java的jdk版本改到了8但是我的机子里面确实还装了一个jdk18版本,并且两个都是全局生效export。第一步:检查
大数据Canal(四):Canal HA原理及安装
Canal一般用于实时同步数据场景,那么对于实时场景HA显得尤为重要,Canal支持HA搭建,canal的HA分为两部分,canal server和canal client分别有对应的HA实现。将Canal安装包上传到node3,node4,并解压到“/software/canal”目录下,修改“/
电商在线订单分析与可视化
对电商数据进行数据分析,数据集在资源
连接器产业深度分析报告,国产化替代如何突出重围?(附厂商名录)
根据Bishop&Associate统计,汽车是目前连接器产品中最大的下游应用领域,2021年全球汽车连接器市场规模增长到170.80亿美元,高于同期全球连接器总规模增速,预计2025 年全球汽车连接器市场规模将达到194.52亿美元。目前,相对于站在主舞台的集成电路和行情暴涨的分立器件,连接器(C
Hadoop集群配置2
本章节讲对Hadoop安装后的一些基本配置,对于slave1和slave2的分发和使用!
猿创征文 | 国产数据库之神通数据库详解安装和使用
神通数据库详解安装和使用
Flink安装和演示
Flink安装和演示