大数据工程师的日常工作内容是干嘛?
我们真的是Sqlboy吗?
大数据专业应该怎么学习
大数据学习不能停留在理论的层面上,大数据方向切入应是全方位的,基础语言的学习只是很小的一个方面,编程落实到最后到编程思想。学习前一定要对大数据有一个整体的认识。大数据是数据量多吗?其实并不是,通过Hadoop其中的各个组件就可以了解到,大数据并不只是数据量大而已,而是数据存储+分布式调度+数据分析的
【大数据】Hadoop完全分布式配置(超详细)
Hadoop完全分布式配置-具体步骤如下默认前提:1.在Windows平台下安装Vmware平台(默认已经安装)2.在Vmware平台上安装Linux操作系统(默认已经安装)这里我已安装的是 Vmware16 和 CentOS7.整理流程我参考的是centos6的文档,centos7的命令与其不同。
HDFS文件权限管理
如上,-rw-r–r-- 表示该文件的权限,1代表其大小,dolphin supergroup 代表该文件所属用户和用户组,再后面是该文件最后修改时间和文件名信息。r表明该文件有可读权限,w代表有可写权限,x代表有可执行权限。在命令行窗口运行下面的命令,修改文件用户为dolphin,用户组为supe
Spark搭建/Hadoop集群
Spaek基础搭建;基于Hadoop集群.
hadoop 3.x大数据集群搭建系列7-安装Hudi
hadoop 大数据平台搭建数据湖hudi 编译安装
hdfs shell操作
hdfs 的shell 操作
Flink CDC Oracle 完整踩坑指南
FlinkCDC完整踩坑指南
Hadoop集群的配置
Hadoop集群的配置,克隆机的配置,免密登录,启动集群等
大数据学习——Hadoop集群完全分布式的搭建(超详细)
Hadoop集群完全分布式的搭建JunLeon——go big or go home目录Hadoop集群完全分布式的搭建1、分布式集群的网络和节点规划(1)网络规划(2)节点规划2、分布式集群的环境准备(1)克隆虚拟机(2)网络配置、修改主机名、配置网络映射3、设置SSH无密码登录节点4、安装配置H
hive 增加字段 修改注释
hive 增加字段 修改注释
hadoop保姆级安装教程
hadoop保姆级安装教程实现分布式集群安装,不再从入门到放弃!!这是一篇超详细的Hadoop安装教程,历时两个星期,重装了三次!基本把能踩的坑全踩了,还好没放弃????下面标了注意的地方基本就是我踩过的坑了以下分为三个大点:准备,配置网络环境,安装hadoop一、准备步骤:虚拟机安装1.VMwar
Trino结合Ranger 2.3控制访问权限
Trino 结合 Ranger2.3 控制用户访问权限
Hadoop集群配置问题—小记jps没有NameNode的问题
当格式化NameNode后,启动hdfs,发现jps后没有显示NameNode的解决方法
史上最详细的hadoop安装教程
一、引言首先说明一下,本文的安装教程仅是针对个人的操作经验所写的。可能有些同学安装的时候觉得跟他的不一样,那可能是由于版本不一样所导致的。另外本次分享是基于已经安装了java及配置好了环境。本机的配置环境如下:Hadoop(3.1.1)Ubuntu Linux(64位系统)二、安装ssh服务ubun
HADOOP 主节点启动了datanode但是从节点没有的解决办法(所有节点没有datanode也都适用)
HADOOP 主节点启动了datanode但是从节点没有的解决办法(所有节点没有datanode也都适用)
3台机器配置hadoop集群_Hadoop+Hbase 分布式集群架构
三台机器都需要执行/usr/local/hadoop-3.2.0/bin。3.1 hadoop-env.sh 配置 Hadoop 环境变量。--指定HDFS默认(namenode)的通信地址-->--给zk用的目录, 必须保证是个空的给zk用-->3.3 hdfs-site.xml 配置 Name
ubuntu desktop22.04安装hadoop
hadoop 并行与分布式运算
数据库数据采集利器FlinkCDC
持续分享有用、有价值、精选的优质大数据干货致力于打造全网最优质的大数据专题
【李老师云计算】实验一:Hadoop伪分布式集群部署与Eclipse访问Hadoop进行单词计数统计
本来打算写在一起,奈何一个实验的内容实在是太多了……其实我的学长已经写过云计算的实验过程并且我也得到了不少帮助,但是仍然还是要写下这一篇博客,一是把内容完全整合到这一篇博客——面向单次实验的博客;二是有许多问题是我自己遇到的;三是我的Hadoop版本不同,可以做一个更新版本的介绍,总之同学们可以自行