【运维】hadoop 集群安装(三)hdfs、yarn集群配置、nodemanager健康管理讲解
【运维】hadoop 集群安装(三)hdfs、yarn集群配置、监控nodemanager配置
实验五 熟悉 Hive 的基本操作
(8)查询 stocks 表中收盘价(price_close)比开盘价(price_open)高得最多的那条记录的交易所 (exchange)、股票代码(symbol)、日期(ymd)、收盘价、开盘价及二者差价。(9)从 stocks 表中查询苹果公司(symbol=AAPL)年平均调整后收盘价(p
Hadoop RPC简介
数新网络-让每个人享受数据的价值RPC(Remote Procedure Call)远程过程调用协议,一种通过网络从远程计算机上请求服务,而不需要了解底层网络技术的协议。RPC它假定某些协议的存在,例如TPC/UDP等,为通信程序之间携带信息数据。在OSI网络七层模型中,RPC跨越了传输层和应用层,
Hive insert插入数据与with子查询
当在hive中同时使用insert into(overwrite) table xx 与with子查询时候,需要将insert放在with as子查询后面(区分:与StarRocks不同,insert放在with as子查询前面)insert into 与 insert overwrite 都可以向
数据库安全-Redis未授权&Hadoop&Mysql&未授权访问&RCE 漏洞复现
未授权访问漏洞可以理解为需要安全配置或权限认证的地址、授权页面存在缺陷导致其他用户可以直接访问从而引发重要权限可被操作、数据库或网站目录等敏感信息泄露,包括端口的未授权常见页面的未授权 /admin.php /menu.php常见的未授权访问漏洞及默认端口:默认端口统计:8095, 8161,
Hadoop 配置 Kerberos 认证
kinit: Invalid Uid in persistent keyring name while getting default ccacheCannot contact any KDC for realm KrbException: Message stream modified (41)k
Hadoop相关知识点
hdfs dfs -put ~/input/file.txt /test 和 hdfs dfs -put /input/file.txt /test 的区别在于文件的来源路径。B. 维护HDFS集群的所有数据块的分布、副本数和负载均衡:NameNode记录每个数据块的位置和副本信息,并负责管理数据块
(保姆级)Hadoop-3.3.6、jdk_8u381搭建(大数据入门)
保姆级带领新手小白,完成hadoop-3.3.6、jdk_8u381的搭建
Sqoop将hive处理的数据导出到MySQL
sqoop将hive数据导出到mysql
Hive double类型强转string类型并解决科学计数法问题
Hive double类型强转string类型并解决科学计数法问题
[hive]中的字段的数据类型有哪些
整数类型(Integers):包括TINYINT(1字节整数)、SMALLINT(2字节整数)、INT或INTEGER(4字节整数)、BIGINT(8字节整数)。浮点数类型(Floating-Point Numbers):包括FLOAT(单精度浮点数)和DOUBLE(双精度浮点数)。除了上述常见的数
Windows安装Hadoop运行环境
Windows安装Hadoop运行环境
hadoop命令汇总
hadoop命令汇总
Hive表锁机制原理以及各种场景的解决方案
hive 锁机制(S锁,X锁) 是由hive的事务管理器出发,锁的原理是 一张表简称A表,我们对A表做查询操作的时候,就会获取到A表的S锁(共享锁), 如果对A表做alter 等其他操作就会获取A表的X锁(排他锁) 如果A表同时拥有S锁和X锁,A表就会死锁。死锁后的现象就是做drop truncat
Hive数据加载方式(load、insert;普通表、分区表)
Hive数据加载方式(load、insert;普通表、分区表)
Hadoop HDFS分布式文件系统(介绍以及基础操作命令)
HDFS是Hadoop三大组件(HDFS、MApReduce、YARN)之一。全称是Hadoop Distributed File System(Hadoop分布式文件系统)。是Hadoop技术栈内提供的分布式数据存储解决方案,可以在多台服务器上构建集群,存储海量的数据。2.HDFS基础架构HDFS
【Hadoop】四、Hadoop生态综合案例 ——陌陌聊天数据分析
背景介绍陌陌作为聊天平台每天都会有大量的用户在线,会出现大量的聊天数据,通过对 聊天数据的统计分析 ,可以更好的对用户构建精准的用户画像,为用户提供更好的服务以及实现高ROI的平台运营推广,给公司的发展决策提供精确的数据支撑。FineBI的介绍:https://www.finebi.com/Fine
Linux安装zookeeper的详细过程
Linux安装zookeeper的详细过程;2181端口被占用的问题;启动hadoop集群;启动zookeeper;查看集群状态;关闭zookeeper;关闭Hadoop集群
一、 配置安装hadoop环境
~ 代表的是用户的主文件夹,即 “/home/用户名” 这个目录,如你的用户名为 hadoop,则 ~ 就代表 “/home/hadoop/”进入/opt/hadoop-3.2.2/share/hadoop/mapreduce文件夹运行词频统计命令。则修改/opt/hadoop-3.2.2/etc/