启动 AWS Academy Learner Lab【教学】(Hadoop实验)
aws hadoop实验
CDH大数据平台入门篇之搭建与部署
CDH:存储各种类型的数据、使用各种不同的计算框架进行操作、能够快速集成和运行一个完整的Hadoop平台,适用于各种不同的硬件和软件、高安全性且能够部署多种应用,并扩展和扩充它们以满足你的需求、还可以放心地用于关键的商业任务。
Hadoop集群安装部署
hadoop集群的搭建
sparksql源码系列 | 一文搞懂Show create table 执行原理
这篇文章主要介绍了show create table命令执行的源码流程,弄清楚了sparksql是怎么和hive元数据库交互,查询对应表的metadata,然后拼接成最终的结果展示给用户的
Windows11编译Hadoop3.3.6源码
由于还未发布3.3.6版本winutils,因此尝试源码编译。
【运维】hadoop 集群安装(三)hdfs、yarn集群配置、nodemanager健康管理讲解
【运维】hadoop 集群安装(三)hdfs、yarn集群配置、监控nodemanager配置
实验五 熟悉 Hive 的基本操作
(8)查询 stocks 表中收盘价(price_close)比开盘价(price_open)高得最多的那条记录的交易所 (exchange)、股票代码(symbol)、日期(ymd)、收盘价、开盘价及二者差价。(9)从 stocks 表中查询苹果公司(symbol=AAPL)年平均调整后收盘价(p
Hadoop RPC简介
数新网络-让每个人享受数据的价值RPC(Remote Procedure Call)远程过程调用协议,一种通过网络从远程计算机上请求服务,而不需要了解底层网络技术的协议。RPC它假定某些协议的存在,例如TPC/UDP等,为通信程序之间携带信息数据。在OSI网络七层模型中,RPC跨越了传输层和应用层,
Hive insert插入数据与with子查询
当在hive中同时使用insert into(overwrite) table xx 与with子查询时候,需要将insert放在with as子查询后面(区分:与StarRocks不同,insert放在with as子查询前面)insert into 与 insert overwrite 都可以向
数据库安全-Redis未授权&Hadoop&Mysql&未授权访问&RCE 漏洞复现
未授权访问漏洞可以理解为需要安全配置或权限认证的地址、授权页面存在缺陷导致其他用户可以直接访问从而引发重要权限可被操作、数据库或网站目录等敏感信息泄露,包括端口的未授权常见页面的未授权 /admin.php /menu.php常见的未授权访问漏洞及默认端口:默认端口统计:8095, 8161,
Hadoop 配置 Kerberos 认证
kinit: Invalid Uid in persistent keyring name while getting default ccacheCannot contact any KDC for realm KrbException: Message stream modified (41)k
Hadoop相关知识点
hdfs dfs -put ~/input/file.txt /test 和 hdfs dfs -put /input/file.txt /test 的区别在于文件的来源路径。B. 维护HDFS集群的所有数据块的分布、副本数和负载均衡:NameNode记录每个数据块的位置和副本信息,并负责管理数据块
(保姆级)Hadoop-3.3.6、jdk_8u381搭建(大数据入门)
保姆级带领新手小白,完成hadoop-3.3.6、jdk_8u381的搭建
Sqoop将hive处理的数据导出到MySQL
sqoop将hive数据导出到mysql
Hive double类型强转string类型并解决科学计数法问题
Hive double类型强转string类型并解决科学计数法问题
hadoop退出安全模式
在hdfs-site.xml中设置安全阀值属性,属性值默认为0.999f,如果设为1则不进行安全检查。因为是在配置文件中进行硬修改,不利于管理员操作和修改,因此不推荐此方式。
[hive]中的字段的数据类型有哪些
整数类型(Integers):包括TINYINT(1字节整数)、SMALLINT(2字节整数)、INT或INTEGER(4字节整数)、BIGINT(8字节整数)。浮点数类型(Floating-Point Numbers):包括FLOAT(单精度浮点数)和DOUBLE(双精度浮点数)。除了上述常见的数
Windows安装Hadoop运行环境
Windows安装Hadoop运行环境
hadoop命令汇总
hadoop命令汇总