《大数据系统与编程》MapReduce程序实现词频统计实验报告
《大数据系统》的课程实验，包括实验目的、实验要求与实验过程记录（有截图），仅供学生初级参考，引用图片请标明出处。
Hive | 报错锦集
Hive使用过程中遇到的部分问题分享，快来看看吧！
Sqoop安装配置
sqoop安装配置以及运用
hadoop环境新手安装教程
这一步需要对hadoop下的 core-site.xml、hadoop-env.sh、hdfs-site.xml、mapred-site.xml、yarn-site.xml等文件进行配置。这里我用了3台虚拟机，1台改为master，另外2台分别改为node1和node2。（3）IP地址改写，这里需要
大数据Doris（三十九）：Spark Load 注意事项
3、使用Spark Load时spark_home_default_dir配置项没有指定spark客户端根目录,提交Spark job 时用到 spark-submit 命令，如果 spark_home_default_dir 设置错误，会报 Cannot run program "xxx/bin/
hadoop之ranger权限配置（二）
ranger权限配置
Spark RDD编程基本操作
Spark RDD编程基本操作
大数据开发之Hive案例篇10-大表笛卡尔积优化
我们需要求每一个start_date的累积数量，那么此时我们可以先求每天的，然后求每天累积的，再求当天每一个start_date累积的，加上前一日的累积的，就是最终我们需要的数据。就算数据量提升数倍，因为 join的条件由一个 data_source 变为了两个 data_souce 、dt，大大减
hadoop高可用【HA】配置详解
想实现 Hadoop 高可用就必须实现 NameNode 的高可用，NameNode 是HDFS的核心，HDFS 又是 Hadoop 核心组件，NameNode 在 Hadoop 集群中至关重要；NameNode 宕机，将导致集群不可用，如果NameNode数据丢失将导致整个集群的数据丢失，而 Na
Hadoop基础之《（7）—Hadoop三种运行模式》
在wcinput下建立一个word.txt，输入一些单词。数据存储在HDFS，同时多台服务器工作。单机运行就是直接执行hadoop命令。一、hadoop有三种运行模式。数据存储在linux本地，不用。数据存储在HDFS，测试用。1、例子-统计单词数量。
基于hadoop大数据的音乐推荐系统
基于hadoop大数据的音乐推荐系统
使用Eclipse创建MapReduce工程
1.实训目标（1）掌握以Exlipse创建MapReduce工程2.实训环境（1）使用CentOS的Linux操作系统搭建的3个节点（2）使用Eclipse软件作为编程软件（3）使用插件hadoop-eclipse-plugin-2.x.x.jar3.实训内容（1）配置MapReduce环境（2）新
大数据高频面试题
说下Spark中的Transform和Action，为什么Spark要把操作分为Transform和Action?Hive的join操作原理，leftjoin、right join、inner join、outer join的异同?在删除HBase中的一个数据的时候，它什么时候真正的进行删除呢?Hi
Hadoop/Hive/Spark小文件处理
小文件指的是文件size比HDFS的block size小很多的文件。Hadoop适合处理少量的大文件，而不是大量的小文件。首先，在HDFS中，任何block，文件或者目录在内存中均以对象的形式存储，每个对象约占150byte，如果有1000 0000个小文件，每个文件占用一个block，则name
内存大数据
1.经过多年的发展，Hadoop生态系统不断完善和成熟，目前已经包含多个子项目，其中YARN的主要功能是？A.负责集群资源调度管理的组件B.分布式并行编程模型C.分布式海量日志采集、聚合和传输系统D.数据仓库工具正确答案：A2.[单选题]大数据时代,数据使用的关键是?A.数据收集B.数据存储C.数据
Hadoop伪分布搭建完整步骤
hadoop伪分布搭建保姆级教程
Hive（3）
hive3
使用sqoop从Hive导出数据到MySQL
2、启动mysql：support-files/mysql.server start。8、数据可视化（前端）需求：Tom选修了哪些课程，对应的每门课程有多少学分。（课程信息：课程号kch，学号xh，课程名称kcmc，学分xf）kcxx。其次：使用sqoop从hdfs上将分析好的数据导出到mysql中
配置hadoop集群常见报错汇总
从如上日志可以看出，本身data节点启动并无问题，但在与主节点通信时报“Problem connecting to server: hadoop0/192.168.2.130:49000”，之后持续重试。鉴于每次执行都要导入，建议直接在对应的/XXX/hadoop-xxx/etc/hadoop/ha
HDFS编程实践
介绍HDFS编程实战
