[Spark、hadoop]DStream的窗口操作、输出操作、实例——实现网站热词排序
Dstream(Discretized Stream)是Spark Streaming数据的基本传输单位。它表示一个连续的数据流,这个数据流可以是原始的数据输入流,也可以是将原始的数据输入流通过转换生成已处理的数据输入流特点1、Spark Streaming对流数据按秒/分等时间间隔进行微批划分,每
大数据开发——Hive实战案例
1. 创建表结构1.1 视频表结构1.2 用户表结构2. 准备工作2.1 创建临时表2.2 创建最终使用表2.3 对创建表进行解读3. 业务分析
[hadoop全分布部署]安装Hadoop、配置Hadoop 配置文件①
安装Hadoop、配置Hadoop 配置文件一、配置hadoop-env.sh文件二、配置 hdfs-site.xml 文件参数
[hadoop全分布部署]虚拟机Hadoop集群交换 SSH 密钥与验证SSh无密码登录
虚拟机Hadoop集群交换 SSH 密钥与验证SSh无密码登录
Ubuntu下单机安装Hadoop详细教程（附所需安装包下载）
目录前言一、创建Hadoop用户二、更新apt和安装Vim编辑器三、安装SSH和配置SSH无密码登录四、安装Java环境1. 安装JDK2. 配置JDK环境3. 检验安装五、安装单机Hadoop1. 下载安装Hadoop2. 运行示例总结前言本文安装的 Hadoop 及 Java 环境基于林子雨老师
Hadoop集群安装和搭建（全面超详细的过程）
Hadoop集群安装和搭建（全面完整的详细过程）文章目录Hadoop集群安装和搭建（全面完整的详细过程）前言一、虚拟机的安装二、Linux系统安装1.环境准备2.虚拟机安装总结前言Hadoop是一个开源的、可运行与Linux集群上的分布式计算平台，用户可借助Hadoop存储和分析大数据。本项目包含的
[hadoop全分布部署]安装Hadoop、验证Hadoop①
一、配置hadoop格式化二、查看 Java 进程三、查看 HDFS 的报告
我眼中的Hive-你眼中的了?
hive是基于Hadoop的一个数据仓库工具，常用来对数据仓库进行数据统计分析。其中包括我们大家都知道的通过类似SQL语句实现快速MapReduce统计，将数据进行提取、转化、加载。我眼中的Hive-你眼中的了?
[hadoop全分布部署]安装Hadoop、配置Hadoop 配置文件②
一、配置 core-site.xml 文件参数二、配置 mapred-site.xml （Mapreduce参数）三、配置 yarn-site.xml
大数据开发——Hive实战案例
1. 创建表结构1.1 视频表结构1.2 用户表结构2. 准备工作2.1 创建临时表2.2 创建最终使用表2.3 对创建表进行解读3. 业务分析
[hadoop全分布部署]安装Hadoop、配置Hadoop 配置文件①
安装Hadoop、配置Hadoop 配置文件一、配置hadoop-env.sh文件二、配置 hdfs-site.xml 文件参数
[hadoop全分布部署]虚拟机Hadoop集群交换 SSH 密钥与验证SSh无密码登录
虚拟机Hadoop集群交换 SSH 密钥与验证SSh无密码登录
安装和配置HBase
一、下载阿里云镜像下载比较快。https://mirrors.aliyun.com/apache/hbase/2.4.12/二、安装1、解压解压安装包hbase-2.4.12-bin.tar.gz至路径 /usr/local2、把hbase目录权限赋予给hadoop用户3、配置环境变量将hbase下
Hadoop集群搭建（超级超级详细）
Hadoop集群搭建（超级超级详细）
1000个大数据/人工智能毕设选题推荐
正值毕业季我看到很多同学都在为自己的毕业设计发愁Maynor在网上搜集了1000个大数据的毕设选题，希望对大家有帮助～适合大数据毕业设计的项目，完全可以作为本科生当前较新的毕业设计题目选择方向。
[Hive]一篇带你读懂Hive是什么
✅作者简介：大家好,我是Philosophy7？让我们一起共同进步吧！🏆 📃个人主页：Philosophy7的csdn博客🔥系列专栏： 👑哲学语录: 承认自己的无知，乃是开启智慧的大门💖如果觉得博主的文章还不错的话，请点赞👍+收藏⭐️+留言📝支持一下博>主哦🤞文章目录一、Hiv
[Hadoop全分布部署]安装JDK、Hadoop
JDK全称Java Development Kit 中文意思是Java 开发工具包即java标准版开发包，是Oracle提供的一套用于开发java应用程序的开发包，它提供编译，运行java程序所需要的各种工具和资源，包括java编译器，java运行时环境，以及常用的java类库等。JRE Java
大数据 MapReduce编程实践（1）编程实现文件合并和去重操作
标题提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录一、实验目的二、实验平台三. 实验内容和要求（1）编程实现文件合并和去重操作（2）编写程序实现对输入文件的排序（3）对给定的表格进行信息挖掘四、实验遇到的问题一、实验目的1.通过实验掌握基本的MapReduce编程方法；2.
大数据ClickHouse进阶（二十二）：ClickHouse优化
在Hive中对于日期数据我们经常使用String类型存储，但是在ClickHouse中建表时针对日期类型数据存储建议使用日期类型存储，不使用String类型存储，因为在使用到日期时日期类型可以直接处理，String类型的日期数据还需要使用函数进行处理，执行效率低。
大数据知识面试题-通用（2022版）
序列号内容链接1大数据知识面试题-通用（2022版）待续…2大数据知识面试题-Hadoop（2022版）待续…3大数据知识面试题-MapReduce和yarn（2022版）待续…4大数据知识面试题-Zookeepr （2022版）待续…5大数据知识面试题-Hive （2022版）待续…6大数据知识面
