基于Ubuntu的Hadoop伪分布式配置
麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Val
Hive 数据同步ClickHouse
在开发过程中，需要从HDFS中导入数据到clickhouse中。把所有数据分析相关的日志数据存储至ClickHouse这个优秀的数据仓库之中，当前日数据量达到了300亿。需求：按条件筛选Hive表中的数据同步到ClickHouse中方法一：按照ClickHouse 官方文档提供的方法，在ClickH
Hive 之中位数
中位数（Median）又称中值，统计学中的专有名词，是按顺序排列的一组数据中居于中间位置的数，代表一个样本、种群或概率分布中的一个数值，其可将数值集合划分为相等的上下两部分。对于有限的数集，可以通过把所有观察值高低排序后找出正中间的一个作为中位数。如果观察值有偶数个，通常取最中间的两个数值的平均数作
成为一名厉害的程序员，需要哪些必备知识
成为一名厉害的程序员必备知识，看看你都掌握了吗？
（超详细）MapReduce工作原理及基础编程
MapReduce编程基础JunLeon——go big or go home前言：Google于2003年在SOSP上发表了《The Google File System》，于2004年在OSDI上发表了《MapReduce: Simplified Data Processing on Large
6道经典大数据面试题（ChatGPT回答版）
1、HDFS 读写流程是什么？HDFS（Hadoop Distributed File System）的读写流程如下：写流程：客户端向 NameNode 发送写请求，请求在 HDFS 上创建一个新的文件。NameNode 为该文件分配一些数据块（默认情况下为 128 MB）以及在哪些 DataNod
Linux系统下的hadoop常用命令
选项： - f选项将在文件增长时输出附加数据，如在Unix中一样。
【大数据入门核心技术-Ambari】（一）Ambari介绍
Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。Apache Ambari 支持HD
大数据开发的工作内容与流程
像用cdc、ogg这样的一个技术，会监控数据库的日志。当然很多时候，在生产中的选型比较复杂，而且会有MPP与大数据产品一起使用的场景，但整体的流程不变，只是各阶段的产品有所替换。然后由流（处理）引擎，比如说spark生态圈的spark streaming，当然还有比较新的像flink这些产品进行一个
MapReduce案列-数据去重
数据去重主要是为了掌握利用并行化思想来对数据进行有意义的筛选，数据去重指去除重复数据的操作。在大数据开发中，统计大数据集上的多种数据指标，这些复杂的任务数据都会涉及数据去重。
大数据框架之Hadoop：MapReduce（三）MapReduce框架原理——ReduceTask工作机制
ReduceTask工作机制
Hadoop mapreduce课程设计-全球历史平均气温数据分析
例如：随着大数据的不断发展，hadoop这门技术也越来越重要，很多人都开启了学习大数据之路。此次课程设计，我们采用mongodb作为存储，javaweb作为前端，echarts作为可视化工具，kettle和pandas作为数据清洗工具。使用底层mapeduce作为大数据计算。mongodb数据库：它
大数据高频面试题一：hive和Oracle的区别
从传统数据库转到大数据的必问题目
国产自研开源大数据管理平台DataSophon Manager安装教程
DataSophon是近日开源的一款国产自研大数据管理平台，致力于快速实现部署、管理、监控以及自动化运维大数据服务组件和节点的能力，帮助你快速构建起稳定、高效的大数据集群服务。主要有以下特性:极易部署，1小时可完成300节点的大数据集群部署国产化兼容，兼容ARM服务器和常用国产化操作系统监控指标全面
虚拟机Ubuntu安装Hadoop（伪分布式安装）
1.创建hadoop用户在终端输入为hadoop用户设置密码,连续输入两次密码即可为Hadoop用户增加管理员权限，避免以后的麻烦这里我们切换到hadoop用户，进行下一步操作2.ssh的安装以及设置免密登录检测ssh是否安装，有sshd说明已经启动这边我们还需要安装ssh server，这边又ye
Hadoop学习之SSH免密登录配置(以三台虚拟机为例，完全分布式)
HadoopSSH免密登录配置，完全分布式安装
Hive中的建表方式
hive中的建表语法，查看表结构方式
hive表的输入输出格式总结
hive输入输出格式总结
Hadoop高可用搭建（一）
Hadoop高可用搭建（一）
spark为什么比hadoop快
spark为什么快
