Hadoop——MapReduce(3)

MapReduce:自己处理业务相关代码 + 自身的默认代码文章目录1.MapReduce优缺点2.MapReduce进程3.序列化4 InputFormat数据输入4.1 切片与MapTask并行度决定机制4.2 Job提交流程源码详解4.3 FileInputFormat 切片机制4.4 Fil

实时数仓中维度数据为什么采用HBase?

为什么不使用Redis?维度中user用户维度数据量大。为什么不适用MySQL?并发压力太大了,因为MySQL中的表本来就和用户打交道,响应用户请求,增删改查,再用它去查维度数据就没必要。初次之外还可以选择ES,这主要取决于实际场景或者架构师跟喜欢哪一种。...

springboot,vue,echart,mysql数据可视化-男女比例图-需求数据不存储在数据库中

由于自己的项目需要大数据可视化,所以就得学习,对于数据的处理就是一个难事,我在想如何对男女这个数据进行处理,因为两个数据不可能存储在数据库中,所以就需要hashmap这种形式去存储,而且男女人数是存储在另外一张表的,需要使用sql去统计出来。所以我不是从数据库中直接读取的男女总数,代码如下:后端代码

大数据Java基础DAY8(面向对象——封装)

封装封装概述 是指隐藏对象的属性和实现细节,仅对外提供公共访问方式。好处: 隐藏实现细节,提供公共的访问方式 提高了代码的复用性 提高安全性。封装原则: 将不需要对外提供的内容都隐藏起来。 把属性隐藏,提供公共方法对其访问。...

大数据Java基础DAY7(面向对象基础)

面向对象1、什么是面向对象的思想? 面向对象的思想是基于面向过程的思想发展而来的。 面向过程:强调的是实现功能的每一个步骤 面向对象:强调的是对象,然后由这个对象去调用功能2、面向对象的特点: 1)、是一种更加符合我们现实生活习惯的思想 2)、可以将复杂的事情简单化 3)、我们从之前的参

HadoopHA 搭建

1.准备三台机器 centos7安装步骤 略( 可以看我的 虚拟机安装 centos7 文章)2.配置免秘钥访问略(可以看我的免秘钥配置文章)3.JKD 安装1.8略4.Hadoop官网下载3.1.2网址 http://hadoop.apache.org/https://archive.apache

Hadoop HA《hadoop-Yarn》

1.Hadoop集群HA搭建可参考我的文章《Hadoop分布式搭建(一)》2.修改环境变量cd /opt/hadoop-3.1.2/etc/hadoopvi hadoop-env.shexport JAVA_HOME=/usr/lib/jvm/jdk1.8.0_111export HDFS_NAME

大数据之Javase

Java基础总结1

Python大数据-对淘宝用户的行为数据分析

数据获取本次数据是在网上获取的来源于: 数据集-阿里云天池 ,不在进行抓取或收集,大家可以看这篇文章Python爬虫-抓取数据到可视化全流程的实现,详细的写了数据抓取的过程数据清洗首先该数据是在多个文件下的CSV文件,通过递归对文件夹内所有文件进行查询,并合并了所有的指定文件,具体的操作步骤大家可以

【JavaSE系列】Java集合框架之Collection,Map接口

本篇文章带大家认识Java基础知识——集合框架,从本篇文章开始正式拉开数据结构的序幕,要深入了解一件事,那必然先得见个面,本文带大家认识Java集合框长什么样,以及怎么使用Collection和Map接口。

Java基础_集合_List与Set集合(笔记)

ListList集合概述有序集合(也称为序列),用户可以精确控制列表中的每个元素的每一个位置。用户可以通过索引访问并搜索列表中的元素与Set集合不同,列表通常允许有重复的元素特点有序:存储和取出的顺序一致可重复性:存储的元素可以重复特有方法void add(int index,E element);

C*指针进阶(2)

目录1、函数指针1.2、两段有趣代码2、函数指针数组2.2、用途(转移表)->计算器3、指向函数指针数组的指针4、回调函数4.1、回顾冒泡排序4.2、使用qsort函数4.3、使用回调函数,模拟实现qsort(采用冒泡的方式)1、函数指针简要概念:既然数组指针是指向数组的指针,那么函数指针就是

我的 2021 年终总结

凡是过往,皆为序章。愿 2022 的所有美好,如期而至。共勉!

LeetCode 二叉树相关Easy题 --- 二叉树

文章目录第一题: 合并二叉树解题思路:画图解析:代码实现:第二题: 二叉树的层平均值解题思路:画图解析:代码实现:第三题: 二叉树中第二小的节点解题思路:画图解析:代码实现:第四题: 叶子相似的树解题思路:代码实现:第一题: 合并二叉树LeetCode 617 : 合并二叉树描述:给定两个二叉树,想

【数据结构】堆的全解析

大家好,我是白晨,一个不是很能熬夜,但是也想日更的人✈。如果喜欢这篇文章,点个赞,关注一下白晨吧!你的支持就是我最大的动力!文章目录????前言堆????堆的定义及结构????堆结构以及????简单接口函数的代码实现????堆的创建向下调整算法向上调整算法堆的插入堆的删除????堆的应用Topk问题

《C游记》 番外篇(壹)二分查找显神威 猜数游戏趣味生

用简洁之语,清晰动图带你入门C语言

算法笔记——归并排序及其基础面试题

再谈归并排序在我以前的数据结构专栏中已经对归并排序做了介绍,这里我们开始先复习一下归并排序的思路与代码归并排序用到了分治的思想,将数组不断细分成小的几个区间,将每个区间排成有序后,再将大区间排为有序代码实现:(非递归实现)void _MergeSort(vector<int>&a

风尚云网:小程序-=>{组件/components应用篇}

风尚云网:小程序-=>{组件/components应用篇}

同学刷抖音的间隙,我学会了Vue数据代理与数据劫持的原理

学习Vue有一段时间了,有粉丝问我,Vue的数据代理与数据劫持到底是什么意思呢?这个过程到底发生了什么呢?今天我就来详细解释一下。

闭包和this指向问题

闭包闭包产生的条件:函数嵌套函数,内部函数访问外部函数的变量/函数闭包产生有两种表现:函数作为参数被传递函数作为返回值被返回函数中的自由变量,取决于函数定义的地方,跟执行的地方没关系 // 函数作为参数被传递 function fn() { const a = 10

个人信息

加入时间:2021-12-08

最后活动:1 小时前

发帖数:145074

回复数:0