大数据入门之 Hadoop,HDFS,Hbase,Hive

Hadoop:是泛指大数据生态,实际上基本包括 存储(HDFS) + 计算(MapReduce);HDFS: Hadoop分布式文件系统,主要是解决存储的问题;Hbase: 基于Hadoop的高性能nosql数据库;Hive: 最常用的数据仓库;

Ceph集群部署

说明目标主机已经有ceph.conf配置文件,而且内容和当前目录的配置文件不一样,如果需要覆盖则使用--overwrite-conf选项。如上图,其中:ceph.conf是主配置文件, ceph.client.admin.keyring文件存放的是ceph的用户名和密码。如上图可以看到,会自动远程所

【博学谷学习记录】大数据课程-学习第七周总结

文件中设置的是Hadoop运行时需要的环境变量。hdfs-default.xml与hdfs-site.xml的功能是一样的,如果在hdfs-site.xml里没有配置的属性,则会自动会获取hdfs-default.xml里的相同属性的值。yarn-default.xml与yarn-site.xml的

C++ CreateFileMapping 内存映射实现快速读取文件

共享内存的方式原理就是将一份物理内存映射到不同进程各自的虚拟地址空间上,这样每个进程都可以读取同一份数据,从而实现进程通信。因为是通过内存操作实现通信,因此是一种最高效的数据交换方法。本文主要讲述的使用内存映射文件的目的是访问磁盘上的数据文件。你可以不必对文件执行I / O操作,并且可以不必对文件内

Docker-13:Docker安装Hbase

Docker环境中安装配置Hbase,并且初始化本地环境访问Hbase

Hive字符串、Json解析

json字符串解析

hadoop启动后,集群里没有NodeManager

解决方案:cd /opt/module/hadoop-3.1.3/etc/hadoop/vim yarn-site.xml<property> <name>yarn.nodemanager.resource.memory-mb</name> <v

Flink 滚动窗口、滑动窗口详解

滚动窗口有固定的大小,是一种对数据进行“均匀切片”的划分方式。窗口之间没有重叠,也不会有间隔,是“首尾相接”的状态。如果我们把多个窗口的创建,看作一个窗口的运动,那就好像它在不停地向前“翻滚”一样。这是最简单的窗口形式,我们之前所举的例子都是滚动窗口。也正是因为滚动窗口是“无缝衔接”,所以每个数据都

安装Hadoop集群(超详细!)

前面我写了一篇单机版的Hadoop安装,这里终于要装集群版,装集群版的步骤比较繁琐,需要同学们多加练习,因为我们不可能只装一次,经常出了问题就要重装,所以必须要练熟练。

如何使用wireshark抓取HTTPS数据包?

工具使用操作

前端常见的几种布局方式,2分钟即可看完,全是干货。

前端常见的几种布局方式,2分钟即可看完,全是干货。

html前端跨域问题的解决方案

来,我们解释一下:首先通过第一个script脚本注册一个函数f,那么这个函数自然就存在了,后面使用的脚本也能用f这个函数,这个道理和你用script引入一个jquery然后后面用 $ 开始一通操作是一样的道理。但是但是前端这个时候注册了一个f函数呀,所以就会执行这个f(‘你好’),那么前端的数据也就

vue 上传文件和下载文件

vue 文件导入和下载

let、const和var的区别(涉及块级作用域)

let 、const和var的区别let、const、var在js中都是用于声明变量的,在没有进行ES6的学习前,我基本只会使用到var关键字进行变量的声明,但在了解了ES6之后就涉及到了块级作用域以及let,const了。let与constlet是用于替代var来声明变量(var是ES6之前用来声

【前端进阶】-TypeScript高级类型 | 泛型约束、泛型接口、泛型工具类型

**前言**>博主主页👉🏻[蜡笔雏田学代码](https://blog.csdn.net/xuxuii?spm=1011.2415.3001.5343)>专栏链接👉🏻[【TypeScript专栏】](https://blog.csdn.net/xuxuii/category_11979920

Vue项目打包部署

vue项目部署,使用的是linux centors nginx.遇见的问题及解决方案

vue配置代理服务器proxy

跨域,代理服务器配置方法

web前端面试宝典——带你直击面试重难点(40个经典题目,涵盖近90%的考点,码字2w,干货满满!)

2022web前端面试宝典 —— 一文带你直击面试重难点(40个经典题目,涵盖近90%的考点,码字2w,干货满满!)

【Vue全局事件总线详解】

全局事件总线是一种组件间通信的方式,适用于任意组件间通信。全局事件总线并不是插件,配置文件等等,事件总线是程序员在做Vue开发中总结积累的一套方法,是一套规则,只要满足这套规则,就可以实现组件间的通信。

实测有效防止colab自动断开连接

实测有效防止colab自动断开连接

个人信息

加入时间:2021-12-08

最后活动:2024-12-14 03:06:47

发帖数:162866

回复数:0