学习笔记:深入理解MapReduce

为什么是MapReduce? MapReduce流程介绍,MapReduce中的shuffle洗牌机制。的作用与理解。

RabbitMQ:路由模式

在路由工作模式中,我们需要配置一个类型为direct的交换机,并且需要指定不同的路由键(routing key),把对应的消息从交换机路由到不同的消息队列进行存储,由消费者进行消费。P:生产者,向交换机发送消息的时候,会指定一个routing keyX:Exchange(交换机),接收生产者的消息,

【RabbitMQ】回顾下RabbitMQ知识点,还记得哪些?

RabbitMQ是一个消息代理 - 一个消息系统的媒介。RabbitMQ服务器是用Erlang语言编写的,而集群和故障转移是构建在开放电信平台框架上的。它可以为你的应用提供一个通用的消息发送和接收平台,并且保证消息在传输过程中的安全。

大数据Presto(一):Presto介绍

一、​​​​​​​​​​​​​​Presto出现背景Presto是Facebook在2012年开发的,是专为Hadoop打造的一款数据仓库工具。在早期Facebook依赖Hive做数据分析,Hive底层依赖MapReduce,随着数据量越来越大,使用Hive进行数据分析,时间可能需要分钟级到小时级别

【Zookeeper技术栈篇】高频面试点

Zookeeper的选举过程, Zookeeper的角色, Zookeeper的核心, Zab原理,Zookeeper的读写请求

MySQL数据库基础:各类窗口函数操作一文详解

窗口函数适用场景:对分组统计结果中的每一条记录进行计算的场景下, 使用窗口函数更好。窗口函数(Window Function)可以像聚合函数一样对一组数据进行分析并返回结果,二者的不同之处在于,窗口函数不是将一组数据汇总成单个结果,而是为每一行数据都返回一个结果。聚合函数和窗口函数的区别如下图所示。

CDH大数据平台 14Cloudera Manager Console之flume安装和配置(markdown新版)

flume配置,数仓必备采集数据工具

MapReduce课程设计 好友推荐功能

好友推荐算法在实际的社交环境中应用较多,比如qq软件中的“你可能认识的好友° 或者Facebook中的好友推介。好友推荐功能简单的说是这样一个需求,预测菜两个人是否认识,并推荐为好友,并且某两个非好友的用户,他们的共同好友越多。那么他们越可能认识。

zookeeper实现分布式锁

zookeeper实现分布式锁

数据分析SQL移动平均值

对序列的值,按一定窗口大小并顺序滑动,计算全部算术平均值例:对于序列X1,X2,...XnX1​,X2​,...Xn​计算X1+X2+X33,X2+X3+X43,X3+X4+X53...X3+X4+X533X1​+X2​+X3​​,3X2​+X3​+X4​​,3X3​+X4​+X5​​...

【Flink】flink的安装部署(1)

Flink集群的搭建,local,standalone,flink on yarn。

TiKV 简介

TiKV 是一个分布式事务型的键值数据库,提供了满足 ACID 约束的分布式事务接口,并且通过保证了多副本数据一致性以及高可用。TiKV 作为 TiDB 的存储层,为用户写入 TiDB 的数据提供了持久化以及读写服务,同时还存储了 TiDB 的统计信息数据。

【Flink】flink入门案例(2)

flink入门案例,flink wordcount单词计数

Hadoop大数据平台搭建环境 提供虚拟机相关配置

我把已经搭建好的虚拟机环境放在了百度网盘上,需要的同学自取即可。

Titan 配置

使用 TiUP 调整参数,请参考修改配置参数。Titan GC 线程数。当从-Thread CPU-监控中观察到 Titan GC 线程长期处于满负荷状态时,应该考虑增加 Titan GC 线程池大小。value 的大小阈值。当写入的 value 小于这个值时,value 会保存在 RocksDB

Flink中Table API和SQL(四)

系统函数尽管庞大,也不可能涵盖所有的功能;如果有系统函数不支持的需求,我们就需要用自定义函数(,UDF)来实现了。事实上,系统内置函数仍然在不断扩充,如果我们认为自己实现的自定义函数足够通用、应用非常广泛,也可以在项目跟踪工 具 JIRA 上向 Flink 开发团队提出“议题”(issue),请求将

大数据面试之flume重点

大数据面试之flume重点

【精通Spark系列】弹性分布式数据集RDD快速入门篇

本篇文章属于Spark系列文章,专栏将会记录从spark基础到进阶的内容,,内容涉及到Spark的入门集群搭建,核心组件,RDD,算子的使用,底层原理,SparkCore,SparkSQL,SparkStreaming等,

猿创征文|OceanBase社区版集群部署

OceanBase社区版集群部署

基于VUE+Echarts大屏数据展示150套 (集合)

🚀 基于 Echarts 实现可视化数据大屏响应式展示效果的源码,,基于html+css+javascript+echarts制作, 可以在此基础上重新开发。本项目中使用的是echarts图表库,ECharts 提供了常规的折线图、柱状图、散点图、饼图、K线图,用于统计的盒形图,用于地理数据可视化

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈