大数据之路书摘:走近大数据——从阿里巴巴学习大数据系统体系架构

StreamCompute 是网里巴巴自主研发的流式大数据平台,在内部较好地支持了阿里巴巴流式计算需求: OneData 是数据整合及管理的方法体系和工具,阿里巴巴的大数据工程师在这一体系下,构建统一、规范、可共享的全域数据体系 ,避免数据的冗余和重复建设 ,规避数据烟囱和不一致性,充分发挥间里巴巴

JAVA代码实现Spark任务的提交

JAVA实现Spark的任务提交

通过BeautifulSoup获取【领域赛道--大数据与算法】top100用户

通过BeautifulSoup获取【领域赛道--大数据与算法】top100用户。

记录一次es7.8.1报错解决过程 unknown key [column] for create index

记录一次es7.8.1报错解决过程 unknown key [column] for create index

计算机网络知识汇总(超详细)

目录第一章概念 组成 功能 和 分类计算机网络概念计算机网络功能计算机网络的组成计算机网络的分类总结标准化工作及相关组织标准化工作标准化工作相关组织总结计算机网路的速率,带宽,吞吐量1 速率2 带宽3 吞吐量计算机网络时延,时延带宽积,RTT和利用率1 时延2 时延带宽积3 往返时延RTT4 利用率

cat 查看文件时报错No such file or directory

在平台上生成一个文件,用ls 查看发现文件已经存在了,并且是可执行文件;为什么还是打不开呢?--------->>后面发现是使用的集群不一样,在大集群可以做上述的查看操作,但实际存储文件的是小集群,大集群可能是没有执行小集群文件的相关权限,这时候需要查看文件内容的话–切换为小集群就好了...

大数据处理领域的经典框架:MapReduce详解与应用【上进小菜猪大数据】

本文介绍了MapReduce的基本原理和实现方法,并给出了一个简单的WordCount示例。MapReduce是大数据处理领域的经典框架,对于处理庞大的数据集十分有效。开发者可以通过实现Map函数和Reduce函数来构建自己的数据处理应用程序,并通过MapReduce框架来实现高效的数据处理。

关于hbase无法正常关闭进程,进程持续出现‘......‘

hbase无法正常开启或关闭

hive--执行计划

来聊一聊执行计划,如果掌握了MapReduce,且开发者有一定的经验积累可以反推Compiler将SQL转换的MapReduce执行算法,并借助explain来比对你构思的执行计划和实际生成的执行计划是否存在差异,并思考差异的原因是啥,慢慢就能够对生成的算法以及算法执行路径图是否合理给出一个自己的评

Element-ui中的el-image的图片预览功能(:preview-src-list)

今天用了element-ui中的图片预览功能,但是它的图片预览功能只能预览事先定义的图片,与我的业务功能完全不符,我的业务功能是在表格上显示多张图片,当点击图片时,就预览当前点击的图片。所以我将其修改了一下,将后端返回的图片依次渲染在页面上;功能就是当点击表格中的某个图片时,这个图片就被放大预览,且

使用python脚本抢购天猫和淘宝商品,0秒下单

使用python请购淘宝天猫的秒杀商品,可以实现0秒下单。

python数据可视化项目设计-中国人口

基于python,关于中国人口的数据可视化。

通达信交易接口:让交易更高效

通达信是国内著名的股票交易软件,其交易接口可以让开发者通过编程的方式进行自动化交易。本文将介绍通达信交易接口的部分API参数和代码示例,并分享一个基于通达信交易接口实现的量化策略代码。

《阿里大数据之路》读书笔记:第一章 总述

阿里数据体系主要分为数据采集、数据计算、数据服务和数据应用四大层次。

Hive入门详解操作

FaceBook网站每天产生海量的结构化日志数据,为了对这些数据进行管理,并且因为机器学习的需求,产生了hive这门技术,并继续发展成为一个成功的Apache项目。hive是一个构建在Hadoop上的数据仓库工具(框架),可以将结构化的数据文件映射成一张数据表,并可以使用类sql的方式来对这样的数据

k8s部署带用户名和密码的elasticsearch

k8s部署带用户名和密码的elasticsearch

分享几个 Github 镜像网站(亲测可用)

GitHub 在国内经常会出现无法访问的情况,下面分享几个 GitHub 镜像站供大家使用!

Macos jdk ssl javax.net.ssl.SSLHandshakeException完美解决

Macos jdk ssl javax.net.ssl.SSLHandshakeException完美解决

大数据技术原理与应用(第七章Zookeeper测试)

大数据技术原理与应用(第七章Zookeeper测试)

企业数据治理实战总结--数仓面试必备

本文为数仓面试必备!!!文章整理自涤生大数据老师宇哥,宇哥是历任中国电信,平安银行,微众银行,众安保险等多家公司擅长大数据求职面试,数仓开发管理,数据治理,数据质量等工作

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈