Hadoop学习笔记01:学习Linux常用操作命令

1>.ls (横向查看目录) ll(竖排查看目录)2>.mkdir (创建文件夹)3>.cd 文件夹名 (进入该文件夹) cd …(返回上一级目录)4>.rm 文件/夹名 (删除,可以接-f忽略不存在的文件,-i互动模式,-r递归删除会有危险。这是删除文件)(-rf才是删除文件夹)5>.mv 文件/

一文搞懂什么是“退化维度”

当一个维度没有数据仓库需要的任何数据的时候就可以退化此维度,需要把退化的相关数据迁移到事实表中,然后删除退化的维度。退化维度没有对应的维表,但可以获取与之相关的事实,如上订单号对应的订购者,服务对应的订购金额等。Kimball书中对退化维度的描述为:操作型事务控制号码,例如:订单号码,发票号码,提货

【Hive进阶】-- Hive SQL、Spark SQL和 Hive on Spark SQL

Hive由Facebook开发,用于解决海量结构化日志的数据统计,于2008年贡献给 Apache 基金会。Hive是基于Hadoop的数据仓库工具,可以将结构化数据映射为一张表,提供类似SQL语句查询功能本质:将Hive SQL转化成MapReduce程序。Spark SQL主要用于结构型数据处理

Docker-Compose部署RabbitMQ

单机部署rabbitmq高可用集群模式

Hadoop详细集群搭建

Hadoop详细安装环境:在虚拟机上,或者租一个服务器(用学生证可以认证白嫖喔,阿里云服务器等)

datagrip-2021.3.1:DataGrip使用

DataGrip使用

kibana 启动问题

kibana 启动后 server is not ready yet

elasticsearch-head浏览器插件安装使用

Elasticsearch 是一个非常强大的搜索引擎。它目前被广泛地使用于各个 IT 行业。Elasticsearch 是由 Elastic 公司创建。它的代码位于 GitHub - elastic/elasticsearch: Free and Open, Distributed, RESTful

【大数据&AI人工智能】企业级大数据产品体系技术架构白皮书

DT数据技术发展,从电商域数据出发,经历了数据中台化,后续辐射、涵盖了整个企业生态体系下的全域数据资产,围绕数据资产沉淀出了一整套的技术架构,自下而上可以分为四大模块,分别是采集、建设、管理、应用。架构图从下往上看,从数据采集和接入为始,抽取到计算平台,通过OneData体系,以“业务板块+分析维度

如何在rabbitmq中实现一个生产者,多个消费者,多个消费者都能收到同一条消息

如何在rabbitmq中实现一个生产者,多个消费者,多个消费者都能收到同一条消息场景:用户登录,邀请其它用户进行视频会议,收到邀请的用户进入会议rabbitmq实现思路:选型:发布订阅模式(Publish/Subscribe)一个生产者,多个消费者,每一个消费者都有自己的一个队列,生产者没有将消息直

启动hive报错no hbase in

bin/hive 报 which: no hbase in

Eureka 的几种主动下线服务的方式

Eureka 的几种主动下线服务的方式

Hadoop集群完全分布式搭建

hadoop集群分布式的搭建

RabbitMQ面试题(2022)

RabbitMQ面试题(2022)

大数据开发之利剑 -- TDengine

在大数据技术全球爆炸的时代,以及大数据在各行各业的实际应用,大数据的快速发展就像计算机和互联网一样,很可能成为新一轮的技术革命。数据处理、机器学习、AI等新兴技术诞生,会改变数据世界的许多算法和理论基础,从而实现科技突破。那么在大数据开发中需要的数据库技术有那些呢?其实数据库技术的成熟度取决于互联网

关于Hbase启动没有Hmaster和Regionserver的问题

没有启动成功需要考虑时间没同步,配置文件是否有误

流批一体计算引擎-5-[Flink]的Python Table API和SQL程序

Python Table API和SQL程序

HBase RowKey设计和实现

HBase由于存储特性和读写性能,在OLAP即时分析中发挥重要作用,Rowkey的设计好坏关乎到HBase的使用情况。我们知道HBase中定位一条数据需要四个维度的限制:RowKey,Column Family,Column Qualifier,Timestamp。RowKey是其中最容易出错的,不

Spark读取CSV文件(Scala)

header: 是否指定首行作为schema。format: 指定读取的文件格式:csv。schema: 指定数据字段的格式。

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈