Hadoop学习笔记01:学习Linux常用操作命令
1>.ls (横向查看目录) ll(竖排查看目录)2>.mkdir (创建文件夹)3>.cd 文件夹名 (进入该文件夹) cd …(返回上一级目录)4>.rm 文件/夹名 (删除,可以接-f忽略不存在的文件,-i互动模式,-r递归删除会有危险。这是删除文件)(-rf才是删除文件夹)5>.mv 文件/
一文搞懂什么是“退化维度”
当一个维度没有数据仓库需要的任何数据的时候就可以退化此维度,需要把退化的相关数据迁移到事实表中,然后删除退化的维度。退化维度没有对应的维表,但可以获取与之相关的事实,如上订单号对应的订购者,服务对应的订购金额等。Kimball书中对退化维度的描述为:操作型事务控制号码,例如:订单号码,发票号码,提货
【Hive进阶】-- Hive SQL、Spark SQL和 Hive on Spark SQL
Hive由Facebook开发,用于解决海量结构化日志的数据统计,于2008年贡献给 Apache 基金会。Hive是基于Hadoop的数据仓库工具,可以将结构化数据映射为一张表,提供类似SQL语句查询功能本质:将Hive SQL转化成MapReduce程序。Spark SQL主要用于结构型数据处理
Docker-Compose部署RabbitMQ
单机部署rabbitmq高可用集群模式
Hadoop详细集群搭建
Hadoop详细安装环境:在虚拟机上,或者租一个服务器(用学生证可以认证白嫖喔,阿里云服务器等)
datagrip-2021.3.1:DataGrip使用
DataGrip使用
kibana 启动问题
kibana 启动后 server is not ready yet
elasticsearch-head浏览器插件安装使用
Elasticsearch 是一个非常强大的搜索引擎。它目前被广泛地使用于各个 IT 行业。Elasticsearch 是由 Elastic 公司创建。它的代码位于 GitHub - elastic/elasticsearch: Free and Open, Distributed, RESTful
【大数据&AI人工智能】企业级大数据产品体系技术架构白皮书
DT数据技术发展,从电商域数据出发,经历了数据中台化,后续辐射、涵盖了整个企业生态体系下的全域数据资产,围绕数据资产沉淀出了一整套的技术架构,自下而上可以分为四大模块,分别是采集、建设、管理、应用。架构图从下往上看,从数据采集和接入为始,抽取到计算平台,通过OneData体系,以“业务板块+分析维度
如何在rabbitmq中实现一个生产者,多个消费者,多个消费者都能收到同一条消息
如何在rabbitmq中实现一个生产者,多个消费者,多个消费者都能收到同一条消息场景:用户登录,邀请其它用户进行视频会议,收到邀请的用户进入会议rabbitmq实现思路:选型:发布订阅模式(Publish/Subscribe)一个生产者,多个消费者,每一个消费者都有自己的一个队列,生产者没有将消息直
启动hive报错no hbase in
bin/hive 报 which: no hbase in
Eureka 的几种主动下线服务的方式
Eureka 的几种主动下线服务的方式
Hadoop集群完全分布式搭建
hadoop集群分布式的搭建
RabbitMQ面试题(2022)
RabbitMQ面试题(2022)
大数据开发之利剑 -- TDengine
在大数据技术全球爆炸的时代,以及大数据在各行各业的实际应用,大数据的快速发展就像计算机和互联网一样,很可能成为新一轮的技术革命。数据处理、机器学习、AI等新兴技术诞生,会改变数据世界的许多算法和理论基础,从而实现科技突破。那么在大数据开发中需要的数据库技术有那些呢?其实数据库技术的成熟度取决于互联网
关于Hbase启动没有Hmaster和Regionserver的问题
没有启动成功需要考虑时间没同步,配置文件是否有误
流批一体计算引擎-5-[Flink]的Python Table API和SQL程序
Python Table API和SQL程序
HBase RowKey设计和实现
HBase由于存储特性和读写性能,在OLAP即时分析中发挥重要作用,Rowkey的设计好坏关乎到HBase的使用情况。我们知道HBase中定位一条数据需要四个维度的限制:RowKey,Column Family,Column Qualifier,Timestamp。RowKey是其中最容易出错的,不
Spark读取CSV文件(Scala)
header: 是否指定首行作为schema。format: 指定读取的文件格式:csv。schema: 指定数据字段的格式。
大数据框架之Hadoop:MapReduce(五)Yarn资源调度器
Yarn资源调度器