大数据存储架构详解:数据仓库、数据集市、数据湖、数据网格、湖仓一体
本文以文字+思维导图+表格的形式详解了数据库、数据仓库、数据集市、数据湖、数据网格、湖仓一体之间的区别。
HBase介绍
HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。逻辑上,HBase的数据模型同关系型数据库很类似,数据存储在一张表中,有行有列。但从HBase的底层物理存储结构(K-V)来看,HBase更像是一个multi-dimensional map(多维地图)。 1)Name Space
Spark 并行度
Spark中并行度设置
大数据Spark SparkSession的3种创建方式 Scala语言实现
大数据Spark SparkSession的3种创建方式 Scala语言实现
elasticsearch的.security-7索引崩溃恢复笔记
elasticsearch的.security-7索引崩溃恢复笔记
JDBC连接Impala——ImpalaJDBC41
JDBC连接Impala——ImpalaJDBC41,依赖报错,找不到数据库
Zookeeper下载和安装
Zookeeper下载安装教程:本地安装,集群安装
hive 入门 配置hiveserver2 (三)
Hive的hiveserver2服务的作用是提供jdbc/odbc接口,为用户,例如用户期望在个人电脑中访问远程服务中的Hive数据,就需要用到Hiveserver2。
flink-cdc,clickhouse写入,多路输出
高级:入clickhouse的同时推送到kafka供2次数据流程处理。kafka日志数据从kafka读取。2、判断日志内容级别:多路输出。1、关联字典表:完善日志数据。低级:入clickhouse。
mysql报错:1044 -Access denied for user ‘root‘@‘%‘ to database
在服务器的docker容器内,MySQL5.7版本中新建数据库报错:报错是因为root没有权限的原因,找到一下两种解决办法:查询用户表看root用户权限修改权限,命令如下:2.赋权mysql赋权操作,总结命令如下:两个方法都可以试试,我遇到这个问题时把两个方法用了一遍,中间忘记重启容器了,所以不知道
使用Elasticsearch进行分组聚合统计
使用Elasticsearch进行分组聚合统计
flink启动后web访问问题
在执行./start-cluster.sh 后,flink进程的监听ip端口是。这样只能本机进行访问,外部服务器是访问不了的,出现这个问题的原因是flink的。所以启动后就解析到127.0.0.1了。, 进程启动时会按照这个主机名从。
用户认证——Kerberos集成Hadoop的配置
Hadoop Kerberos配置
战斗到底:Java vs. Python - 用哪个更适合处理海量数据?
随着大数据的不断涌现,处理大数据的技术也越来越成熟。在这些技术中,Java和Python都是非常流行的选择。本文将对Java和Python在处理大数据方面的优缺点进行比较,并讨论在什么情况下应该选择哪种语言。
浅谈比特币原理
中本聪设计了一个方案:每10分钟打一个包,最开始这一个包会奖励 打包者50个BTC,每生成21万个包,也就是每过4年,奖励就减半,到目前为止,现在的打包奖励是6.25个BTC。50*6(1个小时6个10分钟)*24(一天24个小时)*365(一年365天)*4(每4年减一半)*(1+2/1+4
SpringBoot项目添加WebService服务
SpringBoot项目添加WebService服务
hadoop的组件有哪些
Apache Hadoop是一个分布式计算系统,它主要由以下几个组件组成:Hadoop Distributed File System(HDFS):这是Hadoop的分布式文件系统,负责存储大量的数据,并且能够以容错的方式进行读写。MapReduce:这是Hadoop的核心组件,它负责处理大规模的数
学大数据需要java学到什么程度
大数据需求越来越多,只有技术在手不愁找不到工作。学习大数据需要掌握什么语言基础?
Flink系列之Flink中StateBackend深入剖析和应用
Flink系列之Flink中StateBackend深入剖析和应用
ZooKeeper【集群模式】
ZooKeeper集群配置信息、选举机制以及群起脚本