【大数据存储引擎】LSM-Tree 日志结构合并树 (Log-Structured Merge Tree) 极简教程

LSM-Tree :日志结构合并树 简介RocksDB 架构Motivation behind LSM TreesLSM 树背后的动机LSM Tree deep dive:追加写+有序深入探讨 LSM 树Dissecting LSM Tree 剖析 LSM 树Memtable 内存表SSTa

使用OGG实现Oracle到kafka数据同步(详细版本)

使用OGG实现Oracle到kafka数据同步

数据库系统-关系模式

数据库概念

Maxwell的简介与使用

一、简介Maxwell 是由美国Zendesk公司开源,用Java编写的MySQL变更数据抓取软件。它会实时监控Mysql数据库的数据变更操作(包括insert、update、delete),并将变更数据以 JSON 格式发送给 Kafka、Kinesi等流数据处理平台。Maxwell的工作原理是实

第1关:ZooKeeper初体验

ZooKeeper入门-初体验第1关:ZooKeeper初体验

docker创建带SASL认证的kafka

docker创建带SASL认证的kafka

医疗信息管理系统(HIS)——>业务介绍

个人档案:建档、退档、查询、重置门诊卡:取现、退卡、挂失、启用、卡作废、详情门诊卡详情:查询、重置患者费用账单:导出、详情、查询、重置;注:所有的患者费用账单信息都必须通过业务流程产生。医院烂账记录:新增、编辑、导出、作废、查询、重置;注:每天下班手动记录烂账情况,如张三住院费用应收3000,实际实

一文读懂数据要素(附研究文档大合集下载)

本文将综合目前主流的研究进行归纳整理,从数据要素的定义、政策、发展趋势、困难挑战以及地方性探索等内容进行阐述,一文带你读懂数据要素。

元数据性能大比拼:HDFS vs S3 vs JuiceFS

一般我们在看一个系统的性能时,主要关注它的操作时延(单个操作所消耗的时间)和吞吐量(满负载下的处理能力),我们把这两个指标再汇总一下:S3 非常慢,尤其是 Rename 操作,因为它是通过 Copy + Delete 实现的。本文测试的还只是单个空文件的 Rename,而大数据场景常用的是对整个目录

hiveSQL开窗函数详解

窗口函数也称OLAP函数,对数据库进行实时分析处理。

练习HDFS的访问,创建目录,删除目录--超详细

2、进入到sbin目录下输入:start-dfs.sh,重启一下。4、创建的多个目录,在虚拟机上查看:hdfs dfs -ls /之后再输入hdfs dfs -ls /,没有出现拒绝连接即可。hdfs dfs -mkdir /(文件名字)

Hbase相关-Grafana监控解读

Hbase服务-Grafana监控指标解读

hive时间和字符串互转,时间函数

hive里经常需要将字符串转化为date或timestamp 或者转化为日期格式的string先说一个简单的 cast(xx as date/string/timestamp) 这个大多情况都可以用。

大数据OLAP引擎

OLAP(Online AnalyticalProcessing)是一种数据处理技术,专门设计用于支持复杂的分析操作,本文介绍目前几种主流OLAP引擎的对比,及各自的特点。

数据同步之全量同步与增量同步

一、什么是数据同步业务数据是数据仓库的重要数据来源,我们需要每日定时从业务数据库中抽取数据,传输到数据仓库中,之后再对数据进行分析统计。为保证统计结果的正确性,需要保证数据仓库中的数据与业务数据库是同步的,离线数仓的计算周期通常为天,所以数据同步周期也通常为天,即每天同步一次即可。数据的同步策略有全

Flink学习笔记(二)Flink常用API详解

提供了对时间和状态的细粒度控制,简洁性和易用性较差,主要应用在对一些复杂事件的处理逻辑上。

访问数据库的几种方式

2、命令行访问i、切换到mysql程序的路径下 Win+R --> cmd --> 输入cd C:\Program Files\MySQL\MySQL Server 5.6\binii、输入mysql -u用户名 -p密码 -P端口号 登录到mysql数据库管理系统

Flink系列之:基于scala语言实现flink实时消费Kafka Topic中的数据

Flink系列之:基于scala语言实现flink实时消费Kafka Topic中的数据

Linux中安装clickhouse

Linux中安装clickhouse

什么时候需要分表分库?

在业务开发之前,我们首先要根据自己的业务需求来设计表。考虑到一开始的业务发展比较平缓,且开发周期比较短,因此在开发时间比较紧的情况下,我们尽量不要考虑分表分库。但是我们可以将分表分库的业务接口预留,提前考虑后期分表分库的切分规则,把该冗余的字段提前冗余出来,避免后期分表分库的JOIN查询等。当业务发

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈