windows上配置hadoop并通过idea连接本地spark和服务器spark
windows上安装hadoop,用idea开发工具连接,实现独立应用的java spark程序。
FlinkCDC部署
FLINK-CDCFlinkCDC
Hbase安装详解
本文安装环境介绍:a、三台linux服务器,分别命名为node1、node2、node3(已在/etc/hosts文件里做好了ip和名字的映射)b、软件压缩包存储路径:/export/software/c、解压后安装包存储路径:/export/server/d、hadoop版本:hadoop-3.3
hadoop完全分布式搭建与集群测试
hadoop是本文章主演介绍hadoop完全分布式搭建过程。Hadoop是一个由Apache基金会所开发的分布式系统基础架构,是完全开源的,是由java语言编写的。
kafka的客户端限流(资源配额)
本文说明的是Kafka的客户端(生产者、消费者)与broker之前的限流,不是kafka的broker间topic副本同步的限流。
Ai studio 使用教程:
Ai studio使用详细教程,识字就懂
大数据测试入门介绍
大数据测试入门了解介绍
【大数据存储引擎】LSM-Tree 日志结构合并树 (Log-Structured Merge Tree) 极简教程
LSM-Tree :日志结构合并树 简介RocksDB 架构Motivation behind LSM TreesLSM 树背后的动机LSM Tree deep dive:追加写+有序深入探讨 LSM 树Dissecting LSM Tree 剖析 LSM 树Memtable 内存表SSTa
数据库系统-关系模式
数据库概念
Maxwell的简介与使用
一、简介Maxwell 是由美国Zendesk公司开源,用Java编写的MySQL变更数据抓取软件。它会实时监控Mysql数据库的数据变更操作(包括insert、update、delete),并将变更数据以 JSON 格式发送给 Kafka、Kinesi等流数据处理平台。Maxwell的工作原理是实
医疗信息管理系统(HIS)——>业务介绍
个人档案:建档、退档、查询、重置门诊卡:取现、退卡、挂失、启用、卡作废、详情门诊卡详情:查询、重置患者费用账单:导出、详情、查询、重置;注:所有的患者费用账单信息都必须通过业务流程产生。医院烂账记录:新增、编辑、导出、作废、查询、重置;注:每天下班手动记录烂账情况,如张三住院费用应收3000,实际实
一文读懂数据要素(附研究文档大合集下载)
本文将综合目前主流的研究进行归纳整理,从数据要素的定义、政策、发展趋势、困难挑战以及地方性探索等内容进行阐述,一文带你读懂数据要素。
Git如何上传代码到远程仓库(Gitee&Github)
git上传代码至Gitee
元数据性能大比拼:HDFS vs S3 vs JuiceFS
一般我们在看一个系统的性能时,主要关注它的操作时延(单个操作所消耗的时间)和吞吐量(满负载下的处理能力),我们把这两个指标再汇总一下:S3 非常慢,尤其是 Rename 操作,因为它是通过 Copy + Delete 实现的。本文测试的还只是单个空文件的 Rename,而大数据场景常用的是对整个目录
hiveSQL开窗函数详解
窗口函数也称OLAP函数,对数据库进行实时分析处理。
练习HDFS的访问,创建目录,删除目录--超详细
2、进入到sbin目录下输入:start-dfs.sh,重启一下。4、创建的多个目录,在虚拟机上查看:hdfs dfs -ls /之后再输入hdfs dfs -ls /,没有出现拒绝连接即可。hdfs dfs -mkdir /(文件名字)
Hbase相关-Grafana监控解读
Hbase服务-Grafana监控指标解读
大数据OLAP引擎
OLAP(Online AnalyticalProcessing)是一种数据处理技术,专门设计用于支持复杂的分析操作,本文介绍目前几种主流OLAP引擎的对比,及各自的特点。
Flink学习笔记(二)Flink常用API详解
提供了对时间和状态的细粒度控制,简洁性和易用性较差,主要应用在对一些复杂事件的处理逻辑上。
访问数据库的几种方式
2、命令行访问i、切换到mysql程序的路径下 Win+R --> cmd --> 输入cd C:\Program Files\MySQL\MySQL Server 5.6\binii、输入mysql -u用户名 -p密码 -P端口号 登录到mysql数据库管理系统