Kafka 单机部署搭建及其基本使用
最近在搞Flink 框架 其中数据源需要模拟kafka取数据 ,于是自己搭建了一套单机的kafka环境,以便用于测试。现整理如下的笔记,发上来和大家分享。后续还会有kafka的相关笔记,会与大家继续分享!当前文档所部署服务器 IP地址为192.168.118.218 hostname 为web一、
springboot集成starrocks、以及采用flink实现mysql与starrocks亚秒级同步
springboot集成starrocks、以及采用flink实现mysql与starrocks亚秒级同步(因采用dynamic-datasource-spring-boot-starter动态数据源,所以才是以下配置文件的样式,像redis,druid根据自己情况导入依赖)这个配置文件的场景是把s
Windows Docker 安装 ElasticSearch
安装 ElasticSearch、es-head可视化界面、Kibana
大数据-hadoop-hdfs
Hadoop(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统(Distributed File System)。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统,适合部署在廉价
2-4 Python 访问MongoDB
目录2-4 Python 访问MongoDB第一关:python连接MongoDB写入数据第二关:检索文档第三关:更新数据2-4 Python 访问MongoDB第一关:python连接MongoDB写入数据1、导入pymongo库import pymongo2、使用MongoClient对象创建与
动环监控4大应用价值,这个价值最大
对机房环境监测进行实时监控掌握相关数据参数,确保故障隐患及时发现,提高机房整体管理水平,降低运维难度。
HDFS文件创建与写入
此时,将本地的log文件内容,追加到了刚才创建的HDFS文件中,运行下面的命令,查看追加后的文件内容。运行后,已经将HDFS上的test.txt和hello.txt文件文件进行了合并,并且下载在本地。运行后显示如下,在/home/dolphin/Desktop/logs目录下有一个log文件。运行后
Scala 一文搞定
Apache Spark 是专为大规模数据快速实时处理的计算引擎/内存级大数据计算框架。Apache Spark 是由Scala 语言编写。
eureka服务端启动流程
eureka服务端启动流程
Eureka快速入门篇(三)Eureka 集群
Eureka集群,实际上就是启动多个Eureka实例,多个Eureka实例之间互相注册,互相同步数据,共同组成一个Eureka集群。
ShardingJDBC
定位为轻量级 Java 框架,在 Java 的 JDBC 层提供的额外服务。它使用客户端直连数据库,以 jar 包形式提供服务,无需额外部署和依赖,可理解为增强版的 JDBC 驱动,完全兼容 JDBC 和各种 ORM 框架。适用于任何基于 JDBC 的 ORM 框架,如:JPA, Hibernate
HBase之get方法
HTable类中提供了get()方法,同时还有与之对应的Get类。get方法分为两类:一类是一次获取一行数据;另一类是一次获取多行数据。
大数据毕业设计 招聘网站数据分析可视化 - python flask 网络爬虫
🔥 这两年开始毕业设计和毕业答辩的要求和难度不断提升,传统的毕设题目缺少创新和亮点,往往达不到毕业答辩的要求,这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设,学长分享优质毕业设计项目,今天要分享的是🚩招聘网站爬取与大数据分析可视化🥇学长这里
MapReduce序列化之统计各部门员工薪资总和
问题描述(1)emp.csv 数据源导入错误,第一行少了部分数据,导致运行时数据类型转换错误。(2)Browse Directory 下载输出结果报错。(3)Reducer 处理过程写错了,统计成各部门Mgr(直接领导的员工ID),造成统计数据结果错误。问题分析当发现输出结果出现偏差时,需要认真检查
1.flink简介与重要概念
flink简介与重要概念
zookeeper开启SASL,并且设置kafka如何连接
zookeeper开启sasl认证
【运维】运维常用命令
常用 linux运维命令 sed / cut / awk 等
用一个例子告诉你 怎样在Flink DataStream API 中读取数据源
用一个例子告诉你 怎样在Flink DataStream API 中读取数据源(Scala API)
flink cdc MySQL2Doris 案例分享 解决分库多表同步
使用flink cdc,完成mysql 多库 多表同时同步到doris中
【代码阅读】云E办项目后端技术栈总结及源码分析
前一段时间跟着 B 站手敲了一下【云 E 办项目】,今天写一下技术总结。