分布式搜索引擎ElasticSearch-1
分布式搜索引擎ElasticSearch基础1
ubuntu-hadoop伪分布
【代码】ubuntu-hadoop伪分布-环境配置。
MySQL高级篇——日志
介绍mysql的六大日志——binlog、redolog、慢查询日志、通用查询日志、错误日志、数据定义语句日志。介绍了二阶段提交。
湖仓一体电商项目(十一):编写写入DWS层业务代码
DWS层主要是存放大宽表数据,此业务中主要是针对Kafka topic “KAFKA-DWD-BROWSE-LOG-TOPIC”中用户浏览商品日志数据关联HBase中“ODS_PRODUCT_CATEGORY”商品分类表与“ODS_PRODUCT_INFO”商品表维度数据获取浏览商品主题大宽表。Fl
[Spring boot] Spring boot 整合RabbitMQ实现通过RabbitMQ进行项目的连接
认识了解安装RabbitMQ以及进行Spring boot 整合RabbitMQ实现通过RabbitMQ进行项目的连接的代码实操
湖仓一体电商项目(十二):编写写入DM层业务代码
DM层主要是报表数据,针对实时业务将DM层设置在Clickhouse中,在此业务中DM层主要存储的是通过Flink读取Kafka “KAFKA-DWS-BROWSE-LOG-WIDE-TOPIC” topic中的数据进行设置窗口分析,每隔10s设置滚动窗口统计该窗口内访问商品及商品一级、二级分类分析
golang实现es根据某个字段分组,对某个字段count总数,对某个字段sum求和
一个series 有 n 个dna,series 与 dna关系为 1 :n。欢迎进群交流:1007576722。:实现按照dna发行数量(系列下。的总数)或者发行金额(系列下。)排序,同时支持分页功能。
spark3总结——分区数对带有初始值聚合操作的影响
spark3总结——分区数对带有初始值聚合操作的影响
SparkSQL 总结(未完待续)
Spark SQL 是Spark 用于结构化数据(structured data)处理的 Spark 模块。
Spark SQL操作数据源
一、操作MySql二、操作HIVE数据库①准备环境②创建表类型③插入数据④Spark SQL 操作Hive数据库①Spark读取MySqlStep1 登录SQLStep2 创建数据库,并选择数据库Step3 创建表Step4 插入数据到表中。
Hadoop 集群搭建
一,Hadoop 的安装模式二,基础环境准备-选择操作系统基础环境准备-安装 VMware下载 VMware的平台安装完成后基础环境准备-部署 Ubuntu下载 Ubuntu 18 镜像http://mirrors.aliyun.com/ubuntu-releases/18.04/基础环境准备-部署
秋招面试题系列- - -Java工程师(八)
接收到客户端请求,处理请求判断是否需要注册 Watcher,需要的话将数据节点的节点路径和 ServerCnxn(ServerCnxn代表一个客户端和服务端的连接,实现了 Watcher的 process接口,此时可以看成一个 Watcher对象)存储在。通过设置 Chroot,能够将一个客户端应用
中秋邀请共赏图数据库-蚂蚁集团图数据TuGraph 正式开源
蚂蚁集团图数据TuGraph 正式开源
Flink高频面试题( 精简 )
作为大数据领域炙手可热的大数据组件,Flink作为大数据行业跳槽必问的组件,整理一些Flink相关的面试题供大家参考,有些题言简意赅即可,大多数的博客冗余一堆的知识点,看完要好久,我想帮大家提炼总结出核心的点,以帮助大家临阵磨枪,短时间掌握,当你把知识提炼出来,你会发现你的知识进步了,当你把简单提炼
记一次HBase启动异常的恢复历程
我去hdfs这个表对应的目录下面查看发现.regioninfo文件是存在的,但meta表中确实没有相关信息,既然是这样情况,那理论上通过-fixMeta应该就可以修复Meta数据,但是实际上执行-fixMeta后并没有实际的效果。至些,这个HBase启动的问题算是彻底修复了,虽然,但是,关于最后的.
hbase架构详解
flink之hbase
湖仓一体电商项目(十):业务实现之编写写入DWD层业务代码
编写处理Kafka ODS层数据写入Iceberg-DWD层数据时,由于在Kafka “KAFKA-ODS-TOPIC”topic中每条数据都已经有对应写入kafka的topic信息,所以这里我们只需要读取“KAFKA-ODS-TOPIC”topic中的数据写入到Iceberg-DWD层中,另外动态
开学季征文 | 新学期,新flag
Hello,大家好,我叫朱琨鹏,来自商丘师范学院,今年是一名准大三学生,我的专业是数据科学与大数据技术,与木有同僚呢?欢迎大家来咨询学习的问题哦,咱们在新学期互相学习。
Kakfa怎么保证消息的一致性
Kafka的也存在Leader和Follow节点,这样就会有一致性问题。
1分钟理解Flink中Watermark机制
1分钟理解Flink中Watermark