ElasticSearch的数据存储及写入原理
数据先写入内存 buffer，然后每隔 1s，将数据 refresh 到 os cache，到了 os cache 数据就能被搜索到（所以我们说es 是准实时的， es 从写入到能被搜索到，中间有 1s 的延迟）。每隔 5s，将数据写入 translog 文件（这样如果机器宕机，内存数据全没，最多会
SpringBoot 接入 Spark
SpringBoot 接入 Spark
Hive内部表与外部表的区别具体说明
将hdfs上的数据上传到内部表中，数据是被剪切到内部表中，内部表删除，hdfs上的数据也被删除；将hdfs上的数据上传到外部表中，数据是被拷贝到外部表中，外部表删除，hdfs上的数据不会被删除。
Springboot整合kafka
Springboot 整合kafka ，简单实现
Kafka处理单条超大信息的解决办法
Kafka处理单条超大信息的解决办法
elasticsearch 核心概念
elasticsearch 核心概念
kafka3.4.0集群搭建（无zookeeper）
2.8版本及以上kafka集群搭建，移除zookeeper
eclipse和hadoop连接攻略（详细）
超详细eclipse与hadoop链接，不踩雷，看了10篇+稿子的终极版
大数据应用——Hadoop运行模式（伪分布式运行）
注意：格式化NameNode，会产生新的集群id,导致NameNode和DataNode的集群id不一致，集群找不到已往数据。Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。注意：开启日志聚集功能，需要重新启动Nod
智慧交通完整解决方案
智慧交通是在智能交通的基础上，融入物联网、云计算、大数据、移动互联网等新技术，通过汇集交通信息，提供实时交通数据的交通信息服务。卡口是以设置在主要交通枢纽道路口的摄像机为依托，结合智能化的仪器和软件来实现道路交通的智能控管，比如当前的车流量，段面车辆计数，车辆特征检索，以及部分违章抓拍功能卡口一般作
COPA和利润中心PCA的区别
COPA PCA
24.大数据---Hive的连接三种连接方式
hive的三种连接方式
如何查看kafka的topic的消费者组有没有积压
如何查看kafka的topic的消费者组有没有积压
Flink Oracle CDC Connector源码解读
flink cdc是在flink的基础上对oracle的数据进行实时采集，底层使用的是debezium框架来实现，debezium使用oracle自带的logminer技术来实现。logminer的采集需要对数据库和采集表添加补充日志，由于oracle18c不支持对数据添加补充日志，所以目前支持的o
Kafka入门使用
Kafka是一个分布式消息队列，因其可水平扩展和高吞吐率而被广泛使用！kafka的安装与使用（Windows）1、运行zookeeper，下载与安装可见：https://blog.csdn.net/z1790424577/article/details/1066607642、下载kafka，地址为：
支付系统核心架构设计思路（万能通用）
支付系统核心架构设计思路（万能通用）支付系统核心架构设计思路（万能通用）支付系统核心架构设计思路（万能通用）支付系统核心架构设计思路（万能通用）支付系统核心架构设计思路（万能通用）支付系统核心架构设计思路（万能通用）支付系统核心架构设计思路（万能通用）支付系统核心架构设计思路（万能通用）支付系统核心
元数据管理-解决方案调研三：元数据管理解决方案——开源解决方案
数据血缘、基于角色的安全策略、表或列级标签以及中央审计功能使数据管理员可以轻松自信地管理和保护数据访问，直接在 Lakehouse 上满足合规性和隐私需求。2、查看自动化和精选的元数据：使用自动化和精选的元数据建立对数据的信任——表和列的描述、其他常用用户、表上次更新时间、统计信息、数据预览（如果允
Kafka消息中间件（Kafka与MQTT区别）
数据模型不同：Kafka以分布式的方式存储数据，数据按照主题分区存储，每个分区都有多个副本，可以通过分区键选择分区，消费者可以根据分区键并行消费数据。总的来说，Kafka更加适合处理大规模的实时数据，具有高吞吐量、低延迟和高可靠性的特点，而MQTT适用于轻量级的实时数据传输，具有简单易用和广泛支持的
kettle开发-Day38-其实chatGPT一直在身边
chatGPT的AI浪潮已经漫过膝盖，确定不做弄潮儿？
