Kafka3.0.0版本——集群部署(linux环境-centos7)

Kafka3.0.0版本——集群部署(linux环境-centos7)

Flink借助Kafka实现端到端精准一次

Flink结束Kafka实现端到端精准一次,包含检查点,保存点,状态后端的概念

在 docker 中快速启动 Apache Hive

在伪分布式模式下,在Docker容器内运行Apache Hive,可以提供以下功能:快速启动/调试/为Hive准备测试环境。

大数据导论—1.1.1,1.1.2

(2)图像数据是指用数值表示的各像素的灰度值的集合,真实世界的图像一般由图像上每一点光的强算和频道(颜色)来表示,把图像信息转换成数据信息时,须将图像分解为很多小区域,这些小区域称为像底,可以用一个数值来表示它的灰度,对于彩色围像常用红、绿、蓝三原色分量表示,顺序地抽取每一个像素的信息,就可以用一个

spark ui 指南

注意看到stage 19-24 是 跳过了, 原因是spark shuffle 的数据会写到磁盘固化,当上游当上游stage(19-24)和之前执行过的stage 相同时,可以直接用之前的结果.正在运行中的任务有 thread dump ,跟踪task 的执行过程, 目前只能点开 driver 的

HiveSql语法优化三 :join优化

前面提到过:Hive拥有多种join算法,包括Common Join,Map Join,Bucket Map Join,Sort Merge Buckt Map Join等;每种join算法都有对应的优化方案。

玩转大数据6:实时数据处理与流式计算

实时数据处理是指对数据进行的处理速度与数据生成速度基本一致的数据处理方式。它具有高实时性,通常要求处理速度与数据生成速度保持一致,以便对数据进行实时分析和决策。而流式计算则是一种计算模型,它将数据视为流式数据,并对其进行实时处理。流式计算具有实时性、连续性和弹性等特点。它可以对不断生成的数据进行实时

大数据基础编程、实验和教程案例(实验七)

你好# 大数据基础编程、实验和教程案例(实验五)

大数据之Scala简介

大数据之Scala的简单介绍

Hadoop3.x完全分布式环境搭建Zookeeper和Hbase

基于hadoop3.x完全分布式环境下部署zookeeper和Hbase注意事项:在启动Hbase之前要在所有集群节点上启动zookeeper 否则Hbase会报错(日志),无法使用。

(二十五)大数据实战——kafka集群及Kafka-Eagle控制台安装与部署

本节内容我们主要介绍一下搭建kafka集群以及kafka集群的一个web客户端组件Kafka-Eagle的部署安装,使用的kafka版本是kafka_2.12-3.0.0。在搭建kafka集群之前,我们要预先搭建好zookeeper集群,这里作者默认zookeeper的集群环境已经搭建完成,可参考作

HBaseAPI——IDEA操作HBase数据库&HBase与Hive的集成

HBaseAPI——IDEA操作HBase数据库&HBase与 Hive 的集成

Kafka中的auto-offset-reset配置

如果kafka服务器记录有消费者消费到的offset,那么消费者会从该offset开始消费。如果Kafka中没有初始偏移量,或者当前偏移量在服务器上不再存在(例如,因为该数据已被删除),那么这时 auto.offset.reset 配置项就会起作用。

Spark【Spark SQL(二)RDD转换DataFrame、Spark SQL读写数据库 】

Spark SQL通过RDD转换为DataFrame的两种方式、Spark SQL读写MySQL数据库

上一任留下的 Eureka,我该如何提升她的性能和稳定性(含数据比对)?

开篇:一次小小的技术讨论Aliware周末的时候,和一位在国内某互联网公司负责运维的朋友聊天,由于工作相关,刚好聊到了公司项目中微服务架构这块的一些问题,他们公司的微服务架构使用的是业界比较常用的 Spring Cloud Netflix 那一套作为底座,有专门的同学负责运维一套自建的 Eureka

Kibana 设置中文化 - 实现大数据的汉化

默认情况下,Kibana 使用英语界面,但是它也支持将界面语言设置为其他语言,包括中文。通过创建自定义插件并提供相应的翻译文本,我们可以很方便地将 Kibana 的界面语言切换为中文。完成插件文件的创建后,我们需要启动 Kibana,并加载我们的插件。需要注意的是,以上步骤适用于 Kibana 7.

kafka详解

消息中间件处理节点,一个 Kafka 节点就是一个 Broker,一个或者多个 Broker 可以组成一个 Kafka 集群。

hadoop(学习笔记) 4----怎么把文件放到hdfs上?

1.修改namenode,datanode的存放位置2.hdfs的文件操作

Flink CDC 3.0 正式发布,详细解读新一代实时数据集成框架

01FlinkCDC概述Flink CDC 是基于数据库日志 CDC(Change Data Capture)技术的实时数据集成框架,支持了全增量一体化、无锁读取、并行读取、表结构变更自动同步、分布式架构等高级特性。配合 Flink 优秀的管道能力和丰富的上下游生态,Flink CDC 可以高效实现

Hudi-简介和编译安装

Apache Hudi(Hadoop Upserts Delete and Incremental)是下一代流数据湖平台。Apache Hudi将核心仓库和数据库功能直接引入数据湖。Hudi提供了表、事务、高效的upserts/delete、高级索引、流摄取服务、数据集群/压缩优化和并发,同时保持数

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈