flink内存配置
flink内存配置
Zookeeper+kafka集群部署
消息存放的目录，这个目录可以配置为“，”逗号分割的表达式，上面的num.io.threads要大于这个目录的个数这个目录，如果配置多个目录，新创建的topic他把消息持久化的地方是，当前以逗号分割的目录中，那个分区数最少就放那一个。的启动停止 (要三台都启动才行！),分别进入三台服务器的zookee
Scala编程 读取Kafka处理并写入Redis
Scala还提供了许多高级特性，如高阶函数、模式匹配、类型类等，使得编写高效、简洁、可重用的代码变得更加容易。由于其高性能、灵活性和丰富的功能，Redis被广泛应用于各种场景，如缓存加速、实时计数、排行榜、消息队列等。同时，Kafka还提供了丰富的API和生态系统，使得开发者可以方便地构建基于Kaf
2024 数据可视化分析方向毕业设计选题推荐 大数据
数据可视化分析方向毕业设计选题合集涵盖了深度学习、机器学习、算法、人工智能、大数据、信息安全、推荐系统、目标检测等多个热门领域。对于计算机专业、软件工程专业、人工智能专业、大数据专业的毕业生而言，选择一个合适的毕业设计选题至关重要。在这个毕业设计选题合集中，我们精心收集了各种有趣且具有挑战性的选题，
HADOOP 保姆级环境搭建及知识总结
首先在官网下载JDK和Hadoop登录Linux到root用户下，创建两个文件目录，例如：module，software两个文件目录，通过FinalShell将两下载好的两个文件上传到module目录下，通过命令将两个文件解压到创建的另外一个目录中去解压完两个文件之后，配置环境变量。配置完上面的两个
面试小抄（Zookeeper篇）
面试小抄（Zookeeper篇）
RabbitMQ 部署指南
在Centos7虚拟机中使用Docker来安装。
HBase与Python的集成: 如何将HBase与Python进行集成
1.背景介绍HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态系统的一部分，可以与HDFS、MapReduce、ZooKeeper等组件集成。HBase非常适合存储大量结构化数据，如日志、时间序列数据、实时数据等。Python是一种流行
JDK8 和 JDK17 下基于JDBC连接Kerberos认证的Hive(代码已测试通过)
打开了debug后,如果是正常情况,我们能观察到控制台会打印到krb5.conf相关内容信息,出现问题优先根据debug日志查看,如果没有打印出krb5文件内容,去看看路径/文件权限。之前自研平台是基于jdk8开发的,连接带Kerberos的hive也是jdk8,现在想升级jdk到17,发现过Ker
Kafka在美团数据平台的实践
基于Kafka的应用层去实现，具体就是Kafka的数据按照时间维度存储在不同设备上，对于近实时数据直接放在SSD上，针对较为久远的数据直接放在HDD上，然后Leader直接根据Offset从对应设备读取数据。这种方案的优势是它的缓存策略充分考虑了Kafka的读写特性，确保近实时的数据消费请求全部落在
Spark大数据分析与实战笔记（第三章 Spark RDD弹性分布式数据集-01）
RDD (Resilient Distributed Dataset)，即弹性分布式数据集，是一个容错的、并行的数据结构，可以让用户显式地将数据存储到磁盘和内存中，并且还能控制数据的分区。对于迭代式计算和交互式数据挖掘，RDD可以将中间计算的数据结果保存在内存中，若是后面需要中间结果参与计算时，则可
大数据技术之Hadoop
hadoop之父：道格 卡丁。
Fink CDC数据同步（四）Mysql数据同步到Kafka
这里指定的Kafka topic会自动创建，也可以预先自行创建。将下列依赖包放在flink/lib。创建upsert-kafka 表。创建MySQL映射表。
大数据技术之Hive（三）hive常用函数
hive自带了一些函数，比如max/min等。但是数量有限，自己可以通过UDF来方便的扩展。当hive提供的内置函数无法满足业务需求时，就可以考虑用户自定义函数UDF根据用户自定义函数类别分为以下三种：UDF一进一出UDAF用户自定义聚合函数，多进一出类似于：count/max/minUDTF用户自
阿里巴巴内部：全技术栈PPT分享（架构篇+算法篇+大数据）
我只截图不说话，PPT大全，氛围研发篇、算法篇、大数据、Java后端架构！除了大家熟悉的交易、支付场景外，支撑起阿里双十一交易1682亿元的“超级工程”其实包括以下但不限于客服、搜索、推荐、广告、库存、物流、云计算等。Java核心技术栈：覆盖了JVM、锁、并发、Java反射、Spring原理、微服务
Hive 的 安装与使用
hive的元数据是存在 MySql 里的，如果不使用元数据服务的话，hive直接会操作MySql里的元数据，使用元数据服务的话，hive会操作元数据服务，元数据服务再去操作 MySql 里的元数据。用于列出系统中已安装的所有软件包的名称，CentOS 6系统自带的数据库 MySql，CentOS 7
Spark SQL调优实战
spark sql参数调优
【大数据】Flink SQL 语法篇（一）：CREATE
CREATE 语句用于向当前或指定的 Catalog 中注册库、表、视图或函数。注册后的库、表、视图和函数可以在 SQL 查询中使用。
Flink CEP实现10秒内连续登录失败用户分析
Flink CEP实现10秒内连续登录失败用户分析
一文详解pyspark中sql的join
我们是通过学生表的sclass和班级表的cid将两张表关联在一起，所以定义join表达式如下。
