kafka 使用thrift序列化对象

而解决这个问题的办法就是采用第三方的支持跨语言的序列化/反序列化框架,所谓的跨语言, 意思就是说,不管你是什么语言生成的对象,那你存入kafka的时候 用我的序列化协议,我帮你序列化, 当你从kafka中获取数据的时候, 也请用我来反序列化。kafka存储的实际上不是python对象也不是ja

Kafka的数据可靠与数据重复

kafka数据重复及数据可靠性问题

【KafkaStream】微服务学习笔记十一:流式计算概述&KafkaStream入门

主要介绍流式计算的概念、应用场景以及如何利用Kafka Stream实现流式计算。

基于Docker-compose构建Kafka集群

首先,先向大家道个歉。由于前段时间的工作调整,导致我一直没有进行更新。现在工作逐渐走上正轨,现在决定继续更新自己学习的内容。希望对于学习或者从事大数据开发的你提供一些帮助。本次更新的内容为如何使用Docker-compose技术进行Kafka集群的构建。...

基于kafka的日志收集分析平台

Windows10机器(测试用)、Linux(centos7)、Nginx(1.20.1)、Filebeat(7.17.5)、kafka(1.12)、zookeeper(3.6.3)、Pycharm2020.3、mysql(5.7.34)创建/tmp/zookeeper目录,在目录中添加myid文件

日志收集平台day01:项目设计

本项目的目的是模拟生产环境下对web服务器产生的日志进行收集并存入数据库,最终以web应用方式展示日志数据。

Docker部署kafka Zookeeper

部署kafka,zookeeperkafka-topics.sh--create--zookeeper服务器私网2181--replication-factor1--partitions1--topicmykafka。KAFKA_ZOOKEEPER_CONNECT=“服务器的私网ip2181”-e。

使用docker-compose 搭建 kafka集群 + 可视化工具

docker 容器 搭建 kafka集群 安装并使用docker-compose 搭建 kafka集群 + 安装可视化工具

【kafka专栏】SpringBoot下`@KafkaListener`消费监听属性详解

KafkaListener有若干的配置属性,这些配置属性使用或者是结合使用,可以方便快捷的帮助我们实现kafka消费者数据监听的需求。这里的属性比较多,先大概了解一下,后续我会介绍。通常我们会把消费者监听的主题,消费者组名称,消费者组中消费者数量等常用信息做成自定义配置(而不是在代码中写死),如下所

【kafka专栏】消费者组数据积压的查看与处理方法

消费者组数据积压的查看与处理方法

【SpringBoot整合MQ】-----SpringBoot整合Kafka

​ windows版安装包下载地址:https://kafka.apache.org/downloads​ 下载完毕后得到tgz压缩文件,使用解压缩软件解压缩即可使用,解压后得到如下文件​ 建议使用windows版2.8.1版本。启动服务器​ kafka服务器的功能相当于RocketMQ中的

windows下安装kafka教程(遇到的坑)

Windows下安装运行kafka第二步,启动kafka2 . 下载kafka:http://kafka.apache.org/downloads.html (注意下载binary版本的) 3. 解压到相应文件夹,进入config目录下,找到server.properties文件,并作以下修改: 

MQ如何保证消息不丢失

如何保证MQ消息不丢失

【kafka专栏】生产者同步及异步发送数据三种方式

apache kafka生产者客户端三种同步及异步发送数据的方式

我在滴滴做开源

大家好,我是滴滴吴彦祖(狗头) – 石臻臻(狗头)开个玩笑哈, 非常感谢CSDN的邀请 能够来这里跟大家来聊聊天,来交个朋友, 我呢也是属于C站的老用户了从第一篇文章到现在应该快有十年的时间了, 对C站的感情也是非常深厚, 这一晃而过的十年,是我逝去的青春, 但是同样我也从当初懵懂无知的少年变成了

【云原生】一文搞懂Kafka中的listeners和advertised.listeners以及其他通信配置

参数详解listener.security.protocol.map安全协议集合默认集合:PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSLPLAINTEXT:不需要授权,非加密通道SSL:使用SSL

【从面试题看源码】-看完Kafka性能优化-让你吊打面试官

看完Kafka性能优化-让你吊打面试官

【kafka专栏】如何保证数据生产不重不漏的高可靠性

kafka要保证消息的生产消费可靠性,需要从三个方面进行管理,一是kafka集群服务端,二是kafka生产者客户端,三是kafka消费者客户端。只有这三个方面都保证可靠性,才能实现消息不重复、不漏掉!本文主要从kafka生产者客户端的角度说明可靠性及其相关配置,关于其他两个方面请关注本专栏!....

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈