flink执行任务运行10h以后挂掉并且报错
我觉得可能是1、因为代码错误运行时间长了有bug，这个是最有可能的(90%) 当时默认的内存是1G，不可能存在着内存不够的原因。我用了hadoop的集群的yarn，以及分析了taskmanager和jobmanager的内存大小、以及分析每个错误的原因。2、没仔细分析Log日志，很多时候想要节省
Eureka 和nacos 的区别
【代码】Eureka 和nacos 的区别。
从C语言到C++：C++入门知识（1）
从C语言到C++的过度，主要理解C++的基础知识点，本期包含C++的命名空间，输入、输出，缺省参数。
【Hadoop】安装部署-完全分布式搭建
Hadoop是一个适合大数据的分布式存储和计算平台。狭义上说Hadoop就是一个框架平台，广义上讲Hadoop代表大数据的一个技术生态圈，包括很多软件框架。而我们的完全分布式，指的是在真实环境下，使⽤多台机器，共同配合，来构建⼀个完整的分布式 ⽂件系统。在真实环境中，hdfs中的相关守护进程也会分布
ZooKeeper的应用场景(集群管理、Master选举)
但是，同时还需要注意的一点是：在分布式日志收集这个场景中，收集器节点上还会存放所有已经分配给该收集器机器的日志源机器列表，如果只是简单地依靠ZooKeeper自身的临时节点机制,那么当一个收集器机器挂掉或是当这个收集器机器中断“心跳汇报”的时候，待该收集器节点的会话失效后，ZooKeeper就会立即
大数据智能决策系统架构：决策系统性能与可扩展性
作者：禅与计算机程序设计艺术 1.简介概述随着互联网、移动互联网、物联网等新型信息社会的发展，以及无数数据产生的实时、快速、准确，如何有效利用这些海量数据的力量来提高企业效益、优化管理、改善产品质量，成为当下企业面临的最大课题。本文将会从大数据智能决策系统角度，
flink cdc DataStream api 时区问题
这里主要使用第二种方式。/*** 处理Debezium时间转换的问题* Debezium默认将MySQL中datetime类型转成UTC的时间戳({@link io.debezium.time.Timestamp }) ，时区是写死的无法更改，* 导致数据库中设置的UTC+8，到kafka中变成了多
数据仓库和数据湖的挑战和机遇：行业应用案例
作者：禅与计算机程序设计艺术 随着互联网、移动互联网和物联网的发展，数据量也在不断扩大。数据量越大，数据的价值越高。如何对海量数据进行存储、分析、管理、搜索和传输是一个重要的话题。随着数据的爆炸式增长、以及用户对数据的实时查询需求增加，数据的架构也面临新的挑战。
Kafka简介：深入解析ApacheKafka
作者：禅与计算机程序设计艺术 Kafka 简介：深入解析 Apache Kafka在当今高速发展的数据时代，分布式消息队列系统作为数据流通的中转站和分发中心，得到了越来越广泛的应用。Kafka是一款非常流行的开源分布式消息队列系统，以其高性能、可靠性、高可
Hadoop 集群一直处于安全模式，强制退出后出现数据丢失警告。解决方法
也就是说，我们其实已经实际删除了某些数据块，但是记录的元数据因为一些故障导致没有进行同步，就会出现这种情况。通俗来说就是，当前系统中元数据与记录数据块前后不一致，而 Hadoop 默认要求最大的误差阀值为。此时，我们就会发现那些数据块丢失的文件，将这些文件按照路径在 HDFS 中全部删除即可。如果你
Kafka Connect详解及应用实践
Kafka Connect是一个用于数据导入和导出的工具。它能够把多种数据源（如MySQL，HDFS等）与Kafka之间进行连接，实现数据在不同系统之间的交互以及数据的流动。扩展性：Kafka Connect支持自定义Connector，用户可以通过编写自己的Connector来实现与更多数据源进行
RabbitMQ入门案例之Topic模式
RabbitMQ的Topic模式是一种基于主题的消息传递模式。它允许发送者向一个特定的主题（topic）发布消息，同时，订阅者也可以针对自己感兴趣的主题进行订阅。在Topic模式中，主题通过一个由单词和点号组成的字符串来描述。例如，“*.china.#”表示匹配所有以“china”为结尾的主题，比如
关于hadoop的Cannot set priority of datanode process
之前搜索了很多文章一直没有效果，用了一个下午的时间。因为之前我用root账户进行了初始化操作，后来又用个人账号又进行了一次初始化，最后果然出现了问题。我发现我的hadoop文件下data和logs文件夹的用户权限为root（我已修改了data的数据权限），进行了初始化还是不行。关于使用Hadoop3
Windows安装rabbitmq
rabbitmq的安装和配置
【数据仓库】BI看板DataEase入坑指南
开头夸夸国产开源BI软件DataEase，支持常见各种报表，还支持图表联动和上下级钻取，超赞有木有！！！再来为什么说入坑，源码启动各种不服啊。本地用的maven3.5一直导入不了Java项目backend。后来看了官网bilibili源码启动视频，搞了1个多小时。
【笔记】Spark3 AQE(Adaptive Query Execution)
不同于传统以整个执行计划为粒度进行调度的方式，AQE 会把执行计划基于 shuffle 划分成若干个子计划，每个子计划用一个新的叶子节点包裹起来，从而使得执行计划的调度粒度细化到 stage 级别 (stage 也是基于 shuffle 划分)。我们知道一般的 SQL 执行流程是，逻辑执行计划 ->
【人工智能】AI 人工智能：会给人类未来的工作带来怎样的转变？
自动化与智能优化: 人工智能可以实现自动化，从而提高工作效率。许多脑力和体力密集型的任务将不再需要人工完成，劳动力可用于更高级别的任务。生产力增长: 随着AI的广泛应用，企业将实现更高的生产力。这将扩大经济规模，促进整体工作岗位的增长。新岗位的出现: 当传统岗位被人工智能取代时，许多全新的工作岗位也
微服务组件之Eureka
在传统的RPC远程调用中，管理每个服务于服务之间依赖关系复杂，管理复杂，所以需要使用服务治理，管理服务于服务之间依赖关系，可以实现服务调用、负载均衡、容错等，实现服务发现与注册。Eureka是Netflix开源的一款基于REST（Representational State Transfer）的服务
Hadoop--万恶NameNode各种起不来！！！
一下↓ 是对NameNode结点一些常见问题这里用到启动Hadoop集群的脚本：myhadoop.sh start 和查看进程脚本：jpsall (后面会写一篇关于脚本的文章)先看Hadoop配置文件/opt/module/hadoop-3.1.3/etc/hadoop（每个人可能路径不同），查看这
基于springboot实现的rabbitmq消息确认
RabbitMQ的消息确认有两种。 一种是消息发送确认。这种是用来确认生产者将消息发送给交换器，交换器传递给队列的过程中，消息是否成功投递。发送确认分为两步，一是确认是否到达交换器，二是确认是否到达队列。 第二种是消费接收确认。这种是确认消费者是否成功消费了队列中的消息。
