1分钟理解Flink中Watermark机制
1分钟理解Flink中Watermark
hive设置本地执行方式
假如hive中的SQL语句执行时间太长，可以设置本地执行方式，设置本地执行模式可以优化执行速度，数据量小的时候，使用本地模式：。以上这些配置，都可以写在 hive 的conf 下的 .hiverc 文件中，当hive启动的时候，就会加载。在hive的配置文件 hive-env.sh中将一些配置注释
制造业怎么应用大数据？_光点科技
随着信息技术的迅猛发展，大数据正逐渐成为各行各业的重要资源和工具。在制造业中，大数据的应用也逐渐得到了广泛关注。
【Docker晋升记】No.1--- Docker工具核心组件构成（镜像、容器、仓库）及性能属性
【Docker晋升记】No.1--- Docker工具核心组件构成（镜像、容器、仓库）及性能属性
【2023计算机考研】初试数据结构的院校汇总
PS：学校具体考研信息在院校信息中输入学校名称搜索可查看。华北计算机系统工程研究所。天津职业技术师范大学。中国石油大学(华东)郑州航空工业管理学院。天律职业技术师范大学。
Flink web UI配置账号密码，权限控制
由于Flink自带的web UI界面没有账号密码，需要通过nginx实现该效果。
巨量千川不同阶段人群定向策略使用技巧汇总
例如: 10条专业计划，其中80%消耗需要集中在1到2条计划上面，最好是2条计划，万一A计划出了问题，还有B计划跟上。d: 模型搭建的速度，标签的本质是看谁有意愿和我们直播间产生优秀的数据的反馈，影响接下来更多优秀的分配。c: 直播间自然流量，用户数据反馈影响直播间排序，影响流量获取，精准的人才
三台异构服务器搭建hadoop HA集群史上最详细方案（HDFS+YARN）
三台异构主机配置hadoop高可用环境，网上见到的HA的少，记录一下
基于Kafka和Spark实现实时计算系统
Apache Kafka是一个分布式的流处理平台。它最初是由LinkedIn开发并开源的，现在已经成为Apache软件基金会旗下的顶级项目之一。Kafka主要用于实时流数据的高吞吐量传输、存储和处理，例如日志收集、流式的ETL以及实时的Web日志等。Apache Spark是一个用于大规模数据处理的
kafka查看消息两种方式（命令行和软件）
①找到kafka安装文件夹②执行命令。
大数据之Kerberos认证
Kerberos 是一个网络身份验证协议，用于在计算机网络中进行身份验证和授权。它提供了一种安全的方式，允许用户在不安全的网络上进行身份验证，并获取访问网络资源的权限。
rabbitmq消息确认机制
默认是ack，consumer只要拿到消息就会自动确认，服务端就会删除queue中的消息，如果业务出现问题只有部分消息签收成功，剩余未签收的消息也会删除，为了能保存消息，需要设置为客户端手动确认签收。如果exchange有消息没有成功发送至queue，就会执行RuturnCallback，例：rou
数据之海 — 探索大数据的无尽可能
在信息爆炸的时代，大数据已经成为当今社会的瑰宝，而数据科学的发展为我们揭开了一个神秘而广阔的世界 —— 数据之海。本文将带领读者踏上一段奇妙的探索之旅，深入了解大数据的定义、应用领域以及对未来的巨大影响。我们将揭示数据之海中隐藏的宝藏，并通过精心设计的实例演示，帮助新手更好地理解和学习数据科学的精髓
azkaban介绍
Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程，它的配置是通过简单的key:value对的方式，通过配置中的dependencies 来设置依赖关系。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于
Spring Boot如何实现分布式消息队列
在分布式系统中，消息队列是非常重要的一部分，可以帮助开发人员实现异步处理、解耦系统、提高系统可靠性等。本文介绍了使用 RabbitMQ 实现分布式消息队列的示例代码。在实际使用中，需要根据具体场景选择合适的工具和方案，并注意消息的传输性能和可靠性，确保系统的可靠性和性能。
spark学习之maven导入依赖的一些问题
maven版本过高会无法导入部分scala的依赖，但也不必担心我们换一个版本即可，我这里用的maven仓库版本是3.8.6差不多是最新版的了（现在最新版本的是4.0了），刚开始导入依赖会出现很多问题，maven提示下载好了，但是依赖并没有导入进来导致jar还是不可用，所以这时候我们应该改变versi
RabbitMQ ---- Hello World
本节使用 Java 编写两个程序。发送单个消息的生产者和接收消息并打印出来的消费者。
Windows 环境下 Docker 安装伪分布式 Hadoop
将时区文件链接到本地时间文件上，以便系统能够正确地显示当前时间，防止系统重启后时区改变。输入下面命令可以看到时间和咱们时间不一样，需要同步一下不然以后可能会遇到一些问题。设置 ssh 开机自启，找到并打开文件/root/.bashrc。配置容器内的 root 用户密码，该密码可用于远程登录。我这里选
Flink CDC实时同步PG数据库
Flink CDC同步PG数据库全流程
SparkUI超详细解释（2）——Stages
推测的原因是这个stage对应的是以下面的代码，上下两个shuffle的key相同又有一次union all，所以可以放在一个stage中，虽然task数量是4000，但是上面的shuffle数据是分在2000个task中，下面的是另一个2000task中，并不会两者合在一起hash到4000个ta
