【4-5章】Spark编程基础(Python版)
RDD编程、HBase读写数据、Spark SQL(DataFrame)、MySQL读写数据
【flink番外篇】1、flink的23种常用算子介绍及详细示例(1)- map、flatmap和filter
本文主要介绍Flink 的3种常用的operator(map、flatmap和filter)及以具体可运行示例进行说明.将集合中的每个元素变成一个或多个元素,并返回扁平化之后的结果。按照指定的条件对集合中的元素进行过滤,过滤出返回true/符合条件的元素。本文主要介绍Flink 的3种常用的oper
大数据Doris(二十九):数据导入(Insert Into)
后面的 url 可以用于查询错误的数据,具体见后面 查看错误行 小结。Insert Into 语句的使用方式和 MySQL 等数据库中 Insert Into 语句的使用方式类似。Insert Into 命令需要通过 MySQL 协议提交,创建导入请求会同步返回导入结果。如果可见,显示 visibl
zookeeper分布式先进先出队列 (实操课程)
zookeeper 分布式队列 先进先出队列
2023_Spark_实验十九:SparkStreaming入门案例
Spark Streaming networdcount 案例,netcat工具,maven管理项目依赖,
2023_Spark_实验十八:安装FinalShell
安装配置Finalshell
Hadoop学习总结(MapRdeuce的词频统计)
MapRdeuce编程示例——词频统计
Windows_安装整合Prometheus + Grafana监控主机和Flink作业
基于Windows情况下安装Prometheus Grafana Node_exporter pushgatey,监控windows主机和本地IDE运行的flink作业
C++自动注册的工厂与--whole-archive
上篇文章《静态库和链接选项--whole-archive》提到--whole-archive的一个应用场景:C++自动注册的工厂,这篇文章来填坑。预备知识我们经常用工厂类或工厂方法统一管理资源,实现资源的创建和使用之间的解耦,调用者无需关心资源创建的细节,直接到工厂申请创建好的资源即可。一般情况下,
【Flink】状态管理
根据当前的输入可以直接转换得到输出结果,这种鼻子就是无状态算子,如map,flatMap,filter。
RabbitMQ
提供了系统之间的异步调用,让服务与服务之间解耦,还可以做到削峰填谷在项目中的使用,通常是异步发送(验证码、短信、邮件。。。),mysql和redis,es之间的数据同步,分布式事务,削峰填谷生产者提供消息给交换机,交换机将消息路由给队列,消费者监听队列。
【FLink】水位线(Watermark)
在Flink中,用来衡量事件时间进展的标记,就被称作“水位线”(Watermark)。说白了就是事件时间戳。
【Kafka】Kafka再平衡机制及相关参数
再平衡是指的是Consumer Group 下的 Consumer 所订阅的Topic发生变化时 发生的一种分区重分配机制。也就是说,再平衡也就是一种协议,它规定了如何让消费组下的所有消费者来分配 Topic 中的每一个分区。举个栗子:一个 Topic 有 100 个分区,一个消费者组内有有 20
docker搭建kafka
注意:云服务器需要设置安全策略放行2181与9092端口,否则访问失败。
Spring Boot整合RabbitMQ
在Spring项目中,可以使用Spring-Rabbit去操作RabbitMQ尤其是在spring boot项目中只需要引入对应的amqp启动器依赖即可,方便的使用RabbitTemplate发送消息,使用注解接收消息。
Flink 本地单机/Standalone集群/YARN模式集群搭建
集群,任务之间相互独立,互不影响,方便管理。任务执行完成之后创建的集群也会消失。现在,您的 Flink系统已启动并正在运行。现在,在本地节点上运行的。分离模式(与当前客户端无关,当客户端提交完任务就结束,不用等到。提供集群中所有节点的列表,这些列表将用作工作节点。,添加该配置表示内存超过分配值,是否
java操作RabbitMQ
java操作rabbitmq
spark介绍之spark streaming
spark streaming详细介绍
Hive 的安装与配置
hive的详细安装与配置
最新最全大数据专业毕业设计选题精华汇总-持续更新中
大家好!大四的同学们,毕业设计的时间即将到来,你们准备好了吗?为了帮助大家更好地开始毕设,我作为学长给大家整理了最新的计算机大数据专业的毕设选题。如果在开题选题的过程中有任何疑问,都可以随时向我提问,我会根据你们的情况提供帮助。对于大数据专业的毕设选题,重要的是选择与该领域紧密相关且具有实际意义的课