微服务RabbitMQ高级篇
消息可靠性传递概述,生产者消息确认机制publisher-comfirm,publisher-return,消息持久化消费者消息确认机制,如何确保RabbitMQ消息的可靠性？死信交换机,延迟队列,惰性队列,MQ集群
hadoop离线与实时的电影推荐系统-计算机毕业设计源码10038
管理员：首页、网站管理（轮播图、公告消息）人员管理（管理员、普通用户）内容管理（电影资讯、资讯分类）模块管理（电影信息、电影类型）个人信息；用户：首页、公告消息、电影资讯、电影信息管理等操作。
Hadoop-MapReduce-源码跟读-ReduceTask阶段篇
1、初始化：比如构建作业和尝试任务的上下文、更新任务状态，构建输出提交器等2、Shuffle：根据本地模式和集群模式生成不同的线程（Fetcher）组来收集map端的输出3、Sort：对Shuffle的结果进行排序合并4、SecondarySort：对相同key的value进行二次排序5、构建自定义
59、Flink CEP - Flink的复杂事件处理介绍及示例（4）- 延迟数据处理和三个实际应用示例
一、Flink 专栏Flink 专栏系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink 部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink 的基础部分，比如术语、架构、编程模型、编程指南、基本的datastream api用法、四大基石等内容。
东润环能：高效利用大数据资源
公司简介我们北京东润环能科技股份有限公司是一家从事新能源电力领域的数据信息服务公司，公司的经营聚焦为：新能源产业大数据应用与投资服务领跑者！我们东润环能开创之初，提供了新能源发电功率预测系统、电网调度管理与支持系统、新能源城市规划与咨询服务等基础性产品，并逐步打造三大新能源互联网智慧服务生态圈平台，
从kafka读取数据并入库(mysql)
从kafka消费信息，并入库
Spark数据可视化：使用Spark与Tableau/Power BI进行数据可视化分析
通过Spark与Tableau/Power BI的集成，我们可以实现大数据的高效处理和直观的可视化分析。首先，我们需要明确在使用Tableau或Power BI进行数据可视化之前，Spark在整个数据处理流程中的角色。集成后，用户可以在Tableau中创建各种图表、仪表板，并利用Tableau的交互
Kafka 入门笔记
kafka 入门笔记
Hive/SparkSQL中Map、Array的基本使用和转换
语法: map (key1, value1, key2, value2, …)说明：根据输入的key和value对构建map类型。
Flink的流式数据流式计算
1.背景介绍流式数据流式计算是一种处理大规模、高速、实时数据的技术，它的核心是在数据流中进行实时计算和分析。随着大数据时代的到来，流式数据处理技术已经成为了一种必须掌握的技能。Apache Flink是一种流式数据处理框架，它可以处理大规模、高速的数据流，并提供实时计算和分析功能。在本文中，我们将深
Flink容错机制
在恢复时，Flink将从最近的检查点中读取状态数据，并尝试将任务恢复到该检查点之前的状态。总之，Flink的保存点功能为用户提供了灵活的状态管理选项，使得用户可以更好地控制和管理Flink作业的状态。更重要的是，在有状态的流处理中，任务需要保持其之前的状态，以便继续处理新数据。总之，Flink的保存
分布式数据处理：Hadoop与Spark
1.背景介绍分布式数据处理：Hadoop与Spark1. 背景介绍随着数据的增长，传统的单机数据处理方法已经无法满足需求。分布式数据处理技术成为了一种必须的解决方案。Hadoop和Spark是两种非常流行的分布式数据处理技术，它们各自具有不同的优势和特点。本文将详细介绍Hadoop和Spark的核心
Hive-架构与设计
支持通过SQL对数据仓库中数据进行访问，比如提取、转化、加工、分析等支持将不同数据格式添加数据结构可以直接访问大数据存储系统中的文件，比如HDFS、HBase等Hive是一个基于Hadoop的数仓分析工具，将分布式系统中的数据映射成结构化数据。提供丰富的SQL查询方式对数仓中的数据进行访问。一般不会
SparkMLib：卷积神经网络
1.背景介绍1. 背景介绍SparkMLib是Apache Spark的一个机器学习库，它提供了一系列的算法和工具来处理大规模数据集。卷积神经网络(Convolutional Neural Networks，CNN)是一种深度学习模型，它在图像识别、自然语言处理等领域取得了显著的成功。本文将详细介绍
Liveweb智慧园区视频大数据综合监管方案
智慧园区借助新一代的云计算、物联网、AI、5G、大数据等技术，对现有互联网技术、传感器技术、智能信息处理等信息技术高度集成，通过监测、分析、整合以及智慧响应的方式，采取感知化、互联化、智能化的手段，将园区中分散的物理基础设施、信息基础设施、社会基础设施和商业基础设施连接起来，成为新一代的智慧化基础设
Spark与Kubernetes集成
1.背景介绍1. 背景介绍Apache Spark是一个开源的大规模数据处理框架，它提供了一种高效的方法来处理大量数据。Kubernetes是一个开源的容器管理平台，它可以自动化地管理和扩展应用程序的部署和运行。在大数据处理和分析场景中，将Spark与Kubernetes集成可以实现更高效、可扩展的
【大数据】Flink 中的 Slot、Task、Subtask、并行度
通过调整 task slot 的数量，用户可以定义 subtask 如何互相隔离。每个 TaskManager 有一个 slot，这意味着每个 task 组都在单独的 JVM 中运行（例如，可以在单独的容器中启动）。具有多个 slot 意味着更多 subtask 共享同一 JVM。同一 JVM 中的
Hadoop 环境搭建
1各个模块分开启动/停止（配置ssh是前提）常用（1）整体启动/停止HDFS（2）整体启动/停止YARN2各个服务组件逐一启动/停止（1）分别启动/停止HDFS组件（2）启动/停止YARN。
【大数据】Flink 架构（三）：事件时间处理
在事件时间模式下，Flink 流式应用处理的所有记录都必须包含时间戳。时间戳将记录和特定时间点进行关联，这些时间点通常是记录所对应事件的发生时间。但实际上应用可以自由选择时间戳的含义，只要保证流记录的时间戳会随着数据流的前进大致递增即可。正如前文所述，基本上所有现实应用场景都会出现一定程度的时间戳乱
(02)Hive SQL编译成MapReduce任务的过程
Hive SQL编译成MapReduce的过程
