Liveweb智慧园区视频大数据综合监管方案
智慧园区借助新一代的云计算、物联网、AI、5G、大数据等技术，对现有互联网技术、传感器技术、智能信息处理等信息技术高度集成，通过监测、分析、整合以及智慧响应的方式，采取感知化、互联化、智能化的手段，将园区中分散的物理基础设施、信息基础设施、社会基础设施和商业基础设施连接起来，成为新一代的智慧化基础设
Spark与Kubernetes集成
1.背景介绍1. 背景介绍Apache Spark是一个开源的大规模数据处理框架，它提供了一种高效的方法来处理大量数据。Kubernetes是一个开源的容器管理平台，它可以自动化地管理和扩展应用程序的部署和运行。在大数据处理和分析场景中，将Spark与Kubernetes集成可以实现更高效、可扩展的
【大数据】Flink 中的 Slot、Task、Subtask、并行度
通过调整 task slot 的数量，用户可以定义 subtask 如何互相隔离。每个 TaskManager 有一个 slot，这意味着每个 task 组都在单独的 JVM 中运行（例如，可以在单独的容器中启动）。具有多个 slot 意味着更多 subtask 共享同一 JVM。同一 JVM 中的
Hadoop 环境搭建
1各个模块分开启动/停止（配置ssh是前提）常用（1）整体启动/停止HDFS（2）整体启动/停止YARN2各个服务组件逐一启动/停止（1）分别启动/停止HDFS组件（2）启动/停止YARN。
【大数据】Flink 架构（三）：事件时间处理
在事件时间模式下，Flink 流式应用处理的所有记录都必须包含时间戳。时间戳将记录和特定时间点进行关联，这些时间点通常是记录所对应事件的发生时间。但实际上应用可以自由选择时间戳的含义，只要保证流记录的时间戳会随着数据流的前进大致递增即可。正如前文所述，基本上所有现实应用场景都会出现一定程度的时间戳乱
(02)Hive SQL编译成MapReduce任务的过程
Hive SQL编译成MapReduce的过程
python毕设选题 - 大数据商城人流数据分析与可视化 - python 大数据分析
🔥 这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目，今天要分享的是🚩基于大数据的基站数据分析与可视化🥇学长这
【Kafka】 分区和副本 Partition 详解
Kafka分区和副本 Partition 详解
RabbitMQ高可用架构涉及常用功能整理
探讨rabbitmq的系统架构以及以及整体常用的命令和系统分析，本文主要探讨高可用版本的rabbitmq集群，并基于日常工作中的沉淀进行思考和整理。更多关于分布式系统的架构思考请参考文档[关于常见分布式组件高可用设计原理的理解和思考](https://blog.csDN.net/weixin_438
【大数据面试题】001 Flink 的 Checkpoint 原理
一步一个脚印，一天一道大数据面试题。Flink 是大数据实时处理计算框架。实时框架对检查点，错误恢复的功能要比离线的更复杂，所以一起来了解 Flink 的 Checkpoint 机制吧。
Hive Sql 大全(hive函数，hive表)
本节基本涵盖了Hive日常使用的所有SQL，因为SQL太多，所以将SQL进行了如下分类： 一、DDL语句（数据定义语句）：对数据库的操作：包含创建、修改数据库对数据表的操作：分为内部表及外部表，分区表和分桶表二、DQL语句（数据查询语句）：单表查询、关联查询hive函数：包含聚合函数，条件函数，日期
Hive执行计划
先看第一部分 stage dependencies ，包含两个 stage，Stage-1 是根stage，说明这是开始的stage，Stage-0 依赖 Stage-1，Stage-1执行完成后执行Stage-0。以上仅列举了4个我们生产中既熟悉又有点迷糊的例子，explain 还有很多其他的用途
涤生大数据实战：基于Flink+ODPS历史累计计算项目分析与优化（上）
当一个用户在T日实时上传了自己的跑步记录，Flink节点1会计算出其 [当日0点起至此刻] 的跑步累计数据data1，Flink节点2会根据该用户id取hbase维表里查询其 [历史～T-1日] 的累计数据 data2 (hbase表里数据由odps每日更新，即T-1日的存量累计汇总数据)，将dat
大数据——hadoop环境安装（docker搭建）
###### 这个Dockerfile主要是基于CentOS镜像进行一些系统设置和软件安装，最终生成一个包含SSH服务的镜像。####### dockerfile的内容# 基础镜像# 作者# 将工作目录切换到`/etc/yum.repos.d/`# 使用sed命令注释掉mirrorlist行。# 使
毕业设计：基于大数据的豆瓣电影数据挖掘与评分预测 python
毕业设计：基于大数据的豆瓣电影数据挖掘与评分预测通过深度学习和计算机视觉技术的结合应用，本课题旨在挖掘豆瓣电影数据中的潜在信息和模式，准确预测电影的评分和票房表现。通过自制的数据集和创新的算法设计，本课题为毕业生提供了一个有意义的研究课题，有助于培养他们在大数据分析、机器学习和数据挖掘等领域的技术和
大数据技术原理与应用实验指南——HBase编程实践
（1） 熟练使用HBase操作常用的Shell命令。（2） 熟悉HBase操作常用的Java API。（1） 安装HBase软件。（2） 编程实现指定功能，并利用Hadoop提供的Shell命令完成相同的任务（实现增、删、改、查基本操作，统计表的行数，打印表的记录等操作）。FileZilla
学习Spark遇到的问题
【报错】AttributeError: ‘SparkContext’ object has no attribute ‘setcheckpointDir’解决：将setcheckpointDir改成setCheckpointDir，其中c字母大写。是因为两个方法的传参不同导致。分析：SparkCon
flink基本概念
要解答这个问题，我们需要先梳理一下其他框架分配任务、数据处理的过程。对于 Spark而言，是把根据程序生成的 DAG 划分阶段（stage）、进而分配任务的。而对于 Flink 这样的流式引擎，其实没有划分 stage 的必要。因为数据是连续不断到来的，我们完全可以按照数据流图建立一个“流水线”，前
大数据毕设分享 机器视觉网络课堂专注检测系统
卷积神经网络(CNN)，是由多层卷积结构组成的一种神经网络。卷积结构可以减少网络的内存占用、参数和模型的过拟合。卷积神经网络是一种典型的深度学习算法。广泛应用于视觉处理和人工智能领域，特别是在图像识别和人脸识别领域。与完全连接的神经网络相比，CNN输入是通过交换参数和局部感知来提取图像特征的图像。卷
HBase的数据库与Apache Cassandra的集成
1.背景介绍HBase和Apache Cassandra都是分布式数据库，它们在数据处理和存储方面有一些相似之处，但也有一些不同之处。HBase是一个基于Hadoop的分布式数据库，它使用HDFS(Hadoop Distributed File System)作为底层存储系统，并提供了高可扩展性、高
