猿创征文｜Hadoop大数据技术综合实验
Hadoop大数据技术综合实验：网站访问日志采集、处理及分析
基于大数据的股票数据可视化分析与预测系统
本项目基于 Python 利用网络爬虫技术从某财经网站采集上证指数、创业板指数等大盘指数数据，以及个股数据，同时抓取股票公司的简介、财务指标和机构预测等数据，并进行 KDJ、BOLL等技术指标的计算，构建股票数据分析系统，前端利用echarts进行可视化。基于深度学习算法实现股票价格预测，为投资提供
大数据Flink进阶（四）：Flink应用场景以及其他实时计算框架对比
在实际生产的过程中，大量数据在不断地产生，例如金融交易数据、互联网订单数据、GPS定位数 据、传感器信号、移动终端产生的数据、通信信号数据等，以及我们熟悉的网络流量监控、服务器产生的日志数据，这些数据最大的共同点就是实时从不同的数据源中产生，然后再传输到下游的分析系统。另一方面结合实时数据ETL处理
2.Hadoop环境配置之虚拟机安装配置
虚拟机下载安装配置和克隆
Elasticsearch之join关联查询
Elasticsearch提供了类似于SQL JOIN的关联查询，通过has_child/has_parent可以实现一对多关系的父子表数据查询。但是其损耗也是比较大的，在使用的时候要根据分片数量的多少和预估数量量级的大小，提前做好性能测试
Kafka的终极UI工具丨Offset Explorer功能简介
Offset Explorer（以前称为Kafka Tool）是一个用于管理和使Apache Kafka ®集群的GUI应用程序。它提供了一个直观的UI，允许人们快速查看Kafka集群中的对象以及存储在集群主题中的消息。它包含面向开发人员和管理员的功能。
浅谈云计算和大数据
云计算和大数据是相辅相成关系，从应用角度来讲，大数据离不开云计算，因为大规模的数据运算需要很多计算资源；大数据是云计算的应用案例之一，云计算是大数据的实现工具之一。大数据大数据技术是一种新一代技术和构架，以快速的采集、处理和分析技术，从各种超大规模的数据中提取价值。大数据涉及到数据的采集、整理、存储
【愚公系列】2023年03月 MES生产制造执行系统-004.Kafka的使用
Kafka是一个分布式流处理平台，主要用于处理实时数据流。它可以用于日志收集、数据流处理、消息队列等场景。在大数据处理、实时数据分析等领域，Kafka被广泛应用。Kafka的主要功能包括消息发布和订阅、消息存储和消息处理。Kafka的概念包括生产者、消费者、主题、分区、偏移量等。生产者负责向Kafk
数据安全-分类分级 调研分析报告
大数据时代，数据呈现多源异构的特点，价值各不相同，企业应根据数据的重要性、价值指数等方面予以区分，便于采取不同的数据保护措施，防止数据泄露。因此，数据分类分级管理是数据安全保护中的重要环节之一。
matlab神经网络所有传递函数(激活函数)公式详解
本文来自《老饼讲解神经网络》：本文介绍matlab神经网络工具箱中的传递函数公式和图象详解。
大数据核心技术是什么
大数据的核心层：数据采集层、数据存储与分析层、数据共享层、数据应用层，可能叫法有所不同本质上的角色都大同小异。数据采集的任务就是把数据从各种数据源中采集和存储到数据存储上，期间有可能会做一些简单的清洗。数据源的种类比较多：网站日志：作为互联网行业，网站日志占的份额最大，网站日志存储在多台网站日志服务
凯斯西储大学轴承数据介绍及处理
凯斯西储大学轴承数据介绍及处理
大数据Canal（三）：使用Canal同步MySQL数据
首先需要在Canal中配置CanalServer 对应的canal.properties，这个文件中主要配置Canal对应的同步数据实例(Canal Instance)位置信息及数据导出的模式，例如：我们需要将某个mysql中的数据同步到Kafka中，那么就可以创建一个“数据同步实例”，导出到Kaf
hive数据倾斜（超详细）
说到hive的数据倾斜，可能有的小伙伴还不了解什么是数据倾斜，所以咱们这一次就从hive数据倾斜的表现、hive数据倾斜发生的原因、hive数据倾斜的解决方案这三个方面来聊一聊hive的数据倾斜。
MySQL创建数据库和数据表
MySQL的创建数据库和创建表操作
【用户画像】用户画像简介、用户画像的架构、搭建用户画像管理平台
数据仓库是大数据体系的基石，用户画像是建立在数仓之上的一种应用，类似的应用还有商业智能，推荐系统等。用户画像，英文: User Profile，( 也有少数称： User Portrait 或User Persona)。一句话概念就是将用户信息标签化（Tag或者Label），以用户为中心，将各种各样
SeaTunnel 学习笔记
SeaTunnel 学习笔记
什么是shuffle？shuffle的原理及过程
首先，我们给 Shuffle 下了一个明确的定义，在分布式计算场景中，Shuffle 指的是集群范围内跨节点、跨进程的数据分发。我们在最开始提到，Shuffle 的计算会消耗所有类型的硬件资源。具体来说，Shuffle 中的哈希与排序操作会大量消耗 CPU，而 Shuffle Write 生成中间文
Java Elasticsearch教程
Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎，本教程从Java语言角度讲解如何操作Elasticsearch，如果不熟悉Elasticsearch，可以先学习Elasticsearch教程，掌握基本概念和查询语法
《校园二手商品交易平台设计与实现》 开题报告
《校园二手商品交易平台设计与实现》 开题报告
