Spark系列(一)spark简介及安装配置
什么是Spark：Spark是一个用于大规模数据处理的统一计算引擎注意：Spark不仅仅可以做类似于MapReduce的离线数据计算，还可以做实时数据计算，并且它还可以实现类似于Hive的SQL计算，等等，所以说它是一个统一的计算引擎内存计算Spark中一个最重要的特性就是基于内存进行计算，从而让它
大数据-hadoop常用命令
hadoop常用命令
什么是目标检测？有哪些应用？终于有人讲明白了
导读：计算机视觉（Computer Vision，CV）是一门教计算机如何“看”世界的学科。计算机视觉包含多个分支，其中图像分类、目标检测、图像分割、目标跟踪等是计算机视觉领域最重要的研究...
Centos7上安装配置Spark
该文章主要是描述单机版Spark的简单安装，版本为 spark-3.1.3-bin-hadoop3.2.tgz1、Spark 下载、解压、安装Spark官方网站： Apache Spark™ - Unified Engine for large-scale data analytics Spark下
Hive 中的各种常用set设置
hive 中的常用set语句设置
Kafka如何实现延迟队列？
Kafka如何实现延迟队列？
大数据平台环境搭建
这段时间基于大数据技术与应用大赛所做的大数据平台环境搭建，原创文章。在自己电脑上搭建过几遍，按照上述笔记搭建没有出现问题。家人们如果在尝试搭建的过程中出现问题可以在下方评论区留言或者私信，我看到后会回复。希望能对有需求的萌新有所帮助。...
阿里云天池大数据长期赛：金融风控-贷款违约预测（含代码）
本次比赛让自己在大数据的处理流程上有了更明确的认知，从数据清洗、特征工程、数据建模，每一个过程都能学到很多经验和知识，值得去历练。
Springboot整合kafka
1. 整合kafka1、引入依赖 <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kaf
数仓理论及建模方法
1. 数仓概述数据仓库： 数据仓库是一个面向主题的、集成的、非易失的、随时间变化的数据集合。重要用于组织积累的历史数据，并且使用分析方法（OLAP、数据分析）进行分析整理，进而辅助决策，为管理者、企业系统提供数据支持，构建商业智能。面向主题：为数据分析提供服务，根据主题将原始数据集合在一起。集成的：
1990-2021年全国各省外商直接投资水平
1990-2021年全国各省外商直接投资水平数据
“大数据时代下的地理信息可视化：ECharts地图和数据面板实践“
数据可视化是一种数据分析技术，它通过将数据转化为图形或图表等可视化方式，以便更好地理解和解释数据。在实际应用中，数据可视化被广泛用于数据监控、业务分析、决策支持等领域。而ECharts是一款优秀的数据可视化工具，它具有丰富的图表类型、简单易用的API、灵活的配置选项等特点，可以帮助开发者轻松地构建各
flink学习之sql-client之踩坑记录
注意当你使用这个模式运行一个流式查询的时候，Flink 会将结果持续的打印在当前的屏幕之上。如果这个流式查询的输入是有限的数据集， 那么Flink在处理完所有的数据之后，会自动的停止作业，同时屏幕上的打印也会相应的停止。--也可以不用hadoop 其实这里的时候就该反应过来，如果写过flink ta
HDFS Java API操作（IDEA版）
目标编写Java API来操作HDFS，完成的操作有：文件上传、文件下载、新建文件夹、查看文件、删除文件。前提条件1.Windows下安装好jdk1.82.Windows下安装好maven，这里使用Maven3.6.33.Windows下安装好IDEA，这里使用IDEA20214.Linux下安装好
企业级数据中台应用架构和技术架构
数据中台是一种将企业沉睡的数据变成数据资产，持续使用数据、产生智能、为业务服务，从而实现数据价值变现的系统和机制。通过数据中台提供的方法和运行机制，形成汇聚整合、提纯加工、建模处理、算法学习，并以共享服务的方式将数据提供给业务使用，从而与业务联动。再者，结合业务中台的数据生产能力，最终构建数据生产一
RabbitMQ—发布消息确认和消费消息确认
RabbitMQ作为一种消息队列，是一个基于AMQP（Advanced Message Queuing Protocol ）基础上实现的，可复用的企业消息系统。它不仅可以用于大型软件系统各个模块之间的高效通信，还支持高并发，支持可扩展。使用RabbitMQ作为各个模块之间的通信工具，不仅有利于各个模
Filebeat部署+Kafka接收消息
单机版filebeat搭建，Filebeat部署+Kafka接收消息
正确使用docker compose安装Kafka并运行示例
kafka spring boot
hadoop 安装与测试
本文需要下载的安装包是Hadoop-3.1.3.tar.gz/jdk-14_linux-x64_bin.tar.gz。将Windows上的安装包上传到Linux上，方式有很多。本文是将安装包通过共享文件夹形式传到虚拟机上的share文件下。登录官网hadoop.apache.org下载安装包。ubu
cmd启动MySQL服务显示服务名无效，MySQL服务无法启动
若显示如下图，
