GitHub Spark：GitHub 推出零代码开发应用的 AI 编程产品
GitHub Spark 是一个基于 AI 的大模型编程产品，允许用户通过自然语言描述来创建和分享微应用程序，无需编写代码，即可在桌面和移动端使用。
【大数据】Spark Executor内存分配原理与调优
【大数据】Spark Executor内存管理与调优 Executor内存总体布局 统一内存管理 堆内内存 (On-heap Memory) 堆外内存 (Off-heap Memory) Execution 内存和 Storage 内存动态占用机制 任务内存管理(Task Memory M
【头歌】Hive基本查询操作（二） 答案
【头歌】Hive基本查询操作（二） 答案第1关：Hive排序第2关：Hive数据类型和类型转换第3关：Hive抽样查询
大数据-218 Prometheus 插件 exporter 与 pushgateway 配置使用 监控服务 使用场景
Prometheus Pushgateway 是一个用于帮助 Prometheus 监控短期任务和批处理任务的组件。在 Prometheus 的原生拉取模型中，它通常通过定期从各服务中“拉取”指标。然而，对于一些存在于短时间内的工作任务或批处理任务，比如脚本或批处理作业，它们可能在 Promethe
【GIT】.cr、.gitattributes 、 .gitignore和.git各文件夹讲解介绍
git文件夹是 Git 仓库的核心，包含了版本控制所需的所有信息，包括提交历史、分支、配置、索引和操作日志等。它通过对象存储文件快照，并提供了强大的分支和合并功能。如果没有.git文件夹，Git 就无法跟踪项目的版本历史。❗注意不要删除或修改.git文件夹中的内容，否则会破坏仓库的版本控制数据。如果
毕设分享 基于大数据的b站数据分析
本文主要运用Python的第三方库SnowNLP对弹幕内容进行情感分析，使用方法很简单，计算出的情感score表示语义积极的概率，越接近0情感表现越消极，越接近1情感表现越积极。从数据可视化中可以看到，播放量排名前三的分别是生活类、动画类、鬼畜类，让人诧异的是以动漫起家的B站，播放量最多的视频分类竟
【大数据学习 | kafka】消费者的分区分配规则
上面我们提到过，消费者有的时候会少于或者多于分区的个数，那么如果消费者少了有的消费者要消费多个分区的数据，如果消费者多了，有的消费者就可能没有分区的数据消费。那么这个关系是如何分配的呢？现在我们知道kafka中存在一个coordinator可以管理这么一堆消费者，它可以帮助一个组内的所有消费者进行分
极速梳理Spark的四种分词工具
Spark是一套巡行效率很高，速度很快又能提供多种计算场景的框架，它将数据拉到内存里面，并基于RDD（弹性分布式数据集）进行运算，这就导致它内存效率很高很快。 而在Spark框架下，有四种常用的中文分词工具，分别是：hanLP、ansj、jieba和fudannlp。以下是对于这四种工具
Spark 广播变量（Broadcast Variable）原理及源码分析
Spark 广播变量通过序列化、分块、缓存和分层传播的机制，大大减少了任务之间的数据传输开销，提高了性能。
六、深度剖析 Hadoop 分布式文件系统（HDFS）的数据存储机制与读写流程
HDFS 是一种高度分布式的文件系统，其专门为在大规模的集群环境之下存储和管理海量规模的数据而精心设计。它具备着极高的容错性、极为可靠的稳定性以及强大的可扩展性等显著特点，能够轻松处理 PB 级乃至更加庞大的数据量。HDFS 采用了主从架构的模式，主要是由 NameNode 和 DataNode 共
大数据新视界 -- 大数据大厂之 Impala 性能优化：基于数据特征的存储格式选择（上）（19/30）
本文围绕 Impala 基于数据特征的存储格式选择，阐述其意义、常见格式、选择策略，以社交媒体、物流、金融案例展示应用，探讨数据变化和多源融合挑战与应对，含代码和表格。助力 Impala 性能优化。
大数据-213 数据挖掘 机器学习理论 - KMeans Python 实现 距离计算函数 质心函数 聚类函数
我们需要定义一个两个长度相等的数组之间欧式距离计算函数，在不直接应用计算结果，只比较距离远近的情况下，我们可以用距离平方和代替距离进行比较，化简开平方运算，从而减少函数计算量。此外需要说明的是，涉及到距离计算的，一定要注意量纲的统一。在定义随机质心生成函数时，首先需要计算每列数值的范围，然后从该范围
大数据新视界 -- 大数据大厂之 Impala 性能优化：优化数据加载的实战技巧（下）（16/30）
本文围绕 Impala 优化数据加载的实战技巧展开，涵盖数据预处理、存储优化、并发与批量处理和基于监控与反馈的多行业案例，含丰富代码与表格。
2023_Spark_实验十：Centos_Spark Local模式部署
参考这篇博客：【Centos8_配置单节点伪分布式Spark环境】_centos8伪分布式环境搭建-CSDN博客
数据仓库构建的两种方法：自上向下、自下向上
数据仓库是在统一模式下组织的数据源异构集合。构建数据仓库有两种方法： 自上而下法和自下而上法解释如下。
测评三款宝藏AI电商作图工具，没想到最好用的居然是它！
随着AI技术的不断革新，AI电商作图工具如雨后春笋般涌现，它们用智能化的操作，为商家们打开了高效、专业的作图新篇章。今天，就让我们一起测评三款宝藏级的AI电商作图工具，看看哪款能助你一臂之力，轻松打造爆款商品！
基于SpringBoot+大数据的在线职业推荐与信息平台设计和实现(源码+论文+部署讲解等)
就业推荐系统是为了方便用户能够在网站上查看人才库、招聘信息、职业测评、岗位信息等，于是开发了基于springboot框架设计与实现了一款简洁、轻便的就业推荐系统。本系统解决了就业推荐管理事务中的主要问题，包括以下多个功能模块：面试邀请、应聘信息、面试通知、测评提交、职业建议等管理。本系统采用了JAV
Hadoop框架及应用场景说明
Hadoop是一个开源的分布式系统基础架构。由多个组件组成，组件之间协同工作，进行大规模数据集的存储和处理。本文将探讨Hadoop的架构以及应用场景。
大数据——数据预处理
数据预处理（data preprocessing）是指在主要的处理以前对数据进行的一系列处理，如对大部分地球物理面积性观测数据在进行转换或增强处理之前，首先将不规则分布的测网经过插值转换为规则网的处理，以利于计算机的运算。数据预处理是大数据分析中不可或缺的一环，涉及数据清洗、集成、规约和变换等多个步
【大数据技术基础 | 实验十】Hive实验：部署Hive
本实验介绍Hive的工作原理和体系架构，学会如何进行Hive的内嵌模式部署，启动Hive，然后将元数据存储在HDFS上。
