【大数据】海豚调度DolphinScheduler入门学习
DolphinScheduler 是一款分布式的、易扩展的、高可用的数据处理平台，主要包含调度中心、元数据管理、任务编排、任务调度、任务执行和告警等模块。其技术架构基于 Spring Boot 和 Spring Cloud 技术栈，采用了分布式锁、分布式任务队列等技术确保任务高可用性。部署灵活，支持
大数据-192 DataX - 异构数据源的同步工具 核心模块 Reader Writer
DataX是阿里巴巴集团内广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore（OTS）、MaxCompute（ODPS）、DRDS等各种异构数据源之间高效的数据同步功能。为了解决异构数据
Spark介绍与安装
Spark是一种基于内存的快速、通用、可扩展的大数据分析（计算）引擎。
大数据新视界 -- 大数据大厂之Cassandra 性能优化策略：大数据存储的高效之路
本文围绕《Cassandra 性能优化策略：大数据存储的高效之路》展开，全面阐述 Cassandra 架构对性能影响、读写优化、实施步骤、风险规避、案例分析、监控调优等内容，含大量代码示例、脚本、监控工具使用和调优策略，旨在为大数据存储优化提供指导，并鼓励读者互动。
《人工智能时代，程序员如何保持核心竞争力》
随着AIGC（如chatgpt、midjourney、claude等）大语言模型接二连三的涌现，AI辅助编程工具日益普及，特别是在人工智能迅速发展的时代，程序员面临着前所未有的挑战与机遇。例如，参加算法竞赛、黑客马拉松等活动，可以与其他优秀的开发者一较高下，提高自己的竞争力。- 通过参与开源项目，不
大数据与人工智能在金融风险控制中的应用
通过对海量数据的实时分析和智能化的预测模型，金融机构能够更准确地识别潜在风险，采取适当的防范措施，从而提升金融市场的稳定性和安全性。传统的信用评估主要依赖于财务报表和历史信用记录，而大数据技术可以结合客户的社交媒体行为、购物习惯、互联网搜索记录等非结构化数据，为风险评估提供更全面的视角。同时，AI还
专硕复试线298/295！哈尔滨理工大学计算机考研考情分析！
哈尔滨理工大学（Harbin University of Science and Technology），位于哈尔滨市，是黑龙江省人民政府与国家国防科技工业局共建高校，入选“中西部基础能力建设工程”高校、国家“特色重点学科项目”建设高校、教育部“卓越工程师教育培养计划高校”、教育部“国家大学生创新性
hadoop伪分布式安装
在这个文件最后换行添加如下三行：vi /etc/profile # JDKexport JAVA_HOME=/opt/jdkexport PATH=$JAVA_HOME/bin:$PATH在这个文件最后换行添加如下三行：vi /etc/profile#HADOOPexport HADOOP_HOME
Hadoop完全分布式配置流程
要将现有的 Hadoop 伪分布式配置升级为完全分布式环境，你需要对多个配置文件进行修改，同时在多台主机上配置相应的服务。根据你的集群配置（1 个 NameNode 和 2 个 DataNode），以下是完整的配置步骤。
毕业设计项目 大数据抖音短视频数据分析与可视化(源码)
🔥 这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目，今天要分享的是🚩基于大数据的抖音短视频数据分析与可视化🥇
2024系统分析师考试---数据仓库相关概念
2）数据的存储与管理。本层的功能是从数据源抽取数据，对所抽取的数据进行筛选、清理，将处理过的数据数据导入或者说加载到数据仓库中，根据用户的需求设立数据集市，完成数据仓库的复杂查询、决策分析和知识的挖掘等。而数据仓库中的数据是在对原有分散的数据数据库数据抽取，清理的基础上经过加工，汇总和整理得到的，必
Spark内置函数:字符串、日期和时间函数、聚合函数、数值函数、条件判断函数、窗口函数
Spark内置函数:字符串、日期和时间函数、聚合函数、数值函数、条件判断函数、窗口函数
基于Flink MySQL CDC技术实现交易告警
CDC 的全称是 Change Data Capture，是一种用于捕获数据库变更数据的技术。例如 MySQL 对数据的所有变更都会写入到 binlog，CDC 就可以通过监听 binlog 文件来实现对 MySQL 数据变更的捕获，然后做进一步的处理。Flink CDC 将CDC技术和 Flink
【大数据】孤立森林算法
孤立森林算法是一种用于异常检测的机器学习算法。它基于这样的直觉：异常点是数据中的少数派，它们在特征空间中的分布与正常数据点不同，通常表现为与大多数数据点的距离较远。孤立森林通过构建多棵孤立树（Isolation Trees）来实现异常点的检测。
【大数据】大数据治理的全面解析
大数据治理是指组织在大数据环境中，通过一系列管理、控制和政策措施，确保数据的质量、可用性、安全性以及合规性，以便更有效地利用数据资源。它不仅涉及数据的管理，还包括对数据流程的监督与优化。大数据治理是确保企业能够有效利用数据资源的重要手段。通过建立完善的治理框架、采用先进的技术以及应对潜在的挑战，企业
hadoop之HDFS进阶
探索大数据的奥秘，深入 Hadoop 之 HDFS 进阶之旅！在大数据的浩瀚海洋中，Hadoop 的 HDFS（Hadoop Distributed File System）无疑是一颗璀璨的明珠。如果你已经对 HDFS 有了初步的认识，那么现在是时候开启一段令人兴奋的进阶之旅了。这篇 Hadoop
【大数据技术基础 | 实验五】ZooKeeper实验：部署ZooKeeper
本实验介绍部署ZooKeeper的原理和实验步骤。部署三个节点的ZooKeeper集群，通过ZooKeeper客户端连接ZooKeeper集群，并用Shell命令练习创建目录，查询目录等。
Flink动态CEP快速入门
实时计算Flink版支持通过DataStream作业的方式运行支持规则动态更新的Flink CEP作业。本文结合实时营销中的反作弊场景，为您介绍如何基于Flink全托管快速构建一个动态加载最新规则来处理上游Kafka数据的Flink CEP作业。
大数据-188 Elasticsearch - ELK 家族 Logstash Output 插件
Filter 插件负责对传入的数据进行处理和转换，它位于 Logstash 管道的中间环节，接收来自输入 (Input) 的数据，进行解析、增强、变换，最终将数据传递给输出 (Output)。这种日志是非格式化的，通常，我们获取到日志后，还要使用MapReduce或者Spark做一下数据清晰的操作，
大数据-187 Elasticsearch - ELK 家族 Logstash Filter 插件 使用详解
Filter 插件负责对传入的数据进行处理和转换，它位于 Logstash 管道的中间环节，接收来自输入 (Input) 的数据，进行解析、增强、变换，最终将数据传递给输出 (Output)。这种日志是非格式化的，通常，我们获取到日志后，还要使用MapReduce或者Spark做一下数据清晰的操作，
