Hadoop的任务调度与资源管理
1.背景介绍Hadoop是一个分布式文件系统和分布式计算框架，由Google的MapReduce和Google File System(GFS)技术启发。Hadoop的核心组件有HDFS(Hadoop Distributed File System)和MapReduce。Hadoop的任务调度与资源
【大数据】Flink 内存管理（一）：设置 Flink 进程内存
Apache Flink 通过严格控制各种组件的内存使用，在 JVM 上提供高效的工作负载。虽然社区努力为所有配置提供合理的默认值，但用户在 Flink 上部署的应用程序种类繁多，这意味着这并非总是可行。为了向用户提供最大的生产价值，Flink 允许对集群内的内存分配进行高级和精细调整。
[Flink02] Flink架构和原理
这是继第一节之后的Flink入门系列的第二篇，本篇主要内容是是：了解Flink运行模式、Flink调度原理、Flink分区、Flink安装。
Flink on K8S生产集群使用StreamPark管理
StreamPark on k8s操作，flink on k8s使用StreamPark 管理
SparkStreaming与ApacheStorm
SparkStreaming与ApacheStorm作者：禅与计算机程序设计艺术1. 背景介绍1.1 大数据时代随着互联网的普及和数字化的进程，我们生成的数据呈指数级增长。我们需要更加高效、高速的处理这
【YARN】【Apache Hadoop YARN】【架构】
每个应用程序的ApplicationMaster负责从EJB协商适当的资源容器，跟踪它们的状态并监视进度。YARN通过ReservationSystem支持资源预留的概念，ReservationSystem是一个允许用户指定资源随时间和时间约束的配置文件的组件（例如，ReservationSyste
第二章：AI大模型的基础知识2.3 自然语言处理基础2.3.1 词向量表示
在本篇博客文章中，我们将深入探讨自然语言处理（NLP）领域的一个重要概念：词向量表示。我们将从背景介绍开始，然后讲解核心概念与联系，接着详细解析核心算法原理、具体操作步骤以及数学模型公式。在此基础上，我们将提供具体的代码实例和详细解释说明，以及实际应用场景。最后，我们将推荐一些工具和资源，并总结未来
企业级大数据安全架构（十）DBeaver连接Hive的Kerberos认证配置
因为Kerberos认证过程及集群服务中，很多是以主机名的形式进行访问的，所以工作机要设置hosts. 域名映射，我们通过部署CDH的集群的每一台机器都已经配置了host(文件为/etc/hosts)，工作机也需要配置window的host文件，如果提示无法修改，一般是需要管理员权限的原因，比较简单
spark为什么比mapreduce快？
因为mapreduce计算模型只能包含一个map和一个reduce,所以reduce完后必须进行落盘，而DAG可以连续shuffle的，也就是说一个DAG可以完成好几个mapreduce，所以dag只需要在最后一个shuffle落盘，就比mapreduce少了，总shuffle次数越多，减少的落盘次
SparkUI任务启动参数介绍（148个参数）
SparkUI中有很多任务启动参数，需要对参数有一个深入了解才能进一步调优，资源优化
AI大语言模型的模型可满足性设计
1. 背景介绍1.1 人工智能的崛起随着计算机技术的飞速发展，人工智能（AI）已经成为了当今科技领域的热门话题。从自动驾驶汽车到智能家居，AI已经渗透到了我们生活的方方面面。在这个过程中，大型语言模型（Large Language Models，简称LLMs）作为AI领域的重要组成部分，也得到了广
Flink双流（join）
Window Join有可以根据Window的类型细分出3种：Tumbling(滚动) Window Join、Sliding(滑动) Window Join、Session(会话) Widnow Join。🌸Window 类型的join都是利用window的机制，先将数据缓存在Window St
我成为开源贡献者的原因竟然是做MySql-CDC数据同步
今年下半年机缘巧合下公司决定搭建自己的数据中台，中台的建设势必少不了数据集成。，按照社区活跃度、数据源适配性、同步效率等要求对市面上几个成熟度较高的开源引擎进行了深度调研。最终经过内部讨论决定用Apache SeaTunnel作为数据集成的基础能力。
Kettle——大数据ETL工具
kettle概念组件介绍，kettle下载安装以及简单使用。
(11)Hive调优——explain执行计划
Hive调优——explain执行计划
人工智能=机器学习+大数据
但对于AI程序，程序员只能向模型提供数据，至于模型最终生成的判断逻辑，程序员往往难以完全理解。以AlphaGo为例，虽然它能够击败世界冠军，但其背后的每一步决策逻辑，程序员可能并不清楚，这是因为AlphaGo学习了人类几乎所有的棋谱，并结合自身的算法进行决策。2024年2月，OpenAI继ChatG
spark内存管理模型
本文主要粗略的介绍了spark使用的两种内存模型
spark基础
spark python java scala
快速部署 Apache SeaTunnel Web
将下载的apache-seatunnel-web-1.0.0-bin.tar.gz解压 tar -zxvf apache-seatunnel-web-1.0.0-bin.tar.gz，这样会生成一个apache-seatunnel-web-1.0.0-bin 目录。apache-seatunnel-
人工智能顶会ICLR 2024热门研究方向大揭秘
本文可视化分析了人工智能顶会ICLR 2024的研究热点，归纳和总结了十大热门研究方向，可以为读者追踪人工智能的研究热点提供一些有价值的参考。
