Hadoop 面试题（七）
1. 简述以下选项中不参与hdfs写流程的组件是 ？2. 简述下列哪一个组件不是Hadoop系统的组件之一（） ？3. 简述有关Hadoop的高可用下列描述错误的是（） ？4. 简述关于安全模式命令，正确的是（） ？5. 简述下列关于Hadoop架构组件描述错误的是() ？6. 简述请问以下哪个命令
Flink集群部署
创建maven工程，JDK1.8，导入相关依赖</</</</</</</</</</</
大数据毕业设计：python医疗数据分析可视化系统 医疗大数据 Flask框架 用户画像（源码）✅
大数据毕业设计：python医疗数据分析可视化系统 医疗大数据 Flask框架 用户画像（源码）✅
数说CS | 夏令营为主！复旦大学大数据学院保研形势如何？
通过国家级和省级人才计划的引进，学院还为学生提供了与优秀导师和团队合作的机会，促使学生在毕业后能够更好地融入社会和行业。，21年到23年拟录取人数分别为67人、62人、71人，22年相较于21年拟录取减少，而23年相较于22年拟录取增多，按趋势。，3位省级人才计划入选者，5位国家级青年人才计划入选者
【大数据-算法】资源调度算法：动态资源分配策略的深入探讨
资源调度算法是操作系统管理和优化资源使用的核心机制，旨在根据系统当前状态和应用需求，高效、公平地分配计算资源。常见的资源调度算法可以分为两大类：抢占式调度和非抢占式调度。抢占式调度允许系统在任务运行过程中，根据优先级或负载情况重新分配资源；而非抢占式调度则一旦资源分配给某任务，除非该任务完成或主动释
为啥AI要卷应用？
李彦宏提出的“不要卷模型，要卷应用”这一观点，在人工智能（AI）领域引发了广泛的讨论和深思。这句话不仅是对当前AI技术发展现状的深刻洞察，更是对未来AI技术发展方向的明确指引。本文对这一观点的全面理解和深入剖析。
Spark安全日志分析与事件调查：实战指南
在当今数字化时代，安全日志分析和事件调查变得至关重要。本博客将介绍如何使用Spark进行安全日志分析和事件调查，展示了项目经验、详细的技术细节和提供了代码示例。通过深入理解和准备，您将能够展示您在Spark上的专业知识，为安全团队提供强大的分析和调查工具。
大数据实战项目 -- 家用热水器用户行为分析
一、实验内容居民在使用家用热水器的过程中，会因为地区气候、不同区域和用户年龄性别差异等原因形成不同的使用习惯。家电企业若能深入了解其产品在不同用户群中的使用习惯，从而产商便可以对不同的客户群提供最适合的个性化产品，制定相应的营销策略，开拓新市场。定义挖掘目标如下：1.根据热水器采集到的数据，划分一次
Spark编程基础（Python版）林子雨期末复习
Structured sreaming处理的数据与Spark Streaming一样，也是源源不断的数据流，它们之间的区别在于，Spark Streaming采用的数据抽象是DStream(本质上就是一系列RDD),而Structured Streaming采用的数据抽象是DataFrame。用户需
基于大数据的电影点评与推荐
基于大数据的电影点评与推荐
Python基于大数据的豆瓣电影分析，豆瓣电影可视化系统，附源码
Python基于大数据的豆瓣电影分析，豆瓣电影可视化系统，附源码，包括了电影数据爬取、电影数据分析，饼状图，条形图等可视化功能。该项目含有源码、配套开发软件、软件安装教程等。系统功能完整，实用性强。适合作为毕业设计、课程设计、数据库大作业学习使用。本系统包括了影视系统的爬虫与分析。通过采用Pytho
【数据结构】LSM树（log-structed-merge-tree）原理及应用
LSM 树的思想是使用顺序写代替随机写来提高写性能，与此同时会略微降低读性能。HBase、 Cassandra、 LevelDB、 RocksDB 以及 ClickHouse MergeTree 等流行的 NoSQL 数据库均采用 LSM 存储结构。
HBase基础
在 HBase 表中，一条数据拥有一个全局唯一的键(RowKey)和任意数量的列(Column)，一列或多列组成一个列族(Column Family)，同一个列族中列的数据在物理上都存储在同一个 HFile 中，这样基于列存储的数据结构有利于数据缓存和查询。HBase Client 为用户提供了访问
【Hadoop实战】Hadoop集群搭建攻略零失误，最完整的Hadoop搭建流程
Hadoop搭建攻略，HDFS教程，MapReduce，网络配置，免密配置，环境配置，核心配置文件，授权访问等等
Spark动态分区合并底层原理详解：案例解析（第30天）
本文主要详解Spark动态分区合并底层原理和应用场景。
大数据开发--基于Hive的航空公司客户价值分析案例
本文主要以利用Hive对数据进行处理，Hive 是一个适用于处理大规模数据的开源数据仓库工具，提供了 SQL-Like 查询语言和良好的容错性，可以方便地进行数据查询和分析。通过对航空公司客户数据进行清洗分析，并通过K-means聚类将客户划分成几种不同的群体，根据不同群体中的各个特征指标，进一步得
【会议征稿】2024年应用计算智能、信息学与大数据国际会议（ACIIBD 2024，7月26-28）
2024年应用计算智能、信息学与大数据国际会议（ACIIBD 2024）2024 International Conference on Applied Computational Intelligence, Informatics and Big Data
Java导出千万级大数据到CSV文件
在实际应用中，我们经常需要从数据库中导出大量数据到CSV文件。如果数据量很大，一次性加载所有数据可能会导致内存溢出或者性能问题。为了解决这个问题，我们可以使用流式查询的方式逐行读取数据库，并将数据写入CSV文件，从而减少内存占用并提高性能。本文将介绍如何使用Java实现这一功能，并给出详细的代码示例
企业spark案例 —— 出租车轨迹图表展示（头歌）
text: '各出租车平台年使用率'text: '各平台各服务数量'
详解 HBase 的常用 API
案例 1：实现将 HDFS 中的数据写入到 Hbase 表中// 构建 FruitMapper 用于读取 HDFS 中的文件数据@override// 构建 FruitReducer 用于将 HDFS 中的文件数据写入 Hbase// TableReducer 默认的输出value类型是 Mutat
