大数据(二)：Numpy基础应用详解
切片操作虽然创建了新的数组对象，但是新数组和原数组共享了数组中的数据，简单的说，如果通过新数组对象或原数组对象修改数组中的数据，其实修改的是同一块数据。花式索引和布尔索引也会创建新的数组对象，而且新数组复制了原数组的元素，新数组和原数组并不是共享数据的关系，这一点通过前面讲的数组的。，对于同样的数值
大数据之linux入门
开发者是林纳斯-托瓦兹，出于个人爱好编写。linux是一个基于posix和unix的多用户、多任务、支持多线程和多CPU的操作系统。
【大数据毕设】基于Hadoop的招聘网站可视化的设计与实现(一)
由于近些年互联网的飞速发展，我们所生活的世界正在被数据所淹没，人们面对大量的数据需要从大量数据中快速地提取有效的自己需要的信息。对于求职者来说当查看招聘信息时也是这样，面对招聘网站展示的大量的职位信息，应聘者难以及时选出自己最想要的职位信息，又或者筛选出信息后不能直观地看到招聘所有信息的特征、规律、
Cloudera Manager报错汇总
Cloudera Manager报错汇总
kettle安装、MySQL数据库连接、报错处理
跟kettle斗智斗勇的一下午，下面是我踩过的一些坑，希望对大家在安装配置kettle时有所帮助，首先放一张我成功的截图：
Hadoop学习：深入解析MapReduce的大数据魔力之数据压缩（四）
压缩的优点：以减少磁盘IO、减少磁盘存储空间。压缩的缺点：增加CPU开销。
【git】工作场景中常用的git命令
工作场景中常用的git命令，记录下来方便调取。
MySQL大数据表处理的三种方案，查询效率嘎嘎高
在执行了分库分表之后，难以避免会将原本逻辑关联性很强的数据划分到不同的表、不同的库上，这时，表的关联操作将受到限制，我们无法join位于不同分库的表，也无法join分表粒度不同的表，结果原本一次查询能够完成的业务，可能需要多次查询才能完成。相反地，在某些情况下，添加新数据的过程又可以通过为那些新数据
分布式计算框架：Spark、Dask、Ray
分布式计算是一种计算方法，和集中式计算是相对的。随着计算技术的发展，有些应用需要非常巨大的计算能力才能完成，如果采用集中式计算，需要耗费相当长的时间来完成。分布式计算将该应用分解成许多小的部分，分配给多台计算机进行处理。这样可以节约整体计算时间，大大提高计算效率。
用AIGC生成大数据教程
文章详细展示了aigc创作大数据教程的全过程，欢迎点赞收藏。这是对我最大的鼓励，谢谢
map 和 flatMap 的区别
当我们需要将具有层级结构的数据展平时，也就是将多层数据转换为单层数据操作时，我们可以使用 flatMap 方法。如果我们只是简单的对流中的数据计算或者转换时，可以使用 map方法。举例：① 使用 flatMap：[a，b，c，d，[e，f [g，h，i]]] 转换为 [a，b，c，d，e，f，g，h
Apache Kafka - 流式处理
Kafka被广泛认为是一种强大的消息总线，可以可靠地传递事件流，是流式处理系统的理想数据来源。流式处理系统通常是指一种处理实时数据流的计算系统，能够对数据进行实时的处理和分析，并根据需要进行相应的响应和操作。与传统的批处理系统不同，流式处理系统能够在数据到达时立即进行处理，这使得它们特别适合需要实时
Python 3 使用Hadoop 3之MapReduce总结
MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题。MapReduce分成两个部分：Map（映射）和Reduce（归纳）。
【大数据】Flink 详解（三）：核心篇 Ⅱ
使用嵌入式的本地数据库 RocksDB 将流计算数据状态存储在本地磁盘中，不会受限于 TaskManager 的内存大小，在执行检查点的时候，再将整个 RocksDB 中保存的 State 数据全量或者增量持久化到配置的文件系统中，在 JobManager 内存中会存储少量的检查点元数据。除了对 S
Flink多流处理之Broadcast(广播变量)
broadcast使用
Hbase drop 表卡住没有响应
在 Master UI 主页的 Procedures & Locks 菜单栏下，在页面标题中列出了所有正在进行的 Procedure 和 Locks，以及当前的 Master Procedure WALs；Procedure 和 Locks 的列表也可以通过 hbase shell 获得: list
Git 原理与使用
⽬前最主流的版本控制器就是 Git 。Git 可以控制电脑上所有格式的⽂件，对于我们开发⼈员来说，Git 最重要的就是可以帮助我们管理软件开发项⽬中的源代码⽂件！
flink postgresql cdc实时同步（含pg安装配置等）
flink postgresql cdc实时同步，含pg安装配置等
Hive架构图
hive1
HDFS中的Federation联邦机制
命名空间（namespace）由文件，块和目录组成的统一抽象的目录树结构。由namenode根据用户操作实时维护树结构块存储层包括两部分：块管理：namenode执行块管理。块管理通过处理注册和定期心跳来提供DataNode集群成员身份。它处理块报告并迟滞与块相关的操作，如创建，删除，修改或获取块位
