Spark大数据分析与实战笔记（第二章 Spark基础-05）
在大数据处理和分析领域，Spark被广泛应用于解决海量数据处理和实时计算的挑战。作为一个快速、可扩展且易于使用的分布式计算框架，Spark为开发人员提供了丰富的API和工具来处理和分析大规模数据集。其中，Spark-Shell是Spark提供的一个交互式工具，它基于Scala语言，使得用户能够更加灵
【CISSP学习笔记】1.安全与风险管理
BCP涉及评估组织流程的风险，并创建策略、计划和程序，以最大限度地降低这些风险发生时能组织产生的不良影响。项目范围和计划业务影响评估连续性计划计划批准和实施。
UE5内置浏览器插件WebUI简易使用笔记
之前的项目中为了提高效率，避免使用UE功能不完善的UMG系统，使用了WebUI插件，在UI中内嵌浏览器来展示网页。用Vue框架配合插件制作网页还是比UMG要快很多的，毕竟UE的UI制作插件比较少。
kafka学习笔记--Topic 数据的存储机制
Topic是逻辑上的概念，而partition是物理上的概念，本来每个partition应对应于一个log文件，该log文件中存储的就是Producer生产的数据。Producer生产的数据会被不断追加到该log文件末端，为防止log文件过大导致数据定位效率低下，Kafka采取了分片和索引机制，将每
学习笔记——Github代码仓库管理
由于这是一个临时学习用的代码仓库，举例该仓库使用python语言编写，故。一个明确的提交信息能够为你的团队成员提供有关代码变更的关键信息，使代码的历史和变更更加透明。在使用Git的过程中，有的文件比如日志，临时文件，编译的中间文件等不要提交到代码仓库，这时就要设置相应的忽略规则，来忽略这些文件的提交
Spark大数据分析与实战笔记（第二章 Spark基础-04）
这句来自现代作家安妮宝贝的经典句子，它表达了对他人的赞美与崇拜。按回车键提交Spark作业后，观察Spark集群管理界面，其中“Running Applications”列表表示当前Spark集群正在计算的作业，执行几秒后，刷新界面，在Completed Applications表单下，可以看到当前
群晖Drive搭建结合内网穿透实现云同步Obsidian笔记文件
群晖Drive搭建结合内网穿透实现云同步Obsidian笔记文件
笔记：AI量化策略开发流程-基于BigQuant平台（一）
从本文开始，按照AI策略开发的完整流程（共七步），上手在BigQuant平台上快速构建AI策略。
吉林大学移动应用安全期末复习笔记以及历年题
吉林大学计算机科学与技术学院专业课移动应用安全课程笔记以及历年题
Linux学习笔记-Ubuntu下使用Crontab设置定时任务
crontab命令常见于Unix和类Unix的操作系统之中，用于设置周期性被执行的指令。该命令从标准输入设备读取指令，并将其存放于“crontab”文件中，以供之后读取和执行。该词来源于希腊语 chronos(χρνο)，原意是时间。通常，crontab储存的指令被守护进程激活， crond常常在后
kafka学习笔记（二）-架构分析
一个partition中包含多个**segment**。一个segment是物理存储消息的最小单元，每个segment包含一定量的消息数据。配置文件中`log.segment.bytes`就定义了segment文件的最大值。segment文件的文件名，是根据下一条消息的偏移量命名的，从而实现了消息的
AI大模型全栈工程师课程笔记 - LangChain
langchain大模型SDK
【空间统计学习笔记】四、空间大数据、复杂性科学及模拟计算
前面讲解了一些空间统计的理论，这一讲概括一些空间大数据的应用，以及介绍复杂性科学及模拟计算，重点介绍在空间统计分析中常用的元胞自动机模拟。后续将补充一些元胞自动机的代码。加油噢。
Spark大数据分析与实战笔记（第二章 Spark基础-02）
Spark Standalone集群是主从架构的集群模式，由于存在单点故障问题，解决这个问题需要用到Zookeeper服务，其基本原理是将Standalone集群连接到同一个Zookeeper实例并启动多个Master节点，利用Zookeeper提供的选举和状态保存功能，可以使一台Master节点被
使用 Github 进行 Obsidian 笔记同步
阅读需要 git 基础。
大数据Hadoop之——部署hadoop+hive+Mysql环境（Linux）
-是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是 true -->--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是 true -->-- 关闭yarn内存检查 flink on hadoop 配置-->-- 指
学习笔记：代理服务器——Nginx
Nginx学习笔记一、Nginx 简介1. 什么是Nginx2. 反向代理3. 负载均衡4. 动静分离二、Nginx基本使用1. Nginx常用的操作命令2. Nginx的配置文件提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录一、Nginx 简介1. 什么是Nginx2.
人工智能学习与实训笔记（四）：百度ENRIE大模型调用实操
百度文心ENRIE模型调用实操
记录「 Hbase的数据迁移与bulkload流程与实践」
hbase数据迁移，DistCp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。我们知道MR程序适合用来处理大批量数据， 其拷贝本质过程是启动
鸿蒙4.0开发笔记之ArkTS语法基础的UI描述、基础组件的使用与如何查看组件是否有参数（八）
在HarmonyOS的ArkTS语法中，万物皆组件。ArkTS以声明方式组合和扩展组件来描述应用程序的UI，同时还提供了基本的属性、事件和子组件配置方法，帮助开发者实现应用交互逻辑。根据组件构造方法的不同，创建组件包含有参数和无参数两种方式。
