云计算与大数据笔记之Spark【重点:流水线机制】

Spark的设计遵循“一个软件栈满足不同应用场景既能够提供内存计算框架,也可以支持SQL即时查询、实时流式计算、机器学习和图计算等。Spark可以部署在资源管理器YARN之上,提供一站式的大数据解决方案。因此,Spark所提供的生态系统足以应对上述三种场景,即同时支持批处理、交互式查询和流数据处理。

【随笔】Git 高级篇 -- 本地栈式提交 rebase | cherry-pick(十七)

大家好,又见面了,我是夜阑的狗🐶,本文是专栏【Git】专栏的第十七篇文章;这是今天学习到Git 高级篇 – 整理提交记录 💖💖💖,开启新的征程,记录最美好的时刻🎉,每天进步一点点。【Git】, 此专栏是我是夜阑的狗对Git,Gitee等工具使用过程的总结,希望能够加深自己的印象,以及帮助到

如何使用群晖Synology Drive结合cpolar内网穿透实现同步Obsidian笔记文件

​上期教程介绍了如何免费多端同步Zotero科研文献管理软件,我在文章中分享了群晖Nas虚拟机安装包,使用群晖的WebDav功能实现多端云同步,本期将演示使用群晖Synology Drive实现同步笔记文件。​ 当我们使用Zotero阅读文献并画出重点后(输入),需要一款多功能的笔记软件来整理学到的

Selenium笔记

这个错误意味着虽然找到了对应的DOM元素,但由于各种原因,当前状态下该元素无法与用户交互。对于上述函数中的情况,如果遇到"element not interactable"错误,可以通过改进元素等待策略,确保在尝试与元素交互之前元素已经具备交互能力。元素尚处于加载中:如果页面还在动态加载内容,目标元

后端八股笔记-----mysql

提升了效率保证了安全性,因为如果一一的去磁盘更新数据,磁盘太分散效率低,通过被写入的log文件来更新信息的话,可以对磁盘进行顺序的更新访问效率提升较多,而且磁盘中的log文件和内存中的log文件还可以进行数据恢复,保证了安全性。👆中,假设已经解决了不可重复读问题,那么两次select读到的数据是一

RabbitMQ详解与常见问题解决方案

RabbitMQ 是一个开源的消息中间件,使用 Erlang 语言开发。这种语言天生非常适合分布式场景,RabbitMQ 也就非常适用于在分布式应用程序之间传递消息。

前端笔记+面试

​ 1,能说一下http的强缓存和协商缓存吗​ 2,Vue的响应式原理​ 3,浏览器输入网址到页面加载经历了什么​ 4,vue3 vue2有哪些区别​ 5,vue生命周期有哪些​ 6,webpack有哪些优化项目的方法(启动服务和打包)​

【随笔】Git 高级篇 -- 整理提交记录(上)cherry-pick(十五)

大家好,又见面了,我是夜阑的狗🐶,本文是专栏【Git】专栏的第十五篇文章;这是今天学习到Git 高级篇 – 整理提交记录 💖💖💖,开启新的征程,记录最美好的时刻🎉,每天进步一点点。【Git】, 此专栏是我是夜阑的狗对Git,Gitee等工具使用过程的总结,希望能够加深自己的印象,以及帮助到

【大数据进阶第三阶段之DolphinScheduler学习笔记】深度解析DolphinScheduler(海豚调度)

Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景,提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系,并为应用程序提供数据和各种

github & vscode 笔记

github方便多人协作维护代码。在github上新建代码库,下载代码到本地,将更新代码并上传到github。

Unity基础知识笔记(三)——NGUI中的UIInput

Unity基础知识笔记(三)——NGUI中的UIInput

FlinkSQL学习笔记(四)常见表查询详解与用户自定义函数

1、本篇只列举一些特殊的查询方式,掌握这些查询语句的基本使用概念即可,实际用到的时候进行查询即可。2、通过对这些例子的编写,感觉Flink相比hive中常见的查询方式,更多地从时间角度进行了更新迭代,需要注意Lookup Join和Temporal Joins区别3、自定义函数,大致了解就行,后续用

【信息安全原理】——电子邮件安全(学习笔记)

📖前言:电子邮件(Email)是因特网上被广泛使用的一种网络应用,即使在互联网高度发达的今天,人们有了大量的诸如微信、QQ等社交软件来交换信息,但它仍然是个人和商务活动中一种重要的信息交换工具。本章介绍电子邮件安全,主要包括电子邮件安全问题分析、安全电子邮件标准PGP、WebMail安全威胁及防范

书生·浦语大模型开源体系(二)笔记

挑战与创造都是很痛苦的,但是很充实。

Spring Data JPA 学习笔记

Spring Data JPA 学习笔记

【LeetCode】热题100 刷题笔记

这道题用两层for循环也能做出来,但我们还是要挑战一下时间复杂度小于On2的解法,不能因为它是第一道 而且还是简单题就不做,题目还是常做常新的,从中挖掘新的学习点也是一个一件很有价值的事情。

【话题】首位AI程序员诞生了,你怎么看?

全球首位AI程序员的诞生确实引起了人们对于程序员职业未来的担忧。AI程序员能够自动化完成代码编写、测试以及部分问题的排查工作,极大地提高了软件开发效率和速度。它们还可以提供优化算法和代码改善的建议,降低了软件开发的成本和错误率。

Spark重温笔记(四):秒级处理庞大数据量的 SparkSQL 操作大全,能否成为你的工作备忘指南?

Spark SQL是Spark用来处理结构化数据的一个模块,它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。sparkSQL的四个特性1-易整合:将sql查询与spark程序无缝混合,可以使用java、scala、python、R等语言的API操作。2-统一的数据访问:

使用Docker本地搭建蚂蚁笔记并实现无公网IP远程访问

使用上面的Cpolar https公网地址,在任意设备的浏览器进行访问,即可成功看到Leanote蚂蚁笔记界面,这样一个公网地址且可以远程访问就创建好了,使用了cpolar的公网域名,无需自己购买云服务器,即可到公网进行远程访问蚂蚁笔记了!最后,我们使用固定的公网https地址访问,可以看到访问成功

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈