【Spark】scala基础操作(持续更新)

scala基础教程(面向对象、函数式编程、静态类型等等特点),附带基础简单的栗子

java标识符命名规范之驼峰命名法

为了增强代码的可读性,我们可以有意识的在命名规范的规则下去进行命名。本片文章大家分享的是标识符命名规范中一种很常用的规范,那便是驼峰命名法

搭建Hadoop集群

搭建Hadoop集群,前提从母机(安装jdk)上克隆三台

Flink配置Yarn日志聚合、配置历史日志。

yarn容器退出之后,默认是不保存日志的。所以需要开启JobHistoryServer. 无论Flink还是Spark都支持自建集群(standalone cluster)。但是为了保证稳定性和资源隔离等,生产环境里的任务最好借助资源管理框架(如Yarn)运行。任务运行在yarn上,查询日志就可能不

【SpringBoot整合MQ】-----SpringBoot整合Kafka

​ windows版安装包下载地址:https://kafka.apache.org/downloads​ 下载完毕后得到tgz压缩文件,使用解压缩软件解压缩即可使用,解压后得到如下文件​ 建议使用windows版2.8.1版本。启动服务器​ kafka服务器的功能相当于RocketMQ中的

CSDN博客运营团队2022年H1总结

各位CSDN的创作者们,大家好。2022年上半年即将结束,博客运营团队将在这里分享这半年的工作总结和思考,欢迎大家一起交流。CSDN是一个拥有20多年历史的平台,用户构成多样,同时需求众多,所以运营工作充满了各种挑战,我们在做运营工作的时候尽量能兼顾到各类用户诉求,让CSDN真正成为技术人交流和成长

JAVA 多线程实现、线程池创建使用、多线程的异步操作

JAVA 多线程实现、线程池创建使用、多线程的异步操作

【微服务|Sentinel】sentinel数据持久化

为什么持久化?不持久化,重启应用,数据就没了啊。这也就是所谓的原始模式。

Spark RDD简介以及算子使用大全

一、spark RDD(1)RDD简介RDD(Resilient Distributed Datasets),弹性分布式数据集,是分布式内存的一个抽象概念。RDD提供了一种高度受限的共享内存模型,即RDD是只读的记录分区的集合,只能通过在其他RDD执行确定的转换操作(如map、join和group

Neo4j -CQL的基本使用(新手快速入门)

Neo4j -CQL的基本使用(新手快速入门)

林子雨spark scala版编程小结

spark编程题

大数据必学Java基础(十三):基本数据类型的转换

文章目录基本数据类型的转换一、什么是类型转换二、类型转换的种类三、内存演示四、代码五、练习:final,字符常量,Scanner的使用六、练习:加深对Scanner的使用在赋值运算或者算数运算的时候,要求数据类型一致,就要进行类型的转换。自动转换,强制转换...

Spring Boot整合Zookeeper实现分布式锁

:本篇文章要求掌握zk的数据结构,以及临时序号节点!zk实现分布式锁完全是依靠zk节点类型当中的临时序号节点来实现的读锁和写锁完全是按照创建的临时序号节点的名称来区分的!当需要上锁的时候,就进行创建临时序号节点,释放锁的时候就删除节点。想要上读锁,主要就是需要看比他小的节点当中是否有写锁。如果有写锁

大数据接私活200元,做个简易的HDFS浏览器(一)

接到一个单子说是用制作一个简单的HDFS浏览器。功能包括:基于HDFS的文件浏览、上传和下载。​ 用到的技术包括Java、HDFSAPI、tomcat的配置等

【系统架构】-如何评估软件架构

【系统架构】-如何评估软件架构

Go简单实现协程池

首先就是进程、线程、协程讲解老三样。进程: 本质上是一个独立执行的程序,进程是操作系统进行资源分配和调度的基本概念,操作系统进行资源分配和调度的一个独立单位。线程: 是操作系统能够进行运算调度的最小单位。它被包含在进程之中,是进程中的实际运作单位。一个进程中可以并发多个线程,每条线程执行不同的任务,

java 继承关系下构造方法的访问特点

java 继承关系下构造方法的访问特点

湘潭大学数据库考试(郭云飞)

本模拟考试是抽取数据库原理实验三相关内容,可以在自己电脑上做题验证。

Kettle_Spoon如何将MySQL数据抽取到ES

kettle连接es,简单易上手!利用kettleSpoon将数据库数据抽取到Elasticsearch秒懂!图文详细教学!

MapReduce详细解析完整流程

其中ReduceTask的处理流程如下 :优点 : 易于编程,扩展性高,高容错性,适合PB以上海量离线数据处理,可实现上前台服务器集群并发工作缺点 : 不擅长实时计算,反应慢.不适合流式计算,因为MR是静态的,流式计算输入数据必须是动态的,不擅长DAG(有向图)计算,多个应用程序存在依赖关系,后一个

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈