[机器学习、Spark]Spark MLlib实现数据基本统计

MLlib提供了很多统计方法,包含摘要统计、相关统计、分层抽样、假设检验、随机数生成等统计方法,利用这些统计方法可帮助用户更好地对结果数据进行处理和分析MLlib三个核心功能:1.实用程序:统计方法,如描述性统计、卡方检验、线性代数、模型评估方法等2.数据准备:特征提取、变换、分类特征的散列和一些自

EMQX Cloud全托管的 MQTT 消息云服务

EMQX Cloud 是 EMQ 公司推出的一款面向物联网领域的 MQTT 消息中间件产品。作为全球首个全托管的 MQTT 5.0 公有云服务,EMQX Cloud 提供了一站式运维代管、独有隔离环境的 MQTT 消息服务。在万物互联的时代,EMQX Cloud 可以帮助您快速构建面向物联网领域的行

自动化测试方面的基础知识

前言:蓝色标注主要是方便记忆,勾选出个人感觉的重点块引用:大部分是便于理解的话,稍微看看就行,主要是和正常的文字进行区分的一、自动化测试框架是什么?参考文档: 聊聊自动化测试框架 - 老_张 - 博客园WEBUI中最主流的自动化测试框架是基于selenium+wendriver实现的1、为什么要进行

Java知识点大全

java知识大全

Docker中安装宝塔

v后的/d/baota代表本地D盘的baota目录与ubuntu系统中得到/www/wwwroot映射。因为本地D://baota映射了容器中宝塔的/www/wwwroot目录,方便项目部署及同步。注意:你会发现容器运行以后依然无法通过浏览器访问,是因为宝塔没有启动,进入容器输入如下命令。这步就是正

Hexo-零基础搭建个人博客(详解)

简单来说就是一个不用你写代码,就能搭建一套属于你自己的个人博客网站 应用(零基础小白也会)。

使用Termux安装黑客工具箱---Lazymux

使用Termux安装黑客工具箱---lazymux,git使用

vscode上传项目到github

vscode上传项目到GitHub

使用GoogleTranslateIpCheck查找适用谷歌翻译服务器ip,解决谷歌浏览器无法翻译问题

解决谷歌浏览器无法翻译问题

本地代码上传到gitlab

本地代码上传到gitlab的两种方式

Springboot 配置使用 Kafka

不多BB讲原理,只教你怎么用,看了全网没有比我更详细的了,yml 配置,Config 工厂代码配置都有,batch-size、acks、offset、auto-commit、trusted-packages、poll-timeout、linger 应有尽有,批量消费、开启事务、定义批量消费数量、延时

【Hive】Hive 创建表

学习笔记—Hive创建表1. Hive语句的特点HQL 语言大小写不敏感,但内容分大小写(where ,if/ case when,如:数据表内容某人名叫Tom,则条件后不能写tom,HDFS 路径名(NameNode)分大小写) ;HQL 可以写在一行或者多行, 关键字不能被缩写也不能分行,同 S

【kafka专栏】生产者数据批量发送流程源码解析

kafka生产者数据发送流程源码解析

MySQL基础(约束 多表查询)

个人主页:个人主页系列专栏:MySQL数据库温馨提示:本篇博客较为全面,收藏以防找不到挑灯夜战3点半,奋笔疾书4w字,只为博君看两眼!上节目录一.Mysql下载安装启动(适合没有下载按照好MySQL的小伙伴,超详图文教程)二.图形化界面工具(更方便操作数据库,超详细图文安装教程)三.SQL(MySQ

DolphinScheduler3.1简介、部署、功能介绍以及架构设计

Apache DolphinScheduler 是一个分布式易扩展的可视化DAG工作流任务调度开源系统。适用于企业级场景,提供了一个可视化操作任务、工作流和全生命周期数据处理过程的解决方案。Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系,并为应用程序提供数据和各种

大数据基准测试工具HiBench部署与测试

本文介绍了大数据基准测试工具HiBench的部署,并进行了测试。欢迎大家交流讨论!

编码技巧——@KafkaListener的使用

最近在接手某个项目代码时,发现关于Kafka的consumer相关的代码写的很乱,consumer中写了大量的配置的代码,并且手动的拉取消息,并开启线程消费,不够优雅;理想的做法是单独维护kafka的consumer配置,在定义consumer的bean时,指定topic和group,仅实现消费逻辑

大数据必学Java基础(一百二十四):Maven的常见插件

(注意:之前用的编译器插件,资源拷贝插件,不是可运行的插件,maven直接帮我们运行了,但是tomcat属于可运行插件,它什么时候工作需要程序员来控制,怎么控制呢?Maven在打包时默认只将src/main/resources里的配置文件拷贝到项目中并做打包处理,而非resource目录下的配置文件

《Java SE》网络编程基础知识归纳。

目录一、网络基本介绍1、什么是网络通信?2、网络3、IP地址4、域名5、网络通信协议6、Socket二、TCP网络通信编程 1、应用实例1(字节流)2、应用实例2(字节流)3、应用实例3(字符流)4、netstat 指令三、UDP网络通信编程 1、基本介绍2、基本流程3、应用实例...

图文详解 MapReduce 工作流程

前言本文隶属于专栏《1000个问题搞定大数据技术体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系正文MapReduce 编程模型MapReduce 编程模型开发简单且功能强大,专门为并行处理大规模数据量而设

个人信息

加入时间:2021-12-08

最后活动:17 分钟前

发帖数:146387

回复数:0