windows搭建spark环境

windows 安装spark ,scala(spark需要scala环境),spark,hadoop 安装

pandas read_sql 和 to_sql 读写Mysql的参数详解

Pandas 读写 Mysql 主要用到两个函数,下面分析一下 pandas.read_sql() 和 DataFrame.to_sql() 的参数。参数:注意点:参数:

【SQL开发实战技巧】系列(十):从拆分字符串、替换字符串以及统计字符串出现次数说起

本篇文章讲解的主要内容是:***遍历拆分字符串为单个字符、字符串中包含引号如何转译(q-quote特性)、计算字符在字符串中出现的次数、使用translate从字符串中快速删除替换不需要字符的巧妙写法、使用正则表达式regexp_replace将字符和数字数据分离、使用正则表达式regexp_lik

给使用docker安装的ES和Kibana设置账号密码

ES安装后,默认是不开启用户名密码验证的,如果你的ES服务是部署在内网的话,不使用账号密码还不会有太大的安全隐患。但是如果,你的ES服务是暴露在外网环境的话,不设置账号密码肯定是非常不安全的,那如何开启简单的用户名密码验证呢?今天来讲一下怎么给使用docker安装的ES和Kibana设置账号密码如果

实验二-HDFS编程

大数据技术原理与应用-实验二-HDFS编程这里包括了实验步骤以及实验过程中遇到的问题及解决方法~实验要求:编写shell与Java代码检验分布式系统HDFS上是否存在一个input.txt,并对代码进行详细注释,通过流程图阐述数据查找过程。

大数据架构之-- Lambda架构

一、什么是Lambda架构Lambda架构由Storm 的作者 [Nathan Marz] 提出, 根据维基百科的定义,Lambda 架构的设计是为了在处理大规模数据时,同时发挥流处理和批处理的优势。通过批处理提供全面、准确的数据,通过流处理提供低延迟的数据,从而达到平衡延迟、吞吐量和容错性的目的。

基于SpringBoot + MyBatis的前后端分离实现在线办公系统

在线办公系统(Yeb)1.开发环境的搭建及项目介绍本项目目的是实现中小型企业的在线办公系统,云E办在线办公系统是一个用来管理日常的办公事务的一个系统使用SpringSecurity做安全认证及权限管理,Redis做缓存,RabbitMq做邮件的发送,使用EasyPOI实现对员工数据的导入和导出,使用

Apache Doris 系列: 入门篇-数据导入及查询

Doris 为了满足不同业务场景的数据接入需求,提供不丰富的数据导入方式,去支持不同的数据源:外部存储(HDFS,对象存储)、本地文件、消息队列(Kafka)及其他外部业务系统数据库(MySQL、Oracle、SQLServer、PostgreSQL等),支持同步和异步的方式将数据接入到 Doris

layer.open(常用)

实例:layer.open({ type: 1, title: '标题', skin: 'layui-layer-rim', //加上边框 area: ['1070px', '550px'], //设置宽高 content:$("#lookinfo"), btn: ['按钮1','按钮2

java-文件上传-excel存入数据库全代码及流程(附前端代码)

今天给大家带来的是文件上传中比较常用的,上传excel文件,将表格中的数据存入数据库中的一个转化的工具类;大致的流程是:前端点击上传按钮-->选择需要上传的excel表格-->确认上传--> 文件传到后台-->后台处理file文件-->将文件转化成List-->将List集合存入数据库jsp的

vue中深度选择器

例如你使用了ElementUI的走马灯(轮播图)组件,你想修改其中的样式,但是你设置样式不起作用,这个时候就是因为组件的scoped的影响,所以,不妨试试我们的深度处理器吧。为了防止在一个组件内引入了子组件,而子组件没有加scoped。我们可以看到,子组件加了scoped后,父组件对h3的css样式

Axios和Ajax的区别是什么

axios是通过Promise实现对ajax技术的一种封装,就像jquery对ajax的封装一样,简单来说就是ajax技术实现了局部数据的刷新,axios实现了对ajax的封装,axios有的ajax都有,ajax有的axios不一定有,2、ajax技术实现了局部数据的刷新,而axios实现了对aj

TS中的泛型

文章目录一、泛型是什么二、使用泛型三、泛型约束一、泛型是什么二、使用泛型三、泛型约束

浅谈uniapp的flex布局

1 flex布局​ flex是Flexible Box的缩写,意为”弹性布局”,用来为盒状模型提供最大的灵活性。设置Flex布局也很简单直接css中,设置它的 display:flex。1.1 flex-direction​ 容器类元素排列方向,它有四个参数可以选择。r

【小程序从0到1】WXSS模版语法汇总

欢迎来到我的博客【Vue】、【React–从基础到实战】、【TypeScript】等等系列专栏React/小程序。

JavaScript传参的6种方式

JavaScript是一门非常灵活的语言,其参数传递方式也同样灵活。在本篇文章中,我们将详细介绍JavaScript中的参数传递方式,并提供相关的示例和解释。

【Python】对key或values是datetime类型或时间字符串的字典dict排序

目录1 key是时间字符串类型1.1 问题1.2 解决办法2 key是datetime类型2.1 问题2.2 解决方案1 key是时间字符串类型1.1 问题当字典的key是时间字符串类型,如下time_dict = {‘2021-05-18’: 119,‘2021-06-05’: 119,‘2020

认识Spring(下)

Spring 中bean的注入与其生命周期

asp.net小区停车场管理系统

随着科学技术的发展,小区内的车辆也越来越多,如何能够更好的对小区内的车辆进行科学的管理,是很多封闭小区所研究的一个主要问题。因此需要开发一个能够方便对小区停车场管理系统。实现基于ASP.NET的小区停车场管理。主要为方便管理小区内的车辆信息,做好安全防务工作。论文阐述了小区停车场管理的设计与实现,并

python自动化测试项目全流程

之前做的一个自动化项目,大概总结了一下。1、先整理好一个完整流程的接口,这里需要导入requests模块,因为涉及到新建需要随机命名的,所以还增加了random模块2、对接口进行封装(def):接口封装可以封装公有的信息,减少代码量,提高代码利用率3、类封装,新建一个interface文件夹4、到这

个人信息

加入时间:2021-12-08

最后活动:25 分钟前

发帖数:146344

回复数:0