【Spark】Spark对数据的读入和写出操作
Spark对数据的读入和写出操作数据存储在文件中CSV类型文件JSON类型文件Parquet操作分区操作数据存储在Hive表中数据存储在MySQL中数据存储在文件中在操作文件前，我们应该先创建一个SparkSession val spark = SparkSession.builder()
es的query查询(term,prefix,exists,match，matchprase,range)
//查询前缀包含的内容POST /products/_search{ "query": { "prefix": { "desc.keyword": { "value": "iP" } } }}POST /products/_search{ "que
分布式计算模式：Stream
分布式计算模式：Stream前言什么是 Stream？Stream 工作原理Storm 的工作原理知识扩展：流计算和批量计算的区别是什么？总结前言分布式计算模式中的 MapReduce 模式的核心思想是，将大任务拆分成多个小任务，针对这些小任务分别计算后，再合并各小任务的结果 以得到大任务的计算结果
Spark3.0核心调优参数小总结
点击上方蓝色字体，选择“设为星标”回复”面试“获取更多惊喜本文已经加入「大数据成神之路PDF版」中提供下载。你可以关注公众号，后台回复：「PDF」即可获取。更多PDF下载可以参考：《重磅...
大数据实训
计算机专业大数据实训怎么做？学大数据为什么要做实训如何高效做好大数据实训一、细心且认真二、认真思考，动手操作三、独立解决出现的问题四、养成好习惯大数据实训的意义个人发展找工作时的优势学大数据为什么要做实训当我们学完大数据课程后，知道了大数据的基本理论，学了大数据理论知识不等于会大数据技术，就如同学武
Flink CDC 读取MySQL的数据
1、前提背景准备Flink在1.11之后就已经支持从MySQL增量读取Binlog日志的方式。pom文件如下：<properties> <scala.binary.version>2.11</scala.binary.version> <scal
Zookeeper——分布式ID和负载均衡原理
摘要本文主要是介绍zookeeper的除了大部分人都知道的特性意外的一些其他的特性，对于整体的了解一个分布式注册中心的实现具有完整的了解，同时利用zookeeper的其他的特性在工作中，有利于的更好的解决工作的问题。zookeeper相关的特性或许在解决某一些问题上能够取得意想不到的结果。分布式ID
【参赛作品95】DLI Flink SQL+kafka+（opengauss和mysql）进行电商实时业务数据分析
通过对opengauss和mysql的操作，可以很容易发现，mysql对数据类型兼容比较好。而且在创建表时，在数据库，表名和字段加上单引号或双引号都能成功建表，但是opengauss缺不行。Opengauss虽然有很多特性，但是在string的转换不是很好用，找了cast()函数还有其他方法都无法转
【参赛作品78】参加openGauss课程21天学习有感
21天坚持学习openGauss数据库课程，可以说收获满满，课程内容丰富，练习方便，对于新手来说，非常友好。
1.HDFS基础知识
HDFS基础知识
Spark分布式计算期末复习
Spark分布式计算期末复习1. Scala1.1 特点1.2 Scala源代码文件，编译后的文件1.3 变量和常量1.4 推断类型1.5 for循环1.6 数组1.7 方法与函数的区别1.8 函数的声明（有名和匿名）1.9 高阶函数1.10 闭包1.11 Lambda演算1.12 集合类型List
使用DBeaver远程连接hive数据库
1.DBeaver连接hive数据库时需要先在服务器启动hive的metastore服务和hiveserver2服务[root@node2 ~]# nohup bin/hive --service metastore &[root@node2 ~]# nohup bin/hive --ser
【实时数仓】如果写入ES时，发生故障的处理，不丢数据
es，不会丢数据，不会重复数据 设计的一种思路
五十六、Kettle工具的使用
前言：此块内容文字描述效果不佳，故采用看图说话的形式进行阐述提示：双击图片可以将图片放大进行查看数据准备数据表：链接：https://pan.baidu.com/s/1ri8VsQkOKO3vyvbpeksuPA提取码：0000--来自百度网盘超级会员V4的分享数据表导入mysql数据库使用Navi
读完本篇文章就会掌握hive over窗口函数的使用附带习题
前言：我们在学习hive窗口函数的时候，一定要先了解窗口函数的结构。而不是直接百度sum() over()、row_number() over()、或者count() over()的用法，如果这样做，永远也掌握不到窗口函数的核心，当然我刚开始的时候也是这样做的。还好我比较顽强，在HIVE窗口函数问题
浅谈什么是大数据
浅谈什么是大数据有人可能发现了，我这个专栏写的就是大数据，所以我们一起来谈谈大数据。大数据概念百度百科：对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。主要解决的
HDFS Java API操作——《大数据技术原理与应用（第3版）》期末复习
目录HDFS Java API操作创建目录显示目录列表删除目录判断文件存在目录和文件判断重命名文件上传文件文件移动文件下载HDFS Java API操作这里使用Junit包的@Before、@Test方法进行调试测试创建目录fs.mkdirs() //第一步，获取Hadoop FileSystem对
SpringCloud Alibaba实战（12：引入Dubbo实现RPC调用）
断更系列，我给它续上了……
zookeeper
关于zookeeper的一些小总结
Elasticsearch CRUD RestAPI
Elasticsearch CRUD RestAPI
