1.HDFS基础知识
HDFS基础知识
Spark分布式计算期末复习
Spark分布式计算期末复习1. Scala1.1 特点1.2 Scala源代码文件，编译后的文件1.3 变量和常量1.4 推断类型1.5 for循环1.6 数组1.7 方法与函数的区别1.8 函数的声明（有名和匿名）1.9 高阶函数1.10 闭包1.11 Lambda演算1.12 集合类型List
使用DBeaver远程连接hive数据库
1.DBeaver连接hive数据库时需要先在服务器启动hive的metastore服务和hiveserver2服务[root@node2 ~]# nohup bin/hive --service metastore &[root@node2 ~]# nohup bin/hive --ser
【实时数仓】如果写入ES时，发生故障的处理，不丢数据
es，不会丢数据，不会重复数据 设计的一种思路
五十六、Kettle工具的使用
前言：此块内容文字描述效果不佳，故采用看图说话的形式进行阐述提示：双击图片可以将图片放大进行查看数据准备数据表：链接：https://pan.baidu.com/s/1ri8VsQkOKO3vyvbpeksuPA提取码：0000--来自百度网盘超级会员V4的分享数据表导入mysql数据库使用Navi
读完本篇文章就会掌握hive over窗口函数的使用附带习题
前言：我们在学习hive窗口函数的时候，一定要先了解窗口函数的结构。而不是直接百度sum() over()、row_number() over()、或者count() over()的用法，如果这样做，永远也掌握不到窗口函数的核心，当然我刚开始的时候也是这样做的。还好我比较顽强，在HIVE窗口函数问题
浅谈什么是大数据
浅谈什么是大数据有人可能发现了，我这个专栏写的就是大数据，所以我们一起来谈谈大数据。大数据概念百度百科：对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。主要解决的
HDFS Java API操作——《大数据技术原理与应用（第3版）》期末复习
目录HDFS Java API操作创建目录显示目录列表删除目录判断文件存在目录和文件判断重命名文件上传文件文件移动文件下载HDFS Java API操作这里使用Junit包的@Before、@Test方法进行调试测试创建目录fs.mkdirs() //第一步，获取Hadoop FileSystem对
SpringCloud Alibaba实战（12：引入Dubbo实现RPC调用）
断更系列，我给它续上了……
zookeeper
关于zookeeper的一些小总结
Elasticsearch CRUD RestAPI
Elasticsearch CRUD RestAPI
使用 Apache Spark 3.0 分析Stack Overflow数据集的保姆级教程
在本文中，我将展示如何使用 Apache Spark 和 AWS 堆栈（EMR、S3、EC2）完成使用 Stack Overflow 数据集分析
spark源码跟踪(八)累加器Accumulators
累加器Accumulators一，累加器作用及其原理1.1，作用1.2，原理二，累加器关键源码跟踪阅读2.1，测试代码2.2，跟踪源码2.2.1，add调用2.2.2，merge调用三，累加器在行动算子和转换算子中执行有何不同3.1，测试代码一，累加器作用及其原理1.1，作用可实现分布式计数或求和；
day05Hadoop环境搭建之克隆前的准备及Linux的JDK的安装1.0
在克隆之前我们需要进行一些操作，如JDK的安装等无论以后什么时候对虚拟机进行操作的时候，首先进行拍摄快照，以防止虚拟机文件丢失或损坏可以进行恢复。这样的好处是避免虚拟机损坏再进行重装。
Hadoop大数据生态圈组件之HBase
HBase，一个最接近于关系型数据库的Nosql非关系型数据库介绍简介Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库；Hadoop HDFS作为其文件存储系统，zookeeper作为其分布式协同服务 主要用来存储非结构化和半结构化的松散数据优点容量大面
我与TDengine的故事
涛思,优点
在Python和Scala中使用Spark NLP进行100多种语言的情感分类
本文将介绍如何在 Python 和 Scala 中 使用 Spark NLP 库训练超过 100 多种语言的模型，结果准确率超过 90%。
