二次开发Spark实现JDBC读取远程租户集群Hive数据并落地到本集群Hive的Hive2Hive数据集成【Java】
背景肤浅的SQL Boy们可能只知道pyspark构建出sparkSession对象【当然要enableHiveSupport】后，写一句SQL：spark.sql(“这里写一句SQL字符串”);然后spark就会根据此处的SQL，完成各种select查数据、insert overwrite灌数据到
RDD的处理过程
Spark用scala语言实现了RDD的API，程序开发者可以通过调用API对RDD进行操作处理。下图为RDD的处理过程：RDD经过一些列的“转换”操作，每一次转换都会产生不同的RDD，以供给下一次“转换”操作使用，直到最后一个RDD经过“行动”操作才会被真正计算处理，并输出到外部数据源中，若中间的
第2篇: Elasticsearch的相关名称解释
目前国内有大量的公司都在使用 Elasticsearch，包括阿里、京东、滴滴、今日头条、小米、vivo等诸多知名公司。除了搜索功能之外，Elasticsearch还结合Kibana、Logstash、Elastic Stack还被广泛运用在大数据近实时分析领域，包括日志分析、指标监控等多个领域。
教你使用Sqoop一次性将mysql中的十张表导入到hive中
sqoop数据同步工具的使用一文教你学会使用sqoop将mysql数据库中的十张表导入到大数据平台hive中
Spark基础学习笔记24：Spark SQL数据源
使用各种数据源：parquet, json, hive表, jdbc
浅谈Zookeeper集群选举Leader节点源码
写在前面：zookeeper源码比较复杂，本文讲解的重点为各个zookeeper服务节点之间的state选举。至于各个节点之间的数据同步，不在文本的侧重讲解范围内。在没有对zookeeper组件有一个整体架构认识的基础上，不建议直接死磕细节。本文写作的目的也是基于此，阅读本文，希望读者能够对zook
大数据杂谈（一些知识点和Linux命令）
1.分布式和集群的区别分布式：多台机器上部署不同的组建集群：多台机器上部署相同的组建2.SSH协议的定义公钥是服务器发给客户端的，服务器自己有私钥可以解密。3.linux基础和一些常用命令常用命令1.history：查看以前所用的写过的命令2.ls3.cd4.创建文件夹、文件，删除(rm)5.复制(
Hbase的安装和多节点配置
Hbase的环境配置分为单机模拟配置、伪分布式及完全分布式。由于完全分布式需要另外安装zookeeper，配置极为麻烦，故这里说明伪分布式的安装步骤。从官网中下载hbase文件包官网下载地址：Apache HBase – Apache HBase™ Home 下载链接，由于官网下载较慢，建议复
Zookeerper安装与配置
Zookeerper安装与配置1.Zookeeper单机模式安装2.Zookeeper集群模式安装一、Zookeeper单机安装1.配置java环境，并查看java安装版本，通过java -version查看2.下载并解压zookeeper。通过rz命令，将下载好的安装包上传到xshell上3.使用
搭建ZooKeeper集群和Kafka集群
目录规划基础环境配置（1）修改主机名（2）关闭防火墙及SELinux服务（3）编辑 hosts 文件（4）配置 yum 安装源（4）安装 JDK 环境搭建 ZooKeeper 集群（1）解压 ZooKeeper 软件包（2）修改 3 个节点配置文件（3）创建 myid 文件（4）启动 ZooKeep
加油吧，搬砖人
2007年毕业从事IT工作，转眼间已15个年头了。从懵懂少年到如今人到中年，完成了娶妻生子，买房买车人生大事。回顾这10多年的职场生涯，其实是很普通平庸顺利的"混过了"。没有牛逼的大数据、人工智能的项目经验，一直从事通信运营商的IT信息项目建设，期间换了5家单位，有上W规模的百强IT企业，有几百号人
Zookeeper与Kafka自动部署脚本
Zookeeper与Kafka自动部署脚本
SparkStreaming--scala
第1关：QueueStream本关任务：编写一个清洗QueueStream数据的SparkStreaming程序。 import java.text.SimpleDateFormat import java.util.Date import org.apache.spark.{Ha
(详细)Hadoop配置实战-伪分布式
Hadoop集群配置，伪分布式，hdfs命令，hadoop集群命令，Hadoop相关下载地址
大数据技术原理及应用：开发与运行环境安装与介绍（第一部分）
开发与运行环境安装与介绍以后要更大数据系列啦！还请大家多多关注！虚拟化软件的安装安装好VMware打开VMware，如图所示。虚拟机的创建标题Vmware tools的安装JDK的安装
华为云计算之FusionStorage基础原理和特性
华为云计算之FusionStorage基础原理和特性
hive中的表操作
1，hive概述Hive是基于Hadoop的数据仓库，用于处理结构化的数据集，数据结构存在于MySQL，数据存在 HDFS。Hive可以将一个类似于sql的查询语句（HQL）翻译成MR程序，将job提交给HDFS进行查询 时，hive把HDFS上的一个目录映射成一张Hive表，在查询的时候就是把jo
通过XShell远程连接Linux
上节我们完后虚拟机的安装后，由于页面不利于操作，可通过XShell工具连接后开始之后的操作。附上XShell官方下载地址https://www.xshell.com/zh/xshell/其下载流程简单，傻瓜式安装即可，且免费开源，配合官网页面另一产品Xftp一起用效果最好附上Xftp官方下载地址ht
Kafka在命令行的启动流程
Kafka在命令行的启动流程启动Zookeeper:启动Kafka:设置Kafka主题，查询Kafka主题名，启动生产者:启动消费者:启动Zookeeper:E:\kafka\kafka_2.12-2.3.0>bin\windows\zookeeper-server-start.bat con
Hadoop学习之旅第一步——创建一台自己的虚拟机
首先，下载VMware Workstation之后，在centos官网下载所需要的镜像，下载官网附下：https://wiki.centos.org/Download这两个文件的下载此处略过，可以参考其他大佬教程下载破解版下好之后，接下来就开始进入我们的正题打开下载好的VMware Workstat
