CDH6.3.1安装指南
CDH安装指南！！！！CDH简介CDH基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 HBase、Zookeeper、Sqoop，简化了大数据平台的安装、使用难度。Cloudera Manager的功能：管理：对集群进行管理，如添加、删除节点等
Spark SQL底层执行流程详解
本文目录一、Apache Spark二、Spark SQL发展历程三、Spark SQL底层执行原理四、Catalyst 的两大优化完整版传送门：Spark知识体系保姆级总结，五万字好文！一、Apache SparkApache Spark是用于大规模数据处理的统一分析引擎，基于内存计算，提高了在大
【源码解读】|SparkEnv源码解读
【源码解读】|SparkEnv源码解读导读SparkEnv 创建入口SparkEnv 架构组件前置创建SecurityManager安全管理器创建RPCEnv 环境创建SerializerManager序列化管理器创建BroadcastManager广播管理器创建mapOutputTracker创建
Hive建表时，使用Array和Map类型以及数据导入
在Hive建表时，我们是可以指定数据类型为Array和Map类型的。除此之外还有Struct类型，这里就不对此做过多延伸。参考：Hive增删改查建表：CREATE TABLE test001( id STRING COMMENT '', address ARRAY<string> CO
flink-1.12.0版Yarn安装部署
flink-1.12.0版Yarn安装部署
Elasticsearch 基本概念
文章目录1.存储结构indextypedocumentfieldmapping2.其他重要概念clusternodeshardreplica3.查看版本信息4.小结参考文献1.存储结构要想学会使用 ES，完成对 ES 的增删改查，必须先了解一下 ES 的存储结构。大家对 MySQL 的存储结构应该是
初步认识Hadoop
学习目的· 了解大数据的概念及其特征· 了解Hadoop发展· 掌握Hadoop的生态体系Hadoop作为一个能够对大量数据进行分布式处理的软件框架，用户可以利用Hadoop生态体系开发和处理海量数据。由于Hadoop可靠及高效的处理性能，逐渐称为分析大数据的领先平台。1.1 什么是大数据 从
各大互联网公司实时数仓实践
各大公司实时数仓实践1.1 网易实时数仓实践此架构是基于Kudu的实时数据数仓，通过Data Stream自己写的数据采集工具来采集日志数据写入Kafka，使用NDC(类似CDC)服务可以将binlog数据推送到Kafka，通过Flink读取Kafka数据结果写入Kudu,基于Kudu构建实时数仓好
【操作系统入门到成神系列 二】磁盘比内存慢几万倍？
大家好，我是爱敲代码的小黄，独角兽企业的Java开发工程师，Java领域新星创作者。这是我的系列专栏：操作系统 从入门到成神。如果文章知识点有错误的地方，请指正！和大家一起学习，一起进步。如果感觉博主的文章还不错的话，请三连支持一下博主哦。
springboot集成mqtt
文章目录一、MQTT说明1.1、mqtt文档1.2、MQTT消息服务质量1.1.1、归纳二、MQTT环境搭建三、boot集成原生mqtt1.1、项目结构1.2、依赖1.3、application.properties配置1.4、实体类1.5、mqtt配置类1.6、mqtt发布接口1.7、mqtt接收
通俗理解大数据及其应用价值
在大数据这个概念兴起之前，信息系统存储数据的方法主要是我们熟知的关系型数据库，关系型数据库，关系型模型之父 Edgar F. Codd，在 1970 年 Communications of ACM 上发表了《大型共享数据库数据的关系模型》的经典论文，从此之后关系模型的语义设计达到了 40 年来普世、
sbt安装配置与打包
一：安装配置1.下载安装包官网下载地址：sbt - Download将下载好的sbt-1.6.1.tgz解压到相应目录：/home/kyj/soft，这里我们使用版本为1.6.1，注意版本的选择2.解压安装包并放在/home/kyj/soft中：tar -zxvf sbt-1.6.1.tgz sbt
Hadoop完全分布式配置
1.虚拟机环境准备1.1 克隆虚拟机1.2. 修改克隆虚拟机的静态IP机器名静态IPmaster192.168.121.151slaver1192.168.121.152slaver2192.168.121.153[root@master Desktop]# vi /etc/sysconfig/ne
Dapr for dotnet | 密钥管理 - Secret Management
密钥管理（Secret Management）简介应用程序通常会通过使用专用的密钥存储来秘密存储敏感信息，常见示例包括：包含用户名和密码的数据库连接字符串。用于调用外部 Web API 的 API 密钥。用于对外部系统进行身份验证的客户端证书/令牌。必须谨慎管理机密，以免在应用程序之外泄露。传统的做
Canal使用流程、部署安装文档
文章目录背景信息使用流程步骤一：准备MySQL数据源步骤二：创建索引步骤三：安装并启动Canal-server(Deployer)步骤四：部署Client-Adapter步骤五：验证增量数据同步步骤六：同步MySQL全量数据（如果不需要同步全量数据，可忽略这一步）常见问题及解决方式1. 部署后启动出
第九届“大唐杯”全国大学生移动通信5G技术大赛省赛成功举办
第九届大唐杯全国大学生移动通信5G技术大赛省赛如期圆满落幕
十九.SpringCloud极简入门-基于Docker整合ELK分布式日志解决方案
在微服务架构中服务众多，每个微服务都会产生大量的日志数据，服务的调用错综复杂，如何才能快速定位到BUG？所以日志收集是微服务项目不可或缺的。为了方便日志分析，我们需要对微服务的日志数据进行存储,同时提供一个友好的可视化界面方便分析。存储到文件和数据库都不太合适因为数据量太大，也不好查阅。ELK是一个
大数据入门-什么是Kudu
Kudu是Cloudera开源的新型列式存储系统，是Apache Hadoop生态圈的成员之一，专门为了对快速变化的数据进行快速的分析，填补了以往Hadoop存储层的空缺。
Docker基础 部署nginx、部署Tomcat、部署ES+Kibana
Docker 部署 Nginx搜索Nginx镜像：搜索镜像建议前往官网docker hub去搜，这样可以看到帮助文档信息Docker Hubhttps://hub.docker.com/#找到想要拉取的版本，这里列出前三个[root@localhost ~]# docker search nginx
数据科学必备Pandas DataFrame：让数据处理变得更简单
Pandas DataFrame 是一个包含二维数据及其对应标签的结构。DataFrame 广泛用于数据科学、机器学习、科学计算和许多其他数据密集型领域。DataFrame 类似于SQL 表或在 Excel 中使用的电子表格。在许多情况下DataFrame 比表格或电子表格更快、更易于使用且功能更强
