JAVA实现HDFS文件的读写
JAVA实现HDFS文件的读写
微服务 Spring Cloud Alibaba 项目搭建（七、RocketMQ 集成）
RocketMQ介绍RocketMQ 是一个 队列模型 的消息中间件，具有高性能、高可靠、高实时、分布式 的特点。它是一个采用 Java 语言开发的分布式的消息系统，由阿里巴巴团队开发，在2016年底贡献给 Apache，成为了 Apache 的一个顶级项目。 在阿里内部，RocketMQ 很好地服
看 AWS 如何通过 Nitro System 构建竞争壁垒
AWS Nitro System DPU 技术解析。
【Spark】(task6)Spark RDD完成统计逻辑
文章目录一、Spark RDD二、使用RDD functions完成任务2的统计逻辑Reference一、Spark RDDRDD：resilient distributed dataset (RDD)每个spark程序都有一个driver program运行main函数，在cluster集群上执行
hadoop集群之hdfs文件系统常见操作命令
hdfs文件系统常见操作命令
数据安全入门产品——数据库审计系统详解
数据库审计系统在数据安全发展阶段留下了浓墨重彩的一笔，现如今也是组织机构信息安全建设、等保评估不可或缺的技术工具，本文会介绍数据库审计的系统原理、主要功能、部署模式、应用场景、价值体现、未来技术发展，希望有你想要的东西！
开发技术都只学了点皮毛，怎么办？
对于一个即将毕业找工作的大学生来说，其实你要真实地去思考自己焦虑的根源，大学生的焦虑都在于能否能找到自己想要从事的工作，但你要清楚，那是焦虑的结果，而不是焦虑的根源，想要解决焦虑的结果就必须经历正确的过程，要是这个过程没有经历，或者经历了错误的过程，那才是焦虑的根源。首先作为大学生们要明白，软件企业
大数据A环境搭建--HADOOP--Ubuntu
模块A环境搭建一、安装JDK1.更改主机名字2.配置密钥 免密登录3.映射地址4 .解压并移动5.配置环境变量6.分发到各个节点二、安装HADOOP1.解压并且移动2.配置环境变量3.配置.sh和.xml文件i.创建临时文件ii.配置hadoop-env.shiii.配置core-site.xmlV
【大话云原生】消息队列与快递柜之间妙不可言的关系（带视频）
提到消息队列可能一些朋友经常听别人说起一些名词，比如：服务程序解耦，处理流量削峰，通过异步处理提升用户体验，缓冲批处理提高处理性能。笔者擅于白话解说，所以我就不用专业的术语去解释专业的问题了。我一直觉得消息队列的功能和快递柜的功能非常相似，怎么个相似法呢？让我来详细给你说说。
记一次重大的生产事故
高高兴兴上班来，突闻任务大面积报错，经过一番排查，服务器上某个用户不见了。
Kafka3.1安装配置，配置Kafka集群，Zookeeper集群
1.下载Kafka安装包Kafka官网下载地址：https://kafka.apache.org/downloads2.解压压缩包tar -zxvf kafka_2.12-3.1.0.tgz -c kafka3.进入配置文件目录cd kafka/config4.配置kafka配置文件vim serv
使用最新版flink tidb cdc 同步数据到StarRocks
Flink CDC 2.2 版本新增了 OceanBase CE，PolarDB-X，SqlServer，TiDB 四种数据源接入。其中新增 OceanBase CDC，SqlServer CDC，TiDB CDC 三个连接器，而 PolarDB-X 的支持则是通过对 MySQL CDC 连接器进行
Flink相关API开发及运行架构和实现原理详解
Flink相关API开发及运行架构和实现原理详解
【Kafka SASL认证】
条件：注：先安装Zookeeper和Kafka链接：https://blog.csdn.net/ZhongYuxuanGKafka配置SASL认证：1.创建文件中配置用户①.kafka/config/下创建kafka_client_jaas.conf文件：KafkaClient { org.apa
CDH6.3.1安装指南
CDH安装指南！！！！CDH简介CDH基于Web的用户界面,支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 HBase、Zookeeper、Sqoop，简化了大数据平台的安装、使用难度。Cloudera Manager的功能：管理：对集群进行管理，如添加、删除节点等
Spark SQL底层执行流程详解
本文目录一、Apache Spark二、Spark SQL发展历程三、Spark SQL底层执行原理四、Catalyst 的两大优化完整版传送门：Spark知识体系保姆级总结，五万字好文！一、Apache SparkApache Spark是用于大规模数据处理的统一分析引擎，基于内存计算，提高了在大
【源码解读】|SparkEnv源码解读
【源码解读】|SparkEnv源码解读导读SparkEnv 创建入口SparkEnv 架构组件前置创建SecurityManager安全管理器创建RPCEnv 环境创建SerializerManager序列化管理器创建BroadcastManager广播管理器创建mapOutputTracker创建
Hive建表时，使用Array和Map类型以及数据导入
在Hive建表时，我们是可以指定数据类型为Array和Map类型的。除此之外还有Struct类型，这里就不对此做过多延伸。参考：Hive增删改查建表：CREATE TABLE test001( id STRING COMMENT '', address ARRAY<string> CO
flink-1.12.0版Yarn安装部署
flink-1.12.0版Yarn安装部署
Elasticsearch 基本概念
文章目录1.存储结构indextypedocumentfieldmapping2.其他重要概念clusternodeshardreplica3.查看版本信息4.小结参考文献1.存储结构要想学会使用 ES，完成对 ES 的增删改查，必须先了解一下 ES 的存储结构。大家对 MySQL 的存储结构应该是
