hive库操作示例
1、hive库基本操作；2、hive库分区表常见操作；3、关于删除及更新的描述；4、分区表数据插入、删除；5、分桶表数据插入、删除；6、java客户端采用jdbc操作hive库；
大数据面试真题_数据仓库
1.维表和宽表（主要考察维表的使用及维度退化手法）
Kafka的配置和使用
e KAFKA_ZOOKEEPER_CONNECT=172.21.10.10:2181/kafka 配置zookeeper管理kafka的路径172.21.10.10:2181/kafka。⑧、每条消息都有一个主题，消费者指定监听哪个主题的消息，如果进来消息队列的是我们指定监听的主题，就消费，否则不
Google浏览器 安装 Elasticsearch-head 插件
下载地址：https://github.com/liufengji/es-head1）将 elasticsearch-head.crx 更名为 elasticsearch-head.rar，然后解压缩2）进入elasticsearch-head文件夹将_metadata文件夹重命名为metadata
SpringCloudStreamkafka接收jsonarray字符串失败
【代码】SpringCloudStreamkafka接收jsonarray字符串失败。
大数据：Flume安装部署和配置
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。当前Flume有两个版本Flume 0.9X版本的统称Flume
flink start AM request record
【代码】flink start AM request record。
Kafka 为何是构建高吞吐量的分布式消息系统
作者：禅与计算机程序设计艺术 1.简介Apache Kafka 是由LinkedIn于2011年开源出来的一个分布式流处理平台。它最初被称为Distributed Messaging System（即分布式消息系统），是一个发布/订阅消息队列，支持按照Key-V
大数据处理：深入剖析HiveSQL
作者：禅与计算机程序设计艺术 1.简介1.1 引言Hadoop从出现到现在已经十年了，已经成为当今最流行的开源分布式计算框架之一。Apache Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供高效率、高容错性的查询
Hive创建外部表详细步骤
② 在hive中执行HDFS命令：上传/emp.txt至HDFS的data目录下，并命名为emp_out。① 在hive中执行HDFS命令：创建/data目录。③ 创建外部表：emp_out。
Hadoop集群当中主节点的NameNode进程启动不成功
将主节点的hadoop的包删掉，从从节点将hadoop的包用scp传输过去，因为集群当中的hadoop的包里面的内容都是一样的。在hadoop集群当中的所有节点将中的tmp文件删除和logs文件里面的内容删除里面的的内容，然后重新初始化NameNode。hadoop路径下etc/hadoop路径下面
使用 Apache Kafka 进行发布-订阅通信中的微服务
它与传统消息系统的不同之处在于非常容易横向扩展，提供高吞吐量，支持多订阅者，在故障期间自动平衡消费者，并且能够允许实时应用程序或ETL将其用作批量消费磁盘上持久化消息的数量 [1]。从简单的角度来看，对该模式的理解依赖于它对观察者模式的扩展，添加了用于通信事件通知的事件通道的概念。Apache Ka
Windows下快速启动Kafka以及三种发送消息的方式
Windows下快速启动Kafka以及三种发送消息的方式
Hbase 系列教程：HBase 在滴滴中的应用实践
作者：禅与计算机程序设计艺术 1.简介概述HBase 是一种高性能的分布式列存储数据库。它是一个开源项目，由 Apache Software Foundation 的开发人员开发维护。HBase 以 Hadoop 为基础，提供低延迟的数据访问，能够存储海量结构化
springboot 使用zookeeper实现分布式ID
通过ZooKeeper的协调和同步机制，多个应用程序可以共享一个ID生成器，并确保生成的ID是唯一的。请注意，上述示例中的代码仅供参考，实际使用时可能需要根据具体需求进行适当的修改和调整。在上面的示例中，我们使用了Curator提供的DistributedAtomicLong来创建一个分布式ID生成
【大数据】Presto（Trino）REST API 与执行计划介绍
Presto（现在叫Trino）是一个分布式SQL查询引擎，它允许用户在多个数据源上执行查询。Presto本身是一个独立的Java程序，可以通过REST API与其他应用程序进行通信。Presto的REST API是一组HTTP接口，可以用于与Presto服务器进行通信，并提交查询请求、获取查询结果
大数据与人工智能的应用
数据增长已经成为经济学中的一个重要话题，从数据采集到存储、计算、分析、传输、处理等各个环节的数据量都在飞速增长。与此同时，越来越多的人参与了数据的分析过程，并用机器学习的方式提升产品和服务的效果。作为解决这一复杂问题的第一步，数据科学家需要懂得如何进行数据的清洗、整合、标注、特征提取等工作，掌握数据
Flink-1.17.0(Standalone)集群安装-大数据学习系列（四）
链接: https://pan.baidu.com/s/1-GAeyyDOPjhsWhIp_VV7yg?链接: https://pan.baidu.com/s/1X_P-Q8O_eLADmEOJ438u5Q?切换到k8s-node1、k8s-node2 验证是否安装成功。切换到k8s-node1机器
SparkSQL与Hive整合(Spark On Hive）
hive metastore元数据服务用来存储元数据，所谓元数据，即hive中库、表、字段、字段所属表、表所属库、表的数据所在目录及数据分区信息。元数据默认存储在hive自带的Derby数据库。metastore服务独立出来之后，1个或多个客户端在配置文件中添加metastore的地址，就可以同时连
修炼k8s+flink+hdfs+dlink（二：安装flink）
【代码】修炼k8s+flink+hdfs+dlink（一：安装flink）
