Hive3.1.3基础
1）Hive简介Hive是由Facebook开源，基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。那为什么会有Hive呢？它是为了解决什么问题而诞生的呢？下面通过一个案例，来快速了解一下Hive。例如：需求，统计单词出现个数。（1）在Hadoop中用M
大数据平台环境搭建---- Spark组件配置
Spark使用Scala语言进行实现，它是一种面向对象、函数式编程语言，能够像操作本地集合对象一样轻松地操作分布式数据集。参考文献：https://www.cnblogs.com/xupccc/p/9800380.html。复制Spark配置模板：cp spark-env.sh.template s
软考笔记--数据仓库技术
为了更好地管理非结构化数据，数据仓库采用了元数据，元数据可用于记录数据的文件标识符，进入数据仓库的日期，文件描述，文件来源等信息。企业仓库面向企业级应用，它搜集了企业的各个主题的所有信息，提供企业范围的数据集成，数据通常来自多个操作型数据库和外部信息提供者，并且是快多个功能范围的。数据集市面向企业部
FlinkCDC同步ORACLE至Apache Doris
Apache Doris（以前称为Palo）是一个开源的大数据分析数据库项目，是由百度公司发起的一个分布式 SQL 数据仓库。它的设计目标是支持低延迟、高吞吐量的交互式 SQL 查询，可以用于实时报表、在线分析处理等场景。Apache Doris 提供了分布式的、可伸缩的架构，支持高并发的大规模数据
Flink面试知识点：JobManager 和 Task
好迷茫，三本软件工程大三了，才刚学了Spring框架而且还没像样的项目，之前学校还学了python和安卓（很基础），以这个学习进度，下学期想找份像样的实习入行，俺也来试试牛爱网98男，身高173，体重65，河南人在上海读研，已签约上海某大厂，长相帅的一批。收到了快手offer，但开的不满意，想签一个
SpringCloud--Eureka注册中心服务搭建注册以及服务发现
注意springboot以及springcloud版本，可能有莫名其妙的错误，这里使用的是springboot-2.6.13，springcloud-2021.0.5。
【shell-10】shell实现的各种kafka脚本
因为经常要用kafka环境参与测试，所以写了不少脚本。在很多时候可以大大提高测试的效率。topic数据传输【file数据录入到topic,topic数据下载到本地文件】此文件是个额外的日志文件主要用于打印日志，该文件会被下面的shell文件引用。topic信息查看【topic列表，topic gro
FlinkCDC全量及增量采集SqlServer数据
本文详细介绍Flink-CDC如何全量及增量采集Sqlserver数据源.
解决hive表新增的字段查询为空null问题
这是怎么回事，怀疑是不是数据没有插入成功，于是查看日志确实是写入成功了，后换了impala和presto 两种引擎查询，发现两个结果都有值，如果直接到目录下查看数据文件会发现确实有值。第二种方案，要是我们表里有很多分区，这样处理就显得有些繁琐了，不知有没有更优雅的处理方式，答案是肯定的，那就是在修改
第三节 zookeeper基础应用与实战2
Zookeeper作为一个分布式协调框架，内部存储了一些分布式系统运行时的状态的数据，比如master选举、比如分布式锁。对这些数据的操作会直接影响到分布式系统的运行状态。因此，为了保证zookeeper中的数据的安全性，避免误操作带来的影响。Zookeeper提供了一套ACL权限控制机制来保证数据
flink1.14.5使用CDH6.3.2的yarn提交作业
使用CDH6.3.2安装了hadoop集群，但是CDH不支持flink的安装，网上有CDH集成flink的文章，大都比较麻烦；但其实我们只需要把flink的作业提交到yarn集群即可，接下来以CDH yarn为基础，flink on yarn模式的配置步骤。
Flink 源码剖析｜累加器
（合并多个累加器的结果）功能的一种数据结构，在作业结束后，可以获取所有部分（各个 operator 的各个 subtask）合并后的最终结果并发送到客户端。类型表示累加器结果的类型，这个类型必须是可序列化的。，因此可以在不同算子（operator）的不同 UDF 中使用同一个累加器，Flink 会合
智慧校园大数据云平台介绍
过去几十年里，数据中心技术发生了天翻地覆的变化， 2000年前后的互联网发展推动了数据中心从大型机时代转向独立服务器和集中存储架构。相比之下，独立服务器带来了比大型机更加灵活的系统的环境；可以通过网络访问让也降低了运维的复杂性。业务部门需要盈利，数据是关键因素。依赖于其灵活的容量调配和高可用设计，集
将Sqoop与Hive集成无缝的数据分析
将Sqoop与Hive集成是在大数据环境中实现无缝数据分析的关键一步。Sqoop可以轻松地将关系型数据库中的数据导入到Hive中，以便进行高级数据分析和查询。希望本文提供的示例代码和详细内容有助于大家更好地理解和应用Sqoop与Hive的集成技术。
PySpark（四）PySpark SQL、Catalyst优化器、Spark SQL的执行流程、Spark新特性
Hive和Spark 均是:“均是构建大规模结构化数据计算的绝佳利器，同时SparkSQL拥有更好的性能。目前，企业中使用Hive仍旧居多，但SparkSQL将会在很近的未来替代Hive成为分布式SQL计算市场的顶级这里的重点是：Spark SQL能支持SQL和其他代码混合执行，自由度更高，且其是内
【SparkML系列3】特征提取器TF-IDF、Word2Vec和CountVectorizer
这种方法避免了计算全局的词到索引映射表，这对于大型语料库来说可能代价很高，但它会遭受潜在的哈希冲突，不同的原始特征经过哈希可能会变成相同的词项。词频-逆文档频率（Term frequency-inverse document frequency，简称TF-IDF）是一种在文本挖掘中广泛使用的特征向量
spark sql上线前的调试工作实现
spark sql上线前的调试阶段
ZooKeeper 相关概念总结(进阶)
ZooKeeper由Yahoo开发，后来捐赠给了Apache，现已成为Apache顶级项目。ZooKeeper是一个开源的分布式应用程序协调服务器，其为分布式系统提供一致性服务。其一致性是通过基于Paxos算法的ZAB协议完成的。其主要功能包括：配置维护、分布式同步、集群管理、分布式事务等。简单来说
大数据StarRocks(三) StarRocks数据表设计
StarRocks的表和关系型数据库类似, 由行和列构成. 每行数据对应用户一条记录, 每列数据有相同数据类型. 所有数据行的列数相同, 可以动态增删列. StarRocks中, 一张表的列可以分为维度列(也成为key列)和指标列(value列), 维度列用于分组和排序, 指标列可通过聚合函数SU
集成ApacheFlink：HBase与ApacheFlink的集成和应用
1.背景介绍1. 背景介绍Apache Flink 是一个流处理框架，用于实时数据处理和分析。HBase 是一个分布式、可扩展、高性能的列式存储系统，基于 Google Bigtable 的设计。在大数据处理中，Apache Flink 和 HBase 的集成可以实现高效的数据处理和存储。本文将介绍
