熟悉HBase常用操作
熟悉HBase常用操作
什么是Flink CDC，以及如何使用_flinkcdc(1)，2024年最新完美收官
面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**
【大数据】利用 Apache Ranger 管理 Amazon EMR 中的数据权限
系统安全通常包括两个核心主题：身份验证和授权。一个解决 “用户是谁” 的问题，另一个解决 “用户允许执行什么操作” 的问题。在大数据领域，Apache Ranger 是最受欢迎的授权选择之一，它支持所有主流大数据组件，包括 HDFS、 Hive、HBase、 Trino 等组件。
高级DBA带你处理Mysql数据库10亿大数据条件下迁移实战
FEDERATED存储引擎能让你访问远程的MySQL数据库而不使用replication或cluster技术(类似于Oracle的dblink),使用FEDERATED存储引擎的表,本地只存储表的结构信息,数据都存放在远程数据库上,查询时通过建表时指定的连接符去获取远程库的数据返回到本地。
Spark--Spark SQL结构化数据文件处理知识总结(第五章)
Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象结构叫做DataFrame的数据模型（即带有Schema信息的RDD），Spark SQL作为分布式SQL查询引擎，让用户可以通过SQL、DataFrames API和Datasets API三种方式实现对结构化数据的处
数据流处理框架Flink与Kafka
1.背景介绍在大数据时代，数据流处理技术已经成为了一种重要的技术手段，用于处理和分析大量实时数据。Apache Flink和Apache Kafka是两个非常重要的开源项目，它们在数据流处理领域具有广泛的应用。本文将深入探讨Flink和Kafka的关系以及它们在数据流处理中的应用，并提供一些最佳实践
Flink将数据流导入Doris
DorisSink是通过StreamLoad向Doris写入数据，DataStream写入时，支持不同的序列化方法。setLabelPrefix：Stream load导入使用的label前缀。2pc场景下要求全局唯一 ，用来保证Flink的EOS语义。特殊字符作为分隔符：'sink.propert
大数据面试题 —— Hive
（1）承UDF或者UDAF或者UDTF，实现特定的方法；（2）打成jar包，上传到服务器（3）执行命令add jar路径，目的是将 jar 包添加到 hive 中create temporary function 函数名 as "自定义函数全类名"（5）在select中使用 UDF 函数。
Linux虚拟机环境搭建spark
Linux环境搭建Spark分为两个版本，分别是Scala版本和Python版本。本环境以 Python 环境为例。
如何安全可控的进行跨区域数据交换，提高数据价值？
飞驰云联是中国领先的数据安全传输解决方案提供商，长期专注于安全可控、性能卓越的数据传输技术和解决方案，公司产品和方案覆盖了跨网跨区域的数据安全交换、供应链数据安全传输、数据传输过程的防泄漏、FTP的增强和国产化替代、文件传输自动化和传输集成等各种数据传输场景。飞驰云联主要服务于集成电路半导体、先进制
Hadoop的集群搭建
我使用的是Hadoop3.1.1版本，连接https://archive.apache.org/dist/hadoop/common/，在这里可以找到所有的Hadoop版本，JDK使用的是1.8，我在阿里云上租了五台服务器，具体怎么租可以字型搜索，几毛钱一个小时，不用按小时，按抢占式就可以满足需求，
如何检测和削减大数据中的异常数据-基本教学(看完学会处理异常数据)
这些工具可以快速识别异常情况，帮助预防和修复问题。利用人工智能和机器学习，为所有团队成员提供详细且情境化的性能数据图，帮助准确预测并主动排除错误。文章参考。
spark中怎么实现行列转换
函数可以帮助你重新排列数据，将某些行值作为列，并根据指定的聚合函数对这些值进行汇总。函数可用于将包含数组的列拆分成多行，每个数组元素对应一行数据。列中的数组元素拆分成多行，每个员工的每个部门对应一行，并保留了原始的。列的值（A 和 B）转换为两列，并对每个日期的。在 Spark SQL 中，你可以使
基于centos7的hadoop伪分布式spark+scala（详细教程）
准备活动：需要scala和spark安装包。
MapReduce分区机制（Hadoop）
mapreduce分区机制
数据仓库、数据中台、大数据平台之间的关系
数据行业经常会出现数据仓库、数据中台、大数据平台等概念，容易产生疑问，它们中间是相等，还是包含的关系？
Hadoop完全分布式集群搭建
另外，只要运行过 HDFS，Hadoop 的 工作目录（本书设置为/usr/local/src/hadoop/tmp）就会有数据，如果需要重 新格式化，则在格式化之前一定要先删除工作目录下的数据，否则格式化时会 出问题。可以看出 HDFS 的数据保存在/usr/local/src/hadoop/df
Spark--Scala基础知识总结（第二章）
了解数据类型Scala常用数据类型数据类型描述Int32位有符号补码整数。数值区间为−3276832767Float32位IEEE754IEEE浮点数算术标准）单精度浮点数Double64位IEEE754IEEE浮点数算术标准）双精度浮点数String字符序列，即字符串Boolean布尔值，true
数据仓库项目---Day01
只需要研发人员集成采集 SDK，不需要写埋点代码，业务人员就可以通过访问分析平台的“圈选”功能，来“圈”出需要对用户行为进行捕捉的控件，并对该事件进行命名。例如，我们对页面中的某个按钮埋点后，当这个按钮被点击时，可以在这个按钮对应的 OnClick 函数里面调用SDK提供的数据发送接口，来发送数据。
Hadoop与hdfs的认知讲解
HDFS（Hadoop Distributed File System）是Hadoop项目的一个子项目，也是Hadoop的核心组件之一。它是一个分布式文件系统，设计用于存储大型数据，如TB和PB级别的数据。文件分块存储：在HDFS中，文件在物理上是分块存储的。块的大小可以通过配置参数（dfs.blo
