大数据Doris（四十七）：Doris的动态分区介绍
根据 time_unit 属性的不同，以当天（星期/月）为基准，分区范围在此偏移之前的分区将会被删除。在某些使用场景下，用户会将表按照天进行分区划分，每天定时执行例行任务，这时需要使用方手动管理分区，否则可能由于使用方没有创建分区导致数据导入失败，这给使用方带来了额外的维护成本。动态分区的时区，如果
大数据Doris（四十八）：Doris的动态分区示例与查看动态分区表调度情况
注：2019-12-31 和 2020-01-01 在同一周内，如果分区的起始日期为 2019-12-31，则分区名为 p2019_53，如果分区的起始日期为 2020-01-01，则分区名为 p2020_01。同时，因为分区列 k1 的类型为 DATETIME，则分区值会补全时分秒部分，且皆为 0
Flink实时电商数仓之Doris框架（七）
大规模并行处理的分析型数据库产品。使用场景：一般先将原始数据经过清洗过滤转换后，再导入doris中使用。
大数据Doris（三十三）：Doris高级设置
但如果小表的数据量也很大的时候, 就会造成内存溢出, 此时需要通过shuffle join的方式进行, 也被称为partition join. 即将大表小表都按照join的key进行hash, 然后进行分布式join。doris在join操作的时候时候, 默认使用broadcast的方式进行join
【大数据】Doris 的集群规划和环境准备
Doris 作为一款开源的 MPP 架构 OLAP 数据库，能够运行在绝大多数主流的商用服务器上。为了能够充分运用 MPP 架构的并发优势，以及 Doris 的高可用特性，我们建议 Doris 的部署遵循以下需求。
【大数据】Doris 构建实时数仓落地方案详解（一）：实时数据仓库概述
数据仓库的概念可以追溯到 20 世纪 80 年代，当时 IBM 的研究人员提出了商业数据仓库的概念。数据仓库概念的提出，是为了解决和数据流相关的各种问题，特别是多重数据复制带来的高成本问题。
【大数据】Doris 构建实时数仓落地方案详解（二）：Doris 核心功能解读
Apache Doris 是由百度研发并开源的数据库项目。 Doris 2008 年开始在百度内部立项，经历了五个大版本的迭代后于 2017 年开源，2018 年进入 Apache 基金会孵化项目。2022 年 4 月 18 日正式发布 Doris 1.0，2022 年 6 月 16 日正式毕业，成
Doris：MySQL数据同步到Doris的N种方式
通过编程方式，利用jdbc读取mysql中的数据，然后可以通过jdbc或者Stream Load方式插入数据到doris中。当mysql与doris服务之间无法通过网络互联时，可以通过将mysql数据导出成csv文件，然后再在doris服务器导入csv文件的方式进行同步数据。将mysql导出的csv
大数据Doris（二十九）：数据导入（Insert Into）
后面的 url 可以用于查询错误的数据，具体见后面 查看错误行 小结。Insert Into 语句的使用方式和 MySQL 等数据库中 Insert Into 语句的使用方式类似。Insert Into 命令需要通过 MySQL 协议提交，创建导入请求会同步返回导入结果。如果可见，显示 visibl
【大数据】Doris 构建实时数仓落地方案详解（三）：Doris 实时数仓设计
有时候我们还会在 DWS 层的基础上增加 DWT（Data Warehouse Topic），作为宽表，但是我们也可以将这一层保留在 DWS 中，作为 DWS 层的一部分。DM 层是数据集市层，在 OLAP 查询不理想的情况下，DM 层是需要大力建设的。现在技术发展了，OLAP 查询不再是瓶颈，我们
Apache Doris (三十一）：Doris 数据导入(九）Spark Load 4- 导入Hive数据及注意事项
3) 使用Spark Load时spark_home_default_dir配置项没有指定spark客户端根目录。2) 使用 Spark Load 时如果没有在 spark 客户端的 spark-env.sh 配置 HADOOP_CONF_DIR 环境变量，会报 When running with
Doris--数据表基本概念和字段类型
doris表的基本概念，字段类型（特殊类型的使用场景），建表示例
【大数据】Doris：基于 MPP 架构的高性能实时分析型数据库
Apache Doris 是一个基于 MPP（Massively Parallel Processing，大规模并行处理）架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。
如何基于 Apache Doris 与 Apache Flink 快速构建极速易用的实时数仓
随着大数据应用的不断深入，企业不再满足离线数据加工计算的时效，实时数据需求已成为数据应用新常态。伴随着实时分析需求的不断膨胀，传统的数据架构面临的成本高、实时性无法保证、组件繁冗、运维难度高等问题日益凸显。为了适应业务快速迭代的特点，帮助企业提升数据生产和应用的时效性、进一步挖掘实时数据价值，实时数
Flink读写Doris操作介绍
Flink Doris Connector 可以支持通过 Flink 操作（读取、插入、修改、删除） Doris 中存储的数据。可以将 Doris 表映射为 DataStream 或者 Table。
大数据Doris（五十二）：Doris数据导出案例和注意事项
与导出到HDFS不同的是导入到本地的目录需要预先创建出来，然后执行导出数据命令即可，这里说的本地是指BE节点，指定对应导出命令时不一定是在哪个BE节点进行导出，所以这里我们在所有BE节点创建导出路径。这里同样对Doris表"export_tbl"进行导出，这里将表中数据导出到BE节点的"/home/
大数据Doris（二十六）：Broker Load基本原理和语法介绍
使用Broker Load导入数据时，用户在提交导入任务后，FE 会生成对应的 Plan 并根据目前 BE 的个数和文件的大小，将 Plan 分给 多个 BE 执行，每个 BE 执行一部分导入数据。MERGE 和 DELETE 类型仅适用于 Unique Key 模型表，其中 MERGE 类型需要配
大数据Doris（二十一）：Bloom Filter索引以及Doris索引总结
Doris BloomFilter索引的创建是通过在建表语句的PROPERTIES里加上"bloom_filter_columns"="k1,k2,k3",这个属性，k1,k2,k3是你要创建的BloomFilter索引的Key列名称，例如下面我们对表里的saler_id,category_id创建
StarRocks 建表指南
Star Rocks表中的数据分为key与value在上面例子中，三种模型都使用了（siteid, city, username) 作为表的排序键(key)。排序列的定义必须出现在建表语句中其他列的定义之前。排序列的顺序可以是(siteid, city),或者是(siteid, city, user
大数据Doris（十）：Doris基础介绍
engine_type表示表引擎类型，在Apache Doris中表分为普通表和外部表，两类表主要通过ENGINE类型来标识是那种类型的表。在 Doris 中，数据都以表（Table）的形式进行逻辑上的描述，一张表包括行（Row）和列（Column），Table中又有分区（partition）和分桶
