【大数据】Doris 构建实时数仓落地方案详解（三）：Doris 实时数仓设计
有时候我们还会在 DWS 层的基础上增加 DWT（Data Warehouse Topic），作为宽表，但是我们也可以将这一层保留在 DWS 中，作为 DWS 层的一部分。DM 层是数据集市层，在 OLAP 查询不理想的情况下，DM 层是需要大力建设的。现在技术发展了，OLAP 查询不再是瓶颈，我们
基于postgresql传统数据仓库搭建
传统数据仓库 postgresql greenplum 数仓分层 ods dw dm dim ads app dolphinScheduler datax magic-api
hive 之select 中文乱码
concat_ws("",arrary("境内")) 有用，此时也不知道如何下手，只有掏出大杀器 explain.其实还有别的办法，但是和concat_ws(array(""))一样比较丑陋，我就不说了。经过多方面测试 concat("境内") concat_ws("","境内")没用，有时候我们需
[Hive] 常见函数
REGEXP_REPLACE(string, pattern, replacement)：使用正则表达式模式替换字符串中的匹配项为指定的替换字符串。JSON_EXTTRACT(json_string, json_path)：从 JSON 字符串中提取满足 JSONPath 表达式的值。GET_JSO
数据仓库Hive（林子雨课程慕课）
Hive特点传统的数据仓库既是数据存储产品也是数据分析产品传统的数据仓库能同时支持数据的存储和处理分析Hive本身并不支持数据存储和处理其实只是提供了一种编程语言其架构于Hadoop之上，Hadoop有支持大规模数据存储的组件HDFS，以及支持大规模数据处理的组件MapReduceHive借助于这两
构建实时数据仓库
同时，构建实时数据仓库需要考虑数据的实时性、可靠性和性能要求，以满足业务实时分析和查询的需求。设计和生成实时数据仪表板、可视化报表和实时监控图表，以支持业务决策和实时洞察。针对实时查询需求，设计适当的索引和数据结构，以提高实时查询性能和效率。设计合适的实时数据监控指标和报告，以监控实时数据仓库的运行
数据仓库系列：StarRocks 入门培训教程
StarRocks 是一款MPP DB, 对标ClickHouse、Vertica、Teradata、Greenplum，在查询性能上远超当代最快的开源数据库 clickhouse，目前已经被一众互联网企业在生产环境中采用。本文是使用starrocks的入门培训教程
Hive【Hive（三）查询语句】
Hive 查询语句、基本查询、分组、排序、join
数据转换工具DBT介绍及实操（上）
此模型之上的所有分析都将包含相同的业务逻辑，而无需重新实现它。仅使用 查询SQL 语句或 Python dataframe编写业务逻辑，并返回所需的数据集，dbt 负责这些数据集的物化，从而构建可重用或模块化的数据模型，这些数据模型可以在后续工作中引用，而不是从每次分析的原始数据开始。将SQL查询语
数据中台实战(00)-大数据的尽头是数据中台吗？
数据中台构建于数据湖之上，具备数据湖异构数据统一计算、存储的能力，同时让数据湖中杂乱的数据通过规范化的方式管理起来。数据中台需要依赖大数据平台，大数据平台完成了数据研发的全流程覆盖，数据中台增加了数据治理和数据服务化的内容。数据中台借鉴了传统数据仓库面向主题域的数据组织模式，基于维度建模的理论，构建
云数据仓库实践：AWS Redshift在大数据储存分析上的落地经验分享
本文从主流的数据仓库出发进行讲解，然后重点分析了一下这款产品的特点，及其在数据分析领域的优劣势。然后根据平时在工作用的实际应用实践，给出了常见的一些疑惑问题解答。最后通过一些日常使用的SQL分享，让大家来初识这一款数据仓库。如果想要深入学习大数据或者数据挖掘，可以继续去官网学习相关技术。
【hive】hive修复分区或修复表 以及msck命令的使用
我们知道hive有个服务叫metastore，这个服务主要是存储一些元数据信息，比如数据库名，表名或者表的分区等等信息。如果不是通过hive的insert等插入语句，很多分区信息在metastore中是没有的，如果插入分区数据量很多的话，你用。在 Hive 中，当您向分区表添加、删除或更改分区数据时
定义现代化实时数据仓库，SelectDB 全新产品形态全面发布
*导读：**9 月 25 日，2023 飞轮科技产品发布会在线上正式召开，本次产品发布会以为主题，飞轮科技 CEO 马如悦全面解析了现代化数据仓库的演进趋势，。飞轮科技联合创始人兼 COO 连林江介绍了基于 SelectDB 的多个场景解决方案以及生态合作模式，来自同盾科技、趣丸科技以及观测云的多位
insert overwrite table：数据仓库和数据分析中的常用技术
"INSERT OVERWRITE TABLE：清空和重新加载表中的数据"
一篇文章教会你搭建Hive分布式集群
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。在大数据技术生态体系中扮演着重要的角色，今天我们就通过一篇文章来教会你如何搭建部署Hive分布式集群。
hive库操作示例
1、hive库基本操作；2、hive库分区表常见操作；3、关于删除及更新的描述；4、分区表数据插入、删除；5、分桶表数据插入、删除；6、java客户端采用jdbc操作hive库；
Hive创建外部表详细步骤
② 在hive中执行HDFS命令：上传/emp.txt至HDFS的data目录下，并命名为emp_out。① 在hive中执行HDFS命令：创建/data目录。③ 创建外部表：emp_out。
得物数据研发优化策略及数据仓库
通过合理的数据研发优化策略和数据仓库架构，得物可以更好地挖掘数据的价值，为企业的发展提供有力的支持。得物可以使用各种工具和技术来构建数据仓库，如ETL工具（如Apache Airflow、Talend）、数据存储（如关系型数据库、Hadoop、Spark）、数据处理工具（如Pandas、Apache
Hive字符串数组json类型取某字段再列转行
hive 数组 json 列转行
大数据ETL说明（外）
元数据（Metadata）是关于数据的数据，指对数据进行描述和说明的数据，包括数据的标识、类型、格式、来源、创建时间、修改时间等。数据源是数据仓库和数据挖掘系统中数据的来源，对数据的质量和可靠性有直接的影响。它是一个集成的、一致的、历史的、经过清洗的数据存储，可以帮助企业更好地理解其业务和客户，并做
