flink车联网项目前篇：数据开发（第66天）
本文为flink车联网项目前期准备：数据仓库开发。由于篇幅过长，后续章节：业务实现。
flink车联网项目前篇：建模设计（第65天）
本文主要详解了维度建模和flink车联网项目的建模设计。由于篇幅过长，后续章节：数据开发。
Paimon数据湖详解（第49天）
本文主要详解了Paimon数据湖的使用。
Hadoop、HDFS 相关面试题
Hadoop 是一个开源的分布式存储和计算框架，最初由 Apache 软件基金会开发。它允许大规模数据处理和存储，具有高度可靠性和可扩展性。分布式文件系统HDFS—— 用于数据存储计算框架YARN—— 用于资源管理和作业调度HDFS 是 Hadoop 生态系统的核心组件之一，用于存储大规模数据，并提
Hadoop+Flink研发环境部署+开发
修改Flink目录下conf/flink-conf.yaml,在末尾添加classloader.check-leaked-classloader: false，然后保存。-- 配置HDFS网页登录使用的静态用户为root-->-- 指定ResourceManager的地址-->-- 指定MapRed
带你认识一个大数据伙伴--Kylin
Apache Kylin 是由eBay公司开发并开源的一个分布式分析引擎，旨在提供Hadoop之上的超大规模数据集的快速查询能力。Kylin 通过预计算OLAP（在线分析处理）立方体，并存储预计算结果，从而实现对海量数据的亚秒级查询响应。只做简单了解，如果你对大数据 Kylin或其他技术话题有任何想
【系统架构设计师】二十五、大数据架构设计理论与实践①
Lambda 架构设计目的在于提供一个能满足大数据系统关键特性的架构，包括高容错、低延迟、可扩展等。其整合离线计算与实时计算，融合不可变性、读写分离和复杂性隔离等原则，可集成 Hadoop、Kafka、Spark、Storm 等各类大数据组件。Lambda 是用于同时处理离线和实时数据的，可容错的，
Hadoop的读写流程
HDFS是一个高度容错的分布式文件系统，它设计用于运行在通用硬件上。HDFS将数据分割成固定大小的块，并将这些块存储在多个节点上，以实现数据的高可用性和可扩展性。每个数据块都会被复制到多个节点上，形成一个副本集，从而确保数据的可靠性。
Spark内存模型
Spark 内存管理分为静态内存管理和统一内存管理，在 Spark 1.6 之前是采用的静态内存，之后的版本都是采用统一内存管理，与静态内存管理的区别在于 Storeage 内存和 Execution 内存共享统一块空间，可以动态占用对方的空闲区域。
基于Hadoop平台的电信客服数据的处理与分析④项目实现：任务17：数据分析
JDBCUtil类：用于创建MySQL的JDBC连接、关闭连接。//定义JDBC连接器实例化所需要的固定参数/*** 实例化JDBC连接器对象*/try {/*** 释放连接器资源*/try {= null &&!= null &&!= null &&!JDBCInstance类：用于以单例模式获取
物联网架构之Hadoop
Hadoop的体系结构设计旨在处理和分析大数据集，通过分布式存储（HDFS）、资源管理（YARN）、并行计算（MapReduce）等核心组件，提供了一种可靠、可扩展的大数据解决方案。其生态系统的丰富性和灵活性使得Hadoop能够适应不同类型和规模的数据处理需求。hadoop的核心结构Hadoop分布
大数据-61 Kafka 高级特性 消息消费02-主题与分区 自定义反序列化 拦截器 位移提交 位移管理 重平衡
上节我们完成了消费组测试、消费组心跳机制、相关配置参数等内容。本节研究Kafka高级特性的 主题与分区 自定义反序列 拦截器 位移提交 重平衡 如何避免重平衡等概念问题。重平衡可以说是Kafka中诟病最厉害的一部分。重平衡是一个协议，它规定了如何让消费者组下的所有消费者来分配Topic中每一个分区。
大数据-84 Spark 集群 RDD创建 RDD-Transformation操作算子 详解
上节Spark的RDD介绍、RDD特点、Spark编程模型。本节研究SparkRDD的创建，RDD-Transformation操作算子，并附带测试案例，详细过程。转换得到RDD是惰性求值，也就是说，整个转换过程只有记录了转换的轨迹，并不会发生真正的计算，只有遇到Action操作时，才会发生真正的计
大数据CloudSim应用实践：基于CloudSimExamle6.java修改（超详细教程）
在这篇文章中，我们将深入探讨如何基于CloudSimExample6.java对CloudSim进行定制化修改，以满足具体的大数据应用需求。CloudSim作为一款广泛使用的云计算模拟框架，支持模拟云环境中的各种场景。本教程将提供详细的步骤和技巧，从环境配置、代码修改到最终的测试和优化，确保读者能够
Flink on yarn 开发过程中遇到的问题
去到正常和异常的节点下比较，确实异常节点缺失这个文件夹（用于存储运行时nodemanager和taskmanager的日志），怀疑是部署中间件框架时遗漏，通过手动增加文件夹的方式，问题解决。如果source端的数据量最小，拿到source端流过来的数据后做了细粒度的拆分，数据量不断的增加，到sink
使用 LLM 作为来评估 SQL 生成，结果带来惊喜!
尽管仍然存在挑战（包括由于架构解释不正确或对数据的假设而导致的误报），但 LLM 作为评判者为 AI SQL 生成性能提供了可靠的代理，尤其是作为对结果的快速检查。该过程包括使用黄金数据集问题进行 AI SQL 生成，从 AI 生成的 SQL 生成测试结果“x”，在同一数据集上使用预先存在的黄金查询
crm客户管理是什么
CRM-CRM软件-CRM管理系统-进销存软件-安逸销安逸销CRM是一款专为企业提供全面客户关系管理解决方案的系统。它不仅具备传统CRM系统的所有功能，还特别注重引流和客户关系维护。以下是安逸销CRM的一些关键特点：引流功能：通过社交媒体、电子邮件和网站等多种渠道，帮助企业吸引潜在客户。客户管理：
大数据综合项目——招聘网大数据职位分析
关键词：Hadoop集群；Mysql数据库；SQL server；Hive；Sqoop；JDK。
Flink 实时数仓（八）【DWS 层搭建（二）流量域、用户域、交易域搭建】
Flink 实时数仓，流量域、用户域、交易域搭建
Kettle集群搭建与配置
从机172.16.16.127按照2.2.2与2.2.3步骤安装完成，自此从机172.16.16.127搭建成功。从机172.16.16.128按照2.2.2与2.2.3步骤安装完成，自此从机172.16.16.128搭建成功。进入data-integration目录，打开cmd,执行如下命令启动主
