Flink-DataWorks第三部分：数据集成（第59天）
本文主要详解了DataWorks的数据开发流程及操作，为第三部分：由于篇幅过长，分章节进行发布。后续： 运维中心的使用。
摸鱼大数据——Spark基础——Spark On Yarn环境配置和部署
export/data/spark_project/spark_base/05_词频统计案例_spark_on_yarn运行.py。/export/data/spark_project/spark_base/05_词频统计案例_spark_on_yarn运行.py。/export/data/spar
Hadoop HA高可用搭建2024（V3.3.6）
启动停止命令启动服务cd /data/soft/hadoop/sbinhadoop-daemon.sh start journalnode./start-all.shmapred --daemon start historyserveryarn --daemon start timelineserv
数仓实践：数据仓库建设公共规范指南
数据模型的事实表设计在维度模型事实表的基础上，结合数据使用场景的具体实践，进行一定扩展，采用宽表设计方法。比如会员表，建议拆分为核心表和扩展表。建立核心模型与扩展模型体系，核心模型包括的字段支持常用核心的业务，扩展模型包括的字段支持个性化或是少量应用的需要，必要时让核心模型与扩展模型做关联，不能让扩
Hadoop入门-笔记+问题解决方法-偏个人向（黑马程序员）
除了视频中：/data和/export/server/hadoop-3.3.4中没权限，也要保证/home/fwx/.ssh中普通用户有权限。链接：https://pan.baidu.com/s/1S7ZSMENmpxAHyb729omVqQ?链接：https://pan.baidu.com/s/1
数据仓库之主题域
数据仓库的主题域（Subject Area）是按照特定业务领域或主题对数据进行分类和组织的方式。每个主题域集中反映一个特定的业务方面，使得数据分析和查询更加清晰和高效。主题域通常与企业的关键业务过程相关，能够帮助用户在数据仓库中快速找到所需的数据，进行分析和决策。
大数据Flink（一百零八）：阿里云与开源的功能优势对比
可以配置智能调优，无人值守自动监控并调整作业资源分配，并可以在指定时间段应用对应的资源计划，帮助我们平稳顺利地度过业务洪峰，同时最大程度的节省成本。更好的引擎性能和更细粒度资源配置使得整体TCO优于开源，且灵活的付费模式以及智能扩缩容，进一步提高了资源使用的精细程度。提供完整的系统检查点和作业快照生
【Git企业级开发实战指南②】分支管理、远程操作
Git是一个免费和开源的分布式版本控制系统，它可以快速高效地处理从小型到大型项目的所有文件。Git由Linux内核的开发者Linus Torvalds在2005年为了管理Linux内核源代码而创建。
深入解析数据仓库ADS层-从理论到实践的全面指南
探索ADS层的核心概念、设计原则和实现方法。学习如何构建高性能、安全可靠的数据应用层，包括星型模型设计、查询优化、增量更新等关键技术。掌握性能调优、数据生命周期管理和持续优化的最佳实践。洞察ADS层未来趋势：实时数据集市、机器学习集成、图数据模型和自然语言查询接口。无论您是数据工程师、分析师还是架构
Flink-DataWorks第二部分：数据集成（第58天）
本文主要详解了DataWorks的数据集成，为第二部分：由于篇幅过长，分章节进行发布。后续： 数据集成的使用 数据开发流程及操作 运维中心的使用。
hadoop学习笔记
Hadoop 是一个开源的分布式存储和计算框架，旨在处理大规模数据集并提供高可靠性、高性能的数据处理能力。它主要包括以下几个核心组件：Hadoop 分布式文件系统（HDFS）：HDFS 是 Hadoop 的分布式文件存储系统，用于存储大规模数据，并通过数据的副本和自动故障恢复机制来提供高可靠性和容错
写一个spark的java程序
通过本篇博客，我们介绍了如何编写一个简单的Spark的Java程序。在实际开发中，您可以根据需求和数据处理逻辑编写更复杂的Spark作业，运用Spark强大的计算能力来处理大规模数据集。希望这篇博客能帮助您快速入门Spark的Java编程，享受Spark带来的高效和便利！
深入理解大数据之数据采集
大数据之数据采集是整个数据处理和分析过程的重要环节，需要采取合适的方法和工具，遵循相关的步骤和注意事项。只有确保数据的准确性和可靠性，才能为后续的数据处理和分析提供坚实的基础，从而为企业或个人带来更大的商业价值和社会效益。在进行基于大数据平台的数据采集时，需要使用到一些工具。本文将深入探讨数据采集的
2024 中国大数据交易平台发展现状调研简报
从地区上看，大数据交易平台主要分布在华东、华北和华南沿海地区；从时间上看，每一次大政策的发布，都迎接一次大数据交易平台的爆发式增长；数据交易涉及到数据安全与隐私保护，所以大部分交易平台都是国有企业。当前，中国的数据交易市场发展正处在一个关键的成长阶段，未来大数据交易仍有较大的发展空间。相信有关部门能
基于Spark的实时计算服务的流程架构
基于Spark的实时计算服务的流程架构包括数据源、数据接收、实时计算框架（Spark Streaming或Structured Streaming）、数据处理、数据存储、数据输出以及监控和管理多个组件。每个组件在整个流程中都扮演着关键的角色，确保数据从采集到处理再到输出的高效和可靠。
安全与服务的双重奏：探究ISO20000和ISO27001的企业变革力量
ISO20000是一个面向机构的IT服务管理标准，旨在提供建立、实施、运作、监控、评审、维护和改进IT服务管理体系（ITSM）的模型。它主要关注的是IT服务管理的流程和质量，帮助企业建立高效的IT服务支持，确保IT服务与企业业务目标一致，提高信息技术服务和运营效率，控制IT风险及相关的成本。例如，华
智慧之巅：大数据与算力中心的融合演进
在数字化的征途上，大数据与算力中心的融合演进如同一部史诗般的技术交响曲，奏响了智慧时代的最强音。我们见证了数据量的爆炸性增长，从TB到ZB的跃迁，不仅是对存储和处理能力的挑战，更是对创新思维的呼唤。数据处理技术的革新，从批处理到流处理的华丽转身，实时分析技术的崛起，如同夜空中最亮的星，指引着我们探索
hadoop3.3.6集群搭建
hadoop3.3.6搭建1主两从集群
《基于 CDC、Spark Streaming、Kafka 实现患者指标采集》
本篇文章分享一下博主所在公司的患者指标采集的解决方案。主要是基于实现，由于涉及公司隐私，内容主要以方案介绍为主，有需要探讨的可以留言。好，让我们开始。上文介绍了博主所在公司的《基于 CDC、Spark Streaming、Kafka 实现患者指标采集》方案。💗 后续会逐步分享企业实际开发中的实战经
Flink-DataWorks第一部分：DataWorks（第57天）
本文主要详解了DataWorks基本功能，为第一部分：由于篇幅过长，分章节进行发布。后续： 数据集成的使用 数据开发流程及操作 运维中心的使用
