Git log详解
git-log - 显示提交记录。
Flink SQL整理
Flink SQL整理
Spark和Flink的介绍、区别以及各自的应用场景
介绍Apache Spark是一个快速、通用的大规模数据处理引擎，由加州大学伯克利分校AMPLab开发，并于2010年开源。Spark基于内存计算，提供了比传统Hadoop MapReduce框架快数十倍的速度，并简化了大规模数据处理的复杂性。它支持多种编程语言（如Scala、Java、Python
Flink开发语言使用 Java和Scala哪个更合适？
总之，Scala适合于函数式编程和并发编程，Java更加稳定、成熟，更适合于大型项目和企业级应用，在flink开发中可以混合使用java和scala，具体的项目可以根据实际的开发人员技术情况确定。一个是流处理的例子（Scala），另一个是批处理的例子（Java）。Scala 是一种混合了面向对象和函
数仓: 1- 数据仓库基础
数据仓库 ( Data Warehouse, 简称DW或DWH ) , 也称为企业数据仓库 ( EDW ) , 是一个用于报告和数据分析的系统, 被认为是商业智能的核心组成部分 ; 数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合, 用于支持管理决策 ; 它可以帮助企业整合来自不同数据源
AI 时代的程序员：如何在变革中保持核心竞争力（万字长文）
AI 时代的到来并不意味着程序员的末日，而是一个重新定义自我价值的机会。通过不断学习、深化专业知识、培养跨领域能力和提升软技能，我们可以在这个充满机遇和挑战的新时代中茁壮成长。记住，AI 是强大的工具，但它仍然需要人类的创造力、洞察力和判断力来发挥最大价值。作为程序员，我们的角色正在从简单的代码编写
Java中可以用的大数据推荐算法
Java中经常使用的大数据推荐算法介绍，给出了详细的伪代码示例，一目了然，原来如此简单。
Flink-DataWorks第三部分：数据集成（第59天）
本文主要详解了DataWorks的数据开发流程及操作，为第三部分：由于篇幅过长，分章节进行发布。后续： 运维中心的使用。
摸鱼大数据——Spark基础——Spark On Yarn环境配置和部署
export/data/spark_project/spark_base/05_词频统计案例_spark_on_yarn运行.py。/export/data/spark_project/spark_base/05_词频统计案例_spark_on_yarn运行.py。/export/data/spar
Hadoop HA高可用搭建2024（V3.3.6）
启动停止命令启动服务cd /data/soft/hadoop/sbinhadoop-daemon.sh start journalnode./start-all.shmapred --daemon start historyserveryarn --daemon start timelineserv
数仓实践：数据仓库建设公共规范指南
数据模型的事实表设计在维度模型事实表的基础上，结合数据使用场景的具体实践，进行一定扩展，采用宽表设计方法。比如会员表，建议拆分为核心表和扩展表。建立核心模型与扩展模型体系，核心模型包括的字段支持常用核心的业务，扩展模型包括的字段支持个性化或是少量应用的需要，必要时让核心模型与扩展模型做关联，不能让扩
Hadoop入门-笔记+问题解决方法-偏个人向（黑马程序员）
除了视频中：/data和/export/server/hadoop-3.3.4中没权限，也要保证/home/fwx/.ssh中普通用户有权限。链接：https://pan.baidu.com/s/1S7ZSMENmpxAHyb729omVqQ?链接：https://pan.baidu.com/s/1
数据仓库之主题域
数据仓库的主题域（Subject Area）是按照特定业务领域或主题对数据进行分类和组织的方式。每个主题域集中反映一个特定的业务方面，使得数据分析和查询更加清晰和高效。主题域通常与企业的关键业务过程相关，能够帮助用户在数据仓库中快速找到所需的数据，进行分析和决策。
大数据Flink（一百零八）：阿里云与开源的功能优势对比
可以配置智能调优，无人值守自动监控并调整作业资源分配，并可以在指定时间段应用对应的资源计划，帮助我们平稳顺利地度过业务洪峰，同时最大程度的节省成本。更好的引擎性能和更细粒度资源配置使得整体TCO优于开源，且灵活的付费模式以及智能扩缩容，进一步提高了资源使用的精细程度。提供完整的系统检查点和作业快照生
【Git企业级开发实战指南②】分支管理、远程操作
Git是一个免费和开源的分布式版本控制系统，它可以快速高效地处理从小型到大型项目的所有文件。Git由Linux内核的开发者Linus Torvalds在2005年为了管理Linux内核源代码而创建。
深入解析数据仓库ADS层-从理论到实践的全面指南
探索ADS层的核心概念、设计原则和实现方法。学习如何构建高性能、安全可靠的数据应用层，包括星型模型设计、查询优化、增量更新等关键技术。掌握性能调优、数据生命周期管理和持续优化的最佳实践。洞察ADS层未来趋势：实时数据集市、机器学习集成、图数据模型和自然语言查询接口。无论您是数据工程师、分析师还是架构
Flink-DataWorks第二部分：数据集成（第58天）
本文主要详解了DataWorks的数据集成，为第二部分：由于篇幅过长，分章节进行发布。后续： 数据集成的使用 数据开发流程及操作 运维中心的使用。
hadoop学习笔记
Hadoop 是一个开源的分布式存储和计算框架，旨在处理大规模数据集并提供高可靠性、高性能的数据处理能力。它主要包括以下几个核心组件：Hadoop 分布式文件系统（HDFS）：HDFS 是 Hadoop 的分布式文件存储系统，用于存储大规模数据，并通过数据的副本和自动故障恢复机制来提供高可靠性和容错
写一个spark的java程序
通过本篇博客，我们介绍了如何编写一个简单的Spark的Java程序。在实际开发中，您可以根据需求和数据处理逻辑编写更复杂的Spark作业，运用Spark强大的计算能力来处理大规模数据集。希望这篇博客能帮助您快速入门Spark的Java编程，享受Spark带来的高效和便利！
深入理解大数据之数据采集
大数据之数据采集是整个数据处理和分析过程的重要环节，需要采取合适的方法和工具，遵循相关的步骤和注意事项。只有确保数据的准确性和可靠性，才能为后续的数据处理和分析提供坚实的基础，从而为企业或个人带来更大的商业价值和社会效益。在进行基于大数据平台的数据采集时，需要使用到一些工具。本文将深入探讨数据采集的
