大数据之Hadoop平台的搭建
三台虚拟机。
大数据之路 读书笔记 Day5 数据同步遇到的问题与解决方案
大数据之路 读书笔记 Day5 数据同步遇到的问题与解决方案
李彦宏：没有应用，AI模型一文不值
7月4日周四，2024年世界人工智能大会（WAIC 2024）在上海正式开幕。本届大会以“以共商促共享，以善治促善智”为主题，将聚焦全球人工智能领域的前沿技术和创新应用，致力于展示人工智能如何改变世界、塑造未来。下午13:30开始的产业发展主论坛上，百度创始人、董事长兼CEO李彦宏出席发表主题演讲。
Spark概念及运行模式
目的：点击yarn（8088）上spark任务的history按钮，进入的是spark历史服务器（18080），而不再是yarn历史服务器（19888）。Spark弊端：过于依赖内存，且因为数据倾斜，当内存资源较少时，容易出错。集群模式下，spark会先向HDFS上传spark库，然后yarn会下载
大数据django基于Python租房系统的设计与实现
为了帮助这些“弱势”群体满足其居住需要，国家或政府通过扶持或救助以及若干制度的安排，解决这些低收入者的住房问题，兼有调控住房市场、调节收入分配的作用，低收入家庭的住房问题是一个严峻的社会问题，关系社会稳定和国家长治久安。3）数据可视化：利用ECharts对清洗后的数据进行可视化展示，以直观的方式展示
Flink-Checkpoint机制详解：(第41天)
本文通过案例方式详解-Flink-Checkpoint机制。
如何学习Spark：糙快猛的大数据之旅
回顾我从零开始学习大数据的journey，我深深体会到"糙快猛"学习方法的重要性。在Spark这样复杂而强大的技术面前，我们不应该被完美主义所束缚。相反，我们应该勇于尝试，在实践中学习，在错误中成长。记住，当我们面对看似不可能的挑战时，要保持那份"可把我牛逼坏了，让我叉会腰儿"的自信和决心。每一次你
【Flink精讲】Flink性能调优：内存调优
【Flink精讲】Flink性能调优：内存调优 JVM metaspace： JVM 元空间taskmanager.memory.jvm-metaspace.size，默认 256mb2） JVM over-head 执行开销： JVM 执行时自身所需要的内容，包括线程堆栈、 IO、编译缓存等所使
Hbase简介（基础介绍 一）
HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库"NoSQL"是一个通用词表示数据库不是RDBMS ，后者支持 SQL 作为主要访问手段。有许多种 NoSQL 数据库: BerkeleyDB 是本地 NoSQL 数据库例子, 而 HBase 是大型分布式数据库。技术上来说, HBa
重磅！金融监管总局出台《银行保险机构数据安全管理办法》！金融行业安全迎来新变革？
收集数据应坚持“合法、正当、必要、诚信”原则，明确数据收集和处理的目的、方式、范围、规则，保障收集过程的数据安全性、数据来源可追溯，不得超出数据主体同意的范围收集数据；同时，金融行业数字化变革加速演进，新技术、新业务模式不断涌现，数据的使用、加工、传输、共享等活动日益频繁，进一步凸显数据安全保护的重
如何通过文件分发系统，实现能源电力企业文件的安全分发流转？
飞驰云联是中国领先的数据安全传输解决方案提供商，长期专注于安全可控、性能卓越的数据传输技术和解决方案，公司产品和方案覆盖了跨网跨区域的数据安全交换、供应链数据安全传输、数据传输过程的防泄漏、FTP的增强和国产化替代、文件传输自动化和传输集成等各种数据传输场景。大文件虚拟分块、海量文件虚拟拼接技术，保
Flink 窗口触发器(Trigger)(二)
用户可以通过实现 Trigger 接口来创建自定义触发器。自定义触发器可以基于复杂的逻辑来决定何时触发窗口的计算。onElement(element, timestamp, window, ctx): 当元素被添加到窗口时调用。(time, window, ctx, out): 当窗口的事件时间到达
Flink-Watermark机制详解：(第39天)
Watermark机制，在Apache Flink这样的流处理框架中，扮演着至关重要的角色，特别是在处理事件时间（Event Time）窗口时，它能够有效解决数据乱序和延迟到达的问题，本文对Watermark机制的详细解析，涵盖其定义、原理、应用场景、核心算法以及优化策
【大数据离线项目四：什么是海豚调度？怎么使用可以将海豚调度应用到我们的大数据项目开发中？】
Apache DolphinScheduler（海豚调度）是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统，致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。Apache DolphinScheduler 旨在解决复杂的大数据任务依赖关系，并为应用程序提供
【大数据】—量化交易实战案例双均线策略（移动平均线）
声明：股市有风险，投资需谨慎！本人没有系统学过金融知识，对股票有敬畏之心没有踏入其大门，今天用另外一种方法模拟炒股，后面的模拟的实战全部用同样的数据，最后比较哪种方法赚的钱多。，也被称为算法交易，是一种使用数学模型和计算机算法来分析市场数据、识别交易机会并自动执行交易的交易方式。这种交易方法依赖于统
安全高效能源体系：河南源网荷储一体化项目解决方案
其次，源网荷储一体化技术实现了储能装置的高效利用，提高了电网的稳定性和可靠性，有效应对了能源波动带来的挑战，为能源系统的稳定运行提供了有力支持。首先，通过有效整合风光等新能源资源，源网荷储一体化技术实现了对传统能源的替代，推动清洁能源的大规模利用。其次，源网荷储一体化技术通过储能装置的灵活调度，实现
认识流式处理框架Apache Flink
Apache Flink 是一个框架和分布式处理引擎，用于在 无边界 和 有边界 数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。近年来Apache Flink计算框架发展迅速，Flink以流处理为基础，对批数据也有很好的支持，尤其是在流计算领域相
Apache Flink：实时流处理与批处理的统一框架
Apache Flink是一个强大的实时流处理和批处理框架，它打破了传统流处理和批处理的界限，提供了一个统一的平台来处理各种类型的数据。通过其精确一次的状态一致性、高吞吐量、低延迟等特性，Flink已经被广泛应用于各种实时分析和批处理任务中。
大数据做「AI大模型」数据清洗调优基础篇
其次，对于像HDFS这种分布式文件系统来说，为了控制数据同步的速率，可以通过DN的bandwith来控制台数据复制的带宽大小，如果服务本身的这种带宽限制比较小的话呢，也会影响数据同步的效率，所以一般而言，要根据整个集群的规模大小，所处的场景是单纯存储还是单纯计算还是存储和计算都有，如果是单存储场景的
大数据前沿技术分享——数据编织：现代数据管理的革命性方法
数据编织（Data Fabric）是一种现代数据管理架构，旨在通过集成、管理和提供数据访问来简化复杂的数据环境。它利用自动化和智能技术，如机器学习和人工智能，来实现数据的无缝连接和统一视图，帮助企业更高效地管理和利用数据资源。数据编织不仅仅是一个技术解决方案，它更是一种战略方法，旨在解决数据孤岛、数
