【大数据】kafka
Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。
【附代码】NumPy加速库NumExpr（大数据）
NumExpr 相对于 NumPy 的加速范围可以从 0.95 倍到 20 倍不等， 是 2 倍、3 倍或 4 倍的典型值，具体取决于 表达式和所用运算符的内部优化。
HBase与ApacheFlink集成
1.背景介绍HBase与ApacheFlink集成是一种高性能、可扩展的大数据处理解决方案。在本文中，我们将深入了解HBase和ApacheFlink的核心概念、联系、算法原理、最佳实践、应用场景、工具和资源推荐以及未来发展趋势与挑战。1. 背景介绍HBase是一个分布式、可扩展、高性能的列式存储系
Spark 依赖包加载方式
Spark 依赖包加载方式
机器学习与大数据：互相推动的关系
1.背景介绍大数据和机器学习是当今最热门的技术话题之一。大数据技术为机器学习提供了数据的来源和支持，而机器学习又为大数据提供了分析和挖掘的方法。这种互相推动的关系使得两者在发展过程中不断地推动和促进彼此的进步。在本文中，我们将深入探讨大数据与机器学习之间的关系，并揭示它们如何共同推动技术的进步。2.
Flink问题解决及性能调优-【Flink根据不同场景状态后端使用调优】
Flink 实时groupby聚合场景操作时，由于使用的是rocksdb状态后端，发现CPU的高负载卡在rocksdb的读写上，导致上游算子背压特别大。通过调优使用hashmap状态后端代替rocksdb状态后端，使吞吐量有了质的飞跃（20倍的性能提升），并分析整理。
大数据情况下如何保证企业数据交换安全
大数据时代的到来使得数据交换的重要性更为凸显，大数据带来了海量、多样、高速、低价值密度等特点，也带来了更多的价值挖掘和应用场景。总的来说，通过使用镭速作为数据交换平台，企业能够有效解决在大数据环境下可能面临的安全隐患和挑战，保护数据所有者和使用者的利益，提高数据利用效率，促进业务创新和合作，增强组织
第三章：AI大模型的开发环境搭建3.2 深度学习框架3.2.1 TensorFlow
1. 背景介绍随着人工智能技术的不断发展，深度学习已经成为了人工智能领域的重要分支之一。而深度学习框架则是深度学习技术的重要支撑，它可以帮助开发者更加高效地开发和部署深度学习模型。TensorFlow作为一款开源的深度学习框架，已经成为了业界的标准之一。本文将介绍TensorFlow的核心概念、算法
Flink流处理案例：实时数据拓展
1.背景介绍在本文中，我们将深入探讨Apache Flink流处理框架的核心概念、算法原理和最佳实践，并提供一个具体的代码实例。通过这篇文章，我们希望读者能够更好地理解Flink流处理框架的优势以及如何应用于实际场景。1. 背景介绍Apache Flink是一个流处理框架，它可以处理大规模的实时数据
国际形势黄皮书 谋定研究·中国智库：全球政治安全报告（2023）
国际形势黄皮书 谋定研究·中国智库：全球政治安全报告（2023）
Flink集成Hive之Hive Catalog
流程流程:Flink消费Kafka,逻辑处理后将实时流转换为表视图,利用HiveCataLog创建Hive表,将实时流 表insert进Hive,注意分区时间字段需要为 yyyy-MM-dd形式,否则抛出异常:java.time.format.DateTimeParseException: Text
Hadoop增加新节点环境配置（自用）
8. nano /opt/module/hadoop-3.3.3/etc/hadoop/hadoop-env.sh 修改 JAVA_HOME export。1. 关闭防⽕墙，集群⼀般搭建在局域⽹内，公司在外部建⽴专业的防⽕墙，为了⽅便集群之间通信，请关闭集群中各节点的防⽕墙。编辑--->虚拟网络编辑
大数据与人工智能的道德哲学：如何理解技术与伦理的关系
1.背景介绍大数据与人工智能技术的发展为我们提供了巨大的机遇，但同时也带来了巨大的挑战。随着人工智能技术的不断发展，人工智能系统已经成为了我们生活、工作和决策的一部分。然而，人工智能技术的发展也引发了一系列道德、伦理和社会问题，如隐私保护、数据安全、算法偏见、人工智能的道德与责任等问题。因此，我们需
济南四城试验区 国研政情·经济信息智库-科技部：新一代AI创新发展
济南四城试验区 国研政情·经济信息智库-科技部：新一代AI创新发展
Git的一些操作命令
git commit -a -m 'message' -a参数设置修改文件后不需要执行 git add 命令，直接来提交新加的文件（即没有被git系统管理的文件）是不能被提交到本地仓库的,建议一般不要使用-a参数。3、git branch -m branch_name new_branch_name
【大数据】Flink SQL 语法篇（二）：WITH、SELECT & WHERE、SELECT DISTINCT
关于看如何看一段 Flink SQL 最终的执行计划：最好的方法就如上图，看 Flink Web UI 的算子图，算子图上详细的标记清楚了每一个算子做的事情。
【投稿优惠|稳定出版】2024年经济、大数据与区块链国际学术会议（ICEBDB 2024）
2024年经济、大数据与区块链国际学术会议（ICEBDB 2024）将在成都举行。本次会议旨在为业内专家和学者提供一个平台，分享技术进步和经验，聚集经济、大数据与区块链方面的前沿研究，并提供一个交流平台。会议将汇集来自世界各地的研究人员、工程师、学者和行业专家，展示他们的最新研究成果和应用。
从零开始了解大数据(五)：YARN篇
YARN是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。它并不清楚用户提交的程序的运行机制，只提供运算资源的调度（用户程序向YARN申请资源，YARN就负责分配资源）。本文将介绍YARN架构与组
掌握HBase的数据模型与存储方式
1.背景介绍在大数据时代，数据的存储和管理成为了企业和组织的重要问题。HBase是一个分布式、可扩展、高性能的列式存储系统，它基于Google的Bigtable设计，并且是Hadoop生态系统的一部分。HBase可以存储大量数据，并提供快速的随机读写访问。在这篇文章中，我们将深入了解HBase的数据
信息论与大数据：挖掘大数据中的价值
1.背景介绍大数据是当今信息时代的一个重要话题，它指的是由于互联网、通信技术、计算机技术等的发展，使得数据量大、高速增长、不断变化的数据集。大数据的特点是五个V：量、速度、变化、多样性和值。大数据挖掘是大数据应用的一种，它是指通过对大数据集进行深入的分析和挖掘，以发现隐藏在大数据中的有价值的信息和知
