银行数据仓库体系实践（10）--汇总指标层和集市模型设计
建立多层次的数据访问服务体系，有力提升数据仓库的价值。基于指标汇总层、集市层、可以提供面向业务人员的即席数据查询、以及面向应用开发者的数据接口、应用访问接口，满足不同类型应用的需要。
大数据在自动驾驶技术中的发展与应用
1.背景介绍自动驾驶技术是近年来以快速发展的人工智能领域中的一个重要分支。随着计算能力的提升、传感器技术的进步以及大数据处理技术的发展，自动驾驶技术的研究和应用得到了广泛的关注。大数据在自动驾驶技术中发挥着关键作用，主要体现在数据收集、数据处理、数据分析和决策执行等方面。本文将从以下几个方面进行阐述
Hbase 王者荣耀数据表 HBase常用Shell命令
hbase作业：使用Shell命令完成以下内容。（每道题目不仅要给出命令还要有运行结果截图）
Spark重温笔记（五）：SparkSQL进阶操作——迭代计算，开窗函数，结合多种数据源，UDF自定义函数
1-定义series函数2-pandas_udf自定义函数和类型，或者@pandas_udf3-将series数据源转化为dataframe格式import os# 当存在多个版本时，不指定很可能会导致出错print("普通的集合的基本series相乘：")# 提出问题：如果使用上面的方式仅仅可以处
X2Doris实现Hive离线数据自动化一键迁移至Doris
X2Doris 是 SelectDB （Doris主要开发维护团队）开发的，专门用于将各种离线数据迁移到 Apache Doris 中的核心工具，该工具集 自动建 Doris 表 和 数据迁移 为一体，目前支持了 Apache Doris/Hive/Kudu、StarRocks 数据库往 Doris
分布式事务，zookeeper，dubbo，rocketmq
CAP理论是分布式领域中非常重要的一个指导理论，C（Consistency）表示强一致性，A（Availability）表示可用性，P（Partition Tolerance）表示分区容错性，CAP理论指出在目前的硬件条件下，一个分布式系统是必须要保证分区容错性的，而在这个前提下，分布式系统要么保证
Spark-Scala语言实战（7）
今天开始的文章，我会带给大家如何在spark的中使用我们的RDD方法，今天学习RDD方法中的map,sortby,collect三种方法。希望我的文章能帮助到大家，也欢迎大家来我的文章下交流讨论，共同进步。
如何在Linux系统部署ONLYOFFICE协作办公利器并实现多人实时编辑文档
如果我们需要长期异地远程访问OnlyOffice，由于刚才创建的是随机的地址，24小时会发生变化。我们就成功在本地搭建了OnlyOffice，但如果想实现出门在外，或者企业之间想在公网同步访问进行工作协作，省去本地部署的步骤，就需要借助cpolar内网穿透工具来实现公网访问了！使用上面的Cpolar
SpringCloud微服务-SpringAMQP（RabbitMQ）
Spring AMQP是Spring框架对AMQP（Advanced Message Queuing Protocol）的支持库，用于简化在Java应用程序中使用消息队列的开发。通过Spring AMQP，开发人员可以更轻松地与消息代理进行交互，发送和接收消息，以实现异步通信和解耦应用程序组件。Sp
大数据AI人工智能的挑战与解决：如何应对技术限制
1.背景介绍大数据和人工智能(AI)是当今最热门的技术趋势之一，它们在各个领域都取得了显著的成果。然而，这些技术也面临着一系列挑战，这篇文章将探讨这些挑战以及如何应对它们。大数据是指由于互联网、移动互联网、物联网等技术的发展，产生的数据量巨大、多样性高、速度极快的数据。这些数据可以帮助企业和组织更好
Spark概述
spark是新一代轻量级大数据处理平台。
高冷学霸给我送了一周早餐竟是为了...我的Spark笔记？！！
速度快：由于ApacheSpark支持内存计算，并且通过DAG（有向无环图）执行引擎支持无环数据流，所以官方宣称其在内存中的运算速度要比Hadoop的MapReduce快100倍，在硬盘中要快10倍易使用：Spark的版本已经更新到了Spark3.1.2（截止日期2021.06.01），支持了包括J
Kafka可用与可靠机制
如果一个follower在设定的replica.lag.time.max.ms时间周期内时刻保持与leader的数据更新，则认为该follower是同步的，它将被leader保留在ISR列表中，反之将被从ISR中剔除。是否允许将新leader切换到数据不同步的follower(故障切换时，uncle
【天衍系列 05】Flink集成KafkaSink组件：实现流式数据的可靠传输 & 高效协同
旨在帮助读者理解Flink的KafkaSink组件的相关知识体系，以及了解是如何实现流式数据的可靠传输 & 高效协同
深入了解Hadoop：特性与伪分布式运行进程
Hadoop是一个强大的分布式计算框架，它能够对大规模数据进行可靠、高效和可伸缩的处理。随着数据量的不断增长，企业对于处理大规模数据的需求也越来越高，Hadoop因此成为了大数据处理领域的首选技术。本文将深入探讨Hadoop的特性以及伪分布式运行启动后所具有的进程。
探索 Spotify 的 Docker-Kafka：简化 Kafka 部署与管理
探索 Spotify 的 Docker-Kafka：简化 Kafka 部署与管理项目地址:https://gitcode.com/spotify/docker-kafka在数据密集型应用中，Apache Kafka 是一个广泛使用的分布式流处理平台。它允许开发者以高吞吐量、低延迟的方式处理实时数据流
zookeeper详解
一 zookeeper介绍首先需要了解zookeeper是什么，zookeeper是一个分布式协调服务。所谓分布式协调主要是来解决分布式系统中多个进程之间的同步限制，防止出现脏读，例如我们常说的分布式锁。zookeeper中的数据是存储在内存当中的，因此它的效率十分高效。它内部的存储方式十分类似于文
Linux 安装 kafka
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息
【笔记】RDD算子操作（Spark基础知识）
Spark基础知识、RDD操作笔记
安装配置Kafka
一个典型的Kafka集群中包含若干Producer（可以是Web前端FET，或者是服务器日志等），若干Broker（Kafka支持水平扩展，一般Broker数量越多，集群吞吐率越高），若干ConsumerGroup，以及一个ZooKeeper集群。Producer使用push模式将消息发布到Brok
