【星环云课堂大数据实验】InceptorSQL使用方法
1. 批处理；2.统计分析；3. 图计算和图检索；4.交互式统计分析外部表（或简称为外表）和托管表（内表）。TEXT表、ORC表、CSV表和Holodesk表。分区表和非分区表。分桶表和非分桶表。托管表（内表）CREATE TABLE 默认创建托管表。Inceptor对托管表有所有权——用 DROP
万字解决Flink|Spark|Hive 数据倾斜
不管再出现分布式计算框架出现数据倾斜问题解决思路如下：很多数据倾斜的问题，都可以用和平台无关的方式解决，比如更好的数据预处理，异常值的过滤等。因此，解决数据倾斜的重点在于对数据设计和业务的理解，这两个搞清楚了，数据倾斜就解决了大部分了。关注这几个方面：数据预处理。解决热点数据：分而治之(第一次打散计
Flink+Kafka消费
分布式处理引擎Flink使用至少一个【job】调度和至少一个【task】实现分布式处理有界：就是指flink【消费指定范围内】的数据。例如我定义某个作业间隔时间为0.5秒，则flink已0.5秒为界，进行数据处理。有界数据用在离线数据的处理场景较多无界：就是指flink始终【监听数据源】里的数据，获
【Hive】——函数案例
hive 函数案例
[hive] 在hive sql中定义变量
变量可以用于存储和引用常量或表达式的值，以便在查询中重复使用。Hive中的变量是会话级别的，即它们在会话结束后会被重置。在Hive SQL中，可以使用。
2023.11.16-hive sql高阶函数lateral view,与行转列,列转行
hive函数主要功能是将原本汇总在一条（行）的数据拆分成多条（行）成虚拟表，再与原表进行笛卡尔积，从而得到明细表。配合UDTF函数使用，一般情况下经常与explode函数搭配，explode的操作对象（列值）是ARRAY或者MAP,可以通过split函数将 String 类型的列值转成ARRAY来处
大数据前馈神经网络解密：深入理解人工智能的基石
前馈神经网络（Feedforward Neural Network, FNN）是神经网络中最基本和经典的一种结构，它在许多实际应用场景中有着广泛的使用。在本节中，我们将深入探讨FNN的基本概念、工作原理、应用场景以及优缺点。前馈神经网络是一种人工神经网络，其结构由多个层次的节点组成，并按特定的方向传
Kafka 如何保证消息消费的全局顺序性
哈喽大家好，我是咸鱼今天我们继续来讲一讲 Kafka当有消息被生产出来的时候，如果没有指定分区或者指定 key ，那么消费会按照【轮询】的方式均匀地分配到所有可用分区中，但不一定按照分区顺序来分配我们知道，在 Kafka 中消费者可以订阅一个或多个主题，并被分配一个或多个分区如果一个消费者消费了多个
山东大学软件学院2022-2023数据科学导论知识点整理【软工大数据课组】
山东大学软件学院2022-2023数据科学导论知识点整理【软工大数据课组】
Flink SQL和Table API实现消费kafka写入mysql
Flink SQL和Table API实现消费kafka写入mysql。
大数据Doris（三十三）：Doris高级设置
但如果小表的数据量也很大的时候, 就会造成内存溢出, 此时需要通过shuffle join的方式进行, 也被称为partition join. 即将大表小表都按照join的key进行hash, 然后进行分布式join。doris在join操作的时候时候, 默认使用broadcast的方式进行join
kafka的原理及集群部署详解
Kafka是一个分布式的发布/订阅消息系统，最初由LinkedIn(领英)公司发布，使用Scala语言编写，后成为Apache的顶级项目。kafka主要用于处理活跃的数据，如登录、浏览、点击、分享等用户行为产生的数据。
大数据实验 实验六：Spark初级编程实践
大数据实验 实验六：Spark初级编程实践
Kafka与Spark案例实践
Kafka系统的灵活多变，让它拥有丰富的拓展性，可以与第三方套件很方便的对接。例如，实时计算引擎Spark。接下来通过一个完整案例，运用Kafka和Spark来合理完成。
Spring整合kafka
ssm项目使用kafka 只用spring-kafka依赖就行注入KafkaTemplate模板消息发送监听消息消费测试发送。
【大数据】Doris 的集群规划和环境准备
Doris 作为一款开源的 MPP 架构 OLAP 数据库，能够运行在绝大多数主流的商用服务器上。为了能够充分运用 MPP 架构的并发优势，以及 Doris 的高可用特性，我们建议 Doris 的部署遵循以下需求。
【SpringCloud】02 注册中心Eureka的原理与使用
前面已经说过，一个微服务既可以是服务的提供者，也可以是服务消费者，因此只需要使用同一个依赖spring-cloud-starter-netflix-eureka-client，就可以同时实现一个微服务的注册与发现。一个微服务，既可以是服务提供者，又可以是服务消费者，因此eureka将服务注册、服务发
【头歌实训】Spark 完全分布式的安装和部署（新）
把 master 节点的 spark 安装包分发到 slave1 节点和 slave2 节点（通过 scp 命令）。1.Standalone：Spark 自带的简单群资源管理器，安装较为简单，不需要依赖 Hadoop；接下来来查看下 slave1 节点连接密码，首先点击 slave1 命令行窗口，再
大数据分析——某电商平台药品销售数据分析
大数据分析——某电商平台药品销售数据分析
【Spark编程基础】第7章 Structured Streaming
Structured Streaming的关键思想是将实时数据流视为一张正在不断添加数据的表可以把流计算等同于在一个静态表上的批处理查询，Spark会在不断添加数据的无界输入表上运行计算，并进行增量查询在无界表上对输入的查询将生成结果表，系统每隔一定的周期会触发对无界表的计算并更新结果表。
