Spark--Scala基础知识总结(第二章)
Scala会区分不同类型的值，并且会基于使用值的方式确定最终结果的数据类型，这称为类型推断Scala使用类型推断可以确定混合使用数据类型时最终结果的数据类型如在加法中混用Int和Double类型时，Scala将确定最终结果为Double类型，如下图常量在程序运行过程中值不会发生变化的量为常量或值，常
深入探索Kafka：了解其不可或缺的核心组件
本文深入探讨了Kafka这一高性能、分布式流处理平台的核心组件。Kafka作为Apache的顶级项目，广泛应用于实时数据流传输和处理领域。本文将带您了解Kafka的架构设计和其核心组件的工作原理，包括Producer（生产者）、Broker（代理）、Consumer（消费者）、Topic（主题）、P
Flink保姆级教程,超详细,教学集成多个第三方工具(从入门到精通)
Flink 允许你通过实现接口来创建自定义数据源。// 定义一个自定义数据源Thread.sleep(1000) // 模拟数据生成延迟// 创建执行环境// 添加自定义数据源// 打印数据流// 启动 Flink 作业以上示例展示了如何在 Scala 中使用 Flink DataStream AP
Flink常见面试问题(附答案)
Apache Flink是一个开源的流处理和批处理框架，可以实现快速、可靠、可扩展的大数据处理。窗口是Flink中用于对无限数据流进行有界处理的机制。它将无限流切分为有限的、不重叠的块，并对每个窗口进行计算。。
[大数据]Dinky0.7.5+Flink1.15.4集群部署及MySQL整库同步到Doris
Dinky0.7.5+Flink1.15.4集群部署及MySQL整库同步到Doris
hadoop-yarn简介及常用命令详解（超详细）
本文详细介绍了YARN的概述、架构、特点和原理，并提供了常用命令的详细解释。YARN作为Hadoop生态系统中的重要组件，具有分布式资源管理、多框架支持、灵活的资源调度、高可靠性和容错性、可扩展性以及安全性等特点。通过合理使用YARN命令，可以更好地管理和监控YARN应用程序和集群，提高大数据处理和
了解Cookie登录：原理、实践与安全指南
当你首次登录网站时，你会输入用户名和密码。在后台，网站的服务器验证这些凭据是否正确。一旦确认你的身份无误，服务器就会创建一个Cookie，并将其发送到你的浏览器。这了解Cookie登录：原理、实践与安全指南个Cookie包含了一个独特的身份验证令牌，它代表了你的登录会话。而这个包含用户一些信息的小型
如果你想学习大数据，那么你应该看看这些高分佳作
大家好，我是，一个分享硬核 Java 技术的金融摸鱼侠，欢迎大家加入 Java人自己的交流群“。，即可获取。
Hadoop介绍：什么是Hadoop？了解Hadoop的应用
Hadoop是一个功能强大、灵活多变的大数据处理框架，它在许多领域都有着广泛的应用前景。随着技术的不断发展和完善，Hadoop将继续为企业和组织提供高效、可靠的大数据解决方案。
头歌：Spark案例剖析 - 谷歌网页排名引擎PageRank实战
下面我们重点介绍Spark SQL的初始化，数据库的使用，外部数据的导入，从而将网页数据导入数据库中方便之后处理。Spark SQL是Spark自带的数据库，本关你将应用Spark SQL的数据导入工具实现文本数据的导入。总的来说，就是预先给一个网页PR值（此处用PR代替PageRank值），由于P
（头哥）Spark环境搭建与使用
【代码】Spark环境搭建与使用。
数据仓库、数据湖、湖仓一体 傻傻分不清楚？
大数据时代，数据平台一般被称之为大数据平台。提供易于部署和管理的泛Hadoop生态及其他存储计算引擎的PaaS平台，助力企业构建企业级数据湖技术架构。以处理海量数据存储、计算及不间断流数据实时计算、离线计算、智能推荐、交互式查询、数据湖构建等场景为主的一套基础设施。典型的包括基于Hadoop 生态
Flink 侧输出流（SideOutput）
ProcessFunction 的 side outputs 功能可以产生多条流，并且这些流的数据类型可以不一样。一个 side output 可以定义为 OutputTag[X]对象，X 是输出流的数据类型。process function 可以通过 Context 对象发射一个事件到一个或者多个
大数据风控平台：金融行业最佳实践
1.背景介绍大数据风控平台是金融行业中的一种应用，它利用大数据技术来分析和预测金融风险。在过去的几年里，随着数据的增长和技术的发展，大数据风控平台已经成为金融行业中最重要的技术之一。这篇文章将涵盖大数据风控平台的背景、核心概念、算法原理、代码实例以及未来发展趋势。1.1 金融风险的复杂性金融风险是金
FlinkSql使用ES sink并指定主键，为什么数据还是会被覆盖？
源码基于flink 1.14.4根据官方文档中对自定义sink的描述，connector sink的的工作原理如下元数据的内容由create table语句所定义，通过的实例表示，该实例表示Catalog中未解析的元数据，包含可以在create table语句中表示的所有特征，框架将其解析为实例（一
【flink配置系列】FLink配置大全
所有配置都在`conf/flink-conf.yaml`中完成，这个文件应该是一个扁平的[YAML键值对](http://www.yaml.org/spec/1.2/spec.html)集合，格式为`key: value`。配置在Flink进程启动时被解析和评估。对配置文件的更改需要重新启动相关的进
大数据 - Doris系列《一》- Doris简介
Doris是一款开源的分布式OLAP（联机分析处理）数据库引擎，旨在支持高并发、大规模的数据查询和分析需求。本篇文章将深入介绍OLAP和OLTP的区别，明确它们在用户行为日志数据场景中的应用。我们将比较OLAP和OLTP在处理大规模数据时的性能和优势，并探讨开源OLAP引擎的选择。
智慧工地安全生产与风险预警大平台的构建，需要哪些技术？
EasyCVR系统可将工地范围内的监控设备进行快速接入，通过视频监控，还可对工地进行远程、实时的高清视频直播观看、录像、回看、查询、告警等，极大提高工地安防能力。
hadoop 3 完全分布式+历史服务器
hadoop 3 完全分布式+历史服务器
spark君第一篇图文讲解Delta源码和实践的文章
手绘了下图所示的kafka知识大纲流程图（xmind文件不能上传，导出图片展现），但都可提供源文件给每位爱学习的朋友《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》点击传送门，即可获取！手绘了下图所示的kafka知识大纲流程图（xmind文件不能上传，导出图片展现），但都
