Spark Streaming 整合 Kafka
同时从输出中也可以看到在程序中指定的 `groupId` 和程序自动分配的 `clientId`。在示例代码中 `kafkaParams` 封装了 Kafka 消费者的属性，这些属性和 Spark Streaming 无关，是 Kafka 原生 API 中就有定义的。在示例代码中，我们实际上并没有指
电商商业平台技术架构系列教程之：电商平台安全与隐私保护
作者：禅与计算机程序设计艺术 1.简介1.1 概览电商市场快速增长、平台竞争激烈、数据隐私保护意识逐步提升，是当前数字化转型行业面临的一系列技术挑战和问题。在消费者心目中，电商是一个开放、透明、安全、无国界的新生事物。然而，由于电商平台高度复杂、架构层次多样、
杭电信工--大数据期末考试试题
大数据考试部分试题
大数据平台搭建——hadoop集群（基于CentOS-7）的搭建
本次hadoop集群搭建的虚拟机采用的软件为VMware Workstation Pro，用的镜像文件为CentOS-7，此篇文章是为自己准备大数据比赛中的大数据平台搭建部分所写，故只针对搭建hadoop集群搭建的部分进行概述，前绪工作包括虚拟机的搭建读者可以阅读下面的文章自行进行安装。将主机上的h
Kafka消费端concurrency参数
首先说一下结论，这个参数用来增加消费者实例，或者可以理解为@KafkaListener注解实例的数量。当消费者服务数量小于topic的分区数的时候使用此参数可以提升消费能力，spring-kafka在初始化的时候会启动concurrency个Consumer线程来执行里面的方法。用来直接调用kafk
【大数据】Kafka 实战教程（一）
应用往 Kafka 写数据的原因有很多：用户行为分析、日志存储、异步通信等。多样化的使用场景带来了多样化的需求：消息是否能丢失？是否容忍重复？消息的吞吐量？消息的延迟？
真实大数据简历模版（四）【大数据-2年经验】电影网数据分析
该客流量分析系统是为周边游网站进行景区的客流量、热门景点进行环境分析、客源市场洞察、营销主题分析，经过分析得到的数据给前端进行显示，从而可以为网站提供日常决策支撑，比如某些旅游景点的人气很高的话，就可以为该景点做更多的推荐介绍。4、统计玩家流失（7、14、30持续不在线），当日回流玩家、流失玩家流失
Flink实时任务性能调优
通常我们在开发完Flink任务提交运行后，需要对任务的参数进行一些调整，通常需要调整的情况是任务消费速度跟不上数据写入速度，从而导致实时任务出现反压、内存GC频繁（FullGC）频繁、内存溢出导致TaskManager被Kill。今天讲一下Flink任务中常见的性能场景及解决思路。
Hadoop伪分布式环境搭建
Hadoop 伪分布式集群是一种在单个节点上模拟分布式环境的配置，用于学习、开发和测试 Hadoop 的功能和特性。它提供了一个简化的方式来体验和熟悉 Hadoop 的各个组件，而无需配置和管理一个真正的多节点集群。在 Hadoop 伪分布式集群中，各个 Hadoop 组件（如 NameNode、D
Explainable AI (XAI) 帮助机器学习模型理解外部世界，并找出影响预测结果的最重要因素
Explainable Artificial Intelligence （XAI）是一种通过可解释的方式来帮助机器学习系统理解自身运作方式，进而更好地被人类所理解的领域。其发展历史可以追溯到1987年IBM Watson团队发表的一篇文章《The Vision of AI: A Cognitive
人工智能的应用领域有哪些？
作者：禅与计算机程序设计艺术 1.简介随着科技的飞速发展，人工智能正在改变着世界的很多领域。近几年，随着人工智能技术的不断革新，人工智能在各个领域的应用已经越来越广泛。人工智能的应用主要分为三个阶段：智能产品、智慧城市、智能服务。其中，智能产品包括车联网、智能机
hdfs中的租约机制及Flink写hdfs文件未关闭及ORC
主租约是由文件的创建者持有的，它控制着文件的写入和编辑权限。主租约的持有者可以选择将租约延长，以延续对文件的写入和编辑权限。在HDFS中，租约机制的主要目的是确保并发写入时的数据一致性和文件的完整性。通过租约机制，HDFS可以保证在同一时间只有一个用户可以对文件进行写入或编辑操作，从而避免了数据冲突
开放源码：Flink 是 Apache 顶级开源项目，其源码开放透明，允许社区成员贡献代码，为大数据生态发展提
作者：禅与计算机程序设计艺术 1.简介Apache Flink 是 Apache 基金会旗下的一个开源项目，其核心功能包括对实时事件流处理、批处理等进行统一计算模型抽象，同时支持多种编程语言和运行环境，具备高容错性、高并发、低延迟等特性。通过可插拔的 API 和
人工智能如何促进产业互联网发展？
作者：禅与计算机程序设计艺术 1.简介随着人工智能(AI)技术的发展，越来越多的人们越来越依赖这种技术完成日常工作，例如手机和电脑上的语音助手、人脸识别系统等。作为产业互联网的重要组成部分，产业互联网平台在这个方面也需要充分考虑，提升产品与服务的质量与效率。因此
搭建伪分布式Hadoop
搭建伪分布式Hadoop
云计算：从基础架构原理到最佳实践之：云计算人工智能与深度学习
作者：禅与计算机程序设计艺术 1.简介云计算作为一种新型的分布式计算模型，带来了很大的变革和机遇。它可以帮助企业快速、低成本地获得海量数据的处理能力。而对于机器学习、深度学习等人工智能技术来说，云计算平台也是一个十分重要的研究方向。Cloud computing
Git的merge合并代码详解
git的各种合并模式，Fast-forward是什么？merge后接各参数是什么意思？本文一一研究。
Flink学习——处理函数ProcessFunction及多流转换
处理函数processFunction、分流output、合流union/connect/join
07_Hudi案例实战、Flink CDC 实时数据采集、Presto、FineBI 报表可视化等
7.第七章 Hudi案例实战7.1 案例架构7.2 业务数据7.2.1 客户信息表7.2.2 客户意向表7.2.3 客户线索表7.2.4 线索申诉表7.2.5 客户访问咨询记录表7.3 Flink CDC 实时数据采集7.3.1 开启MySQL binlog7.3.2 环境准备7.3.3 实时采集数
spark获取hadoop服务token
spark提交作业不含hbase的相关逻辑为什么会去获取hbase服务的token
