Scala安装配置
Scala(斯嘎拉)这个名字来源于"Scalable Language(可伸缩的语言)"，它是一门基于JVM的多范式编程语言，通俗的说：Scala是一种运行在JVM上的函数式的面向对象语言。之所以这样命名，是因为它的设计目标是：随着用户的需求一起成长。Scala可被广泛应用于各种编程任务, 从编写小
消息队列技术在大数据中应用的价值
消息队列”（Message Queue）即消息队列或消息系统，它是一个异步通信模型。其主要特征是在分布式环境下用于处理一系列的信息的传递。信息通过消息的形式从一个组件发送到另一个组件，而不需要直接通信。消息队列可以实现应用之间的松耦合、解耦合、异步化、削峰填谷等功能。如今，很多公司都采用消息队列来构
1. Flink程序打Jar包
【代码】1. Flink程序打Jar包。
主成分分析（PCA）原理详解
在许多领域的研究与应用中，通常需要对含有多个变量的数据进行观测，收集大量数据后进行分析寻找规律。多变量大数据集无疑会为研究和应用提供丰富的信息，但是也在一定程度上增加了数据采集的工作量。更重要的是在很多情形下，许多变量之间可能存在相关性，从而增加了问题分析的复杂性。如果分别对每个指标进行分析，分析往
Spark Streaming 整合 Kafka
同时从输出中也可以看到在程序中指定的 `groupId` 和程序自动分配的 `clientId`。在示例代码中 `kafkaParams` 封装了 Kafka 消费者的属性，这些属性和 Spark Streaming 无关，是 Kafka 原生 API 中就有定义的。在示例代码中，我们实际上并没有指
电商商业平台技术架构系列教程之：电商平台安全与隐私保护
作者：禅与计算机程序设计艺术 1.简介1.1 概览电商市场快速增长、平台竞争激烈、数据隐私保护意识逐步提升，是当前数字化转型行业面临的一系列技术挑战和问题。在消费者心目中，电商是一个开放、透明、安全、无国界的新生事物。然而，由于电商平台高度复杂、架构层次多样、
杭电信工--大数据期末考试试题
大数据考试部分试题
大数据平台搭建——hadoop集群（基于CentOS-7）的搭建
本次hadoop集群搭建的虚拟机采用的软件为VMware Workstation Pro，用的镜像文件为CentOS-7，此篇文章是为自己准备大数据比赛中的大数据平台搭建部分所写，故只针对搭建hadoop集群搭建的部分进行概述，前绪工作包括虚拟机的搭建读者可以阅读下面的文章自行进行安装。将主机上的h
Kafka消费端concurrency参数
首先说一下结论，这个参数用来增加消费者实例，或者可以理解为@KafkaListener注解实例的数量。当消费者服务数量小于topic的分区数的时候使用此参数可以提升消费能力，spring-kafka在初始化的时候会启动concurrency个Consumer线程来执行里面的方法。用来直接调用kafk
【大数据】Kafka 实战教程（一）
应用往 Kafka 写数据的原因有很多：用户行为分析、日志存储、异步通信等。多样化的使用场景带来了多样化的需求：消息是否能丢失？是否容忍重复？消息的吞吐量？消息的延迟？
真实大数据简历模版（四）【大数据-2年经验】电影网数据分析
该客流量分析系统是为周边游网站进行景区的客流量、热门景点进行环境分析、客源市场洞察、营销主题分析，经过分析得到的数据给前端进行显示，从而可以为网站提供日常决策支撑，比如某些旅游景点的人气很高的话，就可以为该景点做更多的推荐介绍。4、统计玩家流失（7、14、30持续不在线），当日回流玩家、流失玩家流失
Flink实时任务性能调优
通常我们在开发完Flink任务提交运行后，需要对任务的参数进行一些调整，通常需要调整的情况是任务消费速度跟不上数据写入速度，从而导致实时任务出现反压、内存GC频繁（FullGC）频繁、内存溢出导致TaskManager被Kill。今天讲一下Flink任务中常见的性能场景及解决思路。
Hadoop伪分布式环境搭建
Hadoop 伪分布式集群是一种在单个节点上模拟分布式环境的配置，用于学习、开发和测试 Hadoop 的功能和特性。它提供了一个简化的方式来体验和熟悉 Hadoop 的各个组件，而无需配置和管理一个真正的多节点集群。在 Hadoop 伪分布式集群中，各个 Hadoop 组件（如 NameNode、D
Explainable AI (XAI) 帮助机器学习模型理解外部世界，并找出影响预测结果的最重要因素
Explainable Artificial Intelligence （XAI）是一种通过可解释的方式来帮助机器学习系统理解自身运作方式，进而更好地被人类所理解的领域。其发展历史可以追溯到1987年IBM Watson团队发表的一篇文章《The Vision of AI: A Cognitive
人工智能的应用领域有哪些？
作者：禅与计算机程序设计艺术 1.简介随着科技的飞速发展，人工智能正在改变着世界的很多领域。近几年，随着人工智能技术的不断革新，人工智能在各个领域的应用已经越来越广泛。人工智能的应用主要分为三个阶段：智能产品、智慧城市、智能服务。其中，智能产品包括车联网、智能机
hdfs中的租约机制及Flink写hdfs文件未关闭及ORC
主租约是由文件的创建者持有的，它控制着文件的写入和编辑权限。主租约的持有者可以选择将租约延长，以延续对文件的写入和编辑权限。在HDFS中，租约机制的主要目的是确保并发写入时的数据一致性和文件的完整性。通过租约机制，HDFS可以保证在同一时间只有一个用户可以对文件进行写入或编辑操作，从而避免了数据冲突
开放源码：Flink 是 Apache 顶级开源项目，其源码开放透明，允许社区成员贡献代码，为大数据生态发展提
作者：禅与计算机程序设计艺术 1.简介Apache Flink 是 Apache 基金会旗下的一个开源项目，其核心功能包括对实时事件流处理、批处理等进行统一计算模型抽象，同时支持多种编程语言和运行环境，具备高容错性、高并发、低延迟等特性。通过可插拔的 API 和
人工智能如何促进产业互联网发展？
作者：禅与计算机程序设计艺术 1.简介随着人工智能(AI)技术的发展，越来越多的人们越来越依赖这种技术完成日常工作，例如手机和电脑上的语音助手、人脸识别系统等。作为产业互联网的重要组成部分，产业互联网平台在这个方面也需要充分考虑，提升产品与服务的质量与效率。因此
搭建伪分布式Hadoop
搭建伪分布式Hadoop
云计算：从基础架构原理到最佳实践之：云计算人工智能与深度学习
作者：禅与计算机程序设计艺术 1.简介云计算作为一种新型的分布式计算模型，带来了很大的变革和机遇。它可以帮助企业快速、低成本地获得海量数据的处理能力。而对于机器学习、深度学习等人工智能技术来说，云计算平台也是一个十分重要的研究方向。Cloud computing
