物联网和大数据可应用在哪些领域？
物联网和大数据可应用在哪些领域？物联网和大数据是近年来最受媒体和企业关注的两大宏观技术趋势。两者也并驾齐驱，物联网旨在特定组织或环境中创建一个互联网络，使用该网络来收集数据并集中执行特定功能。物联网部署会生成大量以前未开发的数据，自动执行以前靠手动操作的任务。为了理解这些数据使自动化有意义需要对这些
Kafka的使用（Windows中）
在（第三个窗口）中输入.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topic_test001然后回车。在第三个命令窗口
数据架构的大数据处理：Hadoop 与 Spark 的结合
1.背景介绍大数据处理是现代数据科学和工程的核心技术，它涉及到处理海量、高速、多源、不确定性和不可靠性的数据。随着互联网、人工智能、物联网等领域的快速发展，大数据处理的重要性日益凸显。Hadoop 和 Spark 是目前最主流的大数据处理技术，它们各自具有不同的优势和应用场景。Hadoop 是一个开
大数据技术Hadoop小白教程（一）——Hadoop概述及环境配置
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集的存储和分析。它基于Google的MapReduce和Google文件系统（GFS）的概念，并且能够在廉价的硬件上运行。Hadoop的核心组件包括Hadoop分布式文件系统（HDFS）和Hadoop YARN（Yet Another Res
HIVE搭建教程
拷贝master安装包到beeline客户端机器上（任意一个节点即可）
在Hadoop设置中输入jps没有出现namenode和datanode
可能是多次格式化NameNode后未删除相关文件，需要检查在hadoop中查看hdfs-site.xml和core-site.xml配置文件，确认其中的相关配置项是否正确设置，查看目录路径，然后删除相关文件。
ubuntu系统下大数据服务器磁盘调优测试记录
磁盘性能调优测试
毕设项目分享 基于大数据的用户画像分析系统
Hi，大家好，这里是丹成学长，今天做一个电商销售预测分析，这只是一个demo，尝试对电影数据进行分析，并可视化系统🧿选题指导, 项目分享：见文末用户画像是指根据用户的属性、用户偏好、生活习惯、用户行为等信息而抽象出来的标签化用户模型。通俗说就是给用户打标签，而标签是通过对用户信息分析而来的高度精炼
大数据那些事儿
Hadoop生态圈组建介绍Hadoop是一种大数据框架结构，我们可以把它比作一个大型的工厂。划重点：是个框架，MapReduce就是里面的核心组件HDFS和MapReduceHDPS提供存储，MapReduce提供计算，YARN用于管理和调度HDPS(Hadoop Distributed File
hadoop分布式环境搭建
(hadoop、jdk文件链接：https://pan.baidu.com/s/1wal1CSF1oO2h4dkSbceODg 提取码：4zra)前四步可参考。
修复zookeeper未授权访问漏洞
【代码】修复zookeeper未授权访问漏洞。
RabbitMQ-5.消费者的可靠性
例如我们当前案例中，处理消息的业务逻辑是把订单状态从未支付修改为已支付。我们在用户支付成功后会发送MQ消息到交易服务，修改订单状态为已支付，就可能出现消息重复投递的情况。不过需要注意的是，交易服务并不知道用户会在什么时候支付，如果查询的时机不正确（比如查询的时候用户正在支付中），可能查询到的支付状态
PySpark案例实战
func(T)–>U:告知按照rdd中的哪一个数据进行排序，比如lambda x:x[1]表示按照rdd中的第二列元素进行排序。注意：字符串返回的是[‘a’,‘b’,‘c’,‘d’,‘e’,‘f’,‘g’] 字典返回的是[‘key1’,‘key2’][1,2,3,4,5] 然后聚合函数：lamb
Kafka 3.x（上）
线性增长的、不可变的提交日志消息Record 以键值对的形式进行存储：如果key不指定则默认为空#，此时生产者会以轮询的方式把消息写到不同的队列中。有key的话生产者借助于分区器来分区，key同分区同。
Kafka重复消费、Dubbo重复调用问题排查
本业务为车机流量充值业务，大致流程为：收到微信、支付宝端用户支付成功回调后，将用户订单信息发送至kafka中；消费者接收到kafka中信息后进行解析，处理用户订单信息，为用户订购相关流量包（调用电信相关接口），订购成功/失败后会通过MQTT发送订购成功/失败消息至车机端，若订购失败则为用户退款。
Spark使用入门及案例
这里的命令行：将每行的字符串转换为相应的一个double数组，这样全部的数据将可以用一个二维的数组 RDD[Array[Double]]来表示了。该命令表明：spark加载文件是按行加载，每行为一个字符串，这样一个RDD[String]字符串数组就可以将整个文件存到内存中。查看，在shell命令行中
（四）PySpark3：Mlib机器学习实战-信用卡交易数据异常检测
Spark Mlib实现了在分布式大数据环境下的机器学习训练，并且可以通过Spark SQL对数据集进行数据预处理以及特征工程，可以高效处理大规模数据集。但是Spark Mlib目前支持的算法还比较少，支持的机器学习算法有限，而且并不直接支持深度学习算法。所以，选择Spark进行机器学习训练与预测，
分布式微服务 - 2.服务注册 - 2.Eureka
介绍微服务中的eureka框架。
RabbitMQ详细讲解
虽然并行已经提高的处理时间,但是,前面说过,邮件和短信对我正常的使用网站没有任何影响，客户端没有必要等着其发送完成才显示注册成功,应该是写入数据库后就返回.由此可以看出,引入消息队列后，用户的响应时间就等于写入数据库的时间+写入消息队列的时间(可以忽略不计),引入消息队列后处理后,响应时间是串行的3
认识spark,Scala简介
Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发的通用内存并行计算框架Spark得到了众多大数据公司的支持，这些公司包括Hortonworks、IBM、Intel、Clo
