Hadoop入门(十)——集群配置（图文详解步骤2021）
Hadoop入门(十)——集群配置（图文详解步骤2021）1 ） 集群部署规划注意：NameNode 和 SecondaryNameNode 不要安装在同一台服务器 。（它们两个都需要耗内存，分开减少集群的压力）ResourceManager 也很消耗内存，不要和 NameNode、Secondar
大数据系列 | 全国职业院校技能大赛大数据应用技术赛项笔记分享-离线抽取模块
写在前面：此笔记是本人在备战2022年大数据赛项整理出来的，不涉及国赛涉密内容，如点赞收藏理想，我将会把所有模块的笔记开源分享出来，如有想询问国赛经验的可以关注私聊我，我会一一回复。Scala 是一门满足现代软件工程师需求的语言；它是一门静态类型语言，支持混合范式；它也是一门运行在 JVM 之上的语
Flink从入门到精通系列（一）
Flink概述、流式数据处理的发展是演变以及Flink的快速入门案例
MinIO在Windows的部署与简单使用
目录前言一、MinIO是什么二、MinIO的基础概念三、MinIO的下载与启动四、MinIO的javaAPI前言阿里云对于对于对象存储服务的定义是：对象存储服务（Object Storage Service，OSS）是一种海量、安全、低成本、高可靠的云存储服务，适合存放任意类型的文件。容量和处理能力
Spark Shell 的使用
现在我们已经执行了行动操作，执行这些操作需要从磁盘读取数据，Spark在处理这些操作的时候，会把数据缓存起来，后续不管对该RDD执行转换操作还是行动操作，都将直接从内存读取，而不需要和磁盘进行交互。如果数据已经存在外部文件系统，例如本地文件系统，HDFS，HBase，Cassandra，S3 等，可
2023年各大学网络教育统考大学英语B统考题库及时间
各学校当次统考仅有一次答题机会，考试时间为90分钟，各科目满分均为100分，60分为合格，部分高校规定，大学英语B取得相应的成绩可免考学位英语考试（基本均需要80、85或90以上才可免考学位英语考试），在部分统考院校当中，比如江南大学和对外经济贸易大学等，如学生已报名本次考试，但无故缺考的，将做停考
stata回归？固定效应模型（组内变换OR LSDV最小二乘法）
通过在命令中加入选项“robust”可以获得White稳健标准误，可以解决异方差的问题。在命令中加入选项“cluster”可以获得Rogers标准误或聚类稳健的标准误，可以同时解决异方差和自相关两大问题。使用命令xtscc可以同时解决三大问题，提供Driscoll-Kraay标准误。
Hive SQL面试题-流失回流用户数统计
根据用户最后一次登录记录表，统计每天的流失（一段时间未登录平台）用户数量，和回流用户（一段时间未登录平台，但今天重新登录了平台）数量。执行环境：Hive on Spark
Cacti1.2.14最新版安装和配置（详细版）
Cacti的起源与发展现状故事要从2001年的某一天说起。一个叫Ian Berry的中学生还在学习如何使用PHP和MySQL进行编程及功能的实现，那时候他业余时间为一个名不见经传的互联网运营商开发项目，他希望借助这个项目不仅可以精进自己的编程功力，还可以创建一个新的监控显示方法，既要比RRDTool
基于协同过滤的电商推荐系统（2）：用户对商品的偏好得分
使用协同过滤算法，需要统计用户（User）对物品（Item）的评分（Score），然后依托这些数据进行协同过滤的计算。用户偏好得分 = 行为类型权重 * 行为次数 * 时间衰减系数。
Apache Doris 安装部署指南
Apache Doris 的安装部署文档，非常适合新手第一次安装部署 Apache Doris，不仅包括 FE、BE 的部署，也包括检查和 WEB UI 的使用，以及一个 DEMO 用例的展示。
Windows下安装与配置Docker
1、Windows相关 启用虚拟化，打开任务管理器，性能，查看虚拟化是否已启用，如下图所示： 启用Hyper-v，打开控制面板，启用或关闭Windows功能，勾选Hyper-v，如下图所示： 2、Docker相关 下载并安装，下载地址如下所示：https:/
解决Elasticsearch Connection reset by peer异常
随着ES的密集使用，线上环境，不同应用最近几天陆续有报java.io.IOException: Connection reset by peer异常，感觉不太正常。直接影响就是用户查询或者变更ES数据失败。
真·实践出Elasticsearch8.0版本安装(指南)
Elasticsearch从入门到大师系列（真指南）Elasticsearch8.0版本安装指南，quickstart，极速进入Elasticsearch学习。
大数据入门之 Hadoop,HDFS,Hbase,Hive
Hadoop：是泛指大数据生态，实际上基本包括 存储(HDFS) + 计算(MapReduce);HDFS: Hadoop分布式文件系统，主要是解决存储的问题;Hbase: 基于Hadoop的高性能nosql数据库;Hive: 最常用的数据仓库;
Ceph集群部署
说明目标主机已经有ceph.conf配置文件，而且内容和当前目录的配置文件不一样，如果需要覆盖则使用--overwrite-conf选项。如上图，其中：ceph.conf是主配置文件， ceph.client.admin.keyring文件存放的是ceph的用户名和密码。如上图可以看到，会自动远程所
【博学谷学习记录】大数据课程-学习第七周总结
文件中设置的是Hadoop运行时需要的环境变量。hdfs-default.xml与hdfs-site.xml的功能是一样的，如果在hdfs-site.xml里没有配置的属性，则会自动会获取hdfs-default.xml里的相同属性的值。yarn-default.xml与yarn-site.xml的
C++ CreateFileMapping 内存映射实现快速读取文件
共享内存的方式原理就是将一份物理内存映射到不同进程各自的虚拟地址空间上，这样每个进程都可以读取同一份数据，从而实现进程通信。因为是通过内存操作实现通信，因此是一种最高效的数据交换方法。本文主要讲述的使用内存映射文件的目的是访问磁盘上的数据文件。你可以不必对文件执行I / O操作，并且可以不必对文件内
hadoop启动后,集群里没有NodeManager
解决方案：cd /opt/module/hadoop-3.1.3/etc/hadoop/vim yarn-site.xml<property> <name>yarn.nodemanager.resource.memory-mb</name> <v
安装Hadoop集群（超详细！）
前面我写了一篇单机版的Hadoop安装，这里终于要装集群版，装集群版的步骤比较繁琐，需要同学们多加练习，因为我们不可能只装一次，经常出了问题就要重装，所以必须要练熟练。
