大数据项目实战——基于某招聘网站进行数据采集及数据分析(二)

大数据项目实战第二章 搭建大数据集群环境文章目录大数据项目实战学习目标一、安装准备二、使用步骤1.引入库2.读入数据总结学习目标了解虚拟机的安装和克隆熟悉虚拟机网络配置和 SSH 服务配置掌握 Hadoop 集群的搭建熟悉 Hive 的安装掌握 Sqoop 的安装搭建大数据集群环境是开发本项目的基础

2002 - Can‘t connect to server on ‘127.0.0.1‘ (36)

在mac电脑哦中通过Navicat 连接 MySQL 数据库时,出现了还错误信息1、首先停止所有mysql服务(系统偏好设置> Stop MySQL Server 停止mysql服务) 2、然后通过以下命令删除mysql相关文件3、然后重启mac电脑4、然后再重新安装mysql5、然后再通过Navi

Elasticsearch 未授权访问漏洞

ElasticSearch 是一款 Java 编写的企业级搜索服务,启动此服务默认开放 HTTP-9200 端口,可被非法操作数据。

Superset权限管理

Superset权限管理

虚拟机时间不同步如何解决?

hadoop三台服务器时间不同步

ObjectIdentifier() -- data isn‘t an object ID (tag = 48)

java.io.IOException: ObjectIdentifier() -- data isn't an object ID (tag = 48)

【Hadoop】二、Hadoop MapReduce与Hadoop YARN

分布式计算概念分布式计算是一种计算方法,和集中式计算是相对的。随着计算技术的发展,有些应用需要非常巨大的计算能力才能完成,如果采用集中式计算,需要耗费相当长的时间来完成。分布式计算将该应用分解成许多小的部分,分配给多台计算机进行处理。这样可以节约整体计算时间,大大提高计算效率。MapReduce介绍

Rabbitmq 延迟队列---插件

使用插件可以解决优先队列的问题。

SeaTunnel本地运行以及kafka发送到redis说明

Seatunnel2.3.1源码Idea中的目录结构通过maven进行代码编译编译命令mvn编译单个模块命令mvn编译完通过类来运行这样就运行成功啦附上配置文件样例env {source {Jdbc {sink {Redis {运行结果。

【大数据系列之MySQL】(十):使用Navicat运行本地sql文件

成功执行后,我们的左侧边栏就会出现sql文件建立的数据库以及相关表。右键我们的数据库连接,会出现运行sql文件这个选项,点击它。找到给定的sql文件,然后点击开始即可。如果出现下图样式,即代表成功执行。同样也会看到每张表里面的数据。

Kafka生产经验

Kafka生产经验

Linux安装RabbitMQ,怎么使用RabbitMQ

RabbitMQ安装,erlang环境安装,RabbitMQ的工作模式简单介绍,RabbitMQ实现RPC,RabbitMQ手动确认消息的3种方式。

hive查看库名、表名

hive 查看库名 表名

ES修改用户名和密码

ES 基础

IDEA配置Spark运行环境

Preferences -> Plugins -> Browse Repositories -> 搜索 scala -> install。所在项目(点击右键) -> Add Framework Support…->选择 Scala->点击 OK。前提 :本地已安装Scala。安装Scala插件(在线

VMware 克隆失败,提示指定的虚拟磁盘需要修复【已解决】

进入VMware安装目录后进行修复

RabbitMQ高阶使用消息推送

目录1 从打车开始说起1.1 需要解决的问题1.2 消息推送2 消息推送2.1 什么是消息推送2.2 方案介绍2.2.1 ajax短轮询2.2.2 长轮询2.2.3 WebSocket2.3 WS实现消息推送2.3.1 架构介绍2.3.2 暂存数据2.3.2.1 什么是MongoDB2.3.2.2

hive删除分区部分数据

insert overwrite table t_finance_tax_bill partition (importdate='20220218')select bill_id , apply_emp_id , bill_type_name

Hadoop集群启动后利用Web界面管理HDFS

Hadoop集群启动后,可以通过自带的浏览器Web界面查看HDFS集群的状态信息,访问IP为NameNode所在服务器的IP地址,在浏览器地址栏中输入192.168.107.131:50070即可打开HDFS的web界面。例如我的NameNode所在服务器的IP地址为192.168.107.131。

关于hive3多表leftjoin导致数据丢失问题及解决方案

关于hive3多表leftjoin导致数据丢失问题及解决方案

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈