大数据开发工程师是做什么的?岗位要求高吗?

大数据开发工程师是做什么的?岗位要求高吗?大数据开发工程师要负责数据仓库建设、ETL开发、数据分析、数据指标统计、大数据实时计算平台及业务开发、平台建设及维护等工作内容。熟练掌握数据仓库、hadoop生态体系、计算及二次开发、大数据平台工具的开发:开发平台、调度系统、元数据平台等工具,该岗位对于技术

Hadoop(centos)伪分布+Hbase详细配置过程

总共要修改的配置文件全部都在hadoop/etc/hadoop目录下,其中hdfs-site.xml这个文件需要设置3个目录来存放一些hadoop运行过程中的临时数据,也就是在hadoop目录下,创建一个dfs和tmp,再在dfs目录下创建name和data目录。分别是hadoop-env.sh,y

Hadoop,VMware,Xshell,Xftp,CentOS,安装和部分问题详解(真的很详细)

Hadoop想必困扰很多学生,笔者就弄了一周,这里本人亲手写和实践的一份超详细的安装流程。

hadoop大数据集群搭建(二)超级保姆式教学

本篇为为hadoop集群配置的中章, 包含如下内容, 1. 关闭防火墙 2. 集群之间的免密登录 3. 完成集群的时间同步问题 4. 安装MySQL 5. 安装JDK终章将会手把手完成最后的软件安装及配置和体验!

Hadoop集群配置

快速创建linux虚拟机,并且搭建好Hadoop集群

Java基于Hadoop及微服务架构的前后端分离购物系统(源码)

基于Hadoop及微服务架构的前后端分离购物系统。前台购物页面使用Vue+ElementUi,后台管理页面使用html和Ajax。后端使用Spring Boot+Spring Cloud+Nacos+OpenFeign+Spring Cloud GateWay+MyBatis进行开发,使用Shiro

hive shell中有许多日志信息的解决办法

hive shell中出现大量日志信息的解决办法!hive-3.1.2

HDFS完全分布式集群搭建与配置及常见问题总结(下)

HDFS完全分布式集群搭建与配置及常见问题总结,有利于友友们找到自己的问题!

大数据计算框架及引擎介绍

主流的大数据处理框架包括以下三类五种:1、仅批处理框架:Apache Hadoop2、仅流处理框架:Apache Storm、Apache Samza3、混合框架:Apache Spark、Apache Flink

HDFS完全分布式集群搭建与配置及常见问题总结(有手就行)

本文详细介绍了HDFS完全分布式集群搭建步骤,以及搭建过程中可能遇到的问题,并提供了详细的解决方案!

【大数据处理技术】实验3

数据本2002 数据处理技术 实验3经验分享

Hadoop内hive之间,hive与DB、ES等之间数据交互的问题与解决方案

之前做大数据处理,经常遇到各种问题。很多时候是项目作业简单项配置问题,也可能是导入导出参数配置的问题,也可能是公司Hadoop平台的问题。那么如何排查问题,解决问题?这种事情,除了自己要积累一些大数据的知识和技能外,也需要一些获得一些排查问题的技巧、方法。

ubuntu-hadoop伪分布

【代码】ubuntu-hadoop伪分布-环境配置。

SparkSQL 总结(未完待续)

Spark SQL 是Spark 用于结构化数据(structured data)处理的 Spark 模块。

Hadoop 集群搭建

一,Hadoop 的安装模式二,基础环境准备-选择操作系统基础环境准备-安装 VMware下载 VMware的平台安装完成后基础环境准备-部署 Ubuntu下载 Ubuntu 18 镜像http://mirrors.aliyun.com/ubuntu-releases/18.04/基础环境准备-部署

记一次HBase启动异常的恢复历程

我去hdfs这个表对应的目录下面查看发现.regioninfo文件是存在的,但meta表中确实没有相关信息,既然是这样情况,那理论上通过-fixMeta应该就可以修复Meta数据,但是实际上执行-fixMeta后并没有实际的效果。至些,这个HBase启动的问题算是彻底修复了,虽然,但是,关于最后的.

折腾一晚上的事情,明白了一个道理

感悟:有时候很简单的笨办法,比那些高大上的技术要实用的多。有一个数据同步,大约4亿条记录,没有分区。现在要按照天,小时分区写入到iceberg的分区表中。源数据中本身就是很多几十k大小的非常多的小文件。于是在读取时,总想着要shuffle,合并小文件,于是是这样的:hive_df = spark.t

【Hive】各种join连接用法

hive join连接的各种用法

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈