加油吧，搬砖人
2007年毕业从事IT工作，转眼间已15个年头了。从懵懂少年到如今人到中年，完成了娶妻生子，买房买车人生大事。回顾这10多年的职场生涯，其实是很普通平庸顺利的"混过了"。没有牛逼的大数据、人工智能的项目经验，一直从事通信运营商的IT信息项目建设，期间换了5家单位，有上W规模的百强IT企业，有几百号人
Zookeeper与Kafka自动部署脚本
Zookeeper与Kafka自动部署脚本
SparkStreaming--scala
第1关：QueueStream本关任务：编写一个清洗QueueStream数据的SparkStreaming程序。 import java.text.SimpleDateFormat import java.util.Date import org.apache.spark.{Ha
(详细)Hadoop配置实战-伪分布式
Hadoop集群配置，伪分布式，hdfs命令，hadoop集群命令，Hadoop相关下载地址
大数据技术原理及应用：开发与运行环境安装与介绍（第一部分）
开发与运行环境安装与介绍以后要更大数据系列啦！还请大家多多关注！虚拟化软件的安装安装好VMware打开VMware，如图所示。虚拟机的创建标题Vmware tools的安装JDK的安装
华为云计算之FusionStorage基础原理和特性
华为云计算之FusionStorage基础原理和特性
hive中的表操作
1，hive概述Hive是基于Hadoop的数据仓库，用于处理结构化的数据集，数据结构存在于MySQL，数据存在 HDFS。Hive可以将一个类似于sql的查询语句（HQL）翻译成MR程序，将job提交给HDFS进行查询 时，hive把HDFS上的一个目录映射成一张Hive表，在查询的时候就是把jo
通过XShell远程连接Linux
上节我们完后虚拟机的安装后，由于页面不利于操作，可通过XShell工具连接后开始之后的操作。附上XShell官方下载地址https://www.xshell.com/zh/xshell/其下载流程简单，傻瓜式安装即可，且免费开源，配合官网页面另一产品Xftp一起用效果最好附上Xftp官方下载地址ht
Kafka在命令行的启动流程
Kafka在命令行的启动流程启动Zookeeper:启动Kafka:设置Kafka主题，查询Kafka主题名，启动生产者:启动消费者:启动Zookeeper:E:\kafka\kafka_2.12-2.3.0>bin\windows\zookeeper-server-start.bat con
Hadoop学习之旅第一步——创建一台自己的虚拟机
首先，下载VMware Workstation之后，在centos官网下载所需要的镜像，下载官网附下：https://wiki.centos.org/Download这两个文件的下载此处略过，可以参考其他大佬教程下载破解版下好之后，接下来就开始进入我们的正题打开下载好的VMware Workstat
数据中台建设（三）：数据中台架构介绍
数据中台要求全企业共用一个数据技术平台、共建数据体系、共享数据服务能力。实际上一个企业中由于各个业务线发展不均衡，各自都有独立的数据处理架构，导致共享数据非常困难，所以要构建数据中台不仅是对技术架构的改变，同时还是对整个企业业务运转模式的改变，需要企业在组织架构和资源方面给予支持。数据中台是一个企业
超详细的基于docker搭建hadoop集群
基于Docker搭建Hadoop集群
SpringBoot整合Dubbo的第三种方式——XML配置 + @ImportResource
1.文档参照dubbo配置官方文档2.三个工程2.1 公共接口工程参考这篇文章：SpringBoot整合Dubbo的第一种方式2.2 服务提供者首先我们注释掉配置文件中的相关内容，只留下应用名（不留也可以）。spring.application.name=boot-user-service-prov
spring boot集成Kafka发送和订阅数据两种方式
spring boot集成Kafka发送和订阅数据两种方式Kafka安装MacBook Linux安装KafkaLinux解压安装Kafkakafka可视化工具Kafka Tool安装使用Kafka集群和kafka-manager安装方式一maven的pom.xml引入依赖<dependenc
sqoop完整版学习笔记
用于帮助新手快速使用sqoop以及一些常见报错
传Livy闭包head of empty list报错排查步骤
传Livy闭包head of empty list报错排查步骤。在调用livy Job任务闭包的时候，闭包中不要传入scala的List类型实例(闭包里初始化的对象不会被序列化)，因为livy的序列化kryo类对scala类型不支持，会造成Nil单例破坏。PS: Nil是有readResolve方法
php简单实现rabbitMQ消息列队（必须收藏）
本文是通过thinkphp+workerman来实现rabbitMQ消息列队！快来收藏！
云原生技术-微服务SpringCloud(2)
云原生技术-微服务SpringCloud(2)，带你走进云原生
ElasticSearch学习总结（基础篇，可学习，可复习）
最近一周都在学习ElasticSearch，之前也零零散散的学过一点，这次下定决心花一周的时间将之前学的知识总结一下，顺便接着再往下学习，所以写篇博客总结一下最近一周的成果，本篇属于ElasticSearch的基础篇，后面会继续深入学习。也希望这篇拙作可以帮助到诸位大佬，如有不足之处，还望诸佬不吝赐
安利一个超级好用的Java学习网站（非常全）
安利一个超级好用的Java学习网站（非常全）适合人群网站内容网址> 面试官：系统性的理解不仅能帮助你理解知识的基础体系，更能帮快速甄别候选人才开发入门者：提前上船，赢在起跑线开发进阶者：若干年的开发，尚还没有方向的是个想上进的：关键是你觉得对你有意义，且做你认为正确的事就够了
