什么是大数据？
本文从七个部分阐述大数据分析，包括：背景、定义、意义、挑战及未来趋势以及市场等部分。
hive metastore配置kerberos认证
hive从3.0.0开始提供hive metastore单独服务作为像presto、flink、spark等组件的元数据中心。但是默认情况下hive metastore在启动之后是不需要进行认证就可以访问的。所以本文基于大数据组件中流行的kerberos认证方式，对hive metastore进行认
Log4j 学习笔记
Log4j 使用及源码学习
搭建Hadoop集群(超详细版）
搭建Hadoop集群
你对Web3的迅速发展一无所知，逃离大厂去拥抱Web3
Web3，正在成为越来越多硅谷科学家的职业新选择。1月7日，Twitter Spaces首席数据科学家Julien Gaillard宣布将加入DeFi借贷平台Aave。他在推特上留言：“之所以选择Web3，是因为其核心价值在于去中心化、创新、公平和实验。”他表示：“Web3和数据科学是天生一对，链上
Hadoop分布式搭建
1.Hadoop官网下载3.1.2网址 http://hadoop.apache.org/https://archive.apache.org/dist/hadoop/common/hadoop-3.1.2/2.准备三台机器(本教程使用的虚拟机)centos 7 安装教程可以看我的这篇https:/
大数据之在Liunx中安装MySQL
大数据之 Linux MySQL安装教程
SQLDeveloper连接Hive使用说明
SQLDeveloper连接Hive使用说明
七种常见分布式事务详解（2PC、3PC、TCC、Saga、本地事务表、MQ事务消息、最大努力通知）
在分布式系统中一次操作需要由多个服务协同完成，这种由不同的服务之间通过网络协同完成的事务称为分布式事务。本文详解介绍七种常见分布式事务的原理以及优缺点和适用场景（2PC、3PC、TCC、Saga、本地事务表、MQ事务消息、最大努力通知）
信息系统项目管理师Part1-信息化与信息系统
信息化知识应知应会：1.信息论的奠基人：香农2.信息的定义：是有别于物质与能量的第三种东西，是对事物运动状态或存在方式的不确定性的描述。信息是按特定方式组织在一起的客观属性的集合，它具有超出这些客观属性本身之外的价值。3.信息技术主要为解决信息的采集、加工、存储、传输、处理、计算、转换、表现等问题而
一文读懂Kafka Connect核心概念
概览Kafka Connect 是一种用于在 Apache Kafka 和其他系统之间可扩展且可靠地流式传输数据的工具。 它使快速定义将大量数据移入和移出 Kafka 的连接器变得简单。 Kafka Connect 可以摄取整个数据库或从所有应用程序服务器收集指标到 Kafka 主题中，使数据可用于
滴滴二面：Kafka是如何读写副本消息的？
无论是读取副本还是写入副本，都是通过底层的Partition对象完成的，而这些分区对象全部保存在上节课所学的allPartitions字段中。可以说，理解这些字段的用途，是后续我们探索副本管理器类功能的重要前提。现在，我们就来学习下副本读写功能。整个Kafka的同步机制，本质上就是副本读取+副本写入
Spark进行独热编码
本文总计 500 字，预计阅读需要 2-3 分钟
编译kafka3.0.0和2.8.0源代码
编译kafka3.0.0和2.8.0源代码这个过程历时5天期间遇到了无数的坑点，特此记录版本和环境ide： idea2021系统：windows10kafka版本：最初我想在本地运行kafka3.0.0版本，但是最终因为很多的问题，我的本地kafka版本定格在了2.8.0。下文中也会阐述kafka3
美联储加息，加密货币暴跌，但是web3.0仍会到来
经过认证的去中心化区块链世界即将到来
一个小破网站，比Pandas官网还好用？
大家好，我是早起。在去年九月，我将Pandas120题升级到Pandas300题，意外的收获了很多好评，到目前总下载量有数千次。伴随着刷题人数越来越多，很多粉丝问我能否提供一份查询版，让答案附在习题下面，就像这样????但整理出来之后发现使用反馈并不是很好，偶尔想查询一些小的操作都需要先启动Jupy
Java JDBC连接MySQL数据库，基础语法及自定义JDBC的MySQL工具类
JAVA JDBC连接MySQL数据库JDBC使用1、通过反射加载驱动Class.forName("com.mysql.jdbc.Driver");2.建立连接 Connection connection = DriverManager.getConnection(
客快物流大数据项目(十八)：Docker私有仓库
目录Docker私有仓库一、registry 的搭建1、搭建2、验证二、docker镜像推送到阿里云镜像仓库1、容器镜像服务控制台概览2、创建镜像仓库3、选择本地仓库4、点击管理5、Docker登录阿里云容器镜像仓库6、推送创建的
【我们是冠军】2021年大数据领域第一名の博客之星活动复盘
文章目录博客之星活动复盘:心路历程:开始的12月28日两个技巧掉分后躺进第二名最后两天 从第二名到第一名最后的助攻总结收获了哪些?付出了什么?我的取胜策略将要实习反思博客之星活动复盘:大家好，我是Maynor学长，侥幸获得了大数据领域第一名，乾坤未定，你我皆是黑马。下面我就来复盘一下整个参赛过程，以
大数据中的Shell定时器-大数据开发中将会经常的使用到定时器
大数据中的Shell定时器-大数据开发中将会经常的使用到定时器
