大数据开发——Hive实战案例
1. 创建表结构1.1 视频表结构1.2 用户表结构2. 准备工作2.1 创建临时表2.2 创建最终使用表2.3 对创建表进行解读3. 业务分析
[hadoop全分布部署]安装Hadoop、配置Hadoop 配置文件①
安装Hadoop、配置Hadoop 配置文件一、配置hadoop-env.sh文件二、配置 hdfs-site.xml 文件参数
[hadoop全分布部署]虚拟机Hadoop集群交换 SSH 密钥与验证SSh无密码登录
虚拟机Hadoop集群交换 SSH 密钥与验证SSh无密码登录
农业病虫害数据集与算法——调研整理
通过博客和文献调研整理的一些农业病虫害数据集与算法。
i春秋首届全国数据安全大赛部分复盘
2022年10月25日，为期两日的数据安全大赛于i春秋平台线上举行，在王队长的领队下，团队三个屁民开始了有趣的解题之旅。题目分为四个类型，分别是“安全知识”、“数据分析”、“数据算法”、以及数据安全。时间有点短，再加上有里还有活要干，所以很多题也没有答完，这次由我代表大家给大家进行一个复盘。
猿创征文｜后端开发工程师提升开发效率神器推荐
对于现在的后端工程师来说，并不仅仅局限于编写代码和解决bug，这两个要素了。如果你目前还只是忙碌的写代码和改bug的话，那要深度思考一下，我为什么日复一日的写这些重复代码？这样有何意义？或者说，有没有一些神器，使这些重复性的代码，编写一次即可，省下的时间，可以做一些有意义的事情？有没有一些开发神器，
单商户商城系统功能拆解20—售后订单
单商户商城系统，也称为B2C自营电商模式单店商城系统。可以快速帮助个人、机构和企业搭建自己的私域交易线上商城。单商户商城系统完美契合私域流量变现闭环交易使用。通常拥有丰富的营销玩法，例如拼团，秒杀，砍价，包邮，优惠券，大转盘抽奖，签到等等。配合当下流行的分销推广功能，可以快速拉新裂变，实现用户增长。
用Python对淘宝用户行为数据的分析
用户行为数据分析
主成分分析（PCA）及其可视化——python
一、主成分分析的原理主成分分析是利用降维的思想，在损失很少信息的前提下把多个指标转化为几个综合指标的多元统计方法。通常把转化生成的综合指标称之为主成分，其中每个主成分都是原始变量的线性组合，且各个主成分之间互不相关，这就使得主成分比原始变量具有某些更优越的性能。这样在研究复杂问题时就可以只考虑少数几
卡尔曼滤波
目录1.卡尔曼滤波入门2.学卡尔曼滤波的必备知识2.1.状态空间表达式2.2.高斯分布2.3.方差2.4.超参数2.5.卡尔曼直观图解3.卡尔曼滤波3.1.卡尔曼公式理解3.2.调节超参数3.2.1.Q和R的取值3.2.2.P0和X0的取值3.2.3.卡尔曼滤波的使用...
【软考】系统集成项目管理工程师（六）项目整体管理
软考中级——系统集成项目管理工程师备考干货第六章：项目整体管理。
虚拟机安装 Ubuntu 20.04-server 详细教程
Ubuntu 20.04-server 详细安装图文教程！！！
图解KafkaConsumer SyncGroupRequest请求流程
在上一篇文章中,我们分析了JoinGropRequest的流程,详细请看Kafka消费者JoinGroupRequest流程解析那么我们知道,在执行完了JoinGroupRequest之后, 所有的Member都对消费组协调器发起了SyncGroupRequest请求那么SyncGroup具体做了哪
什么是推荐系统？推荐系统类型、用例和应用
当前基于 DL 的推荐系统模型：DLRM、Wide and Deep (W&D)、神经协作过滤 (NCF)、b变分自动编码器 (VAE) 和 BERT（适用于 NLP）构成了 NVIDIA GPU 加速 DL 模型产品组合的一部分，并涵盖推荐系统以外的许多不同领域的各种网络架构和应用程序，包括图像、
Hudi源码|Insert源码分析总结（一）(整体流程)
Hudi Java Client总结|读取Hive写Hudi代码示例。以Java Client为例的原因：1、自己生产上用的Java Client，相比于Spark客户端更熟悉一点。2、Java Client和Spark、Flink客户端核心逻辑是一样的。不同的是比如Spark的入口是DF和SQL，
如何用Know Streaming 快速对Kafka Topic 完成扩缩副本操作
扩缩副本功能是原生Kafka没有的功能，或者说是没有直接提供的功能。但是对于扩缩副本这么一个操作功能, 是属与平时不会用, 想用的时候干着急。比如一开始你的Topic副本数填的是1, 运行了一段时间之后发现, 1的副本可不行啊, 高可用性大大降低, 需要扩副本。但是你想要扩副本的时候才发现, kaf
数据仓库基础（通俗易懂，好文）数仓概念
作为程序员要必须知道的数仓知识，建议看看，通俗易懂，简单明了。 什么是维度表，事实表，数仓模型？
大数据ClickHouse进阶（二十）：MaterializeMySQL物化引擎深入了解
在ClickHouse基础课程中我们知道可以使用两种方式通过ClickHouse可以操作MySQL数据库，分别使用使用 MySQL数据库引擎和MySQL表引擎。使用MySQL数据库引擎将远程MySQL服务器的表映射到ClickHouse中，允许对表进行和，方便ClickHouse与MySQL之间进行
大数据行业现在工作很难找吗？
工作到底好不好找，市场需求是一方面，更多的还是要看个人成长背景和实际能力~ 抛开两点都不谈就单说好找或者不好找纯属有点耍流氓了~大数据开发主要是负责大数据挖掘，大数据清洗处理，大数据建模等，负责大规模数据的处理和应用，工作以开发为主与大数据可视化分析工程师相互配合，从数据中挖掘出价值为企业业务发展提
大数据项目之电商数仓、Zookeeper安装（完整版）
集群模式下配置一个文件myid，这个文件在dataDir目录下，这个文件里面有一个数据就是A的值，Zookeeper启动时读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server。D是万一集群中的Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Lea
