Sqoop 从入门到精通
Sqoop是Hadoop和关系数据库服务器之间传送数据的一种工具。它是用来从关系数据库如：MySQL，Oracle到Hadoop的HDFS，并从Hadoop的文件系统导出数据到关系数据库。传统的应用管理系统，也就是与关系型数据库的使用RDBMS应用程序的交互，是产生大数据的来源之一。这样大的数据，由
第1关：数据清洗MapReduce综合应用案例 — 招聘数据清洗
第1关：数据清洗MapReduce综合应用案例 — 招聘数据清洗
数字政府案例|广东省数据资源一网共享平台案例
四是数据类型丰富，包含了库表、接口、电子证照、电子地图、视频，提供库表、接口、文件、证照等多种数据提供方式；广东省数据资源一网共享平台目前已构建“数据编目挂接体系”、“数据共享交换体系”、“数据质量检测体系”、“数据加密解密体系”、“数据智能推荐体系”等18大省市一体化体系架构，通过统一技术标准、规
高性能分布式对象存储——MinIO实战操作（MinIO扩容）
MinIO 是在 GNU Affero 通用公共许可证 v3.0 下发布的高性能对象存储。它与 Amazon S3 云存储服务 API 兼容。使用 MinIO 为机器学习、分析和应用程序数据工作负载构建高性能基础架构。
漏洞复现：Apache Spark 命令注入（CVE-2022-33891）
ApacheSparkUI可以设置选项spark.acls.enable启用ACL，使用身份验证过滤器。用以检查用户是否具有查看或修改应用程序的访问权限。如果启用了ACL则HttpSecurityFilter中的代码路径可以允许用户通过提供任意用户名来执行命令。该功能最终将根据用户输入构建一个Uni
大数据处理——Java
Java是处理大数据的首选语言之一，它可以与Apache Hadoop和Spark等大数据处理框架集成。Java提供了处理大数据所需的可扩展性和灵活性。
大数据之Hadoop数据仓库Hive
Hive 是一个构建在 Hadoop 之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类 SQL 查询功能，用于查询的 SQL 语句会被转化为 MapReduce 作业，然后提交到 Hadoop 上运行。简单、容易上手 (提供了类似 sql 的查询语言 hql)，使得精通 sql 但是不了解
云计算与大数据实验五 MapReduce编程
函数的输入键，输入值，和输出键，输出值的类型。就第一关的例子来说，输入键是一个长整型，输入值是一行文本，输出键是单词，输出值是单词出现的次数。程序会对你编写的代码进行测试： 输入已经指定了测试文本数据：需要你的程序输出合并去重后的结果。是一种可用于数据处理的编程模型，我们现在设想一个场景，你接到一个
MQTT5.0新特性（比对3.1.1）
MQTT（MessageQueuingTelemetryTransport），即消息队列遥测传输协议，是一种基于发布/订阅的消息传输协议。其轻量、开放、简洁和易实现的特点能够适用于要求代码量小、网络带宽资源匮乏的情景，如机器间通信（M2M）、物联网等。...
【程序人生】纳瓦尔：确保稀缺性的最简单的方法就是这个东西来自你的个性 | 纳瓦尔宝典
纳瓦尔在《纳瓦尔宝典》这本书的后半部分，探讨了许多关于幸福人生的思考。他用格言式的思考加上循循善诱的解释来传递自己的幸福观和人生观，展示出了一种不同于传统思维的生活态度。这些观点虽然简洁明了，但是它们背后所蕴含的哲学思想却十分深刻。对于我们每个人来说，这些观点都具有重要的启示意义，帮助我们更好地追求
数据库审核工具SQLE部署及使用
点击上方蓝字关注我SQLE（ https://opensource.actionsky.com/sqle/ ）是由上海爱可生信息技术股份有限公司 开发并开源，支持多场景审核，支持标准化上线流程，原生支持 MySQL 审核且数据库类型可扩展的 SQL 审核工具。我们可以基于此工具进行数据库SQL审核，
Kafka实时数据同步
支持Oracle、DB2、SQL Server、MySQL、达梦等交易数据库实时数据捕获（日志解析），支持SAP Hana、GreenPlum、ClickHouse、Hbase、Hive等分析数据库批量数据写入。支持实时捕获业务系统变化数据并将其发步到Kafka，也支持从Kafka订阅实时数据并写入
基于Spark的电影推荐系统实现
受某视频网站委托，需开发一套基于Spark的大数据机器学习系统，应用协同过滤算法对网站客户进行电影推荐。本案例所使用的数据集说明如下： 评分数据集：/data/dataset/ml/movielens/ratings.csv 电影数据集：/data/dataset/ml/movielens/mo
Es 介绍
每隔 5s，将数据写入 translog 文件（这样如果机器宕机，内存数据全没，最多会有 5s 的数据丢失），translog 大到一定程度，或者默认每隔 30mins，会触发 commit 操作，将缓冲区的数据都 flush 到 segment file 磁盘文件中。拆分多个 shard 是有好处
2021 年高教社杯全国大学生数学建模竞赛 E 题 中药材的鉴别 第一题
数据预处理>特征值提取>聚类分析>类别差异分析
解决hive表中文乱码问题
hive字段名称和字段描述等存储进如hivemetastore是中文，查询出来也是???等无法识别的中文乱码；
windows入门级Elasticsearch安装教程
windows上elasticsearch的安装和一些基本的操作，初学者方便学习，本人也是初学者记录一下学习过程和心得
如何在eclipse里面配置maven？
Apache Maven是一个项目管理和自动构建工具，基于项目对象模型（POM）的概念。 作用：完成项目的相关操作，如：编译，构建，单元测试，安装，网站生成和基于Maven部署项目。1. Window - Preferences 2.直接选择路径就可以了(不要选bin目录，会报错)，然
