hdfs常用命令
简单常用的hdfs命令
【Hive+MySQL+Python】淘宝用户购物行为数据分析项目
user_data.csv是一份用户行为数据，时间区间为2017-11-25到2017-12-03，总计29132493条记录，大小为1.0G，包含5个字段。数据集的每一行表示一条用户行为，由用户ID、商品ID、商品类目ID、行为类型和时间戳组成，并以逗号分隔。
【大数据】什么是数据集成？（SeaTunnel 集成工具介绍）
数据集成是指将来自不同数据源的数据整合到一起形成一个统一的数据集。这个过程包括从不同的数据源中收集数据，对数据进行清洗、转换、重构和整合，以便能够在一个统一的数据仓库或数据湖中进行存储和管理。数据集成可以帮助企业更好地理解和利用他们的数据，并促进数据驱动的决策和业务流程优化。在数据集成过程中，需要考
SparkSQL简单使用
Spark SQL是用来操作结构化和半结构化数据的接口。 当每条存储记录共用已知的字段集合，数据符合此条件时，Spark SQL就会使得针对这些数据的读取和查询变得更加简单高效。具体来说，Spark SQL提供了以下三大功能： (1) Spark SQL可以从各种结构化数据源（例如JSON、Parq
中医脉诊仪：结合传统与现代技术的诊断工具
中医脉诊仪是一种将传统脉诊原理与现代科技相结合的诊断工具，具有高度的应用价值。通过高精度压力传感器、数字处理技术和人工智能算法，脉诊仪能够实现客观、量化的脉搏数据分析，提高诊断的准确性和效率。在临床、教学和研究等领域均有广泛应用。随着科技的进步，中医脉诊仪将朝着多功能化、智能化和个性化等方向发展，进
【头歌】Sqoop的安装与配置 - 详解
【主要内容】Sqoop的安装与配置。【实践内容】Sqoop的安装与配置全过程解析及说明。
java连接HDFS
HDFS连接java
常用命令之zookeeper命令
ZooKeeper提供了一个非常简单的命令行客户端zkCli，它在ZooKeeper安装目录的bin目录下。输入./zkCli.sh命令默认连接本地127.0.0.1:2181节点，如果我们需要连接远程节点可以使用./zkCli.sh -server ip:2181方式进行连接。连接过程中会输出一大
mySQL和Hive的区别
整体1、存储位置：Hive在Hadoop上；Mysql将数据存储在设备或本地系统中；2、数据更新：Hive不支持数据的改写和添加，是在加载的时候就已经确定好了；数据库可以CRUD；3、索引：Hive无索引，每次扫描所有数据，底层是MR，并行计算，适用于大数据量；MySQL有索引，适合在线查询数据；4
Sqoop详解
Sqoop(SQL-to-Hadoop)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDF
Hadoop项目案例：电影网站用户性别预测
hadoop项目实战：电影网站用户性别预测
数据库大数据量的优化方案
在系统开发的初期以及使用的初期，一般不会太过于在意数据库的设计以及sql语句的优化，这就会导致系统有可能在日积月累的海量数据下越来越慢直至崩溃，所以以后在系统 数据库设计之初完备的数据库模型的设计是必须的。优化数据库方案对于数据库的的优化此处给出三种优化方案：1.优化现有mysql数据库优点：不影响
【大数据】Hadoop总结
一、概述1. Hadoop特性2. HDFS结构HDFS 架构二、HDFS分布式文件系统1 概述2. HDFS存储数据架构图NameNodeDataNode3 HDFS优点4 HDFS缺点（不适用HDFS的场景）5 HDFS技术细节BlockNameNodeDataNode6 HDFS 副本放置策略
Kettle（三）数据写入错误如何处理？
Kettle作为数据治理工具，总是会涉及到数据的搬迁，在原始数据过大、种类过多时写入肯定会出现一些错误（缺少必填项、数据格式错误、主键冲突等等），那么Kettle如何解决？其实Kettle与我们自己写程序的思维不会有本质性的差别，因此我们常见的处理方式基本上都可以得到解决。基本上我们常规的解决办法：
Linux安装Spark的详细过程
Linux安装Spark的详细过程；配置Spark的环境变量；启动Spark；关闭Spark。
RabbitMQ消息应答
1.概念消费者完成一个任务可能需要一段时间，如果其中一个消费者处理一个长的任务并仅只完成了部分突然它挂掉了，会发生什么情况，RabbitMQ一旦向消费者传递了一条消息，便立即将该消息标记为删除。在这种情况下，突然有个消费者挂掉了，我们将丢失正在处理的消息以及后续发送给该消费者的消息，因为它无法接收到
RabbitMQ --- 惰性队列、MQ集群
当生产者发送消息的速度超过了消费者处理消息的速度，就会导致队列中的消息堆积，直到队列存储消息达到上限。之后发送的消息就会成为死信，可能会被丢弃，这就是消息堆积问题。
Hadoop | 好用的脚本分享
Hadoop脚本！一键完成，从此告别重复操作！
SpringCloud：ElasticSearch之RestClient查询文档
文档的查询同样适用RestHighLevelClient对象，基本步骤包括：1）准备Request对象2）准备请求参数3）发起请求4）解析响应。查询的基本步骤是：创建SearchRequest对象准备Request.source()，也就是DSL。① QueryBuilders来构建查询条件② 传入
大数据Doris（三十八）：Spark Load 导入Hive数据
导入Hive分区表数据到对应的doris分区表就不能在doris中创建hive外表这种方式导入，因为hive分区列在hive外表中就是普通列，所以这里我们使用Spark Load 直接读取Hive分区表在HDFS中的路径，将数据加载到Doris分区表中。使用Spark Load 将Hive非分区表中
