hadoop-teragen库的使用

一、Teragen的作用

Teragen主要用于生成大规模的数据集，这些数据集通常用于测试Hadoop集群的性能和MapReduce作业的效率。它生成的数据具有一定的格式，通常包括一个随机的二进制代码作为key，一个行ID，以及一段填充数据。

二、Teragen的使用

1. 命令格式：bash复制代码``````hadoop jar hadoop-examples.jar teragen <number_of_rows> <output_directory>其中，<number_of_rows>表示要生成的数据行数，<output_directory>表示输出数据的HDFS目录。
2. 示例：假设要生成1GB的数据，由于Teragen每行数据的大小是100字节，因此需要生成100,000,000（1G/100）行数据。命令如下：bash复制代码``````hadoop jar hadoop-examples-0.20.2-cdh3u6.jar teragen 100000000 /terasort/input1GB或者在新版本的Hadoop中，示例JAR文件的位置和名称可能有所不同，例如：bash复制代码``````hadoop jar /usr/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar teragen 100000000 /terasort/input1GB
3. 参数调整：- 可以通过-Dmapred.map.tasks=<number>参数来指定Map任务的数量，以影响生成文件的个数和并行度。- 例如，要生成1TB的数据并指定100个Map任务，可以使用以下命令：bash复制代码``````hadoop jar hadoop-examples.jar teragen -Dmapred.map.tasks=100 1099511627776 /terasort/1TB-input（注意：1TB=10244/100=1099511627776）

三、Teragen生成的数据格式

Teragen生成的数据每一行通常包括三部分：

1. 前10个字节：随机二进制代码，作为key。
2. 中间10个字节：行ID。
3. 后面80个字节：填充数据，由8段相同的随机大写字母组成。

四、Teragen在Hadoop生态系统中的位置

Teragen是Hadoop MapReduce框架中的一个示例程序，它展示了如何使用MapReduce来生成大规模数据集。在Hadoop生态系统中，Teragen通常与TeraSort（用于对数据集进行排序）和TeraValidate（用于验证排序结果）一起使用，以测试和验证Hadoop集群的性能和正确性。

五、注意事项

1. 在使用Teragen时，请确保Hadoop集群已经正确配置并运行。
2. 根据集群的规模和性能，调整Map任务的数量以优化生成数据的速度和并行度。
3. 生成的数据通常存储在HDFS中，因此请确保HDFS有足够的存储空间来存储生成的数据集。

综上所述，Hadoop-Teragen是一个用于生成大规模数据集的MapReduce示例程序，在Hadoop集群测试和性能评估中发挥着重要作用。

六、示例操作

（前置安装hadoop jdk并完成安装配置部署）

创建hdfs路径(注意不要创建teragen库的指定存放路径否则会报错)

hdfs dfs -mkdir -p  /teragen

检查路径是否成功创建

hdfs dfs -ls -R /teragen

使用teragen生成数据集：

hadoop jar /opt/module/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.4.jar teragen 10000000   /teragen/data

语句解析

hadoop jar /opt/module/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.4.jar（使用的jar包的路径） teragen 10000000 （使用代码）  /teragen/data（存放结果的hdfs路径）

查询结果

hdfs dfs -ls -R /teragen

查询结果(随机生成的数，这样的数据没有问题)

hdfs dfs -cat /teragen/data/part-m-00000  |head -n 2

hdfs dfs -cat /teragen/data/part-m-00001  |head -n 2