3、Yarn集群terasort测试_Hadoop性能测试_托管Hadoop

帮助文档（华北一、二）

使用hadoop自带的hadoop-example.jar的teragen生成200GB数据。从10GB开始，每次增加10GB数据作为测试数据源，测试terasort排序时间。生成数据和测试代码如下：

● terasort生成数据和测试代码

#!/bin/bash

/home/hadoop/bin/hadoop jar /home/hadoop/hadoop-examples.jar teragen -

Dmapred.map.tasks=200 10737418240 /terasort/200G-input

${HADOOP_HOME}/bin/hadoop fs -mkdir -p /terasort/in/

${HADOOP_HOME}/bin/hadoop fs -mv /terasort/in/* /terasort/200G-input/

for i in {1..20}

for f in `${HADOOP_HOME}/bin/hadoop fs -ls /terasort/200G-input/ |

grep part | awk '{print $NF}' | head -n 10`

${HADOOP_HOME}/bin/hadoop fs -mv $f /terasort/in/

done

${HADOOP_HOME}/bin/hadoop fs -rmr /terasort/output

echo -n "file count = "

${HADOOP_HOME}/bin/hadoop fs -ls /terasort/in/ | grep part | wc –l

echo ""

time ${HADOOP_HOME}/bin/hadoop jar /home/hadoop/hadoop-examples.jar

terasort -Dmapred.reduce.tasks=50 /terasort/in /terasort/output

done

对4个集群的测试结果如下：

● 表3.1 yarn集群terasort测试结果

● 图3.1 yarn集群terasort处理耗时

● 图3.2 yarn集群terasort处理速度

terasort算法简介参见：

最新活动