免费注册
帮助文档(华北一、二)

  • 3.1 利用hadoop命令查看hdfs目录信息

    3.2 创建目录,并上传测试数据

     

    [root@uhadoop-******-master1 ~]# hadoop fs -mkdir /input

    [root@uhadoop-******-master1 ~]# hadoop fs -put /home/hadoop/conf/* /input

    3.3 执行WordCount任务

     

    [root@uhadoop-******-master1 ~]# hadoop jar /home/hadoop/hadoop-

    examples.jar wordcount /input /output

    提示:如果/output目录已存在,请删除该目录或使用其他目录。

    3.4 查看wordcount任务的结果

     

    [root@uhadoop-******-master1 ~]# hadoop fs -cat /output/part-r-00000

    !=  3

    ""  6

    "". 4

    "$HADOOP_CLASSPATH" 1

    "$JAVA_HOME"    2

    "$YARN_HEAPSIZE"    1

    "$YARN_LOGFILE" 1

    "$YARN_LOG_DIR" 1

    "$YARN_POLICYFILE"  1

    "*" 17

    3.5 若集群安装了spark服务,可提交spark任务

     

    spark-submit  --master yarn --deploy-mode client --num-executors 1 --

    executor-cores 1 --executor-memory 1G 

    $SPARK_HOME/examples/src/main/python/pi.py 100

    屏幕信息中会打印任务执行结果:

     Pi is roughly 3.141313

    更多使用内容,请参考 Hadoop开发指南


文档是否已解决您的问题?

  已解决   未解决

如您有其它疑问,您也可以与我们技术专家联系探讨。

联系技术专家