免费注册
帮助文档(华北一、二)

  • 1、查看节点上的日志

    可在产品界面选择服务管理,查看相应服务运行的节点位置,登陆对应节点后进入查看所启动服务的服务日志。

    各服务日志所在位置如下所示:

    位置

    说明

    /var/log/hadoop-hdfs

    hdfs服务相关日志

    /var/log/hadoop-yarn

    yarn服务日志

    /var/log/hadoop-yarn

    yarn服务日志

    /var/log/hbase

    hbase服务日志

    /var/log/hive

    hive服务日志

    /var/log/hue

    hue服务日志

    /var/log/zookeeper

    zookeeper服务日志

    2、提交到yarn的任务日志

    用户可以在web yarn页面查看提交到yarn上的任务日志详情。由于任务日志界面需支持能访问集群各个节点,故可在浪潮云平台中的任意一台绑定外网IP的云服务器或托管Hadoop的Master节点上,配置代理或者VPN,以便能够访问到集群中的每个节点。

    A. 配置vpn

    可参考 配置openvpn文档配置vpn。

    注解:配置完成后,可在访问端加上集群节点中最新的host文件即可(登陆集群中任意节点,查看/etc/hosts)。

    B. 配置Nginx反向代理

    ● 服务端配置

    1. 安装Nginx

    yum install nginx -y

    2. 修改配置

    新建/etc/nginx/conf.d/proxy.conf 文件中添加如下配置

     

            server {

                 listen   8889;

                 client_body_timeout 60000;

                 client_max_body_size 1024m;

                 send_timeout   60000;

                 client_header_buffer_size 16k;

                 large_client_header_buffers 4 64k;

                 proxy_headers_hash_bucket_size 1024;

                 proxy_headers_hash_max_size 4096;

                 proxy_read_timeout 60000;

                 proxy_send_timeout 60000;

                 location / {

                 resolver 127.0.0.1;

                 proxy_pass http://$http_host$request_uri;

                 }

             }

    3. 启动nginx服务

     service nginx restart

    4. 启动域名服务

     service dnsmasq restart

    集群节点发生变化时,需要重新启动这个服务。

    ● 访问端配置

    1. 在访问的网页端配置代理

    2. 配置hosts

    需要在hosts中添加代理服务器的/etc/hosts文件中节点的host信息。

    例如:

     

    10.19.43.21 uhadoop-wpmitd-master1

    10.19.20.134 uhadoop-wpmitd-core1

    10.19.133.58 uhadoop-wpmitd-master2

    用户登录web yarn页面可通过任务id 来搜索对应任务,查看任务状态,并点击任务,获取任务日志,查看详情进行分析。

    3、查看hdfs上的历史日志

    yarn任务的日志在任务运行结束之后会上传到hdfs上,当日志文件过大无法通过web来查看时,可以通过将日志文件从hdfs上下载下来查看。

    日志文件的目录是:hdfs://Ucluster/var/log/hadoop-yarn/apps/$SUBMITUSER/logs

    注解:$SUBMITUSER是当前提交用户的名。


文档是否已解决您的问题?

  已解决   未解决

如您有其它疑问,您也可以与我们技术专家联系探讨。

联系技术专家