Yarn常用命令
Apache Hadoop YARN(Yet Another Resource Negotiator)提供了一系列的命令行工具,用于管理和监控YARN集群。以下是一些常用的YARN命令,这些命令可以帮助用户和管理员监控资源使用情况、管理应用程序和容器、以及进行故障排查等操作:
1. 应用程序管理
yarn application -list
: 列出所有应用程序。yarn application -status <applicationId>
: 获取应用程序状态。yarn application -kill <applicationId>
: 终止应用程序。yarn application -get-application-report <applicationId>
: 获取应用程序的详细报告。yarn application -get-application-attempts <applicationId>
: 列出应用程序的所有尝试。yarn application -get-application-attempt-report <applicationId>.<attemptId>
: 获取应用程序尝试的报告。yarn application -submit-application
: 提交一个新的应用程序。
2. 日志管理
yarn logs -application <applicationId>
: 获取应用程序日志。yarn logs -applicationattempt <applicationId>.<attemptId>
: 获取应用程序尝试的日志。
3. 节点管理
yarn node -list
: 列出所有节点。yarn node -report
: 获取集群的资源报告。yarn node -get-healthReport <nodeId>
: 获取节点的健康报告。yarn node -get-metrics <nodeId>
: 获取节点的性能指标。yarn node -get-resource <nodeId>
: 获取节点的资源信息。
4. 容器管理
yarn container -list <applicationId>
: 列出应用程序的所有容器。yarn container -get-container-log <containerId>
: 获取容器的日志。
5. 队列管理
yarn queue -list
: 列出所有队列。yarn queue -info <queueName>
: 获取队列的详细信息。yarn queue -acls
: 显示队列的访问控制列表。
6. 集群管理
yarn cluster -get-metrics
: 获取集群的性能指标。yarn cluster -get-scheduler
: 获取调度器的详细信息。
7. 安全管理
yarn rmadmin -refreshServiceAcl
: 刷新服务级别的访问控制列表。yarn rmadmin -refreshQueues
: 刷新队列配置。
8. 辅助命令
yarn jar <jarFile> <mainClass> [args]
: 直接提交一个JAR文件作为应用程序运行。
9. 状态监控
yarn rmadmin -get-cluster-timeline
: 获取集群的时间线数据。yarn rmadmin -get-cluster-state
: 获取集群的状态信息。
10. 高级管理
yarn rmadmin -refreshNodes
: 刷新节点列表,当有新节点加入或旧节点离开集群时使用。yarn rmadmin -refreshSuperUserGroupsConfiguration
: 刷新超级用户组的配置。
每个命令都有其特定的语法和参数,你可以通过yarn <command> -help
来查看特定命令的帮助信息,以获取更详细的说明和示例。这些命令覆盖了从应用程序提交、监控到节点和集群级别的管理,为Hadoop YARN提供了全面的控制和管理能力。