在模拟中评估您的 AWS DeepRacer 模型

训练作业完成后，您应评估训练后的模型以评估其融合行为。评估方式是：在选定赛道上完成多项预赛，并根据训练后的模型推断出的可能操作让代理在赛道上移动。性能指标包括赛道完成百分比以及每个赛道从开始到结束或偏离赛道的时间。

要评估您的训练模型，您可以使用 AWS DeepRacer 控制台。为此，请按照本主题中的步骤操作。

在 AWS DeepRacer 控制台中评估经过训练的模型

  1. 通过 https://console.aws.amazon.com/deepracer 打开 AWS DeepRacer 控制台。
  2. 在主导航窗格中，选择 Models (模型)，然后从 Models (模型) 列表中选择刚才训练的模型以打开模型详细信息页面。
  3. 选择 “评估” 选项卡。
  4. 在评估详细信息中，选择开始评估。

evaluation_details_start.png
如果训练作业未完成，您可以在训练作业状态更改为 Completed (已完成) 或模型的状态更改为 Ready (就绪) 后开始评估。

训练作业完成后，模型便已就绪。如果训练未完成，并且训练最终为失败状态，模型也可能处于 Ready (就绪) 状态。

  1. 在评估模型页面的竞赛类型下，输入评估名称，然后选择用于训练模型的赛车类型。

为了进行评估，您可以选择与训练中使用的赛事类型不同的赛事类型。例如，您可以为 head-to-bot 比赛训练模型，然后对其进行计时试验。一般来说，如果训练用赛事类型与评估用赛事类型不同，模型必须很好地推广运用。第一次运行时，您应该使用相同的赛事类型进行评估和训练。

  1. 在评估模型页面的评估标准下，选择要运行的试验数量，然后选择评估模型的轨道。

evaluation_select_track.png
通常情况下，您希望选择与在训练模型时所用赛道相同或相似的赛道。虽然您可以选择任何跑道来评估您的模型，但您只能期望在与训练所用赛道最相似的赛道上获得最佳成绩。

要查看您的模型能否很好地推广运用，请选择与训练中使用的赛道不同的评估赛道。

  1. 在 Evaluate model (评估模型) 页面的Virtual Race Submission (模拟赛提交)下，对于您的第一个模型，关闭 Submit model after evaluation (评估后提交模型) 选项。稍后，如果您想参加赛车赛事，请保持此选项处于启用状态。

deepracer-get-started-evaluate-virtual-race-submit.png

  1. 在 Evaluate model (评估模型) 页面上，选择 Start evaluation (开始评估) 以开始创建和初始化评估作业。

此初始化过程需要大约 3 分钟才能完成。

  1. 随着评估的进展，评估结果，包括试验时间和跟踪完成率，将显示在每次试验后的评估详细信息下方。在 Simulation video stream (模拟视频流) 窗口中，您可以查看代理在所选赛道上的表现。
  2. 您可以在评估作业完成之前停止评估作业。要停止评估作业，请选择评估卡右上角的停止评估，然后确认停止评估。

评估作业完成后，在 Evaluation results (评估结果) 下检查所有计时赛的绩效指标。随附的模拟视频流不再可用。

评估选择器中提供了模型评估的历史记录。要查看特定评估的详细信息，请从评估选择器列表中选择评估，然后从评估选择卡的右上角选择负载评估。

evaluation_selector_complete.png

对于这项特定的评估工作，经过训练的模型在完成试验时会产生显著的偏离轨道时间。作为第一次，这并不罕见。可能的原因包括训练没有融合，训练需要更长时间，需要扩大操作空间以便为代理提供更多的反应空间，或者需要更新奖励函数以处理不同的环境。

在这种情况下，您可以通过克隆之前训练的模型、更改奖励函数、调整超参数，然后重复该过程，直到总奖励融合并且改进了性能指标，以此来改进模型。有关如何改进训练的更多信息，请参阅训练和评估 AWS DeepRacer 模型。

要将经过完全训练的模型传输到您的 AWS DeepRacer 设备以便在物理环境中驾驶，您需要下载模型构件。为此，请在模型的详细信息页面上选择 Download model (下载模型)。如果您的 AWS DeepRacer 物理设备不支持新传感器，并且您的模型已使用新的传感器类型进行训练，则在现实环境中在 AWS DeepRacer 设备上使用模型时，您将收到一条错误消息。有关使用物理设备测试 AWS DeepRacer 模型的更多信息，请参阅操作您的 AWS DeepRacer 车辆 。

在与 AWSDeepRacer League 赛车赛事或 AWS DeepRacer 社区竞赛中指定的赛道相同或相似的赛道上训练模型后，即可将模型提交到 AWS DeepRacer 控制台中的虚拟竞赛。为此，请在主导航窗格上关注AWS虚拟赛道或社区竞赛。有关更多信息，请参阅加入 AWS DeepRacer 竞赛：

要训练模型以避障或 head-to-bot 竞赛，可能需要向模型和物理设备添加新的传感器。有关更多信息，请参阅 了解赛车类型并启用 AWS 支持的传感器 DeepRacer。

标签: none