ASPICE 4.0--ML4机器学习测试，如何应用在自动驾驶机器学习测试？-亚远景

发表时间：2024-01-16 作者：亚远景返回列表

ASPICE 4.0的机器学习模型测试过程的重点是测试经过训练的机器学习模型，以确保其符合机器学习要求。因此，需要指定一个机器学习测试方法，并根据ASPICE-SUP.11提供的机器学习数据收集和机器学习数据需求创建一个机器学习测试数据集。在成功测试经过训练的机器学习模型后，将推导并测试已部署的机器学习模型。已部署的机器学习模型将被集成到目标系统中，可能与经过训练的机器学习模型有所不同，后者通常需要强大的硬件并使用解释性语言。

测试机器学习模型的方法是通过比较使用经过训练或已部署的机器学习模型计算的测试数据结果与预期结果以及非功能性机器学习要求（例如KPI）之间的差异来执行，其中定义了在机器学习测试方法中的通过/失败标准。测试结果需要提供对使用的测试数据的有意义的摘要，这是测试执行所需的证据。测试数据集必须根据ASPICE-SUP.11提供的机器学习数据收集和机器学习测试方法创建。该机器学习测试数据集将用于最终测试经过训练的机器学习模型和已部署的机器学习模型，并且不得用于训练。这意味着不能基于机器学习测试数据集进行重大更改/优化。因为每次优化都会使一些信息快速泄漏到数据集中，导致过度拟合所使用的数据集。

如果测试失败且需要优化机器学习模型，则必须确保机器学习测试数据集仍然可靠，以确保符合机器学习要求。因此，可能需要更改机器学习测试数据集。

应用在自动驾驶中，可以按照以下步骤进行机器学习测试：
1. 确定自动驾驶系统的关键功能和性能指标（KPI），例如车辆检测准确率、决策准确性等。
2. 根据SUP.11提供的数据采集和需求，创建一个包含各种驾驶场景和条件的机器学习数据集。
3. 使用该数据集训练一个机器学习模型，例如卷积神经网络（CNN）或循环神经网络（RNN）。
4. 使用指定的机器学习测试方法对经过训练的机器学习模型进行测试，比较其输出结果与预期结果以及KPI之间的差异。
5. 如果测试通过，则将已部署的机器学习模型集成到自动驾驶系统中进行进一步验证和测试。
6. 如果测试未通过，则需要对机器学习模型进行优化和调整，并重新进行测试，直到满足所有要求为止。
7. 在整个过程中，确保不使用机器学习测试数据集进行训练或优化，以保证其可靠性和一致性。