ITU-T Recommendations

机器学习（ML）/人工智能（AI）监测是指，在生产环境中对ML/AI系统进行持续、实时地跟踪和观察。ML/AI监测旨在评估ML/AI模型的性能，以确定其是否处于有效运行状态。当ML/AI模型出现部分性能下降时，应采取适当的维护措施以恢复其性能。ML/AI模型是基于历史数据和对运行环境的假设进行训练的。但环境是动态的，这种动态变化可能引发数据漂移和概念漂移等现象，进而导致模型退化，即模型的预测准确性或决策质量随时间推移而下降。因此，应对ML/AI模型的环境和运行状态进行监测，以确定是否应对模型进行更新。为应对各类导致性能下降的问题，需定义并监测一组相应的参数和事件。因此，根据具体用例、数据特征和业务需求选择合适的监测策略，是确保ML/AI系统长期可靠性和有效性的关键步骤。ITU-T Q.4081建议书提供了关于ML/AI监测方法和指标的指南和参考。