本课程中的测试和调试指南可能比较复杂。 您可以使用 TensorFlow 和 TensorFlow Extended (TFX) 来实现一些准则。TFX 是基于 TensorFlow 的端到端机器学习流水线。如需查看演示,请观看此端到端 TFX 示例。 为了对端到端示例进行补充,下表按照指南列出了 TF 和 TFX 中的可用资源。系统仅会列出 TF 或 TFX 支持的准则。
Guideline | TF/TFX 实现 | Google 内部实现 |
---|---|---|
调试机器学习模型的准则 | ||
探索数据以理解数据 | 使用 Pandas 或 Facets 探索数据。
|
|
使用数据架构验证输入数据 | 使用 TensorFlow 数据验证。 |
|
确保拆分的质量良好 | -- | TFX 会随机拆分数据。不过,TFX 目前没有提供监控分屏质量的方法。 |
测试工程数据 | -- | 为 TFX 转换组件编写单元测试。请参阅 tf.transform 输入的单元测试。 |
实现机器学习代码测试 | 首先,使用 Eager Execution 调试 TF 模型。然后使用 Tensorflow Testing 编写测试。 | 请参阅 TFX 中的单元测试和 tfx.unit。 |
优化 | ||
调整超参数 | 使用 Cloud ML 的超参数调节。 | 使用 TFX 调谐器并行调整超参数。请参阅自动调整模型。 |
指标 | ||
生成模型指标 | TensorBoard 可直观呈现您的 TF 图并绘制指标。请参阅 Tensorboard:图的可视化。 | 请参阅 Google 专用的 TensorBoard 帮助。 |
部署到流水线 | ||
监控整体流水线指标 | -- | 请参阅机器学习健康指标信息中心。 |
流水线的集成测试 | -- | 请参阅 TFX 集成测试。 |
在生产环境中测试模型质量 | 使用 Tensorflow 模型分析。 | 使用 TFX ModelValidator |
在提供服务之前验证模型基础架构兼容性 | -- | 使用 TFX InfraValidator。 |
检查训练-应用偏差 | 通过使用 TFX 转换在训练和服务期间共享特征工程代码,以避免特征偏差。 | 请参阅 TFX 训练-应用偏差检测。 |
跟踪模型过时 | -- | 未实现。请参阅功能请求跟踪 bug。 |