Model Serving的介绍

本周我们继续ML Platform的第三讲，很开心邀请到了Lize Cai和Zuxing Zhang给我们带来Model Serving的介绍，相关的内容总结如下：

Slides

1. Lize使用的Slides。
2. ML Platform系列讲座总结：
   • 第一讲：ML Infra的整体框架介绍
   • 第二讲：ML OPS的深入介绍
   • 第三讲：Model Serving的介绍
   • 第四讲：资源调度，Federated Learning的介绍
   • 第五讲：Model Distributed training的介绍
   • 第六讲：Feature Store, Parameter Server的介绍
   • 第七讲：KServe和Triton的介绍 — realtime inference

Q&A

感谢Nancy提供的笔记供参考

什么是onnx

1. 【扩展】使用ONNX部署深度学习和传统机器学习模型
2. 【扩展】ONNX简介
3. 【扩展】开源一年多的模型交换格式ONNX，已经一统框架江湖了？
4. 【扩展】ONNX 官网

什么是Knative/keda

1. 【扩展】Knative介绍
2. 【扩展】Knative 简介
3. 【扩展】为什么 KEDA 是 Kubernetes 自动伸缩的游戏规则改变者
4. 【扩展】Kubernetes使用Keda进行弹性伸缩，更合理利用资源
5. 【扩展】一文秒懂 K8S 基于事件驱动的自动伸缩

triton的介绍

1. 【扩展】利用 Triton 推理服务器实现的高性能服务
2. 【扩展】模型推理服务化之Triton：如何基于Triton开发自己的推理引擎？
3. 【扩展】使用 NVIDIA Triton 推理服务器快速、可扩展的 AI 模型部署
4. 【扩展】我不会用 Triton 系列：上手指北
5. 【扩展】AI Platform Prediction：适用于 NVIDIA Triton 推断服务器的直接模型服务器设置

再次感谢大家的参与，也希望大家有好的资源能联系我更新这篇文章，或者在下面留言。谢谢大家。

下周话题安排和往期话题回顾敬请参见《系统设计开荒小分队话题讨论简介》

欢迎大家订阅公众号或者注册邮箱（具体方法见左右侧边栏），可以第一时间收到更新。