Model Serving的介绍

本周我们继续ML Platform的第三讲,很开心邀请到了Lize Cai和Zuxing Zhang给我们带来Model Serving的介绍,相关的内容总结如下:

Slides

  1. Lize使用的Slides
  2. ML Platform系列讲座总结:

Q&A

感谢Nancy提供的笔记供参考

什么是onnx

  1. 【扩展】使用ONNX部署深度学习和传统机器学习模型
  2. 【扩展】ONNX简介
  3. 【扩展】开源一年多的模型交换格式ONNX,已经一统框架江湖了?
  4. 【扩展】ONNX 官网

什么是Knative/keda

  1. 【扩展】Knative介绍
  2. 【扩展】Knative 简介
  3. 【扩展】为什么 KEDA 是 Kubernetes 自动伸缩的游戏规则改变者
  4. 【扩展】Kubernetes使用Keda进行弹性伸缩,更合理利用资源
  5. 【扩展】一文秒懂 K8S 基于事件驱动的自动伸缩

triton的介绍

  1. 【扩展】利用 Triton 推理服务器实现的高性能服务
  2. 【扩展】模型推理服务化之Triton:如何基于Triton开发自己的推理引擎?
  3. 【扩展】使用 NVIDIA Triton 推理服务器快速、可扩展的 AI 模型部署
  4. 【扩展】我不会用 Triton 系列:上手指北
  5. 【扩展】AI Platform Prediction:适用于 NVIDIA Triton 推断服务器的直接模型服务器设置

再次感谢大家的参与,也希望大家有好的资源能联系我更新这篇文章,或者在下面留言。谢谢大家。

下周话题安排和往期话题回顾敬请参见《系统设计开荒小分队话题讨论简介

欢迎大家订阅公众号或者注册邮箱(具体方法见左右侧边栏),可以第一时间收到更新。

You may also like...

4 Responses

  1. July 3, 2022

    […] 第三讲:Model Serving的介绍 […]

  2. July 10, 2022

    […] 第三讲:Model Serving的介绍 […]

  3. July 18, 2022

    […] 第三讲:Model Serving的介绍 […]

  4. July 31, 2022

    […] 第三讲:Model Serving的介绍 […]

Leave a Reply

Your email address will not be published.