AWS Machine Learning Blog· Shantanu Tripathi·· 2 小时前AI 评分58
Amazon SageMaker Inference 支持 NVIDIA MIG GPU 分区以提升利用率
SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints
AI 导读
Amazon SageMaker Inference 新增 GPU 分区功能，利用 NVIDIA Multi-Instance GPU (MIG) 将物理 GPU 划分为多个硬件隔离的独立分区，每个分区固定分配计算单元和显存。
来源：AWS Machine Learning Blog · aws.amazon.com