跳到正文
AWS Machine Learning Blog· Joseph Cottingham·· 2 小时前AI 评分48

停止为 Amazon SageMaker AI 上的 TTS 猜测自动扩缩容目标

Stop guessing auto scaling targets for TTS on Amazon SageMaker AI

AI 导读

AWS 提出用实测数据替代猜测,为 Amazon SageMaker AI 上的 TTS 服务建立自动扩缩容策略。以 Kokoro-82M(8200万参数)为例,通过实测 Q_max(SLO 内最高并发)和 T_total(扩缩耗时),由算术推导得到扩缩容阈值与冷却时间。

来源:AWS Machine Learning Blog · aws.amazon.com