导入
使用 SageMaker AI 部署基础模型
学习如何通过 Amazon SageMaker AI 部署基础模型，通过选择合适的端点策略来实现性能、成本和扩展性之间的平衡。
...
使用实时端点实现低延迟请求处理
...
异步处理 SageMaker AI 端点以执行长时间运行的 GenAI 任务
...
使用实时端点实现低延迟请求处理
Table
| Endpoint Type | Best Suited for | Key Strengths | Key Limitations |
|---|---|---|---|
| Real-time endpoints | 交互式、低延迟的 GenAI 应用 | 可预测的延迟，预热模型，同步响应，并支持基于 GPU 的推理 | 持续成本，不适合极长请求 |
| Asynchronous endpoints | 大规模或长时间运行的生成任务 | 能够处理长时间执行，客户端解耦 | 不支持交互，不适合近实时用例，端到端延迟较高 |
| Serverless inference | 偶发性、低吞吐量的工作负载 | 无空闲成本，操作简化 | 冷启动，不支持 GPU，大型模型存在内存和运行时限制 |