Serverless化覆蓋多樣推理場景

作為云上AI推理服務平臺,PAI-EAS在基礎設施層、容器調(diào)度層、模型部署層都提供豐富的產(chǎn)品功能,貼合不同場景的個性化需求。

? 實時同步推理場景,例如個性化推薦或類ChatGPT對話應用等,用戶可通過一鍵壓測得到服務的QPS和時延閾值,并結合灰度發(fā)布和藍綠部署功能,在不影響線上業(yè)務的情況下進行性能驗證并順滑切換。

? 近實時異步推理場景,例如文圖生成或視頻處理等,涉及較為復雜模型的推理,單次推理時間從十幾秒到幾十分鐘不等,PAI-EAS在推理服務內(nèi)部集成服務維度的消息隊列,并支持面向隊列長度實現(xiàn)推理的自動彈性擴縮容,滿足資源利用率提升及免運維需求。

? 離線批量推理場景,例如語音數(shù)據(jù)批量文本轉換等時延不敏感的場景,PAI-EAS可通過搶占型資源實例的方式幫助用戶控制批量推理成本。

PAI-EAS最新活動

從2023年4月中旬起,阿里云產(chǎn)品試用中心將正式開放PAI-EAS同等算力的試用規(guī)格,提供最長3個月的模型在線服務免費體驗包。點擊PAI-EAS產(chǎn)品頁官網(wǎng)(鏈接:https://www.aliyun.com/activity/bigdata/pai/eas),可在PAI-EAS產(chǎn)品官網(wǎng)獲得最新活動信息。

分享到

songjy

相關推薦