『您的瀏覽器不支援JavaScript功能,若網頁功能無法正常使用時,請開啟瀏覽器JavaScript狀態』

跳到主要內容區塊

工業技術研究院

:::

技術名稱: AI-QoS動態模型推論調控技術

技術簡介

AI-QoS技術能依據連線品質動態選擇時限內可完成推論之模型。在網路連線品質不佳的情況下使用速度較快的模型進行辨識,提升辨識速度降低整體延遲。在網路連線品質良好的情況下以相對較精準的模型進行辨識,取得最佳的辨識結果。

Abstract

AI-QoS技術能依據連線品質動態選擇時限內可完成推論之模型。在網路連線品質不佳的情況下使用速度較快的模型進行辨識,提升辨識速度降低整體延遲。在網路連線品質良好的情況下以相對較精準的模型進行辨識,取得最佳的辨識結果。

技術規格

AI-QoS技術中的Gateway元件會依據當下網路延遲程度,以資料端到端的總傳輸時間計算出工作優先度,並將工作置入相對應的佇列中做排程。後續將工作從佇列中取出,再按照不同的工作優先度由速度較快的小模型或較準確的大模型取得推論結果。

Technical Specification

AI-QoS技術中的Gateway元件會依據當下網路延遲程度,以資料端到端的總傳輸時間計算出工作優先度,並將工作置入相對應的佇列中做排程。後續將工作從佇列中取出,再按照不同的工作優先度由速度較快的小模型或較準確的大模型取得推論結果。

技術特色

• 因應網路狀態的彈性推論 – AI-QoS技術結合了大型模型精準辨識的能力,且同時具有小型模型快速的回應時間,在不同網路品質的地區都能達到即時的反應時間,減少因網路優劣導致應用效能降低的實務難題 • 保證推論結果 – 不含AI-QoS技術:間歇性掉幀,不時會有畫面沒辨識結果 – 內含AI-QoS技術:高機率保證每個畫面都有推論結果

應用範圍

可應用於AI即時影像應用例如AR/VR/MR、無人機及自駕車等需仰賴穩定低延遲的網路環境需求的領域。

接受技術者具備基礎建議(設備)

GPU

接受技術者具備基礎建議(專業)

AI

技術分類 資訊

聯絡資訊

聯絡人:曾祥倍 技術推廣組

電話:+886-3-5914708 或 Email:StanleyTseng@itri.org.tw

客服專線:+886-800-45-8899

傳真:+886-3-5820240