工業技術研究院

技術簡介

本技術基於VLM的SOP智慧偵測系統，該系統能夠自動識別操作流程中的關鍵步驟。技術可以針對醫療方面單一術式需求(例如：翻瓣手術)，也可以針對多數式的廣泛需求來做模型上的訓練與調整。除了醫療方面，工業產線monitor也可以使用該技術，不需要人工一直盯著產線的運作，由finetune過的ITM模型做及時的動作辨識，偵測是否有符合正確的SOP流程。

Abstract

This technology is based on a VLM-powered SOP intelligent detection system, capable of automatically identifying critical steps in operational workflows. It can be tailored to meet specific surgical requirements in the medical field (e.g., flap surgery) or trained and adjusted to address broader demands involving multiple procedures. Beyond medical applications, this technology is also applicable in industrial production line monitoring. It eliminates the need for manual supervision of production line operations, utilizing fine-tuned ITM models for real-time action recognition to detect compliance with correct SOP workflows.

技術規格

GAI生成訓練內容 Accuracy ＞ 65％

Technical Specification

GAI-Generated Training Content Accuracy: ＞ 65％

技術特色

利用BLIP-2模型中ITM功能來實踐牙科翻瓣手術的SOP偵測，讓待測考生藉由該系統持續練習考試題目，不需要由資深醫師隨身在側的監督指導，節省人力與經費資源。 技術也可以用在工業產線的智慧偵測系統，工業產線有固定的SOP，更甚已經使用機器代替人力，該套系統不只可以偵測產線是否有異常，也可以藉由偵測產線，來偵測機台是否異常。不僅可以做到最基礎的機台alarm偵測的第二道防線，搭配關鍵影格的輸出，可以達到實時偵測的效果。

應用範圍

XR醫療培訓系統、工業產線的智慧偵測系統

接受技術者具備基礎建議（設備）

個人電腦

接受技術者具備基礎建議（專業）

軟體設計能力

聯絡資訊