微軟 Mage 團隊在 Hugging Face 公開 Mage-VL-Cowork,這是一個約四十億參數的視覺語言模型,專門做電腦操作代理。它在同一次任務裡可以看螢幕截圖並發出滑鼠鍵盤動作,也可以改用 bash 執行程式與終端機指令,中間不需要外部路由器幫忙決定要用哪一條通道。
依模型卡與論文摘要,Mage-VL-Cowork 在 OSWorld-Verified 以五十步預算拿到百分之六十六,是同參數量級裡公布的最高分數之一。作業系統類任務約百分之八十七點五,跨應用工作流程約百分之六十二點七。授權為 Apache-2.0,權重可直接下載。
訓練分成五個階段:先做畫面定位與 GUI 專精,再補寫程式與終端機能力,最後用混合監督與線上強化學習把兩條通道合在一起。上游的 Mage-CUA-Forge 用可重用工作流合成約二十九萬三千個桌面與網頁任務,涵蓋六千多個原子技能,並降低重複造任務的成本。
對本機開發者來說,它代表小型開源代理也能同時點介面與改檔案。官方示範包含用 Python 改試算表、在影像軟體裡操作後再用終端機核對結果。若你平常用 Claude Code 或類似工具在本機做網站與自動化,Mage-VL-Cowork 提供另一條可離線部署的電腦操作路線可供比較。