DEV Community · Show DEV9/7 02:0439 分
Neo v0.1视觉引擎：实现实时桌面感知
Building Real-Time Desktop Perception with Neo v0.1 Vision Engine
LuxurAI Cowork的Neo v0.1视觉引擎进行了关键升级，该引擎是用于桌面屏幕感知和自动化的视觉语言模型。它解决了桌面AI代理在High-DPI/多显示器设置、动态应用状态和非标准UI框架上的失败问题。通过双GPU集群（专用NVIDIA A10G）实现低于200毫秒的延迟。流程包括帧捕获、降采样、视觉定位、混合OCR和UI元素树重建。安全措施包括文件/注册表更改需人工批准，以及模糊意图匹配。定价为每次0.25卢比，注册赠送45个免费积分。目前正在寻求多显示器坐标系统和低开销帧捕获方法的反馈。