DEV Community · Show DEV9/3 18:0153

动态成本感知AI负载均衡:实时路由DeepSeek、Gemma与Claude

Dynamic cost-aware AI load balancing: Routing between DeepSeek, Gemma, and Claude in real time

阅读原文
本文介绍了一种动态成本感知的AI负载均衡方案,可在DeepSeek、Gemma和Claude之间实时路由请求。作者指出,现代AI配对编程和对话式UI生成面临上下文膨胀和级联语法错误的问题,当AI生成单体文件时,单个标签断裂会破坏整个布局。为此,他们提出模块化块编译,将UI合成分解为独立的AST验证块,并应用艺术与黄金比例理论构建设计规范。系统采用双模型引擎,包括专用的Neo v0.1视觉模型(运行于双GPU)和外部推理API,以及零存储认证(使用384位一次性令牌)。定价为每信用点0.25卢比,无月费。该方案由LuxurAI的创始人Achyut Srivastava(14岁)和联合创始人Shubham Dangi(15岁)开发,邀请用户测试实验版本并提供反馈。