DEV Community · Show DEV9/1 23:1050 分
DigitalOcean推理六模型竞速，最便宜者胜出
I raced six models against each other on DigitalOcean Inference. The cheapest one won.
作者在DigitalOcean推理端点对六个模型进行实时对比测试，发现最便宜的模型胜出。他构建了一个约390行Python的流式对比工具，通过OpenAI兼容接口同时向Llama、DeepSeek、Mistral、Qwen及OpenAI的gpt-oss等模型发送相同提示，并展示首字延迟和每次运行成本。测试中，他遇到gunicorn同步worker的连接限制问题，但最终通过多EventSource连接实现并行流式输出。作者强调，该工具代码已开源（MIT许可），并指出DigitalOcean推理端点使用模型访问密钥而非API令牌。测试结果出乎意料，最便宜模型在性能上表现最佳。