v0.40.17-rc1:mlxrunner:批量推测验证(#19663)

开源更新 GitHub · Ollama 原文语言:英文

mlxrunner:批量推测验证 通过共享目标验证,使并发生成中的起草保持活跃,同时保留每个请求的采样与缓存回滚。

原文摘录

mlxrunner:批量推测验证 通过共享目标验证,使并发生成中的起草保持活跃,同时保留每个请求的采样与缓存回滚。

以下是来源提供的简短摘录,完整内容请查看原文。

参考来源

← 返回每日简报