旷视科技发布轻量级LLM模型推理框架InferLLM

鞭牛士 2023-07-28 15:28

鞭牛士 7月28日消息，旷视科技发布全新轻量级LLM模型推理框架InferLLM，提供一个比llama.cpp更简单更容易上手的本地部署框架，助力大模型实现落地。

扫码下载app 最新资讯实时掌握