EvilFreelancer / docker-llama.cpp-rpc

Данный проект основан на llama.cpp и компилирует только RPC-сервер, а так же вспомогательные утилиты, работающие в режиме RPC-клиента, необходимые для реализации распределённого инференса конвертированных в GGUF формат Больших Языковых Моделей (БЯМ) и Эмбеддинговых Моделей.
17Updated last month

Alternatives and similar repositories for docker-llama.cpp-rpc:

Users that are interested in docker-llama.cpp-rpc are comparing it to the libraries listed below