Solution Market
Solutions gratuites Trouver une solution Solutions exclusives Ajouter des points Se connecter S’inscrire

LLMKube

awesome-selfhosted IA générative

Opérateur Kubernetes pour l'inférence LLM auto-hébergée avec des runtimes enfichables (llama.cpp, vLLM, TGI, Ollama, vllm-swift), le sharding multi-GPU, la prise en charge de NVIDIA CUDA + Apple Silicon Metal et une API compatible OpenAI.

Traduction IA · voir l’original

Kubernetes operator for self-hosted LLM inference with pluggable runtimes (llama.cpp, vLLM, TGI, Ollama, vllm-swift), multi-GPU sharding, NVIDIA CUDA + Apple Silicon Metal support, and OpenAI-compatible API.

Licences

Plateformes

GoDockerK8S

awesome-selfhosted (CC-BY-SA 3.0) · relevé le 2026-10-12 · La liste des solutions gratuites s’appuie sur les données d’awesome-selfhosted (CC-BY-SA 3.0) et d’awesome-sysadmin (CC-BY-SA 4.0) ; chaque fiche reste protégée par le droit d’auteur de son projet.