Solution Market
Soluciones gratuitas Encontrar una solución Soluciones exclusivas Recargar puntos Iniciar sesión Registrarse

LLMKube

awesome-selfhosted IA generativa

Operador de Kubernetes para inferencia de LLM autoalojada con runtimes conectables (llama.cpp, vLLM, TGI, Ollama, vllm-swift), sharding multi-GPU, compatibilidad con NVIDIA CUDA + Apple Silicon Metal y API compatible con OpenAI.

Traducción por IA · ver el original

Kubernetes operator for self-hosted LLM inference with pluggable runtimes (llama.cpp, vLLM, TGI, Ollama, vllm-swift), multi-GPU sharding, NVIDIA CUDA + Apple Silicon Metal support, and OpenAI-compatible API.

Licencias

Plataformas

GoDockerK8S

awesome-selfhosted (CC-BY-SA 3.0) · recopilado el 2026-10-12 · La lista de soluciones gratuitas se basa en los datos de awesome-selfhosted (CC-BY-SA 3.0) y awesome-sysadmin (CC-BY-SA 4.0); cada entrada sigue siendo propiedad intelectual de su proyecto.