Evaluación de Coherencia en LLMs
Evaluación de consistencia, reproducibilidad y detección de sesgos en modelos de lenguaje
Categoría IA local
Modelos de lenguaje ejecutándose en hardware propio: motores de inferencia (llama.cpp, Ollama, vLLM), cuantización, despliegue en Kubernetes, evaluación y coste frente a las APIs en la nube.
Despliegue de LLMs a Escala con Kubernetes
Despliegue de LLMs a Escala con Kubernetes Guía completa para desplegar y escalar modelos de lenguaje grandes (LLMs) en entornos de producción usando Kubernetes, vLLM y estrategias de optimización avanzadas. 🎯 Objetivos de Aprendizaje Después de completar esta guía, podrás:…
Generación de Contenido Técnico con LLMs
Automatización de documentación, generación de posts de blog y resumen de artículos técnicos usando Large Language Models
Chatbots Locales con LLMs
Construcción de chatbots conversacionales usando Ollama y LLaMA.cpp, con integración a Slack, Discord y Telegram
Análisis de Logs y Troubleshooting con LLMs
Uso de Large Language Models para análisis automático de logs, detección de errores y sugerencias de solución de problemas
MeshLLM: inferencia LLM distribuida en malla P2P
Guía de Mesh LLM: agrupa GPUs de varias máquinas en una malla P2P sobre iroh y expón un único endpoint OpenAI-compatible en localhost:9337/v1
vLLM: servir LLMs a escala con alto throughput
Guía avanzada de vLLM: PagedAttention, continuous batching, servidor OpenAI-compatible, tensor parallelism multi-GPU, cuantización AWQ/GPTQ/FP8, tuning de memoria y benchmarking
Ollama: Instalación y primeros pasos
Guía completa de Ollama: instalación, gestión de modelos locales, APIs REST, integración con Docker y casos de uso en DevOps
LiteLLM: gateway unificado para LLMs
Guía de LiteLLM: una API OpenAI-compatible para 100+ proveedores, proxy server con config.yaml, claves virtuales, presupuestos, cost tracking, fallbacks, load balancing y despliegue en Docker/Kubernetes
LM Studio: LLMs locales con interfaz gráfica
Guía práctica de LM Studio: instalación, descarga y gestión de modelos, configuración de context length y GPU offload, servidor local con API compatible OpenAI, y CLI lms