IA de Producción que Sobrevive a los Usuarios Reales

Por defecto API para prototipado y la mayoría de casos de producción — calidad, latencia y coste son todos mejores que self-hosting hasta que tienes volumen muy alto (>1M llamadas/día) o requisitos estrictos de residencia de datos. Self-hosted open-weight (Llama, Mistral, Qwen) se vuelve la respuesta correcta para: workloads regulados, entornos on-prem o air-gapped, coste predecible a escala, o cuando necesitas fine-tunear.

Defensa por capas: (1) anclamos respuestas en documentos recuperados (RAG), (2) requerimos citaciones que el usuario pueda verificar, (3) eval automatizado contra ground truth en cada cambio de prompt, (4) monitoring producción para scores de confianza, (5) human-in-the-loop para decisiones high-stakes. Nunca afirmamos 0% hallucination — medimos la tasa y diseñamos la UX en torno a ella.

No por defecto. Con las APIs business OpenAI/Anthropic/Google, los datos de cliente están contractualmente excluidos del training. Firmamos DPAs que codifican esto. Para certeza máxima, self-hosteamos modelos open-weight en regiones UE que tú controlas — tus datos nunca salen de tu infraestructura.

Dos capas. Offline: un eval set de 50–5.000 pares input/output-esperado contra el cual se puntúa el sistema en cada cambio (precision, recall, tasa hallucination, precisión citaciones, etc). Online: monitoring producción de proxies (thumbs-up/down usuario, tasa escalado a humano, conversión), muestreado y re-juzgado semanalmente. Ningún sistema producción se lanza sin ambos.

Depende de la clasificación del caso de uso. Sistemas 'riesgo limitado' (chatbots, contenido generativo) solo necesitan obligaciones de transparencia. 'Riesgo alto' (empleo, educación, crédito, aplicación de la ley) necesitan evaluación de conformidad, registro y monitoring continuo. Mapeamos tu caso de uso a la clasificación de la Act en Discovery y diseñamos controles acordes. No construimos categorías prohibidas.

Altamente dependiente del caso de uso. Un chatbot de customer support haciendo 10K conversaciones/mes con modelos clase GPT-4 cuesta €300–€800/mes en tarifas API. El mismo volumen en Claude Haiku o Llama 3 self-hosted cuesta €30–€150. Storage de embeddings en pgvector es esencialmente gratis a single-digit GB; Pinecone/Weaviate son €70–€300/mes a escala producción. Te damos una proyección coste por 1K llamadas en el informe POC.