Implementación práctica de RAG con Next.js, Supabase pgvector y OpenAI. Indexar documentos, búsqueda semántica, y armar la respuesta. Código real, sin abstracciones.

Indexar documentos, hacer búsqueda semántica y armar respuestas aumentadas con un LLM, usando Next.js + Supabase pgvector + OpenAI.

Implementar RAG en un SaaS Next.js

Habilitar pgvector en Supabase y crear la tabla de embeddings

Activar la extensión pgvector en el proyecto Supabase y crear una tabla con columnas para el chunk de texto, el embedding (vector 1536) y el metadata.

Chunking y embeddings de documentos

Dividir cada documento en chunks de 400-800 tokens con overlap, generar embeddings con text-embedding-3-small de OpenAI, e insertar en Supabase.

Búsqueda semántica con similitud coseno

Crear una función RPC en Postgres que, dado un embedding de query, devuelva los top-k chunks más similares usando el operador <=> de pgvector.

Augmentación del prompt con contexto recuperado

En el handler de Next.js, embeber la pregunta del usuario, recuperar top-5 chunks, e inyectarlos en el system prompt antes de llamar al LLM.

Monitoreo de costos y métricas

Trackear tokens por request, tasa de hit del cache, y latencia. Loggear el prompt aumentado para debugging cuando una respuesta sea mala.

RAG paso a paso para tu SaaS: del PDF al chatbot en 2 horas

Integrar OpenAI en Next.js sin que la factura crezca sin control: selección de modelo, caching, streaming, rate limiting por tenant y caps de presupuesto.

Wrappear el SDK con telemetría, seleccionar el modelo correcto por call, cachear prompts repetidos, hacer streaming, rate limiting por tenant y caps de presupuesto.

Integrar la API de OpenAI en un SaaS Next.js con disciplina de costos

Wrappear el SDK con telemetría

Centralizar todas las llamadas a OpenAI detrás de un módulo único que loggea modelo, tokens, latencia, tenant_id y costo estimado por request.

Seleccionar modelo dinámicamente por tipo de tarea

Routear cada call al modelo más barato que pueda hacer el trabajo: gpt-4o-mini para clasificación/extracción, gpt-4o para generación rica, o3-mini para razonamiento.

Cachear prompts repetidos en Upstash Redis

Hash determinista del prompt + parámetros como clave. Cache hit ahorra el 100% del costo y latencia. TTL 7-30 días según el caso.

Streaming de respuestas para mejor UX

Usar Server-Sent Events para devolver tokens conforme se generan. UX mejora 5x y reduce timeouts del lado del cliente.

Rate limiting por tenant

Limitar requests por minuto y tokens consumidos por mes por tenant. Sliding window en Redis. Devuelve 429 con header Retry-After.

Caps de presupuesto con kill switch

Trackear gasto acumulado mensual por tenant y plataforma. Si excede el cap, retornar error informativo en vez de seguir cobrando.

Artículos sobre Next.js

RAG paso a paso para tu SaaS: del PDF al chatbot en 2 horas

Cómo integrar la API de OpenAI en un SaaS Next.js sin reventar costos