Implementación práctica de RAG con Next.js, Supabase pgvector y OpenAI. Indexar documentos, búsqueda semántica, y armar la respuesta. Código real, sin abstracciones.

Indexar documentos, hacer búsqueda semántica y armar respuestas aumentadas con un LLM, usando Next.js + Supabase pgvector + OpenAI.

Implementar RAG en un SaaS Next.js

Habilitar pgvector en Supabase y crear la tabla de embeddings

Activar la extensión pgvector en el proyecto Supabase y crear una tabla con columnas para el chunk de texto, el embedding (vector 1536) y el metadata.

Chunking y embeddings de documentos

Dividir cada documento en chunks de 400-800 tokens con overlap, generar embeddings con text-embedding-3-small de OpenAI, e insertar en Supabase.

Búsqueda semántica con similitud coseno

Crear una función RPC en Postgres que, dado un embedding de query, devuelva los top-k chunks más similares usando el operador <=> de pgvector.

Augmentación del prompt con contexto recuperado

En el handler de Next.js, embeber la pregunta del usuario, recuperar top-5 chunks, e inyectarlos en el system prompt antes de llamar al LLM.

Monitoreo de costos y métricas

Trackear tokens por request, tasa de hit del cache, y latencia. Loggear el prompt aumentado para debugging cuando una respuesta sea mala.

Artículos sobre RAG

RAG paso a paso para tu SaaS: del PDF al chatbot en 2 horas