Vector Databases: bancos de dados para aplicações com IA

O que são vector databases e por que surgiram

A nova classe de banco de dados para a era da IA

Vector databases sao sistemas de armazenamento especializados em indexar e buscar vetores de alta dimensionalidade com eficiência, algo que bancos de dados relacionais e NoSQL tradicionais nao conseguem fazer de forma performática. Um vetor é uma lista de números de ponto flutuante (tipicamente 768, 1536 ou 3072 dimensoes) que representa o significado semântico de um texto, imagem, áudio ou qualquer dado que passou por um modelo de embedding. A necessidade de vector databases explodiu com a proliferacao de LLMs: aplicacoes precisam armazenar embeddings de documentos e encontrar os mais semanticamente similares a uma query em milissegundos, mesmo com bilhoes de vetores indexados. Bancos como Pinecone, Weaviate, Qdrant e a extensao pgvector do PostgreSQL nasceram para atender exatamente essa demanda.

Embeddings — representacao vetorial de textos, imagens e dados

Transformando significado em números

Um embedding é uma representacao vetorial densa gerada por um modelo de machine learning que captura o significado semântico do dado de entrada. Textos semanticamente similares ("cachorro" e "cão") produzem vetores próximos no espaco de alta dimensionalidade, mesmo que as palavras sejam completamente diferentes lexicograficamente. Modelos populares para gerar embeddings de texto incluem text-embedding-3-small e text-embedding-3-large da OpenAI, o all-MiniLM-L6-v2 do Sentence Transformers e o Titan Embeddings da AWS. Para imagens, modelos CLIP geram embeddings que permitem busca semântica como "encontrar imagens de praias ao entardecer" sem nenhuma metadata ou tag. A dimensionalidade do embedding afeta a qualidade semântica e o custo de armazenamento: dimensoes maiores capturam nuances mais finas mas ocupam mais espaco e sao mais lentos de comparar.

Busca por similaridade — cosine similarity e distancia euclidiana

Como vetores sao comparados

A operacao central de um vector database é a busca por vizinhos mais próximos (Approximate Nearest Neighbor, ANN): dado um vetor de query, encontrar os K vetores mais similares no índice. A métrica de similaridade mais usada para embeddings de texto é a cosine similarity, que mede o angulo entre dois vetores independentemente de sua magnitude, sendo ideal para comparar significado semântico. A distancia euclidiana (L2) mede a distancia geométrica entre pontos e é preferida para embeddings de imagens e modelos de recomendacao. Dot product é uma aproximacao eficiente de cosine similarity quando os vetores sao normalizados. A escolha da métrica deve ser coerente com a forma como o modelo de embedding foi treinado, pois cada modelo otimiza para uma métrica específica.

HNSW — o algoritmo de indexacao mais usado

Grafos hierárquicos para busca aproximada eficiente

HNSW (Hierarchical Navigable Small World) é o algoritmo de indexacao ANN dominante em vector databases por combinar alta velocidade de busca com boa qualidade de recall. Ele constrói um grafo hierárquico em múltiplas camadas: camadas superiores sao esparsas e permitem saltos longos durante a busca, enquanto camadas inferiores sao densas e permitem refinamento fino. A busca começa no topo da hierarquia e desce progressivamente até encontrar os vizinhos mais próximos na camada de base. HNSW tem dois parâmetros principais: M (número de conexoes por nó, impactando qualidade e uso de memória) e ef_construction (tamanho da fila de busca durante a insercao, impactando qualidade do índice). O trade-off de HNSW é consumo de memória: o grafo pode ser 2-4x maior que os vetores brutos, exigindo planejamento de memória em índices com bilhoes de vetores.

RAG — como vector databases alimentam LLMs com contexto

Retrieval Augmented Generation na prática

RAG (Retrieval Augmented Generation) é o padrao arquitetural mais impactante para aplicacoes de IA em 2025-2026: em vez de depender apenas do conhecimento treinado no LLM (que pode estar desatualizado ou nao conter dados privados da empresa), o sistema recupera documentos relevantes do vector database e os inclui no contexto da query antes de chamar o LLM. O fluxo é: (1) gerar embedding da query do usuário, (2) buscar os K documentos mais similares no vector database, (3) incluir esses documentos como contexto no prompt do LLM, (4) o LLM gera uma resposta baseada no contexto recuperado. RAG elimina alucinacoes para dados específicos do domínio, mantém o conhecimento atualizado sem retreinar o modelo e possibilita rastreabilidade das fontes usadas na resposta.

Pinecone, Weaviate, Qdrant e pgvector

Comparativo das principais opcoes de mercado

Pinecone é um vector database totalmente gerenciado, sem necessidade de infraestrutura, com API simples e escalabilidade automática para bilhoes de vetores; ideal para equipes que priorizam velocidade de desenvolvimento. Weaviate é open-source com módulos integrados para geracao automática de embeddings (via integracoes com OpenAI, Cohere e outros), suporte a busca híbrida (vetorial + BM25) e GraphQL nativo. Qdrant é open-source com foco em desempenho, suporte a payloads JSON ricos para filtragem e uma API Rust de alto desempenho com cliente Python e TypeScript. pgvector é uma extensao do PostgreSQL que adiciona tipos de dados vectoriais e índices HNSW/IVFFlat, permitindo usar SQL familiar para busca vetorial sem adicionar novo servico à infraestrutura. Para equipes com PostgreSQL já em producao e volumes moderados, pgvector é frequentemente a escolha mais pragmática.

Insercao, atualizacao e delecao de vetores

Operacoes de escrita em vector databases

Inserir vetores em um vector database envolve gerar o embedding do dado (chamando o modelo de embedding), armazenar o vetor com um ID único e metadados opcionais (payload), e indexar o vetor no grafo HNSW. A indexacao tem custo computacional significativo: grandes lotes de insercao devem ser feitos em batch para amortizar o custo de construcao do índice. Atualizacao de vetores (quando o conteúdo do documento muda) requer deletar o vetor antigo e inserir o novo com o embedding recalculado, pois vetores nao sao "editáveis" no grafo. Em sistemas RAG, manter os embeddings sincronizados com os documentos fonte é crítico: embeddings desatualizados retornam contexto incorreto ao LLM, degradando a qualidade das respostas. Implemente pipelines de re-embedding triggered por mudancas nos documentos fonte.

Filtragem híbrida — keyword + semântica

Combinando busca tradicional e vetorial

Busca puramente vetorial pode retornar resultados semanticamente próximos mas irrelevantes para o contexto específico: buscar "produtos de tecnologia" pode retornar documentos sobre gadgets quando o usuário queria resultados filtrados por categoria "eletronicos" ou por data após 2024. Filtragem híbrida combina busca vetorial (similaridade semântica) com filtros de metadados (atributos estruturados como categoria, data, autor, status) aplicados antes ou depois da busca ANN. Pre-filtering aplica o filtro no índice antes da busca vetorial, reduzindo o espaco de busca mas potencialmente comprometendo o recall se o subconjunto for muito pequeno. Post-filtering busca os K vizinhos mais próximos no índice completo e filtra os metadados depois, com recall melhor mas maior consumo de recursos. Qdrant e Weaviate suportam filtragem híbrida eficiente com índices de payload separados.

Performance e scaling de vector search

Dimensionando vector databases para producao

A dimensao crítica de performance em vector databases é latência de busca vs recall vs uso de memória, um triângulo impossível de otimizar simultaneamente. Aumentar o parâmetro ef (tamanho da fila de busca no HNSW) melhora o recall mas aumenta a latência. Usar quantizacao (compressao dos vetores float32 para int8 ou binários) reduz uso de memória em 4-32x com perda mínima de qualidade de busca, sendo essencial para índices com bilhoes de vetores. Sharding distribui o índice entre múltiplos nós, reduzindo latência e aumentando throughput de busca com escalabilidade horizontal. Em producao, planeje capacidade considerando: número de vetores x dimensionalidade x 4 bytes (float32) para memória dos vetores brutos, mais 2-4x para o grafo HNSW, mais índices de payload para filtragem.

Conclusao — vector databases como infraestrutura de IA

O componente central de aplicacoes RAG em producao

Vector databases se tornaram infraestrutura fundamental para qualquer aplicacao de IA que precise de contexto específico do domínio, busca semântica ou recomendacoes baseadas em significado. Dominar embeddings, HNSW, RAG e filtragem híbrida é hoje tao essencial quanto conhecer bancos de dados relacionais para qualquer desenvolvedor que trabalha com IA aplicada. Continue em: Fundamentos obrigatórios antes de produção.