RAG selber bauen vs. kaufen — eine ehrliche TCO-Rechnung

Die Frage „RAG bauen oder kaufen" ist meist eine Self-Selling-Frage von Senior-Engineers, die ihren eigenen Wert sichern wollen. Lass uns ehrlich rechnen — mit echten Zahlen aus 12 Entscheidungen, die wir in den letzten 18 Monaten begleitet haben.

Eigenbau-Komponenten (Year 1)

Ein realistisches Eigenbau-RAG, das in der DACH-Region (DSGVO + AI-Act) verkauft werden kann, hat folgende Bausteine:

Vector-Datenbank

• →Pinecone Standard — 70 $/mo × 12 = 840 $. Reicht für ~50k Vektoren mit Standard-Metadata.
• →Alternative: Qdrant Self-Hosted — Hardware-Kosten ~150 €/mo, plus Ops-Aufwand. Gleicher Bucket.

LLM- und Embeddings-API

• →OpenAI für 1M Embeddings + 100k Queries: ca. 2.400 $. Dann ist man auf US-Cloud — DSGVO-relevant.
• →Anthropic EU + Mistral: 30-40 % Aufpreis, dafür EU-Region.

LangChain-Stack + Eval-Framework

• →Engineering-Aufwand: 3 Personenmonate für ein produktives Setup mit Pipeline, Eval, Monitoring, Re-Indexing-Logik.
• →Senior-Engineer in DACH Vollkosten ~20k €/Monat = 60 k €.

Multi-Tenant-RBAC + Audit-Log

• →2 Personenmonate = 40 k €. Inklusive Permission-Mirror-Logik, Hash-Chained-Logs, Tenant-Isolation auf DB-Ebene.
• →Wer das nicht baut, hat keinen B2B-vertriebs-fähigen Stack.

AVV/DPA-Vertragstext + Sub-Processor-Map

• →1 Tag Anwalt = ca. 1.500 €.
• →Re-Verhandlungen pro Sub-Processor-Wechsel: weitere 500-1.000 € pro Vorgang.

Pen-Test (Pflicht für B2B-Vertrieb)

• →8 k € für ein qualifizierten DACH-Anbieter (z. B. Cure53, SySS).
• →Wiederholungs-Pen-Test jährlich: gleiche Größe.

Compliance-Audit-Vorbereitung

• →5-15 k € je nach Tiefe — DSGVO-Audit, ISO-27001-Lite, AI-Act-Mapping.

**Total Year 1: ~115 k €**

Plus:

• →Laufende Cloud-Kosten (840 $ + 2.400 $ + Hosting ca. 200 €/mo).
• →Continuous Engineering ~30 % einer Senior-Engineer-Position für Maintenance.
• →Versicherungen, Compliance-Updates, Sub-Processor-Tracking.

Anirag Business (Year 1)

• →199 €/mo × 12 = 2.388 € Subscription. BYOK-Option reduziert API-Kosten weiter (eigene Anthropic-/OpenAI-Keys).
• →AVV inklusive, Sub-Processor-Map verfügbar, Pen-Test-Bericht inklusive.
• →Multi-Tenant-RBAC, Audit-Log, Permissions-Mirroring out-of-the-box.

**Total Year 1: ~2.400 €**

Differenz: ~112.500 € in Year 1.

Aber — wann macht Eigenbau Sinn?

Es gibt drei Konstellationen, in denen wir explizit zu Eigenbau raten.

1. RAG ist Ihr Kerngeschäft

Sie sind ein RAG-Tooling-Anbieter (Pinecone, Weaviate, Chroma, LangChain etc.) — dann ist Eigenbau nicht Verschwendung, sondern Produkt-Kompetenz.

2. Sehr spezielle Custom-Embeddings

Wenn Ihre Domäne so spezifisch ist, dass Standard-Embeddings (OpenAI text-embedding-3-large, Cohere embed-multilingual-v3, Mistral mistral-embed) nicht reichen — z. B. medizinische Codes, juristische Klassifikation, hochspezifische Industrie-Taxonomien.

In diesen Fällen brauchen Sie ein eigenes fine-tuned Embedding-Modell. Das ist kein RAG-Eigenbau-Argument, sondern ein Embeddings-Eigenbau-Argument. Anirag erlaubt Custom-Embedding-Modelle in der API — Sie können also Anirag als RAG-Layer nutzen und nur das Embedding-Modell selbst stellen.

3. On-Prem mit eigenen Modellen — dann lieber Anirag Sovereign

Wenn der Stack auf On-Prem mit eigenen LLMs muss (Llama-3-70B-EU, Mistral 8x7B, eigene fine-tunes), ist Eigenbau eine Option. Aber Anirag Sovereign ist die schnellere Antwort: Helm-Charts für Kubernetes, Air-Gap-Bundle, EU-Modelle vorinstalliert. Setup 4-8 Wochen statt 6-9 Monate Eigenbau.

Was häufig in der TCO-Rechnung fehlt

Eval-Pipeline-Drift

Wenn Sie Pinecone updaten, OpenAI ein Modell deprecaten lassen, oder LangChain ein Breaking-Change ausliefert — Ihre Eval-Pipeline kracht. Das passiert pro Jahr 3-5 Mal. Verlorene Engineer-Zeit pro Drift: 1-3 Tage.

Compliance-Updates

DSGVO-Aktualisierungen, AI-Act-Auslegungs-Hinweise, Schrems-II-Folgejudikate — das muss in der Architektur nachgezogen werden. Ein Eigenbau-Stack hat keinen Compliance-Officer dafür eingebaut. Anirag hat.

Burnout-Risiko

Wir kennen 4 Cases aus den letzten 18 Monaten, wo der Eigenbau-Stack vom Senior-Engineer betreut wurde — der dann gewechselt hat. Knowledge-Transfer war ein 6-Wochen-Projekt, Stack lief währenddessen mit reduzierter Aufmerksamkeit. Compliance-Lücke entstand in dieser Phase, wurde dann teurer aufgearbeitet.

API-Kompatibilität: Pinecone-API auf Anirag

Wir hören oft: "Wir wollen unsere Pinecone-Investments schützen." Anirag bietet einen Pinecone-kompatiblen API-Layer, der die häufigsten SDK-Calls 1:1 mappt. Migration-Beispiel:

typescript// Pinecone (alt)
import { Pinecone } from "@pinecone-database/pinecone";
const pc = new Pinecone({ apiKey: process.env.PINECONE_API_KEY });
const index = pc.index("knowledge");
const results = await index.query({ vector, topK: 5 });

// Anirag (neu) — gleiche Signatur
import { Anirag } from "@anirag/sdk";
const a = new Anirag({ apiKey: process.env.ANIRAG_API_KEY });
const index = a.index("knowledge");
const results = await index.query({ vector, topK: 5 });

Migrations-Aufwand für die meisten Stacks: 1-2 Tage, plus Test-Phase.

Wann ist Anirag *die* falsche Antwort?

Ehrlich:

• →Sehr kleine Use-Cases (unter 1k Queries/Monat) — der Free-Tier (100k Embeddings, 10k Queries) deckt das ab, aber die Setup-Kurve eines RAG-Frameworks ist Overkill für 5 Embedding-Calls pro Tag.
• →Sehr exotische Custom-Pipelines (z. B. Multi-Modal-Video-RAG, Audio-Embedding mit Custom-Whisper-Forks) — wir können das, aber wir sagen Ihnen vorher: Anirag ist Text-First. Audio + Video läuft, ist aber nicht optimiert.
• →Hard-AGPL-Forks erforderlich — wenn Sie Open-Source-Lizenz-Hygiene-Anforderungen haben, die kommerzielle SDKs ausschließen, dann ist Anirag nicht passend.

In allen anderen Fällen ist die TCO-Differenz so groß, dass die Build-or-Buy-Diskussion klar zu "Buy" fällt — wenn man ehrlich rechnet und nicht den Senior-Engineer-Reflex zur Selbst-Selbst-Auslastung folgt.

Empfehlung

Wenn Ihr Team aktuell überlegt, RAG selbst zu bauen, machen Sie diese drei Schritte:

1. 01TCO-Worksheet ausfüllen mit echten Engineer-Vollkosten für Ihre Region (in DACH ~17-22k €/Monat fully loaded).
2. 02AVV + Sub-Processor + Pen-Test als Pflicht in die Rechnung einplanen — nicht "machen wir später".
3. 03Anirag-Free-Tier 4 Wochen testen mit einer abgegrenzten Use-Case-Slice. Dann liegt eine echte Vergleichsbasis vor.

Die Free-Tier-Phase erlaubt es, Build-vs-Buy mit Daten und nicht mit Bauchgefühl zu entscheiden.