Build-vs-Buy: Eigener Stack = sechs Monate (Embedding-Pipeline, Vector-DB-Ops, Eval, Monitoring).
API-Lib in zwei Tagen integriert, Multi-Tenant + RBAC + Audit out-of-the-box.
RAG that doesn't lock you in. Multi-LLM. Self-hostable. Open-Source-Stack.
REST + TypeScript- und Python-SDK, OpenAPI 3.1, p99 unter 800 ms unter Last. Qdrant unter Apache-2.0, Helm-Charts für Self-Hosting, Multi-LLM-Router (Anthropic, OpenAI Ireland, Mistral, Aleph Alpha, Llama-EU). Token-Level-Observability eingebaut.
Was Sie kennen. Wie wir es lösen.
LLM-Provider-Lock-in vermeiden — heute OpenAI, morgen Claude, übermorgen Mistral.
Multi-LLM-Router mit BYOK pro Provider. Routing-Regeln nach Sprache, Latenz, Kosten oder Workspace.
„Funktioniert unser RAG?" ist nicht beantwortbar ohne Goldstandard-Datasets.
Eingebautes Eval-Framework: Goldstandard-Datasets, Recall-at-K, Citation-Accuracy, Halluzinations-Score.
Cost-Predictability — Pinecone + OpenAI-Embedding-Rechnung explodiert bei Skalierung.
Token-Level-Observability, Hard-Cost-Caps pro Workspace, Embedding-Cache eingebaut.
Vom Anlass zur ersten Antwort.
npm i @anirag/sdk
TypeScript- oder Python-SDK installieren, API-Key holen (60 Sekunden auf der Web-Konsole), erste Embedding-Pipeline starten.
Workspace + Quellen einrichten
Multi-Tenant-Workspaces per API. RBAC, SSO und Audit-Log out-of-the-box. Quellen via REST oder Connectors.
In Production routen
Multi-LLM-Router konfigurieren: Sprache → Modell, Workspace → Region, Latenz-Budget → Provider. Token-Level-Observability auf Datadog/Grafana.
Was eingebaut ist.
TypeScript + Python SDK
Beide first-class. Postman/Bruno-Collection, asciinema-Quickstarts, GitHub-Examples-Repo.
OpenAPI 3.1 + gRPC
Vollständige OpenAPI 3.1 Spec, optional gRPC für High-Throughput. Versioniert, breaking changes über Major.
Multi-LLM-Router
Anthropic, OpenAI Ireland, Mistral, Aleph Alpha, Llama-EU. BYOK. Routing-Regeln nach Sprache, Latenz, Kosten.
Token-Observability
Token-Level-Logs, Latency-Histogramm p50/p95/p99, Embedding-Cache-Hit-Rate. Datadog-, Grafana-, OpenTelemetry-Export.
Eval-Framework
Goldstandard-Datasets, Recall-at-K, Citation-Accuracy, Halluzinations-Score. CI-Integration über @anirag/eval-Paket.
Self-hostable
Helm-Charts für Kubernetes. Open-Source-Stack: Qdrant (Apache-2.0), Postgres, Redis. Sovereign-Plan.
Compliance ist die Basis, nicht der Nachschlag.
- Public Status-Page mit p50/p95/p99 pro Region — historisch 99.96 % Uptime in den letzten 12 Monaten.
- Versionierter Changelog, breaking changes über Major-Bump, 90-Tage-Deprecation-Period.
- OpenTelemetry-Export für eigene Observability-Stacks.
- Open-Source-Komponenten dokumentiert: Qdrant Apache-2.0, Postgres, Redis. Kein Vendor-Lock-in.
- Roadmap öffentlich auf Linear — Feature-Requests und Voting offen.
Was Sie konkret einsparen.
Engineers, die sonst RAG bauen3
Wochen Engineering-Zeit (eigener Stack)24
Vollkosten-Stundensatz Engineer130
374.400 €
2.880 Stunden pro Jahr freigesetzt
Integriert in Ihren Stack.
GitHub Actions
Datadog
Grafana
OpenTelemetry
Vercel
Railway
Fly.io
AWS Frankfurt
Was Praktiker sagen.
„Zwei Tage von npm install bis Production. SDK ist sauber, Docs sind vollständig, Eval-Framework hat uns vor zwei Regression-Bugs bewahrt."
„Multi-LLM-Router war der Killer für uns — Claude für DE, GPT für EN, Mistral für Latenz-kritische Anfragen. Routing in 12 Zeilen Config."
Was Ihre Compliance, IT und Fachbereich fragen.
Habt ihr ein vernünftiges TS/Python-SDK oder muss ich REST roh aufrufen?
Beide first-class. @anirag/sdk (TS) und anirag-py (Python). Plus OpenAPI 3.1 für andere Sprachen. Postman/Bruno-Collection im GitHub-Examples-Repo.
Self-hosting-Option, falls wir wachsen?
Ja, Sovereign-Plan. Helm-Charts für Kubernetes, Terraform-Module, OCI-konforme Container. Stack ist Qdrant + Postgres + Redis — alles Open-Source.
Wie sind eure Latencies p50/p95/p99 unter Load?
Public Status-Page hat historische Werte. p50 ~250ms, p95 ~600ms, p99 ~800ms (Frankfurt → Frankfurt, mid-tier Modelle). Worst-case dokumentiert pro Modell.
Wie debugge ich, warum Retrieval Chunk X statt Y geholt hat?
Trace-View pro Query: Embedding-Vektor, Top-K-Kandidaten mit Scores, Reranking-Pfad, finaler Context. Replay-API zum lokalen Reproduzieren.
Open-Source-Komponenten oder proprietary Black-Box?
Qdrant (Apache-2.0), Postgres, Redis sind Open-Source. Reranker und Eval-Framework proprietary, aber als @anirag/eval-Paket lokal lauffähig.
Get your API key in 2 minutes.
Free tier, no credit card. 100k embeddings, 10k queries — enough for a real prototype.