Sources & Connectors

Anirag akzeptiert deutlich mehr als PDFs. Jede Quelle wird normalisiert, bei Bedarf transkribiert und in Chunks zerlegt — die Antwort-Pipeline behandelt sie alle einheitlich mit Source-Citations.

Unterstützte Quellen — Status-Stand

Status live = produktiv im Plan verfügbar · soon = Roadmap.

Dokumente und Wikis

Video-Plattformen

Meeting-Recordings

Audio + Podcast

Social-Video

Transkription — was unter der Haube läuft

textVideo/Audio
   │
   ├─→ yt-dlp (für YouTube/Vimeo/Loom) ODER S3-Download (Direkt-Upload)
   │
   ├─→ ffmpeg-Audio-Extract (16kHz mono PCM-S16LE)
   │
   ├─→ whisper.cpp · ggml-medium · LOKAL auf Worker (eu-central-1)
   │     ├─ Sprach-Erkennung (99 Sprachen)
   │     └─ Plain-Text (kein Cloud-Drittanbieter)
   │
   ├─→ Transkript-Chunking (default 2000 chars, 256 Overlap)
   │
   └─→ Embedding (Voyage-3, 1024 Dimensionen)

Datenschutz-Hinweis: Whisper läuft auf unserem Railway-Worker in Frankfurt (eu-central-1). Wir nutzen weder OpenAI-Whisper-API noch andere US-Cloud-Drittanbieter. Audio-Files werden nach erfolgreicher Transkription unverzüglich aus dem temporären Worker-Storage gelöscht. Originale liegen in Ihrem AWS-S3-Bucket (eu-central-1) oder werden — bei direkten URLs (Podcast-RSS, YouTube) — gar nicht persistiert.

API: Source hinzufügen

bashPOST /v1/sources
Authorization: Bearer ar_live_...
Content-Type: application/json

{
  "workspace": "ops",
  "type": "youtube",
  "url": "https://youtube.com/watch?v=dQw4w9WgXcQ",
  "options": {
    "language": "auto",
    "diarization": true,
    "embed_after_transcribe": true,
    "transcript_only": false
  }
}

Response

json{
  "id": "src_01HKQR...",
  "type": "youtube",
  "status": "queued",
  "estimated_minutes": 4,
  "estimated_cost_eur": 0.032,
  "webhook_event": "source.indexed"
}

Channel-Monitoring (YouTube, Podcast, TikTok)

Statt einzelne URLs hochzuladen, kann ein Channel als Source angelegt werden — Anirag prüft alle 15-30 Min auf neue Uploads und indiziert sie automatisch.

bashPOST /v1/sources
{
  "workspace": "ops",
  "type": "youtube_channel",
  "url": "https://youtube.com/c/AniragKanal",
  "options": {
    "max_videos_per_run": 50,
    "filter_min_duration_seconds": 60,
    "filter_published_after": "2026-01-01"
  }
}

Kosten

Speaker-Diarization ist im aktuellen lokalen-Whisper-Setup nicht aktiviert — wir liefern Plain-Text-Transkripte. Diarization (pyannote-audio) folgt in einer späteren Phase als optionales Add-On.

Beispielkalkulation: 1 Stunde YouTube-Webinar

• →Transkription: 60 × 0,005 € = 0,30 €
• →Embedding (~12 k Tokens): 0,012 × 0,02 € = 0,0002 €
• →Storage (~2 MB): vernachlässigbar
• →Total: ~0,30 € für ein vollständig indexiertes 1-Stunden-Webinar.

Permissions

Bei Quellen mit nativen ACLs (SharePoint, Drive, Notion) übernimmt Anirag die Berechtigungen automatisch (Permissions-Mirroring). Bei Quellen ohne ACL (YouTube-Channel, Podcast-RSS) gilt die Workspace-Rolle als Default — Sie können pro Source auch eine eigene ACL setzen:

bashPATCH /v1/sources/{id}
{
  "acl": ["group:marketing", "group:executives"]
}

DSGVO-Hinweise zu Social-Quellen

Bei TikTok-, Instagram- oder LinkedIn-Account-Monitoring gelten die jeweiligen Plattform-AGB. Anirag indiziert nur öffentlich zugängliche Inhalte oder Inhalte, auf die der Workspace-Besitzer Zugriffsrechte nachweisen kann (Business-Token, eigener Account). Personenbezogene Daten in Kommentaren werden auf Wunsch automatisch pseudonymisiert.

Was kommt als nächstes

• →Embeddings — Chunking-Strategie und Modell-Wahl.
• →Webhooks — Event source.indexed für eigene Pipelines.
• →Errors — Fehler-Codes für Transkription + Source-Sync.