Zum Hauptinhalt springen
Mit Simulationen prüfst du, wie sich ein Assistent verhält, bevor es ein echter Anrufer tut. Definiere eine Anrufer-Persona und ein Ziel; ein LLM spielt diesen Anrufer gegen deinen Assistenten – entweder als schnelle Text-Konversation oder als echter Sprachanruf –, während ein zweites LLM das Ergebnis anhand der von dir festgelegten Kriterien bewertet.

Wo du es findest

Öffne einen Assistenten, klicke oben auf den Test-Button und wähle Simulations. Das Panel öffnet sich neben dem Editor, sodass du den Prompt anpassen und einen Test erneut ausführen kannst, ohne die Seite zu verlassen.
Test-Menü des Assistenten mit Simulations

Öffne beim Assistenten das Menü Test und wähle Simulations, um einen Test zu erstellen.

Einen Test erstellen

Wähle New test und arbeite die Schritte durch:
1

Start

Beginne bei null oder übernimm eine von Milian vorgeschlagene Persona – siehe Generate with Milian unten.
2

Details

Benenne den Test und beschreibe die Persona des Anrufers (Identität und Persönlichkeit) in normalem Text.
Simulations-Details mit Beispiel-Persona

New test → Details: Benenne den Test und bearbeite die Anrufer-Persona. Das Beispiel stammt aus dem Vorschlag zur Terminbuchung.

3

Ziel

Beschreibe, was der Anrufer erreichen will, zum Beispiel: „Dein Hauptziel ist es, für nächste Woche eine Beratung zu buchen.“
Simulationsziel mit Beispiel zur Terminbuchung

New test → Goal: Beschreibe das Ziel und das zu testende Anruferverhalten. Termin und Rufnummer sind Beispieltext.

4

Judge

Wähle den Modus Chat oder Voice, ergänze die Erfolgskriterien, die der Judge prüfen soll, liste optional Tools auf, die der Assistent aufrufen sollte, und leg die maximale Anzahl an Anrufer-Turns fest (bis zu 20, Standard 12).
Unter Erwartete Tools stehen nur ausgewählte Tools. Öffne Tools hinzufügen, suche nach verfügbaren Tools und aktiviere die Checkboxen für erforderliche Aufrufe. Über das Entfernen-Symbol nimmst du ein Tool wieder aus der Liste. Eine leere Liste enthält keine zusätzlichen Anforderungen an Tool-Aufrufe. Die Auswahl ändert die Testerwartungen, nicht die verbundenen Tools des Assistenten. Fehlt eine Funktion in der Auswahl, öffne Exakten Tool-Namen eingeben und trage ihren exakten aufrufbaren Namen ein. Speichere den Test, um die Änderungen zu übernehmen.
Wähle Generate with Milian, statt bei einem leeren Test zu beginnen. Milian schlägt eine Reihe fertiger Personas und Erfolgskriterien für den Assistenten vor – sieh sie dir an und erstelle die gewünschten mit einem Klick.

Chat vs. Voice

  • Chat – eine schnelle, reine Text-Konversation zwischen dem Anrufer-LLM und deinem Assistenten. Es wird kein Anruf getätigt, und es ist der günstigere Weg, einen Prompt zu iterieren.
  • Voice – löst einen echten Anruf aus: Ein simulierter Anrufer mit synthetisierter Stimme spricht mit deinem Assistenten über denselben Pfad wie ein echter Anruf, sodass die gesamte Sprach-Pipeline durchlaufen wird. Das dauert länger als Chat, kostet mehr und erscheint wie jeder andere Anruf in History; beim Wechsel in diesen Modus wählst du die Stimme des Anrufers.
Bei verknüpfter Wissensdatenbank führen Chat-Simulationen echte Wissenssuchen aus und antworten anhand der gefundenen Quellen. Erfolgreiche und fehlgeschlagene Suchen erscheinen in den Tool-Ergebnissen. Andere Tools bleiben simuliert und versenden keine Nachrichten, erstellen keine Buchungen und führen keine externen Aktionen aus. Flow-Verzweigungen werden vereinfacht. Chat-Simulationen laden die zugewiesenen API-Tools und aktivierten MCP-Funktionen samt ihren Eingabefeldern. Externe Antworten verwenden synthetische Testdaten, die bei Folgeaufrufen erhalten bleiben. Das Uhrzeit-Tool nutzt die Zeitzone des Assistenten. Beschreibe realistische Voraussetzungen im Szenario, etwa einen ausgebuchten Kurs oder eine fehlgeschlagene Suche. Eine erfolgreiche Simulation prüft Gespräch und Tool-Nutzung; prüfe Anbieterrechte und echte Daten zusätzlich im Testchat. Auswahl ausführen verwendet denselben Ablauf wie eine einzelne Chat-Simulation. Die Eingaben zum Beenden und zur Assistentenübergabe werden unterstützt. Integrierte Tools mit zusätzlichen Laufzeitabläufen melden beim Aufruf einen Fehler statt eines simulierten Erfolgs. Prüfe diese Abläufe separat in einem kontrollierten Testchat. Voice-Simulationen führen die konfigurierten Tools des Assistenten aus. Buchungen, Nachrichten und andere verbundene Aktionen können real sein. Verwende dafür Testdaten und Testziele. Beim erneuten Öffnen werden laufende Voice-Tests wieder automatisch aktualisiert. Das Schließen beendet weitere Starts durch Auswahl ausführen; ein bereits laufender Anruf läuft weiter. Fehlen erforderliche Bewertungsdaten, zeigt der Lauf Fehler und behält Transkript und verfügbare Ergebnisse.

Einen Test aus einem echten Anruf erstellen

Öffne einen abgeschlossenen Anruf in History und wähle Create Simulation Test. Famulor erstellt aus Transkript und Analyse dieses Anrufs eine Persona, ein Ziel und Standard-Erfolgskriterien (korrekte Informationen, professioneller Ton, saubere Lösung oder Weiterleitung), speichert sie als neuen Test und bringt dich zum Simulations-Panel dieses Assistenten – sieh ihn dir dort an und bearbeite ihn vor dem ersten Durchlauf. Das ist der schnellste Weg, ein echtes, schiefgelaufenes Gespräch in einen Regressionstest zu verwandeln. Siehe Analyse nach dem Anruf.

Tests ausführen und Ergebnisse lesen

Wähle auf größeren Bildschirmen einen Test in der Seitenliste oder mobil über die Auswahl. Wechsle zwischen Auswertung, Transkript, Zeiten und Tools. Klappe ein Erfolgskriterium auf, um seine Begründung zu lesen. Wähle Simulation starten und anschließend Chat oder Voice im Menü, um den Durchlauf zu starten. Im Aktionsmenü lässt sich der Test bearbeiten oder löschen. Führe einen einzelnen Test aus oder wähle Tests über die Kontrollkästchen. Alles auswählen markiert alle Tests, Auswahl aufheben entfernt die Auswahl und Auswahl ausführen startet nur die markierten Tests nacheinander. Die Kontrollkästchen erscheinen beim Darüberfahren oder Tastaturfokus und bleiben bei ausgewählten Tests sichtbar. Auf Touchscreens öffnest du Tests auswählen. Jeder Durchlauf liefert:
  • ein pass or fail per success criterion, mit der Begründung des Judge;
  • das vollständige Transcript, beschriftet mit Caller / Assistant;
  • tool calls während des Durchlaufs, abgeglichen mit allem, was du als erwartetes Tool markiert hast;
  • bei Voice-Durchläufen eine latency breakdown – End-to-End, Zeit bis zum ersten LLM-Token, Zeit bis zum ersten erzeugten Audio, Latenz der Spracherkennung und wahrgenommene Antwortzeit – plus ein View call-Link zum entsprechenden Anruf in History.

Messwerte richtig lesen

Voice-Ergebnisse zeigen den Median (p50) und das 95. Perzentil der Antwortzeiten. Spracherkennung, erstes Antwort-Token und erstes erzeugtes Audio beschreiben verschiedene Verarbeitungsschritte; sie können sich überlappen und dürfen nicht einfach addiert werden. Die vom Anrufer gemessene Zeit ist ein separater Wert. Ein Strich bedeutet, dass kein Messwert vorliegt, nicht null Millisekunden. Aktualisiere Ergebnisse kurz nach Anrufende: Messwerte können nach der Bewertung eintreffen. Alte und neue Durchläufe nutzen die verfügbaren Anrufmesswerte. Chat-Ergebnisse zeigen die Zeit zur Erstellung der vollständigen simulierten Textantwort, einschließlich Tool-Verarbeitung. Sie sind kein Benchmark deines Voice-Assistenten und messen nicht das erste gestreamte Token. Eine Voice-Geschwindigkeitsbewertung wird daher nicht angezeigt. Mit View call öffnest du den Voice-Durchlauf in History mit Antwortzeiten pro Beitrag, erfassten Unterbrechungen, Transkript und verfügbarem Audio. Live-Chat, Messaging und E-Mail teilen die Gesprächs-, Verbrauchs- und Automationsansichten in History; Audiomesswerte gelten nur für Sprachanrufe.
Simulationen sind text- oder audiobasiertes Konversationstesten und kein reiner Validator für den Wortlaut deines Prompts – das Anrufer-LLM kann innerhalb der von dir gesetzten Persona und des Ziels improvisieren, sodass ein Testergebnis widerspiegelt, wie sich das Gespräch tatsächlich entwickelt.

Verfügbarkeit und Kosten

Simulationen sind ein Plan-Feature. Ist es nicht enthalten, zeigt das Panel Simulation testing is not in your plan – vergleiche Pläne unter Settings → Plan. Jedes Workspace-Mitglied kann das Panel öffnen und vergangene Durchläufe einsehen; Tests erstellen, bearbeiten und ausführen ist Workspace-Ownern und -Admins vorbehalten. Simulationen kosten zusätzliche Credits: Jede Nachricht im Transkript eines Durchlaufs wird zum Satz Call simulator message deines Workspaces abgerechnet – sowohl im Chat- als auch im Voice-Modus. Deinen aktuellen Satz findest du auf der Seite Usage unter den Credit-Sätzen (siehe Wie Nutzung abgerechnet wird), und jeder Durchlauf erscheint dort als Simulation run. Famulor prüft vor dem Start eines Durchlaufs dein Guthaben und berechnet nur die tatsächlich erzeugten Nachrichten. Ein Voice-Durchlauf verbraucht zusätzlich normale Sprechzeit für den Anruf selbst, da er die komplette Sprachpipeline durchläuft.

Übersicht und Verbesserungsvorschläge

Unter Übersicht siehst du das neueste Ergebnis je Szenario und den Gesamt-Score: bestandene geteilt durch bewertete Kriterien, einschließlich erwarteter Tool-Aufrufe. Fehler, laufende und noch nicht ausgeführte Tests werden separat gezählt. Fehlende Messwerte zu Audio- oder Gesprächsqualität bleiben Nicht gemessen. Tool-Aufrufe erscheinen als aufklappbare Karten im Transkript und im Tools-Tab. Synthetische Aktionen sind als Simuliert, fehlende Eingaben als Nicht erfasst gekennzeichnet. Bei fehlgeschlagenen Tests öffnet Mit Milian prüfen die Assistenten-Seitenleiste mit einem vorbereiteten Diagnose-Entwurf samt Szenario, Kriterien, Transkript und Tool-Nachweisen. Prüfe und sende den Entwurf. Milian kann Änderungen vorschlagen; die Übergabe speichert nichts und startet keinen weiteren Test. Das Vergleichsdiagramm zeigt wahlweise Kriterien-Scores, mediane Chat-Antwortzeiten oder mediane Voice-Antwortzeiten. Chat und Voice bleiben getrennt; fehlende Werte werden ausgelassen. Wähle einen Balken, um das Szenario zu öffnen. Die Tool-Statistik trennt erfolgreiche echte, simulierte und fehlgeschlagene Aufrufe und zeigt, für wie viele abgeschlossene Läufe Tool-Aufzeichnungen vorliegen.

API & MCP

CLI