Teste einen Assistenten gegen einen KI-gespielten Anrufer, bevor er mit einem echten spricht
Mit Simulationen prüfst du, wie sich ein Assistent verhält, bevor es ein echter Anrufer tut. Definiere eine Anrufer-Persona und ein Ziel; ein LLM spielt diesen Anrufer gegen deinen Assistenten – entweder als schnelle Text-Konversation oder als echter Sprachanruf –, während ein zweites LLM das Ergebnis anhand der von dir festgelegten Kriterien bewertet.
Öffne einen Assistenten, klicke oben auf den Test-Button und wähle Simulations. Das Panel öffnet sich neben dem Editor, sodass du den Prompt anpassen und einen Test erneut ausführen kannst, ohne die Seite zu verlassen.
Öffne beim Assistenten das Menü Test und wähle Simulations, um einen Test zu erstellen.
Beginne bei null oder übernimm eine von Milian vorgeschlagene Persona – siehe Generate with Milian unten.
2
Details
Benenne den Test und beschreibe die Persona des Anrufers (Identität und Persönlichkeit) in normalem Text.
New test → Details: Benenne den Test und bearbeite die Anrufer-Persona. Das Beispiel stammt aus dem Vorschlag zur Terminbuchung.
3
Ziel
Beschreibe, was der Anrufer erreichen will, zum Beispiel: „Dein Hauptziel ist es, für nächste Woche eine Beratung zu buchen.“
New test → Goal: Beschreibe das Ziel und das zu testende Anruferverhalten. Termin und Rufnummer sind Beispieltext.
4
Judge
Wähle den Modus Chat oder Voice, ergänze die Erfolgskriterien, die der Judge prüfen soll, liste optional Tools auf, die der Assistent aufrufen sollte, und leg die maximale Anzahl an Anrufer-Turns fest (bis zu 20, Standard 12).
Wähle Generate with Milian, statt bei einem leeren Test zu beginnen. Milian schlägt eine Reihe fertiger Personas und Erfolgskriterien für den Assistenten vor – sieh sie dir an und erstelle die gewünschten mit einem Klick.
Chat – eine schnelle, reine Text-Konversation zwischen dem Anrufer-LLM und deinem Assistenten. Es wird kein Anruf getätigt, und es ist der günstigere Weg, einen Prompt zu iterieren.
Voice – löst einen echten Anruf aus: Ein simulierter Anrufer mit synthetisierter Stimme spricht mit deinem Assistenten über denselben Pfad wie ein echter Anruf, sodass die gesamte Sprach-Pipeline durchlaufen wird. Das dauert länger als Chat, kostet mehr und erscheint wie jeder andere Anruf in History; beim Wechsel in diesen Modus wählst du die Stimme des Anrufers.
Bei verknüpfter Wissensdatenbank führen Chat-Simulationen echte Wissenssuchen aus und antworten anhand der gefundenen Quellen. Erfolgreiche und fehlgeschlagene Suchen erscheinen in den Tool-Ergebnissen. Andere Tools bleiben simuliert und versenden keine Nachrichten, erstellen keine Buchungen und führen keine externen Aktionen aus. Flow-Verzweigungen werden vereinfacht.Voice-Simulationen führen die konfigurierten Tools des Assistenten aus. Buchungen, Nachrichten und andere verbundene Aktionen können real sein. Verwende dafür Testdaten und Testziele.Beim erneuten Öffnen werden laufende Voice-Tests wieder automatisch aktualisiert. Das Schließen beendet weitere Starts durch Alle ausführen; ein bereits laufender Anruf läuft weiter. Fehlen erforderliche Bewertungsdaten, zeigt der Lauf Fehler und behält Transkript und verfügbare Ergebnisse.
Öffne einen abgeschlossenen Anruf in History und wähle Create Simulation Test. Famulor erstellt aus Transkript und Analyse dieses Anrufs eine Persona, ein Ziel und Standard-Erfolgskriterien (korrekte Informationen, professioneller Ton, saubere Lösung oder Weiterleitung), speichert sie als neuen Test und bringt dich zum Simulations-Panel dieses Assistenten – sieh ihn dir dort an und bearbeite ihn vor dem ersten Durchlauf. Das ist der schnellste Weg, ein echtes, schiefgelaufenes Gespräch in einen Regressionstest zu verwandeln. Siehe Analyse nach dem Anruf.
Wähle auf größeren Bildschirmen einen Test in der Seitenliste oder mobil über die Auswahl. Wechsle zwischen Auswertung, Transkript, Zeiten und Tools. Klappe ein Erfolgskriterium auf, um seine Begründung zu lesen. Wähle Simulation starten und anschließend Chat oder Voice im Menü, um den Durchlauf zu starten. Im Aktionsmenü lässt sich der Test bearbeiten oder löschen.Führe einen Test nach dem anderen aus, oder wähle Run all, um alle Tests der Reihe nach durchzugehen. Jeder Durchlauf liefert:
ein pass or fail per success criterion, mit der Begründung des Judge;
das vollständige Transcript, beschriftet mit Caller / Assistant;
tool calls während des Durchlaufs, abgeglichen mit allem, was du als erwartetes Tool markiert hast;
bei Voice-Durchläufen eine latency breakdown – End-to-End, Zeit bis zum ersten LLM-Token, Zeit bis zum ersten erzeugten Audio, Latenz der Spracherkennung und wahrgenommene Antwortzeit – plus ein View call-Link zum entsprechenden Anruf in History.
Voice-Ergebnisse zeigen den Median (p50) und das 95. Perzentil der Antwortzeiten. Spracherkennung, erstes Antwort-Token und erstes erzeugtes Audio beschreiben verschiedene Verarbeitungsschritte; sie können sich überlappen und dürfen nicht einfach addiert werden. Die vom Anrufer gemessene Zeit ist ein separater Wert. Ein Strich bedeutet, dass kein Messwert vorliegt, nicht null Millisekunden. Aktualisiere Ergebnisse kurz nach Anrufende: Messwerte können nach der Bewertung eintreffen. Alte und neue Durchläufe nutzen die verfügbaren Anrufmesswerte.Chat-Ergebnisse zeigen die Zeit zur Erstellung der vollständigen simulierten Textantwort, einschließlich Tool-Verarbeitung. Sie sind kein Benchmark deines Voice-Assistenten und messen nicht das erste gestreamte Token. Eine Voice-Geschwindigkeitsbewertung wird daher nicht angezeigt.Mit View call öffnest du den Voice-Durchlauf in History mit Antwortzeiten pro Beitrag, erfassten Unterbrechungen, Transkript und verfügbarem Audio. Live-Chat, Messaging und E-Mail teilen die Gesprächs-, Verbrauchs- und Automationsansichten in History; Audiomesswerte gelten nur für Sprachanrufe.
Simulationen sind text- oder audiobasiertes Konversationstesten und kein reiner Validator für den Wortlaut deines Prompts – das Anrufer-LLM kann innerhalb der von dir gesetzten Persona und des Ziels improvisieren, sodass ein Testergebnis widerspiegelt, wie sich das Gespräch tatsächlich entwickelt.
Simulationen sind ein Plan-Feature. Ist es nicht enthalten, zeigt das Panel Simulation testing is not in your plan – vergleiche Pläne unter Settings → Plan.Jedes Workspace-Mitglied kann das Panel öffnen und vergangene Durchläufe einsehen; Tests erstellen, bearbeiten und ausführen ist Workspace-Ownern und -Admins vorbehalten.Simulationen kosten zusätzliche Credits: Jede Nachricht im Transkript eines Durchlaufs wird zum Satz Call simulator message deines Workspaces abgerechnet – sowohl im Chat- als auch im Voice-Modus. Deinen aktuellen Satz findest du auf der Seite Usage unter den Credit-Sätzen (siehe Wie Nutzung abgerechnet wird), und jeder Durchlauf erscheint dort als Simulation run. Famulor prüft vor dem Start eines Durchlaufs dein Guthaben und berechnet nur die tatsächlich erzeugten Nachrichten. Ein Voice-Durchlauf verbraucht zusätzlich normale Sprechzeit für den Anruf selbst, da er die komplette Sprachpipeline durchläuft.
