Skip to main content
Mit Simulationen prüfst du, wie sich ein Assistent verhält, bevor es ein echter Anrufer tut. Definiere eine Anrufer-Persona und ein Ziel; ein LLM spielt diesen Anrufer gegen deinen Assistenten – entweder als schnelle Text-Konversation oder als echter Sprachanruf –, während ein zweites LLM das Ergebnis anhand der von dir festgelegten Kriterien bewertet.

​
Wo du es findest

Öffne einen Assistenten, klicke oben auf den Test-Button und wähle Simulations. Das Panel öffnet sich neben dem Editor, sodass du den Prompt anpassen und einen Test erneut ausführen kannst, ohne die Seite zu verlassen.

​
Einen Test erstellen

Wähle New test und arbeite die Schritte durch:
1

Start

Beginne bei null oder übernimm eine von Milian vorgeschlagene Persona – siehe Generate with Milian unten.
2

Details

Benenne den Test und beschreibe die Persona des Anrufers (Identität und Persönlichkeit) in normalem Text.
3

Ziel

Beschreibe, was der Anrufer erreichen will, zum Beispiel: „Dein Hauptziel ist es, für nächste Woche eine Beratung zu buchen.“
4

Judge

Wähle den Modus Chat oder Voice, ergänze die Erfolgskriterien, die der Judge prüfen soll, liste optional Tools auf, die der Assistent aufrufen sollte, und leg die maximale Anzahl an Anrufer-Turns fest (bis zu 20, Standard 12).
Wähle Generate with Milian, statt bei einem leeren Test zu beginnen. Milian schlägt eine Reihe fertiger Personas und Erfolgskriterien für den Assistenten vor – sieh sie dir an und erstelle die gewünschten mit einem Klick.

​
Chat vs. Voice

  • Chat – eine schnelle, reine Text-Konversation zwischen dem Anrufer-LLM und deinem Assistenten. Es wird kein Anruf getätigt, und es ist der günstigere Weg, einen Prompt zu iterieren.
  • Voice – löst einen echten Anruf aus: Ein simulierter Anrufer mit synthetisierter Stimme spricht mit deinem Assistenten über denselben Pfad wie ein echter Anruf, sodass die gesamte Sprach-Pipeline durchlaufen wird. Das dauert länger als Chat, kostet mehr und erscheint wie jeder andere Anruf in History; beim Wechsel in diesen Modus wählst du die Stimme des Anrufers.

​
Einen Test aus einem echten Anruf erstellen

Öffne einen abgeschlossenen Anruf in History und wähle Create Simulation Test. Famulor erstellt aus Transkript und Analyse dieses Anrufs eine Persona, ein Ziel und Standard-Erfolgskriterien (korrekte Informationen, professioneller Ton, saubere Lösung oder Weiterleitung), speichert sie als neuen Test und bringt dich zum Simulations-Panel dieses Assistenten – sieh ihn dir dort an und bearbeite ihn vor dem ersten Durchlauf. Das ist der schnellste Weg, ein echtes, schiefgelaufenes Gespräch in einen Regressionstest zu verwandeln. Siehe Analyse nach dem Anruf.

​
Tests ausführen und Ergebnisse lesen

Führe einen Test nach dem anderen aus, oder wähle Run all, um alle Tests der Reihe nach durchzugehen. Jeder Durchlauf liefert:
  • ein pass or fail per success criterion, mit der Begründung des Judge;
  • das vollständige Transcript, beschriftet mit Caller / Assistant;
  • tool calls während des Durchlaufs, abgeglichen mit allem, was du als erwartetes Tool markiert hast;
  • bei Voice-Durchläufen eine latency breakdown – End-to-End, Zeit bis zum ersten LLM-Token, Zeit bis zum ersten gesprochenen Audio, Latenz der Spracherkennung und wahrgenommene Antwortzeit – plus ein View call-Link zum entsprechenden Anruf in History.
Simulationen sind text- oder audiobasiertes Konversationstesten und kein reiner Validator für den Wortlaut deines Prompts – das Anrufer-LLM kann innerhalb der von dir gesetzten Persona und des Ziels improvisieren, sodass ein Testergebnis widerspiegelt, wie sich das Gespräch tatsächlich entwickelt.

​
Verfügbarkeit und Kosten

Simulationen sind ein Plan-Feature. Ist es nicht enthalten, zeigt das Panel Simulation testing is not in your plan – vergleiche Pläne unter Settings → Plan. Jedes Workspace-Mitglied kann das Panel öffnen und vergangene Durchläufe einsehen; Tests erstellen, bearbeiten und ausführen ist Workspace-Ownern und -Admins vorbehalten. Simulationen kosten zusätzliche Credits: Jede Nachricht im Transkript eines Durchlaufs wird zum Satz Call simulator message deines Workspaces abgerechnet – sowohl im Chat- als auch im Voice-Modus. Deinen aktuellen Satz findest du auf der Seite Usage unter den Credit-Sätzen (siehe Wie Nutzung abgerechnet wird), und jeder Durchlauf erscheint dort als Simulation run. Famulor prüft vor dem Start eines Durchlaufs dein Guthaben und berechnet nur die tatsächlich erzeugten Nachrichten. Ein Voice-Durchlauf verbraucht zusätzlich normale Sprechzeit für den Anruf selbst, da er die komplette Sprachpipeline durchläuft.

​
API & MCP