Testez un assistant face à un appelant joué par une IA avant qu’il ne parle à un vrai
Les Simulations vous permettent de vérifier comment un assistant se comporte avant qu’un vrai appelant ne le fasse. Définissez une persona d’appelant et un objectif, et un LLM joue cet appelant face à votre assistant — soit une conversation texte rapide, soit un véritable appel vocal — pendant qu’un second LLM évalue le résultat selon les critères que vous avez définis.
Ouvrez un assistant, sélectionnez le bouton Test dans l’en-tête, puis choisissez Simulations. Le panneau s’ouvre à côté de l’éditeur, pour que vous puissiez ajuster le prompt et relancer un test sans quitter la page.
Ouvrez le menu Test de l’assistant et choisissez Simulations pour créer un test.
Partez d’une page vierge, ou reprenez une persona suggérée par Milian — voir Generate with Milian ci-dessous.
2
Détails
Nommez le test et rédigez en texte libre la persona de l’appelant (identité et personnalité).
New test → Details : nommez le test et modifiez la persona de l’appelant. Cet exemple vient de la suggestion de prise de rendez-vous.
3
Objectif
Décrivez ce que l’appelant cherche à accomplir, par exemple : « Votre objectif principal est de réserver une consultation pour la semaine prochaine. »
New test → Goal : décrivez le résultat et le comportement de l’appelant à tester. Le rendez-vous et le numéro affichés sont des exemples.
4
Juge
Choisissez le mode Chat ou Voice, ajoutez les critères de réussite que le juge doit vérifier, listez éventuellement les outils que l’assistant est censé appeler, et définissez le nombre maximal de tours de l’appelant (jusqu’à 20, 12 par défaut).
Sélectionnez Generate with Milian plutôt que de partir d’un test vierge. Milian propose un lot de personas et de critères de réussite prêts à l’emploi pour l’assistant — passez-les en revue et créez ceux que vous voulez en un clic.
Chat — une conversation rapide, en texte uniquement, entre le LLM appelant et votre assistant. Aucun appel n’est passé, et c’est la façon la plus économique d’itérer sur un prompt.
Voice — passe un véritable appel : un appelant simulé, avec une voix synthétisée, parle à votre assistant par le même chemin qu’un appel réel, ce qui sollicite l’ensemble du pipeline vocal. C’est plus long que le chat, ça coûte plus cher, et ça apparaît dans History comme n’importe quel autre appel ; choisissez la voix de l’appelant quand vous passez à ce mode.
Lorsqu’une base de connaissances est liée, les simulations de chat effectuent de vraies recherches et répondent à partir des sources trouvées. Les recherches réussies ou échouées apparaissent dans les résultats des outils. Les autres outils restent simulés : ils n’envoient pas de messages, ne créent pas de réservations et n’effectuent aucune action externe. Les branches du flux sont simplifiées.Les simulations vocales exécutent les outils configurés de l’assistant. Les réservations, messages et autres actions connectées peuvent être réels. Utilisez des données et des destinations de test pour ces actions.La réouverture du panneau reprend les mises à jour des tests vocaux actifs. Sa fermeture empêche Run all de lancer les tests suivants ; un appel déjà en cours continue. Si des données d’évaluation requises sont indisponibles, le test affiche Error et conserve la transcription ainsi que les résultats disponibles.
Ouvrez un appel terminé dans History et sélectionnez Create Simulation Test. Famulor rédige une persona, un objectif et des critères de réussite par défaut (informations exactes, ton professionnel, résolution ou orientation correcte) à partir de la transcription et de l’analyse de cet appel, les enregistre comme nouveau test, puis vous amène au panneau Simulations de cet assistant — passez-le en revue et modifiez-le avant le premier lancement. C’est le moyen le plus rapide de transformer une conversation réelle qui s’est mal passée en test de non-régression. Voir Analyse post-appel.
Choisissez un test dans la liste latérale sur grand écran ou dans le sélecteur sur mobile. Passez entre Résultats, Transcription, Durées et Outils. Dépliez un critère pour lire son explication. Sélectionnez Démarrer la simulation, puis Chat ou Voice dans le menu pour lancer le test. Le menu d’actions permet de modifier ou supprimer le test.Lancez un test à la fois, ou sélectionnez Run all pour parcourir tous les tests dans l’ordre. Chaque exécution indique :
un succès ou un échec par critère de réussite, avec le raisonnement du juge ;
la transcription complète, avec les tours étiquetés Caller / Assistant ;
les appels d’outils effectués pendant l’exécution, comparés à tout ce que vous avez marqué comme outil attendu ;
pour les exécutions vocales, une répartition de la latence — de bout en bout, temps jusqu’au premier jeton LLM, temps jusqu’au premier audio synthétisé, latence de reconnaissance vocale et temps de réponse perçu — plus un lien View call vers l’appel correspondant dans l’historique.
Les résultats vocaux affichent la médiane (p50) et le 95e percentile des temps de réponse. La reconnaissance vocale, le premier jeton de réponse et le premier audio synthétisé décrivent des étapes différentes : elles peuvent se chevaucher et ne doivent pas être additionnées. Le temps observé par l’appelant est une mesure distincte. Un tiret indique une mesure indisponible, pas une latence nulle. Actualisez les résultats après la fin de l’appel : les mesures peuvent arriver après l’évaluation. Les anciennes et nouvelles exécutions utilisent les mesures disponibles de l’appel.Les résultats du chat mesurent la génération de la réponse textuelle simulée complète, traitement des outils inclus. Ils ne constituent ni un benchmark de votre assistant vocal ni une mesure du premier jeton diffusé, et n’ont pas de note de vitesse vocale.View call ouvre l’exécution vocale dans History, avec les temps par réponse, les interruptions enregistrées, la transcription et l’audio disponible. Le chat en direct, la messagerie et les e-mails partagent les vues de conversation, de consommation et d’automatisation dans History ; les mesures audio concernent uniquement les appels vocaux.
Simulations est un test de conversation basé sur le texte ou l’audio, pas un validateur portant uniquement sur la formulation de votre prompt — le LLM appelant peut improviser dans les limites de la persona et de l’objectif que vous avez définis, donc le résultat d’un test reflète la façon dont la conversation se déroule réellement.
Simulations est une fonctionnalité de forfait. Si elle n’est pas incluse, le panneau affiche Simulation testing is not in your plan — comparez les forfaits sous Settings → Plan.Tous les membres de l’espace de travail peuvent ouvrir le panneau et consulter les exécutions passées ; créer, modifier et lancer des tests est réservé aux propriétaires et administrateurs de l’espace de travail.Les Simulations consomment des crédits supplémentaires : chaque message de la transcription d’une exécution est facturé au tarif Call simulator message de votre espace de travail — aussi bien en mode chat qu’en mode voix. Votre tarif actuel figure sur la page Usage, dans les tarifs des crédits (voir Comment l’utilisation est facturée), et chaque exécution y apparaît comme une transaction Simulation run. Famulor vérifie votre solde avant qu’une exécution ne démarre, et ne facture que les messages effectivement produits. Une exécution vocale consomme en plus le temps de conversation normal pour l’appel lui-même, puisqu’elle sollicite l’ensemble du pipeline vocal.
