Pon a prueba un asistente frente a una persona que llama interpretada por IA antes de que hable con una real
Las simulaciones te permiten comprobar cómo se comporta un asistente antes de que lo haga una persona real que llama. Define una persona de quien llama y un objetivo, y un LLM interpreta a esa persona frente a tu asistente (ya sea una conversación de texto rápida o una llamada de voz real), mientras un segundo LLM evalúa el resultado según los criterios que hayas definido.
Abre un asistente, selecciona el botón Test en la cabecera y elige Simulations. El panel se abre junto al editor, para que puedas ajustar el prompt y volver a ejecutar una prueba sin salir de la página.
Abre el menú Test del asistente y elige Simulations para crear una prueba.
Empieza en blanco, o aplica una persona que haya sugerido Milian; consulta Generate with Milian más abajo.
2
Details
Nombra la prueba y describe en texto simple la persona de quien llama (identidad y personalidad).
New test → Details: nombra la prueba y edita la persona de quien llama. Este ejemplo procede de la sugerencia de reserva de citas.
3
Goal
Describe qué intenta conseguir quien llama, por ejemplo: “Tu objetivo principal es reservar una consulta para la próxima semana.”
New test → Goal: describe el resultado y el comportamiento que quieres probar. La cita y el teléfono mostrados son texto de ejemplo.
4
Judge
Elige el modo Chat o Voice, añade los criterios de éxito que debe comprobar el juez, opcionalmente enumera las herramientas que se espera que llame el asistente, y define el número máximo de turnos de quien llama (hasta 20, 12 por defecto).
Selecciona Generate with Milian en lugar de partir de una prueba en blanco. Milian propone un lote de personas y criterios de éxito ya preparados para el asistente: revísalos y crea los que quieras con un clic.
Chat — una conversación rápida, solo de texto, entre el LLM que hace de quien llama y tu asistente. No se realiza ninguna llamada, y es la forma más económica de iterar sobre un prompt.
Voice — realiza una llamada real: una persona simulada que llama con una voz sintetizada habla con tu asistente por el mismo camino que sigue una llamada en vivo, de modo que se ejercita todo el pipeline de voz. Tarda más que el chat, cuesta más y aparece en History como cualquier otra llamada; elige la voz de quien llama al cambiar a este modo.
Si hay una base de conocimientos vinculada, las simulaciones de chat realizan búsquedas reales y responden con las fuentes encontradas. Las búsquedas correctas y fallidas aparecen en los resultados de las herramientas. Las demás herramientas siguen simuladas: no envían mensajes, no crean reservas ni ejecutan acciones externas. Las ramas del flujo se simplifican.Las simulaciones de voz ejecutan las herramientas configuradas del asistente. Las reservas, los mensajes y otras acciones conectadas pueden ser reales. Usa datos y destinos de prueba para estas acciones.Al volver a abrir el panel se reanudan las actualizaciones de las pruebas de voz activas. Al cerrarlo, Run all deja de iniciar pruebas adicionales; una llamada en curso continúa. Si faltan datos de evaluación requeridos, la prueba muestra Error y conserva la transcripción y los resultados disponibles.
Abre una llamada finalizada en History y selecciona Create Simulation Test. Famulor redacta una persona, un objetivo y criterios de éxito por defecto (información precisa, tono profesional, resolución o enrutamiento correctos) a partir de la transcripción y el análisis de esa llamada, los guarda como una prueba nueva y te lleva al panel de Simulations de ese asistente: revísala y edítala allí antes de la primera ejecución. Es la forma más rápida de convertir una conversación real que salió mal en una prueba de regresión. Consulta Análisis posterior a la llamada.
Elige una prueba en la lista lateral en pantallas grandes o en el selector móvil. Cambia entre Resultados, Transcripción, Tiempos y Herramientas. Despliega un criterio para leer su explicación. Selecciona Iniciar simulación y después Chat o Voice en el menú para iniciar la prueba. El menú de acciones permite editar o eliminar la prueba.Ejecuta una prueba a la vez, o selecciona Run all para recorrer todas las pruebas en orden. Cada ejecución muestra:
un resultado de superado o no superado por cada criterio de éxito, junto con el razonamiento del juez;
la transcripción completa, etiquetada como Caller / Assistant;
las llamadas a herramientas realizadas durante la ejecución, comprobadas frente a cualquier cosa que hayas marcado como herramienta esperada;
para las ejecuciones de voz, un desglose de latencia (de extremo a extremo, tiempo hasta el primer token del LLM, tiempo hasta el primer audio sintetizado, latencia del reconocimiento de voz y tiempo de respuesta percibido), además de un enlace View call a la llamada resultante en History.
Los resultados de voz muestran la mediana (p50) y el percentil 95 del tiempo de respuesta. El reconocimiento de voz, el primer token de respuesta y el primer audio sintetizado describen etapas distintas: pueden solaparse y no deben sumarse. El tiempo observado por el interlocutor es una medición independiente. Un guion indica que no hay medición disponible, no una latencia de cero. Actualiza los resultados después de terminar la llamada: las mediciones pueden llegar después de la evaluación. Tanto las ejecuciones antiguas como las nuevas utilizan las mediciones disponibles de la llamada.Los resultados del chat muestran el tiempo para generar la respuesta de texto simulada completa, incluido el procesamiento de herramientas. No son un benchmark del asistente de voz ni miden el primer token transmitido, y no reciben una valoración de velocidad de voz.View call abre la ejecución de voz en History con los tiempos por respuesta, las interrupciones registradas, la transcripción y el audio disponible. El chat en directo, la mensajería y el correo comparten las vistas de conversación, consumo y automatización de History; las mediciones de audio solo corresponden a llamadas de voz.
Simulations es una prueba de conversación basada en texto o audio, no un validador únicamente de la redacción de tu prompt: el LLM que hace de quien llama puede improvisar dentro de la persona y el objetivo que definiste, así que un resultado de prueba refleja cómo se desarrolla realmente la conversación.
Simulations es una función del plan. Si no está incluida, el panel muestra Simulation testing is not in your plan; compara los planes en Settings → Plan.Cualquier miembro del espacio de trabajo puede abrir el panel y leer ejecuciones pasadas; crear, editar y ejecutar pruebas está limitado a los propietarios y administradores del espacio de trabajo.Simulations tiene un coste adicional en créditos: cada mensaje de la transcripción de la ejecución se cobra a la tarifa Call simulator message de tu espacio de trabajo, tanto en modo chat como en modo voz. Tu tarifa actual aparece en la página Usage, dentro de las tarifas de crédito (consulta Cómo se facturan los minutos), y cada ejecución aparece allí como una transacción Simulation run. Famulor comprueba tu saldo antes de que empiece una ejecución y solo cobra por los mensajes realmente producidos. Una ejecución de voz consume además el tiempo de voz normal de la propia llamada, ya que ejercita todo el pipeline de voz.
