Chatbot analytics

El uso cotidiano de asistentes conversacionales, mejor conocidos como chatbots, está cada vez más presente en nuestro día a día. Su evolución y aplicaciones han crecido de forma exponencial en los últimos años a medida que han aparecido nuevas tecnologías, aproximaciones y necesidades, pasando de responder simples preguntas para las cuales estaban programados, a incluso detectar el ‘mood’ de los usuarios y adaptar su comportamiento y respuestas de forma acorde.

El éxito o el fracaso de un chatbot no está únicamente asociado con la tecnología en la que se ha desarrollado, sino también con muchos otros aspectos como su interfaz visual, el diseño de los flujos de conversación o incluso el nivel de formalidad elegido para dirigirse a sus usuarios.

No obstante, y tal como se comentaba al inicio, la capacidad de mejora y adaptación a las necesidades de negocio y de los usuarios, es el principal factor que determinará su continuidad. Es en este punto, donde la analítica aplicada a los asistentes conversacionales juega un papel fundamental.

¿A qué nos referimos con ‘analítica’?

Analítica es el proceso que se lleva a cabo con la finalidad de conocer el comportamiento del usuario en cualquiera de los canales digitales existentes, a través de las interacciones de los mismos.

Este proceso se compone de múltiples y diversas fases, que van desde la recopilación de requerimientos, necesidades y objetivos, hasta la explotación de los datos, todo esto con fines de análisis, mejora y optimización del canal de interés.

A pesar de que los asistentes conversaciones no son un canal de reciente incorporación, su uso y variedad han ido incrementándose de manera importante en años recientes, con lo cual, la implantación de una analítica adecuada y con mayor cobertura y alcances, es uno de los elementos fundamentales para su éxito.

¿Qué nos interesa medir?

Tal como ocurre para otras aplicaciones/canales, existen una gran cantidad de métricas de interés a recopilar en un asistente conversacional, las cuales han de refinarse y priorizarse de acuerdo con las necesidades y objetivos particulares de cada proyecto, dando como resultado los denominados Key Performance Indicators (KPI).

La recopilación de las distintas métricas ha de hacerse de forma organizada a fin de permitir su agrupación, explotación y análisis. Para ello podemos diferenciar cinco categorías principales:

  1. Adquisición: nos indican desde dónde se inicia el asistente conversacional (e.g. página web, app, servicios de mensajería, etc.)
  2. Uso: miden aspectos referentes a la navegación y actividad de los usuarios
  3. Contenido: ofrecen información sobre la capacidad del chatbot para asistir al usuario
  4. Satisfacción: determinan la satisfacción del usuario, tanto con respecto al asistente en sí, como con la integración con terceros
  5. Desempeño: cuantifican aspectos de rendimiento
  • De implementación
  • Técnico

El uso e importancia de cada tipo de métrica disponible varía de un proyecto a otro, en función del rubro de negocio de cada cliente, los casos de usos implementados, así como los canales donde se encuentre desplegado el asistente virtual. En diversas ocasiones, y según su finalidad al analizar los datos, una misma métrica podría adecuarse a más de una categoría.

Cada métrica tiene como objetivo dar respuesta a distintas preguntas relacionadas con la categoría a la que pertenecen, obteniéndose así un KPI para cada una de ellas. La categorización de las métricas pretende facilitar la obtención de las principales observaciones (insights), las cuales darán pie a futuras acciones evolutivas y de mejora.

En el caso de las métricas de Adquisición, estas responden a preguntas como:

  • ¿Cómo se distribuyen las sesiones del chatbot según la fuente de adquisición?
  • ¿Qué ratios de cumplimiento de objetivos se tienen por cada fuente de adquisición?
  • ¿Cuántos usuarios son redirigidos a un tercer canal según la fuente de adquisición?

Por otro lado, las métricas de Uso responden a cuestiones como:

  • ¿Cuál es el total de usuarios que tengo?
  • ¿Cuántos de ellos son nuevos? ¿Y cuántos son fidelizados?
  • ¿Cómo se distribuye el total de usuarios según día y hora?

Dentro de las preguntas que responden las métricas de Contenido encontramos:

  • ¿Qué porcentaje de las frases procesadas son entendidas por el asistente? ¿Qué intents tienen asociados?
  • ¿Cuáles son las frases no entendidas más comunes?
  • ¿Cuáles son las secciones más visitadas?

Las métricas de Satisfacción del usuario responden a preguntas del tipo:

  • ¿Cuántas encuestas se han presentado? ¿Cuántas encuestas fueron respondidas?
  • ¿Cuál es la satisfacción del usuario con respecto al chabot en las encuestas?
  • Cuando el usuario manifiesta una satisfacción baja sobre la atención de agentes, ¿qué feedback se tiene?

Finalmente, para las métricas de Desempeño podemos diferenciar dos categorías principales: aquellas que se refieren al performance técnico del chatbot, así como aquellas que se refieren a la capacidad del asistente para resolver las necesidades del usuario.

  • ¿Cuántas solicitudes han podido ser respondidas por el servicio de Q&A?
  • ¿Cuántas solicitudes han sido redirigidas para ser resueltas por el servicio NLP?
  • ¿Cuántas sesiones intentan conectar con un agente (handover)?
  • ¿Qué errores existen al conectar con el servicio que provee el servicio de agentes?
  • ¿Cuánto tarda el chatbot en procesar información y obtener una respuesta?
  • ¿Cuál es el procentaje de sesiones autoatendidas? ¿Cuál es el porcentaje de sesiones redirigidas a agentes? ¿Y a otros canales?
  • ¿Cuál es el porcentaje de eventos en las que el bot no es capaz de entender al usuario?

Ya he definido las métricas que me interesa recopilar ¿y ahora qué?

De manera análoga a como se haría para otro tipo de aplicaciones/canales, una vez que se han definido las métricas de interés (KPI) que cubren las necesidades y requerimientos del proyecto, se procede a su implementación. Tal como se mencionó anteriormente, este proceso conlleva distintas acciones relacionadas tanto con la definición de modelos de datos (datalayer), desarrollos adicionales, configuración de herramientas, entrenamiento de modelos, despliegues en múltiples entornos, batería de pruebas para validación, y muchas otras más.

Una vez la información se encuentra disponible en una o más fuentes de datos, se ha de recuperar y procesar a fin de poder visualizarla, obtener las observaciones más relevantes, y determinar si se cumplen (y en qué medida) los objetivos planteados en el proyecto. Como consecuencia de este análisis se podrán proponer cambios de distintas índoles, alcances y plazos. Este proceso es iterativo, por lo que la evolución, cambios y mejoras de un asistente conversacional es un proceso continuo, dinámico y con un impacto relevante en el corto plazo.

Al momento de elegir cómo visualizar las distintas métricas que hemos recopilado existe una gran diversidad de opciones (e.g. histogramas, tablas, gráficos de líneas, etc.) y herramientas. Para ello, es importante siempre tener en cuenta quién consultará estos reportes/dashboards, y así adaptarlos en función de los posibles intereses/perfiles/roles que puedan existir.

¿Cómo puedo analizar mis datos de mejor manera?

A fin de poder permitir al usuario refinar los datos mostrados de manera sencilla e intuitiva, suelen incorporarse los denominados slicers. Un slicer es una visualización que se aplica sobre secciones, páginas o reportes completos (i.e. dashboards) a fin de segregar o diferenciar la información disponible según las opciones disponibles para ello. Los slicers se diferencian de los filtros ya que estos últimos se utilizan a nivel desarrollo, permitiendo ese refinamiento en un paso anterior a que se compartan los dashboards con los usuarios finales.

Los slicers también pueden clasificarse en distintos tipos, por ejemplo:

  • Rango temporal: segregan la información visualizada acorde con el rango de fechas seleccionado
  • Origen: permiten segregar la información mostrada en los reportes en función de los diferentes asistentes, países, lenguajes, canales, etc., que puedan tenerse desplegados
  • Casos de uso: la información puede visualizarse en función del caso de uso seleccionado, sus tipos y subtipos, sí los hubiera.

En resumen…

La incorporación de una adecuada analítica en los asistentes conversacionales es fundamental para lograr su correcta evolución y consecución de objetivos. La selección y el diseño detallado de las métricas que darán respuesta a las necesidades del proyecto juega un papel fundamental, de ahí que exista la necesidad de una correcta categorización de las mismas a fin de poder priorizar, agrupar y ordenar posteriormente aquellas que faciliten el trabajo y análisis de los distintos participantes.

He leído y acepto la política de privacidad
Acepto recibir emails sobre actividades de recruiting NTT DATA