1 - Introduction

En tant qu’xBot manager, vous voudrez peut-être savoir :

• Si votre xBot est un bon agent conversationnel ?

• Dans quel but et par qui votre xBot est utilisé ?

• Voir les conversations / transcriptions des dialogues entre vos clients et votre xBot ?

Les pages de reporting suivantes vous aideront à optimiser votre xBot. Vous aurez accès à beaucoup d’informations utiles telles que des :

• indicateurs clés sur des données historiques et en temps réel

• données de conversations anonymes permettant une meilleure compréhension de ce que veulent vos clients

• recommandations sur les intentions qui peuvent être optimisées

2 - Interface Reporting

Vous pouvez accéder à cette page Reporting en cliquant sur l’icône dans le menu vertical bleu à gauche du portail my.satisfaction.AI.

Toutes les pages de reporting utilisent le même cadre de présentation. Vous pouvez sélectionner à gauche les rapports que vous souhaitez voir et dans la barre de navigation, vous pouvez ajuster l’affichage de vos rapports via 3 critères:

• l’environnement de votre xBot : votre xBot fonctionnant en Production ou bien le xBot étant en version de Development (= environnement de pré-production)

• le fuseau horaire : où géographiquement / sur quel fuseau horaire, les conversations se sont produites

• la période : intervalle pré-sélectionné ou personnalisé quand les conversations ont eut lieu

• De plus, les graphiques sont exportables (via un menu affiché en haut à droite) en image PNG et les données associées sont exportables en fichier CSV :

Pour plus d’information sur l’importation de fichier CSV dans Excel, vous pouvez consulter par exemple cette documentation:

. https://support.office.com/fr-fr/article/Importer-ou-exporter-des-fichiers-texte-txt-ou-csv-5250ac4c-663c-47ce-937b-339e391393ba

. http://www.cours-excel.fr/comment-mettre-en-forme-un-fichier-csv/

• NB:
  • Toutes les données des pages de reporting sont mis à jours tous les quarts d’heures (cad à xxh00, xxh15, xxh30, xxh45)
  • le format du calendrier est un format américain (la semaine commence le dimanche). Cela évoluera dans une version ultérieure du portail

3 - Section Live

A - Page Right now

Dans la section Live de la page Reporting, vous pouvez trouver via l’indicateur Right now le nombre de sessions actives qui fonctionnent depuis les dernières 20 dernières minutes.

Par sessions, nous entendons des dialogues entre vos utilisateurs et le xBot avec au moins 1 entrée d’utilisateur.

4 - User management section

A - page Users

Dans la section User Management de la page Reporting, vous pouvez voir dans la page Users deux graphiques illustrant:

• l’évolution du Total des utilisateurs actifs (Total active users) : Nombre total d’utilisateurs ayant reçu ET envoyé au moins un message

• l’évolution des Utilisateurs totaux (Total users): Nombre total d’utilisateurs ayant reçu OU envoyé au moins un message

5 - Section Conversation

A - page Messages

Dans la section Conversation de la page Reporting, vous pouvez voir dans la page Messages 3 groupes de graphiques illustrant :

• le nombre (Messages received / sent) de messages reçus / envoyés

• le nombre moyen (Average messages per session) de message envoyé ET reçu par session

• la durée moyenne (Average session time) des sessions de dialogue entre votre xBot et des utilisateurs

B - page Transcripts

Dans la section Conversation de la page Reporting, vous pouvez voir dans la page Transcripts (Transcriptions) la liste des verbatim de ce qui a été dit entre les utilisateurs et votre xBot :

Pour des analyses sur tableur Microsoft Excel ou OpenOffice Calc, vous pouvez exporter dans un fichier CSV cette liste des transcripts.

UTF-8 est le jeu de caractère à utiliser pour avoir les accents et les caractères spéciaux correctement affiché. Pour plus d’information sur l’importation de fichier CSV dans un tableur, vous pouvez consulter par exemple cette documentation .

La liste des transcriptions peut être triée selon plusieurs critères tels que :

• la Durée (Duration) de la conversation

• Le nombre de questions de l’utilisateur reçu (Received) par le xBot

• Le nombre de questions de l’utilisateur envoyé (Sent) par le xBot

• Le nombre d’Etapes (Steps) ou dit autrement le nombre d’échanges complets = [(question de l’utilisateur + réponse xBot)/2]

• Le Sentiment analysé dans la conversation

• Si la conversation a été en attente (Waiting) d’être prise en main par un Agent humain ou pas

• Si la conversation a été prise en main (Handled) par un Agent humain ou pas

Pour plus d’information sur ces 3 derniers critères, veuillez bien vouloir consulter la documentation sur l’analyse du sentiment des conversations.

Sur le côté droit, via le bouton “play” vous pouvez également accéder à la transcription, les verbatims «mot à mot» de ce qui a été dit lors d’une conversation :

1 - Contenu des Transcripts

Dans les transcripts sont affichés pour chaque phrase des informations utiles qui peuvent permettre d’améliorer la pertinence des réponses de votre xBot.

Pour chaque transcript, vous pouvez trouver les informations suivantes en haut de la page:

• Le nombre d’Intentions déclenchées (Intents triggered)

• La liste des Intentions déclenchées. Si l’Intention est élue plusieur fois, celle-ci ne sera affichée qu’une seule fois. A noter que l’intention Default (si déclenchée) n’est pas affichée.

Dans le contenu des transcripts est présent différent type d’information:

a) - Analyse du Sentiment de la phrase

• Pour chaque transcript une Analyse du Sentiment* des phrases est faite. De plus, vous avez aussi la possibilité de fournir des suggestions par crowdsourcing pour:

  • le sentiment qui est associé à la phrase de votre utilisateur

  &

  • la pertinence de la réponse de votre xBot

*Analyse du Sentiment:

L’analyse de sentiment est effectuée sur les informations échangées entre l’utilisateur final et le xBot. Cette analyse est basée sur notre système Dialog AtmosphereTM.

Vous pouvez trouver plus d’information sur le fonctionnement sur l’Analyse de Sentiment et le Dialog AtmosphereTM sur cette page.

b) - Information sur les Intentions élues

Chaque phrase adressée à votre xBot est traitée pour être associée à une Intention. Sous chaque phrase utilisateur reconnue par le modèle d’IA de votre xBot est affiché le nom de l’Intention élue, ou dit autrement l’Intention paramétrée dans la page Knowledge & Skill et aussi dans la page Intents du portail.

Dans les transcripts peuvent être affichées quatres types de compréhension d’Intentions:

La reconnaissance de l’intention de l’utilisateur par le xBot peut avoir quatre résultats:

1) Correspondance parfaite à une Intention : Votre modèle trouve une correspondance avec une de vos Intentions :

= Correspondance à une Intention connue

Exemple:

=

= Correspond à un bouton cliqué

Exemple:

Note: Le text “yes” affiché ci-dessus est celui dans cet exemple qui est paramétré par la mention ]yes[ dans le code Athena ci-dessous:

? BUTTON CHOICE
[list][*][button title="Yes" ]yes[/button][*][button title=”no”]no[/button][/list]

2) = Correspondance à une “extraction de données” ou un “hors sujet“

Cela correspond à :

• une “extraction de données” (Data Extract): Ceci est affiché dans les transcripts pour tous les scénarios qui ont besoin d’une réponse spécifique dans un certain format afin d’aller plus loin dans la conversation.

Exemple:

• ou bien à un “hors sujet” (Off topic) dans la réponse de l’utilisateur par rapport au scénario de la conversation qui a été initié.

Exemple:

La gestion des “hors sujets” dans un scénario de dialogue peut se paramétrer dans la connaissance du xBot avec soit un Pattern Athena © de type Default (en utilisant la synthaxe Athena © “??”), soit avec un Pattern Athena © de type Default forced (en utilisant la synthaxe Athena © “???”).

Ce marquage des phrases “hors sujets” peut être souhaitable dans les sous-scénarios, cela afin de capturer toutes les réponses fournies par vos utilisateurs finaux qui ne correspondent pas à la réponse attendue par le xBot dans un scénario en particulier. Par exemple, pour la question “Quel est votre nom ?” la réponse attendue est un “Nom”. Toutes autres réponses sont répondues par le Pattern Athena © Default “Désolé, je n’ai pas compris”.

- Optimisation possible: Toutes les phrases dans les transcripts qui sont marquées d’une “extraction de données” (Data Extract) ou “hors sujet” (Off topic) avec cette icône sont des phrases que vous pouvez maintenant analyser pour ajouter de nouveaux scénarios de réponses de votre xBot ou pour ajuster des scénarios existants.

3) = Besoin de désambiguïsation car la phrase de l’utilisateur ne correspond pas qu’à une seule Intention connue par le xBot

• Le score de correspondance entre 2 intentions est si proche que le xBot a besoin d’une désambiguïsation (clarification) de la part de l’utilisateur. Pour plus d’information sur ce qu’est la désambiguïsation, n’hésitez pas à consulter cette page.

Exemple:

- Optimisation possible: Lorsque vous détectez que l’utilisateur exprime dans un scénario régulièrement plusieurs intentions dans la même phrase, vous pouvez retravailler l’arbre conversationnel de votre scénario pour aider votre xBot à mieux répondre.

4) = Déclenchement du Label [DEFAULT] car la phrase de l’utilisateur n’est pas du tout comprise

• Aucune intention ne peut être associée parce que votre xBot n’a pas encore la connaissance ou la compétence demandée par l’utilisateur. Les phrases détectées de cette manière sont affichées avec en dessous une icône .

Exemple:

- Optimisation possible: Il suffit de lui donner cette connaissance dans la page K&D, de le nourrir en phrases classifiées puis de l’entrainer pour qu’il puisse répondre à ces questions.

2 - Evènements et informations avancées

En cliquant sur bouton “Show all events” , vous pouvez accéder à un journal des événements avec des informations techniques supplémentaires sur l’historique de la conversation:

Un clic sur la phrase de l’utilisateur déplie et affiche les informations concernant la conversation entre votre utilisateur et votre xBot et les événéments techniques suivants:

• custom data & message: Les informations enregistrées ici dépendent des spécifications du connecteur externe (Facebook Messenger, Slack, Microsoft Teams, Skype, etc…) utilisé pour héberger le canal de conversation

• xbrain-dialog-atmosphere: indicateurs techniques score, polarity, offensive, emojis, dialogScore, etc …

• Athena log information: information technique de débug et sur la classification

3 - Export des Transcripts

Vous pouvez exporter dans un fichier CSV tout le contenu des transcripts, ceci afin de faire des analyses personnalisées dans un tableur Microsoft Excel ou OpenOffice Calc.

UTF-8 est le jeu de caractère à utiliser pour avoir les accents et caractères spéciaux correctement affichés. Pour plus d’information sur l’importation de fichier CSV dans un tableur, vous pouvez consulter par exemple cette documentation .

Section Bot management

A - Page Intent

Dans la page Intents, vous pouvez voir quelles sont les Intentions les plus actives Intent activity pendant la période sélectionnée:

• Sur l’axe vertical sont affichés les Intentions triées par le nombre de déclenchements/détections

• Sur l’axe horizontal est affiché le nombre de fois que l’Intention est déclenchée .

B - Page Bot optimization

Dans la section Bot management de la page Reporting, vous pouvez voir via la page Bot optimization le nombre de phrases classées par intention.

• Sur les coordonnées s’affichent les Intentions triés par les tâches ou les actions les plus populaires demandées par vos utilisateurs

• Sur les abscisses s’affiche le nombre de phrases classées par Intentions.

Recommendations :

Pour un entraînement équilibré de votre xBot, vous devez classer au moins 5 phrases par intention. Nous vous recommandons également un maximum de 30 phrases par intention.

De plus vous pouvez trouver illustré en bas de ce rapport quelles intentions sont déséquilibrées et devraient être rééquilibrés avant le prochain entraînement.

Documented/reviewed 03/04/2018 17:12:55