La courbe de Lorenz décrit la qualité des prédictions du modèle. Elle est calculée par :

La courbe représente ainsi une mesure du regroupement du portefeuille en cours d'analyse.

Impossible d'afficher le contenu

La courbe de lift est construite en triant les prédictions de la plus basse à la plus haute et en les regroupant en 20 ensembles représentant chacun 5% des prédictions.

Pour chaque groupe, nous affichons ensuite la prédiction moyenne du modèle et l'observation moyenne, afin d'évaluer la qualité des prédictions du modèle. Autour des moyennes, nous affichons des barres d'erreur pour visualiser la variabilité à travers les différentes itérations.

Impossible d'afficher le contenu

La courbe ROC nous permet de comprendre les modèles de Propensity-Logistic. Avant de détailler la courbe ROC, rappelons quelques définitions utiles pour un modèle logistique.

La courbe ROC repose sur la notion de seuil de classification. Nous définissons un seuil de classification comme le seuil au-dessus duquel nous considérerons les prédictions comme des résultats positifs et en dessous duquel nous les considérerons comme des résultats négatifs.

Un résultat positif est une prédiction associée à la valeur TRUE d'une variable binaire, c'est-à-dire la valeur 1. Un résultat négatif est, à l'opposé, une prédiction associée à la valeur FALSE d'une variable binaire, c'est-à-dire la valeur 0. Un TRUE POSITIVE (TP) est un résultat où le modèle prédit correctement la classe positive. De même, un FALSE POSITIVE (FP) est un résultat où le modèle prédit incorrectement TRUE alors que la réponse réelle est FALSE. Les définitions de TRUE NEGATIVE (TN) et FALSE NEGATIVE (FN) s'ensuivent immédiatement.

En utilisant ces définitions, nous pouvons exprimer des rapports significatifs. D'un côté, le TRUE POSITIVE RATE (TPR) exprime le pourcentage de prédictions positives correctes :

De l'autre côté, le FALSE POSITIVE RATE (FPR) exprime le pourcentage de prédictions positives incorrectes :

Ainsi, un modèle utopique parfait qui prédit correctement tous les membres de la classe positive et tous les membres de la classe négative aura un TPR égal à 1 et un FPR égal à 0.

Dans le graphique ci-dessous, nous voyons qu'il existe un seuil pour lequel nous pouvons avoir un TPR de 90 % et un FPR de 60 %.

Impossible d'afficher le contenu

La métrique AUC, qui est calculée comme l'aire sous la courbe ROC, est couramment utilisée comme métrique de performance pour les modèles de classification. Plus d'informations peuvent être trouvées sur l'entrée Wikipedia pour la caractéristique de fonctionnement du récepteur.

Un modèle utopique parfait aurait un TPR de 1 et un FPR de 0 pour chaque seuil de classification, conduisant à tracer uniquement un point dans le coin supérieur gauche.

Les courbes ROC sont construites sur les données de test de la *Cross Validation* (validation croisée), de sorte qu'elles reflètent la performance *Out of Sample* du modèle.

Dans l’aperçu du modèle, l’onglet "Statistics" (Statistiques) vous donnera une compréhension complète des performances du modèle :

Vous trouverez des explications plus détaillées sur chacune de ces métriques dans la section Performances (Performance metrics).

Pour chaque métrique, Akur8 fournit les résultats des calculs effectués sur différents échantillons :

Il est également possible d'afficher la Performance Metric pour chaque fold en cliquant sur la flèche à l'extrémité droite de chaque ligne :

Les variations d'un fold à l'autre sont utilisées pour construire les Barres d'erreur (Error Bars) autour de chaque point affiché sur les différents grids de recherche :

Les résidus du modèle peuvent être analysés dans l'onglet Residuals (Résidus) de l'aperçu du modèle. Vous pouvez choisir entre les résidus de déviance et les résidus quantiles (voir la section « Résidus » dans les indicateurs de performance pour plus de détails) :

Le graphique d'importance des variables montre quelles variables sont incluses dans le modèle, ainsi que leur importance par rapport à leur impact sur les prédictions.
Il existe de nombreuses façons en apprentissage automatique d'évaluer cela, mais comme nos modèles sont basés sur des coefficients, nous pouvons dériver l'importance des variables directement à partir de l'étalement des coefficients.

L'écart 100/0 est calculé en observant directement les coefficients maximum et minimum pour une variable donnée, puis en calculant leur différence.

Pour les modèles multiplicatifs et logistiques, à partir des coefficients en pourcentage affichés dans l'outil, l'écart sera calculé comme :

Pour l'exemple ci-dessus, la répartition 100/0 est de 123 %, calculée comme suit :

Pour les modèles à lien d'identité (régression gaussienne), l'écart sera simplement la différence des coefficients.

L'écart 95/5 est calculé de manière similaire au ratio 100/0, mais avant ce calcul, les 5 % de l'exposition la plus risquée et les 5 % de l'exposition la moins risquée sont retirés.

Le graphe de la variable affiche différents tracés pour aider à comprendre si et comment le modèle capture le signal pour chaque variable.

Les valeurs observées sont affichées en violet. Elles représentent la moyenne de la variable cible (divisée par l'exposition si activée et pondérée par l'exposition si définie) sur la partie modélisation du jeu de données pour chaque modalité :

Les coefficients du modèle sont affichés en vert (et montrés en pourcentage).

Ils peuvent être soit multiplicatifs (pour les modèles avec un lien logarithmique) soit additifs (pour les modèles avec un lien logit ou identitaire).

Dans les deux cas, les coefficients sont traduits pour être affichés de façon plus compréhensible.

Pour les modèles multiplicatifs, pour lesquels le résultat final serait :

Ensuite, le coefficient sera affiché comme suit :

𝐶_𝑟𝑒𝑓 est la valeur des coefficients pour un niveau de référence donné, qui peut être à la mode, à un niveau spécifié par l'utilisateur ou à un niveau "virtuel" défini pour être rattaché à une moyenne. Pour plus de détails, veuillez consulter Rescaling des coefficients ci-dessous.

Les valeurs observées et prédites peuvent être affichées de différentes manières : Normalisé ou Brut.

Le passage de l'un à l'autre peut se faire en cliquant sur le bouton suivant, juste en dessous du graphique de la variable :

Les valeurs brutes correspondent à la valeur moyenne pondérée pour chaque modalité de la variable. Par exemple, la fréquence brute ou le coût moyen, tels qu'observés ou prédits. Cette option est appliquée uniquement aux observations et aux prédictions, pas aux coefficients.

Les valeurs normalisées correspondent à un re-calibrage des valeurs brutes de sorte que la valeur moyenne observée pour l'ensemble de la base de données de modélisation soit fixée à 0 %. Pour un modèle multiplicatif, le recalibrage est fait en utilisant la formule suivante

Pour une variable donnée, les coefficients peuvent être ajustés pour avoir un autre niveau comme niveau de référence (coefficient à 0 % pour un modèle multiplicatif). Les prédictions du modèle sont invariantes sous certains recalibrages de coefficients. Nous proposons trois choix différents pour exploiter cette invariance :

Ces différentes manières de redimensionner peuvent être accessibles en cliquant sur l'icône suivante dans le coin supérieur droit du graphique de la variable :

Ce qui vous donnera ensuite toutes les options :

Selon vos préférences pour les variables ordinales, vous pouvez regrouper les modalités en fonction des coefficients, du quantile et des quantiles pondérés en cliquant sur le menu déroulant dans le coin supérieur droit.

Pour les variables ordinales, les graphiques des variables peuvent être affichés par groupes basés sur les coefficients. Les niveaux ayant des coefficients égaux seront regroupés dans un même ensemble, et toutes les métriques correspondantes seront recalculées. C’est une option de visualisation pour identifier rapidement les regroupements qui ont été évalués pour un modèle.

Cette option de regroupement est conservée pour chaque variable lors du passage entre les modèles dans le même projet. L'option est également conservée dans le graphique de documentation. Si l'option de regroupement est sélectionnée pour une variable, le graphique exporté sera dans la version regroupée dans le fichier.

Pour mieux reconnaître les motifs dans les variables bruitées, en cliquant sur cette icône

dans le coin supérieur droit, vous pouvez regrouper les résultats par quantile ou quantile pondéré :

Impossible d'afficher le contenu

Les étiquettes assurent une traçabilité complète, et ces options de regroupement sont persistantes, tout comme le regroupement des coefficients.

Le nombre de classes peut être modifié en utilisant les boutons + et -, ou en cliquant sur le nombre affiché et en entrant directement une valeur :

Cette fonctionnalité est également disponible dans la fonctionnalité *Comparison mode* (Mode de comparaison).

Pour les variables catégorielles, il n'y a qu'une option : le regroupement par plus faible exposition. Cela regroupe les modalités avec la plus faible quantité d'exposition.

Le nombre de groupes peut être modifié en utilisant les boutons + et -, ou en cliquant sur le nombre affiché et en saisissant directement une valeur. Le groupe se trouvera à gauche du graphique.

La vérification de la cohérence temporelle d'une variable se fait via l'interaction entre la variable et la variable Date (spécifiée dans les *Goals* (Objectifs) selon Date).

Pour visualiser cette interaction, vous pouvez sélectionner l'option "Time Consistency" (Cohérence temporelle) dans le champ "Graph Type" (Type de graphique) sous le Graphique de la Variable :

Les interactions sont ensuite affichées de la manière suivante :

Si cette interaction est significative (c’est-à-dire que les coefficients sont sensiblement différents), le modèle n’est pas cohérent au fil des années.

L'interaction est ajustée jusqu'à une valeur de signification qui est déterminée par la fluidité du modèle considéré.

Il est également possible de visualiser, pour chaque niveau de Date, les valeurs Observées et Prévues en sélectionnant l'option Observed/Predicted (Observé/Prévu) dans le champ Option (Option) sous le graphique de la variable :