Amazon Fraud Detector n'est plus ouvert aux nouveaux clients depuis le 7 novembre 2025. Pour des fonctionnalités similaires à celles d'Amazon Fraud Detector SageMaker, explorez Amazon AutoGluon, et AWS WAF.
Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Métriques de performance des modèles
Une fois la formation du modèle terminée, Amazon Fraud Detector valide les performances du modèle en utilisant 15 % de vos données qui n'ont pas été utilisées pour entraîner le modèle. Vous pouvez vous attendre à ce que votre modèle Amazon Fraud Detector ait des performances de détection des fraudes réelles similaires à celles des indicateurs de performance de validation.
En tant qu'entreprise, vous devez trouver un équilibre entre la détection d'un plus grand nombre de fraudes et l'augmentation des frictions pour les clients légitimes. Pour vous aider à trouver le bon équilibre, Amazon Fraud Detector fournit les outils suivants pour évaluer les performances des modèles :
-
Tableau de distribution des scores — Un histogramme des distributions des scores des modèles suppose un exemple de population de 100 000 événements. L'axe Y de gauche représente les événements légitimes et l'axe Y de droite représente les événements de fraude. Vous pouvez sélectionner un seuil de modèle spécifique en cliquant sur la zone du graphique. Cela mettra à jour les vues correspondantes dans la matrice de confusion et la carte ROC.
-
Matrice de confusion — Résume la précision du modèle pour un seuil de score donné en comparant les prévisions du modèle aux résultats réels. Amazon Fraud Detector part d'un exemple de population de 100 000 événements. La diffusion des fraudes et des événements légitimes simule le taux de fraude dans vos entreprises.
Vrais points positifs — Le modèle prédit la fraude et l'événement en est en fait une fraude.
Faux positifs — Le modèle prédit la fraude mais l'événement est en fait légitime.
Vrais points négatifs — Le modèle prédit la légitimité et l'événement est réellement légitime.
Faux négatifs — Le modèle prédit la légitimité de l'événement, mais il s'agit en fait d'une fraude.
-
Taux de vrais positifs (TPR) : pourcentage du total des fraudes détectées par le modèle. Également connu sous le nom de taux de capture.
-
Taux de faux positifs (FPR) : pourcentage du total des événements légitimes qui sont considérés à tort comme des fraudes.
-
Courbe d'opérateur du récepteur (ROC) : trace le taux de vrais positifs en fonction du taux de faux positifs sur tous les seuils de score possibles du modèle. Consultez ce graphique en choisissant Advanced Metrics.
-
Aire sous la courbe (AUC) — Résume le TPR et le FPR pour tous les seuils de score possibles du modèle. Un modèle sans pouvoir prédictif a une AUC de 0,5, alors qu'un modèle parfait a un score de 1,0.
-
Plage d'incertitude — Elle montre la plage d'AUC attendue du modèle. Une plage plus grande (différence entre les limites supérieure et inférieure de l'AUC > 0,1) signifie une incertitude du modèle plus élevée. Si la plage d'incertitude est importante (>0,1), envisagez de fournir davantage d'événements étiquetés et réentraînez le modèle.
Pour utiliser les mesures de performance du modèle
-
Commencez par le tableau de distribution des scores pour examiner la distribution des scores des modèles pour votre fraude et vos événements légitimes. Idéalement, vous aurez une distinction claire entre la fraude et les événements légitimes. Cela indique que le modèle peut identifier avec précision quels événements sont frauduleux et lesquels sont légitimes. Sélectionnez un seuil de modèle en cliquant sur la zone du graphique. Vous pouvez voir comment l'ajustement du seuil de score du modèle influe sur vos taux de vrais positifs et de faux positifs.
Note
Le graphique de distribution des scores trace la fraude et les événements légitimes sur deux axes Y différents. L'axe Y de gauche représente les événements légitimes et l'axe Y de droite représente les événements de fraude.
-
Passez en revue la matrice de confusion. En fonction du seuil de score du modèle que vous avez sélectionné, vous pouvez voir l'impact simulé sur la base d'un échantillon de 100 000 événements. La diffusion des fraudes et des événements légitimes simule le taux de fraude dans vos entreprises. Utilisez ces informations pour trouver le juste équilibre entre le taux de vrais positifs et le taux de faux positifs.
-
Pour plus de détails, choisissez Advanced Metrics. Utilisez le graphique ROC pour comprendre la relation entre le taux de vrais positifs et le taux de faux positifs pour tout seuil de score du modèle. La courbe ROC peut vous aider à affiner le compromis entre le taux de vrais positifs et le taux de faux positifs.
Note
Vous pouvez également consulter les mesures sous forme de tableau en choisissant Tableau.
La vue du tableau montre également la précision de la métrique. La précision est le pourcentage d'événements de fraude correctement prédits comme frauduleux par rapport à tous les événements prédits comme frauduleux.
-
Utilisez les indicateurs de performance pour déterminer les seuils de modèle optimaux pour vos entreprises en fonction de vos objectifs et de votre cas d'utilisation en matière de détection des fraudes. Par exemple, si vous envisagez d'utiliser le modèle pour classer les nouveaux enregistrements de comptes comme présentant un risque élevé, moyen ou faible, vous devez identifier deux scores seuils afin de pouvoir rédiger trois conditions de règle comme suit :
-
Les scores > X indiquent un risque élevé
-
Les scores < X but > Y correspondent à un risque moyen
-
Les scores < Y indiquent un faible risque
-
