Apprentissage automatique
5. Critères de performance
L'évaluation de la performance d'un classifieur se fait par le taux de bonnes classifications.
Exemple, si pour 100 exemples de tests, 89 ont été prédits correctement par notre modèle de prédiction, on pourra dire que ce modèle a une précision de 89% (souvent écrit 0,89).
Mais la précision n'est pas le seul critère à prendre en compte, notamment pour les problèmes à deux classes.
En effet, lorsque l'on travaille avec des modèles de prédiction binaires, de nouveaux critères peuvent entrer en jeu (par exemple, dans le domaine médical).
Tableau de confusion:
La sensibilité (se) représente la proportion de personnes vraiment atteintes de la maladie, dans la population ciblée, qui sont identifiées par le test de dépistage comme étant atteintes de la maladie (c’est-à-dire qu’elles
ont des résultats élevés).
La sensibilité indique la probabilité que le test diagnostiquera correctement un cas.
La spécificité (sp) représente la proportion de personnes non atteintes de la maladie qui a des résultats peu élevés sur le test de dépistage: la probabilité que le test identifiera correctement une personne n’étant pas
atteinte de la maladie.
L'exactitude (Accuracy): Le taux de bonne classification
𝑎𝑐𝑐
= 𝑡𝑏𝑐 = 𝑇𝑃 + 𝑇𝑁
𝑇𝑃 + 𝐹𝑁 + 𝑇𝑁 +
𝐹𝑃
≈ 𝑇𝑃 + 𝐹𝑁 ∗ 𝑡𝑝𝑟 + 𝐹𝑃 + 𝑇𝑁 ∗ 1 − 𝑓𝑝𝑟
La sensibilité et la spécificité d'une classification doivent toujours être données ensemble.
On peut d'ailleurs définir l'indice
de Youden :
𝐼𝑌𝑜𝑢𝑑𝑒𝑛 = 𝑆𝑒 + 𝑆𝑝 − 1
Cet indice révèle l'efficacité de la prédiction :
- S'il est négatif ou nul, la classification est inefficace.
- Elle est d'autant plus efficace qu'il se rapproche de 1.