Comprendre facilement le Machine Learning grâce au Titanic et sans code⚓🧠🤖

De manière générale, un projet de Data Science passe toujours par les mêmes étapes :

01. Définition du problème : déterminer le but du projet et ce que l’on souhaite accomplir en utilisant les données.

02. Collecte de données : réunir toutes les données pertinentes pour le projet, que ce soit en les recueillant soi-même (dans son SI), en les achetant, ou en les récupérant à l’extérieur (sur internet par exemple)

03. Nettoyage de données : préparer les données pour l’analyse en les organisant, en les normalisant et en les nettoyant afin d’éliminer toutes les données manquantes ou incorrectes.

04. Exploration de données : analyser les données pour en comprendre les tendances et les patterns, en utilisant des techniques de visualisation de données et de statistiques. On parle d’EDA : Exploratory Data Analysis.

05. Modélisation : construire un modèle de prédiction en utilisant les données préparées et explorées précédemment.

06. Évaluation : mesurer l’efficacité du modèle en utilisant des métriques appropriées et en comparant les résultats obtenus avec ceux attendus.

07. Optimisation : (si nécessaire) mettre à jour le modèle en apportant des modifications afin de l’améliorer.

08. Déploiement : mettre en œuvre le modèle dans un environnement de production, en le rendant disponible pour les utilisateurs ou en l’intégrant à une application existante.

Note 1 :
Il est important de noter que ces étapes ne sont pas nécessairement linéaires et qu’il peut y avoir des retours en arrière à certaines étapes.
Par exemple, le nettoyage de données peut être effectué à plusieurs reprises au cours du projet, et l’exploration de données peut être nécessaire pour aider à la définition du problème ou à l’optimisation du modèle.

Note 2 :
Par soucis de simplification, je n’aborde pas ici les dimensions de communication, d’accompagnement du changement ou encore juridique qui font partie des projets Data (Science).

Note 3 :
Les étapes d’optimisation et de déploiement ne seront pas traité dans l’étude de cas de cet article

Intelligence Artificielle (IA) et Machine Learning (ML)

Les systèmes experts

Le concept d’IA remonte aux années 1950. Dans ses premières années, il s’agissait principalement d’être capable de reproduire les mécanismes intellectuels d’un expert. Pour cela, les projets consistaient à faire réaliser une base de règles fixes par un expert métier (matrice) puis à utiliser un moteur de règles afin d’appliquer cette base de règles.

Le Machine Learning (apprentissage automatique)

Le machine learning, qui fait partie de l’IA, consiste à utiliser des algorithmes pour permettre à un ordinateur d' »apprendre » à partir de données sans avoir été explicitement programmé pour effectuer une tâche particulière. La discipline a connu un véritable essor dans les années 1990 grâce aux avancées technologiques et à l’augmentation de la puissance de calcul des ordinateurs.

Le Deep Learning

Le deep learning est un sous-domaine de l’apprentissage automatique qui utilise des réseaux de neurones profonds (deep neural networks) pour apprendre à partir de données. Contrairement aux algorithmes de machine learning traditionnels, qui nécessitent souvent une préparation et une structure des données, les réseaux de neurones profonds peuvent apprendre directement à partir de données brutes, telles que des images, du texte ou des enregistrements audio. Le deep learning a été particulièrement efficace pour résoudre des tâches complexes comme la reconnaissance de l’objet et de la parole, et a connu un fort développement depuis le milieu des années 2000.

Type d’apprentissage au sein du Machine Learning

Apprentissage supervisé

Principe

L’apprentissage supervisé est une technique de machine learning dans laquelle un modèle est entraîné à effectuer une tâche précise en utilisant des données d’entraînement étiquetées. Ces données d’entraînement comprennent des exemples de ce que le modèle doit apprendre à faire, ainsi que les « étiquettes » correctes associées à chaque exemple.

Exemples

Par exemple, pour entraîner un modèle à reconnaître les chats dans des images, nous pourrions utiliser des données d’entraînement comprenant des milliers d’images étiquetées comme « chat » ou « pas chat ». Le modèle utilisera ces données d’entraînement pour apprendre à reconnaître les caractéristiques courantes des chats (telle que la forme de la tête, la queue, etc.) et à prédire si une image donnée contient un chat ou non.

Dans un contexte professionnel, un autre exemple peut être de prédire si un client sera ou non fidèle et rentable (un « bon » client).

Une fois entraîné, le modèle peut être utilisé pour faire des prédictions sur de nouvelles données (que l’on appelle souvent données de test). Si le modèle a été correctement entraîné, il devrait être capable de faire de bonnes prédictions sur les données de test étiquetées de la même manière que les données d’entraînement.

De manière non exhaustive, cette technique comprend les activités de

• Classification
• Régression
• Classement (ranking)
• Prédiction

Récapitulatif visuel

Apprentissage non supervisé

Principe

L’apprentissage non supervisé est une autre technique de machine learning dans laquelle un modèle est entraîné à découvrir des patterns ou des structures dans des données sans utiliser de données étiquetées. Cela signifie que le modèle n’est pas fourni avec des exemples de ce qu’il doit apprendre à faire et qu’il doit trouver lui-même les structures dans les données.

Exemples

Imaginons que nous avons un sac rempli de billes de différentes couleurs et que nous souhaitons les regrouper en fonction de leurs similitudes. Pour ce faire, nous pouvons utiliser un algorithme de clustering (un type d’apprentissage non supervisé) pour regrouper les billes en groupes similaires. Par exemple, nous pourrions obtenir des groupes de billes rouges, de billes jaunes, de billes vertes, etc. Le tout sans avoir appris (apprentissage supervisé) à la machine, par exemple, ce qu’est une bille rouge.

Dans un contexte professionnel, un exemple peut être de détecter des transactions qui diffèrent des autres (suspectes).

De manière non exhaustive, cette technique comprend les activités de

• Clustering (regroupement)
• Réduction de dimension
• Reconnaissance de modèle
• Détection d’anomalie

Apprentissage par renforcement

Principe

L’apprentissage par renforcement est une troisième technique de machine learning. Dans celle-ci un agent interagit avec son environnement en prenant des actions. Il reçoit des récompenses ou des punitions en fonction des résultats de ses actions. L’objectif de l’agent est d’apprendre à maximiser sa récompense à long terme en ajustant ses actions en fonction de ses expériences passées.

Exemples

Imaginons que nous avons un robot qui doit apprendre à naviguer dans un labyrinthe. À chaque fois que le robot prend une décision (par exemple, tourner à droite ou à gauche), il reçoit une récompense ou une punition en fonction de s’il s’approche ou s’éloigne de la sortie du labyrinthe. L’apprentissage par renforcement consiste à faire en sorte que le robot apprenne à prendre les décisions qui lui permettront d’obtenir la plus grande récompense à long terme, en ajustant ses actions en fonction de ses expériences passées.

Dans un cadre professionnel, ce peut être un moteur de recommandation basé sur l’apprentissage par renforcement. Alors l’agent est l’utilisateur et l’environnement est le système de recommandation. L’agent interagit avec l’environnement en cliquant sur des recommandations. Il reçoit alors des récompenses sous la forme de temps passé sur le contenu recommandé. L’objectif de l’agent est d’apprendre à maximiser sa récompense en cliquant sur des recommandations qui lui plaisent vraiment.

Validation croisée

Principe

La validation croisée est une technique utilisée pour évaluer la performance d’un modèle de machine learning sur des données de test.

Elle consiste à

• Diviser l’ensemble de données en plusieurs parties appelées « plis » (folds)
• A entraîner le modèle sur une partie des données (appelée « ensemble d’entraînement » (train set))
• À le tester sur l’autre partie (appelée « ensemble de validation » (validation set)).

Cette procédure est répétée plusieurs fois en utilisant différents plis de données à chaque fois. Cela permet d’obtenir une estimation plus précise de la performance du modèle.

Utilité

La validation croisée permet de mesurer la performance du modèle sur des données qui n’ont pas été utilisées pour l’entraîner. C’est important pour évaluer sa capacité à généraliser à de nouvelles données. Elle est également utile pour sélectionner les meilleurs hyperparamètres pour un modèle. C’est-à-dire les paramètres qui déterminent le comportement de l’algorithme de machine learning. Enfin, elle permet de limiter le sur-entrainement du modèle.

Note : Ces notions d’hyperparamètres et de sur-entrainement ne seront pas développées ici.

Illustration visuelle

Le visuel ci-dessus illustre l’importance d’entrainer et de tester un modèle selon plusieurs découpages du jeu de donnée. En effet, l’exemple de la première itération montre que le modèle pourrait apprendre « exagérément » la présence de mauvais clients. De plus, il pourrait présenter de mauvaises performances, car testé sur un groupe comportant exclusivement des mauvais clients.

Note :
Pour simplifier le propos, je ne rentre volontairement pas dans la distinction entre jeux d’entrainement, de validation et de test. L’article Medium de Valentina Alto dont est tiré le visuel ci-contre donne plus d’informations.

En synthèse, c’est bien le jeu d’entraînement qui est subdivisé pour créer celui de validation.

Précision et sensibilité

La précision est la proportion de prédictions correctes.
Dans le cadre de notre exemple, la précision du modèle sera sa capacité à avoir raison lorsqu’il prédit qu’un passager va survivre. Elle peut être calculée ainsi : Sur 100 passagers prédits comme survivants, combien ont réellement survécu ?

La sensibilité mesure la capacité d’un modèle à identifier ce que l’on cherche à prédire.
Dans le cadre de notre exemple, la sensibilité du modèle sera sa capacité à identifier les personnes qui ont survécu. Elle peut être calculée ainsi : sur 100 survivants, combien ont effectivement été prédits comme tels par le modèle ?

La performance du modèle sera évaluée, entre autres, selon ces deux mesures. Le challenge vient de fait que l’amélioration de l’une se fait souvent aux dépens de l’autre.
Par exemple, prenons un modèle qui prédirait la survie de tous les passagers. Sa sensibilité serait parfaite, mais sa précision serait mauvaise. À l’inverse, s’il prédit un seul survivant et qu’il a raison, alors il a une précision parfaite, mais une mauvaise sensibilité

Vrais/Faux Positifs/Négatifs

La comparaison entre la réalité et la prédiction du modèle permet de distinguer les 4 catégories ci-dessus.

Ainsi la précision est égale à :

Taux de Vrai Positif (True Positive Rate)
Ratio entre les prédictions justes de survie et l’ensemble des passagers qui survivent en réalité

Taux de Faux Positif (False Positive Rate)
Ratio entre les prédictions erronées de survie et l’ensemble des passagers morts en réalité

Courbe ROC

La courbe ROC présente le taux de faux positif en fonction de celui de vrai positif. Elle permet de fixer le seuil optimal à utiliser pour séparer les prédictions de survie de celles de décès.

> Sur l’illustration, en acceptant un taux de faux positifs de 10% les différents modèles permettent de prédire jusqu’à 90% des survivants.

>Pour chaque modèle, en définissant le taux de faux positifs acceptable on fixe aussi le taux de vrais positifs atteignable et le niveau seuil à sélectionner pour séparer les survivants des autres.

Pour utiliser Machine Learning Studio, vous n’avez pas forcément besoin d’un compte Microsoft :

Comme l’indique le visuel ci-dessus, il est possible d’utiliser l’outil gratuitement pendant 8 heures (renouvelables indéfiniment). Je recommande cependant d’utiliser un compte Microsoft pour accéder à l’offre gratuite qui permettra d’avoir un espace de travail pérenne.

Voici le lien pour vous connecter : https://studio.azureml.net/

Une fois connectés, fermer la fenêtre qui s’ouvre (cliquez sur « close ») :

Vous devriez alors avoir une interface qui ressemble à celle-ci :

Le lien suivant vous permet d’importer le modèle pré-construit pour cette compétition Kaggle : ici

Validez la région en cliquant sur la coche en bas à droite :

Et vous voici presque prêts avec un écran qui devrait ressembler à celui-ci :

Il ne vous reste plus qu’à cliquer sur « Run » en bas de votre écran et à patienter (~1’20 »).

• PassengerId : le numéro unique du passager dans le cadre de ce jeu de donnée
• Name : le nom du passager
• Ticket : le numéro de ticket du passager
• Cabin : le numéro de cabine du passager