Optimisation de votre application alimentée par l’IA avec des modèles

Avec la sortie régulière de nouveaux modèles IA, choisir celui qui convient à votre application peut s’avérer difficile. GitHub Models vous aide à optimiser votre application alimentée par l’ia en vous permettant de comparer différents modèles et variantes de prompts par rapport à des exemples d’entrées, tout en utilisant des évaluateurs intégrés pour valider la sortie du modèle.

À l’aide d’un scénario d’exemple, nous allons créer un assistant alimenté par l’IA qui aide les utilisateurs à apprendre à utiliser Git à partir de la ligne de commande. Nous passerons en revue différents modèles et vous apprendrez comment améliorer les variantes de prompt afin d’améliorer la qualité de la sortie.

Tester un prompt

La vue comparaisons de GitHub Models vous permet d’ajuster les paramètres du modèle et les prompts pour tester la sortie du modèle.

1. Création d’un référentiel exemple

Vous pouvez accéder à la vue comparaisons directement à partir de l’onglet modèles dans n’importe quel référentiel, mais dans ce guide, nous allons créer un nouveau référentiel qui servira d’environnement de test.

1. Accédez à la nouvelle page du référentiel.
2. Sous « Propriétaire », assurez-vous que votre compte d’utilisateur est sélectionné.
3. Dans le champ « Nom du référentiel », tapez models-playground.
4. Sous le champ de description, sélectionnez Privé pour définir la visibilité du référentiel.
5. Cliquez sur Créer un dépôt.

2. Création d’un prompt

1. Sur la page principale de votre nouveau référentiel, cliquez sur l’onglet modèles.
2. Dans la section « Prompts », cliquez sur Nouveau prompt.
3. Dans le coin supérieur gauche, choisissez un modèle dans le menu déroulant.

3. Écrire un prompt de système

Un prompt système est un ensemble d’instructions qui définit le rôle, le comportement et les limites d’un modèle IA avant qu’il n’interagisse avec les utilisateurs. Dans cet exemple, nous allons travailler sur une application alimentée par l’IA qui explique comment utiliser Git à partir de la ligne de commande.

Dans le champ Prompt système, copiez et collez le texte suivant :

You are an expert at using the Git version control system. I will ask questions looking for guidance on the best way to perform tasks using Git, and you will give clear, step-by-step answers that explain each step you are recommending.

You are an expert at using the Git version control system. I will ask questions looking for guidance on the best way to perform tasks using Git, and you will give clear, step-by-step answers that explain each step you are recommending.

4. Écrire un prompt utilisateur

Le prompt utilisateur correspond à la question ou à l’instruction directe adressée à un système d’IA pendant la conversation, à laquelle le système d’IA répond.

Dans le champ Prompt utilisateur, copiez et collez le texte suivant :

I want to learn how to use Git from the command line. 

I want to learn how to use Git from the command line. 

5. Saisie d’exemples de données

La variable {{input}} dans le prompt utilisateur sert d’espace réservé pour l’exemple de saisie. Pour gérer cet espace réservé, cliquez sur le bouton Variables et entrez le texte suivant :

When should I use rebase or merge?

When should I use rebase or merge?

6. Exécution du prompt d’exemple

1. Dans le coin supérieur droit, cliquez sur Lecture.
2. Modifiez le modèle ou le prompt, puis exécutez à nouveau le prompt pour voir les résultats obtenus.

Tester différents modèles avec un même prompt

Maintenant, déterminons quel modèle fonctionnera le mieux pour notre application, à l’aide de la vue comparaisons. Cette vue vous permet de tester différents modèles sur la même entrée, révélant ainsi les différences en termes de précision, de créativité, de ton, de raisonnement et de fiabilité. Cela nous aidera à choisir le modèle qui correspond le mieux à nos besoins en termes de qualité, de vitesse, de coût et de cohérence.

1. Dans le coin supérieur gauche, cliquez sur Comparaisons.

2. Pour comparer différents modèles, cliquez sur Ajouter une invite et sélectionnez Copier l’invite originale pour dupliquer vos invites système et utilisateur existantes. Créez au moins deux copies du prompt d’origine afin d’évaluer trois modèles différents.

3. À côté de chaque invite, cliquez sur . Dans la liste déroulante Modèle, choisissez un modèle différent pour chaque prompt que vous avez créé.

4. Cliquez sur ajouter des entrées pour créer de nouvelles lignes pour les exemples d’entrées.

   • Cliquez sur Ajouter des entrées. Ensuite, dans le champ « Entrée », copiez et collez le texte suivant :

     Text

     How do I modify the most recent commit message in my current branch?   
     

   • Cliquez sur ajouter des entrées à nouveau, puis collez l’entrée suivante :

     Text

     How do I move a specific commit from one branch to a different branch?
     

   • Cliquez sur Ajouter des entrées une fois de plus, puis collez cette entrée :

     Text

     How do I find the author of a specific commit in a repository's history?
     

5. Pour exécuter les invites, dans le coin supérieur droit, cliquez sur Exécuter.

6. Essayez différents modèles par rapport à votre prompt, en notant la latence et l’utilisation des jetons entrée et sortie des différents modèles.

Tester les variantes de prompt avec un modèle spécifique

Si vous générez une application avec un modèle IA spécifique, vous avez besoin de réponses prévisibles et fiables. Tester les variantes de prompt vous aide à :

•         **Optimiser les performances et la qualité** : de légères modifications dans la formulation peuvent affecter la qualité de la réponse. En testant différentes variantes, vous pouvez trouver la formulation qui obtient la meilleure réponse.
  

•         **Clarifier les instructions** : en modifiant la formulation de votre prompt, vous pouvez identifier la version que le modèle comprend le mieux.
  

•         **S’adapter au comportement spécifique d’un modèle** : vous pouvez adapter votre entrée en fonction de la manière dont un modèle spécifique interprète le langage.
  

•         **Vérifier le format de la sortie** : vous pouvez choisir une liste, un paragraphe, un bloc de code ou un ton spécifique. Tester différentes variantes de prompt vous aide à appliquer une structure ou un style spécifique.
  

Maintenant, utilisons GitHub Models pour tester les variantes de prompt par rapport à l’entrée utilisateur pour votre modèle spécifique.

1. Ajouter des variantes de prompt

Pour ce scénario d’exemple, sélectionnez le même modèle pour chaque colonne, mais fournissez une variante différente pour le prompt en modifiant le champ « prompt utilisateur » de nos prompts existants. À côté de chaque prompt, cliquez sur .

1. Cliquez sur dans « Prompt 2 ». Ensuite, dans le champ « Prompt utilisateur », copiez et collez le texte suivant :

   Text

   I want to learn how to use Git from the command line, but explain it to me like I am five years old.   
   

2. Cliquez sur dans « prompt 3 », puis collez l’entrée suivante :

   Text

   I want to learn how to use Git from the command line. Give me instructions in the form of a haiku. 
   

2. Exécution de variantes de prompt

1. Pour exécuter les invites, dans le coin supérieur droit, cliquez sur Exécuter.
2. Essayez différentes variantes de prompt et comparez les types de sortie fournis par le modèle.

Évaluer la sortie du modèle

Nous avons testé différents modèles et variantes de prompts dans GitHub Models, et la prochaine étape consiste à interpréter et comparer les résultats afin de prendre des décisions éclairées pour notre application alimentée par l’ia.

Lorsque vous avez exécuté les modèles dans les scénarios d’exemple, l’utilisation des jetons entrée et sortie ainsi que la latence ont été affichées après chaque exécution. L’utilisation des jetons est importante car elle influe directement sur le coût, les performances et les limites du modèle.

• Étant donné que la plupart des modèles facturent par jeton pour l’entrée et la sortie, l’utilisation d’un plus grand nombre de jetons augmente votre coût.
• Chaque modèle dispose également d’une limite maximale de jetons (appelée fenêtre contextuelle), dont le dépassement peut entraîner des erreurs ou des réponses tronquées.
• Des prompts plus longs peuvent ralentir le temps de réponse ou réduire la clarté, tandis que des prompts concis conduisent souvent à de meilleures sorties, plus efficaces.

Utiliser GitHub Models pour tester l’utilisation des jetons et la latence vous aide à respecter les limites, à gérer les coûts et à améliorer l’efficacité globale de votre application alimentée par l’ia.

Utiliser des évaluateurs pour juger la sortie

En fonction du nombre de requêtes et de modèles que vous évaluez, les résultats du modèle peuvent être trop volumineux pour être triés manuellement. Pour vous aider à évaluer la qualité de la sortie de chaque modèle, vous pouvez utiliser évaluateurs afin d’attribuer un score aux résultats selon des critères clés tels que la clarté, la précision et la pertinence. Vous pouvez définir vos propres critères d’évaluation ou utiliser des évaluateurs intégrés pour noter automatiquement les sorties, facilitant ainsi l’identification du modèle et de la variante de prompt les plus performants.

Pour ce scénario d’exemple, utilisons l’évaluateur vérification de chaîne pour rechercher une chaîne dans la sortie.

1. Dans le coin inférieur droit du champInvites, cliquez sur Ajouter un évaluateurret sélectionnez Vérification de chaîne.

2. Dans le champ nom , entrez « modifier la vérification », puis copiez et collez l’entrée suivante pour le champ valeur :

   Text

   git commit --amend
   

3. Pour exécuter les invites, dans le coin supérieur droit, cliquez sur Exécuter.

4. La sortie du prompt affichera alors Réussite ou Échec, vous indiquant ainsi quel modèle contenait la chaîne requise.

Pour en savoir plus sur les évaluateurs prédéfinis tels que la similarité, l’ancrage et la pertinence, consultez Évaluation des modèles IA.

Étapes suivantes

Maintenant que vous avez découvert comment tester des modèles, améliorer les prompts et évaluer les sorties à l’aide de GitHub Models, vous êtes prêt à créer des prompts pour votre application alimentée par l’ia. Après avoir créé un prompt, vous pouvez le stocker, le versionner et le partager en commitant un fichier .prompt.yml dans votre référentiel. Cela permet de conserver vos prompts sous contrôle de version et facilite la collaboration pour améliorer les prompts et les modèles. Pour plus d’informations, consultez « Stockage des prompts dans les référentiels GitHub ».

Rejoignez la communauté

Pour poser des questions et partager vos commentaires, consultez ce billet de discussion GitHub Models.
Pour découvrir comment d’autres utilisateurs utilisent GitHub Models, rendez-vous sur les discussions de la communauté github consacrées aux modèles.