Prototyperstellung mit KI-Modellen

Wenn Sie eine generative KI-Anwendung entwickeln möchten, können Sie GitHub Models verwenden, um KI-Modelle kostenlos zu suchen und mit ihnen zu experimentieren. Sobald du bereit bist, deine Anwendung in der Produktion zu nutzen, melde dich für die kostenpflichtige Nutzung für dein Unternehmen an.

Besitzer einer Organisation können ihre bevorzugten benutzerdefinierten Modelle mithilfe der LLM-API-Schlüssel ihrer Organisation in GitHub Models integrieren. Weitere Informationen findest du unter Verwenden eigener API-Schlüssel in GitHub Modellen.

Weitere Informationen findest du auch unter Verantwortungsvolle Nutzung von GitHub-Modellen.

Finden von KI-Modellen

Um ein KI-Modell zu finden:

1. Wechsle zu github.com/marketplace/models.

2. Klicke auf Model: Select a Model.

3. Wähle ein Modell aus dem Dropdownmenü aus.

   Klicke alternativ im Dropdownmenü auf View all models, klicke auf ein Modell im Marketplace, und klicke dann auf Playground.

Das Modell wird im Modellspielplatz geöffnet. Details des Modells werden in der Randleiste auf der rechten Seite angezeigt. Wenn die Randleiste nicht angezeigt wird, erweitere sie, indem du auf das Symbol rechts neben dem Playground klickst.

Experimentieren mit KI-Modellen im Playground

Der KI-Modell-Playground ist eine kostenlose Ressource, mit der du Modellparameter anpassen und Prompts übermitteln kannst, um zu sehen, wie ein Modell reagiert.

Um Parameter für das Modell anzupassen, wähle im Playground die Registerkarte Parameters in der Randleiste aus.

Um Code anzuzeigen, der den von Ihnen ausgewählten Parametern entspricht, wechseln Sie von der Registerkarte Chat zur Registerkarte Code.

Vergleich von Modellen

Du kannst einen Prompt gleichzeitig an zwei Modelle senden und die Antworten vergleichen.

Wenn ein Modell im Playground geöffnet ist, klicke auf Compare, und wähle dann im Dropdownmenü ein Modell für den Vergleich aus. Das ausgewählte Modell wird in einem zweiten Chatfenster geöffnet. Wenn du einen Prompt in einem Chatfenster eingibst, wird der Prompt im anderen Fenster gespiegelt. Die Prompts werden gleichzeitig übermittelt, damit du die Antworten aus jedem Modell vergleichen kannst.

Alle Parameter, die du festlegst, werden für beide Modelle verwendet.

Auswerten von KI-Modellen

Nachdem du mit dem Testen von Prompts im Playground begonnen haben, kannst du die Modellleistung mithilfe strukturierter Metriken auswerten. Auswertungen helfen dir, mehrere Promptkonfigurationen über verschiedene Modelle hinweg zu vergleichen und zu bestimmen, welches Setup am besten funktioniert.

In der Ansicht „Comparisons“ kannst du Bewertungen wie Ähnlichkeit, Relevanz und Groundedness anwenden, um zu messen, wie gut jede Ausgabe deine Erwartungen erfüllt. Du kannst auch eigene Bewertungskriterien mit einer benutzerdefinierten Promptbewertung definieren.

Eine Schritt-für-Schritt-Anleitung findest du unter Auswerten von Ausgaben.

Experimentieren mit KI-Modellen mithilfe der API

GitHub bietet kostenlose API-Nutzung, sodass Sie mit KI-Modellen in Ihrer eigenen Anwendung experimentieren können.

Die Schritte zur Verwendung der einzelnen Modelle sind ähnlich. Sie müssen im Allgemeinen die folgenden Schritte ausführen:

1. Wechsle zu github.com/marketplace/models.

2. Klicke auf Model: Select a Model.

3. Wähle ein Modell aus dem Dropdownmenü aus.

   Klicke alternativ im Dropdownmenü auf View all models, klicke auf ein Modell im Marketplace, und klicke dann auf Playground.

   Das Modell wird im Modellspielplatz geöffnet.

4. Klicke auf die Registerkarte Code.

5. Verwenden Sie optional das Sprach-Dropdown, um die Programmiersprache auszuwählen.

6. Optional können Sie das SDK-Dropdown verwenden, um auszuwählen, welches SDK verwendet werden soll.

   Alle Modelle können mit dem Azure AI Inference SDK verwendet werden, und einige Modelle unterstützen zusätzliche SDKs. Wenn du problemlos zwischen Modellen wechseln möchtest, solltest du „Azure AI Inference SDK“ auswählen. Wenn Sie „REST“ als Sprache ausgewählt haben, verwenden Sie kein SDK. Stattdessen verwenden Sie den API-Endpunkt direkt. Weitere Informationen findest du unter GitHub Models REST-API.

7. Öffnen Sie entweder einen Codespace oder richten Sie Ihre lokale Umgebung ein:

   • Klicke für die Ausführung in einem Codespace auf Run codespace und dann auf Create new codespace.
   • Lokal ausführen:
     • Erstellen Sie ein GitHub personal access token. Das Token benötigt models:read-Berechtigungen. Weitere Informationen findest du unter Verwalten deiner persönlichen Zugriffstoken.
     • Speichern Sie Ihr Token als Umgebungsvariable.
     • Installieren Sie die Abhängigkeiten für das SDK, falls erforderlich.

8. Verwenden Sie den Beispielcode, um eine Anforderung an das Modell zu stellen.

Die kostenlose Nutzung der API unterliegt einer Ratenbegrenzung. Weitere Informationen finden Sie unter Ratenbegrenzung weiter unten.

Speichern und Freigeben deiner Playgroundexperimente

Du kannst deinen Fortschritt im Playground mit Voreinstellungen speichern und teilen. Mit Voreinstellungen wird Folgendes gespeichert:

• Dein aktueller Status
• Deine Parameter
• Dein Chatverlauf (optional)

Um eine Voreinstellung für deinen aktuellen Kontext zu erstellen, wähle das Dropdownmenü Preset: PRESET-NAME oben rechts im Playground aus, und klicke dort auf Create new preset. Du musst deiner Voreinstellung einen Namen geben. Zudem kannst du für deine Voreinstellung eine Beschreibung eingeben, deinen Chatverlauf einbinden und zulassen, dass deine Voreinstellung freigegeben werden kann.

Es gibt zwei Möglichkeiten, eine Voreinstellung zu laden:

• Wähle im Dropdownmenü Preset: PRESET-NAME , und dann die Voreinstellung, die du laden möchtest.
• Öffnen Sie eine freigegebene Voreinstellung-URL

Nach dem Laden einer Voreinstellung kannst du diese bearbeiten, freigeben oder löschen.

• Um die Voreinstellung zu bearbeiten, änderst du die Parameter und rufst das Modell auf. Wenn du mit den Änderungen zufrieden bist, wähle das Dropdownmenü Preset: PRESET-NAME aus, klicke dort auf Edit preset, und speichere deine Änderungen.
• Um die Voreinstellung zu teilen, wähle das Dropdown-Menü Preset: PRESET-NAME aus und klicke dann auf Voreinstellung teilen, um eine teilbare URL zu erhalten.
• Um die Voreinstellung zu löschen, wähle im Dropdownmenü Preset: PRESET-NAME aus, klicke auf Voreinstellung löschen, und bestätige die Löschung.

Verwenden des Prompt-Editors

Der Prompt-Editor in GitHub Models ist dafür gedacht, dir zu helfen, deine Prompts zu optimieren, zu verfeinern und zu perfektionieren. Diese dedizierte Ansicht bietet eine fokussierte und intuitive Oberfläche zum Erstellen und Testen von Eingaben, sodass du folgende Möglichkeiten hast:

• Schnelles Testen und Verfeinern von Prompts ohne die Komplexität mehrfacher Interaktionen.
• Optimieren von Prompts, sodass sie präzise und relevant für deine Projekte sind.
• Verwenden eines speziellen Raums für einteilige Szenarios, um konsistente und optimierte Ergebnisse zu gewährleisten.

Klicke zum Aufrufen des Prompt-Editors oben rechts im Playground auf Prompt editor.

Experimentieren mit KI-Modellen in Visual Studio Code

Wenn du mit KI-Modellen lieber in deiner IDE experimentierst, kannst du die KI-Toolkit-Erweiterung für Visual Studio Code installieren und dann Modelle mit einstellbaren Parametern und Kontexten testen.

1. Installiere die Vorabversion des KI-Toolkits für Visual Studio Code in Visual Studio Code.

2. Klicke zum Öffnen der Erweiterung auf das KI-Toolkit-Symbol in der Aktivitätsleiste.

3. Autorisiere das KI-Toolkit, eine Verbindung mit deinem GitHub-Konto herstellen zu dürfen.

4. Klicke im Panel „AI Toolkit“ im Abschnitt „My models“ auf Open Model Catalog, und suche nach einem Modell zum Experimentieren.

   • Wenn du ein Modell auswählst, das über GitHub Models remote gehostet wird, klicke auf der Modellkarte auf Try in playground.
   • Um ein Modell herunterzuladen und lokal zu verwenden, klicke auf der Modellkarte auf Download. Klicke, nachdem der Download abgeschlossen ist, auf derselben Modellkarte auf Im Playground laden.

5. Gibt in der Randleiste Kontextanweisungen und Rückschlussparameter für das Modell an und sende dann ein Prompt.

In die Produktion gehen

Die im Playground angegebenen kostenlosen Ratenbegrenzungen und die API-Nutzung sollen dir bei den ersten Schritten mit Experimenten helfen. Wenn du nicht mehr das kostenlose Angebot nutzen möchtest, hast du außerhalb der kostenlosen Grenzwerte zwei Optionen für den Zugriff auf KI-Modelle:

• Du kannst dich für die kostenpflichtige Nutzung von GitHub Models entscheiden, sodass deine Organisation auf höhere Ratenbegrenzungen, größere Kontextfenster und zusätzliche Features zugreifen kann. Weitere Informationen findest du unter Abrechnung von GitHub Modellen.
• Wenn du ein vorhandenes OpenAI- oder Azure-Abonnement hast, kannst du deine eigenen API-Schlüssel (Bring Your Own Key, BYOK) verwenden, um auf benutzerdefinierte Modelle zuzugreifen. Abrechnung und Nutzung werden direkt über dein Anbieterkonto verwaltet, z. B. deine Azure-Abonnement-ID. Weitere Informationen findest du unter Verwenden eigener API-Schlüssel in GitHub Modellen.

Ratenbegrenzungen

Die Nutzung des Playground und der kostenlosen API ist durch Einschränkungen der Rate begrenzt: Anforderungen pro Minute, Anforderungen pro Tag, Token pro Anforderung und gleichzeitige Anforderungen. Wenn Sie eine Geschwindigkeitsbegrenzung erreichen, müssen Sie warten, bis die erreichte Begrenzung zurückgesetzt wird, bevor Sie weitere Anfragen stellen können.

Niedrige, hohe und Einbettungsmodelle weisen unterschiedliche Ratenbegrenzungen auf. Um zu sehen, welche Art von Modell Sie verwenden, verweisen Sie auf die Informationen des Modells in GitHub Marketplace.

Für benutzerdefinierte Modelle, auf die mit eigenen API-Schlüsseln zugegriffen wird, werden Ratenbegrenzungen vom Modellanbieter festgelegt und erzwungen.

Ratenbegrenzungsebene	Ratenbegrenzungen	Copilot Free	Copilot Pro	Copilot Business	Copilot Enterprise
Niedrig	Anforderungen pro Minute	15	15	15	20
	Anforderungen pro Tag	150	150	300	450
	Token pro Anforderung	8000 Eingang, 4000 Ausgang	8000 Eingang, 4000 Ausgang	8000 Eingang, 4000 Ausgang	8000 Eingang, 8000 Ausgang
	Gleichzeitige Anforderungen	5	5	5	8
Hoch	Anforderungen pro Minute	10	10	10	15
	Anforderungen pro Tag	50	50	100	150
	Token pro Anforderung	8000 Eingang, 4000 Ausgang	8000 Eingang, 4000 Ausgang	8000 Eingang, 4000 Ausgang	16000 Eingang, 8000 Ausgang
	Gleichzeitige Anforderungen	2	2	2	4
Einbettung	Anforderungen pro Minute	15	15	15	20
	Anforderungen pro Tag	150	150	300	450
	Token pro Anforderung	64000	64000	64000	64000
	Gleichzeitige Anforderungen	5	5	5	8
Azure OpenAI o1-Vorschau	Anforderungen pro Minute	Nicht zutreffend	1	2	2
	Anforderungen pro Tag	Nicht zutreffend	8	10	12
	Token pro Anforderung	Nicht zutreffend	4000 Eingang, 4000 Ausgang	4000 Eingang, 4000 Ausgang	4000 Eingang, 8000 Ausgang
	Gleichzeitige Anforderungen	Nicht zutreffend	1	1	1
Azure OpenAI o1, o3 und gpt-5	Anforderungen pro Minute	Nicht zutreffend	1	2	2
	Anforderungen pro Tag	Nicht zutreffend	8	10	12
	Token pro Anforderung	Nicht zutreffend	4000 Eingang, 4000 Ausgang	4000 Eingang, 4000 Ausgang	4000 Eingang, 8000 Ausgang
	Gleichzeitige Anforderungen	Nicht zutreffend	1	1	1
Azure OpenAI o1-mini, o3-mini, o4-mini, gpt-5-mini, gpt-5-nano und gpt-5-chat	Anforderungen pro Minute	Nicht zutreffend	2	3	3
	Anforderungen pro Tag	Nicht zutreffend	12	15	20
	Token pro Anforderung	Nicht zutreffend	4000 Eingang, 4000 Ausgang	4000 Eingang, 4000 Ausgang	4000 Eingang, 4000 Ausgang
	Gleichzeitige Anforderungen	Nicht zutreffend	1	1	1
DeepSeek-R1, DeepSeek-R1-0528 und MAI-DS-R1	Anforderungen pro Minute	1	1	2	2
	Anforderungen pro Tag	8	8	10	12
	Token pro Anforderung	4000 Eingang, 4000 Ausgang	4000 Eingang, 4000 Ausgang	4000 Eingang, 4000 Ausgang	4000 Eingang, 4000 Ausgang
	Gleichzeitige Anforderungen	1	1	1	1
xAI Grok-3	Anforderungen pro Minute	1	1	2	2
	Anforderungen pro Tag	15	15	20	30
	Token pro Anforderung	4000 Eingang, 4000 Ausgang	4000 Eingang, 4000 Ausgang	4000 Eingang, 8000 Ausgang	4000 Eingang, 16000 Ausgang
	Gleichzeitige Anforderungen	1	1	1	1
xAI Grok-3-Mini	Anforderungen pro Minute	2	2	3	3
	Anforderungen pro Tag	30	30	40	50
	Token pro Anforderung	4000 Eingang, 8000 Ausgang	4000 Eingang, 8000 Ausgang	4000 Eingang, 12000 Ausgang	4000 Eingang, 12000 Ausgang
	Gleichzeitige Anforderungen	1	1	1	1

Diese Begrenzungen können ohne Vorherige Ankündigung geändert werden.

Hinterlassen von Feedback

Eine Möglichkeit für Fragen und Feedback findest du unter GitHub Models discussion post. Wenn du mehr darüber erfahren möchtest, wie andere GitHub Models nutzen, besuche unsere GitHub-Community unter GitHub Community discussions for Models.