Untersuchung grosser Sprachmodelle, wie GitHub Copilot in der Softwareentwicklung
Der Fokus dieser Arbeit liegt darauf, wie die Integration von spezifischem Business-Domänen-Wissen in den Prompts die Qualität und Effizienz des generierten Codes beeinflusst. Dabei sollen Muster in der Formulierung von Prompts identifiziert werden, die es ermöglichen, dass LLMs auf die spezifischen Anforderungen der Nutzenden abgestimmten Code generieren. Im Rahmen der Untersuchung werden drei zentrale Forschungsfragen behandelt. Zunächst wird analysiert, ob klar strukturierte Prompts mit spezifischem Business-Domänen-Wissen die Qualität und Effizienz der LLM-Antworten verbessern. Des Weiteren wird untersucht, ob der Einbezug dieser spezifischen Informationen die Notwendigkeit manueller Anpassungen reduziert und zu sinnvolleren Codevorschlägen führt. Schliesslich wird der Einfluss der Unterschiede in der Prompt-Formulierung zwischen erfahrenen und unerfahrenen Entwickler:innen auf die Qualität und Effizienz der von LLMs generierten Codes betrachtet. Auf Basis der gewonnenen Erkenntnisse werden Empfehlungen für die Formulierung von Prompts abgegeben, die Nutzenden von LLM-Tools für die Codegenerierung helfen sollen, ihre Absichten so zu formulieren, dass LLM-Tools nützlichen und darauf abgestimmten Code generieren.
In den letzten Jahren hat es im Bereich des Einsatzes von LLMs in der Softwareentwicklung bedeutende Fortschritte gegeben. LLMs halten zunehmend Einzug in den Softwareentwicklungsprozess und könnten diesen grundlegend verändern. LLMs wie ChatGPT und GitHub Copilot bieten neue Möglichkeiten zur Codegenerierung, Fehlererkennung und automatischen Erstellung von Dokumentationen. Durch ihre Fähigkeit, auf natürliche Sprache zu reagieren und diese in ausführbaren Code zu übersetzen, eröffnen LLMs neue Wege für die zukünftige Softwareentwicklung und könnten etablierte Praktiken und Methoden nachhaltig transformieren.
Die Untersuchung zeigt, dass die Formulierung von Prompts entscheidend für die Qualität und Effizienz der von GitHub Copilot generierten Codes ist. Präzise Prompts mit spezifischem Business-Domänen-Wissen führen zu besseren Ergebnissen und einer effizienteren Codegenerierung. Erfahrene Entwickler:innen formulieren präzisere Prompts, während weniger erfahrene Entwickler:innen generische Prompts verwenden, die mehr Anpassungen erfordern. Dies unterstreicht die Notwendigkeit von Schulungen im Prompt-Engineering. Manuelle Eingriffe bleiben erforderlich, da selbst gut formulierte Prompts nicht immer fehlerfreien Code generieren. Die Untersuchung bietet wertvolle Einblicke und eine Grundlage für zukünftige Forschungen im Prompt-Engineering. Durch systematische Prompt-Patterns und gezielte Schulungen können die Ergebnisse weiter optimiert werden.
| Projektart | Informatik Projekt (IP5) |
|---|---|
| Projektdauer | 19.02.2024 - 16.08.2024 |
| Aufwand in Personenstunden | 180h pro Student (insgesamt 360h) |
| Teamgrösse | 2er Team |
