GPT er en sprogmodel, der ud fra et tekstinput (kaldet en prompt) kan skrive videre på en måde, som minder om menneskeskabt tekst. GPT er en kunstig intelligens til naturlig tekstanalyse, skabt af det amerikanske AI-firma OpenAI. Den bruger et autoregressivt neuralt netværk trænet på store mængder naturlig tekst og computerkode hentet fra internettet.
Generative Pre-trained Transformer
Tredje og fjerde generation af GPT, GPT-3 (2020) og GPT-4 (2023), er offentligt tilgængelig gennem en API. Det har muliggjort en række anvendelser af teknologien, bl.a. disse:
Alle udgaver af GPT har brugt den samme type neural netværk-arkitektur, en såkaldt transformer. Størrelsen af modellen og mængden af træningsdata er vokset for hver ny version.
GPT-3 modellen har 175 milliarder parametre og er trænet på tekst med i alt cirka 200 milliarder ord på stort set alle sprog. Heraf er knap 50 procent på engelsk, og 0,4 procent eller cirka 800 millioner ord er på dansk.
De tekniske detaljer om størrelsen og træningen af GPT-4 (2023) er forretningshemmeligheder. GPT-4 er udvidet til at være multimodal. Den skrive tekst ud fra både tekst- og billedinput.
Træningen af de anvendte modeller foregår i to skridt:
GPT er en statistisk model. Den skriver tekst, som er en syntese af data fra træningssættet, der passer godt som en fortsættelse af det input, brugeren giver. Da GPT er trænet på store dele af internettet, er det let at få den til at svare med næsten enhver mulig holdning, inklusive holdninger, der vil virke stødende på de fleste.
En statistisk syntese af tekst vil oftest være forskellig fra teksten i træningsdata. Det betyder at GPT kan hallucinere, det vil sige bruge fx navne og titler, som virker plausible i konteksten, men er frit opfundne.
I justeringsskridtet vurderer mennesker tekst, som er skrevet af GPT, og modellen trænes videre på feedback, der fortæller GPT, hvilken tekst, der er ønskelig. Fx vil man kunne få den oprindelige GPT til at argumentere for vaccineskeptiske konspirationsteorier, hvorimod ChatGPT vil anbefale vaccination og blot anerkende eksistensen af disse konspirationsteorier. I nogle tilfælde er det dog stadig muligt at omgå justeringen ved at fortælle ChatGPT, at svarene ikke må indeholde indvendinger.
OpenAI arbejder løbende med at justere modellen således at færre emner kan give anledning til stødende svar. Justeringen kan også bruges til at gøre CharGPT bedre til bestemte opgaver såsom at være tutor for elever.
GPT-modellen har en række begrænsninger og kan potentielt skabe nogle samfundsudfordringer:
OpenAI's mission er, at kunstig generel intelligens skal komme menneskeheden til gode. Generel betyder i denne sammenhæng, at en kunstig intelligens skal kunne lære det samme som mennesker kan. I modsætning hertil står en snæver kunstig intelligens, der kun kan én ting.
OpenAI's tilgang til kunstig intelligens har mødt følgende kritik:
Sprogmodeller kan bruges til at skabe falske nyheder. Det er en risiko, der kun bliver større, jo mere overbevisende teksten bliver. Det kan blive sværere at spore kilden til information, og ved at lade modellen efterligne specifikke forfatteres skrivestil kan plagiat blive et alvorligere problem.
ChatGPT kan desuden bestå eksamener i programmering og skrive skoleopgaver til topkarakter. I en simuleret amerikansk advokatafgangseksamen (bar exam) ville GPT-4 ligge i top 10% af besvarelserne.
De bedste modeller er så store, at man skal bruge enorme mængder computerberegninger både til at træne og efterfølgende bruge dem. Det medfører betydelige CO2-udslip og skaber desuden en situation, hvor kun organisationer med betydelige ressourcer (typisk teknologivirksomheder) kan bedrive forskning indenfor de største og mest avancerede modeller.
Kommentarer
Kommentarer til artiklen bliver synlige for alle. Undlad at skrive følsomme oplysninger, for eksempel sundhedsoplysninger. Fagansvarlig eller redaktør svarer, når de kan.
Du skal være logget ind for at kommentere.