Ce este GPT din ChatGPT, de fapt: mulți îl utilizează fără să știe asta

E dificil să mai parcurgi, astăzi, vreun site de știri și să nu dai despre ChatGPT pe undeva. De la lansarea sa publică, pe 20 noiembrie 2022, deci, de mai puțin de 9 luni, chatbotul precoce a ajuns la 100 de milioane de utilizatori activi și a „aruncat în aer” căutările pe Google după numele său. Dar mult mai puțină lume știe ce înseamnă, de fapt, acel GPT din denumirea sa.

Ce este GPT din ChatGPT, de fapt

În ciuda popularității sale, puține persoane știu de fapt ce înseamnă „GPT” din denumirea de „ChatGPT” a deja faimosului program de computer bazat pe inteligența artificială (AI). GPT este abrevierea pentru „Generative Pre-trained Transformer” sau, cu aproximație, „Transformator Pre-antrenat Generativ”.

Dezvoltat de OpenAI, GPT este un tip de inteligență artificială (AI) ce poate fi utilizată pentru a genera text, inclusiv pentru chatbot-uri. Este o abordare de învățare profundă (deep learning) care utilizează rețele neuronale pentru a analiza modelele de limbaj natural (NLP) și pentru a genera un text care sună natural și coerent.

GPT este alimentat, mai întîi, cu un set mare de date de text, cum ar fi articole sau conversații. Apoi folosește aceste date pentru a învăța tiparele și structura limbajului. Odată ce a învățat suficient despre limbaj, poate genera propriul text pe baza unei anumite solicitări sau a unui anumit subiect.

Programul folosește folosește și un algoritm de transformare. Acest algoritm se bazează pe o rețea neuronală, care este un tip de program de calculator conceput să imite modul în care funcționează creierul uman.

Algoritmul transformator este capabil să analizeze și să înțeleagă cantități mari de date, cum ar fi textul, și să folosească această înțelegere pentru a genera un text care să fie similar cu o conversație umană.

Mulți îl utilizează fără să știe asta

ChatGPT utilizează o variantă a arhitecturii Transformer, care este un tip de arhitectură de rețea neuronală special concepută pentru procesarea datelor secvențiale, cum ar fi textul.

Pentru a crea un chatbot cu GPT, trebuie să îi oferiți modelului un set de date de antrenament, care este o colecție de texte din care modelul poate învăța. După ce a fost antrenat, modelul poate genera răspunsuri la întrebări sau conversații bazate pe input-ul primit.

El poate fi folosit într-o multitudine de scopuri, precum scrierea de coduri de computer, rolul de asistent personal virtual, generarea de conținut – text și imagine – ba chiar și scrierea de articole.

Deja, multe zone de activitate ce erau considerate rezervate doar oamenilor sunt în pericol de a fi acaparate de ChatGPT, de la munca jurnaliștilor și ilustratorilor, până la cea a scriitorilor, scenariștilor, ba chiar și a actorilor.

Cu o doză sănătoasă de ironie, cei de la IFLScience au întrebat chiar ChatGPT ce înseamnă, de fapt, termenul de „Generative Pre-trained Transformer”. Iar el a răspuns pe măsura cunoștințelor sale.

„„Generative Pre-trained Transformer” este un termen ce descrie principalele elemente și caracteristici ale arhitecturii modelului de limbaj. Ce înseamnă fiecare component al termenului:

Generative – în contextul procesul limbajului natural, „generativ” înseamnă că modelul este capabil să genereze texte noi ce seamănă cu limbajul uman. El poate produce propoziții, fraze au texte mai lungi, coerente și apropiate de context, pe baza modelelor învățate în timpul „antrenamentului”
Pre-trained – „pre-antrenat) se referă la faza inițială a antrenării modelului cu mari baze de date ce conțin uriașe cantități de text luate de pe internet sau din alte surse. În timpul pre-antrenamentului, modelul învață să prezică următorul cuvânt dintr-o propoziție bazându-se pe cuvintele anterioare. Acest proces îi permite să asimileze modelul statistic și relațiile prezente în datele cu care a fost „încărcat”.
Transformer – „Transformatorul” este specific conceptului de arhitectură de învățare profundă (deep learning) introdus prin articolul „Attention Is All You Need” („Atenția este tot ce ai nevoie”), scris de Ashish Vaswani, în 2017. Utilizează mecanismele de auto-atenție permițând modelului să analizeze importanța diferitelor cuvinte atunci când generează texte”.

În afară de ChatGPT, mai sunt puține GPT în jur. Există BloombergGPT, ce utilizează o tehnologie similară cu cea a celor de la OpenAI – dar a fost antrenat în mod specific cu date legate de finanțe și industria financiar-bancară – și mai este GPT-Neo, un model de limbaj extins de tip open-source, inspirat din GPT-3, tot de la OpenAI.

Deocamdată, ChatGPT de la OpenAI este cel mai cunoscut nume din categoria „Generative Pre-trained Transformer”, dar sunt o mulțime de companii care „vânează” un loc de frunte în acest domeniu ce este abia la început.