Information

OpenAI släpper slutligen GPT2 1,5 miljarder parametermodell

OpenAI släpper slutligen GPT2 1,5 miljarder parametermodell


We are searching data for your request:

Forums and discussions:
Manuals and reference books:
Data from registers:
Wait the end of the search in all databases.
Upon completion, a link will appear to access the found materials.

På tisdag delade OpenAI sin slutliga iscensatta version av 1,5 miljarder parametern GPT-2 språkmodell. Alla tillhörande kod- och modellvikter inkluderades i blogginlägget.

När OpenAI först släppte GPT-2 i februari i år uttrycktes oro kring dess potentiella missbruk. Vid den tidpunkten beslutade företaget att hålla tillbaka på att dela språkmodellens kod och träningsdataset.

Efter månader av att ha undersökt GPT-2: s detaljer har OpenAI nu beslutat att det är dags att tillåta ytterligare forskning och förståelse av syntetisk text. Således deras beslut att dela modellens parametrar.

RELATERAD: OPENAI GPT2 SKRIVER NU VETENSKAPLIGA PAPPERSABSTRAKT

Vad har OpenAI märkt om GPT-2?

Det är ganska tydligt hur ett system som skapar algoritmer för att slutföra en hel text eller mening kan missbrukas. Falska nyheter kommer till tankarna, bland annat illaluktande användning av AI-genererad text.

Vi släpper 1.5billion-parametern GPT-2-modellen som en del av vår iscensatta publiceringsstrategi.
- GPT-2-detektionsmodell: https://t.co/PX3tbOOOTy
- Forskning från partners om potentiell skadlig användning: https://t.co/om28yMULL5
- Mer information: https://t.co/d2JzaENikspic.twitter.com/O3k28rrE5l

- OpenAI (@OpenAI) 5 november 2019

Att hålla tillbaka språkmodellens kod och utbildningsdataset stred mot vad OpenAI trodde på. Av säkerhetsskäl bestämde de sig för att göra just det och de ville ändå hitta ett sätt att dela informationen.

Under de senaste nio månaderna observerade OpenAI GPT-2 för att säkerställa att de kunde dela sin kod och modellvikter på ett säkert sätt. Företaget gjorde följande iakttagelser:

  1. Människor tycker att GPT-2-utgångar är övertygande.
  2. GPT-2 kan finjusteras för missbruk.
  3. Upptäckt är utmanande.
  4. Vi har hittills inte sett några starka bevis för missbruk.
  5. Vi behöver standarder för att studera bias.

Oavsett om en uppgiftsspecifik träningsuppsättning delades eller inte, kunde GPT-2 ändå generera otroligt bra maskinöversättning, svar på frågor, läsförståelse och sammanfattning.

Efter att ha delat sin GPT-2-modell har OpenAI sagt att de gör det för att "hjälpa till att studera forskning om detektering av syntetisk text, även om detta låter motståndare med tillgång bättre undvika upptäckt."

Kan du se vilken som är en AI-genererad text och vilken inte?

Vi testade textgeneratorn 'Talk to Transfomer' för att se själv och blev imponerade!

- Kramar ansikte (@huggingface) 5 november 2019

Kan du se var GPT-2 börjar generera text i följande stycke?

"Att skjuta någon teknisk rädsla åt sidan kommer den nyligen släppta GPT-2-transformatorn i full storlek utan tvekan att bli en hit hos den tekniska publiken. Den nya transformatorn kommer också att finnas i mindre kapacitet för att göra plats i den större GPT-1."

Vi ger dig en ledtråd. Det är någonstans på andra raden. Förvånansvärt, utan mycket uppmaning, erbjöd GPT-2 en hel och ganska specifik text, som fortsatte enligt följande:

"Den nya GPT-2-transformatorn har 4 stift (i stället för 5) och ett lägre motstånd vid 1400 ohm jämfört med 1 500 ohm, vilket gör den kompatibel med alla vanliga ljudutrustningar. Jag har hört viskar att den nyare GPT-2 kommer att kunna för att ge samma mängd ström som GPT-1. Jag har ingen information om den nya GPT-2-transformatorn, så jag kan inte bekräfta eller förneka det uttalandet. "

Se själv vad GPT-2-transformatorn kan göra här.


Titta på videon: GPT2 text generation. setup gpt2. step wise. ai writes story (Maj 2022).