Diverse

Deep Learning möjliggör exakt läppsynkronisering i realtid för live 2D-animering

Deep Learning möjliggör exakt läppsynkronisering i realtid för live 2D-animering


We are searching data for your request:

Forums and discussions:
Manuals and reference books:
Data from registers:
Wait the end of the search in all databases.
Upon completion, a link will appear to access the found materials.

Två forskare vid Adobe Research och University of Washington har introducerat ett djupt inlärningsbaserat interaktivt system som tar liveuppträdanden från skådespelare och genererar läppsynkronisering i realtid för 2-D-animerade karaktärer.

Systemet möjliggör en annan animationsupplevelse där publik och skådespelare kan interagera med varandra medan de ser sina tecknade dubbelgångare speglade på en skärm.

RELATERAD: 3D-KONSTNÄR SKAPAR FANTASTISK ANIMATION JÄMFÖRANDE PLANET OCH MÅNSTORLEKAR I VÅRT SOLAR SYSTEM

Vad är live 2D-animering?

Tillbaka 1997 i The Simpsons-avsnittet "The Itchy & Scratchy & Poochie Show" frågade Homer Simpson ett rum med tecknade animatörer om ett avsnitt de skapade sändes live.

En röstskådespelare svarade skämtsamt: ”väldigt få serier sänds direkt. Det är en fruktansvärd belastning på animatörens handleder. ”

Det verkar som att Homers var en profetisk vision som under 2019, live 2D-animering är ett kraftfullt nytt medium där skådespelare kan spela ut en scen som kommer att animeras samtidigt på skärmen.

Den första live-tecknade filmen någonsin, ett avsnitt av The Simpsons, sändes 2016. Ett nyligen visat exempel på mediet såg Stephen Colbert intervjua tecknade gäster, inklusive Donal Trump, i Late Show.

En annan såg Archers huvudperson prata med publiken live och svara på frågor under ett ComicCon-panelevenemang.

Liveanimeringstekniken använder ansiktsdetekteringsprogramvara, kameror, inspelningsutrustning och digitala animationstekniker för att skapa en levande animation som körs tillsammans med en verklig scen.

Maskininlärning gör att allt detta går ännu smidigare och fortsätter att förbättras.

Live läppsynkronisering

En viktig aspekt av live 2D-animering är bra läppsynkronisering. Det gör att munnen på animerade karaktärer kan röra sig på rätt sätt när man talar och speglar föreställningarna för mänskliga skådespelare.

Dålig läppsynkronisering, å andra sidan, som en dålig språk dub, kan göra eller bryta tekniken genom att förstöra nedsänkning.

I en uppsats som har publicerats på arXiv introducerade de två forskarna vid Adobe Research och University of Washington sitt djupinlärningsbaserade interaktiva system som automatiskt genererar live-läppsynkronisering för skiktade 2-D-animerade karaktärer.

Det neurala nätverkssystemet de utvecklade använder en LSTM-modell (long short-term memory).

Som Techexplore rapporter har Li och Anejas LSTM-modell visat så imponerande resultat att Adobe bestämde sig för att integrera en version av den i sin Adobe Character Animator-programvara som släpptes 2018.

Systemet kan användas för att drastiskt minska träningsdatakraven för modeller som är utformade för att producera läppsynkronisering i realtid. Samtidigt ger den effektiv läppsynkronisering som inte är för långt ifrån traditionell animering - vilket gör att 2D-animering kan leva upp som aldrig förr.


Titta på videon: My Genderbend Vibing Again. Gacha Club (Juni 2022).


Kommentarer:

  1. Hatim

    Vilka nödvändiga ord ... bra, en lysande fras

  2. Mezicage

    Jag tror att misstag görs. Skriv till mig i PM.

  3. Howie

    bear ... I would like this :)))

  4. Abdul-Wadud

    Låt oss prata.

  5. Jarrad

    Det här ämnet är helt enkelt ojämförligt :), det är väldigt intressant för mig.



Skriv ett meddelande