D-ID lanserar AI-verktyg för videotolkning med röstkloning och läppsynk

Företaget D-ID, som specialiserar sig på AI-driven videoskapande, har nyligen presenterat ett banbrytande verktyg för att översätta videoinnehåll till andra språk med hjälp av avancerad AI-teknik. Det som gör D-ID:s lösning unik är att den inte bara översätter ljudet, utan även klonar talarens röst och justerar läpprörelserna för att matcha det översatta talet.

Detta bygger vidare på D-ID:s tidigare framgångar inom AI-genererat videoinnehåll. Många kommer säkert ihåg den virala trenden för några år sedan där användare kunde animera gamla familjefoton med hjälp av D-ID:s teknik. Sedan dess har företaget vidareutvecklat sin teknologi för att även kunna skapa talande porträtt utifrån stillbilder.

Så fungerar D-ID:s AI Video Translate

Det nya verktyget, som kallas AI Video Translate, erbjuder följande funktioner:

• Automatisk översättning av videoinnehåll till 30 olika språk, inklusive arabiska, mandarin, japanska, hindi, spanska och franska
• Kloning av talarens röst på det nya språket
• Justering av läpprörelser för att matcha det översatta talet
• Stöd för videor på 10 sekunder upp till 5 minuter

För bästa resultat rekommenderar D-ID att videorna endast visar en person som är vänd mot kameran med ansiktet synligt hela tiden. Verktyget finns tillgängligt via D-ID Studio och företagets API.

Potentiella användningsområden

D-ID ser stora möjligheter för sin nya teknologi inom flera branscher:

• Marknadsföring: Möjliggör enkel lokalisering av globala kampanjer
• Underhållning: Underlättar översättning av filmer och TV-serier
• Sociala medier: Hjälper skapare att nå en internationell publik

Genom att automatisera översättnings- och dubbningsprocessen hoppas D-ID kunna sänka kostnaderna för företag som vill nå ut till en global marknad med sitt videoinnehåll.

D-ID i en växande marknad

D-ID är långt ifrån ensamma om att utveckla AI-drivna verktyg för videoredigering och översättning. Företaget kommer att möta konkurrens från både etablerade teknikjättar och andra AI-startups:

• YouTube har lanserat stöd för flerspråkigt ljud
• Microsoft arbetar med AI-driven översättning och dubbning av YouTube-videos
• Vimeo erbjuder verktyg för att översätta ljud och undertexter med AI-teknik
• Företag som Descript, ElevenLabs och Speechify utvecklar röstkloningsteknik
• HeyGen och Deepbrain AI skapar AI-avatarer som kan tala flera språk

Framtidsutsikter och utmaningar

Medan D-ID:s nya verktyg onekligen är imponerande ur ett tekniskt perspektiv, väcker det också frågor kring etik och potentiellt missbruk. Några områden som kan bli kontroversiella framöver:

• Deepfakes och spridning av desinformation
• Upphovsrättsfrågor kring användning av personers röster och liknelser
• Risker för bedrägerier genom förfalskade videor
• Påverkan på arbetsmarknaden för översättare och skådespelare

Det återstår att se hur lagstiftare och samhället i stort kommer att hantera den snabba utvecklingen inom AI-genererat innehåll. Klart är i alla fall att tekniken bakom D-ID:s AI Video Translate kommer att ha en betydande inverkan på hur vi skapar och konsumerar videoinnehåll i framtiden.

För kreatörer, marknadsförare och företag som vill nå en global publik öppnar verktyg som detta upp spännande nya möjligheter. Samtidigt är det viktigt att vara medveten om de etiska aspekterna och använda tekniken på ett ansvarsfullt sätt.