MyShell lansează AI pentru clonarea vocii OpenVoice. Open Source pe HuggingFace

O nouă IA open-source numită OpenVoice oferă clonarea vocii cu o viteză și o acuratețe fără precedent.

Dezvoltat de cercetătorii de la MIT, Universitatea Tsinghua și startup-ul canadian MyShell, AI OpenVoice folosește doar câteva secunde de sunet pentru a clona o voce și permite control granular asupra tonului, emoției, accentului, ritmului și multe altele.  

MyShell a dezvăluit OpenVoice într-o postare săptămâna aceasta, care face legătura cu o lucrare de cercetare pre-revizuită care explică tehnologia, precum și site-uri demonstrative de pe MyShell și HuggingFace, unde utilizatorii o pot încerca.

Modelele duale AI permit clonarea instantanee a vocii  

OpenVoice cuprinde 2 modele AI care lucrează împreună pentru conversia text în vorbire și clonarea tonurilor vocale.

cel mai bun ai pentru clonarea vocii gratuit

Primul model se ocupă de stilul limbajului, accentele, emoția și alte modele de vorbire. A fost instruit pe 30.000 de mostre audio cu diferite emoții de la vorbitori de engleză, chineză și japoneză. Al doilea model de „convertor de tonuri” a învățat din peste 300.000 de mostre care cuprind 20.000 de voci.

Combinând modelul universal de vorbire cu un eșantion de voce furnizat de utilizator, OpenVoice poate clona voci cu foarte puține date. Acest lucru îl ajută să genereze vorbire clonată semnificativ mai rapid decât alternative precum Voicebox Meta.

OpenVoice provine de la startup-ul MyShell din California, fondat în 2023. Cu 5,6 milioane USD în finanțare timpurie și peste 400.000 de utilizatori deja, MyShell se autoproclamă ca o platformă descentralizată pentru crearea și descoperirea aplicațiilor AI.  

Pe lângă clonarea instantanee a vocii, MyShell oferă personalități de chatbot originale bazate pe text, generatoare de meme, RPG-uri de text create de utilizator și multe altele. Unele conținut sunt blocate în urma unei taxe de abonament. De asemenea, compania solicită creatorilor de roboți să-și promoveze roboții pe platforma sa.

Prin sursa deschisă a capacităților sale de clonare a vocii prin HuggingFace , în timp ce monetizează ecosistemul său mai larg de aplicații, MyShell va crește utilizatorii în ambele, în timp ce promovează un model deschis de dezvoltare AI.