هوش مصنوعی

InfiniteTalk

هوش مصنوعی InfiniteTalk چیست؟

هوش مصنوعی InfiniteTalk یک مدل Audio-Driven Video Generation برای تولید ویدیوهای سخنگو و دوبله مبتنی بر صدا است. این مدل می‌تواند با دریافت یک تصویر یا ویدیوی مرجع به همراه فایل صوتی، ویدیویی ایجاد کند که در آن حرکات لب، حالات چهره، حرکت سر و بخش‌هایی از اجرای شخصیت با گفتار هماهنگ باشند.

InfiniteTalk توسط تیم MeiGen-AI توسعه داده شده و به عنوان یک چارچوب Sparse-Frame Video Dubbing معرفی شده است. برخلاف ابزارهای معمول Lip Sync که تنها روی هماهنگ‌سازی حرکت دهان تمرکز دارند، این مدل تلاش می‌کند هماهنگی گسترده‌تری میان صدا و حرکات شخصیت ایجاد کند. InfiniteTalk از دو Workflow اصلی Image-to-Video و Video-to-Video پشتیبانی می‌کند و برای تولید ویدیوهای طولانی نیز طراحی شده است.

InfiniteTalk چگونه کار می‌کند؟

عملکرد InfiniteTalk بر ارتباط میان اطلاعات صوتی و ویژگی‌های بصری شخصیت استوار است. مدل با تحلیل فایل صوتی، اطلاعاتی مانند زمان‌بندی گفتار و الگوی صحبت را استخراج کرده و از آن‌ها برای ایجاد حرکات هماهنگ در ویدیو استفاده می‌کند.

در حالت Image-to-Video، یک تصویر ثابت به همراه فایل صوتی وارد مدل می‌شود و InfiniteTalk تلاش می‌کند آن تصویر را به یک شخصیت سخنگو با حرکات طبیعی تبدیل کند. در حالت Video-to-Video نیز ویدیوی مرجع همراه با صدای جدید پردازش می‌شود تا اجرای بصری شخصیت با گفتار جدید هماهنگ شود.

معماری InfiniteTalk بر پایه مدل Wan 2.1 ساخته شده است و در کنار آن از مؤلفه‌های پردازش صوت برای استخراج اطلاعات گفتاری استفاده می‌کند. مستندات رسمی پروژه برای اجرای مدل به Wan2.1-I2V-14B و مدل صوتی Wav2Vec2 اشاره دارند.

ساخت ویدیوی سخنگو با InfiniteTalk

یکی از کاربردهای اصلی InfiniteTalk تولید Talking Video یا ویدیوی سخنگو است. در این فرآیند، کاربر می‌تواند یک تصویر یا ویدیوی مرجع از شخصیت موردنظر را انتخاب کرده و فایل صوتی دلخواه را به مدل ارائه دهد.

مدل با استفاده از اطلاعات صوتی، حرکت دهان را با گفتار هماهنگ می‌کند و علاوه بر آن می‌تواند تغییرات چهره، حرکت سر و بخش‌هایی از وضعیت بدن را نیز ایجاد یا اصلاح کند. به همین دلیل خروجی نهایی محدود به یک Lip Sync ساده نیست.

این قابلیت برای ساخت آواتارهای سخنگو، شخصیت‌های دیجیتال، مجری‌های مجازی، ویدیوهای آموزشی، معرفی محصول و محتوای شبکه‌های اجتماعی کاربرد دارد.

تبدیل عکس به ویدیو با InfiniteTalk

InfiniteTalk از قابلیت Image-to-Video پشتیبانی می‌کند و می‌تواند یک تصویر ثابت را همراه با فایل صوتی به یک ویدیوی سخنگو تبدیل کند. این ویژگی زمانی کاربردی است که کاربر تصویر شخصیت را در اختیار دارد اما ویدیوی واقعی از آن موجود نیست.

برای مثال می‌توان یک تصویر تولیدشده با هوش مصنوعی را به عنوان شخصیت انتخاب کرد و سپس با اضافه کردن صدا، ویدیویی ایجاد کرد که شخصیت در آن صحبت می‌کند و حرکات متناسب با گفتار دارد.

این Workflow را می‌توان با ابزارهای تولید تصویر ترکیب کرد. برای نمونه، ابتدا می‌توان شخصیت موردنظر را با هوش مصنوعی Recraft طراحی کرد و سپس تصویر نهایی را برای ساخت ویدیوی سخنگو به InfiniteTalk منتقل کرد.

تبدیل تصویر به Talking Avatar با InfiniteTalk

ساخت Talking Avatar یکی از مهم‌ترین کاربردهای InfiniteTalk است. در این فرآیند، تصویر ورودی ظاهر و هویت بصری شخصیت را مشخص می‌کند و فایل صوتی نحوه صحبت کردن و اجرای آن را هدایت می‌کند.

تفاوت اصلی InfiniteTalk با بسیاری از ابزارهای ساده آواتارسازی این است که مدل تنها حرکت دهان را شبیه‌سازی نمی‌کند؛ بلکه برای هماهنگ‌سازی حرکات لب، حالات چهره، حرکت سر و وضعیت بدن با صدا طراحی شده است.

به همین دلیل می‌توان از InfiniteTalk برای ایجاد شخصیت‌های دیجیتال، آواتارهای سخنگو و ارائه‌دهندگان مجازی استفاده کرد.

هماهنگ‌سازی لب با صدا در InfiniteTalk

Lip Sync یکی از قابلیت‌های اصلی InfiniteTalk است. مدل با تحلیل اطلاعات صوتی، زمان‌بندی مناسب برای حرکت دهان را ایجاد می‌کند تا گفتار و حرکت لب هماهنگ باشند.

هدف این فرآیند کاهش اختلاف میان صدای تولیدشده و حرکت دهان شخصیت است؛ به شکلی که کاراکتر در زمان مناسب کلمات را ادا کند و نتیجه طبیعی‌تر به نظر برسد.

با این حال InfiniteTalk صرفاً یک مدل Lip Sync نیست. این سیستم تلاش می‌کند هماهنگی میان صدا و اجرای کامل‌تر شخصیت را ایجاد کند و علاوه بر دهان، بخش‌هایی مانند چهره، سر و بدن را نیز در نظر می‌گیرد.

حرکت چهره و بدن در InfiniteTalk

یکی از تفاوت‌های مهم InfiniteTalk با ابزارهای ساده هماهنگ‌سازی لب، توجه به اجرای کامل‌تر شخصیت است. در یک ویدیوی سخنگو، تنها حرکت دهان اهمیت ندارد و تغییرات چهره، حرکت سر و وضعیت بدن نیز روی طبیعی بودن نتیجه تأثیر می‌گذارند.

InfiniteTalk با استفاده از رویکرد Sparse-Frame Video Dubbing تلاش می‌کند این بخش‌های بصری را نیز با اطلاعات صوتی هماهنگ کند. در حالت Video-to-Video، مدل می‌تواند برخی ویژگی‌های مهم ویدیوی مرجع مانند هویت شخصیت، پس‌زمینه و حرکت دوربین را حفظ کند.

این ویژگی باعث می‌شود InfiniteTalk برای پروژه‌هایی که به اجرای طبیعی‌تر شخصیت نیاز دارند، فراتر از یک ابزار معمول Lip Sync عمل کند.

دوبله ویدیو با InfiniteTalk

InfiniteTalk از حالت Video-to-Video پشتیبانی می‌کند و می‌توان از آن برای ایجاد نسخه جدید یک ویدیوی موجود با فایل صوتی متفاوت استفاده کرد.

در این Workflow، ویدیوی مرجع همراه با صدای جدید وارد مدل می‌شود و InfiniteTalk تلاش می‌کند حرکات گفتاری شخصیت را با صوت جدید هماهنگ کند. این قابلیت می‌تواند برای تولید نسخه‌های چندزبانه یک محتوا یا برخی فرآیندهای دوبله مبتنی بر هوش مصنوعی کاربرد داشته باشد.

تفاوت این روش با دوبله سنتی در این است که مدل علاوه بر تغییر صوت، تلاش می‌کند اجرای بصری شخصیت نیز با گفتار جدید هماهنگ شود.

ساخت ویدیو چندنفره با InfiniteTalk

InfiniteTalk از حالت Multi-Person پشتیبانی می‌کند و امکان استفاده از مدل برای ساخت صحنه‌هایی با حضور چند شخصیت را فراهم می‌کند.

این قابلیت برای تولید گفت‌وگوهای دیجیتال، مصاحبه‌های مجازی، پادکست تصویری و ویدیوهایی که چند شخصیت در آن صحبت می‌کنند کاربرد دارد. پروژه رسمی InfiniteTalk برای حالت چندنفره یک مدل اختصاصی ارائه می‌کند.

ساخت مجری مجازی با InfiniteTalk

InfiniteTalk می‌تواند برای ساخت Virtual Presenter یا مجری مجازی استفاده شود. در این روش، یک تصویر یا ویدیوی مرجع از شخصیت انتخاب شده و فایل صوتی موردنظر برای اجرای آن آماده می‌شود.

این Workflow به کسب‌وکارها و تولیدکنندگان محتوا اجازه می‌دهد یک شخصیت دیجیتال ثابت ایجاد کنند و برای تولید ویدیوهای مختلف، تنها متن یا فایل صوتی را تغییر دهند.

به عنوان مثال، می‌توان از یک مجری مجازی برای معرفی محصولات، آموزش مفاهیم یا انتشار محتوای منظم در شبکه‌های اجتماعی استفاده کرد.

ساخت ویدیو آموزشی با InfiniteTalk

InfiniteTalk می‌تواند در تولید محتوای آموزشی و دوره‌های آنلاین نیز مورد استفاده قرار گیرد. کاربر می‌تواند تصویر یا ویدیوی یک مدرس را به عنوان مرجع انتخاب کرده و فایل صوتی موردنظر را به مدل ارائه دهد.

سپس مدل می‌تواند شخصیت موجود در تصویر یا ویدیو را به یک ارائه‌دهنده سخنگو تبدیل کند. این قابلیت برای آموزش‌های کوتاه، معرفی مفاهیم و محتوای آموزشی شبکه‌های اجتماعی کاربرد دارد.

ساخت ویدیو تبلیغاتی با InfiniteTalk

InfiniteTalk برای تولید محتوای تبلیغاتی نیز کاربرد دارد. با استفاده از یک شخصیت دیجیتال می‌توان ویدیوهایی تولید کرد که در آن شخصیت درباره محصول، خدمات یا پیام تبلیغاتی صحبت می‌کند.

استفاده از یک شخصیت ثابت این امکان را ایجاد می‌کند که برای کمپین‌های مختلف، فایل‌های صوتی و متن‌های جدید تولید شود و ظاهر ارائه‌دهنده در ویدیوها یکپارچه باقی بماند.

برای تولید محتوای ویدیویی کامل‌تر می‌توان InfiniteTalk را در کنار سایر ابزارهای تولید تصویر و ویدیو با هوش مصنوعی استفاده کرد.

ساخت محتوای شبکه‌های اجتماعی با InfiniteTalk

InfiniteTalk برای تولید ویدیوهای کوتاه سخنگو در شبکه‌های اجتماعی نیز کاربرد دارد. تبدیل تصویر یا ویدیوی شخصیت به یک اجرای سخنگو، امکان تولید محتوا بدون ضبط مجدد ویدیو را فراهم می‌کند.

برای مثال می‌توان یک شخصیت ثابت برای یک صفحه ایجاد کرد و در هر ویدیو موضوع، متن یا فایل صوتی متفاوتی به آن اختصاص داد. این روش برای محتوای آموزشی، سرگرمی، معرفی محصول و ویدیوهای اطلاع‌رسانی مناسب است.

اگر هدف شما کنترل دقیق‌تر حرکت شخصیت بر اساس ویدیوی مرجع است، می‌توانید قابلیت Kling Motion را نیز بررسی کنید.

InfiniteTalk و Wan 2.1

InfiniteTalk در معماری اصلی خود از Wan 2.1 به عنوان مدل پایه استفاده می‌کند. مستندات رسمی پروژه برای اجرای مدل به Wan2.1-I2V-14B اشاره دارند و این مدل را به عنوان بخش اصلی Workflow تولید ویدیو معرفی می‌کنند.

در کنار مدل پایه، InfiniteTalk از مؤلفه‌های پردازش صوت برای تبدیل اطلاعات گفتار به سیگنال موردنیاز تولید حرکت شخصیت استفاده می‌کند. این ترکیب، پایه اصلی فرآیند Audio-Driven Video Generation در این مدل است.

InfiniteTalk از چه ورودی‌هایی استفاده می‌کند؟

InfiniteTalk بر اساس Workflow انتخابی می‌تواند ورودی‌های متفاوتی دریافت کند. در حالت Image-to-Video، تصویر شخصیت و فایل صوتی ورودی اصلی هستند؛ در حالت Video-to-Video نیز یک ویدیوی مرجع به همراه صوت جدید وارد فرآیند تولید می‌شود.

پروژه رسمی InfiniteTalk حالت‌های Single Person و Multi-Person را ارائه می‌کند. همچنین برای تولیدهای مختلف، حالت‌های Clip و Streaming در نظر گرفته شده‌اند.

به این ترتیب، کاربر می‌تواند بر اساس نوع پروژه، از یک تصویر برای ساخت ویدیوی سخنگو یا از یک ویدیوی موجود برای ایجاد نسخه جدید استفاده کند.

InfiniteTalk برای ساخت ویدیوهای طولانی

یکی از ویژگی‌های مهم InfiniteTalk تمرکز بر تولید ویدیوهای طولانی و توالی‌های گفتاری است. این پروژه با هدف Unlimited-Length Talking Video Generation معرفی شده و معماری Streaming را برای مدیریت تولیدهای طولانی‌تر ارائه می‌کند.

با این حال، قابلیت تولید طولانی به معنی حذف تمام محدودیت‌های عملی نیست. زمان پردازش، مقدار حافظه GPU، تنظیمات مدل و کیفیت ورودی‌ها همچنان روی مدت زمان و کیفیت خروجی تأثیر دارند.

طبق مستندات پروژه، حالت Streaming برای تولید توالی‌های طولانی و حالت Clip برای تولید کلیپ‌های کوتاه‌تر استفاده می‌شود. در حالت Image-to-Video نیز عملکرد مدل به کیفیت تصویر، تنظیمات تولید و شرایط اجرا وابسته است.

کیفیت خروجی InfiniteTalk

InfiniteTalk از رزولوشن‌های 480P و 720P پشتیبانی می‌کند و این تنظیمات برای اجرای مدل در Workflow رسمی پروژه ارائه شده‌اند.

کیفیت تصویر یا ویدیوی مرجع، وضوح فایل صوتی، تنظیمات تولید و منابع سخت‌افزاری از عوامل مؤثر بر نتیجه نهایی هستند. در پروژه‌های طولانی نیز حفظ ثبات هویت شخصیت و کیفیت تصویر به شرایط تولید وابسته است.

آیا InfiniteTalk رایگان است؟

InfiniteTalk به عنوان یک پروژه متن‌باز منتشر شده و کد و وزن‌های مدل آن در دسترس کاربران قرار دارد. مدل‌های ارائه‌شده در مخزن رسمی تحت مجوز Apache 2.0 منتشر شده‌اند.

با وجود متن‌باز بودن، اجرای مدل به منابع محاسباتی، سخت‌افزار مناسب و نصب وابستگی‌های نرم‌افزاری نیاز دارد. به همین دلیل استفاده از آن روی سیستم شخصی ممکن است برای همه کاربران ساده یا کم‌هزینه نباشد.

نحوه استفاده از InfiniteTalk

1. یک تصویر یا ویدیوی مناسب از شخصیت موردنظر انتخاب کنید.
2. فایل صوتی واضح و مناسب برای تولید گفتار آماده کنید.
3. در حالت Image-to-Video تصویر را به عنوان ورودی انتخاب کنید.
4. در حالت Video-to-Video ویدیوی مرجع را وارد کنید.
5. حالت Single Person یا Multi-Person را متناسب با پروژه انتخاب کنید.
6. رزولوشن خروجی مانند 480P یا 720P را مشخص کنید.
7. حالت تولید Clip یا Streaming را بر اساس نوع ویدیو انتخاب کنید.
8. فرآیند تولید را اجرا کرده و خروجی نهایی را بررسی کنید.

انتخاب Workflow مناسب، کیفیت ورودی‌ها و تنظیمات تولید نقش مهمی در کیفیت نتیجه نهایی InfiniteTalk دارند.

چه تصویری برای InfiniteTalk مناسب است؟

برای ساخت ویدیوی سخنگو بهتر است از تصویر یا ویدیویی استفاده شود که چهره شخصیت واضح باشد و جزئیات صورت به اندازه کافی قابل مشاهده باشند.

تصاویر با نور مناسب، کیفیت قابل قبول و زاویه‌ای که چهره را به‌خوبی نمایش دهد معمولاً نتیجه بهتری ایجاد می‌کنند. تصاویر بسیار تار، کم‌نور یا دارای بخش زیادی از چهره پوشیده، ورودی مناسبی برای ساخت Talking Avatar نیستند.

اگر تصویر شخصیت آماده نیست، می‌توانید ابتدا از ابزارهای تولید تصویر هوش مصنوعی برای ساخت تصویر مرجع استفاده کنید.

چه صدایی برای InfiniteTalk مناسب است؟

فایل صوتی یکی از مهم‌ترین ورودی‌های InfiniteTalk است. صدای واضح، بدون نویز شدید و با کیفیت مناسب می‌تواند به هماهنگی بهتر حرکات شخصیت با گفتار کمک کند.

گفتار قابل تشخیص باعث می‌شود مدل بتواند زمان‌بندی حرکات لب و اجرای شخصیت را دقیق‌تر با محتوای صوتی هماهنگ کند.

برای تولید محتوای حرفه‌ای نیز بهتر است متن، سرعت صحبت، مکث‌ها و جمله‌بندی قبل از تولید نهایی بررسی شوند تا نتیجه طبیعی‌تر باشد.

InfiniteTalk در چه پروژه‌هایی کاربرد دارد؟

• ساخت Talking Avatar
• تبدیل عکس به ویدیوی سخنگو
• ساخت مجری مجازی
• تولید ویدیوهای آموزشی
• ساخت محتوای تبلیغاتی
• دوبله ویدیو با هوش مصنوعی
• تولید محتوای چندزبانه
• ساخت محتوای شبکه‌های اجتماعی
• تولید گفت‌وگوهای چندنفره
• ساخت شخصیت‌های دیجیتال
• تولید ویدیو از تصویر و صدا
• ایجاد نسخه جدید ویدیو با صدای متفاوت

تفاوت InfiniteTalk با ابزارهای معمول Lip Sync

ابزارهای معمول Lip Sync بیشتر روی هماهنگ کردن حرکت دهان با فایل صوتی تمرکز دارند. InfiniteTalk رویکرد گسترده‌تری دارد و تلاش می‌کند هماهنگی میان صدا و بخش‌های مختلف اجرای شخصیت را ایجاد کند.

در این مدل، علاوه بر حرکت لب، مواردی مانند حالات چهره، حرکت سر و وضعیت بدن نیز در فرآیند تولید در نظر گرفته می‌شوند. در حالت Video-to-Video نیز حفظ برخی ویژگی‌های ویدیوی مرجع مانند هویت شخصیت و فضای صحنه اهمیت دارد.

به همین دلیل InfiniteTalk را می‌توان یک سیستم Audio-Driven Video Generation و Sparse-Frame Video Dubbing دانست، نه فقط یک ابزار ساده Lip Sync.

تفاوت InfiniteTalk و Kling Avatar

InfiniteTalk و Kling Avatar هر دو برای ساخت محتوای آواتاری استفاده می‌شوند، اما رویکرد متفاوتی دارند.

InfiniteTalk یک مدل و چارچوب تولید ویدیو مبتنی بر صدا است که برای Audio-Driven Video Generation، Image-to-Video و Video-to-Video توسعه داده شده است. در مقابل، Kling Avatar یک قابلیت آماده در اکوسیستم Kling برای ساخت ویدیوهای آواتاری محسوب می‌شود.

اگر هدف شما استفاده از یک Workflow آماده و آنلاین برای تولید آواتار سخنگو است، می‌توانید Kling Avatar را نیز بررسی کنید.

تفاوت InfiniteTalk و Kling Motion

InfiniteTalk و Kling Motion برای اهداف متفاوتی طراحی شده‌اند. InfiniteTalk تمرکز اصلی خود را روی هماهنگ‌سازی شخصیت با صدا و تولید ویدیوهای سخنگو قرار داده است، در حالی که Kling Motion بیشتر برای کنترل و انتقال حرکت در ویدیو کاربرد دارد.

اگر هدف شما ساخت شخصیت سخنگو، Lip Sync و تبدیل تصویر به ویدیوی گفتاری است، InfiniteTalk گزینه مرتبط‌تری محسوب می‌شود. اما برای انتقال حرکت یک شخصیت بر اساس حرکت مرجع، ابزارهایی مانند Kling Motion کاربرد متفاوتی دارند.

جمع‌بندی هوش مصنوعی InfiniteTalk

هوش مصنوعی InfiniteTalk یک مدل Audio-Driven Video Generation و چارچوب Sparse-Frame Video Dubbing است که برای ساخت ویدیوهای سخنگو، آواتارهای دیجیتال و دوبله مبتنی بر صدا توسعه داده شده است. این مدل می‌تواند با دریافت تصویر یا ویدیوی مرجع به همراه فایل صوتی، حرکات لب، چهره، سر و بخش‌هایی از اجرای شخصیت را هماهنگ کند.

پشتیبانی از Image-to-Video، Video-to-Video، حالت Multi-Person، تولید توالی‌های طولانی با Streaming و رزولوشن‌های 480P و 720P از قابلیت‌های مهم InfiniteTalk هستند. با این حال، کیفیت خروجی به نوع ورودی، تنظیمات مدل و منابع سخت‌افزاری وابسته است.

InfiniteTalk برای ساخت Talking Avatar، مجری مجازی، ویدیوهای آموزشی و تبلیغاتی، دوبله ویدیو، تولید محتوای چندزبانه و ساخت محتوای شبکه‌های اجتماعی کاربرد دارد.