محققان انویدیا از هوش مصنوعی برای تبدیل کلیپ های ویدئویی دو بعدی به گرافیک های سه بعدی دقیق استفاده می کنند


هیجان بازی GamesBeat Summit را از دست داده اید؟ نگران نباش! برای تماشای همه جلسات زنده و مجازی در اینجا، اکنون وارد شوید.


Neuralangelo، یک مدل هوش مصنوعی جدید از Nvidia Research، از هوش مصنوعی برای گرفتن کلیپ های ویدئویی دو بعدی و تبدیل آنها به ساختارهای گرافیکی سه بعدی دقیق استفاده می کند.

با این فناوری، محققان توانسته‌اند کپی‌های مجازی واقعی از ساختمان‌ها، مجسمه‌ها و دیگر اشیاء دنیای واقعی تولید کنند.

به گفته انویدیا، نورال آنژ مانند میکل آنژ که از بلوک های مرمر چشم اندازهای خیره کننده و شبیه به زندگی را مجسمه سازی می کند، ساختارهای سه بعدی با جزئیات و بافت های پیچیده تولید می کند. سپس متخصصان خلاق می توانند این اشیاء سه بعدی را به برنامه های طراحی وارد کنند و آنها را بیشتر برای استفاده در هنر، توسعه بازی های ویدیویی، روباتیک و دوقلوهای دیجیتال صنعتی ویرایش کنند.

توانایی Neuralangelo برای ترجمه بافت مواد پیچیده – از جمله زونا سقف، شیشه و سنگ مرمر صاف – از ویدئوهای دو بعدی به دارایی های سه بعدی به طور قابل توجهی از روش های قبلی پیشی می گیرد. وفاداری بالا، بازسازی های سه بعدی آن را برای توسعه دهندگان و متخصصان خلاق آسان تر می کند تا با استفاده از فیلم های ضبط شده توسط تلفن های هوشمند، به سرعت اشیاء مجازی قابل استفاده برای پروژه های خود ایجاد کنند.

رویداد

تبدیل 2023

در 11 تا 12 جولای در سانفرانسیسکو به ما بپیوندید، جایی که مدیران ارشد نحوه ادغام و بهینه سازی سرمایه گذاری های هوش مصنوعی برای موفقیت و اجتناب از دام های رایج را به اشتراک می گذارند.

اکنون ثبت نام کنید

مینگ یو لیو، مدیر ارشد تحقیقات و یکی از نویسندگان مقاله، در بیانیه‌ای گفت: «قابلیت‌های بازسازی سه‌بعدی که Neuralangelo ارائه می‌کند، سود بزرگی برای سازندگان خواهد بود و به آنها کمک می‌کند تا دنیای واقعی را در دنیای دیجیتال بازسازی کنند. این ابزار در نهایت به توسعه دهندگان این امکان را می دهد تا اشیاء دقیق – چه مجسمه های کوچک یا ساختمان های عظیم – را به محیط های مجازی برای بازی های ویدیویی یا دوقلوهای دیجیتال صنعتی وارد کنند.

در یک نسخه نمایشی، محققان انویدیا نشان دادند که چگونه این مدل می‌تواند اشیایی به نماد دیوید میکل آنژ و معمولی مانند کامیون‌های تخت را بازسازی کند. Neuralangelo همچنین می‌تواند فضاهای داخلی و خارجی ساختمان را بازسازی کند – که با یک مدل سه‌بعدی دقیق از پارک در پردیس Bay Area Nvidia نشان داده شده است.

مدل رندر عصبی به صورت سه بعدی می بیند

YouTube ویدیو

نسخه ی نمایشی از Neuralangelo

به گفته انویدیا، مدل‌های قبلی هوش مصنوعی برای بازسازی صحنه‌های سه‌بعدی برای ثبت دقیق الگوهای بافت تکراری، رنگ‌های همگن و تنوع رنگی قوی مشکل داشتند. Neuralangelo از فناوری‌های اولیه گرافیک عصبی فوری، فناوری پشت NVIDIA Instant NeRF استفاده می‌کند تا به ثبت این جزئیات دقیق‌تر کمک کند.

با استفاده از یک ویدیوی دوبعدی از یک شی یا صحنه که از زوایای مختلف فیلم‌برداری شده است، این مدل چندین فریم را انتخاب می‌کند که دیدگاه‌های متفاوتی را ثبت می‌کند – مانند هنرمندی که یک سوژه را از چندین طرف در نظر می‌گیرد تا حس عمق، اندازه و شکل را دریافت کند.

هنگامی که موقعیت دوربین هر فریم مشخص شد، هوش مصنوعی نورالانژلو یک نمایش سه بعدی خشن از صحنه ایجاد می کند، مانند مجسمه سازی که شروع به تراشیدن شکل سوژه می کند.

انویدیا با استفاده از هوش مصنوعی فیلم های دو بعدی را به انیمیشن های سه بعدی تبدیل می کند.

سپس این مدل رندر را بهینه می‌کند تا جزئیات را تیز کند، درست همانطور که یک مجسمه‌ساز به سختی سنگ می‌تراشد تا بافت پارچه یا شکل انسان را تقلید کند. نتیجه نهایی یک شی سه بعدی یا صحنه در مقیاس بزرگ است که می تواند در برنامه های واقعیت مجازی، دوقلوهای دیجیتال یا توسعه رباتیک استفاده شود.

Neuralangelo یکی از نزدیک به 30 پروژه تحقیقاتی Nvidia است که در کنفرانس بینایی کامپیوتری و تشخیص الگو (CVPR) که از 18 ژوئن تا 22 ژوئن در ونکوور برگزار می شود، ارائه می شود. مقالات شامل موضوعاتی از جمله تخمین ژست، بازسازی سه بعدی و تولید ویدیو می شود.

یکی از این پروژه‌ها، DiffCollage، یک روش انتشار است که محتوایی در مقیاس بزرگ ایجاد می‌کند – از جمله جهت‌گیری منظره طولانی، پانورامای 360 درجه و تصاویر با حرکت حلقه‌ای. هنگامی که مجموعه داده آموزشی از تصاویر با نسبت ابعاد استاندارد تغذیه می شود، DiffCollage با این تصاویر کوچکتر به عنوان بخش هایی از یک تصویر بزرگتر رفتار می کند – مانند قطعات یک کلاژ. این مدل‌های انتشار را قادر می‌سازد تا محتوای بزرگ و منسجمی را بدون آموزش روی تصاویر در مقیاس مشابه تولید کنند.

عقیده GamesBeat وقتی صنعت بازی را پوشش می دهد “جایی که اشتیاق با تجارت روبرو می شود.” این یعنی چی؟ ما می خواهیم به شما بگوییم که اخبار چقدر برای شما اهمیت دارد — نه فقط به عنوان یک تصمیم گیرنده در یک استودیوی بازی، بلکه به عنوان یک طرفدار بازی. خواه مقالات ما را می خوانید، به پادکست های ما گوش می دهید یا ویدیوهای ما را تماشا می کنید، GamesBeat به شما کمک می کند تا در مورد صنعت بیاموزید و از تعامل با آن لذت ببرید. جلسات توجیهی ما را کشف کنید.