اپل زمان های سنتز تصویر هوش مصنوعی خود را با اصلاح جدید Stable Diffusion به نصف تقسیم می کند

روز چهارشنبه، اپل بهینه‌سازی‌هایی را منتشر کرد که به مولد تصویر Stable Diffusion AI اجازه می‌دهد با استفاده از Core ML، چارچوب اختصاصی اپل برای مدل‌های یادگیری ماشین، روی Apple Silicon اجرا شود. بهینه سازی ها به توسعه دهندگان برنامه اجازه می دهد تا از سخت افزار Apple Neural Engine برای اجرای Stable Diffusion تقریباً دو برابر سریعتر از روش های قبلی مبتنی بر مک استفاده کنند.

Stable Diffusion (SD) که در ماه آگوست راه اندازی شد، یک مدل سنتز تصویر با هوش مصنوعی منبع باز است که تصاویر جدیدی را با استفاده از ورودی متن تولید می کند. به عنوان مثال، تایپ کردن “فضانورد روی اژدها” در SD معمولاً تصویری دقیقاً از آن ایجاد می کند.

با انتشار بهینه‌سازی‌های جدید SD – که به‌عنوان اسکریپت‌های تبدیل در GitHub در دسترس هستند، اپل می‌خواهد پتانسیل کامل سنتز تصویر را در دستگاه‌های خود باز کند، که در صفحه اعلامیه Apple Research اشاره می‌کند. “با افزایش تعداد برنامه های Stable Diffusion، اطمینان از اینکه توسعه دهندگان می توانند از این فناوری به طور موثر استفاده کنند، برای ایجاد برنامه هایی که خلاقان در همه جا قادر به استفاده از آنها باشند، مهم است.”

اپل همچنین از حفظ حریم خصوصی و اجتناب از هزینه های رایانش ابری به عنوان مزایای اجرای مدل تولید هوش مصنوعی به صورت محلی در دستگاه مک یا اپل یاد می کند.

اپل می‌گوید: «حریم خصوصی کاربر نهایی محافظت می‌شود، زیرا هر داده‌ای که کاربر به عنوان ورودی مدل ارائه می‌کند، در دستگاه کاربر باقی می‌ماند. “دوم، پس از دانلود اولیه، کاربران برای استفاده از مدل نیازی به اتصال به اینترنت ندارند. در نهایت، استقرار محلی این مدل، توسعه دهندگان را قادر می سازد تا هزینه های مربوط به سرور خود را کاهش یا حذف کنند.”

در حال حاضر، Stable Diffusion هنگامی که به صورت محلی روی رایانه شخصی ویندوز یا لینوکس اجرا می شود، سریع ترین تصاویر را روی GPU های پیشرفته از Nvidia تولید می کند. برای مثال، تولید یک تصویر 512×512 در 50 مرحله در RTX 3060 حدود 8.7 ثانیه در دستگاه ما طول می کشد.

در مقایسه، روش مرسوم اجرای Stable Diffusion در Apple Silicon Mac بسیار کندتر است و در آزمایش‌های ما روی M1 Mac Mini با استفاده از Diffusion Bee، حدود 69.8 ثانیه طول می‌کشد تا یک تصویر 512×512 در 50 مرحله ایجاد شود.

با توجه به معیارهای اپل در GitHub، بهینه‌سازی‌های Core ML SD جدید اپل می‌توانند یک تصویر 50 مرحله‌ای 512×512 را در تراشه M1 در 35 ثانیه ایجاد کنند. M2 این کار را در 23 ثانیه انجام می دهد و قدرتمندترین تراشه سیلیکونی اپل یعنی M1 Ultra تنها در 9 ثانیه می تواند به همان نتیجه برسد. این یک پیشرفت چشمگیر است و زمان تولید را در مورد M1 تقریباً به نصف کاهش می دهد.

نسخه GitHub اپل یک بسته پایتون است که مدل‌های Stable Diffusion را از PyTorch به Core ML تبدیل می‌کند و شامل یک بسته سوئیفت برای استقرار مدل است. بهینه‌سازی‌ها برای Stable Diffusion 1.4، 1.5 و نسخه جدید منتشر شده 2.0 کار می‌کنند.

در حال حاضر، تجربه راه‌اندازی Stable Diffusion با Core ML به صورت محلی در مک برای توسعه‌دهندگان طراحی شده است و به مهارت‌های خط فرمان اولیه نیاز دارد، اما Hugging Face یک راهنمای عمیق برای تنظیم بهینه‌سازی‌های Core ML اپل برای کسانی که می‌خواهند منتشر کرد. آزمایش کردن

برای کسانی که از نظر فنی کمتر تمایل دارند، برنامه ذکر شده قبلی به نام Diffusion Bee اجرای Stable Diffusion را بر روی Apple Silicon آسان می کند، اما هنوز بهینه سازی های جدید اپل را ادغام نکرده است. همچنین، می‌توانید Stable Diffusion را روی iPhone یا iPad با استفاده از برنامه Draw Things اجرا کنید.