برنامههای مدرن تلفن همراه برای افزایش تعامل و حفظ کاربران بهشدت به رسانههای تولیدشده توسط کاربر متکی هستند. برنامهها بهدلیل طیف گسترده قابلیتهای دستگاه، شرایط نور، و تجربه کاربری، تنوع طبیعی در کیفیت محتوا را مشاهده میکنند. برای برنامههایی که حجم زیادی از عکسها و ویدیوها را از منابع مختلف مدیریت میکنند، فرصتی برای ارتقای کیفیت پایه این محتوای تولیدشده توسط کاربر وجود دارد. حفظ کیفیت بهینه مستلزم تعادل دقیق بین فشردهسازی موردنیاز برای عملیاتی مانند ویرایش، بارگذاری، و بارگیری است، درحالیکه جزئیات کافی برای مصرف با کیفیت بالا حفظ میشود.
نمای کلی Media enhancement API
Media Enhancement API در «خدمات Google Play» یک راهکار جامع هوش مصنوعی دروندستگاهی ارائه میدهد تا این شکاف را پر کند. این ویژگی از شتابدهی «واحد پردازش گرافیکی» (GPU) دروندستگاهی استفاده میکند تا بهبودهایی با کیفیت بالا و تأخیر کم برای تصاویر و ویدیوها ارائه دهد. این بهبودها ازطریق ویژگیهایی مثل نگاشت خودکار رنگ، رفع تاری، کاهش نویز، و ارتقای مقیاس حاصل میشود.
این میانای برنامهسازی کاربردی که بهطور بومی ازطریق «خدمات Google Play» ارائه میشود، تکالیف بازیابی تصویر و ویدیو را که ازنظر محاسباتی سنگین هستند مستقیماً به واحد پردازش عصبی (NPU) و GPU بومی دستگاه میزبان منتقل میکند. این میانای برنامهسازی کاربردی یک خط لوله با تأخیر کم و حافظ حریم خصوصی ارائه میدهد که هیچگونه تورم APK ندارد و مدلها را فقط درصورت نیاز و بهصورت درخواستی بارگیری میکند تا فضای دیسک دستگاه حفظ شود.
قابلیتهای اصلی و موارد استفاده
این چارچوب نقاط خرابی رسانه خاصی را ازطریق سه قابلیت اصلی یادگیری ماشین هدف قرار میدهد که میتوانید آنها را بهصورت مستقل یا باهم پیکربندی کنید:
| قابلیت | عملکرد الگوریتمی | مورد استفاده بهینه برنامه |
|---|---|---|
| نگاشت رنگمایه | الگوریتم نگاشت تُن محلی SDR به SDR که تصاویر با دامنه پویای استاندارد (SDR) را بهبود میبخشد تا کیفیتهای شبیه به HDR را تقلید کند—مانند کنتراست محلی بهبودیافته و سایههای روشنتر—درحالیکه در محدوده SDR قابلنمایش باقی میماند. این الگوریتم همزمان و کممصرف برای عملکرد تلفن همراه بهینهسازی شده است. | نجات عکسهای منظره ابری و تخت یا تکچهرههای داخلی با نور پسزمینه شدید. |
| واضحسازی | با تخمین زدن هسته محوشدگی ریاضی ناشی از حرکت سوژه یا لرزش دوربین، لبههای واضح را بازسازی میکند. فیلتر فضایی را برای صاف کردن دانههای رنگی اعمال میکند و بهعنوان فیلتر رفع انسداد برای کاهش آثار فشردهسازی در نزدیکی لبههای تیز عمل میکند. | بازیابی عکسهای لرزان یا تار، بهبود تصاویر دانهدار با نور کم، و حذف آثار بلوکی از تصاویر JPEG فشردهشده و جاریسازیهای ویدیو. |
| مجلل | از مدل زایای اَبَروضوح برای چندبرابر کردن تعداد پیکسلها و بازسازی جزئیات فرکانس بالای ازدسترفته استفاده میکند. | مقیاسبندی تصاویر کوچک یا فایلهای ویدیویی با کیفیت استاندارد برای نمایش تمامصفحه. |
برای نمونهای که ارتقای مقیاس و رفع تاری را برای تصاویر با وضوح پایین بارگیریشده ازطریق شبکههای کند ترکیب میکند، به بار کردن تدریجی تصاویر در شبکههای کند مراجعه کنید.
الزامات سختافزاری
اجرای استنتاج دروندستگاهی با مدلهای یادگیری ماشین یا یادگیری عمیق زمانبر است و عملکرد تا حد زیادی به شتابدهندههای سختافزاری که دستگاه استفاده میکند بستگی دارد. Media Enhancement API برای دستگاههای رده ممتاز مجهز به هستههای اختصاصی Tensor و حافظه با پهنای باند بالا (برای مثال، Pixel 10 Pro یا Samsung Galaxy S26 Ultra) بهینهسازی شده است.
اگر سختافزار دستگاهی حداقل آستانههای عملکرد را برآورده نکند، فرایند مقداردهی اولیه متوقف میشود و وضعیت پشتیبانینشده را گزارش میکند تا از افت فریم یا محدودیت حرارتی جلوگیری شود.