כשמעבירים סרטונים בטווח דינמי גבוה (HDR) במכשירים ניידים, לעיתים קרובות יש פגם משמעותי: חוסר עקביות חזותית בין פאנלים שונים. כשגולשים בפידים עם תוכן מעורב שכוללים גם רכיבי Standard Dynamic Range (SDR) וגם רכיבי HDR, קשה לאזן ביניהם בצינורות עיבוד הנתונים. התוצאה היא מעברים לא יציבים וצורמים וקפיצות בלתי צפויות בבהירות.
ליוצרי תוכן, חוסר האחידות הזה פוגע בכוונה האומנותית. סרטון HDR שעבר עיבוד צבעים קפדני במסך מקצועי עלול להיראות עם אזורים בהירים שלא נקלטו, גוונים דהויים או אזורים כהים מדי כשצופים בו במכשיר צריכה.
Eclipsa הוא תקן וידאו מודרני ב-HDR שנועד לפתור בדיוק את האתגרים האלה שקשורים למערכת האקולוגית של מכשירים שונים. הווידאו של Eclipsa מבוסס על מפרט SMPTE ST 2094-50, ומאפשר למסכים להתאים באופן דינמי את מיפוי התוכן על סמך היכולות הפיזיות של החומרה ותנאי התאורה בסביבה בזמן אמת. הטכנולוגיה של Eclipsa Video נתמכת על ידי שילוב מובנה ללא הגדרות ב-Jetpack Media3 ExoPlayer ובצינורות עיבוד נתונים רגילים של Camera2. היא מציעה לצוותי הנדסה לניידים דרך חינמית ופשוטה להטמיע סטרימינג של וידאו מהדור הבא, שמותאם לחומרה ושומר על הכוונה האומנותית בכל מסך.
הארכיטקטורה הטכנית של SMPTE ST 2094-50
יש הבדלים משמעותיים בין מסכים של מכשירים ניידים מבחינת מרווח הבהירות – כמות הבהירות שזמינה מעל לנקודת הייחוס הלבנה של המסך. אם מגבלות החומרה של המסך לא תואמות לדרישות המאסטרינג של סרטון HDR, האזורים הבהירים נחתכים או נראים עמומים. הערכים בפועל של מרווח הראש ונקודת הייחוס הלבנה של המסך משתנים באופן דינמי, כי חיישני האור הרגישים לסביבה מתאימים את הפאנל לסביבה.
תקן SMPTE ST 2094-50 פותר את הבעיה הזו באמצעות מטא-נתונים בשתי שכבות, שמבטיחים עקביות חזותית באמצעות שני עקרונות עיקריים:
העוגן הלבן של קובץ העזר
כך נוצר בסיס קפדני שממפה את הבהירות המקסימלית של רכיבי SDR ישירות לנקודה הלבנה של המסך. כל ערך של בהירות שחורג מהעוגן הזה שמור אך ורק לאזורים הבהירים ב-HDR. מנגנון העיגון הצפוי הזה מבטיח שכאשר שכבות SDR ו-HDR מורכבות יחד במסך, הן שומרות על הקשר החזותי המיועד שלהן בלי להפריע זו לזו.
עקומות הגברה שמתאימות את עצמן ל-headroom
במקום לאלץ עקומת מיפוי גוונים סטטית, היוצרים מטמיעים מטא-נתונים פרמטריים שמנחים את צינור עיבוד הנתונים של התצוגה בדיוק איך לשנות את קנה המידה כשיש מרווח מוגבל. התקן נותן ליוצרים גמישות מפורטת בבחירה אם פאנל ממוקד צריך לבצע חיתוך רך של אזורים בהירים, חיתוך קשה או לדחוס גווני אמצע וצללים כדי לשמר באופן פעיל את הפרטים הקטנים ביותר באזורים בהירים.
תמיכה בפלטפורמות
ב-Android 17 (רמת API 37) נוספה תמיכה ברמת הפלטפורמה בהפעלה ובצילום של סרטונים בפורמט Eclipsa.
הטמעת הפעלה
לפיתוח אפליקציות רגילות, Media3 ExoPlayer מספק תמיכה מוכנה מראש בסרטוני Eclipsa. כשמנתחים קבצים שמוטמעים בהם מטא-נתונים של SMPTE 2094-50, ExoPlayer מחלץ את המטא-נתונים ומחיל אותם בצורה חלקה, בלי שצריך להגדיר את הנגן בהתאמה אישית.
הפעלה רגילה של הנגן: כדי ליצור מופע של פלטפורמת הנגן, עיינו בסקירה הכללית של Media3 ExoPlayer.
שינויים ידניים בטראקים: אם האפליקציה שולחת שאילתות או נועלת פרופילי HDR ספציפיים באופן פרוגרמטי, כדאי לעיין בMedia3 track selection API.
מומלץ להעביר את צינורות עיבוד הנתונים של ההפעלה ל-Jetpack Media3. ExoPlayer מטפל באופן מובנה בחילוץ קונטיינרים ברמה נמוכה, וכך עוקף לחלוטין פגמים ידועים בפענוח ברמת הפלטפורמה שקיימים בשכבות רינדור מדור קודם ב-Android 16 (רמת API 36) ומטה.
הטמעת צילום וידאו
כדי לצלם סרטון Eclipsa ממכשיר, צריך להגדיר את צינור עיבוד הנתונים של המצלמה כך שייצור מטא-נתונים של SMPTE 2094-50 על ידי הקצאת פרופיל טווח דינמי תואם.
אחרי שמוודאים שהמכשיר תומך ב-CameraCharacteristics, מנתבים את השידור למשטח המקודד באמצעות הפרופיל DynamicRangeProfiles.HLG10_SMPTE_2094_50. במאמר צילום וידאו ב-HDR מוסבר איך לשלוח שאילתות ולהגדיר פרופילים של טווח דינמי בסשנים של המצלמה.
לא נדרשת הגדרת קודק מפורשת למטא-נתונים של SMPTE 2094-50. אם המטא-נתונים קיימים בפרופיל הדינמי הפעיל, מסגרת המדיה של Android מצרפת ומעבירה אותם באופן אוטומטי.
שיקולי תאימות וביצועים
כדי לעקוב אחרי הביצועים, מאחזרים את האובייקט הפעיל של Display ובודקים אם יש LutProperties ב-OverlayProperties שמוחזר על ידי getOverlaySupport() כדי לזהות את הזמינות של נתיבים עם שיפור מהירות באמצעות חומרה.
אנחנו מפתחים תמיכה באפשרות לבטל את ההסכמה לעיבוד וידאו של Eclipsa ב-Exoplayer, עבור מכשירים שאין להם יכולות של שיפור מהירות באמצעות חומרה.
מקורות מידע נוספים
- המפרט של SMPTE ST 2094-50
- HDR Explorer: אפליקציית אינטרנט לבדיקת מטא-נתונים ועקומות הגבר של SMPTE ST 2094-50