Flash dello schermo

Il flash dello schermo, chiamato anche flash anteriore o flash per i selfie, utilizza la luminosità dello schermo dello smartphone per illuminare il soggetto quando si acquisiscono immagini con la fotocamera anteriore in condizioni di scarsa illuminazione. È disponibile in molte app di fotocamera native e app di social media. Poiché la maggior parte delle persone tiene lo smartphone abbastanza vicino quando inquadra un autoritratto, questo approccio è efficace.

Tuttavia, è difficile per gli sviluppatori implementare la funzionalità correttamente e mantenere una buona qualità di acquisizione in modo coerente su tutti i dispositivi. Questa guida mostra come implementare correttamente questa funzionalità utilizzando Camera2, l'API del framework della fotocamera Android di basso livello.

Workflow generale

Per implementare correttamente la funzionalità, i due fattori chiave sono l'utilizzo della sequenza di misurazione della precattura (precattura dell'esposizione automatica) e la tempistica delle operazioni. Il workflow generale è mostrato nella Figura 1.

Diagramma di flusso che mostra come viene utilizzata l'UI del flash dello schermo in Camera2.
Figura 1. Flusso di lavoro generale per l'implementazione del flash dello schermo.

I seguenti passaggi vengono utilizzati quando è necessario acquisire un'immagine con la funzionalità di flash dello schermo.

  1. Applica le modifiche alla UI necessarie per il flash dello schermo, che può fornire luce sufficiente per scattare foto utilizzando lo schermo del dispositivo. Per i casi d'uso generali, Google suggerisce le seguenti modifiche alla UI, come utilizzate nei nostri test:
    • La schermata dell'app è coperta da un overlay di colore bianco.
    • La luminosità dello schermo è al massimo.
  2. Imposta la modalità di esposizione automatica (AE) su CONTROL_AE_MODE_ON_EXTERNAL_FLASH, se supportata.
  3. Attiva una sequenza di misurazione di pre-acquisizione utilizzando CONTROL_AE_PRECAPTURE_TRIGGER.
  4. Attendi che l'esposizione automatica (AE) e il bilanciamento del bianco automatico (AWB) convergano.

  5. Una volta convergenti, viene utilizzato il normale flusso di acquisizione delle foto dell'app.

  6. Invia la richiesta di acquisizione al framework.

  7. Attendi la ricezione del risultato dell'acquisizione.

  8. Reimposta la modalità AE se è stato impostato CONTROL_AE_MODE_ON_EXTERNAL_FLASH.

  9. Cancella le modifiche alla UI per il flash dello schermo.

Codici campione Camera2

Schermata dell'app Cover con un overlay di colore bianco

Aggiungi una visualizzazione nel file XML di layout della tua applicazione. La visualizzazione ha un'elevazione sufficiente per essere posizionata sopra tutti gli altri elementi UI durante l'acquisizione del flash dello schermo. Per impostazione predefinita, viene mantenuto invisibile e viene reso visibile solo quando vengono applicate le modifiche alla UI del flash dello schermo.

Nel seguente esempio di codice, il colore bianco (#FFFFFF) viene utilizzato come esempio per la visualizzazione. Le applicazioni possono scegliere il colore o offrire più colori agli utenti, in base ai loro requisiti.

<View
    android:id="@+id/white_color_overlay"
    android:layout_width="match_parent"
    android:layout_height="match_parent"
    android:background="#FFFFFF"
    android:visibility="invisible"
    android:elevation="8dp" />

Massimizza la luminosità dello schermo

Esistono diversi modi per modificare la luminosità dello schermo in un'app per Android. Un modo diretto è modificare il parametro WindowManager screenBrightness nel riferimento Activity Window.

private var previousBrightness: Float = -1.0f

private fun maximizeScreenBrightness() {
    activity?.window?.let { window ->
        window.attributes?.apply {
            previousBrightness = screenBrightness
            screenBrightness = 1f
            window.attributes = this
        }
    }
}

private fun restoreScreenBrightness() {
    activity?.window?.let { window ->
        window.attributes?.apply {
            screenBrightness = previousBrightness
            window.attributes = this
        }
    }
}

Imposta la modalità AE su CONTROL_AE_MODE_ON_EXTERNAL_FLASH

CONTROL_AE_MODE_ON_EXTERNAL_FLASH è disponibile con il livello API 28 o versioni successive. Tuttavia, questa modalità AE non è disponibile su tutti i dispositivi, quindi verifica se è disponibile e imposta il valore di conseguenza. Per verificare la disponibilità, utilizza CameraCharacteristics#CONTROL_AE_AVAILABLE_MODES.

private val characteristics: CameraCharacteristics by lazy {
    cameraManager.getCameraCharacteristics(cameraId)
}

@RequiresApi(Build.VERSION_CODES.P)
private fun isExternalFlashAeModeAvailable() =
    characteristics.get(CameraCharacteristics.CONTROL_AE_AVAILABLE_MODES)
        ?.contains(CaptureRequest.CONTROL_AE_MODE_ON_EXTERNAL_FLASH) ?: false

Se l'applicazione ha una richiesta di acquisizione ripetuta impostata (obbligatoria per l'anteprima), la modalità AE deve essere impostata sulla richiesta ripetuta. In caso contrario, potrebbe essere sostituita da una modalità AE predefinita o impostata da un altro utente nell'acquisizione ripetuta successiva. In questo caso, la fotocamera potrebbe non avere il tempo sufficiente per eseguire tutte le operazioni che normalmente esegue per una modalità AE con flash esterno.

Per assicurarti che la fotocamera elabori completamente la richiesta di aggiornamento della modalità AE, controlla il risultato dell'acquisizione nel callback di acquisizione ripetuta e attendi che la modalità AE venga aggiornata nel risultato.

Acquisisci il callback che può attendere l'aggiornamento della modalità AE

Il seguente snippet di codice mostra come eseguire questa operazione.

private val repeatingCaptureCallback = object : CameraCaptureSession.CaptureCallback() {
    private var targetAeMode: Int? = null
    private var aeModeUpdateDeferred: CompletableDeferred<Unit>? = null

    suspend fun awaitAeModeUpdate(targetAeMode: Int) {
        this.targetAeMode = targetAeMode
        aeModeUpdateDeferred = CompletableDeferred()
        // Makes the current coroutine wait until aeModeUpdateDeferred is completed. It is
        // completed once targetAeMode is found in the following capture callbacks.
        aeModeUpdateDeferred?.await()
    }

    private fun process(result: CaptureResult) {
        // Checks if AE mode is updated and completes any awaiting Deferred.
        aeModeUpdateDeferred?.let {
            val aeMode = result[CaptureResult.CONTROL_AE_MODE]
            if (aeMode == targetAeMode) {
                it.complete(Unit)
            }
        }
    }

    override fun onCaptureCompleted(
        session: CameraCaptureSession,
        request: CaptureRequest,
        result: TotalCaptureResult
    ) {
        super.onCaptureCompleted(session, request, result)
        process(result)
    }
}

Imposta una richiesta ripetuta per attivare o disattivare la modalità AE

Una volta implementato il callback di acquisizione, i seguenti esempi di codice mostrano come impostare una richiesta ripetuta.

/** [HandlerThread] where all camera operations run */
private val cameraThread = HandlerThread("CameraThread").apply { start() }

/** [Handler] corresponding to [cameraThread] */
private val cameraHandler = Handler(cameraThread.looper)

private suspend fun enableExternalFlashAeMode() {
    if (Build.VERSION.SDK_INT >= 28 && isExternalFlashAeModeAvailable()) {
        session.setRepeatingRequest(
            camera.createCaptureRequest(CameraDevice.TEMPLATE_PREVIEW).apply {
                addTarget(previewSurface)
                set(
                    CaptureRequest.CONTROL_AE_MODE,
                    CaptureRequest.CONTROL_AE_MODE_ON_EXTERNAL_FLASH
                )
            }.build(),
            repeatingCaptureCallback, cameraHandler
        )

        // Wait for the request to be processed by camera.
        repeatingCaptureCallback.awaitAeModeUpdate(CaptureRequest.CONTROL_AE_MODE_ON_EXTERNAL_FLASH)
    }
}

private fun disableExternalFlashAeMode() {
    if (Build.VERSION.SDK_INT >= 28 && isExternalFlashAeModeAvailable()) {
        session.setRepeatingRequest(
            camera.createCaptureRequest(CameraDevice.TEMPLATE_PREVIEW).apply {
                addTarget(previewSurface)
            }.build(),
            repeatingCaptureCallback, cameraHandler
        )
    }
}

Attiva una sequenza di pre-acquisizione

Per attivare una sequenza di misurazione di precattura, puoi inviare un CaptureRequest con il valore CONTROL_AE_PRECAPTURE_TRIGGER_START impostato sulla richiesta. Devi attendere che la richiesta venga elaborata e poi che l'AE e l'AWB convergano.

Sebbene la pre-acquisizione venga attivata con una singola richiesta di acquisizione, l'attesa della convergenza di AE e AWB richiede una maggiore complessità. Puoi monitorare lo stato AE e lo stato AWB utilizzando un callback di acquisizione impostato su una richiesta ripetuta.

L'aggiornamento dello stesso callback ripetuto consente di semplificare il codice. Le applicazioni spesso richiedono un'anteprima per la quale impostano una richiesta ripetuta durante la configurazione della fotocamera. Pertanto, puoi impostare una volta il callback di acquisizione ripetuta sulla richiesta ripetuta iniziale e poi riutilizzarlo per il controllo dei risultati e l'attesa.

Aggiornamento del codice di callback di acquisizione per attendere la convergenza

Per aggiornare il callback di acquisizione ripetuta, utilizza il seguente snippet di codice.

private val repeatingCaptureCallback = object : CameraCaptureSession.CaptureCallback() {
    private var targetAeMode: Int? = null
    private var aeModeUpdateDeferred: CompletableDeferred<Unit>? = null

    private var convergenceDeferred: CompletableDeferred<Unit>? = null

    suspend fun awaitAeModeUpdate(targetAeMode: Int) {
        this.targetAeMode = targetAeMode
        aeModeUpdateDeferred = CompletableDeferred()
        // Makes the current coroutine wait until aeModeUpdateDeferred is completed. It is
        // completed once targetAeMode is found in the following capture callbacks.
        aeModeUpdateDeferred?.await()
    }

    suspend fun awaitAeAwbConvergence() {
        convergenceDeferred = CompletableDeferred()
        // Makes the current coroutine wait until convergenceDeferred is completed, it will be
        // completed once both AE & AWB are reported as converged in the capture callbacks below.
        convergenceDeferred?.await()
    }

    private fun process(result: CaptureResult) {
        // Checks if AE mode is updated and completes any awaiting Deferred.
        aeModeUpdateDeferred?.let {
            val aeMode = result[CaptureResult.CONTROL_AE_MODE]
            if (aeMode == targetAeMode) {
                it.complete(Unit)
            }
        }

        // Checks for convergence and completes any awaiting Deferred.
        convergenceDeferred?.let {
            val aeState = result[CaptureResult.CONTROL_AE_STATE]
            val awbState = result[CaptureResult.CONTROL_AWB_STATE]

            val isAeReady = (
                aeState == null ||
                    // May be null in some devices (e.g. legacy camera HW level).
                    aeState == CaptureResult.CONTROL_AE_STATE_CONVERGED ||
                    aeState == CaptureResult.CONTROL_AE_STATE_FLASH_REQUIRED
                )

            val isAwbReady = (
                awbState == null ||
                    // May be null in some devices (e.g. legacy camera HW level).
                    awbState == CaptureResult.CONTROL_AWB_STATE_CONVERGED
                )

            if (isAeReady && isAwbReady) {
                // if any non-null convergenceDeferred is set, complete it.
                it.complete(Unit)
            }
        }
    }

    override fun onCaptureCompleted(
        session: CameraCaptureSession,
        request: CaptureRequest,
        result: TotalCaptureResult
    ) {
        super.onCaptureCompleted(session, request, result)
        process(result)
    }
}

Imposta il callback su una richiesta ripetuta durante la configurazione della videocamera

Il seguente esempio di codice mostra come impostare il callback su una richiesta ripetuta durante l'inizializzazione.

// Open the selected camera.
camera = openCamera(cameraManager, cameraId, cameraHandler)

// Creates list of Surfaces where the camera will output frames.
val targets = listOf(previewSurface, imageReaderSurface)

// Start a capture session using our open camera and list of Surfaces where frames will go.
session = createCameraCaptureSession(camera, targets, cameraHandler)

val captureRequest = camera.createCaptureRequest(
    CameraDevice.TEMPLATE_PREVIEW
).apply { addTarget(previewSurface) }

// This will keep sending the capture request as frequently as possible until the
// session is torn down or session.stopRepeating() is called.
session.setRepeatingRequest(captureRequest.build(), repeatingCaptureCallback, cameraHandler)

Attivazione e attesa della sequenza di pre-acquisizione

Una volta impostato il callback, puoi utilizzare il seguente esempio di codice per l'attivazione e l'attesa di una sequenza di pre-acquisizione.

private suspend fun runPrecaptureSequence() {
    // Creates a new capture request with CONTROL_AE_PRECAPTURE_TRIGGER_START.
    val captureRequest = session.device.createCaptureRequest(
        CameraDevice.TEMPLATE_PREVIEW
    ).apply {
        addTarget(previewSurface)
        set(
            CaptureRequest.CONTROL_AE_PRECAPTURE_TRIGGER,
            CaptureRequest.CONTROL_AE_PRECAPTURE_TRIGGER_START
        )
    }

    val precaptureDeferred = CompletableDeferred<Unit>()
    session.capture(
        captureRequest.build(),
        object : CameraCaptureSession.CaptureCallback() {
            override fun onCaptureCompleted(
                session: CameraCaptureSession,
                request: CaptureRequest,
                result: TotalCaptureResult
            ) {
                // Waiting for this callback ensures the precapture request has been processed.
                precaptureDeferred.complete(Unit)
            }
        },
        cameraHandler
    )

    precaptureDeferred.await()

    // Precapture trigger request has been processed, we can wait for AE & AWB convergence now.
    repeatingCaptureCallback.awaitAeAwbConvergence()
}

Unisci tutto

Una volta pronti tutti i componenti principali, ogni volta che è necessario scattare una foto, ad esempio quando un utente fa clic sul pulsante di acquisizione per scattare una foto, tutti i passaggi possono essere eseguiti nell'ordine indicato nella discussione e negli esempi di codice precedenti.

// User clicks captureButton to take picture.
captureButton.setOnClickListener {
    // Apply the screen flash related UI changes.
    whiteColorOverlayView.visibility = View.VISIBLE
    maximizeScreenBrightness()

    // Launch on the main thread, then switch to IO for background operations.
    lifecycleScope.launch {
        // Perform I/O heavy operations in a different scope.
        withContext(Dispatchers.IO) {
            // Enable external flash AE mode and wait for it to be processed.
            enableExternalFlashAeMode()

            // Run precapture sequence and wait for it to complete.
            runPrecaptureSequence()

            // Start taking picture and wait for it to complete.
            takePhoto()

            disableExternalFlashAeMode()
        }

        // Back on the main thread automatically.
        // Clear the screen flash related UI changes.
        restoreScreenBrightness()
        whiteColorOverlayView.visibility = View.INVISIBLE
    }
}

Immagini di esempio

Puoi vedere dai seguenti esempi cosa succede quando il flash dello schermo viene implementato in modo errato e quando viene implementato correttamente.

Se non viene eseguita correttamente

Se il flash dello schermo non viene implementato correttamente, i risultati saranno incoerenti tra più acquisizioni, dispositivi e condizioni di illuminazione. Spesso, le immagini acquisite presentano un problema di esposizione o di tonalità di colore. Per alcuni dispositivi, questi tipi di bug diventano più evidenti in una condizione di illuminazione specifica, ad esempio in un ambiente con scarsa illuminazione anziché in un ambiente completamente buio.

La seguente tabella mostra alcuni esempi di questi problemi. Sono state scattate nell'infrastruttura del lab CameraX, con sorgenti di luce che sono rimaste di un colore bianco caldo. Questa sorgente di luce bianca calda ti consente di vedere che la tonalità di colore blu è un problema reale, non un effetto collaterale di una sorgente di luce.

Ambiente Sottoesposizione Sovraesposizione Tinta colore
Ambiente buio (nessuna fonte di luce oltre allo smartphone) Foto quasi completamente scura Foto eccessivamente schiarita Foto con tonalità violacea
Luce scarsa (fonte di luce aggiuntiva di circa 3 lux) Foto un po' scura Foto eccessivamente schiarita Foto con tonalità bluastra

Se eseguita correttamente,

Quando l'implementazione standard viene utilizzata per gli stessi dispositivi e condizioni, puoi visualizzare i risultati nella tabella seguente.

Ambiente Sottoesposizione (corretta) Sovraesposizione (fissa) Tinta colore (fissa)
Ambiente buio (nessuna fonte di luce oltre allo smartphone) Cancella foto Cancella foto Foto chiara senza alcuna tinta
Luce scarsa (fonte di luce aggiuntiva di circa 3 lux) Cancella foto Cancella foto Una foto nitida senza tinta

Come osservato, la qualità dell'immagine migliora notevolmente con l'implementazione standard.