Análisis masivo de registros

Una vez que hayas recopilado varios seguimientos con ProfilingManager, explorarlos de forma individual para encontrar problemas de rendimiento se vuelve poco práctico. El análisis de seguimiento masivo te permite consultar un conjunto de datos de seguimientos de forma simultánea para lo siguiente:

• Identificar regresiones de rendimiento comunes
• Calcula distribuciones estadísticas (por ejemplo, latencia P50, P90 y P99).
• Encuentra patrones en varios seguimientos.
• Encuentra seguimientos atípicos para comprender y depurar problemas de rendimiento.

En esta sección, se muestra cómo usar el procesador de seguimiento por lotes de Perfetto para Python para analizar las métricas de inicio en un conjunto de seguimientos almacenados de forma local y ubicar los seguimientos atípicos para un análisis más detallado.

Diseña la consulta

El primer paso para realizar un análisis masivo es crear una consulta de PerfettoSQL.

En esta sección, presentamos una consulta de ejemplo que mide la latencia de inicio de la app. Específicamente, puedes medir la duración desde activityStart hasta el primer fotograma generado (la primera instancia de la porción Choreographer#doFrame) para medir la latencia de inicio de la app que está bajo el control de tu app. En la Figura 1, se muestra la sección que se debe consultar.

Nota: Antes de ejecutar una consulta de seguimiento masiva, te recomendamos que pruebes tu consulta en SQL en un solo seguimiento en la IU de Perfetto para validar los resultados.

Figura 1. Sección de seguimiento desde `activityStart` hasta el primer fotograma generado.

CREATE OR REPLACE PERFETTO FUNCTION find_slices(pattern STRING) RETURNS
TABLE (name STRING, ts LONG, dur LONG) AS
SELECT name,ts,dur FROM slice WHERE name GLOB $pattern;

CREATE OR REPLACE PERFETTO FUNCTION generate_start_to_end_slices(startSlicePattern STRING, endSlicePattern STRING, inclusive BOOL) RETURNS
TABLE(name STRING, ts LONG, dur LONG) AS
SELECT name, ts, MIN(startToEndDur) as dur
FROM
  (SELECT S.name as name, S.ts as ts, E.ts + IIF($inclusive, E.dur, 0) - S.ts as startToEndDur
  FROM find_slices($startSlicePattern) as S CROSS JOIN find_slices($endSlicePattern) as E
  WHERE startToEndDur > 0)
GROUP BY name, ts;

SELECT ts,name,dur from generate_start_to_end_slices('activityStart','*Choreographer#doFrame [0-9]*', true)

Puedes ejecutar la consulta en la IU de Perfetto y, luego, usar los resultados de la consulta para generar un segmento de depuración (figura 2) y visualizarlo en el cronograma (figura 3).

Figura 2. Crea un registro de depuración para una consulta de inicio.

Figura 3. Se generó un seguimiento de depuración para una consulta de inicio.

Configura el entorno de Python

Instala Python en tu máquina local y sus bibliotecas requeridas:

pip install perfetto pandas plotly

Crea la secuencia de comandos de análisis de seguimiento masivo

En la siguiente secuencia de comandos de ejemplo, se ejecuta la consulta en varios seguimientos con BatchTraceProcessor de Python de Perfetto.

from perfetto.batch_trace_processor import BatchTraceProcessor
import glob
import plotly.express as px

# Collect all trace files in the local directory
traces = glob.glob('*.perfetto-trace')

if not traces:
    print("No .perfetto-trace files found in the current directory.")
    exit(1)

if __name__ == '__main__':
    # Process all traces in parallel to aggregate metrics across runs
    with BatchTraceProcessor(traces) as btp:
        query = """
        CREATE OR REPLACE PERFETTO FUNCTION find_slices(pattern STRING) RETURNS
        TABLE (name STRING, ts LONG, dur LONG) AS
        SELECT name,ts,dur FROM slice WHERE name GLOB $pattern;

        CREATE OR REPLACE PERFETTO FUNCTION generate_start_to_end_slices(startSlicePattern STRING, endSlicePattern STRING, inclusive BOOL) RETURNS
        TABLE(name STRING, ts LONG, dur LONG) AS
        SELECT name, ts, MIN(startToEndDur) as dur
        FROM
          (SELECT S.name as name, S.ts as ts, E.ts + IIF($inclusive, E.dur, 0) - S.ts as startToEndDur
          FROM find_slices($startSlicePattern) as S CROSS JOIN find_slices($endSlicePattern) as E
          WHERE startToEndDur > 0)
        GROUP BY name, ts;

        SELECT ts,name,dur / 1000000 as dur_ms from generate_start_to_end_slices('activityStart','*Choreographer#doFrame [0-9]*', true)
        """
        df = btp.query_and_flatten(query)
        # Plot the distribution of startup times, tracking trace file paths on
        # hover
        violin = px.violin(df, x='dur_ms', hover_data='_path', title='startup time', points='all')
        violin.show()

Comprende la secuencia de comandos

Cuando ejecutas la secuencia de comandos de Python, se realizan las siguientes acciones:

1. La secuencia de comandos busca en tu directorio local todos los registros de Perfetto con el sufijo .perfetto-trace y los usa como registros de origen para el análisis.
2. Ejecuta una consulta de seguimiento masivo que calcula el subconjunto del tiempo de inicio correspondiente al tiempo desde el segmento de seguimiento activityStart hasta el primer fotograma que genera tu app.
3. Traza la latencia en milisegundos con un diagrama de violín para visualizar la distribución de los tiempos de inicio.

Interpretar los resultados

Figura 4: Diagrama de violín de las latencias de inicio consultadas.

Después de ejecutar la secuencia de comandos, esta genera un trazado. En este caso, el gráfico muestra una distribución bimodal con dos picos distintos (figura 4).

A continuación, encuentra la diferencia entre las dos poblaciones. Esto te ayuda a examinar los seguimientos individuales con más detalle. En este ejemplo, el gráfico está configurado de modo que, cuando colocas el cursor sobre los datos (latencias), puedes identificar los nombres de los archivos de seguimiento. Luego, puedes abrir uno de los seguimientos que forman parte del grupo de latencia alta.

Cuando abras un registro del grupo de latencia alta (figura 5), encontrarás un segmento adicional llamado MyFlaggedFeature que se ejecuta durante el inicio (figura 6). Por el contrario, seleccionar un seguimiento de la población de menor latencia (el pico más a la izquierda) confirma la ausencia de esa misma porción (figura 7). Esta comparación indica que una marca de función específica, habilitada para un subconjunto de usuarios, activa la regresión.

Figura 5: Un dato de alta latencia en un diagrama de violín.

Figura 6. Inicio de seguimiento de alta latencia con un segmento adicional de "MyFlaggedFeature"

Figura 7. Inicio de seguimiento de latencia baja.

En este ejemplo, se muestra una de las muchas formas en que puedes usar el análisis de seguimiento masivo. Otros casos de uso incluyen extraer estadísticas del campo para medir el impacto, detectar regresiones y mucho más.

Nota: La API de Python de Batch Trace Processor local puede analizar decenas o cientos de seguimientos. Sin embargo, su escalabilidad depende de la memoria de tu computadora. Para analizar miles de seguimientos, consulta la documentación de Bigtrace de Perfetto para implementar un clúster escalable.