Visuelle Ausrichtung auf UI-Elemente. Ersetzt die Koordinaten des Begrenzungsrahmens aus einem mit Anmerkungen versehenen Screenshot in einem String und ersetzt alle Vorkommen von #N durch die Mittelpunktkoordinaten des Begrenzungsrahmens mit der Bezeichnung N.
Nutzung
android screen resolve [-h] [--screenshot=PARAM] [--string=PARAM]
Optionen
-h,--help– Zeigt die Hilfemeldung für den angegebenen Befehl an.--screenshot=PARAM– Ein mitandroid screen capture --annotateaufgenommener Screenshot.--string=PARAM: Der String, in den Koordinaten eingefügt werden sollen.
android-Optionen:
--sdk=PARAM: Pfad zum Android SDK.-v,--verbose: Aktiviert die ausführliche Ausgabe zur Fehlerbehebung.-V,--version– Gibt Versionsinformationen aus und beendet den Vorgang.
Beschreibung
android screen resolve übersetzt Platzhalter für visuelle Labels (#N) aus einem mit Anmerkungen versehenen Screenshot (aufgenommen mit android screen capture --annotate) in die entsprechenden Koordinaten für den Bildschirmmittelpunkt (x y).
So können KI-Agents und Automatisierungsskripts adb shell input-Befehle (z. B. Tippen und Wischen) generieren, indem sie auf nummerierte Labels aus dem kommentierten Bild verweisen, anstatt Pixelkoordinaten manuell zu berechnen.
Beispiele
Wenn das Label 5 in ui.png an den Koordinaten (500, 1000) zentriert ist, wird durch Ausführen von:
android screen resolve --screenshot=ui.png --string="input tap #5"
Ausgaben input tap 500 1000.