Android Clickable Auf dem Bildschirm Text

Question

Ich war neugierig, ich habe diese App neulich gesehen, die es erlaubt, andere Anwendungen zu öffnen und bestimmte Funktionen für Sie automatisch einzustellen. Ich habe erkannt, dass es eine Bildschirm-Klick-Funktion irgendeiner Art verwenden muss, aber ich kann keine Dokumentation für so etwas finden. Zum Beispiel, wenn wir wissen, dass die auf dem Bildschirm Text aus dem anderen App „Ready“ ist, gibt es eine Möglichkeit, dass Text und vielleicht etwas tun, wie zu lesen:

protected void processText(String text) 
{ 
    if (text.contains("Ready")) 
     // click the ready text 
} 

Answer 1

Ich habe dies mit AccessibilityService getan. Es wird jedoch nur auf API-Ebene> = 16 funktionieren.

Sie müssen AccessibilityService erweitern. Zum Beispiel erhält diese Klasse einen Text von USSD-Antworten und verwirft den Dialog.

// .... 
public class UssdAccessibilityService extends AccessibilityService { 
    public UssdAccessibilityService() { 
    } 

    @TargetApi(16) 
    @Override 
    public void onAccessibilityEvent(AccessibilityEvent event) { 
     if (!"com.android.phone".equalsIgnoreCase((String)event.getPackageName())){ 
      // In this example we are only interested in events comming 
      // from "com.android.phone" package 
      event.recycle(); 
      return; 
     } 

     String className = (String)event.getClassName(); 
     if (className == null || (!className.contains("AlertDialog") && !className.contains("AlertDialog"))){ 
      // Class is not an USSD dialog 
      event.recycle(); 
      return; 
     } 

     AccessibilityNodeInfo source = event.getSource(); 
     if (source == null) { 
      // getSource() is annotated @Nullable, so we do this to be 
      // safe just in case 
      event.recycle(); 
      return; 
     } 

     AccessibilityNodeInfo acceptButton = null; 
     String ussdText = null; 

     int childCount = source.getChildCount(); 
     for (int i = 0; i < childCount; i++){ 
      AccessibilityNodeInfo current = source.getChild(i); 
      if (current == null) 
       continue; 

      String currentText = (String)current.getText(); 
      if (current.isClickable()){ 
       // In the case of USSD dialogs, there is only one clickable. 
       // May be necessary to do more robust search in other scenarios 
       acceptButton = current; 
       continue; 
      } 

      ussdText = currentText; 

      current.recycle(); 
     } 

     if (ussdText!= null) { 
      if (acceptButton != null) 
       acceptButton.performAction(AccessibilityNodeInfo.ACTION_CLICK); 

     } 

     source.recycle(); 
     event.recycle(); 
    } 

    // .... 
} 

Sie müssen die Zugänglichkeit Service im Manifest erklären unter <application>

<service 
     android:name=".UssdAccessibilityService" 
     android:enabled="true" 
     android:label="Read USSD codes and dismiss" 
     android:permission="android.permission.BIND_ACCESSIBILITY_SERVICE"> 
     <intent-filter> 
      <action android:name="android.accessibilityservice.AccessibilityService" /> 
     </intent-filter> 

     <meta-data 
      android:name="android.accessibilityservice" 
      android:resource="@xml/accessibility_service_config" /> 
</service> 

Unter res/xml erstellen accessibility_service_config.xml

<accessibility-service xmlns:android="http://schemas.android.com/apk/res/android" 
    android:description="@string/accessibility_service_description" 
    android:packageNames="com.android.phone,com.ats.android.activationcodebot" 
    android:accessibilityEventTypes="typeWindowStateChanged|typeWindowContentChanged" 
    android:accessibilityFlags="flagDefault" 
    android:accessibilityFeedbackType="feedbackSpoken" 
    android:notificationTimeout="100" 
    android:canRetrieveWindowContent="true" 
    /> 

Natürlich können Sie diesen Code auf Ihre eigenen Bedürfnisse anpassen.

Schließlich müssen Sie den Zugänglichkeitsdienst manuell unter Einstellungen> Erreichbarkeit in Android aktivieren (oder den Benutzer bitten, dies zu tun).

Lesen Sie mehr ...Developing an Accessibility Service

Answer 2

Um in der Lage sein, von einer anderen App zu tun, die Sie benötigen um den Bildschirm zu erfassen und die Textposition mithilfe des Texterkennungsdienstes zu bestimmen.

Wenn eine andere Anwendung aktiv ist, sollte Ihre Anwendung aktiv sein, um den Bildschirm erfassen zu können. Sie können also nur den Android-Dienst verwenden, der immer im Hintergrund funktioniert.

jedoch ScreenShot für Ihre Aktivität zu erfassen Sie haben einen Blick auf Ihre activity benötigen, und eine, die nicht vorhanden ist in Ihrem service so müssen Sie eine TimerTask machen, die Ihre Tätigkeit zu jeder Stunde anrufen und Ihre activity es reagiert mit der aktuellen Ansicht angezeigt werden und Sie können den Screenshot davon abfangen.

Oder Wenn Sie dann einen Screenshot der aktuellen Geräte Bildschirm (jede Anwendung) nehmen wollen Sie Erlaubnis zu verankern haben, und lesen framebuffer für das, was Rohdaten aktuellen Bildschirm geben konvertiert es dann in Bitmap oder eine Bilddatei können Sie es in Ihrem Service tun.

Kurz, es kann für gerootete Telefone möglich sein. Andernfalls können Sie keinen Screenshot von anderen Apps erstellen, wenn Sie nicht gerootet sind. Erlaubt nur Screenshots Ihrer App zu erstellen.

Um den Bildschirm zu analysieren, ob es "Bereit" Text oder nicht gibt. Ihre Anwendung sollte gelebt/aktiviert werden, um den Bildschirm erfassen zu können.

Answer 3

Anstatt zu versuchen, Text zu lesen, benutze einen Broadcast-Empfänger und überprüfe bei jeder Sendung die Textansichtslänge, wenn sie eingestellt ist, starte eine App oder mache, was immer du willst.