Capture AJAX Antwort mit Selen und Python

Question

Ich klicke auf einen Link in Firefox, die Webseite sendet eine Anfrage mit Javascript, dann sendet der Server eine Art von Antwort, die eine Website-Adresse enthält. Also öffnet sich diese neue Webseite in einem neuen Fenster. Der HTML-Code hinter dem Link ist (ich habe weggelassen Anfangs- und Abschluss <span> Tag):

> class="taLnk hvrIE6" 
> onclick="ta.trackEventOnPage('AttractionContactInfo', 'Website', 
> 2316062, 1); ta.util.cookie.setPIDCookie(15190); 
> ta.call('ta.util.link.targetBlank', event, this, 
> {'aHref':'LqMWJQiMnYQQoqnQQxGEcQQoqnQQWJQzZYUWJQpEcYGII26XombQQoqnQQQQoqnqgoqnQQQQoqnQQQQoqnQQQQoqnqgoqnQQQQoqnQQuuuQQoqnQQQQoqnxioqnQQQQoqnQQJMsVCIpEVMSsVEtHJcSQQoqnQQQQoqnxioqnQQQQoqnQQniaQQoqnQQQQoqnqgoqnQQQQoqnQQWJQzhYmkXHJUokUHnmKTnJXB', 
> 'isAsdf':true})">Website 

ich die Antwort des Servers erfassen möchten und extrahieren Sie die "neue Website mit Python und Selen. Ich habe BeautifulSoup zum Scraping benutzt und bin ziemlich neu in Selenium.

Bis jetzt kann ich dieses Element finden und klicken Sie es mit Selen, die die "neue Website" in einem neuen Fenster öffnet. Ich weiß nicht, wie ich die Antwort vom Server erfassen soll.

Answer 1

Ich konnte nicht auf AJAX-Antwort mit Selen zu erfassen, aber hier ist, was funktioniert, wenn auch ohne Selen:

1- die XML-Anforderung finden Sie, indem Sie die Netzwerkanalysetools in Ihrem Browser Überwachung

2 = Sobald Sie die Anfrage identifiziert haben, regenerieren Sie sie mit den Anfragen von Python oder den Modulen von urllib2. Ich persönlich empfehle Anfragen wegen seiner zusätzlichen Funktionen, am wichtigsten war für mich Anfragen.

Sie können viel Hilfe und relevante Beiträge zu diesen beiden Schritten finden.

Ich hoffe, es wird jemandem irgendwann helfen.

Answer 2

Ich habe einmal einige Ajax-Aufrufe abgefangen, die Javascript auf der Seite mit Selen injizieren. Die schlechte Seite der Geschichte ist, dass Selen manchmal "fragil" sein könnte. Aus keinem Grund bekam ich während dieser Injektion Selen-Ausnahmen.

Wie auch immer, meine Idee war, die XHR-Aufrufe abzufangen und ihre Antwort auf ein neues dom-Element zu setzen, das ich selbst aus Selen manipulieren konnte. In der Bedingung für das Abhören können Sie auch die URL verwenden, die die Anfrage gemacht, um nur die eine abfangen, die Sie tatsächlich wollen (self._url)

btw, hatte ich die Idee von intercept all ajax calls?

Vielleicht hilft.

browser.execute_script(""" 
(function(XHR) { 
    "use strict"; 

    var element = document.createElement('div'); 
    element.id = "interceptedResponse"; 
    element.appendChild(document.createTextNode("")); 
    document.body.appendChild(element); 

    var open = XHR.prototype.open; 
    var send = XHR.prototype.send; 

    XHR.prototype.open = function(method, url, async, user, pass) { 
    this._url = url; // want to track the url requested 
    open.call(this, method, url, async, user, pass); 
    }; 

    XHR.prototype.send = function(data) { 
    var self = this; 
    var oldOnReadyStateChange; 
    var url = this._url; 

    function onReadyStateChange() { 
     if(self.status === 200 && self.readyState == 4 /* complete */) { 
     document.getElementById("interceptedResponse").innerHTML += 
      '{"data":' + self.responseText + '}*****'; 
     } 
     if(oldOnReadyStateChange) { 
     oldOnReadyStateChange(); 
     } 
    } 

    if(this.addEventListener) { 
     this.addEventListener("readystatechange", onReadyStateChange, 
     false); 
    } else { 
     oldOnReadyStateChange = this.onreadystatechange; 
     this.onreadystatechange = onReadyStateChange; 
    } 
    send.call(this, data); 
    } 
})(XMLHttpRequest); 
""")