Python + Selenium erhalten Attribut der Elemente in der Liste effektiv

Question

Was ist der effizienteste Weg, um das gleiche Attribut mehrerer Elemente mit Python, Selen und PhantomJS zu erhalten? Meine Lösung verwendet find_elements_by_css_selector, die alle Elemente findet, die ich brauche, die weniger als eine Sekunde dauert, dann durchlaufe ich die Liste, um das Attribut zu erhalten, das ich benötige. Mein Looping dauert über eine Minute mit etwa 2500 Elementen, was mir sehr auffällt, wenn man alle Elemente mit der Methode find_elements_by_css_selector abbildet. Ist get_attribute Methode wirklich so teuer oder mache ich etwas falsch?

from selenium import webdriver 

driver = webdriver.PhantomJS(executable_path=r'mypath\phantomjs.exe') 
driver.set_window_size(1120, 550) 
driver.get("https://www.something.com") 

table = [] 
elements = driver.find_elements_by_css_selector("tr[id*='bet-']") # takes under 1 second 

for element in elements: 
    table.append(element.get_attribute('data-info')) # takes over 60 seconds (2000 elements) 

driver.close 

Answer 1

Das Problem ist, ist jeder .get_attribute() Selen Befehl ein JSON HTTP wire request und es ist natürlich, führt eine Menge Aufwand.

Es gibt keine direkte Möglichkeit, "Batch Get Attribut" für mehrere Elemente zu tun.

Das nächste, was Sie wahrscheinlich tun können, ist die Attribute über JavaScript zu erhalten, die Ausgabe execute_script(), die ein einzelner JSON HTTP-Befehl ist:

attributes = driver.execute_script(""" 
    var result = []; 
    var all = document.querySelectorAll("tr[id*='bet-']"); 
    for (var i=0, max=all.length; i < max; i++) { 
     result.push(all[i].getAttribute('data-info')); 
    } 
    return result; 
""") 

Ein Nachteil dieses Ansatzes ist, dass Element Attributabruflogik Dieser Fall basiert nicht auf webdriver API specification - dies kann möglicherweise zu inkonsistenten Ergebnissen führen, wenn Sie sowohl Selenium- als auch Js-basierte Ansätze in Ihrer Codebasis verfolgen.

Einige ähnlichen Themen:

• Quickly get class attribute of every WebElement with Selenium in Java
• How can Selenium batch many isElementDisplayed calls?