Scraping Javascript Website

Question

Ich bin in der Lage, Daten von grundlegenden HTML-Seiten zu kratzen, aber ich habe Probleme beim Abkratzen der Website unten. Es sieht so aus, als ob die Daten über Javascript präsentiert werden, und ich bin mir nicht sicher, wie ich dieses Problem angehen soll. Ich würde es vorziehen, wenn möglich R zu verwenden, könnte aber auch Python verwenden.

Irgendwelche Ideen/Vorschläge?

Edit: Ich muss das Jahr/Hersteller/Modell, die S/N, den Preis, den Standort und die kurze Beschreibung (beginnt mit "Auktion:") für jeden Eintrag.

http://www.machinerytrader.com/list/list.aspx?bcatid=4&DidSearch=1&EID=1&LP=MAT&ETID=5&catid=1015&mdlx=Contains&Cond=All&SO=26&btnSearch=Search&units=imperial

Answer 1

library(XML) 
library(relenium) 

##downloading website 
website<- firefoxClass$new() 
website$get("http://www.machinerytrader.com/list/list.aspx?pg=1&bcatid=4&DidSearch=1&EID=1&LP=MAT&ETID=5&catid=1015&mdlx=Contains&Cond=All&SO=26&btnSearch=Search&units=imperial") 
doc <- htmlParse(website$getPageSource()) 

##reading tables and binding the information 
tables <- readHTMLTable(doc, stringsAsFactors=FALSE) 
data<-do.call("rbind", tables[seq(from=8, to=56, by=2)]) 
data<-cbind(data, sapply(lapply(tables[seq(from=9, to=57, by=2)], '[[', i=2), '[', 1)) 
rownames(data)<-NULL 
names(data) <- c("year.man.model", "s.n", "price", "location", "auction") 

Dies wird Ihnen, was Sie für die erste Seite wollen (nur die ersten beiden Zeilen hier zeigt):

head(data,2) 
     year.man.model  s.n  price location            auction 
1 1972 AMERICAN 5530 GS14745W US $50,100  MI     Auction: 1/9/2013; 4,796 Hours; .. 
2 AUSTIN-WESTERN 307  307 US $3,400  MT Auction: 12/18/2013; AUSTIN-WESTERN track excavator. 

sie zu allen Seiten, nur eine Schleife über, Einfügen der pg=i in die Adresse.

Answer 2

Mit Relenium:

require(relenium) # More info: https://github.com/LluisRamon/relenium 
require(XML) 
firefox <- firefoxClass$new() # init browser 
res <- NULL 
pages <- 1:2 
for (page in pages) { 
    url <- sprintf("http://www.machinerytrader.com/list/list.aspx?pg=%d&bcatid=4&DidSearch=1&EID=1&LP=MAT&ETID=5&catid=1015&mdlx=Contains&Cond=All&SO=26&btnSearch=Search&units=imperial", page) 
    firefox$get(url) 
    doc <- htmlParse(firefox$getPageSource()) 
    res <- rbind(res, 
       cbind(year_manu_model = xpathSApply(doc, '//table[substring(@id, string-length(@id)-15) = "tblListingHeader"]/tbody/tr/td[1]', xmlValue), 
        sn = xpathSApply(doc, '//table[substring(@id, string-length(@id)-15) = "tblListingHeader"]/tbody/tr/td[2]', xmlValue), 
        price = xpathSApply(doc, '//table[substring(@id, string-length(@id)-15) = "tblListingHeader"]/tbody/tr/td[3]', xmlValue), 
        loc = xpathSApply(doc, '//table[substring(@id, string-length(@id)-15) = "tblListingHeader"]/tbody/tr/td[4]', xmlValue), 
        auc = xpathSApply(doc, '//table[substring(@id, string-length(@id)-9) = "tblContent"]/tbody/tr/td[2]', xmlValue)) 
) 
} 
sapply(as.data.frame(res), substr, 0, 30)       
#  year_manu_model     sn    price   loc auc        
# [1,] " 1972 AMERICAN 5530"   "GS14745W"  "US $50,100" "MI " "\n\t\t\t\t\tAuction: 1/9/2013; 4,796" 
# [2,] " AUSTIN-WESTERN 307"   "307"   "US $3,400" "MT " "\n\t\t\t\t\tDetails & Photo(s)Video(" 
# ...