Wie scrape ich eine Meteor Webapp?

Ich habe eine Meteor Webapp. (z.B. http://www.merafi.com). Ich möchte die Website mit Google Apps Script scrappen. Ich habe dafür ein kleines Skript geschrieben.Wie scrape ich eine Meteor Webapp?

function myFunction() { 
    const url = 'http://www.merafi.com'; 
    const response = UrlFetchApp.fetch(url, {muteHttpExceptions: true}); 
    return response.getContentText(); 
}

Das Skript wird in einem Google Spreadsheet als Makro verwendet.

Das Problem mit Scrapping einer Meteor Webapp ist, dass ich einen leeren Körper mit nur Skript-Tags innerhalb es bekommen. Wie bekomme ich den Inhalt in das Body-Tag?

Quelle

2016-09-25 vijayst

Sie benötigen einen Crawler, der JS wie phantomJS, nightmarejs oder Selenium – Rentrop

ausführt Leider habe ich das nicht in Google Apps Script. https://developers.google.com/apps-script/reference/url-fetch/ – vijayst

Nun, dann müssen Sie entweder etwas anderes als Google Apps Script verwenden, oder Sie haben eine Menge Arbeit vor dem Schreiben. – CodeChimp

Einige Crawler wie PhantomJS oder NightmareJS erforderlich, um den Meteor JS, nachdem die Seite geladen wird, ausgeführt werden. Leider erlaubt die Google Apps Script-Umgebung das Laden externer Abhängigkeiten/Pakete nicht. Die Apps Script API hat keine Methode, die eine Seite in einem separaten iframe/webview lädt. Dies ist mit Google Apps Script nicht möglich.

Dank @Floo und @CodeChimp für die Beantwortung der Frage in Kommentaren.

Quelle

2016-09-28 05:14:07 vijayst

Wie scrape ich eine Meteor Webapp?

Antwort

Verwandte Themen