NodeJS + Request - Zugriff verweigert, wenn Sie Website anfragen

Ich versuche, den HTML-Code einer Website mit Anfrage anfordern, aber ich bekomme immer einen Zugriff verweigert Fehler. Wie komme ich daran vorbei? Hier ist der Code für die Funktion unter:NodeJS + Request - Zugriff verweigert, wenn Sie Website anfragen

const request = require('request'); 
function firstShoe() { 
     request('https://www.jdsports.co.uk/product/green-nike-vapormax/281735/', function (error, response, body) { 
      console.log('body:', body); 
     }); 
}

Fehler:

</BODY> 
</HTML> 

body: <HTML><HEAD> 
<TITLE>Access Denied</TITLE> 
</HEAD><BODY> 
<H1>Access Denied</H1> 

You don't have permission to access "http&#58;&#47;&#47;www&#46;jdsports&#46;co&#46;uk&#47;product&#47;green&#45;nike&#45;vapormax&#47;281735&#47;" on this server.<P> 
Reference&#32;&#35;18&#46;609d3e17&#46;1500116386&#46;15f0cb85 
</BODY> 
</HTML>

eine Lösung gefunden, indem der User-Agent in die Header übergeben.

function firstShoe() { 
     var options = { 
      headers: {'user-agent': 'node.js'} 
     } 
     request('https://www.jdsports.co.uk/product/green-nike-vapormax/281735/', options, function (error, response, body) { 
      console.log(body); 
      message.channel.send(body); 
     }); 
    }

Quelle

2017-07-15 hsel

funktioniert nicht fs.readFile für diese Art von Dingen? – yBrodsky

Wohin führen Sie diesen Code? Es scheint, als könnte eine Firewall oder ein Webfilter vorhanden sein. – gregnr

Sie haben möglicherweise einige CORS-Probleme auf dem Server. Installieren Sie dieses Paket. Installieren Sie dieses Paket https://github.com/expressjs/cors auf Ihrem Server. – user3862830

Sie erhalten eine 403 Forbidden weil diese Website alle Anforderungen blockiert nicht gemeinsame Benutzeragenten gesendet wurden (im Grunde überprüfen sie User-Agent Header). Es ist ein sehr einfacher Schutz, um Scrappers zu vermeiden.

Zum Beispiel, wenn Sie die folgenden cURL mit seinem Standard-User-Agenten senden, wird die Antwort perfekt erhalten:

curl -v 'https://www.jdsports.co.uk/product/green-nike-vapormax/281735/'

Dennoch, wenn Sie diesen Antrag wiederholen, um einen nicht vorhandenen User-Agenten Angabe, die Anfrage ist blockiert:

curl -v 'https://www.jdsports.co.uk/product/green-nike-vapormax/281735/' -H 'User-Agent: StackOverflow'

Quelle

2017-07-15 14:17:49

NodeJS + Request - Zugriff verweigert, wenn Sie Website anfragen

Antwort

Verwandte Themen