403 Verboten mit Java aber nicht Webbrowser?

Question

Ich schreibe ein kleines Java-Programm, um die Anzahl der Ergebnisse für einen bestimmten Google-Suchbegriff zu erhalten. Aus irgendeinem Grund bekomme ich in Java eine 403 verboten, aber ich bekomme die richtigen Ergebnisse in Webbrowsern. Code:

import java.io.BufferedReader; 
import java.io.IOException; 
import java.io.InputStreamReader; 
import java.net.URL; 


public class DataGetter { 

    public static void main(String[] args) throws IOException { 
     getResultAmount("test"); 
    } 

    private static int getResultAmount(String query) throws IOException { 
     BufferedReader r = new BufferedReader(new InputStreamReader(new URL("https://www.google.com/search?q=" + query).openConnection() 
       .getInputStream())); 
     String line; 
     String src = ""; 
     while ((line = r.readLine()) != null) { 
      src += line; 
     } 
     System.out.println(src); 
     return 1; 
    } 

} 

Und der Fehler:

Exception in thread "main" java.io.IOException: Server returned HTTP response code: 403 for URL: https://www.google.com/search?q=test 
    at sun.net.www.protocol.http.HttpURLConnection.getInputStream(Unknown Source) 
    at sun.net.www.protocol.https.HttpsURLConnectionImpl.getInputStream(Unknown Source) 
    at DataGetter.getResultAmount(DataGetter.java:15) 
    at DataGetter.main(DataGetter.java:10) 

Warum ist es dies zu tun?

Answer 1

Sie müssen nur User-Agent-Header setzen, damit es funktioniert:

URLConnection connection = new URL("https://www.google.com/search?q=" + query).openConnection(); 
connection.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.95 Safari/537.11"); 
connection.connect(); 

BufferedReader r = new BufferedReader(new InputStreamReader(connection.getInputStream(), Charset.forName("UTF-8"))); 

StringBuilder sb = new StringBuilder(); 
String line; 
while ((line = r.readLine()) != null) { 
    sb.append(line); 
} 
System.out.println(sb.toString()); 

Die SSL transparent für Sie behandelt wurde, wie könnte aus Ihrer Ausnahme Stacktrace zu sehen.

Das Erhalten der Ergebnismenge ist nicht wirklich so einfach, danach müssen Sie fälschen, dass Sie ein Browser sind, indem Sie den Cookie holen und den Redirect-Token-Link analysieren.

String cookie = connection.getHeaderField("Set-Cookie").split(";")[0]; 
Pattern pattern = Pattern.compile("content=\\\"0;url=(.*?)\\\""); 
Matcher m = pattern.matcher(response); 
if(m.find()) { 
    String url = m.group(1); 
    connection = new URL(url).openConnection(); 
    connection.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.95 Safari/537.11"); 
    connection.setRequestProperty("Cookie", cookie); 
    connection.connect(); 
    r = new BufferedReader(new InputStreamReader(connection.getInputStream(), Charset.forName("UTF-8"))); 
    sb = new StringBuilder(); 
    while ((line = r.readLine()) != null) { 
     sb.append(line); 
    } 
    response = sb.toString(); 
    pattern = Pattern.compile("<div id=\"resultStats\">About ([0-9,]+) results</div>"); 
    m = pattern.matcher(response); 
    if(m.find()) { 
     long amount = Long.parseLong(m.group(1).replaceAll(",", "")); 
     return amount; 
    } 

} 

the full code Laufen ich 2930000000L als Ergebnis.

Answer 2

Wahrscheinlich setzen Sie nicht die richtigen Header. Verwenden Sie LiveHttpHeaders (oder gleichwertig) im Browser, um zu sehen, welche Header der Browser sendet, und emulieren Sie sie dann in Ihrem Code.

Answer 3

Es ist weil die Seite SSL verwendet. Versuchen Sie es mit dem Jersey HTTP Client. Sie werden wahrscheinlich auch etwas über HTTPS und die Zertifikate lernen müssen, aber ich denke, dass Jersey darauf setzen kann, die meisten Details bezüglich der tatsächlichen Sicherheit zu ignorieren.