Web Scraper Verwenden von Django (Python für das Web)

Question

Es war ein Monat oder so, yeah?

Ich habe das Suchen im Internet für Web mit Python Schaben und ich habe BeautifulSoup und viele andere Kratzwerkzeugen wie Scrapy, Schaber usw.

Alle von ihnen sind gleich gefunden ... ein kleine Unterschiede könnte es sein ..

die meisten Tutorials, die ich sehen oder lesen, sind die gleichen ...

okay, was ich versuche, hier ist folgendes zu tun:

Mit Ausnahme von die URL setzen, die ich kratzen in den Code will ... Ich möchte den Benutzer zur Eingabe der URL und dann werden die Schaber schabt die URL, die der Benutzer in dem HTML-Feld eingefügt hat

Alle Tutorials haben den Code wie folgt :

url = (http://......) 

Nein ... ich will es wie das irgendwie:

url = (USER INPUT) 

Beispiel Video: Link scraper
Es ist komisch, wie er das in seinen Tutorials nicht wirklich gemacht hat ... ich denke?

aber ja, das ist, was ich versuche zu tun, wenn Sie ein Tutorial oder eine Dokumentation dazu haben, bitte bitte helfen Sie mir !!

Vielen Dank!

Answer 1

Ihrer Ansicht

import requests 
from bs4 import BeautifulSoup 

erstellen Sie ein Formular aus, wo der Benutzer die URL Post für

in der spezifischen Ansicht Funktion

url = form.cleaned_data.get['name of the input field'] 
data = requests.get(url) 

Verschrottung und dann tun, was Sie brauchen, um tun Sie mit Ihren verschrotteten Daten

Answer 2

Wenn Sie django verwenden, richten Sie ein Formular mit einem Texteingabefeld für die URL auf Ihrer HTML-Seite ein. Bei der Übermittlung erscheint diese URL in den POST-Variablen, wenn Sie sie korrekt eingerichtet haben. Dann nehmen Sie in Ihrem Backend, wo Sie die URL behandeln, die POST war, die Eingabe-URL des Benutzers. siehe https://tutorial.djangogirls.org/en/django_forms/, wenn Sie nicht wissen, wie Sie ein Formular einrichten.