Aktualisieren Tabelle Zeile mit Sqlalchemy in Scrapy

Question

Ich arbeite mit Scrapy und Sqlalchemy. In meiner Spinne aus einer Tabelle Ich bin der Auswahl und Erstellung von Anfragen mit:

def start_requests(self): 

    db_path = "sqlite:///"+settings.SETTINGS_PATH+"\\data.db" 
    source_table= self.table 

    engine = create_engine(db_path) 
    Base = declarative_base() 
    # metadata = Base.metadata 
    # Look up the existing tables from database 
    Base.metadata.reflect(engine) 

    # Create class that maps via ORM to the database table 
    table = type(source_table, (Base,), {'__tablename__': source_table}) 

    Session = sessionmaker(bind=engine) 
    session = Session() 
    i = 0 

for row in session.query(table).filter(table.url.contains('http')).limit(3): 

    i += 1 
    print(row.url) 
    yield Request(url=row.url, headers= headers, callback=self.get_PDF,meta={'session': session,'row': row, 'cookiejar': i },dont_filter = True) 

Wie Sie bin ich vorbei eine sqlalchemy Zeilenobjekt mit jedem scrapy Anfrage sehen können. Jedes Zeilenobjekt enthält leere Felder, die ich von der Scrapy-Antwort aktualisiere.

Jetzt möchte ich das Zeilenobjekt aktualisieren, damit seine Änderungen in der Datenbank gespeichert werden. Wenn ich das Sitzungsobjekt übergeben würde, könnte ich session.commit() ausführen. Was ist der beste Weg, dies mit einem row_object zu tun? Muss ich das Sitzungsobjekt übergeben?

edit: Ich habe meine Spinne passieren das Sitzungsobjekt geändert:

def get_PDF(self, response): 

    row = response.meta['row'] 
    session = response.meta['session'] 

    row =process_output(o, row) 
    session.add(row) 
    session.commit() 

Answer 1

würde ich die beste Art und Weise sagen, immer Datenbank und „externe“ Speicher behandeln würde mit einem Pipeline sein, da es sich um ein Möglichkeit, die Logik des Codes zu trennen. Die Pipeline verarbeitet nur Objekte, die von der Spinne zurückgegeben werden, sodass Sie sich keine Gedanken über Anfragen oder etwas im Spider-Code machen müssen.

Auch eine Pipeline erstellt ein Objekt, das dem Crawler zugeordnet ist, und es wird nur einmal instanziiert, was für diese Situation sehr hilfreich sein kann.

Wenn Sie Elemente anders behandeln müssen, könnten Sie immer eine eindeutige Kennung an jedes Element senden, damit die Pipeline weiß, wie mit jedem Element verfahren wird.

EDIT: für die Erstellung der Session Objekt innerhalb der Spinne, und es in der Pipeline Wiederverwendung, können Sie etwas tun:

Spider:

def start_requests(self): 
    self.session = Session() 

Pipeline

def process_item(self, item, spider): 
    ... 
    spider.session.commit() 

Das spider ist die "eindeutige" Spider-Instanz des gesamten Crawlers, also können Sie dort seine Attribute verwenden.