Python: Passende Strings aus einem Array mit Substrings aus Texten in einem anderen Array

Question

Derzeit crawle ich eine Webseite für Zeitungsartikel mit Pythons BeautifulSoup Library. Diese Artikel sind im Objekt "Details" gespeichert.

Dann habe ich ein paar Namen von verschiedenen Straßen, die im Objekt "Linien" gespeichert sind. Jetzt möchte ich die Artikel nach den Straßennamen durchsuchen, die in "Zeilen" enthalten sind.

Wenn einer der Straßennamen Teil eines der Artikel ist, möchte ich den Namen der Straße in einem Array sichern.

Wenn für einen Artikel keine Übereinstimmung gefunden wird (der ausgewählte Artikel enthält keine der Straßennamen), sollte ein leeres Element im Array vorhanden sein.

Nehmen wir zum Beispiel an, das Objekt "Linien" würde aus ("Abbey Road", "St. John's Bridge", "West Lane", "Sunpoint", "East End") bestehen.

Das Objekt "Details" besteht aus 4 Artikeln, von denen 2 "Abbey Road" und "West Lane" enthalten (z. B. in "Autounfall auf Abbey Road, drei Menschen verletzt"). Die anderen 2 Artikel enthalten keine Namen von "Zeilen".

Dann, nachdem das Ergebnis passende sollte ein Array wie folgt sein: [] [ „Abbey Road“] [] [ „West Lane“]

ich auch Vektorisierung für diesen Einsatz wurde gesagt, als meine ursprüngliche Datenmuster ist ziemlich groß. Ich bin jedoch nicht vertraut mit der Verwendung der Vektorisierung für String-Operationen. Hat schon jemand damit gearbeitet?

Mein Code sieht derzeit wie folgt aus, aber dies nur gibt „-1“ als Elemente meiner resultierende Array:

from bs4 import BeautifulSoup 
import requests 
import io 
import re 
import string 
import numpy as np 


my_list = [] 
for y in range (0, 2): 
    y *= 27 
    i = str(y) 
    my_list.append('http://www.presseportal.de/blaulicht/suche.htx?q=' + 'einbruch' + '&start=' + i) 



for link in my_list: 
    # print (link) 
    r = requests.get(link) 
    r.encoding = 'utf-8' 
    soup = BeautifulSoup(r.content, 'html.parser') 



with open('a4.txt', encoding='utf8') as f: 
     lines = f.readlines() 
     lines = [w.replace('\n', '') for w in lines]  


     details = soup.find_all(class_='news-bodycopy') 
     for class_element in details: 
      details = class_element.get_text() 

     sdetails = ''.join(details) 
     slines = ''.join(lines) 
     i = str.find(sdetails, slines[1 : 38506]) 
     print(i)     

Wenn jemand mein Experiment reproduzieren will, ist die Website-URL im Code oben und das Crawlen und Speichern von Artikeln im Objekt "Details" funktioniert einwandfrei, so dass der Code einfach kopiert werden kann. für Hinweise https://www.dropbox.com/s/o0cjk1o2ej8nogq/a4.txt?dl=0

Vielen Dank, wie ich diese Arbeit machen kann, vorzugsweise über Vektorisierung:

Die .txt-Datei für meine ursprünglichen Daten für das Objekt „Linien“ kann in diesem Dropbox-Ordner zugegriffen werden .

Answer 1

Man könnte so etwas wie dies versuchen:

my_list = [] 
for y in range (0, 2): 
    i = str(y) 
    my_list.append('http://www.presseportal.de/blaulicht/suche.htx?q=einbruch&start=' + i) 

for link in my_list: 
    r = requests.get(link) 
    soup = BeautifulSoup(r.content.decode('utf-8','ignore'), 'html.parser') 

details = soup.find_all(class_='news-bodycopy') 
f = open('a4.txt') 
lines = [line.rstrip('\r\n') for line in f] 

result = [] 
for i in range(len(details)): 
    found_in_line = 0 
    for j in range(len(lines)): 
     try: 
      if details[i].get_text().index(lines[j].decode('utf-8','ignore')) is not None: 
       result.append(lines[j]) 
       found_in_line = found_in_line + 1 
     except: 
      if (j == len(lines)-1) and (found_in_line == 0): 
       result.append(" ") 
print result