Scrape Daten von clinicalTrials.gov

Question

Ich arbeite an einer kleinen Python-Funktion, um Daten von clinicalTrials.gov zu kratzen. Aus jeder Studienakte möchte ich die Bedingungen herausarbeiten, auf die die Studie abzielt. Zum Beispiel für this Studie Datensatz möchte ich folgendes:

conditions = ['Rhinoconjunctivitis', 'Rhinitis', 'Conjunctivitis'. 'Allergy'] 

jedoch in jeder Studie Datensatz gibt es eine unterschiedliche Anzahl von Bedingungen. Ich habe das folgende Skript geschrieben, das die Daten erhält:

page = requests.get('https://clinicaltrials.gov/ct2/show/study/NCT00550550') 
soup = BeautifulSoup(page.text, 'html.parser') 
studyDesign = soup.find_all(headers='studyInfoColData') 
condition = soup.find(attrs={'class':'data_table'}).find_all('span') 
for each in condition: 
    print(each.text.encode('utf-8').strip()) 

wie so:

b'Condition or disease' 
b'Intervention/treatment' 
b'Phase' 
b'Rhinoconjunctivitis' 
b'Rhinitis' 
b'Conjunctivitis' 
b'Allergy' 
b'Drug: Placebo' 
b'Biological: SCH 697243' 
b'Drug: Loratadine Syrup 1 mg/mL Rescue Treatment' 
b'Drug: Loratadine 10 mg Rescue Treatment' 
b'Drug: Olopatadine 0.1% Rescue Treatment' 
b'Drug: Mometasone furoate 50 mcg Rescue Treatment' 
b'Drug: Albuterol 108 mcg Rescue Treatment' 
b'Drug: Fluticasone 44 mcg Rescue Treatment' 
b'Drug: Prednisone 5 mg Rescue Treatment' 
b'Phase 3' 

Wie kann ich jetzt nur bekommen den Zustand ohne die Intervention/Behandlung Informationen?

Answer 1

können Sie verwenden nur die erste table mit Klasse data_table & Extrakt span Element in td:

import requests 
from bs4 import BeautifulSoup 

page = requests.get('https://clinicaltrials.gov/ct2/show/study/NCT00550550') 
soup = BeautifulSoup(page.text, 'html.parser') 
studyDesign = soup.find("table", {"class" : "data_table"}).find('td') 
conditions = [ t.text.strip() for t in studyDesign.find_all('span') ] 
print(conditions) 

die gibt:

[u'Rhinoconjunctivitis', u'Rhinitis', u'Conjunctivitis', u'Allergy'] 

Answer 2

Vielleicht wird dieser Code helfen.

import requests 
from bs4 import BeautifulSoup 

#url = "https://clinicaltrials.gov/ct2/show/NCT02656888" 
url = "https://clinicaltrials.gov/ct2/show/study/NCT00550550" 

page = requests.get(url) 
soup = BeautifulSoup(page.content, 'html.parser') 
table = soup.find_all("table", class_="data_table") 

tds = [tr.find_all("td") for tr in table] 
conditions = [condition for condition in (tds[0][0].get_text().split("\n")) if condition != ""] 

print(conditions)