Wie man Element Inhalt mit Nokogiri mit SAX

Question

greifen Ich möchte ein paar tausend XML-Dateien von einer Website analysieren (ich habe die Erlaubnis) und müssen SAX verwenden, um zu vermeiden, die Datei im Speicher zu laden. Dann speichern Sie sie in einer CSV-Datei.

Die XML-Dateien wie folgt aussieht:

<?xml version="1.0" encoding="UTF-8"?><educationInfo xmlns="http://skolverket.se/education/info/1.2" xmlns:ct="http://skolverket.se/education/commontypes/1.2" xmlns:nya="http://vhs.se/NyA-emil-extensions" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" expires="2013-08-01" id="info.uh.su.HIA80D" lastEdited="2011-10-13T10:10:05" xsi:schemaLocation="http://skolverket.se/education/info/1.2 educationinfo.xsd"> 
    <titles> 
    <title xml:lang="sv">Arkivvetenskap</title> 
    <title xml:lang="en">Archival science</title> 
    </titles> 
    <identifier>HIA80D</identifier> 
    <educationLevelDetails> 
    <typeOfLevel>uoh</typeOfLevel> 
    <typeOfResponsibleBody>statlig</typeOfResponsibleBody> 
    <academic> 
     <course> 
     <type>avancerad</type> 
     </course> 
    </academic> 
    </educationLevelDetails> 
    <credits> 
    <exact>60</exact> 
    </credits> 
    <degrees> 
    <degree>Ingen examen</degree> 
    </degrees> 
    <prerequisites> 
    <academic>uh</academic> 
    </prerequisites> 
    <subjects> 
    <subject> 
     <code source="vhs">10.300</code> 
    </subject> 
    </subjects> 
    <descriptions> 
    <ct:description xml:lang="sv"> 
     <ct:text>Arkivvetenskap rör villkoren för befintliga arkiv och modern arkivbildning med fokus på arkivarieyrkets arbetsuppgifter: bevara, tillgängliggöra och styra information. Under ett år behandlas bl a informations- och dokumenthantering, arkivredovisning, gallring, lagstiftning och arkivteori. I kursen ingår praktik, där man under handledning får arbeta med olika arkivarieuppgifter.</ct:text> 
    </ct:description> 
    </descriptions> 
</educationInfo> 

ich diese Code-Vorlage zu verwenden, meine Kommentare für Fragen prüfen:

class InfoData < Nokogiri::XML::SAX::Document 

    def initialize 
    # do one-time setup here, called as part of Class.new 
    # But what should I use hashes or arrays? 
    end 

    def start_element(name, attributes = []) 
    # check the element name here and create an active record object if appropriate 
    # How do I grab specific element like: ct:text ? 
    # how do I grab root-element? 
    end 

    def characters(s) 
    # save the characters that appear here and possibly use them in the current tag object 
    end 

    def end_element(name) 
    # check the tag name and possibly use the characters you've collected 
    # and save your activerecord object now 
    end 

end 

parser = Nokogiri::XML::SAX::Parser.new(InfoData.new) 

# How do I parse every xml-link? 
parser.parse_file('') 

ich diese Methode schrieb die Links zu packen, aber don‘ t wissen, in der Klasse, wo es zu benutzen, oder wenn ich es dort verwenden soll:

@items = Set.new 
def get_links(url) 
    doc = Nokogiri::HTML(open(url)) 
    doc.xpath('//a/@href').each do |url| 
    item = {} 
    item[:url] = url.content 
    items << item 
end 

Answer 1

require 'nokogiri' 

class LinkGrabber < Nokogiri::XML::SAX::Document 
    def start_element(name, attrs = []) 
    if name == 'a' 
     puts Hash[attrs]['href'] 
    end 
    end 
end 

parser = Nokogiri::XML::SAX::Parser.new(LinkGrabber.new) 
parser.parse(File.read(ARGV[0], 'rb')) 

Jetzt können Sie diese in einer Pipeline verwenden:

find . -name "*.xml" -print0 | xargs -P 20 -0 -L 1 ruby parse.rb > links 

Aber das tut Start Rubin jedes Mal. Sie sollten also jruby verwenden (was sowieso schneller ist) und threach.

Answer 2

vielleicht kann diese Arbeit:

require 'open-uri' 

    def get_links(url) 

      doc = Nokogiri::HTML(open(url)) 

      doc.xpath('//a/@href').each do |href| 

      parser.parse_io(open(href)) 

      end 

    end