geheimnisvolle Schienen Fehler mit fast keine Spur

Question

Wir haben ein seltsames Problem mit einem Crawler. Gelegentlich wird es einen Rails FATAL Fehler auf einige Anfrage werfen, aber die Spur ist sehr begrenzt und sieht so etwas wie dieses

[2014-07-01 18:16:37] FATAL Rails : 
ArgumentError (invalid %-encoding (c^ FK+ 9u$_ t Kl 
ΥE! =k \ ̕* ߚ>c+<O یo ʘ> C  R! 2 D (5  x q#!` 4 p  |8 I E 
:+ H^9`^ # Vo{ > 

    =[z )): 
    lib/locale_middleware.rb:14:in `call' 

Der Crawler User-Agent

Mozilla/5.0 (compatible; EasouSpider; +http://www.easou.com/search/spider.html)

ist Wir können sie bitten, zu stoppen Crawlen uns über robots.txt, aber es wäre besser, mit der Grundursache zu beschäftigen und nicht mit 500 auf diese Anfragen scheitern, wenn möglich.

Wir können diese Art von Anfrage auch nicht wirklich reproduzieren, daher wären Vorschläge, wie man eine ähnliche Anfrage generiert, eine große Hilfe.

Wir verwenden Rails 3.2.19, Unicorn auf Ubuntu 12.04. Hier ist unser locale_middleware.rb

Answer 1

Besonderer Dank an Benjamin Sinclaire für den Hinweis auf die right issue on github.

Die Lösung wurde on this comment beschrieben:

• Installieren Sie das rack-robustness gem
• fügen Sie diese application.rb:

config.middleware.use ::Rack::Robustness do |g| 
    g.no_catch_all 
    g.on(ArgumentError) { |ex| 400 } 
    g.content_type 'text/plain' 
    g.body{ |ex| ex.message } 
    g.ensure(true) { |ex| env['rack.errors'].write(ex.message) } 
end