Mit htaccess richtig umleiten

Question

Ich arbeite mit robots.txt, sitemap.xml und .htaccess in meinem Projekt und ich bekomme Zugriff auf Fehler für meine sitemap.xml URLs, wenn ich sie in den Google Webmaster-Tools einreichen.

robots.txt

User-Agent: * 
Disallow: 

sitemap.xml

<url> 
    <loc>http://www.example.de/</loc> 
    <changefreq>daily</changefreq> 
</url> 
<url> 
    <loc>http://www.example.de/blog/article/</loc> 
    <changefreq>daily</changefreq> 
</url> 
<url> 
    <loc>http://www.exampe.de/blog/article/example-article</loc> 
    <changefreq>daily</changefreq> 
</url> 

.htaccess

RewriteRule ^(.*)blog/article/$ $1article.php 
RewriteRule ^(.*)blog/article/example-article$ $1blog/example-article.php 

Meine Ordnerstruktur:

├───blog 
│ └─── example-article.php 
├─── sitemap.xml 
├─── robots.txt 
├─── .htaccess 
├─── article.php 
├─── ... 

Google Webmaster-Tools sagen:

http://www.example.de/blog/article/ 
http://www.example.de/blog/article/example-article 

durch robots.txt blockiert werden, was aufgrund der Tatsache nicht möglich ist, habe ich alles kriechen gelassen.

Wo ist mein Fehler?

Answer 1

Verwendung: robots.txt

User-Agent: * 
Disallow: /only_folder_name_you_disallow/ 

Sie nicht auch Allow

verwenden können Hinweis, dass Globbing und reguläre Ausdrücke sind weder in der User-Agent oder Verbieten Linien unterstützt. Das '*' im Feld User-Agent ist ein spezieller Wert, der "beliebiger Roboter" bedeutet. Insbesondere können Sie keine Zeilen wie "User-Agent: Bot", "Disallow:/tmp/*" oder "Disallow: * .gif" haben. http://www.robotstxt.org/robotstxt.html