検索エンジン用のrobots.txtを最適化する

WordPressスタートアップ

「robots.txt」は、検索エンジンのロボットにクロールする対象を指定するために記述します。

検索エンジンロボットのクロールを拒否したいページがある場合、robots.txtに記述しておけばロボットのクロールを制限することができます。

ということで、私も他のサイトを参考にしながら「robots.txt」を自分のサイト用に最適化してみました。

私が記述したrobots.txtの内容

「wp-admin」「wp-includes」は、検索エンジンにクロールされる必要がないので拒否設定にしました。

「?」付きのパラメーターや「php」「js」ファイルも拒否設定にしました。

「wp-content」⇒「uploads」には画像ファイルが入っているので許可設定にしました。

「http://○○○/sitemap.xml」の○○○は自分のサイトアドレスです。

    User-agent: *

    Disallow: /wp-includes

    Disallow: /wp-content/plugins

    Disallow: /wp-content/cache

    Disallow: /wp-content/themes

    Disallow: /trackback

    Disallow: /comments

    Disallow: */trackback

    Disallow: */comments

    Disallow: /*?*

    Disallow: /*?

    Disallow: /*.php$

    Disallow: /*.js$

    Allow: /wp-content/uploads

    Sitemap: http://●●●●/sitemap.xml

robots.txtの作成に役立つプラグイン

関連記事

コメントは利用できません。

ページ上部へ戻る