サイトマップ抽出ツール【サイト内の全ページ抽出/URL一覧確認】

サイトマップ抽出ツールは、SEO担当者・WEBメディア運用担当者・サイト改善担当者向けに開発した無料ツールです。

URLを入力するだけで、robots.txtやXMLサイトマップを確認し、そのサイト内に存在するページURLを一覧で抽出できます。

確認できる項目は、以下の通りです。

• 合計ページ数
• 確認できたXMLサイトマップ
• サイト内URL一覧
• ページタイトル
• 最終更新日
• noindexの有無

想定場面としては、「このサイトに何ページあるか知りたい」「サイトマップに登録されているURLを一覧化したい」「ディレクトリごとのページ数を把握したい」「SEO改善前にサイト全体のページ構成を確認したい」といった場面で活用いただけます。

サイトマップ抽出ツール確認ツール

URLを入力すると、robots.txtとXMLサイトマップを優先して、同一サイト内のURLを抽出します。

サイトマップ抽出ツールの補足

• 本ツールは、robots.txtに記載されているSitemap情報や、一般的なXMLサイトマップURLを確認し、同一サイト内のURLを抽出します。
• XMLサイトマップが見つからない場合は、同一ドメイン内のリンクを軽くクロールして補完します。
• ただし、どこからもリンクされていない孤立ページ、ログイン後にしか見られないページ、JavaScript実行後にだけ表示されるリンク、サイトマップにも内部リンクにも存在しないページは抽出できません。
• また、ページタイトルはXMLサイトマップに含まれていないことが多いため、ツール側で各ページを追加取得して補完しています。大規模サイトでは、取得上限により一部ページタイトルが未取得になる場合があります。

各キーワードに関する補足

XMLサイトマップ

XMLサイトマップは、検索エンジンに対して「このサイトにはこのようなページがあります」と伝えるためのファイルです。

WordPressでは、標準機能やSEOプラグインによって自動生成されることが多く、代表的なURLとして sitemap.xml や wp-sitemap.xml などがあります。

SEOにおいては、重要なページがXMLサイトマップに含まれているか、不要なページが混ざっていないかを確認することが大切です。

robots.txt

robots.txtは、検索エンジンのクローラーに対してクロール方針を伝えるためのファイルです。

robots.txt内には、XMLサイトマップの場所を示す Sitemap: の記述が含まれている場合があります。本ツールでは、まずrobots.txtを確認し、記載されているサイトマップURLを優先的に取得します。

sitemapindex

sitemapindexは、複数のXMLサイトマップをまとめるための親サイトマップです。

記事数が多いサイトでは、投稿ページ、固定ページ、カテゴリーページ、著者ページなどでサイトマップが分割されていることがあります。本ツールでは、sitemapindex内の子サイトマップも確認し、URLを抽出します。

本ツールがもしお役に立ちましたら、他のWEB担当者さんにSNSやブログでご共有いただけますと幸いです。

※不具合がある場合、お問い合わせよりご連絡いただけると大変嬉しく存じます。