用語集 Glossary
カテゴリ: SEO

robots.txt

robots.txtとは、検索エンジンのクローラーに対してアクセスの許可・制御を指示するファイルのこと。検索結果に表示させる必要がない、あるいは表示させたくないコンテンツに対してクローラーの巡回を拒否する指示を出すことができる。これにより、無駄なクロールを制御できるため、クローラーがWebサイト内の重要なページを効率よく巡回できるようになる。

ただし、すべてのクローラーがrobots.txtの記述通りに実行するわけではなく、アクセス制限をしても無視される場合がある。絶対に検索結果に表示させたくないページは、そもそもクローラーが巡回できない状態にする必要がある。

関連用語

この記事をSNSで
共有しませんか?
このエントリーをはてなブックマークに追加

アイレップをもっと詳しく知る

アイレップは、最新のデジタル技術と高度なマーケティング戦略を駆使し、クライアントビジネスにおける具体的なゴールを達成するパフォーマンス型のデジタルマーケティングエージェンシーです。この記事を見てアイレップに興味を持った方は、以下のコンテンツでより詳しく私たちについてご覧いただけます。