robots.txtで特定ページのみ登録させる方法は？

やま [E-Mail] 1999/09/02(木) 01:05:09
表題の通りなのですが、
robots.txtで特定のディレクトリ（ページ）の登録をさける方法は分かりました。
しかし、今設定したいのは、特定のページのみ登録を許可することです。
いろいろ、ＷＥＢを探したのですが、目的の方法を掲載しているページを発見でき
ませんでした。
この設定方法を掲載している（日本語の）ページをご存じではないでしょうか。
また、具体的な設定方法をご存じでしたら、教えていただけませんでしょうか。
よろしく願いいたします。

zizz... [HomePage] 1999/09/02(木) 20:32:35
実際に使った事がないので自信がありません。
英語ですが、
The Web Robots Pages http://info.webcrawler.com/mak/projects/robots/robots.html
にある
http://info.webcrawler.com/mak/projects/robots/norobots-rfc.html
というページが参考になるのではないでしょうか。

robots.txtの Allow: というのを使えばいいのでは。

B-Cus 1999/09/03(金) 07:01:19
> http://info.webcrawler.com/mak/projects/robots/norobots-rfc.html
これ、Draftですよね。巷のロボット君はAllowを認識するのかしら?

zizz... [HomePage] 1999/09/03(金) 19:58:06
確かにDraftになっています。
1996年という文字が見えますが。それ以後どうなったのかよくわかりません。

http://info.webcrawler.com/mak/projects/robots/exclusion-admin.html
にはDisallowしか書いていませんし。
Allowが認識されるかは疑わしいですね。

やま 1999/09/04(土) 02:08:59
はじめの投稿をしてからもいろいろ探していますが、やはり最後は
英語のページに行ってしまい、よく分からずで終わってしまいます。
Allowも怪しいみたいですね。
また、良い方法がありましたら、引き続きお願いします。
お答えくださった方、ありがとうございます。

[上に] [前に] [次に]