deepie
1999/05/27(木) 02:40:02
大文字小文字は恐らく(笑)関係ないでしょう。
トップページ（検索を許可するページ）に
<META NAME="robots" CONTENT="index,nofollow">
その他（許可しないページ）に
<META NAME="robots" CONTENT="noindex,nofollow">
をそれぞれHEADに埋め込むのが簡単ですね。
METAタグ以外に、ルートディレクトリにrobots.txtを設置する方法もありますが、
そんな権限は普通ないし(笑)
.htaccessファイルでボットIPをアクセス拒否するのっていいですネ(笑)
<A HREF="
http://www.juraihelm.com/NNR/">ここ</A>に行ってみるとよくわかるかな。
では。
匿名Ａ＠仕事中
1999/05/27(木) 09:42:27
長文失礼
＃ 言葉使いが悪ぃのも失礼。
基本的には下みたいにNAMEもCONTENTも大文字。
<META NAME="ROBOTS" CONTENT="NOFOLLOW">
これはRFCでは大文字で表記されているからで、小文字で
書くと「これはRFCにないから見る必要なし」と曲解される
可能性有り。
＃ 悪質
CONTENTの"NOFOLLOW,NOINDEX"は"NONE"とも表記
されるわな。だから両方書いて置く方が吉だ。
<META NAME="ROBOTS" CONTENT="NOFOLLOW,NOINDEX">
<META NAME="ROBOTS" CONTENT="NONE">
とまあこんな具合じゃ。
上の方での誰かが書いてるが、見ても守らないロボットは
結構いるようだ。特にNOFOLLOWが怪しい。
＃ 俺の所も某「E*****」のロボットにつまみ食いされた。
ROBOTS.TXTによる規制は基本的にサーバ管理者用だが、
個人ディレクトリにあるROBOTS.TXTを読んでくれるロボット
もいるらしいから駄目もとで置いとけば気休めにはなるぞ。
これも確かRFC原文では大文字だったな。
ま、大したサイズじゃないから大文字小文字両方置いとけ。
あと時々、「ROBOTS.TXT」でなく「ROBOT.TXT」を読む変な
＃ っつーかきちんとRFC読んでない。
ロボットもいる、両方置いとけ。
で、こっちもMETAと同じで「読んでも守らない」ロボットもいる。
というわけで、
結局「こちらからお願いする」パターンは気休めにしかなって
ないのが現状だね。
IPとagentではじくのが一番確実じゃないかね？
＃ 既に登録されてるのをどうするかという問題は残るが。
もしくは、もってかれても気にしないページを作れば気に
ならない。これが精神衛生上一番じゃないか？
おまけ、ROBOTS.TXTの例（中身）
例えば自分の城を
http://www.foo.bar.jp/hoge/として、
FTPでつないだ時のルートに転がすとしておくと、
BEGIN-------------
User-Agent: *
Disallow: /hoge/hogege/
Disallow: /hoge/temp/aho.htm
END---------------
User-Agent:には規制するロボットの名称を。「*」だと「全て」
Disallow:には見て欲しくないディレクトリを書くのだ。
上はhoge/hogege/以下のディレクトリを規制。
下は特定のファイル（aho.htm）のみ規制。
ところでラウンジの検索は使ったかい？
＃ 同じ題材は過去にも結構あるぞ。