検索エンジンにかからないようにするには？

[上に] [前に] [次に]
ムニムニ 1999/05/25(火) 13:14:28
gooやinfoseekで検索時に、
キーワードなどが該当しても
検索結果として表示されないようにはできますか？
各ページに同じ文字が入っているため、
全頁が検索されてしまいます。
トップページのみ検索され、
他の頁は検索されないようにするにはどうすればいいですか？
よろしくお願いします。
miyu 1999/05/25(火) 17:11:38
<HEAD>タグで囲まれる個所に
トップページ以外のページには，
<META NAME="ROBOTS" CONTENT="noindex,nofollow">
トップページには，
<META NAME="ROBOTS" CONTENT="nofollow">
のように書きます．
noindex = このページが検索に引っかかっても検索結果に表示しない
nofollow = このページからリンクを貼られているページを検索しない
というような意味だったと思いますが，違っていたらごめんなさい．

gooやinfoseekは比較的ここの設定を見てくれるのですが，
たまに無視して検索していくロボットもいるので(ロボット規約に違反していると思うのだが．．．)，そういうお行儀悪いロボットには，
.htaccessが設定できるのであれば，アクセス制限で対抗しなければ
ならないと思います．

みずか [E-Mail] [HomePage] 1999/05/26(水) 22:54:18
一発太郎でサーチエンジンに登録したのであれば、
こちらを利用するのも良いかもしれません。
http://ippatsu.net/ROBO/
雨降り 1999/05/26(水) 23:55:40
gooのヘルプページに従って
<META NAME="ROBOTS" CONTENT="NOFOLLOW">
を入れているのに，そのページからリンクしている殆ど全部の
テキストファイルが検索されてしまう・・・．
物が物だから
<META NAME="ROBOTS" CONTENT="NOINDEX">
の指定が出来ないし．（*.txtのテキストファイルだから）
大文字・小文字は無関係ですよね．

#メール送信フォームから意見を送っているのに返事も無いし．
#登録してくれないYahoo!といい，言ってる事とやってる事が
#違うgooといい，こちらからのアクションに何らかの反応がある
#他の検索登録サイトと偉い違い・・・
deepie 1999/05/27(木) 02:40:02
大文字小文字は恐らく(笑)関係ないでしょう。
トップページ（検索を許可するページ）に
&lt;META NAME=&quot;robots&quot; CONTENT=&quot;index,nofollow&quot;&gt;
その他（許可しないページ）に
&lt;META NAME=&quot;robots&quot; CONTENT=&quot;noindex,nofollow&quot;&gt;
をそれぞれHEADに埋め込むのが簡単ですね。
METAタグ以外に、ルートディレクトリにrobots.txtを設置する方法もありますが、
そんな権限は普通ないし(笑)
.htaccessファイルでボットIPをアクセス拒否するのっていいですネ(笑)

<A HREF="http://www.juraihelm.com/NNR/">ここ</A>に行ってみるとよくわかるかな。
では。
deepie 1999/05/27(木) 02:41:53
ごめんなさい(笑)
まんまで表示されてしまいました(^^;
Nobu3 1999/05/27(木) 08:44:39
Another HTML-lint gateway(http://openlab.ring.gr.jp/k16/htmllint/htmllint.html)
で、点数評価すると、
「robots」は大文字でなくてはいけません。というメッセージが出ます。
原文(HTML4.0)に明記してあるらしいです。
また、「noindex」なども同様に、大文字である必要があるということです。

匿名Ａ＠仕事中 1999/05/27(木) 09:42:27
長文失礼
＃　言葉使いが悪ぃのも失礼。

基本的には下みたいにNAMEもCONTENTも大文字。
<META NAME="ROBOTS" CONTENT="NOFOLLOW">
これはRFCでは大文字で表記されているからで、小文字で
書くと「これはRFCにないから見る必要なし」と曲解される
可能性有り。
＃　悪質
CONTENTの"NOFOLLOW,NOINDEX"は"NONE"とも表記
されるわな。だから両方書いて置く方が吉だ。
<META NAME="ROBOTS" CONTENT="NOFOLLOW,NOINDEX">
<META NAME="ROBOTS" CONTENT="NONE">
とまあこんな具合じゃ。

上の方での誰かが書いてるが、見ても守らないロボットは
結構いるようだ。特にNOFOLLOWが怪しい。
＃　俺の所も某「E*****」のロボットにつまみ食いされた。

ROBOTS.TXTによる規制は基本的にサーバ管理者用だが、
個人ディレクトリにあるROBOTS.TXTを読んでくれるロボット
もいるらしいから駄目もとで置いとけば気休めにはなるぞ。
これも確かRFC原文では大文字だったな。
ま、大したサイズじゃないから大文字小文字両方置いとけ。
あと時々、「ROBOTS.TXT」でなく「ROBOT.TXT」を読む変な
＃　っつーかきちんとRFC読んでない。
ロボットもいる、両方置いとけ。
で、こっちもMETAと同じで「読んでも守らない」ロボットもいる。


というわけで、
結局「こちらからお願いする」パターンは気休めにしかなって
ないのが現状だね。
IPとagentではじくのが一番確実じゃないかね？
＃　既に登録されてるのをどうするかという問題は残るが。
もしくは、もってかれても気にしないページを作れば気に
ならない。これが精神衛生上一番じゃないか？


おまけ、ROBOTS.TXTの例（中身）
例えば自分の城をhttp://www.foo.bar.jp/hoge/として、
FTPでつないだ時のルートに転がすとしておくと、

BEGIN-------------
User-Agent: *
Disallow: /hoge/hogege/
Disallow: /hoge/temp/aho.htm
END---------------

User-Agent:には規制するロボットの名称を。「*」だと「全て」
Disallow:には見て欲しくないディレクトリを書くのだ。
上はhoge/hogege/以下のディレクトリを規制。
下は特定のファイル（aho.htm）のみ規制。

ところでラウンジの検索は使ったかい？
＃　同じ題材は過去にも結構あるぞ。

ムニムニ 1999/05/28(金) 16:47:23
[[解決]]
みなさんどうもありがとうございます。
まだ試してはいないけれど、大変参考になったことは
間違い有りません!!
がんばってやってみます。

＞匿名Ａ＠仕事中 へ
検索の機能は、投稿した後に気づきました・・・
一応、以前同じような相談投稿を見た覚えがあったので
自分なりに探したのですが、見つからなくて・・・・
これからは一つ賢くなったので、
検索を使います。
ありがとうございました

[上に] [前に] [次に]