検索されないためには？

yellowmail 2000/02/10(木) 14:16:42
検索ロボットはホームページのリンクを辿ってサイトを巡回していると聞きました。
じゃあ、リンクの貼られていないページは検索ロボットは拾えないのでしょうか？
ソース内に書いたURLは拾って行くのでしょうか？
また、ロボットがサイトに訪れた時、アクセスカウンターはカウントするのでしょうか？
パスワードで保護してあるページも？？？？

ビルＧ 2000/02/10(木) 20:08:19
ロボットによって仕様が違うから、ロボットの管理人に個別に問い合わせたほうがいいのでは？

kala 2000/02/10(木) 21:47:44
知識のあまりない私ですが、常識的な線で考えると...

> リンクの貼られていないページは検索ロボットは拾えないのでしょうか？
基本的にはそうです。しかし勝手に検索エンジンにURLを登録してしまう利用者も（善意・悪意にかかわらず）いたりしますので、100%安全とは言えません。

> ソース内に書いたURLは拾って行くのでしょうか？
直接リンクを貼っていない場合は拾わないのが普通だと思いますが、拾っていくロボットも存在する可能性は否定できません。

> ロボットがサイトに訪れた時、アクセスカウンターはカウントするのでしょうか？
大半のロボットは画像まで拾わないと思います。SSI式カウンタであればカウントします。

> パスワードで保護してあるページも？？？？
これを拾う手段があれば、誰でも侵入することが可能になってしまいます。心配なのは「http://username:password@～」形式のURLが流出した場合ですが、これを拾うロボットってあるんでしょうか。（と他人に振る）

zizz... [HomePage] 2000/02/11(金) 14:30:53
> じゃあ、リンクの貼られていないページは検索ロボットは拾えないのでしょうか？
MSIE, lynx, Emacs W3, Mac版のNetscapeの一部などは、
HTTP_REFERERに、ユーザーが前に見ていたページを、そのページからリンクされているかに関係なく送ってくることがあるようです。
これによってどこからもリンクしていないはずのページでもログに残ります。
この情報を解析して公開している人がいたりすると、そこからロボットがやってくるかもしれません。

[上に] [前に] [次に]