virtualave.netはロボット探査禁止なの？

クミ 1999/11/30(火) 12:00:54
virtualave.netなのですが、ロボット型サーチエンジンを蹴るのでしょうか？
infoseekやinfonavigatorHAYATE等で登録すると、
指定したURLが見あたらない、というエラーが返ってくるのですが。。

惰眠 1999/11/30(火) 13:16:57
Infoseek等はURL登録されたものに対して、ロボットが拾いに行きますので、
URL登録されていなければ、登録されることはないはずです。
"virtualave.net"で検索をかけてみると、Virtualaveドメイン名のものが
出てきますんで、仰られているよ～な
「ロボット型検索エンジンを最初から蹴る」
というのはないと思いますよ～。

のぐ 1999/11/30(火) 15:40:09
"robots.txt" が置かれているのでは。

ねげ 1999/12/01(水) 17:14:15
infoseek の URL 登録で、virtualave を登録しようとすると、
404 エラーを返しますね。
Host ヘッダを付けてないんじゃないかな。

クミ 1999/12/01(水) 19:28:00
幾つか試してみたのですが、
http://hogehoge.virtualave.net/
だと404というエラーコードを返してきました、
日本語のテキストがありません、と言われます。

http://hogehoge.virtualave.net/index.html
など、ファイル名まで指定すると、202（だったと思う）というえらーコードで、ファイル名が見つからない、と言われました。

infoseekに限らずなのですが、ロボット型サーチエンジンというのは、こちら側が登録しなくても（こちら側からの登録がダメでも）勝手に広いに来てくれるのでしょうか？

ふじ 1999/12/02(木) 00:46:49
> ロボット型サーチエンジンというのは、こちら側が登録しなくても（こちら
> 側からの登録がダメでも）勝手に広いに来てくれるのでしょうか？
既に登録されているページからリンクが張られていれば
(そのページ以下を辿らせないような robots.txt があったりすれば別ですが)
リンクをだどってやって来ます。
# だからこそ「ロボット」なのです。

ふじ 1999/12/02(木) 00:48:31
あ、
>こちら側からの登録がダメでも
これだとだめかも。
どこからかリンクを辿ってやって来ても、同じ理由で弾かれちゃうだろうから。

[上に] [前に] [次に]