自サイト内を検索する機能を取り付けるには、「自サイトに検索機能をつけるには?」のページで詳しく説明していますので、参照してください。
検索エンジンには主に 2通りのタイプがあります。ひとつは ロボット型 で、ひとつは ディレクトリ型 です。最近は両方をサポートするサイトも増えてきました。
ロボット型(Google、goo、Infoseek など)は、リンクを辿りながら世界中のページを定期的に自動巡回して情報を収集します。このタイプの検索エンジンへの登録は不要です。巡回がくれば自動的に登録されます。
Google などの検索エンジンのデータベースに登録されないようにするには、<head>~</head> の間に次の 1行を追加します。noindex,nofollow の部分には、index(登録を許可する)、noindex(登録を禁止する)、follor(このページ内のリンクの参照を許可する)、nofollow(このページ内のリンクの参照を禁止する)の組み合わせを指定します。
<meta name="robots" content="noindex,nofollow">
サイトのトップフォルダに、robots.txt という名前のテキストファイル(下記の内容)を置いて、サイト全体を検索されないようにすることも可能です。
User-agent: * Disallow: /
robots.txt は、トップに置く必要があります。
○ http://xxx.yyy.zzz/robots.txt × http://xxx.yyy.zzz/tohoho/robots.txt
Disallow: /himitsu/ とすれば、http://~/himitsu/ の下のページのみ、検索されなくなります。
User-agent: * Disallow: /himitsu/