■ 漢字コードについて

◆ 漢字コードのお勉強

漢字コードに関する基本的な知識を確認しておきたいと思います。下記に、"perl入門!!" という文字列を JISコード、EUC、シフトJIS、Unicode で表したときの文字コードを16進数で示します。

それぞれの文字コードの特徴について説明します。

現在、perl で日本語コードを扱うには、現状、EUC で処理するのが一番おすすめです。

■ 日本語変換ライブラリを入手する（jcode.pl）

◆ jcode.pl の入手

漢字コードの変換を行うには、下記のサイトから歌代氏が開発された jcode.pl というライブラリを入手しておくと便利です。現在の最新版は 2.13 のようです。

• http://srekcah.org/jcode/

◆ jcode.pl の使用準備

入手したファイルは jcode.pl-2.13 のようなファイル名になっていますが、改行コードが自OSに適したものになっていない場合があります。例えば、次のようにして改行コードとファイル名を変換しておいてください。

perl -p -e 's/[\r\n]*$/\n/' jcode.pl-2.13 > jcode.pl

◆ jcode.pl を使用する

jcode.pl を使用するには、スクリプトの先頭の方で jcode.pl ライブラリを読み込まなくてはなりません。ライブラリの読み込みには require を用います。

require "jcode.pl";

jcode.pl はいくつかの機能を含んでいます。その中の一つ、漢字コードを調べる getcode() を呼び出すには次のようにします。

$code = &jcode'getcode(*str);        # Perl 4 的な呼び出し方

Perl 5 では、上記のようにも記述できますが、下記のように記述することも多いようです。

$code = jcode::getcode(\$str);       # Perl 5 的な呼び出し方

jcode.pl の実際の使用方法については次ページ以降で紹介します。

■ 漢字コードを調べる（jcode::getcode）

◆ 漢字コードを調べる

jcode::getcode() は、入力した文字列の漢字コードを調べます。ASCII のみの場合は特別な値 undef を、シフトJIS のときは "sjis"、EUC のときは "euc"、JIS のときは "jis"、バイナリデータと思われる場合は "binary" を返します。

require "jcode.pl";
$str = "日本語";

if ($code = jcode::getcode(\$str)) {
    print "code = $code\n";
} else {
    print "code = ascii\n";
}

◆ 誤認識の可能性

シフトJIS と EUC はコードが重なっている部分があるため、識別できない場合があります。特に半角カタカナを用いた文字列は識別できない可能性が高まります。例えば下記のコードをシフトJISのスクリプトとして作成してください。

require "jcode.pl";

$str = "ひらがなｱｲｳｴｵ"; $code1 = jcode::getcode(\$str);
$str = "ひらがｱｲｳｴｵ";   $code2 = jcode::getcode(\$str);
$str = "ひらｱｲｳｴｵ";     $code3 = jcode::getcode(\$str);

print "code1=$code1 code2=$code2 code3=$code3\n";

結果は次のようになってしまいます。

code1=sjis code2= code3=euc

※ これは jcode.pl の責任ではありません。EUC とシフトJIS のコードが重なっているため、どうやっても識別できないのです。

■ 漢字コードを変換する（jcode::convert）

◆ 漢字コードの変換

jcode::convert() は、入力された文字列の漢字コードを自動的に判別して、指定した漢字コードに変換します。第2引数には、"sjis"、"euc"、"jis" のいずれかを指定します。例えば、入力された文字列のコードを自動判別して、これを EUC に変換するには次のようにします。

require "jcode.pl";

$str = "日本語";
jcode::convert(\$str, "euc");
print "$str\n";

◆ 入力漢字コードの指定

入力する漢字コードが判明している場合は、第3引数で入力漢字コードを指定することができます。これにより、漢字コードの誤判断を防ぐことができます。

# sjis → euc の変換
jcode::convert(\$str, "euc", "sjis");

◆ xxx2yyy

jcode::xxx2yyy() の形式のサブルーチンを使用することも可能です。例えば下記の例では、シフトJIS から EUC への変換を行います。

require "jcode.pl";

$str = "日本語";
jcode::sjis2euc(\$str);
print "$str\n";

■ 日本語の文字化けに対応する

◆ 文字化けの原因

ActivePerl でスクリプトを作成するときなど、スクリプトに記述した文字が 文字化け してしまうことがあります。これは、シフトJIS の漢字コードの 2バイト目がバックスラッシュ（\）と同じ 0x5c になってしまうため、perl がこれを特殊文字と判断してしまうことにより発生します。

print "表示できるかな\n";

シフトJIS で記述された上記スクリプトを実行すると、次のように表示されてしまします。

侮ｦできるかな

◆ 対応方法(1) EUCでスクリプトを書く

これを防ぐには、漢字コードを EUC にしてスクリプトを書くのが効果的です。Windows でも、漢字コードを EUC で保存できるテキストエディタがいくつかあるようです。また、転送時にシフトJIS → EUC に変換が可能な FTP ソフトもあるようです。

◆ 対応方法(2) \ でおまじないする

EUC で記述するのが困難な場合は、2 バイト目が 0x5c となる文字の直後に \ を余分に書き足すことにより回避できます。2 バイト目が 0x5c となる文字は、「表」の他に、「ソ」、「十」、「申」、「予」、「噂」、「構」、「貼」、「暴」、「能」などがあります。

print "表\示できるかな\n";

こうすると、ちゃんと次のように表示されます。

表示できるかな

◆ その他の文字化け

上記以外の原因で文字化けが発生するケースがあります。例えば、ブラウザが文字コードの誤判別を行ってしまった場合については「CGIの結果が文字化けしないようにする」を参照してください。

■ Jcode.pmをインストールする

◆ Jcode.pmとは

Jcode.pm は、Jcode.pl の後継ともいうべき モジュール です。Jcode.pl の機能をモジュールベースに変更したのに加え、Unicode や MIME-encoding などの機能もサポートされています。下記から入手可能です。

• http://openlab.ring.gr.jp/Jcode/Jcode-0.80.tar.gz
• http://openlab.ring.gr.jp/Jcode/Jcode-0.80.zip

◆ UNIX環境で Jcode.pm をインストールする

UNIX 環境では CPAN を利用することができます。インストールにはスーパーユーザーの権限が必要です。

# perl -MCPAN -e shell
cpan> install Jcode

ソースコードを自分でコンパイルする場合は、下記のようにしてください。

# tar xvfz Jcode-0.80.tar.gz
# cd ./Jcode-0.80
# perl Makefile.PL
# make
# make test
# make install

◆ Windows環境で Jcode.pm をインストールする

Windows の場合、Jcode-0.80.zip を入手、解凍し、以下の手順でインストールしてください。ppm にも登録されています。

C:\> cd Jcode-0.80
C:\Jcode-0.80> perl win_install.pl

■ Jcode.pmを使用する

◆ jcode.pl ライクな使用方法

jcode.pl を用いた jcode3.pl を、Jcode.pm を用いた方法に書き直すと次のようになります。日本語を EUC に変換しています。

use Jcode;

$str = "日本語";
Jcode::convert(\$str, "euc");
print "$str\n";

◆ 新しい書き方

Jcode.pm では、次のような書き方もできます。下記の例では、文字列を h2z() で半角カタカナから全角カタカナに変換し、さらにそれを sjis() でシフトJISに変換しています。

use Jcode;

$str = "日本語";
$str = Jcode->new($str)->h2z->sjis;
print "$str\n";

Jcode->new($str) は単に jcode($str) と記述することもできます。

$str = jcode($str)->h2z->sjis;

第二引数には入力漢字コードを指定することができます。

$str = jcode($str, "sjis")->h2z->sjis;

■ シフトJISをUnicodeに変換する

◆ シフトJISからUnicode（UCS-2）への変換

UCS-2 は、Unicode の 2バイト文字をほとんどそのまま表現する方式です。シフトJIS を UCS-2 形式の Unicode に変換するには次のようにします。

use Jcode;
$sjis = "日本語";
$ucs2 = jcode($sjis, "sjis")->ucs2;
for ($i = 0; $i < length($ucs2); $i++) {
    printf("%02x ", ord(substr($ucs2, $i, 1)));
}
print "\n";

結果は次のようになります。日本語 1文字が 2バイトで表現されています。

65 e5 67 2c 8a 9e

◆ シフトJISからUnicode（UTF-8）への変換

UTF-8 は、Unicode の 2バイト文字をさらに、ASCII コードは 1バイトに、日本語などのコードは 3バイトなどに変換して表現する形式です。シフトJIS を UTF-8 形式の Unicode に変換するには次のようにします。

use Jcode;
$sjis = "日本語";
$utf8 = jcode($sjis, "sjis")->utf8;
for ($i = 0; $i < length($utf8); $i++) {
    printf("%02x ", ord(substr($utf8, $i, 1)));
}
print "\n";

結果は次のようになります。日本語 1文字が 3バイトで表現されています。

e6 97 a5 e6 9c ac e8 aa 9e 

■ UnicodeをシフトJISに変換する

◆ Unicode（UCS-2）からシフトJISへの変換

Internet Explorer の JavaScript の escape() メソッドを用いると、"日本語" といった全角文字が "%u65E5%u672c%u8A9E" のような形式の Unicode にエンコードされます。これをデコードしてシフトJISに変換するには次のようにします。

use Jcode;

$ucs2 = "%u65E5%u672c%u8A9E";
$sjis = $ucs2;
$sjis =~ s/%u([0-9A-Fa-f]{4})/ucs2sjis($1)/eg;
print "$sjis\n";

sub ucs2sjis {
    local($arg) = @_;
    local($u);
    $u = chr(hex(substr($arg, 0, 2))) . chr(hex(substr($arg, 2, 2)));
    jcode($u, "ucs2")->sjis();
}

結果は次のようになります。

日本語

◆ Unicode（UTF-8）からシフトJISへの変換

UTF-8 形式のバイナリデータをシフトJISに変換するには次のようにします。

use Jcode;

$utf8 = "\xe6\x97\xa5\xe6\x9c\xac\xe8\xaa\x9e";

$sjis = jcode($utf8, "utf8")->sjis;
print "$sjis\n";

結果は次のようになります。

日本語