コンピュータサイエンス

【超初心者向け】文字コードとは何なのか?

この記事で分かること

  • 文字コードについてざっくり理解する
  • 文字化けが発生するメカニズムについて
  • UTF-8がなぜ使われているのか

この記事では、超初心者向けに文字コードとは何か?について解説しています。

プログラミングに限らず、パソコンやコンピュータを使っていれば誰でも文字化けが発生した経験があると思います。

今回は、プログラミングの知識が無い人が読んでも分かるように、なるべく難しい言葉は使わずに文字コードについて分かりやすく説明します。

ゴイチ

5分ほどで読める内容なので、ぜひ最後まで読んでみて下さい!

文字コードとは?

文字コード(または、エンコーディング)には UTF-8 / SJIS / EUC などの種類があり、Wikipediaでは以下の様に説明がされていました。

文字コード(もじコード)は、コンピュータ上で文字キャラクタ)を利用する目的で各文字に割り当てられるバイト表現。もしくは、バイト表現と文字の対応関係(文字コード体系)のことを指して「文字コード」と呼ぶことも多い。

https://ja.wikipedia.org/wiki/%E6%96%87%E5%AD%97%E3%82%B3%E3%83%BC%E3%83%89

この説明では、日本語が難しすぎて少し分かりにくいかと思います。
具体的な例を挙げながら、もう少し噛み砕いて説明してみたいと思います。

具体的な例

例えば、「」という文字をコンピュータに保存したいとします。
UTF-8語 / SJIS語 / EUC語 で「あ」の文字を保存すると、それぞれ

  • UTF-8語では E3 81 82 の3バイト
  • SJIS語では 82 A0 の2バイト
  • EUC語では A4 A2 の2バイト

のバイト列でコンピュータに保存されることになります。

このように、ある文字をどのようなバイト列で表現するかを決めたルールを文字コードと言います。

なぜ文字化けが起こるのか?

上記の例の通り、「」という文字を保存するケースについて考えてみます。

UTF-8語を話す人が、「あ」という文字をファイルに保存すると中身は E3 81 82 の3バイトになります。
そのファイルを、SJIS語しか理解できない人が読み取ると、とりあえずSJIS界のルールで、 E3 81 を「縺」という文字と解釈します。
そして 82 の部分は当てはまる文字がないので単に無視します。
かくして、UTF-8の「あ」という文字が、SJISの「縺」という文字に文字化けすることになります。

以下のサイトでは、文字コードごとにどのように文字化けが起こるのかを確認することが出来るので、色々と試してみて下さい。
https://csedu.ime.cmc.osaka-u.ac.jp/oer/tools/encode/bitToChar.php?base=16&bitstring=e38182

Javaで文字化けを検知する方法について知りたい方は、以下の記事も参考にして下さい。

UTF-8 / SJIS 文字コード変換できない文字を検知する [Java]

文字コードを変換する際に、UTF-8 には存在するが Shift-JIS には存在しないという文字がある場合、文字化けが発生します。 環境依存文字やサロゲートペア文字と言われているものが代表的ですが、 ...

続きを見る

結論

結論を言うと、書き込む人と読み込む人の話す言語が違うために文字化けが起こることになります。

しかも、基本的にはファイルなどに文字を書き込んだ際に、どの文字コードで書き込まれたかという情報は記録されません

ファイルを読むことが出来るかどうかは完全に読み手任せになってしまうということです。

UTF-8語で書かれたファイルは、UTF-8語を理解できる人にしか読めないということになります。

文字化けを発生させないようにするには、書き手と読み手の文字コードを一致させる必要があります

なぜUTF-8は便利なのか?

かなりざっくりとした説明になりますが、メリットとして

  • ほぼすべての国の文字をUTF-8だけでカバーしている(絵文字なども)
  • 違う文字に判定されてしまう誤動作が極めて少ない
  • サロゲートペア文字のような特殊なルールが無い

という特徴が挙げられます。

デメリットとしては、エンコード後のサイズがやや大きくなってしまいます。(上記の例でも「あ」という文字がSJISやEUCの1.5倍のサイズになっています)

UTF-8についてもっと詳しく知りたい方は、Wikipediaも参考にしてみて下さい。
https://ja.wikipedia.org/wiki/UTF-8

まとめ

最後に、この記事の内容をまとめます。

要点

  • コンピュータで異なる文字コードを扱うと文字化けする可能性がある
  • 文字化けが起こる原因は、書き込み側と読み取り側の文字コードが異なるため
  • UTF-8は文字コード関連の問題が起こりづらいので便利だが、エンコード後のサイズがやや大きくなる

Windowsでメモ帳を使う際や、プログラムでCSVファイルを扱う際などにも、よく文字コードの問題は発生すると思います。

文字化けなどの問題が起こった場合も、今回覚えた知識が頭の片隅にあれば、その知識を元に原因を調査して行くことが出来ます。

現在広く普及しているUTF-8という文字コードは、比較的不具合が起こりにくく、デメリットが少ないためプログラミングの世界でも一般的に使われています。

しかし、古いシステムや外部システムとのやり取りなど、異なる文字コードでデータをやり取りするケースも依然として行われているようです。

そのようなケースでも上手く対処できる様に成ると良いですね!

ゴイチ

最後まで読んでいただきありがとうございました!

この記事は役に立ちましたか?

  • この記事を書いた人
アバター画像

ゴイチ

ソフトウェアエンジニア歴20年。 C/C++、Java、C#、Kotlinが得意で、組込系からAndroidアプリ、大規模なWebサービスなど幅広いプログラミング経験があります。 現在は某SNSの会社でWebエンジニアをしています。

-コンピュータサイエンス
-, , ,