情報理論のエッセンス

内容紹介

本書は，初学者が難しいところでつまずかないよう，情報理論の本質的な部分をやさしく解説した教科書である．かゆいところに手が届く，平易でわかりやすい内容となるよう配慮した．補足的な説明やより進んだ説明はコラムを設け，発展的な応用問題には*印を付した．授業時間の制約等の事情で項目を取捨選択する際の参考となれば幸いである．

ダウンロード→　正誤表

目次

1. 情報理論とは

   情報理論の生い立ち／情報理論のエッセンス

2. 情報のとらえ方と情報量

   情報の数量化／平均情報量／自己情報量と平均情報量の関係

3. 平均情報量（エントロピー）の性質

   エントロピー関数／エントロピーの性質／条件付き平均情報量（条件付きエントロピー）／種々のエントロピーの関係／相互情報量

4. 情報源

   情報源モデル／情報源の種類／無記憶情報源（独立情報源）モデル／通報／マルコフ情報源／マルコフ連鎖（マルコフチェーン）／マルコフ情報源モデル／シャノン線図／正規マルコフ情報源／エルゴードマルコフ情報源

5. 情報源符号化

   符号化／符号のクラス／瞬時符号／クラフトの不等式―符号語長への制約―／拡大情報源／情報源符号化定理―平均符号長の下限―／符号の効率と冗長度／コンパクト符号

6. 具体的符号化法

   シャノン・ファノ符号／ハフマン符号

7. 通信路と相互情報量

   通信路モデル／通信路での確率関係／通信路での平均情報量（エントロピー）の関係／相互情報量―通信路により伝送される情報量―／相互情報量の確率表現／相互情報量の性質／種々の通信路／通信路容量

8. 通信路符号化

   シャノン・ファノの通信システムのモデル／通信路符号化とは？／通信路符号化定理／情報源符号化定理と同値な雑音のない通信路の符号化定理

9. 誤り検出と訂正

   冗長性／パリティ検査（パリティチェック）／ハミング距離／誤り検出と訂正の原理

10. 線形符号

    組織符号／2元（n,k ）線形符号／生成行列G ／検査行列H ／シンドロームs ／生成行列G と検査行列H の関係／線形符号C の最小ハミング距離d _min(C )

11. 巡回符号

    巡回符号とは？／符号多項式／符号多項式の性質／生成多項式G (x )／検査多項式H (x )／シンドローム多項式S (x )／生成行列G _{(C )}と検査行列H _{(C )}／巡回符号の生成行列と検査行列の構成例

付録

• 10進数の2進数への変換
• log₂x の数表