ノート:情報量

質問です

• 確率が０である場合もあるので

$I(E)={\begin{cases}\log {\frac {1}{P(E)}}=-\log P(E),P(E)\neq 0,\\+\infty ,P(E)=0.\end{cases}}$

ではないでしょうか？参考までに確率０とその事象が空集合であることは別だと思います。

• Ωを、台が有限集合である確率空間とする。

台が有限である場合の必要性はどこにあるのでしょうか？この定義では正規分布に関する平均情報量は定義できないことになります。

• 情報理論において、選択情報量という言葉と自己情報量という言葉の優先順位は自己情報量のほうが習慣的ではないでしょうか？ci.nii.ac.jpの検索をされるとわかると思います。

--Lulusuke 2007年9月9日 (日) 14:24 (UTC)

２つ目の点についてですが、$\sum _{A\in \Omega }$という時点で正規分布などの連続量について扱う式になっておらず、連続量については「連続系のエントロピー」の項で式が示されている、ということで良いと思います。 --KAMEDA, Akihiro（会話） 2013年1月11日 (金) 09:48 (UTC)

情報量の単位について

本文に「1996年以前はこの単位を“ビット (bit)”としていた。変更は JIS X 0016:1997 (ISO/IEC 2382-16:1996) による。」とありますが、情報量の単位はビットからシャノンに「変更」されたのでしょうか? JIS X0016:1997 をざっと読んだところ、たしかに選択情報量の単位の一つとしてシャノンが例示されてはいるものの、「これからは『ビット』ではなく『シャノン』といいなさい」という意味で書かれているようには思えないのですが……。--まじかんと 2006年8月2日 (水) 12:30 (UTC)

いろいろ Google で検索してみましたが、情報量の単位名が「ビット」から「シャノン」に変更されたということを示す文献は日本語・英語共に見つかりませんでした。そもそも、ISO/IEC 2382-16 Shannon bit で検索しても数件しかヒットしません。英語版 Wikipedia でも shannon は bit の別名という扱いです。ということで、単位が変更されたという旨の記述については、根拠不十分ということでとりあえず削除したいと思います。--まじかんと 2006年8月4日 (金) 10:30 (UTC)

とはいったものの、ビットとシャノンの話についてはこの記事の他にビットやエントロピーの記事でも言及されていることに気付きました。すぐにたくさんの記事を書き換えるのは気が引けるので、しばらく正確性テンプレートを貼って様子を見ようと思います。(意見等歓迎) --まじかんと 2006年8月4日 (金) 11:21 (UTC)

当該部分を書いた者です。よくお調べくださいました。ありがとうございます。また，慎重な作業に感謝いたします。この件は，実は微妙です。規格の適用範囲と歴史が重要になるからです。

　JIS X 0016:1997 には，選択情報量の単位として「シャノン」とナットとハートレーが（例示ではなく）挙げられていて，以前あった「ビット」は削除されています。記憶によれば，1987年の規格改正で，選択情報量の単位「ビット」に「シャノン」が追加されましたが，第2順位でした。5年後の1992年の規格改正で，シャノンが第1順位になり，ビットは第2順位になりました（この順位で用いることになっていました）。そして，1997年の規格改正でビットは削除されました。この流れからいえば，少なくともISOとJISを尊重するなら，10年の準備期間を経て「ビット」は「シャノン」に「変更された」と言えます。

　しかし，ISOやJISは，その内容を公開しているものの，内容の宣伝はしていません。したがって，ISOやJISを知らない，または権威を認めたがらないほとんどの情報理論学者たちは，自分が覚えてきた「ビット」を未だに使っているというわけです。尺貫法がメートルに変わるのに長期間を要したこと，アメリカでは未だにヤード・ポンドを使っていることを考えると，ビットからシャノンへの移行には，まだ長期間を要するかもしれません。

　Wikipedia は，正確でなければならず，啓蒙的な機能もあるので，ある意味で正しいことを記述しておきました。しかし，実情とあまりかけ離れるのも考えものなので，実際には「ビット」がまだ使われているということも書いておいたほうがよいと思います。（Webを検索してもシャノンは少ないだろうと思っていましたが，そんなに差があるとは知りませんでした。）

　なお，ビットとシャノンとは区別したほうが便利なのです。コンピュータのメモリにおける2進数の桁数は今でも「ビット」です。「n ビットのメモリは，最大で n シャノンの情報を記憶することができる。」と書けるのは，ビットとシャノンを区別したからです。それがISOの原案作成者たちの意図だったのだろうと推測します。 --Kazov 2006年8月9日 (水) 10:33 (UTC)

Kazov さん、ありがとうございます。単位の変更の経緯については了解しました。このまま他に意見などが出ないようであれば、正確性テンプレートを外して終わりにしたいと思います。--まじかんと 2006年8月10日 (木) 03:27 (UTC)

「シャノン」という単位の提唱から十年。現時点ではまだまだ「ビット」の方が優性なので、その編を踏まえて文を直してみました。219.35.138.30 2006年9月19日 (火) 15:07 (UTC)

「ビット」が優勢であることは認めます。しかし、論旨の進め方として、現在の本文は解りにくくはないですか。用語の流れが、ビット → シャノン → ビットとなっていて混乱します。シャノン → ビットとするほうが簡潔であろうと思います。いかが？ --Kazov 2006年9月23日 (土) 09:49 (UTC)

実用文では有名事実から順に書いて行くのが基本なので、やはり「ビット→シャノン」がよいかと。論旨の進め方は改善しました。また本文中の情報量から単位を全て削りました。(ビット、シャノン双方)。どっちが好きかで宗教戦争になるのは嫌ですし、そもそも本来は無名数なはずなので。あと、一応突っ込んどきますが、「ビットとシャノンとは区別したほうが便利」ってのは違うと思います。メモリを情報量に直す際、いちいち単位変換(シャノン/ビット)を書き加えなければならなくなりますから。219.35.138.30 2006年10月8日 (日) 15:12 (UTC)

私は符号長にはビットを、情報量にはシャノンを用い、単位によって両者の違いを明示的に表すものと理解していますが違うでしょうか？最も物理の世界では普通はこういう場合でも単位は同じ。エネルギーも仕事も熱量も単位は全てJ。トルクだけは無関係だからN・mですが。まあ物理でも無次元量の角度や分離量の物質量にradやmolなどと単位を与えていますので別に単位を書くこと自体は問題ないと思います（現に編集合戦は起こっていませんし。自分自身は敢えて単位を復帰させるつもりもありませんが）。

それにしても、エントロピーの情報理論の項は、概要と物理的エントロピーとの関係だけを向こうに残して、残りをこの記事にまとめた方が良いかもしれませんね。2項目にまたがって読みづらい印象があります。--spirituelle 2006年10月8日 (日) 20:00 (UTC)

各国語版を確認してみました。シャノンについて書いてあるのはドイツ語のみで、ドイツ語版でもビット(シャノン)という扱いです。natはオランダ語版にありました。

情報量と(情報論的)エントロピーの統合には賛成です。昨日延々両項目を編集したのですが、別項目だと両者で説明が重複するなど面倒だったので。219.35.138.30 2006年10月9日 (月) 02:17 (UTC)

単位がないのは奇異な感じがしました（どうも人間は自分が慣れ親しんだものに無意識に固執する傾向があるようです）が、英語版もそうなっていますね。以前はbitとshannonが書いてあったのですが、ここと同じ理由で削除されたのかもしれません。

メモリのビットと情報量のシャノンとを区別すれば、私が以前にここで示したように（エントロピーとして）「n ビットのメモリは最大で n シャノンの情報を記憶することができる。」と書けるメリットがあることを、再度強調しておきます。

1ビットのメモリは、0と1とが等確率で使われているときにそれぞれ1シャノンの情報量をもちますが、等確率でなければ1シャノンになりません。現在の本文からは、以前はあった（私が書いたのではない）それに近い記述が削除されています。これは内容の理解を妨げると思います。

メモリのビット列は、その生起確率が与えられない限り、簡単に情報量（シャノン）に変換はできないわけです。

また、現在の本文で、「情報源符号化定理」の説明のところにある「ビット列の『正味の』ビット長の平均値」という記述は非常に分かりにくいです。たぶん、内容が分かっている人にしか分からないでしょう。「正味のビット長」が何を意味するかが分からないし、それが複数あって、それら（整数？）を平均するという操作の意味が分かりません。これは、記事「エントロピー」に書く内容だと思います。「通信路符号化定理」も同様です。

そういうわけで、記事の統合には消極的です。統合するにしても、慎重に議論し、情報量とエントロピーとをはっきり分離してください。なお、シャノン自身は、「情報量」という用語を定義していません（"information" としか言っていない）。今なら "amount of information" と呼ぶのでしょうが、この歴史的背景からか、英語版には未だにその項目名の記事がありませんね。ドイツ語版を除く他の言語版は苦労しているように思います（「情報量」という用語を定義してくれた日本の先人に感謝したいです）。また、記事の統合については、別の節を作って（「ノート:エントロピー」で）議論したほうがよいように思います。 --Kazov 2006年10月9日 (月) 03:50 (UTC)

私の書いた事があまり理解していただけなかったようなので。

• まず第一に、私は普段無名数を使ってます。私がビットを推すのはそれが多数派だからに過ぎません。
• 第二に、Kazovさんの主張は「100ビットのビット列でも分布によっては50ビットしか情報量持ってないものがあるでしょ」というものだと思いますが、これは情報量の概念のとらえ方が違うんじゃないかと思います。「50ビットの情報量を持つデータは必ず(ほぼ)50ビットで表現できます」(情報源符号化定理)。それをあえて無駄をして100ビットで表現しているから情報量とビット数が一致しないだけなのです。
• 別の言い方をすると、「このビット列は100ビットだが、情報量は50ビットしかないので、50ビットで表現する事もできる」(情報源符号化定理)という直観的に分かりやすい結論が、シャノンを使うと単位変換をはさんで「このビット列は100ビットだが、情報量は50シャノンしかないので、(50シャノン×1ビット/シャノン＝50ビットだから)50ビットで表現する事もできる」と遠回りになるのが面倒な分けです。
• 「現在の本文から…削除されています」というのは、もし本当なら私のミスです。どこなのかを教えてください。
• 統合の件ですが、「同じ項に書こう」と主張しているだけなので、「本文中では章を分けて別々に記す」という考えには賛成です。まぁ、この件はおっしゃるようにエントロピーのほうで議論した方がよいのかもしれませんが。219.35.138.30 2006年10月9日 (月) 06:26 (UTC)

本文に「書籍などでは」主流でないとありますが、いったいどこで主流なのか教えてください。「書籍などでは」と書くとまるで書籍だけが例外のように読めます。いったん「書籍などでは」をコメントアウトしました。219.35.139.100 2007年2月15日 (木) 15:10 (UTC)

エントロピーと情報量の統廃合

統廃合をエントロピーの項目にて提案をしました。219.35.138.30 2006年10月10日 (火) 13:21 (UTC)

2006年10月15日 (日) 03:58 (UTC) の編集 で エントロピー からの一部転記がなされましたが、GFDLに必要な履歴継承がなされておりません。一部転記自体は ノート:エントロピー にて合意ずみですので、必要な特定版削除を依頼し、特定版削除を受けた上で同等の転記作業をやり直します。ご了解ください。本文記事に削除依頼タグを貼りますが、驚かないでくださいませ。--スのG 2006年10月20日 (金) 08:52 (UTC)

特定版削除いただきましたので、転記について再作業を行いました。体裁は自分なりに整えたつもりですが、いかんせん私には専門外のトピックですので、さらなる加筆修正をお願いします。--スのG 2006年10月30日 (月) 16:45 (UTC)

再作業ありがとうございました。お手間お掛けしてすみません。219.35.138.30 2006年11月1日 (水) 14:40 (UTC)

レニーエントロピー

「Renyiエントロピー』ではなく「Rényiエントロピー」では？--118.0.175.250 2011年6月29日 (水) 00:14 (UTC)

底

ここのlogの底がどれかわからん--以上の署名の無いコメントは、2400:7800:86b8:6800:f899:b25:4315:cc37（ノート/Whois IPv4 ・ IPv6）さんが 2019年6月28日 (金) 14:51 (UTC) に投稿したものです（白駒（会話）による付記）。

選択情報量の節の第3文を読んで頂けると解決するかもしれません。--白駒（会話） 2019年6月29日 (土) 12:13 (UTC)