法諾不等式
外观
![]() | 此條目可参照英語維基百科相應條目来扩充。 (2019年3月30日) |
![]() | 此條目需要精通或熟悉相关主题的编者参与及协助编辑。 (2019年3月30日) |
法諾不等式(Fano's inequality)也稱為法諾引理(Fano lemma)是信息论中的一個定理,說明噪音信道中的平均信息损失和错误分类概率之間的關係。法諾不等式是羅伯特·法諾是1950年代於麻省理工学院教授博士讨论班的时候推導的,後來放在1961年編寫的教科書中。
法諾不等式在信息论中,提供了解码器错误概率的下界。在统计学中,提供了密度估计时极小化极大风险的下界。
用符号 表示熵, 表示随机变量X与Y之间的条件熵,表示对于X的分类,e表示分类错误的事件(),法诺不等式是说
这里 是X可能取值(有限个)的集合。
參考資料
[编辑]- P. Assouad, "Deux remarques sur l'estimation", Comptes Rendus de l'Académie des Sciences de Paris, Vol. 296, pp. 1021–1024, 1983.
- L. Birge, "Estimating a density under order restrictions: nonasymptotic minimax risk", Technical report, UER de Sciences Économiques, Universite Paris X, Nanterre, France, 1983.
- T. Cover, J. Thomas. Elements of Information Theory (PDF). 1991: 38–42 [2019-03-30]. ISBN 978-0-471-06259-2. (原始内容存档 (PDF)于2020-11-12).
- L. Devroye, A Course in Density Estimation. Progress in probability and statistics, Vol 14. Boston, Birkhauser, 1987. ISBN 0-8176-3365-0, ISBN 3-7643-3365-0.
- Fano, Robert. Transmission of information: a statistical theory of communications. Cambridge, Mass: MIT Press. 1968. ISBN 978-0-262-56169-3. OCLC 804123877.
- also: Cambridge, Massachusetts, M.I.T. Press, 1961. ISBN 0-262-06001-9
- R. Fano, Fano inequality (页面存档备份,存于互联网档案馆) Scholarpedia, 2008.
- I. A. Ibragimov, R. Z. Has′minskii, Statistical estimation, asymptotic theory. Applications of Mathematics, vol. 16, Springer-Verlag, New York, 1981. ISBN 0-387-90523-5
![]() | 这是一篇與科技相關的小作品。您可以通过编辑或修订扩充其内容。 |