信息论、机器学习的核心概念：熵、KL散度、JS散度和Renyi散度的深度解析及应用
本文深入探讨了信息论、机器学习和统计学中的几个核心概念：熵、KL散度、Jensen-Shannon散度和Renyi散度。这些概念不仅是理论研究的基石，也是现代数据分析和机器学习应用的重要工具。
信息论安全：Renyi熵与散度（Renyi divergence）
有关Renyi散度的基本介绍挺多博客已经写了。本文章主要介绍最基础的概念，以及近些年论文中为啥老喜欢引用这个概念。
从熵到交叉熵损失的直观通俗的解释
对于机器学习和数据科学的初学者来说，必须清楚熵和交叉熵的概念.在本文中，我将尝试从信息论的角度解释有关熵的概念
