学习内容：利用Jensen不等式证明相对熵的非负性，即:
相对熵的定义
Jensen不等式的内容
第一次证明：
第一次证明是无效的，首先是因为Jensen不等式的公式构造有误，不等号右边应为,其次使用Jessen不等式时忽略了对函数的条件要求，构造的log函数为上凸函数，所以自变量取均值作为新自变量的函数值应该大于等于每个点函数值取均值的值。
第二次证明：
第二次尝试将作为log指数的分母，将分子设定为最小的值即，此时构造的新函数以为自变量，为下凸函数，符合使用条件，同时尝试通过设置pm值来进行放缩，最后得到我们需要证明的式子。然而最后两个式子的不等号无法连接，证明失败。
第三次证明：
最终完成相对熵非负性的证明
通过本次学习：
1、我们接触了CSDN平台，学会如何在其中查找与筛选自己需要的信息，同时也学习到其他人的一些很好的想法和学习方法。
2、我们更加熟悉Jensen不等式的内容，尤其是在第一次证明后真正理解其含义，并能够熟练的运用，在以后学习中遇到需要运用该不等式的情况时更加得心应手。
3、加深相对熵相关内容的理解，尤其是通过自己动手证明对其非负性印象深刻。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/58988.html