KL-divergence-estimators:估计样品中KL散度的测试方法-源码

KL散度估算器 通常在两个概率分布之间定义。 在仅概率分布的样本可用的情况下，可以多种方式估计KL散度。 在这里，我测试了基于k最近邻概率密度估计的KL散度估计器的一些实现。 估计值是 Wang Wang，Sanjeev R. Kulkarni和SergioVerdú。 “通过k最近邻距离对多维密度进行散度估计。” 信息论，IEEE Transactions on 55.5（2009）：2392-2405。 从各种测试分布中抽取样本，并计算它们之间的估计KL散度。 通过对分布重新采样并重新计算100次方差估计来评估不确定性。 然后，将不确定度带作为间隔，该间隔包含最接近中位数的68％的重采样估计值。 提供的时间是在样本大小为N = 1000， k = 5的情况下计算所有100个重采样所花费的时间。 这项研究远非详尽无遗，而且时间对实施细节很敏感。 请带一点盐。 估算器实现 naiv