k－近邻法的错误率 最近邻法和k-近邻法的错误率上下界都是在一倍到两倍贝叶斯决策方法的错误率范围内。 在k >1的条件下，k-近邻法的错误率要低于最近邻法。 在k →∞的条件下，k-近邻法的错误率等于贝叶斯误差率。 *

模式识别中非参数估计理论，包括窗估计、kNN，NN等

Parzen窗估计 定义窗函数：假设Rn是一个d维的超立方体。令hn为超立方体一条边的长度，则体积： 立方体窗函数为： 中心在原点的单位超立方体

模式识别讲解非参数估计

核密度非参数估计的matlab代码Non_Parametric_Kernel_Density_Estimation 我们建议使用基于核密度估计 (KDE) 的方法进行分类。 这种非参数方法本质上以一种有原则的方式为每个类提供了成员资格的可能性。 该实现用于： [1] MU Ghani、F. Mesadi、SD Kanik、AO Argunsah、A. Hobbiss、I. Israely、D. Unay、T. Tasdizen 和 M. Cetin，“基于树突棘分类的形状和外观特征”，Journal of神经科学方法。 任何使用此代码的论文都应相应地引用 [1]。 该软件已经在Matlab R2013b下进行了测试。 解压压缩文件后，启动Matlab，然后可以在根目录下运行“KDE_JNeuMeth.m”。 如果报告错误，则您可能没有以下某些 MATLAB 工具箱。 请确保您已正确安装以下 MATLAB 工具箱： 统计和机器学习工具箱 生物信息学工具箱 如果您仍然有问题，您可以给我发电子邮件，或者我会尽力提供帮助。 照原样，该代码使用基于析取法线形状模型 (DNSM) 和定向梯度直方图

概率密度估计 概率密度估计问题： 给定i.i.d.样本集： 估计概率分布：

给出密度函数的非参数估计公式，并产生1、16、256和16384个服从一维标准正态分布的样本， 1． 分别就窗宽为 ， ，窗函数为高斯函数的情形估计所给样本的密度函数并划出图形。 2． 分别就 时用 近邻方法估计所给样本的密度函数并划出图形。

本实验的目的是学习Parzen窗估计方法。在之前的模式识别研究中，我们假设概率密度函数的参数形式已知，即判别函数J(.)的参数是已知的。本节使用非参数化的方法来处理任意形式的概率分布而不必事先考虑概率密度的参数形式。在模式识别中有躲在令人感兴趣的非参数化方法，Parzen窗估计的估计法

kde核密度估计，非参数估计的一种，使用高斯核函数进行概率密度估计，应用于独立成分分析确定控制限等过程

经济金融计量学中的非参数估计技术，用R软件和S-PLUS软件，书中有代码