dlsa分布式最小二乘近似
使用Apache Spark实施
介绍
在这项工作中，我们开发了一种分布式最小二乘近似（DLSA）方法，该方法能够解决分布式系统上的大量回归问题（例如，线性回归，逻辑回归和Cox模型）。 通过使用局部二次形式逼近局部目标函数，我们可以通过对局部估计量进行加权平均来获得组合估计量。 在统计上证明了所得的估计器与全局估计器一样有效。 而且，它只需要一轮通信。 我们使用自适应套索方法进一步基于DLSA估计进行收缩估计。 通过在主节点上使用LARS算法，可以轻松获得该解决方案。 从理论上讲，通过使用新设计的分布式贝叶斯信息准则（DBIC），得出的估计量具有oracle属性，并且选择一致。 广泛的数值研究和航空公司数据集进一步说明了有限的样本性能和计算效率。
整个方法已在的Spark系统中实现。
R软件包dlsa提供了上可用的概念演示。
系统要求
Spark >= 2
2022-05-16 20:25:16
105KB
1
计算双重非中心的 PDF 的鞍点近似值F 分布。 代码由 Marc S. Paolella，2007，第 368 页，清单 10.9 - 10.10。 注意：积分由于鞍点，归一化略大于 1 近似。 建议：使用四边形标准化。 用法f = SPncfpdf(xords,n1,n2,theta1,theta2,acclevel)
2022-05-16 16:01:33
3KB
1
****************************************************** ****************************************************** ************** 重要提示：这个工具箱是作为我博士的一部分开发的（2014 年结束）。 我决定保留此版本用于比较目的，不会更新。 我邀请您检查此算法的新扩展版本，该版本将根据我们对该主题的研究进展，以新的机制和功能进行更新： https://www.mathworks.com/matlabcentral/fileexchange/65145 ****************************************************** ****************************************************** *
2022-05-12 20:45:31
17KB
1
通过切比雪夫级数逼近数值一维函数，将权重应用于切比雪夫变换并返回过滤后的函数和余数。 对于从数据中识别/删除多项式趋势特别有用。
提供自检代码。
2022-05-12 20:29:34
3KB
1