针对内存计算框架 Spark 在作业 Shuffle 阶段一次分区产生的数据倾斜问题,提出一种内存计算框架的迭 代填充分区映射算法( IFPM) 。首先,分析 Spark 作业的执行机制,建立作业效率模型和分区映射模型,给出作业执行 时间和分配倾斜度的定义,证明这些定义与作业执行效率的因果逻辑关系; 然后,根据模型和定义求解,设计扩展式 数据分区算法( EPA) 和迭代式分区映射算法( IMA) ,在 Map 端建立一对多分区函数,并通过分区函数将部分数据填 入扩展区内,在数据分布局部感知后再执行扩展区迭代式的多轮数据分配,根据 Reduce 端已分配数据量建立适应性 的扩展区映射规则,对原生区的数据倾斜进行逐步修正,以此保障数据分配的均衡性。实验结果表明,在不同源数据 分布条件下,算法均提高了作业 Shuffle 过程分区映射合理性,缩减了宽依赖 Stage 的同步时间,提高了作业执行效率。
1
一般常用于测试端口映射结果,可做
2021-03-07 19:06:54 21KB UDP TCP 端口映射
1
自己写的端口映射工具(我会有空一直升级),该软件纯净无污染版,晚上其他免费的可能有一些病毒,用来做内网穿透,功能不是那么全,可能有很多bug,但是能用稳定使用不卡不就行了。
2021-03-05 11:06:32 34.29MB 端口映射 tcp_mapping exe
1
各种小工具
2021-03-04 13:01:53 24.67MB idea redis 外网映射
1
提出一种融合多种特征的图像过曝光区域检测算法。利用转换的亮度特征和颜色特征,并新引入亮颜特征和边界邻域特征来构成特征向量,用L2正则化逻辑非线性回归方法。对实验图像进行过曝光区域检测,结果显着示,相较于亮度阈值法和采用亮度和​​颜色特征的常规检测方法,约会新特征后的改进算法检测出的过照射范围区域连通性更好。
1
参数优化的元遗传算法:此存储库中的应用程序仅用于标记多样性映射器。 但是,需要更改几行以合并其他遗传算法
2021-03-02 19:04:42 2KB Python
1
通过键盘映射解决没有Home/End键的痛点,让没有Home/End的键盘也能使用Home/End一样的操作,详情:http://www.cnblogs.com/GarsonZhang/p/7291124.html
2021-03-02 13:52:21 75KB Home/end home映射
1
基于关键帧的RGBD人体纹理映射
2021-03-02 10:05:24 555KB 研究论文
1
为了解决低照度图像的细节信息缺少和清晰度低的问题,在HSV(Hue, Saturation, Value)色彩空间中,采用非下采样剪切波变换(NSST)与Retinex理论的融合算法对低照度图像进行处理。首先对HSV空间的V分量进行分解,得到多个高通子带与一个低通子带,对高通子带采用改进的基于贝叶斯萎缩的自适应阈值算法完成去噪,对低通子带采用改进的自适应局部色调映射算法提高对比度,然后对两个子带进行NSST逆变换以得到新的V分量并对其进行白平衡处理,最后将处理后的图像反转到RGB(Red,Green,Blue)空间中得到结果图像。实验结果表明,所提算法能够改善低照度图像的质量,提高清晰度与对比度。
2021-03-01 17:05:46 7.04MB 图像处理 非下采样 图像去噪 HSV颜色空
1
Windows NT有映射物理内存到一个Device,这个源码告诉你怎么去访问物理内存.zip
2021-02-28 17:01:18 29KB 物理内存 内存映射