s3-bucket-loader 该项目源于需要将大量文件(数百 GB)快速导入(和备份)到 AWS S3 存储桶中,最终目的是通过 S3 分布式文件系统管理该存储桶; 。 由于单线程甚至有限的多线程复印机需要的时间太长,以传统方式(即 rsync 或从源到目的地复制)的最初尝试很快变得不切实际。 s3-bucket-loader 利用简单的 master/worker 范例来获得规模经济,将许多文件从 sourceA 复制到 targetB。 “sourceA”和“targetB”可以是两个 S3 存储桶,或一个文件系统到 S3 存储桶(通过 S3 文件系统抽象,如 yas3fs 或 s3fs 等)。 即使这是使用 S3 作为最终目标进行编码的,它也可以用于其他目标以及其他共享文件系统。 您可以将给定文件集导入 S3 的速度(在这种情况下通过 yas3fs)仅受您想在工作硬件上花费
2021-07-14 17:03:48 637KB aws s3 file-transfer bulk-loader
1
GD32F1x0 使用DMA channel0将数据缓冲区从FLASH存储器转移到嵌入式SRAM存储器。 在编程flash地址之前,首先执行一个擦除操作。 擦除操作后,FLASH存储器和0xFFFFFFFF(复位值)之间的比较 检查FLASH存储器是否已被正确擦除。 一旦擦除操作正确完成,编程操作将是 通过使用fmc_programword函数执行。 写入的数据被转移到 嵌入式SRAM存储器由DMA1 Channel1。 通过使能DMA1 Channel1开始传输。 在传输结束时,一个传输完整中断就产生了 启用。 对FLASH存储器和嵌入式SRAM存储器进行了比较 检查所有数据都已正确传输。 如果比较结果通过, LED2和LED4发光。 否则,LED1和LED3会亮起。
2021-07-13 20:04:37 7.97MB gd32 dma
1
GD32 使用DMA通道(1到4)从RAM到RAM传输数据。 DMA通道(1到4)为 配置为将存储在"source_address"中的数据缓冲区的内容转移到 接收缓冲区声明在RAM(destination_address1~destination_address4)。 传输的开始是由软件触发的。 在转移结束时,进行比较 在源和目标缓冲区之间进行检查,以检查所有数据是否正确 转移。 如果转换正确,对应的LED灯。 如果转移不正确,则 对应的LED灯熄灭。
2021-07-13 18:06:35 7.96MB gd32 嵌入式
1
在Tensorflow中使用VGG19在CIFAR-10上转移学习 该存储库显示了转移学习的简单步骤。 特别是,选择了CIFAR-10数据集,并使用VGG19模型进行训练。 该模型是经过预训练的,并从借用。 我可以获得的最佳准确性约为91%。 要了解的重要概念(通常) 在书写笔记本时,我注意到我应该能够回答以下问题以进行转移学习。 在实现中对它们的答案可能会略有不同,但是概念是相同的。 在选择预训练模型时,我将展示自己的答案。 选择模型(VGG16,VGG19,ResNet,DenseNet等) 搜索模型的实现(Github) 知道如何创建模型 知道如何加载预训练的砝码 知道模型在最后一层输出的内容 知道输入数据的形状 知道如何重新缩放原始图像(数据)以适合模型 预测结果 参考
2021-07-13 09:57:07 478KB deep-learning tensorflow transfer-learning vgg19
1
一种用于轴承故障诊断的迁移学习模型
2021-07-06 14:50:13 820KB transfer learnin
1
fanuc Program Transfer Tool 14.0 传输程序软件,大家很好的应用
2021-07-04 18:56:26 7.93MB 666
1
spaCy是我的自然语言处理(NLP)任务的必备库。spaCy 用户手册
2021-07-01 18:02:44 445KB spacy 用户手册
1
FlinkX | 中文 技术交流 招聘Flink研发工程师,如果有兴趣可以联系思枢(微信号:ysqwhiletrue) Flink开发工程师JD要求: 1.负责袋鼠云基于Flink的衍生框架数据同步flinkx和实时计算flinkstreamsql框架的开发; 2.调研和把握当前最新大数据实时计算技术,将其中的合适技术引入到平台中,改善产品,提升竞争力; 职位要求: 1、本科及以上学历,3年及以上的Flink开发经验,精通Java,熟悉Scala、Python优先考虑; 2、熟悉Flink原理,有基于Flink做过二次源码的开发,在github上贡献者Flink源码者优先; 3、有机器学习、数据挖掘相关经验者优先; 4、对新技术有快速学习和上手能力,对代码有一定的洁癖; 加分项: 1.在GitHub或其他平台上有过开源项目 可以添加本人微信号ysqwhiletrue,注明招聘,如有意者发
2021-06-21 10:57:27 18.91MB bigdata data-transfer flink 附件源码
1
在ICCV 2019(口头演讲)上被接受!! CutMix:正则化策略来训练具有可本地化功能的强大分类器 CutMix正则化程序的官方Pytorch实现| | 桑,韩东云,吴成俊,桑赫俊,崔俊淑,柳永jo。 NAVER Corp.的Clova AI Research 我们的实现基于以下存储库: 抽象的 已经提出了区域辍学策略以增强卷积神经网络分类器的性能。 事实证明,它们可以有效地指导模型参加对象的较少区分性部分(例如,腿而不是人的头部),从而使网络更好地泛化并具有更好的对象定位能力。 另一方面,当前的区域丢弃方法通过覆盖黑色像素或随机噪声的补丁来去除训练图像上的信息像素。 这样的删除是不理想的,因为它会导致信息丢失和训练期间的效率低下。 因此,我们提出了CutMix增强策略:在训练图像之间剪切和粘贴补丁,其中地面真相标签也与补丁的区域成比例地混合。 通过有效利用训练像素并保留区域丢
1
在中国计算机学会的数字图书馆中“微众银行-刘洋-联邦学习的研究及应用”视频的ppt截图,由于网站中的视频不是很清晰,ppt也不能保证文字也特别清晰。 视频网址:https://dl.ccf.org.cn/audioVideo/detail.html?id=4360432544024576&_state=&_ack=1&_access_code=1c1ef48794b443bab9f74dddd16cd39b。 视频简介:联邦学习框架的优势到底是什么? 作为一个机器学习框架,联邦学习能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下,进行数据使用和建模。而在联邦学习的基础上,迁移学习的能力也可以被搭建出来,做到举一反三的效果。而根据孤岛数据具有不同分布的特点,我们提出了不同的联邦学习方案。在本次报告中,我们将全面介绍联邦学习的概念与应用,并将提供联邦学习开源项目FATE(https://github.com/webankfintech/fate)详解,FATE提供了一种基于数据隐私保护的安全计算框架,为机器学习、深度学习、迁移学习算法提供强有力的安全计算支持。
2021-06-20 09:52:38 20.58MB federated transfer HE
1