说明 本文是方法记录,不是完整的项目过程(在我Jupyter上,数据前期预处理部分懒得搬了),也没有调参追求准确度(家里电脑跑不动)。 参考任务来源于Kaggle,地址:电影评论情感分类 本文参考了不同的资料来源,包括斯坦福CS224N的课程资料,网上博客,Keras官方文档等 任务核心部分 1.单词表示 1.1 理论部分 对大部分(或者所有)NLP任务,第一步都应该是如何将单词表示成符合模型所需要的输入。最直接的思路就是将单词(符号)变为词向量。 词向量的表示方法: one-hot 编码:想法直接,但过于稀疏,且词与词之间正交,无法衡量词之间的相似度 基于矩阵分解的方法:比如不同词窗的矩阵,
2021-12-05 23:21:52 131KB dd ed IN
1
直流神经网络 Conneau提出的用于文本分类的超深度卷积神经网络的Tensorflow实现。 现在已使用Tensorflow 2和tf.keras支持正确重新实现了VDCNN的体系结构。 根据实施一个简单的培训界面。 随意贡献其他实用程序,例如TensorBoard支持。 旁注,如果您是NLP文本分类的新手: 请检出新的SOTA NLP方法,例如或 。 检出以获得更好的动态绘图和数据集对象支持。 当前的VDCNN实现也非常容易移植到PyTorch上。 先决条件 Python3 Tensorflow> = 2.0 张量流数据集 麻木 数据集 原始论文测试了多个NLP数据集,包括D
2021-12-05 18:44:20 7KB nlp text-classification tensorflow keras
1
此文档中介绍的基于支持向量机的文本分类方法是网络舆情分析中常用的文本分类
1
该论文系列是我花钱购买的,里面详细讲述了基于SVM的web文本分类的关键技术,解决的问题和创新点,可以为广大学习文本分类的朋友提供很好的参考资料,也能为SVM的初学者建立一个宏观的框架概念,也能为做毕设或研究的提供很大的帮助。
2021-12-04 17:16:25 3.39MB SVM 文本分类 论文 Web
1
基于朴素贝叶斯分类算法
2021-12-03 15:36:31 1.59MB 贝叶斯
1
基于tensorflow实现CNN文本分类 目前文本分类问题主要使用的RNN/LSTM,但是本身具有时序性强、速度慢等局限性。而CNN的主要特点是速度快,主要用于计算机图像的核心部分GPU的硬件层实现。
2021-12-03 15:27:49 698KB tensorflow
1
基于注意力机制的混合神经网络模型的文本分类,秦丽萍,杨金民,文本分类是自然语言处理(NLP)中的重要任务之一。在文本分类中,句子建模是至关重要的。在已存在的工作中,卷积神经网络(CNN)能
2021-12-03 15:17:52 617KB 文本分类
1
hmm的matlab代码HanLP: Han Language Processing 汉语言处理包 HanLP是一系列模型与算法组成的NLP工具包,由大快搜索主导并完全开源,目标是普及自然语言处理在生产环境中的应用。 HanLP具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。 HanLP提供下列功能: 中文分词 HMM-Bigram(速度与精度最佳平衡;一百兆内存) 、 由字构词(侧重精度,全世界最大语料库,可识别新词;适合NLP任务) 、 词典分词(侧重速度,每秒数千万字符;省内存) 所有分词器都支持: 词性标注 (速度快) 、(精度高) 命名实体识别 基于HMM角色标注的命名实体识别(速度快) 、、、、 基于线性模型的命名实体识别(精度高) 、 关键词提取 自动摘要 短语提取 多音字、声母、韵母、声调 简繁分歧词(简体、繁体、台湾正体、香港繁体) 语义推荐、拼音推荐、字词推荐 依存句法分析 KMeans、Repeated Bisection、自动推断聚类数目k 词向量训练、加载、词语相似度计算、语义运算、查询、KMeans聚类 文档语义相似度计算 部分默认模型训练自小型
2021-12-02 20:45:43 21.43MB 系统开源
1
NeuralClassifier旨在快速实现分层多标签分类任务的神经模型,这在现实场景中更具挑战性和普遍性。 一个显着的特点是NeuralClassifier目前提供各种文本编码器,如FastText,TextCNN,TextRNN,RCNN,VDCNN,DPCNN,DRNN,AttentiveConvNet和Transformer编码器等。它还支持其他文本分类场景,包括二进制类和 多级分类。 它建立在PyTorch上。
2021-12-01 20:08:56 12.87MB Python开发-自然语言处理
1
本文用C++实现KNN分类算法,代码齐全,直接使用,很适合初学者学习之用
2021-11-30 19:34:56 42KB c++
1