Masked LM 完成对联模型
上次完成了“AI版对穿肠”,使用了UniLM模型,权重采用albert作为初始化权重。相当于把对联模型当成一般的seq2seq的结构,实际上对联的模型的输入和输出是等长的,也可以看成是序列标注问题,只… 阅读更多 »Masked LM 完成对联模型
上次完成了“AI版对穿肠”,使用了UniLM模型,权重采用albert作为初始化权重。相当于把对联模型当成一般的seq2seq的结构,实际上对联的模型的输入和输出是等长的,也可以看成是序列标注问题,只… 阅读更多 »Masked LM 完成对联模型
2018年看到有人开发了对联的深度学习模型,看起来效果也不错。“对下联”这个任务对于NLP来说,算是文本生成问题,典型seq2seq的模型。早期的模型普遍采用encoder-decoder架构,编码器… 阅读更多 »AI版“对穿肠”
最近一段时间没有更新文章了。忙着在家带孩子和找工作这两件事,有点焦头烂额了🤪,忙得差不多了,还是继续写点东西。本文将构建一个神经网络模型实现中文的分词。 介绍 中文分词任务就是解决这样… 阅读更多 »中文分词模型
本文介绍以下内容: 1. 使用transformers框架做预训练的bert-base模型; 2. 开发平台使用Google的Colab平台,白嫖GPU加速; 3. 使用datasets模块下载IMD… 阅读更多 »PyTorch预训练Bert模型
原理介绍 循环神经网络在大多数人看来其实很简单。的确原理是非常简单的,但是代码的实现细节却没有那么简单。往往纸上谈兵容易,实战起来才发现跟理论是有差距的。本文重点介绍RNN的原理,之后基于PyTorc… 阅读更多 »循环神经网络的原理分析