算法

上次完成了“AI版对穿肠”，使用了UniLM模型，权重采用albert作为初始化权重。相当于把对联模型当成一般的seq2seq的结构，实际上对联的模型的输入和输出是等长的，也可以看成是序列标注问题，只… 阅读更多 »Masked LM 完成对联模型

2018年看到有人开发了对联的深度学习模型，看起来效果也不错。“对下联”这个任务对于NLP来说，算是文本生成问题，典型seq2seq的模型。早期的模型普遍采用encoder-decoder架构，编码器… 阅读更多 »AI版“对穿肠”

最近一段时间没有更新文章了。忙着在家带孩子和找工作这两件事，有点焦头烂额了🤪，忙得差不多了，还是继续写点东西。本文将构建一个神经网络模型实现中文的分词。 介绍 中文分词任务就是解决这样… 阅读更多 »中文分词模型

本文介绍以下内容： 1. 使用transformers框架做预训练的bert-base模型； 2. 开发平台使用Google的Colab平台，白嫖GPU加速； 3. 使用datasets模块下载IMD… 阅读更多 »PyTorch预训练Bert模型

原理介绍 循环神经网络在大多数人看来其实很简单。的确原理是非常简单的，但是代码的实现细节却没有那么简单。往往纸上谈兵容易，实战起来才发现跟理论是有差距的。本文重点介绍RNN的原理，之后基于PyTorc… 阅读更多 »循环神经网络的原理分析