算法

Masked LM 完成对联模型

上次完成了“AI版对穿肠”,使用了UniLM模型,权重采用albert作为初始化权重。相当于把对联模型当成一般的seq2seq的结构,实际上对联的模型的输入和输出是等长的,也可以看成是序列标注问题,只不过标签类别是整个词库。也就是… 阅读更多 »Masked LM 完成对联模型

AI版“对穿肠”

2018年看到有人开发了对联的深度学习模型,看起来效果也不错。“对下联”这个任务对于NLP来说,算是文本生成问题,典型seq2seq的模型。早期的模型普遍采用encoder-decoder架构,编码器和解码器使用RNN或者变体较多… 阅读更多 »AI版“对穿肠”

Bert论文笔记

做了挺多NLP的任务,对于很多模块的原理都是通过看资料和论文,实践也是调用别人写好的模块(说明开源分享太好了😍)。纸上得来终觉浅,最近根据论文写了Transformer模块,还是花了挺多时间,看来要多动手,切勿纸上… 阅读更多 »Bert论文笔记