算法

关系抽取是实体识别的下游任务，通常是先做完实体识别，然后在判断两个实体的关系，这种做法被称作流水线方法（pipline）。之后兴起了joint model的思路，联合抽取的方案，一个模型完成实体识别和关系抽取，并且很多论文都有验证… 阅读更多 »基于bert的一种关系抽取模型

上次完成了“AI版对穿肠”，使用了UniLM模型，权重采用albert作为初始化权重。相当于把对联模型当成一般的seq2seq的结构，实际上对联的模型的输入和输出是等长的，也可以看成是序列标注问题，只不过标签类别是整个词库。也就是… 阅读更多 »Masked LM 完成对联模型

2018年看到有人开发了对联的深度学习模型，看起来效果也不错。“对下联”这个任务对于NLP来说，算是文本生成问题，典型seq2seq的模型。早期的模型普遍采用encoder-decoder架构，编码器和解码器使用RNN或者变体较多… 阅读更多 »AI版“对穿肠”

做了挺多NLP的任务，对于很多模块的原理都是通过看资料和论文，实践也是调用别人写好的模块（说明开源分享太好了😍）。纸上得来终觉浅，最近根据论文写了Transformer模块，还是花了挺多时间，看来要多动手，切勿纸上… 阅读更多 »Bert论文笔记