与中科院专家思路不谋而合

最近项目中碰到了关系抽取这个问题,关系抽取两个思路,一种是流水线方法,先做实体识别,然后组合实体进行实体的关系分类。第二种方法是使用参数共享的方式,模型分别完成两个任务,实体识别关系抽取任务。流水线的方法是一种比较经典的方法,很容易误差传递,目前深度学习大行其道,于是就选择了多任务模型。确定了多任务模型,就是设计标签和网络结构了。

作为半路出家,没有持续关注行业内研究动态,说白了就是读的论文太少。于是我根据项目数据的特点,设计了一套标签,就开始训练模型了,最终结果还不错。最近开始大量读论文,除了一些重大突破的论文以外,对于方法上更新的论文也拿来读读,不巧的是读到一篇论文,怎么跟我的,不不不,应该是我跟他的思路这么像呢。

2016年郑孙聪等人发布了一种参数共享的多任务模型《Joint entity and relation extraction based on a hybrid neural network》,将实体识别和关系抽取放在一个模型中。紧接着2017年在ACL上有发表了《Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme》提出了一种将实体关系合并到实体中,把关系抽取任务变成了序列标注任务,并且被评为2017年杰出论文。下图是中科院官网通知。

这个事情对我来说是莫大的鼓励了,虽然没有获得任何奖励,在独立的情况下能够跟大牛的思路不谋而合,对我来说,也算是莫大的荣幸了。除了标签的思路一致,网络结构大体差不多,只是郑孙聪等人当时用的双向的LSTM(当时很流行)做encoder-decoder,而我在2019年了,正是预训练流行的时候,所以我直接选择了BERT预训练模型。多说一句,如果他晚一年发论文,他肯定也会选择预训练模型。

虽然说有点小激动,但也说明了本人头发短,见识也短😂。以后还是多读读论文,多学习别人的方法,会少走很多弯路。

关注机器学习和算法的码农,喜欢编程和读书
文章已创建 72

发表评论

电子邮件地址不会被公开。

相关文章

开始在上面输入您的搜索词,然后按回车进行搜索。按ESC取消。

返回顶部