算法

神经网络的分类模型

NLP的入门算法应该是文本分类了,笔者最早接触文本分类的模型是采用keras框架搭建的分类,用了TextCNN和LSTM,很轻松的在短文本分类上取得很好的效果,很有成就感。后续完成了很多算法模型,较少关注理论层面去深入理解算法的原… 阅读更多 »神经网络的分类模型

KeyBERT关键词抽取

在关键词抽取算法中详细介绍了TF-IDF算法,从信息论的角度看就是词频越高,包含的信息量越大的词就是越重要的词,根据这个算法可以从预料中计算出词的权重,在推理的过程中只需要分词,查字典即可得到关键词重要程度排序,从而实现关键词抽取… 阅读更多 »KeyBERT关键词抽取

关键词抽取算法

关键词的抽取在很多场景下都会使用。对于文本抽取关键词,通过几个关键词可以简要的概括文本的含义。比如论文都会有摘要,下面都会有大约5关键词来描述摘要的内容。抽取关键词的核心问题是如何量化词的重要性。解决了这个问题,只要对文档中的词进… 阅读更多 »关键词抽取算法