本周分享第5期

文章记录本周学习所得和一些想法,顺便推荐一些软件和电影。本周关键词:预训练;脑洞;寄生虫;个人主页;

本周学习

本周主要关注深度学习预训练模型。预训练在深度学习中非常重要,尤其是对于相对复杂的任务来说,好的预训练可以轻松的得到泛化能力非常好的模型。

目前有非常多的预训练模型,主要是CV领域的预训练。例如Keras集成的预训练模型1:

  • Xception
  • VGG16
  • VGG19
  • ResNet, ResNetV2, ResNeXt
  • InceptionV3
  • InceptionResNetV2
  • MobileNet
  • MobileNetV2
  • DenseNet
  • NASNet

目前深度学习深层网络模型,模型的大小,参数个数,以及准确率等信息2

我个人极力推荐使用Keras框架,keras的宗旨是Deep Learning for humans。有点可惜的是没有集成目前NLP领域的预训练,改天再去GitHub看看有没有做集成的项目,没有的话那就只能自己做集成了。

NLP的预训练也不少3

  • Transformer
  • Google BERT
  • Transformer-XL
  • OpenAI GPT-2
  • ELMo
  • Flair
  • StanfordNLP

不能少了百度的预训练模型:
– ERNIE

百度的ERNIE是基于百度的深度学习框架飞桨4,2019年3月开始发布的,目前英文版已经更新到2.0版本,中文还停留在1.0版,今年百度正在极力推广飞桨深度学习框架,搞了很多线下活动。目前本人还未使用过,有空去尝尝鲜。

我在某垂直领域的数据中,本周尝试了自己预训练word embedding,看了一下训练效果还可以,但是在模型中表现非常糟糕,远远不如动态embedding,目前还在排查原因,打算与静态的embedding对比一下,看看究竟差别在哪里。


脑洞

脑洞1:投诉

现在各种内容客户端顶置的都是政治新闻,党媒党报的内容。普通人连选择不关注的权利都没有了。如果要投诉党媒党报这种霸权行为,该去哪里?

脑洞2:太监与宠物狗

皇帝家为了有人照顾饮食起居,于是招太监入宫。人类为了寄托爱心和怜悯,于是养了宠物狗。人有时候很有意思,做了相同结果的事,却找了不同的理由。


电影

韩国电影《寄生虫》,宋康昊主演,也是我之前推荐《出租车司机》的主演。找了一个多月了,目前还没有找到网上资源,此类电影很少有在大陆院线上映的。

科学上网工具

互联网本应该是互相连接的网络,人们可以自由选择获取信息,言论控制是一件非常可怕的事情,长时间的言论控制,会导致人失去最基本的判断能力,当然自由获取信息不是轻言谣言和以讹传讹。

购买地址

个人主页

个人主页 存放了《OpenFOAM课程》,《LaTeX课程》,还有未完成的《中学生学编程》,所有资源都是免费的。

个人自频道

好久没有看个人自频道了,今天上去看看,发现总播放量已经超过两万了,看到这个数据还是有点小激动。其中《OpenFOAM》热度最高,部分视频的播放量过千了,也有收到一些赞助。

关注机器学习和算法的码农,喜欢编程和读书
文章已创建 66

发表评论

电子邮件地址不会被公开。

相关文章

开始在上面输入您的搜索词,然后按回车进行搜索。按ESC取消。

返回顶部