对话清华NLP实验室刘知远:NLP搞事情少不了知识库与图神经网络
从 18 年走进 19 年
机器之心:在过去一年,您认为人工智能或者机器学习领域方面有哪些比较重要的研究成果?
参考文章:谷歌终于开源 BERT 代码:3 亿参数量,机器之心全面解读
机器之心:Transformer 在 2018 年有了更广泛的应用,除了机器翻译以外,它在语言模型和问答系统也都有所应用。您认为这是不是体现了一种趋势?
机器之心:您在 18 年都有哪些比较重要的研究成果,能介绍一下吗?
机器之心:清华 NLP 实验室这边还会关注哪一些前沿研究成果或关注哪些方向?
机器之心:在 2019 新的一年中,您认为整体上 NLP 会有哪些值得关注,或是有哪些可能会取得突破的地方?
如何更充分挖掘数据的价值,无论是有标注数据、弱标注数据还是无标注数据,都是数据驱动模型的重要命题,仍然有很多开放问题等待解决。即使 2018 年有了 BERT,未来还会有更多的学习机制等待探索。
我认为,未来这两个大方向都非常重要,它们会相互补充与促进:互联网上有海量的非结构化数据,需要 BERT 等深度学习模型发挥重要作用;我们也积累了海量结构化知识,如何利用这些知识也具有重要意义。
当然,很多热门学习模型在新的一年里还会有更多关注和进展,例如对抗学习、强化学习、图神经网络等;很多新颖的学习场景,如 zero/one/few shot learning 等,也开始有很多有益的探索。
机器之心:最近清华也刚刚成立了知识智能研究中心,那么在新的一年中,知识中心主要也是关注如何结合知识与文本这方面的研究吗?
清华人工智能研究院成立「知识智能研究中心」,发布四大知识平台
常识知识是鲁棒可解释人工智能必不可少的支撑,因此从 2019 年开始,我们计划利用若干年时间,逐步构建常识知识体系。常识知识具体以什么方式来构建,目前正在积极的讨论和规划中。
深度学习与 HowNet
HowNet 中由义原向上构建概念,由概念向上定义词。借助它们,词嵌入等模型能突破此层面的表征。
图神经网络
机器之心:您可以介绍一下图神经网络和传统图模型,以及原来的深度学习之间的关系吗?


