最新游戏资讯:Paper 梯度剪切加速训练;命名实体识别双向LSTM+CRF模型;自然语言处理从头再来;免强度函数学习的时间点过程
Paper 梯度剪切不仅可以加速梯度下降,还有理论依据。论文《Why Gradient Clipping Accelerates Training: A Theoretical Justification for Adaptivity》由Jingzhao Zhang、Tianxing He、Suvrit Sra和Ali Jadbabaie共同撰写,于2019年9月26日发表。这篇论文阐述了梯度剪切在网络训练中的作用,并通过分析实际网络的平滑性证明了其有效性。
命名实体识别(NER)可以使用双向LSTM+CRF结构进行完成。这一点在论文《Bidirectional LSTM-CRF Models for Sequence Tagging》中得到了实现,该论文由Zhiheng Huang、Wei Xu和Kai Yu于2015年8月9日发表。该模型利用过去和未来的输入信息,提高了NER的性能。
自然语言处理几乎从头开始,可以采用深度神经网络来实现多种任务,如词性标注、组块等。这是Ronan Collobert、Jason Weston、Leon Bottou、三一卡伦(Koray Kavukcuoglu)、Pavel Kuksa共同于2011年1月10日发表的《Natural Language Processing (Almost) from Scratch》所展示的策略。
免强度函数学习可以直接建模条件概率,而非设计复杂的强度函数。这一点体现在Oleksandr Shchur、Marin Biloš和Stephan Günnemann共著于2019年的《Intensity-Free Learning of Temporal Point Processes》中,该方法在事件预测等方面取得了很好的效果。