近年来，语言建模预训练方法在自然语言处理任务中得到了有效的改进。
ELMo的大部分改进都来自于对Transformer方法的大规模研究，如BERT或XLNET，尽管事实上变压器的培训成本很高。不幸的是，我们还没有看到负担得起的ELMo有太多的改进，而这个体系结构的局限性已经在许多论文中得到了解决。
格里高利SenayxBrain的CSO将提出一种改进ELMo的新架构，并在基于特征模型的GLUE任务中达到更高的性能，同时保持有限的计算成本。
这个新的架构使用了一些transformer的改进，但也使用了一些加速和提高培训质量的技巧。
无论您是想了解更多关于这个新架构的信息，还是只想参bob电子竞技平台与一个愉快的讨论，请随时加入我们!
什么时候?
美国太平洋时间2019年11月14日，星期四上午9:30
