論文役メモ ～ 自然言語処理 ～ Language Modeling with Gated Convolutional Networks ～ Abstract

Language Modeling with Gated Convolutional Networks

https://arxiv.org/pdf/1612.08083.pdf

Facebook AI ResearchによるCNNを利用した自然言語処理に関する論文

訳メモ

Abstract

The pre-dominant approach to language modeling to date is based on recurrent neural networks.
Their success on this task is often linked to their ability to capture unbounded context.
In this paper we develop a finite context approach through stacked convolutions, which can
be more efficient since they allow parallelization over sequential tokens. 
We propose a novel simplified gating mechanism that outperforms Oord et al. (2016b) 
and investigate the impact of key architectural decisions. 
The proposed approach achieves state-of-the-art on the WikiText-
103 benchmark, even though it features longterm dependencies, as well as competitive results
on the Google Billion Words benchmark.
Our model reduces the latency to score a sentence by an order of magnitude compared to a
recurrent baseline. To our knowledge, this is the first time a non-recurrent approach is competitive
with strong recurrent models on these large scale language tasks.

これまでの言語モデルへの大半のアプローチはRNNをベースとしていた。
RNNによる言語モデリングの成功は、RNNがunbounded contextをとらえる能力をもっていることに繋がっていた。
本論文では、シーケンシャルなトークンに対して並列処理が可能で、より効率的である多層畳み込みを使用した有限コンテキストアプローチを構築する。
Oord et al. (2016b)を超える単純化したゲートメカニズムを提案し、重要な構造決定の影響を調べる。
提案するアプローチは長期依存性をもっているが、WikiText-103ベンチマークに関して最先端を実現する。
Google Billion Words benchmarkに対しても競り合える結果を出す。
我々のモデルは、リカレントベースラインと比較して、文のスコアリングの遅延を削減する。
我々の知る限りでは、これらの巨大スケールの言語タスクに対してRNN以外のアプローチが、強力なRNNに匹敵する結果をだすのは初めてである。