Bertが出力するベクトルを機械翻訳に使える？

https://github.com/hanxiao/bert-as-serviceを使えば、Bertが出力するベクトルを選択した層から入手できます。

このベクトルはContextualやSemantic的情報が組み込まれているためにELMOからFeature Extractionを実施するようにBERTからもできます。

しかし、通常のSeqtoSeqモデルに上記ベクトルをInput Sentence入力してもLSTMがStateをEncoderからDecoderに渡す時点で情報量が減少してしまうので違うモデルを検討中です。

BERTを逆さにしたモデルを構築できるかどうか調べてみたいです。

例えば英語版BERTに和訳したい文章を通して、日本語訳文をMultilingual　BERTを通して出力したベクトルを何かしらのNNの目標ベクトルと設定してトレーニングを実施すれば、後は逆さのMultilingual Bertにこのベクトルを通せば最終段階の「Reverse Tokenizer」にて日本語訳文が出力されるはずです。こんな事が可能でしょうか。

課題ができました。