1 引言
在机器翻译、图片描述、语义蕴涵、语音识别和文本摘要中，序列到序列的问题已经有太多大牛研究了，也取得了很多突破。谷歌的Attention is all you need[1],舍弃并超越了主流的rnn与cnn序列建模框架，刷出了新的state of the art,这种大胆创新的精神值得我们学习。后面相信会有更多的attention变体甚至和rnn/cnn结合的电路图涌现，当然我们更期待的不是这些，我们更向往大道至简。我们在follow的同时，也期望自己的每一个新的想法，新的尝试能够汇入深度学习的大浪，为人类的未来贡献自己的一份力量。
在电子商务搜索中，query作为表达用户意图的载体起到了非常重要的作用。如何根据用户的历史行为序列给用户推荐一个query，吸引用户发生搜索以及后续的成交是非常有意义的，比如淘宝的底纹推荐。如下图是一个在iphone上的引导图，欢迎大家多多使用底纹。
2 技术方案
在技术方案这部分，我们首先介绍一下整体思路，然后重点讨论一下序列embedding.