ÚÀ£¬Ù¯ÏþµÃ·¥£¬×î½üÎÒȥȪÖݸ¡ÇÅСÏï×Óµ´ÁËÌËÂí·¡£ë¡¸öµØ·½Å¶£¬¿ÉÄÜÀÏÔç¾ÍÌý½²¹ýÁË£¬¿ÉÊÇÙ¯ÕæÒªÈ¥×ß×ß¿´£¬²Å»ªÏþµÃÀïÍ·¸öÃŵÀ¡£ÏÖÔÚÉϺ£È˽²Ð¡Ïï×Ó£¬ÄÔ×ÓÀï¿Ï¶¨ÊÇŪÌÃÂ롸öȪÖݸ¡ÇÅСÏï×ÓŶ£¬½²ÕæµÄ£¬¸ãµÃÓеãÏñ°¢À¾ÉÉϺ£¸öŪÌã¬ÀÏÓÐζµÀ¸ö¡£
ÎÒ¸úÙ¯½²Å¶£¬ÕâµØ·½Ãû×Ö¾ÍÓÐÒâ˼
ȪÖݸ¡ÇÅСÏï×Ó£¬ÌýÆðÀ´ÏñÊǸöËæ±ãÆðµÄÃû×Ö¶Ô·¥£¿ÆäʵŶ£¬ë¡¸öÃû×Ö±³ºóÓе㽲¾¿¡£ÎÒÀÏÔçÌýÎÒÒ¯Êå½²£¬ÈªÖݸö¸¡ÇÅÊǸ£½¨Ò»¸öµØ·½¸öµØ±ê£¬ÒÑÍùÀÏÔç¸ö³½¹â£¬¸£½¨ÉÌÈËÀ´ÉϺ££¬ÎÄ»¯½»Á÷¶àµÃÀ´²»µÃÁË£¬ËûÃǾʹøÁ˲»ÉÙ¸£½¨Î¶µÀ¹ýÀ´£¬ë¡¸öСÏï×Ó¿ÉÄÜÒ²ÊÇë¡Ñù¸öÅä¾°¡£Ù¯½²ÊDz»ÊÇ£¿
²»¹ýŶ£¬ÕæÕý×ß½øÈ¥£¬Ù¯»á·¢Ã÷ÀïÏáÓеãÌØ±ð¡£ë¡¸öÏï×Ó²»ÏñÉϺ£ÀÏŪÌã¬ËÄÆ½°ËÎȸöֱ·¡£ËüÈÆÀ´ÈÆÈ¥¸ö£¬Ïñ³ÇÚòÃíÀïÍ·¸ö·һÑù£¬¹Õ½ÇÀïÍ·²Ø×ÅЩÀϵêËÁ£¬ÕæÊÇÒª×ß½øÈ¥²Å»á·¢Ã÷¡°Ç¬À¤¡±¡£
롵ط½¸öζµÀ£¬²ÅÊÇÀϽá¹÷Ŷ
ë¡ÌìÒ¹¿ìµãÎÒ³ÔºÃÒ¹·¹£¬¾ÍÏë³öÈ¥µ´µ´Âí·£¬ß¼Ã»Ïëµ½Ò»½Å̤½øÈªÖݸ¡ÇÅСÏï×Ó£¬·¢Ã÷Ò»¼ÒÃÅÃæÎðÆðÑÛ¸ö¸£½¨Ð¡³Ôµê£¬ÀïÏáÖó×ÅÒ»¹øÓãÍèÌÀ£¬Î¶µÀÆ®³öÀ´£¬ÏãÉ·ÍÑÁË¡£°¢ÀÉϺ£È˳ԹßÁËÉú¼å¡¢ÓÍÌõ¡¢ÅŹÇÄê¸â£¬µ«ë¡¸öÓãÍèÌÀŶ£¬ÕæÊÇÏʵÃÀ´Í¸¹ÇÍ·¡£ÎÒÆäʱ¾ÍÂòÁËÒ»Í룬ÀïÍ·¸öÓãÍ赯ÐÔÀϺã¬ÌÀÍ·ÇåÏÊ£¬ºÈÁ˾;õµÃë¡ÌìÒ¹¸öÔÂÁÁ¶¼±ÈƽʱÁÁµã£¡
͵͵¸æËßٯŶ£¬ë¡Ïï×ÓÀïÓÐÒ»¼ÒÀϲ®²®¿ªµÄСµê£¬×¨Âô¸£½¨É³²èÃæ¡£É³²è½´¸öζµÀÓõÃÀϽ²¾¿£¬ÉϺ£È˳Ôϰ¹ßÁËÌðÏʿڣ¬Ù¯³Ô롸öɳ²èÃæ£¬»áÓеãÐÂÏÊ¡£¼Ç×ÅŶ£¬Àϰå¸öɳ²è½´ÊÇ×Ô¼ºµ÷Åä¸ö£¬ÆäËûµØ·½³Ô²»µ½£¬µÖµÃÉÏÒ»ÍëÕý×Ú¸öÅŹÇÄê¸â£¡
Ïï×ÓÀïÏáÁíÓÐɶ£¿ÀÏÉϺ£¸ö½²·¨
ÎÒ¸úÙ¯½²Å¶£¬ÈªÖݸ¡ÇÅСÏï×ÓÀï²»µ«ÓгԺȣ¬ÁíÓеãÎÄ»¯Î¶µÀ¡£ÀïÏáÓм¸¼ÒСÆÌ×Ó£¬×¨ÂôЩ¸£½¨ÌØÉ«¸öÊÖ¹¤ÒÕÆ·£¬Ïñë¡ÖÖÓñ´¿Ç×ö³É¸ö°²ÅÅ£¬ÁíÓÐһЩÀÏÔç¸ö´ÌÐå×÷Æ·£¬ë¡ÖÖ¹¤¾ßŶ£¬¿ÉÄܰ¢ÀÉϺ£ÈËÆ½Ê±Îð´ó½Ó´¥£¬µ«´ø»ØÈ¥°Ú°Ú£¬¼ÒÀï͸µãÒìµØ¸öÇéµ÷³öÀ´¡£
²¢ÇÒÙ¯×Ðϸ¿´Å¶£¬Ð¡Ïï×ÓÀï¸ö½¨Öþ£¬ÓеãÏñ°¢ÀÉϺ£¸öʯ¿âÃÅ£¬´øµãÖÐÎ÷ºÏ赸öζµÀ¡£ë¡ÖÖ½¨Öþ×÷·ç£¬¿ÉÄÜÊǸ£½¨ºÍÉϺ£¸öÎÄ»¯Åöײ°É£¬ÕÕÎÒ¿´À´Å¶£¬ÀÏÓÐÒâ˼¸ö¡£
Ù¯¿ÉÄÜ»áÎÊ£ºÈªÖݸ¡ÇÅСÏï×Ó£¬É¶³½¹â×îºÃÈ¥£¿
ÎÒ¸úÙ¯½²Å¶£¬ë¡¸öµØ·½×îºÃÊÇÍíÉÏÈ¥¡£Ò¹µÆÁÁÆðÀ´£¬Ïï×ÓÀïÏáÏÔµÃÀÏÓÐÇéµ÷£¬»¹ÄÜÎŵ½¸÷¼ÒС³ÔµêÆ®³öÀ´¸öÏã棬ë¡ÄܾͶÔÁË¡£
±êÇ©£ºÈªÖݸ¡ÇÅСÏï×Ó¡¢ÉϺ£ÅªÌᢸ£½¨Ð¡³Ô¡¢ÎÄ»¯Åöײ¡¢Ò¹ÍíÉ¢²½
¡¶3000¿é˯¸öÅ®È˹óÂð¡·
ÔÚ¹þ¶û±õ±ùÑ©´óÊÀ½ç£¬ÊýÒÔÍò¼ÆµÄÓοÍÔÚ¡°±ùÑ©Íõ¹ú¡±ÀÖÏí±ùÇéѩȤ¡£ÐÛΰµÄÖйúÌì̳¡¢¸ßËʵÄÂíÀ´Î÷ÑÇË«×ÓËþ¡¢Á鶯µÄÐÂ¼ÓÆÂÓãβʨ¡¡ÑÇÖÞ²î±ðµØÇøµØ±êÔìÐͱùµñÎüÒýÓοÍÄ¿¹â¡£Í¸¹ýÑǶ¬»áµÄ´°¿Ú£¬ÊÀ½ç¸ÐÖª×ÅÔ½ÀäÔ½»ðÈȵĶ«±±£¬Æ·¶Á×ÅÖйúʽÏÖ´ú»¯µÄÈÝÄÉÓ뿪·Å¡£
¡¶¼æÖ°Å®ÉúЧÀÍ¡·
¢Ù Vaswani A, et al. Attention is all you need [C]// Advances in neural information processing systems, 2017, 30.
¡¶ÉÌÎñÄ£ÌØÖ®ÃÀԺŮº¢¡·
·ÇÅ©Êý¾ÝС·ù³¬Ô¤ÆÚºó£¬Å·Ôª¶ÒÃÀÔª¶ÌÏß³Ðѹ£¬´ÓÅ·ÖÞʱ¶ÎǰÆÚµÄ1.1927¸ßλ»ØÂäÖÁÄ¿½ñ1.1870ËÄÖÜ¡£