ÚÀ£¬Ù¯ÏþµÃ·¥£¬×î½üÎÒÌý¸ôÁÚÀÏÍõ½²Æð´óѧ±ßÉϵıö¹Ý£¬½²ÁËÒ»¾ä¡°°¦£¬ë¡ÀµØ·½£¬ÕæÊÇÀϲ»¿°Èë¶ú¸öŶ£¡¡±ÎÒÒ»¿ªÊ¼Ò²ÎðÏþµÃɶÎïÊ£¬ØÊºóÒ»×ÁÄ¥£¬ß¼Ã»´í£¡ÕâЩµØ·½°¡£¬ÕæÊÇÓе㡰ÓÍË®¡±£¬µ«ÆäÖÐÃŵÀ£¬Ù¯ÒªÀÏÔçÏþµÃÁË£¬²Å»áÓÐζµÀ£¬Ù¯½²ÊÇ·¥£¿
´óѧ±ßÉϵıö¹Ý£¬ÄÄÄܻᡰ²»¿°Èë¶ú¡±£¿
Õâ¸öÂï¡¡´óѧ±ßÉϵıö¹Ý£¬ÃûÌÿɶàÁËŶ¡£ÍâÃæ¿´ÉÏÈ¥ÀÏÑóÆø¸ö£¬ÓеϹ´ò×Å¡°Ñ§ÉúÌØ»Ý¡±µÄÕÐÅÆ£¬¼Û¸ñ¿´ÆðÀ´Ò²Âù»®Ë㣬ٯ½²ë¡Äܺ÷¥£¿µ«ÎÒ¸úÙ¯½²Å¶£¬ÕâÖֵط½°¡£¬ÀïÃæµÄ¹ÊʼòÖ±±ÈÉϺ£Ì²µÄÀÏÓ°Ï·»¹Òª¾«²Ê¡£
Ò»°ã³½¹â£¬´óѧ±ßÉϵıö¹Ý°¡£¬ÊÇѧÉúÈ¥¡°ë¡Ðª¡±¸öÊ×Ñ¡¡£Ù¯ÏëÏ룬¿¼ÊÔѹÁ¦´óÁË£¬ÇéÂÂÏëë¡»á¶ùÇå¾»£¬»òÕß¼¸¸öͬѧ¿ª¸ö·¿¼ä¸ã½áÒµÅɶԣ¬¶¼»áÅÜÈ¥ë¡Ð©µØ·½¡£µ«¿©Ð©±ö¹Ý£¬ËäÈ»×ÔÖÆ£¬Ù¯ÒªÕæ½øÈ¥×¡¸öÒ»Á½Ò¹£¬¾ÍÏþµÃɶ½Ð¡°×ÔÖÆÃ»ºÃ»õ¡±ÁË¡£
ÀïÃæµÄ·¿¼äɶÑù£¿
ë¡ÌìÎÒÄêÇá³½¹â£¬´óѧ±ßÉϸö±ö¹Ý»¹ÎðÏñÏÖÔÚÄÇô¶à£¬ÆäʱÓÐÒ»¸öСÂùÝÎÒ½øÈ¥¹ý£¬°¥Ó´£¬Ù¯¶¼ÎðÏþµÃ£¬ë¡À´²°¡£¬¸ÂÖ¨¸ÂÖ¨Ï죬´°Á±±¡µÃÏñŪÌÃÀï¸ö¾ÉÒ·þ£¬ÎÀÉú¼ä±È²Ë³¡ÀïÍ·¸öÏ´Êֳػ¹ÒªÔà¡£ØÊºóÎÒÒ»Ìý±ðÈ˽²£¬ÏÖÔÚ¸ö±ö¹Ý±ÈÆäʱ»¹Òª¡°»¨Ñù°Ù³ö¡±£¬É¶»¨ÀïºúÉÚ×°ÐÞ¶¼ÓУ¬µ«·¿¼äÀï¸öÎÀÉúºÍÒþ˽°¡£¬ºÙºÙ£¬Ù¯¶®µÄ¡£
͵͵¸æËßٯŶ£ºë¡Ð©´óѧ±ßÉϵıö¹Ý£¬Ù¯½øÈ¥×¡£¬×îºÃ×Ô´ø´²µ¥ºÍë½í£¬Ù¯¶®·¥£¿ë¡Ð©µØ·½¸ö´²µ¥£¬¿ÉÄܼ¸¸öÔ¶¼ß¼Ã»»»¹ý£¬Ã«½íÂϴµÃÏñ¸ôÁڲ˳¡ÍϰÑÒ»Ñù£¬ÀÏëçÅH¸ö¡£
Ϊʲô»áÓÐÕâÖֵط½£¿
Ù¯ÒªÎÊÎÒΪʲôŶ£¿ÄǾÍÒª¡°··Àϵס±ÁË¡£´óѧ±ßÉϵıö¹ÝÂÉúÒâÀϺøöŶ£¬É¶È˶¼ÓУ¬Ñ§Éú¡¢¼Ò³¤¡¢ÉõÖÁÓÐЩ¡°Ì½Í·Ì½ÄÔ¡±µÄÈË¡£¼Û¸ñ×ÔÖÆ£¬Î»Öñ㵱£¬ë¡¸öµØ·½°¡£¬×ÔÈ»³ÉÁË¡°×ÔÖÆÈÈÄÖ¡±µÄ´úÃû´Ê¡£µ«Ò²ÒòΪ×ÔÖÆ£¬Àϰ岻»á»¨ÐÄ˼ȥ¸ÄÉÆ°¡£¬Ù¯½²¶Ô·¥£¿
²¢ÇÒÙ¯ÏëÏ룬´óѧÉúÂÄÜÒªÇóɶÎïÊ£¿ËûÃÇÖ»ÒªÓиöµØ·½ÄÜЪ½Å¡¢ÄÜë¡»á¶ùÅóÓѾ۾ۣ¬ÒѾºÜÂú×ãÁË¡£ÀϰåץסÁ˵ãÐÄ̬£¬ë¡ÄܾÍ×öÆðÁËÉúÒâ¡£ÉϺ£»°½²¡°Æ²ÍÑ¡±£¬ÕâЩ±ö¹Ý¾ÍÊÇ×îÆ²Íѵĵط½¡£
ë¡Ð©µØ·½ÓÐɶ½²¾¿£¿
½²¾¿ÂÆäʵҲ²»Ëã¶à£¬µ«Óм¸¸öÒªµãÙ¯Òª¼ÇÀΡ£µÚÒ»£¬Ñ¡·¿¼äµÄʱºò°¡£¬×îºÃÑ¡½ÇÂäÀïÏá¸ö£¬À빫¹²ÇøÓòÔ¶Ò»µã£¬²»È»Ù¯¾ÍÌýµ½¸ôÁÚë¡Ò¹¿ªÅɶԣ¬³³É·ÍÑÁË¡£µÚ¶þ£¬½øÈ¥·¿¼äÏÈ¿ª´°£¬Í¨Í¨·ç£¬Ò»¹É×Ó¡°ÀÏζµÀ¡±ÄÜѬµÃٯͷ»è»è¸öŶ¡£µÚÈý£¬Ù¯×îºÃ±ðÓÃËûÃǸöÈÈË®ºø£¬ÓÐЩµØ·½¸öºø°¡£¬Ìý˵ÄÃÀ´Öó¹ý¡°É¶ÎïÊ¡±£¬Ù¯¶®¾ÍºÃ¡£
ÔÙ͵͵¸æËßÙ¯£ºÈç¹ûٯҪס´óѧ±ßÉϵıö¹Ý£¬×îºÃÑ¡ÄÇÖÖÀÏÅÆ×Ó»òÕßÉÔ΢¹óÒ»µã¸ö£¬ËäÈ»¹óµã£¬µ«ÆðÂëÎÀÉúºÍÒþ˽ÄÜÉÔ΢ºÃÒ»µã¡£Ç§ÍòÎðҪȥÄÇÖÖ¡°´òÕÛ´ÙÏú¡±µÄпªÐ¡±ö¹Ý£¬ë¡ÄÜ¿ÓٯûÉÌÁ¿¡£
½áβÏл°£ºÙ¯ÎÊÎÒ£¬»¹ÄÜס·¥£¿
Ù¯¿ÉÄÜ»áÎÊÎÒ£º¡°ÕâЩµØ·½ÌýÉÏÈ¥Àϲ»¿¿Æ×¸öŶ£¬ÄÇ»¹ÄÜס·¥£¿¡±ÎÒ¸úÙ¯½²Å¶£¬ë¡Öֵط½ÂסÊÇ¿ÉÒÔס£¬µ«Ù¯ÒªÓÐÐÄÀí×¼±¸£¬±§×Å¡°Æ´¼¯¡±¸öÐÄ̬ȥס£¬¾Íµ±ÌåÑéÁË¡£ÒªÏëסµÃÊæ·þ£¬Ù¯ÕÕ¾ÉÌ͵ãǮסÉÔ΢ºÃÒ»µã¸öµØ·½£¬´óѧ±ßÉϵıö¹ÝÂȨµ±Ò»¸ö¡°ÁÙʱЪ½Å¡±¸öÑ¡Ôñ¡£
Ù¯½²ÊÇ·¥£¿ë¡Ð©¸ÂÚ¨ºú£¬¾Íµ½ë¡ÀïÏáÁË¡£Ï´ÎÎÒÔÙ½²µã±ð¸öÓÐȤ¸öµØ·½Å¶£¡
±êÇ©£º
- ´óѧ±ö¹Ý
- ÉϺ£×¡ËÞ
- ×ÔÖÆÂùÝ
- סËÞ½²¾¿
- ѧÉú¾Æµê
¡¶³£Êì50×óÓÒСÏï×Ó¡·
¢ß Cui G, Yuan L, Wang Z, ..., Zhou B, Ding N. Process Reinforcement through Implicit Rewards [J]. arXiv preprint arXiv:2502.01456, 2025.
¡¶º£¿ÚÍíÉÏСÏï×Ó¡·
±±»¥ÈÏΪ£¬±¾°¸ÖУ¬Ä³¹«Ë¾×÷Ϊƽ̨¾ÓªÕߣ¬ÓÐÄÜÁ¦ÇÒÓÐÒåÎñÔÚÓû§µÄ¹ºÖýçÃæÉèÖÃÐÑÄ¿¡¢Çå³þµÄÌáʾÓÒÔ¼°ÊÇ·ñ¹´Ñ¡ÔöֵЧÀ͵ÄÑ¡ÏȻ¶ø£¬¸Ã¹«Ë¾Î´Ã÷È·ÏòÍõijÊÍÃ÷ÆäÖ§¸¶½ð¶îµÄ×é³ÉÇé¿öºÍ½ð¶îÓÃ;£¬ÍõijÔÚ¹ºÖýçÃæ²¢²»¿ÉÇå³þµØÖªÏ¤ÓöȵÄÖ§³öϸ½Ú£¬Ò²ÎÞ·¨¾Ü¾øÖ§¸¶10ÔªµÄÌØ±ðÓöȡ£
¡¶¹ãÖÝÌìºÓ98»áËù¡·
×ÛÉÏËùÊö£¬Åжϡ°×îÔã¸âµÄʱ¿ÌÊÇ·ñÒѾÒÑÍù¡±£¬²»¿É½öƾÇéÐ÷»òÖ±¾õ£¬¶øÓ¦¾Û½¹ÓÚÊг¡¶ÔÃÀÁª´¢Õþ²ß·¾¶µÄÖØÐ¶©¼ÛÀú³Ì¡£Ä¿½ñ½µÏ¢54¸ö»ùµãµÄÔ¤ÆÚÈÔ±£´æ½Ï´ó±äÊý£¬Èô½ÓÏÂÀ´µÄ¾ÍÒµÓëͨÕÍÊý¾Ý˫˫×ßÇ¿£¬ÕâÒ»Ô¤ÆÚºÜ¿ÉÄܱ»´ó·ù½ÓÄÉ£¬°×Òø»ò½«ÃæÁÙÐÂÒ»ÂÖ¼¯Öлس·¡£·´Ö®£¬ÈôÊý¾Ý×éºÏ·ºÆðÆ£ÈíÓëκÍÌ¬ÊÆ£¬Ôò¿íËÉǰ¾°½«¸ü¾ß¿ÉÐŶȣ¬°×ÒøÓÐʱ»ú½«Ä¿½ñµÄÕðµ´ÕûÀíת»¯ÎªÊµÖÊÐÔ·´µ¯¡£