瞬时差分方法在中国象棋计算机博弈中的应用

论文摘要

与国际象棋相比较,中国象棋具有更大的棋子运动空间,并且中国象棋的着法更加特殊、棋局变化也更加复杂。在中国象棋计算机博弈中,对于设计一款优秀的博弈软件而言,最费时的就是评价函数的实现与调整。在本文中,我们使用三层的全连接前馈式神经网络表示评价函数,瞬时差分方法是一种增强学习算法,它利用相邻状态之间的状态值之差逐步地更新值函数的权值。基于单输出的神经网络,通过将TD(λ)算法引入到中国象棋计算机博弈中,我们推导出了套新的神经网络权值更新规则。我们使用专家棋谱作为训练样例,并利用新权值更新规则完成对网络的更新。在训练神经网络的过程中,每份专家棋谱被重复地学习,直至评价函数对专家棋谱中每个局面给出的评价值达到稳定。通过实验验证,我们学习到的评价函数是可行有效的。并且,我们获得了评价函数的表现与三种参数之间的关系：评价函数表现与神经网络隐含层节点个数之间的关系、评价函数表现与学习率α之间的关系、以及评价函数表现与参数λ之间的关系。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 研究工作的目的与意义
• 1.2 本课题的国内外发展现状
• 1.3 本课题研究的主要内容
• 第2章 中国象棋计算机博弈中的关键技术
• 2.1 局面及着法的表示
• 2.2 搜索算法
• 2.3 着法生成
• 2.4 评价函数
• 2.5 本章小结
• 第3章 将专家棋谱转化成为局面数组
• 3.1 将专家棋谱转化成为局面数组序列
• 3.2 着法拆分算法
• 3.3 本章小结
• 第4章 增强学习与瞬时差分方法
• 4.1 增强学习系统
• 4.2 增强学习问题的求解方法
• 4.3 瞬时差分学习
• 4.4 本章小结
• 第5章 利用瞬时差分方法训练评价函数
• 5.1 值函数V（s,w）的权值更新规则
• 5.2 神经网络权值更新规则
• 5.3 利用专家棋谱训练神经网络
• 5.4 实验效果
• 5.5 本章小结
• 第6章 结论与展望
• 参考文献
• 攻读硕士学位期间科研工作情况
• 致谢