基于马尔可夫模型的认知无线电智能频谱接入算法

论文摘要

近年,随着无线宽带技术的快速发展,频谱资源匮乏的问题正日益成为制约无线通信系统发展的瓶颈。认知无线电技术就是解决频谱资源利用率失衡的有效手段。认知无线电通过感知无线环境,寻求可用频谱资源,进行智能的、动态的频谱接入,进而使频谱资源利用率得到了有效的提高。为了满足避免干扰主用户这个基本要求,智能的动态频谱接入就成为认知无线电的关键技术核心。本文主要针对认知无线电系统中的关键技术之一—基于POMDP模型的动态频谱接入算法进行了较为深入的研究。本文首先对认知无线电技术的定义进行了阐述,总结了国内外对认知无线电系统的研究现状,并介绍了人工智能中机器学习的基本概念和分类。文中第二章介绍了动态频谱接入算法中的马尔可夫决策过程(MDP)和部分观测马尔可夫决策过程(POMDP)算法。在这一章节中,首先介绍马尔可夫过程(MDP)的基本概念和解决马尔可夫决策过程(MDP)的三种算法,然后阐述了部分观测马尔可夫模型(POMDP)及其两种解决思路。本文第三章主要讨论二级用户在准确模型下采用POMDP算法进行智能动态频谱接入的过程。文中将二级用户吞吐率为目标,提出无感知错误的POMDP智能接入最优算法。并当环境模型复杂时,给出了次优贪婪算法。同时通过仿真曲线分析两种算法的吞吐率。本章最后给出当主用户信道频繁切换模型下二级用户的仿真分析。本文第四章介绍非准确模型下的动态智能频谱接入过程,其中主要分为两个部分。第一部分阐述当二级用户存在感知错误时,POMDP智能算法如何消除感知错误带来的影响。第二部分阐述当二级用户预先不具备环境先验知识时,如何采用统计学习方法构建环境模型,并完成动态频谱智能接入的过程。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 无线频谱资源使用现状
• 1.2 认知无线电的定义和发展概述
• 1.2.1 认知无线电定义
• 1.2.2 认知无线电中动态频谱接入
• 1.3 认知无线电中人工智能
• 1.3.1 机器学习系统的概念及基本结构
• 1.3.2 机器学习中基于反馈的分类
• 1.4 本文结构安排
• 第2章 强化学习中的动态决策规划算法
• 2.1 强化学习
• 2.1.1 引言
• 2.1.2 强化学习的主要组成要素和原理
• 2.1.3 强化学习的数学模型
• 2.2 转移概率已知的马尔可夫决策过程
• 2.2.1 有限阶段准则报酬效用函数
• 2.2.2 折扣准则报酬效用函数
• 2.2.3 平均准则报酬效用函数
• 2.3 转移概率函数未知的马尔科夫决策过程
• 2.3.1 Monte Carlo 算法
• 2.3.2 瞬时差分（temporal difference，TD）算法
• 2.4 部分观测马尔科夫决策过程（POMDP）
• 2.4.1 值迭代算法
• 2.4.2 策略迭代算法
• 2.5 本章小结
• 第3章 准确模型下的动态频谱智能接入
• 3.1 引言
• 3.2 外部环境建模
• 3.3 基于POMDP 的动态频谱接入决策
• 3.3.1 部分可观测马尔可夫决定过程（POMDP）
• 3.3.2 充分统计量
• 3.3.3 收益和目标函数
• 3.4 频谱感知和接入策略
• 3.4.1 最优信道频谱感知和接入策略
• 3.4.2 降低复杂度的次最优策略
• 3.5 性能分析与仿真
• 3.6 本章小结
• 第4章 非准确环境模型的动态智能频谱接入
• 4.1 非准确环境模型的定义
• 4.2 感知非准确的动态频谱智能接入
• 4.2.1 MAC 层感知
• 4.2.2 物理层感知
• 4.3 环境模型未知的动态频谱智能接入
• 4.3.1 非监督的统计学习
• 4.3.2 环境模型的建立
• 4.4 仿真实验
• 4.4.1 感知非准确的动态频谱智能接入
• 4.4.2 未知环境下动态频谱智能接入的仿真结果
• 4.5 本章小结
• 结论
• 参考文献
• 攻读硕士学位期间发表的论文及其它成果
• 致谢