[发明专利]无速率编码传输系统中基于Q学习的传输帧长主动自适应调整方法

摘要

本发明公开了一种无速率编码传输系统中基于Q学习的传输帧长主动自适应调整方法。即利用ACK反馈信息以估计信道状态，通过一张策略表，决定在当前信道状态下所应采用的策略，从而使发送端能够随信道变化主动自适应地调整传输帧长。在无速率编码传输中，该方法先通过之前传输的情况估计当前信道所处状态，再根据信道状态输出策略，决定此次发送端需要连续发送的编码包数目。发送端将编码包发送出去以后检测信道，将是否收到ACK这一信息反馈给该方法，使其更新对当前信道情况的估计并对下一次发送策略做出不同的调整。该方法充分利用了信道反馈信息，使传输帧长随信道环境的变化而主动自适应地变化，从而充分发挥了无速率码的信道自适应性。

主权项

一种无速率编码传输系统中基于Q学习的传输帧长主动自适应调整方法，其特征在于，先根据接收端的反馈信息获取当前信道信息并判断信道所属状态s，再根据策略函数π(s)决定下一次连续发送的子帧数目，假设在发送端发送新的数据包之前估计信道状态为s′，其中发送端的处理步骤如下：1)发送端取数据包，进行无速率编码产生数量充足的编码包，然后将编码包拆分并分别封装成子帧；2)根据Q学习策略函数的输出，得到应该连续发送的子帧数目π(s′)，并将π(s′)个子帧连续发送出去；3)进入CS状态检测信道信号，如果接收到ACK则进入步骤4)；如果检测ACK超时则进入步骤5)；4)根据记录下来的π(s′)和是否收到ACK反馈，得到更新后的信道状态为s，并对在信道状态s′下连续发送π(s′)个子帧进行Q学习，准备下一次数据包的发送，返回步骤1)；5)发送该数据包的Δ个冗余子帧，得到更新后的信道状态为s，并对在信道状态s′下连续发送π(s′)个子帧进行Q学习，更新策略值π(s′)←π(s′)+Δ，返回步骤3)；接收端的处理步骤如下：6)接收端在接收到数据包的子帧后，对数据包进行无速率译码，若译码成功，则检测到信道空闲时反馈ACK；否则，等待新的子帧加入译码；所述的Q学习的方法如下：在状态可区分的前提下，根据Q学习的基本原理，根据不同状态存储一张策略表Q(s,n)，表的行表示状态s，列表示所有可取的子帧数目n，表项的值表示在状态s下连续发送n个子帧所收到的回报，这个回报由两部分组成，一个是发送一定数目子帧以后的即时回报r，一个是经过折算因子γ折算过的累计回报，而算法的目标之一就是最大化累计回报以期整个传输获得最大吞吐量；假设p为介于(0,1)的值，表示在一次策略选择中选取已知状态下的最佳子帧数目的概率，则Q学习方法以及策略输出的运行步骤如下：1)初始化Q(s,n)的表项为0，s′为任意状态，由确定，其中μ′,σ′可赋值任意正数；2)根据信道状态s′，找到表Q(s,n)中s′对应的行；3)生成一个介于(0,1)的随机数random，如果random≤p，进入步骤4)；否则进入步骤5)；4)将表Q(s,n)中s′对应的行中存有最大值的表项对应的n记为amax，并作为策略输出值π(s′)给发送端；进入步骤6)；5)设表Q(s,n)中s′对应的行中存有最大值的表项对应的n为amax，选取amax‑1作为策略值π(s′)给发送端；6)发送端连续发送π(s′)个子帧；7)发送端进入CS状态检测ACK；如果检测到ACK信号，赋值内部变量r＝100,fail_flag＝0；如果检测超时，赋值r＝0，fail_flag＝1；8)学习当前信道状态，由s＝δ(s′,π(s′))确定信道当前所处的状态s，找到表Q(s,n)中s对应的行，对表项Q(s′,π(s′))进行更新，赋值为r+γmaxQ(s,:)；9)如果fail_flag＝1，发送端继续发送Δ个冗余，并更新s′←s，π(s′)←π(s′)+Δ，返回步骤7)；否则s′←s，返回步骤2)。