本文摘要：摘 要：超密集網(wǎng)絡(luò)(Ultra-Dense Network, UDN)中集成移動(dòng)邊緣計(jì)算(Mobile Edge Computing, MEC)，是 5G 中為用戶提供計(jì)算資源的可靠方式，在多種因素影響下進(jìn)行 MEC 任務(wù)卸載決策一直都是一個(gè)研究熱點(diǎn)。目前已存在大量任務(wù)卸載相關(guān)的工作，但是這些方案中很少將重心放
摘 要：超密集網(wǎng)絡(luò)(Ultra-Dense Network, UDN)中集成移動(dòng)邊緣計(jì)算(Mobile Edge Computing, MEC)，是 5G 中為用戶提供計(jì)算資源的可靠方式，在多種因素影響下進(jìn)行 MEC 任務(wù)卸載決策一直都是一個(gè)研究熱點(diǎn)。目前已存在大量任務(wù)卸載相關(guān)的工作，但是這些方案中很少將重心放在用戶在不同條件下的能耗需求差異上，無(wú)法有效提升用戶體驗(yàn)質(zhì)量(Quality of Experience, QoE)。在動(dòng)態(tài) MEC 系統(tǒng)中提出了一個(gè)考慮用戶能耗需求的多用戶任務(wù)卸載問(wèn)題，通過(guò)最大化滿意度的方式提升用戶 QoE，并將現(xiàn)有的深度強(qiáng)化學(xué)習(xí)算法進(jìn)行了改進(jìn)，使其更加適合求解所提優(yōu)化問(wèn)題。仿真結(jié)果表明，所提算法較現(xiàn)有算法，在算法收斂性以及穩(wěn)定性上具有一定提升。
關(guān)鍵詞：移動(dòng)邊緣計(jì)算;超密集網(wǎng)絡(luò);卸載方案;深度強(qiáng)化學(xué)習(xí)
引 言
隨著無(wú)線通信技術(shù)的快速發(fā)展和智能設(shè)備的廣泛普及，近年來(lái)移動(dòng)應(yīng)用迎來(lái)爆炸式增長(zhǎng)[1]，然而移動(dòng)設(shè)備(如智能手機(jī)，可穿戴設(shè)備)的計(jì)算能力和電池電量通常都是有限的[2]。上述應(yīng)用和資源受限設(shè)備之間的關(guān)系對(duì)提高移動(dòng)用戶體驗(yàn)質(zhì)量提出了巨大的挑戰(zhàn)[3]。移動(dòng)邊緣計(jì)算將計(jì)算服務(wù)器從云中心下沉到網(wǎng)絡(luò)邊緣，用戶可以利用計(jì)算卸載技術(shù)將任務(wù)卸載到邊緣服務(wù)器進(jìn)行計(jì)算來(lái)滿足密集計(jì)算的需求[4]。5G架構(gòu)下的超密集網(wǎng)絡(luò)是一種多基站協(xié)作服務(wù)的異構(gòu)網(wǎng)絡(luò)方案，可以有效改善網(wǎng)絡(luò)的整體性能[5]。
因此，與 MEC 集成的 UDN 被視為 5G 應(yīng)用中的一種可靠的技術(shù)[6]。用戶卸載決策一般由軟件定義網(wǎng)絡(luò)(Software Define Network, SDN)架構(gòu)下的中央控制器進(jìn)行統(tǒng)一控制[7]。然而，由于密集部署的微基站和 MEC 服務(wù)器會(huì)導(dǎo)致多個(gè)用戶處在多個(gè)微基站的覆蓋范圍內(nèi)，而不同的服務(wù)器具有不同的計(jì)算能力，如何為用戶進(jìn)行卸載決策以及資源分配是一項(xiàng)挑戰(zhàn)[8]。針對(duì) MEC 網(wǎng)絡(luò)中多用戶任務(wù)卸載決策問(wèn)題，國(guó)內(nèi)外研究人員已經(jīng)進(jìn)行了大量的研究。
文獻(xiàn)[9]在超密集網(wǎng)絡(luò)中提出了一個(gè)基于非正交多址(Non-orthogonal Multiple Access, NOMA)的時(shí)延最小化問(wèn)題，采用啟發(fā)式算法和凸優(yōu)化進(jìn)行分層求解;文獻(xiàn)[10]利用二等分搜索方法解決了最小化執(zhí)行時(shí)延的非凸問(wèn)題;李等人在[11]中提出了一種基于雙連接和 NOMA 的計(jì)算卸載架構(gòu)和一個(gè)最小化用戶總能耗的優(yōu)化問(wèn)題。為了解決該問(wèn)題，作者在逐次凸逼近算法和網(wǎng)格自適應(yīng)搜索方法的基礎(chǔ)上提出了一種基本凸規(guī)劃算法，仿真證明所提算法具有更好的收斂性。但是他們都是在靜態(tài)條件下進(jìn)行的計(jì)算卸載研究，實(shí)際的 MEC 場(chǎng)景中，環(huán)境肯定是動(dòng)態(tài)變化的。
文獻(xiàn)[12]考慮了資源的動(dòng)態(tài)變化，提出了一種基于圖的服務(wù)器區(qū)域聚類算法以及基于博弈論的任務(wù)調(diào)度機(jī)制，經(jīng)過(guò)不斷迭代得到多用戶卸載決策;文獻(xiàn)[13]在時(shí)變 MEC 系統(tǒng)中考慮任務(wù)隊(duì)列，采用李雅普諾夫優(yōu)化方法和逐次凸逼近法來(lái)獲得優(yōu)化問(wèn)題的次優(yōu)解。這些傳統(tǒng)的優(yōu)化方式在用戶較少時(shí)，可以有效的解決計(jì)算卸載問(wèn)題，但是當(dāng)用戶增多，并且優(yōu)化問(wèn)題維度變大時(shí)，這些算法的復(fù)雜度將會(huì)呈指數(shù)增加，所以不少的研究人員開(kāi)始將目光 投 向 了 深 度 強(qiáng) 化 學(xué) 習(xí) (Deep ReinforcementLearning, DRL)算法。文獻(xiàn)[14]以時(shí)延和能耗為目標(biāo)，在動(dòng)態(tài) MEC 系統(tǒng)中提出了一個(gè)最小化用戶成本的優(yōu)化問(wèn)題，并采用改進(jìn)的深度強(qiáng)化學(xué)習(xí)算法獲得了最優(yōu)解。
文獻(xiàn)[15]在異構(gòu)網(wǎng)絡(luò)中提出了一個(gè)在滿足時(shí)延的情況下最小化能耗的優(yōu)化問(wèn)題，并使用一種基于 A2C 框架的 DRL 算法獲得了最佳的卸載決策和資源分配方案，驗(yàn)證了算法的優(yōu)勢(shì)。黃等人在[16]中提出了一個(gè)多小區(qū)聯(lián)合計(jì)算卸載和資源分配的優(yōu)化問(wèn)題，目標(biāo)是在滿足時(shí)延的約束下最小化能耗，并提出了一種聯(lián)邦強(qiáng)化學(xué)習(xí)算法，該算法只需代理之間共享模型，無(wú)需本地訓(xùn)練數(shù)據(jù)，大大降低了算法的復(fù)雜度。這些方案都是在滿足用戶時(shí)延的情況下簡(jiǎn)單的使能耗最小化，但是他們沒(méi)有考慮到不同用戶在自身不同條件下產(chǎn)生的能耗需求差異，對(duì)于提高用戶能耗方面的體驗(yàn)質(zhì)量效果很差。當(dāng)用戶設(shè)備電量比較充足時(shí)，此時(shí)用戶對(duì)于能耗的需求不是很高，相反設(shè)備電量較低的用戶對(duì)能耗的需求會(huì)很高。
而在計(jì)算資源有限的情況下，假設(shè)所有用戶都是合作關(guān)系，可以讓設(shè)備電量較高用戶獲得稍少的計(jì)算資源，讓步出的這部分計(jì)算資源可以用來(lái)降低設(shè)備電量較低用戶的任務(wù)執(zhí)行能耗。通過(guò)合理的計(jì)算資源讓步可以有效的提高網(wǎng)絡(luò)中設(shè)備的待機(jī)時(shí)間以及用戶任務(wù)執(zhí)行能耗方面總的體驗(yàn)質(zhì)量。另外，隨著設(shè)備待機(jī)和執(zhí)行任務(wù)等能量消耗，設(shè)備電量也會(huì)逐漸變化，此時(shí)用戶對(duì)于能耗的需求也會(huì)隨之變化，需要一種計(jì)算卸載方案在充分考慮該需求的情況下提升用戶體驗(yàn)質(zhì)量�；谏鲜鰡�(wèn)題的描述，本文在充分考慮不同用戶能耗需求的情況下，提出了一個(gè)與用戶任務(wù)執(zhí)行能耗相關(guān)的滿意度優(yōu)化問(wèn)題，并利用基于深度確定性策略梯度(Deep Deterministic Policy Gradient,DDPG)的改進(jìn)算法求解。
本文具體貢獻(xiàn)如下：(1) 為了衡量用戶任務(wù)執(zhí)行能耗，本文在傳統(tǒng)的任務(wù)模型加入了更加符合用戶需求的任務(wù)執(zhí)行理想能耗和任務(wù)執(zhí)行最大能耗，用來(lái)表征用戶對(duì)于該任務(wù)執(zhí)行能耗的要求，并設(shè)計(jì)了一個(gè)理想能耗設(shè)定公式，該公式使得理想能耗的設(shè)置與用戶設(shè)備當(dāng)前剩余電量相關(guān)，能夠充分體現(xiàn)出合作關(guān)系下電量不同用戶的不同能耗需求。(2) 由于用戶的能耗體驗(yàn)質(zhì)量無(wú)法直觀展現(xiàn)，本文基于上述兩個(gè)能耗需求提出了一個(gè)滿意度模型，利用該滿意度模型表征用戶在能耗方面的體驗(yàn)質(zhì)量。(3) 通過(guò)對(duì)滿意度模型函數(shù)進(jìn)行曲線分析，本文提出了一個(gè)更加適合所提問(wèn)題的深度強(qiáng)化學(xué)習(xí)算法，該算法的優(yōu)先經(jīng)驗(yàn)重放機(jī)制根據(jù)曲線特性給予不同經(jīng)驗(yàn)組不同的采樣概率。通過(guò)仿真分析，所提算法在收斂性和穩(wěn)定性上較現(xiàn)有算法具有一定的優(yōu)越性。
1 系統(tǒng)模型
1.1 網(wǎng)絡(luò)場(chǎng)景
理想能耗的設(shè)置與用戶的需求、用戶設(shè)備當(dāng)前剩余電量以及當(dāng)前任務(wù)的最大執(zhí)行能耗閾值有關(guān)。當(dāng)用戶設(shè)備自身剩余電量較多時(shí)，用戶對(duì)于執(zhí)行能耗的需求很低，而剩余電量較低時(shí)對(duì)執(zhí)行能耗的需求相對(duì)較高，并且電量越低對(duì)執(zhí)行能耗的需求越苛刻。用戶對(duì)于能耗需求越高，其理想能耗值需要設(shè)置的越低，用戶對(duì)能耗的需求需要一個(gè)明顯變化的過(guò)程。因此理想能耗的設(shè)定與最大能耗閾值成正比，但不是線性比例關(guān)系，而且與剩余電量百分比正相關(guān)，需要一個(gè)函數(shù)來(lái)反映上述思想，經(jīng)過(guò)對(duì)比分析函數(shù)圖像，指數(shù)函數(shù)能夠體現(xiàn)不同電量下用戶對(duì)理想能耗的需求程度。
當(dāng)用戶設(shè)備電量較高時(shí)，對(duì)能耗需求較低，此時(shí)理想能耗值設(shè)置較高;隨著電量逐漸降低，理想能耗值也逐漸降低，但降低幅度不大;當(dāng)電量低到一定程度，此時(shí)用戶開(kāi)始注重能量消耗，其理想能耗值隨著電量降低迅速下降，由此可以看出該公式能夠比較貼切地顯示用戶對(duì)于能耗的需求。關(guān)于參數(shù)，當(dāng)參數(shù)逐漸增大時(shí)，用戶在電量較低時(shí)的需求會(huì)更高，對(duì)理想能耗的值設(shè)置更低，所以不同值可以滿足不同用戶的需求。公式(2)主要起到合作機(jī)制的限制，用戶不能過(guò)分貪婪的將理想能耗設(shè)置過(guò)低，這樣可能所有的用戶都會(huì)受到影響，又考慮到合理性，將理想能耗的最小值設(shè)置成該任務(wù)最大能耗的一半。
2 問(wèn)題描述
受到[5]的啟發(fā)，本文定義了一個(gè)表征用戶體驗(yàn)質(zhì)量的滿意度模型，該模型由 Abdeljaouad 等在[18]中提出，基于向下遞減的效用函數(shù) sigmoid 設(shè)計(jì)，合理的效用函數(shù)應(yīng)該遵循邊際效用遞減規(guī)律，存在一個(gè)最小值，在該值之前效用質(zhì)量為優(yōu)秀，且應(yīng)存在一個(gè)最大值，該值之后效用質(zhì)量為最差，即需要一個(gè)最大值和最小值作為邊界。作者采用了最大IPTV 時(shí)延和理想時(shí)延作為邊界并將兩者中值作為中間點(diǎn)，并將該模型作為用戶對(duì)于 IPTV 時(shí)延的體驗(yàn)質(zhì)量標(biāo)準(zhǔn)。該效用函數(shù)同樣適用于本文，因此將其中的理想時(shí)延和最大時(shí)延替換為理想能耗和最大能耗，并將該模型作為用戶能耗需求的體驗(yàn)質(zhì)量標(biāo)準(zhǔn)即滿意度。
2.1 滿意度函數(shù)分析
在對(duì)滿意度曲線進(jìn)行分析之前，首先引入斜率變點(diǎn)的概念。系統(tǒng)的輸出序列在某未知時(shí)刻起了突然變化，該時(shí)刻即稱為變點(diǎn)，斜率變點(diǎn)是指曲線斜率加(減)速變化最大的點(diǎn)[19]。假設(shè)最大能耗與理想能耗的比例為 8:5，滿足公式(2)，為取值區(qū)間內(nèi)不同的靈敏度參數(shù)對(duì)于用戶滿意度的影響。從單個(gè)曲線走勢(shì)來(lái)看，一條曲線一共有兩個(gè)斜率變點(diǎn)，本文定義圖中左邊變點(diǎn)為第一變點(diǎn)，右邊變點(diǎn)為第二變點(diǎn)。當(dāng)能耗從理想能耗緩慢增加時(shí)，用戶的滿意度在緩慢下降，但是從曲線的斜率可以看出，在到達(dá)第一個(gè)變點(diǎn)之前，下降的幅度是比較緩慢的，這也是該滿意度函數(shù)更加貼近用戶感受的體現(xiàn)。
當(dāng)能耗不斷增加到達(dá)變點(diǎn)之后，此時(shí)離理想能耗已經(jīng)較遠(yuǎn)，滿意度相比之前開(kāi)始急劇下降，直到遇到第二個(gè)變點(diǎn)，此時(shí)的滿意度已經(jīng)下降到了一個(gè)較低的水平，再次變化的幅度相較之前已經(jīng)不大。從單個(gè)曲線關(guān)注到多個(gè)曲線，從圖中可以看出，隨著靈敏度參數(shù)的增加，用戶滿意度曲線的第一個(gè)變點(diǎn)會(huì)升高，這表示用戶在能耗較低時(shí)的滿意度較高，一旦能耗開(kāi)始增加，滿意度的下降程度會(huì)隨之提升，這種設(shè)置可以滿足不同情況下的不同需求。例如用戶當(dāng)前對(duì)于能耗的需求比較苛刻，可以通過(guò)調(diào)高參數(shù)來(lái)獲得更多的資源。
但是考慮到其他用戶的計(jì)算需求，不能無(wú)限制增加參數(shù)值，所以給該參數(shù)限制了一個(gè)設(shè)置范圍。該曲線除了能更加符合用戶的需求外，還有另一個(gè)優(yōu)點(diǎn)。在處理優(yōu)化問(wèn)題例如最大化所有用戶滿意度時(shí)，由于所有的用戶都是合作的，為了更大化所有用戶的滿意度，可以盡量讓用戶的滿意度達(dá)到第一個(gè)變點(diǎn)附近而非最理想的狀態(tài)，這樣可以給那些擁有資源較少的用戶更多的讓步，以此達(dá)到用更少的資源獲得更好的滿意度的效果。當(dāng)用戶設(shè)備電量較高時(shí)，其理想能耗值按公式(2)設(shè)置會(huì)比較高，應(yīng)用到滿意度模型中，相當(dāng)于放松了對(duì)能耗的需求，在進(jìn)行資源分配時(shí)，獲得較少計(jì)算資源時(shí)就能達(dá)到較高的滿意度。而電量較少的用戶其理想能耗值會(huì)很低，同理可以分配得到較多的計(jì)算資源，以此來(lái)減少任務(wù)執(zhí)行能耗，提升滿意度。經(jīng)過(guò)該合作模式，能夠有效提高網(wǎng)絡(luò)設(shè)備的待機(jī)時(shí)間和用戶的滿意度總和。
3 所提算法
3.1 強(qiáng)化學(xué)習(xí)框架
RL 框架主要由智能體，環(huán)境和三要素組成，三要素包括：狀態(tài)空間、動(dòng)作空間以及獎(jiǎng)勵(lì)。在傳統(tǒng)的 DDPG 中，廣泛采用均勻采樣，從經(jīng)驗(yàn)重放數(shù)組中隨機(jī)抽取一小批經(jīng)驗(yàn)樣本用于網(wǎng)絡(luò)參數(shù)訓(xùn)練[22]。這種做法忽略了經(jīng)驗(yàn)組的重要性，不同的經(jīng)驗(yàn)組應(yīng)該有不同的重要性，可以快速感知成功或者失敗的經(jīng)驗(yàn)以此來(lái)加快收斂。因此，部分研究 人 員 引 入 了 基 于 優(yōu) 先 經(jīng) 驗(yàn) 重 放 (Priorityexperience replay, PER)的方法來(lái)解決上述問(wèn)題，其中更有價(jià)值的經(jīng)驗(yàn)以更高的概率重放[23]。
每個(gè)經(jīng)驗(yàn)組與優(yōu)先級(jí)相關(guān)聯(lián)，而重放概率是根據(jù)重放數(shù)組中所有經(jīng)驗(yàn)組的優(yōu)先級(jí)值計(jì)算的。在 PER 中，那些較為成功的或者失敗的經(jīng)驗(yàn)組更有可能被加入訓(xùn)練批次，有助于縮短學(xué)習(xí)時(shí)間和提高訓(xùn)練的穩(wěn)定性。在研究 PER 技術(shù)時(shí)，如何定義優(yōu)先級(jí)是一個(gè)關(guān)鍵問(wèn)題，通常絕對(duì) TD 誤差會(huì)作為評(píng)估經(jīng)驗(yàn)優(yōu)先級(jí)的重要指標(biāo)[24]。TD 誤差絕對(duì)值較高的經(jīng)驗(yàn)組給予較高的優(yōu)先級(jí)，此時(shí)說(shuō)明神經(jīng)網(wǎng)絡(luò)對(duì)于動(dòng)作的真實(shí)價(jià)值估計(jì)并不準(zhǔn)確，給予較高的權(quán)重有助于神經(jīng)網(wǎng)絡(luò)減少錯(cuò)誤預(yù)測(cè)的概率。受到以上優(yōu)先級(jí)分析的啟發(fā)，本文提出一個(gè)更加適合本文問(wèn)題的優(yōu)先級(jí)機(jī)制。在資源有限的情況下，MEC 網(wǎng)絡(luò)不能滿足所有用戶的任務(wù)計(jì)算都能達(dá)到最理想的能耗，此時(shí)會(huì)出現(xiàn)不同用戶分配到的資源不同的情況。
由曲線分析可知，在能耗從大到小的變化過(guò)程中，當(dāng)能耗度過(guò)第二個(gè)變點(diǎn)之后，滿意度的上升幾乎與能耗呈線性關(guān)系，此時(shí)的上升速度是比較快的。但是當(dāng)度過(guò)第一個(gè)變點(diǎn)之后，滿意度的上升就開(kāi)始減緩。可以看出，付出相同的代價(jià)第一變點(diǎn)前后滿意度的變化幅度是不同的。假設(shè)所有用戶是合作的，由于本文的優(yōu)化目標(biāo)是最大化所有用戶的滿意度，所以如果那些滿意度在第一變點(diǎn)之上的用戶將滿意度控制在變點(diǎn)附近，就可以為資源較少的用戶即滿意度在第一變點(diǎn)之下的用戶，釋放出更多的資源來(lái)為他們提供更多的滿意度提升空間，這樣滿意度總值會(huì)比之前有所提升�；谏鲜龇治霰疚奶岢龌谧畲蠡脩魸M意度的優(yōu)先級(jí)機(jī)制，將那些較多用戶滿意度停留在第一變點(diǎn)附近的經(jīng)驗(yàn)組賦予較高的優(yōu)先級(jí)，有助于智能體的快速學(xué)習(xí)。
4 仿真分析
在本節(jié)介紹了評(píng)估了所提強(qiáng)化學(xué)習(xí)算法的性能。首先介紹仿真實(shí)驗(yàn)的相關(guān)參數(shù)的設(shè)置，然后分析不同參數(shù)對(duì)強(qiáng)化學(xué)算法的影響，并驗(yàn)證了所提算法的收斂性和有效性。最后與現(xiàn)有算法基于不同方面進(jìn)行對(duì)比，證明了所提算法的優(yōu)越性。
在經(jīng)過(guò)少量迭代之后，算法重新收斂，證明了所提算法的穩(wěn)定性。另外將所提算法與當(dāng)前現(xiàn)存算法 DDPG 和 DQN 進(jìn)行對(duì)比。兩種算法都帶有基于 TD 目標(biāo)的優(yōu)先重放，而算法的參數(shù)設(shè)置與所提算法相同，不再贅述。從中可以看出，所提算法不管是在算法收斂性上還是收益性能上都有明顯的優(yōu)勢(shì)。DDPG 算法雖然帶有基于 TD 目標(biāo)的優(yōu)先經(jīng)驗(yàn)重放策略，但是由于所提算法的優(yōu)先經(jīng)驗(yàn)重放是基于當(dāng)前問(wèn)題提出的，所以在該問(wèn)題求解上要優(yōu)于DDPG。由于本文所提優(yōu)化問(wèn)題帶有連續(xù)決策變量，所以采用 DQN 算法時(shí)需要進(jìn)行變量離散化，變量離散化會(huì)造成精度損失，所以在性能上 DQN 要略差于 DDPG。當(dāng)用戶數(shù)量較少時(shí)，兩種算法的迭代次數(shù)相差不大。
隨著用戶數(shù)量增加，本文所提算法的優(yōu)勢(shì)開(kāi)始體現(xiàn)，迭代次數(shù)明顯減少。當(dāng)數(shù)量增大到一定程度，又變回差別較小的狀態(tài)。這是因?yàn)楫?dāng)用戶數(shù)量較少時(shí)，當(dāng)前的計(jì)算資源比較充足可以滿足所有用戶的能耗需求，此時(shí)本文所提的優(yōu)先經(jīng)驗(yàn)重放策略起的作用比較小，但是也不會(huì)造成負(fù)面的影響。隨著用戶數(shù)量的增加，計(jì)算資源開(kāi)始變得不再理想化，不能滿足所有的用戶的計(jì)算能耗需求，此時(shí)本文所提算法的優(yōu)勢(shì)就有所體現(xiàn)。當(dāng)用戶數(shù)量增大到一定程度，所有用戶的滿意度都達(dá)不到第一變點(diǎn)位置，此時(shí)計(jì)算資源相當(dāng)匱乏，本文所提的優(yōu)先經(jīng)驗(yàn)重放策略作用再次降低。在實(shí)際中，第二種情況較為常見(jiàn)，由此可見(jiàn)本文所提算法的有效性。另外用戶數(shù)量的增加對(duì)所提算法性能的影響明顯小于 DDPG，這也是所提算法具有一定穩(wěn)定性的體現(xiàn)。
計(jì)算機(jī)方向論文：基于機(jī)器學(xué)習(xí)算法的樟子松立木材積預(yù)測(cè)
5 結(jié) 論
本文首先在考慮用戶需求的情況下在現(xiàn)有任務(wù)模型的基礎(chǔ)上加入了用戶對(duì)于任務(wù)執(zhí)行的能耗需求，然后在超密集網(wǎng)絡(luò)的動(dòng)態(tài) MEC 系統(tǒng)中，提出了一個(gè)根據(jù)能耗需求設(shè)定的動(dòng)態(tài)用戶滿意度的優(yōu)化問(wèn)題，該滿意度可以用來(lái)表征用戶在能耗方面的體驗(yàn)質(zhì)量。在此基礎(chǔ)上對(duì)基于深度強(qiáng)化學(xué)習(xí)的DDPG 算法進(jìn)行了改進(jìn)，使其優(yōu)先經(jīng)驗(yàn)重放策略更加適合求解上述優(yōu)化問(wèn)題。最后通過(guò)仿真證明，本文所提算法與現(xiàn)有算法相比，有效提升了算法收斂性以及穩(wěn)定性。
參考文獻(xiàn)：
[1] CHEN Zhenyue, CHENG Siyao. ComputationOffloading Algorithms in Mobile Edge ComputingSystem: A Survey[C]// Proceedings of InternationalConference on Computer Frontier. Guilin: CNKI, 2019:39.
[2] ALI H.S., ROUT R.R., PARIMI P., et al. Real-Time TaskScheduling in Fog-Cloud Computing Framework for IoTApplications: A Fuzzy Logic based Approach[C]//2021International Conference on COMmunication Systems &NETworkS (COMSNETS). Bangalore: IEEE, 2021:556-564.
[3] ZHANG Xinglin, LIANG Lingyu, LUO Chengwen, et al.Privacy-Preserving Incentive Mechanisms for MobileCrowdsensing[J]. Pervasive Computing, IEEE, 2018,17(3): 47-57.
[4] PANG Shanchen, WANG Shuyu, Joint Wireless Source Management and Task Offloading in Ultra-DenseNetwork[J]. IEEE Access, 2020, 8: 52917-52926.
[5] HU Shihong, LI Guanghui. Dynamic Request SchedulingOptimization in Mobile Edge Computing for IoTApplications[J]. IEEE Internet of Things Journal, 2020,7(2): 1426-1437.
[6] GUO Hhongzhi, LIU Jiajia, ZHANG Jie. ComputationOffloading for Multi-Access Mobile Edge Computing inUltra-Dense Networks[J]. IEEE CommunicationsMagazine, 2018, 56(8): 14-19.
[7] 谷曉會(huì), 章國(guó)安, 孔德尚. 基于 SDN 和 MEC 的 5GVANET 架構(gòu)及其性能分析 [J]. 電訊技術(shù) , 2019,372(11): 1332-1337.
作者：鮮永菊，劉闖，韓瑞寅，陳萬(wàn)瓊
轉(zhuǎn)載請(qǐng)注明來(lái)自發(fā)表學(xué)術(shù)論文網(wǎng)：http:///dzlw/30119.html
