本文摘要：摘 要：超密集網(wǎng)絡(luò)(Ultra-Dense Network, UDN)中集成移動邊緣計算(Mobile Edge Computing, MEC)，是 5G 中為用戶提供計算資源的可靠方式，在多種因素影響下進行 MEC 任務(wù)卸載決策一直都是一個研究熱點。目前已存在大量任務(wù)卸載相關(guān)的工作，但是這些方案中很少將重心放
摘 要：超密集網(wǎng)絡(luò)(Ultra-Dense Network, UDN)中集成移動邊緣計算(Mobile Edge Computing, MEC)，是 5G 中為用戶提供計算資源的可靠方式，在多種因素影響下進行 MEC 任務(wù)卸載決策一直都是一個研究熱點。目前已存在大量任務(wù)卸載相關(guān)的工作，但是這些方案中很少將重心放在用戶在不同條件下的能耗需求差異上，無法有效提升用戶體驗質(zhì)量(Quality of Experience, QoE)。在動態(tài) MEC 系統(tǒng)中提出了一個考慮用戶能耗需求的多用戶任務(wù)卸載問題，通過最大化滿意度的方式提升用戶 QoE，并將現(xiàn)有的深度強化學(xué)習(xí)算法進行了改進，使其更加適合求解所提優(yōu)化問題。仿真結(jié)果表明，所提算法較現(xiàn)有算法，在算法收斂性以及穩(wěn)定性上具有一定提升。
關(guān)鍵詞：移動邊緣計算;超密集網(wǎng)絡(luò);卸載方案;深度強化學(xué)習(xí)
引 言
隨著無線通信技術(shù)的快速發(fā)展和智能設(shè)備的廣泛普及，近年來移動應(yīng)用迎來爆炸式增長[1]，然而移動設(shè)備(如智能手機，可穿戴設(shè)備)的計算能力和電池電量通常都是有限的[2]。上述應(yīng)用和資源受限設(shè)備之間的關(guān)系對提高移動用戶體驗質(zhì)量提出了巨大的挑戰(zhàn)[3]。移動邊緣計算將計算服務(wù)器從云中心下沉到網(wǎng)絡(luò)邊緣，用戶可以利用計算卸載技術(shù)將任務(wù)卸載到邊緣服務(wù)器進行計算來滿足密集計算的需求[4]。5G架構(gòu)下的超密集網(wǎng)絡(luò)是一種多基站協(xié)作服務(wù)的異構(gòu)網(wǎng)絡(luò)方案，可以有效改善網(wǎng)絡(luò)的整體性能[5]。
因此，與 MEC 集成的 UDN 被視為 5G 應(yīng)用中的一種可靠的技術(shù)[6]。用戶卸載決策一般由軟件定義網(wǎng)絡(luò)(Software Define Network, SDN)架構(gòu)下的中央控制器進行統(tǒng)一控制[7]。然而，由于密集部署的微基站和 MEC 服務(wù)器會導(dǎo)致多個用戶處在多個微基站的覆蓋范圍內(nèi)，而不同的服務(wù)器具有不同的計算能力，如何為用戶進行卸載決策以及資源分配是一項挑戰(zhàn)[8]。針對 MEC 網(wǎng)絡(luò)中多用戶任務(wù)卸載決策問題，國內(nèi)外研究人員已經(jīng)進行了大量的研究。
文獻[9]在超密集網(wǎng)絡(luò)中提出了一個基于非正交多址(Non-orthogonal Multiple Access, NOMA)的時延最小化問題，采用啟發(fā)式算法和凸優(yōu)化進行分層求解;文獻[10]利用二等分搜索方法解決了最小化執(zhí)行時延的非凸問題;李等人在[11]中提出了一種基于雙連接和 NOMA 的計算卸載架構(gòu)和一個最小化用戶總能耗的優(yōu)化問題。為了解決該問題，作者在逐次凸逼近算法和網(wǎng)格自適應(yīng)搜索方法的基礎(chǔ)上提出了一種基本凸規(guī)劃算法，仿真證明所提算法具有更好的收斂性。但是他們都是在靜態(tài)條件下進行的計算卸載研究，實際的 MEC 場景中，環(huán)境肯定是動態(tài)變化的。
文獻[12]考慮了資源的動態(tài)變化，提出了一種基于圖的服務(wù)器區(qū)域聚類算法以及基于博弈論的任務(wù)調(diào)度機制，經(jīng)過不斷迭代得到多用戶卸載決策;文獻[13]在時變 MEC 系統(tǒng)中考慮任務(wù)隊列，采用李雅普諾夫優(yōu)化方法和逐次凸逼近法來獲得優(yōu)化問題的次優(yōu)解。這些傳統(tǒng)的優(yōu)化方式在用戶較少時，可以有效的解決計算卸載問題，但是當(dāng)用戶增多，并且優(yōu)化問題維度變大時，這些算法的復(fù)雜度將會呈指數(shù)增加，所以不少的研究人員開始將目光 投 向 了 深 度 強 化 學(xué) 習(xí) (Deep ReinforcementLearning, DRL)算法。文獻[14]以時延和能耗為目標，在動態(tài) MEC 系統(tǒng)中提出了一個最小化用戶成本的優(yōu)化問題，并采用改進的深度強化學(xué)習(xí)算法獲得了最優(yōu)解。
文獻[15]在異構(gòu)網(wǎng)絡(luò)中提出了一個在滿足時延的情況下最小化能耗的優(yōu)化問題，并使用一種基于 A2C 框架的 DRL 算法獲得了最佳的卸載決策和資源分配方案，驗證了算法的優(yōu)勢。黃等人在[16]中提出了一個多小區(qū)聯(lián)合計算卸載和資源分配的優(yōu)化問題，目標是在滿足時延的約束下最小化能耗，并提出了一種聯(lián)邦強化學(xué)習(xí)算法，該算法只需代理之間共享模型，無需本地訓(xùn)練數(shù)據(jù)，大大降低了算法的復(fù)雜度。這些方案都是在滿足用戶時延的情況下簡單的使能耗最小化，但是他們沒有考慮到不同用戶在自身不同條件下產(chǎn)生的能耗需求差異，對于提高用戶能耗方面的體驗質(zhì)量效果很差。當(dāng)用戶設(shè)備電量比較充足時，此時用戶對于能耗的需求不是很高，相反設(shè)備電量較低的用戶對能耗的需求會很高。
而在計算資源有限的情況下，假設(shè)所有用戶都是合作關(guān)系，可以讓設(shè)備電量較高用戶獲得稍少的計算資源，讓步出的這部分計算資源可以用來降低設(shè)備電量較低用戶的任務(wù)執(zhí)行能耗。通過合理的計算資源讓步可以有效的提高網(wǎng)絡(luò)中設(shè)備的待機時間以及用戶任務(wù)執(zhí)行能耗方面總的體驗質(zhì)量。另外，隨著設(shè)備待機和執(zhí)行任務(wù)等能量消耗，設(shè)備電量也會逐漸變化，此時用戶對于能耗的需求也會隨之變化，需要一種計算卸載方案在充分考慮該需求的情況下提升用戶體驗質(zhì)量。基于上述問題的描述，本文在充分考慮不同用戶能耗需求的情況下，提出了一個與用戶任務(wù)執(zhí)行能耗相關(guān)的滿意度優(yōu)化問題，并利用基于深度確定性策略梯度(Deep Deterministic Policy Gradient,DDPG)的改進算法求解。
本文具體貢獻如下：(1) 為了衡量用戶任務(wù)執(zhí)行能耗，本文在傳統(tǒng)的任務(wù)模型加入了更加符合用戶需求的任務(wù)執(zhí)行理想能耗和任務(wù)執(zhí)行最大能耗，用來表征用戶對于該任務(wù)執(zhí)行能耗的要求，并設(shè)計了一個理想能耗設(shè)定公式，該公式使得理想能耗的設(shè)置與用戶設(shè)備當(dāng)前剩余電量相關(guān)，能夠充分體現(xiàn)出合作關(guān)系下電量不同用戶的不同能耗需求。(2) 由于用戶的能耗體驗質(zhì)量無法直觀展現(xiàn)，本文基于上述兩個能耗需求提出了一個滿意度模型，利用該滿意度模型表征用戶在能耗方面的體驗質(zhì)量。(3) 通過對滿意度模型函數(shù)進行曲線分析，本文提出了一個更加適合所提問題的深度強化學(xué)習(xí)算法，該算法的優(yōu)先經(jīng)驗重放機制根據(jù)曲線特性給予不同經(jīng)驗組不同的采樣概率。通過仿真分析，所提算法在收斂性和穩(wěn)定性上較現(xiàn)有算法具有一定的優(yōu)越性。
1 系統(tǒng)模型
1.1 網(wǎng)絡(luò)場景
理想能耗的設(shè)置與用戶的需求、用戶設(shè)備當(dāng)前剩余電量以及當(dāng)前任務(wù)的最大執(zhí)行能耗閾值有關(guān)。當(dāng)用戶設(shè)備自身剩余電量較多時，用戶對于執(zhí)行能耗的需求很低，而剩余電量較低時對執(zhí)行能耗的需求相對較高，并且電量越低對執(zhí)行能耗的需求越苛刻。用戶對于能耗需求越高，其理想能耗值需要設(shè)置的越低，用戶對能耗的需求需要一個明顯變化的過程。因此理想能耗的設(shè)定與最大能耗閾值成正比，但不是線性比例關(guān)系，而且與剩余電量百分比正相關(guān)，需要一個函數(shù)來反映上述思想，經(jīng)過對比分析函數(shù)圖像，指數(shù)函數(shù)能夠體現(xiàn)不同電量下用戶對理想能耗的需求程度。
當(dāng)用戶設(shè)備電量較高時，對能耗需求較低，此時理想能耗值設(shè)置較高;隨著電量逐漸降低，理想能耗值也逐漸降低，但降低幅度不大;當(dāng)電量低到一定程度，此時用戶開始注重能量消耗，其理想能耗值隨著電量降低迅速下降，由此可以看出該公式能夠比較貼切地顯示用戶對于能耗的需求。關(guān)于參數(shù)，當(dāng)參數(shù)逐漸增大時，用戶在電量較低時的需求會更高，對理想能耗的值設(shè)置更低，所以不同值可以滿足不同用戶的需求。公式(2)主要起到合作機制的限制，用戶不能過分貪婪的將理想能耗設(shè)置過低，這樣可能所有的用戶都會受到影響，又考慮到合理性，將理想能耗的最小值設(shè)置成該任務(wù)最大能耗的一半。
2 問題描述
受到[5]的啟發(fā)，本文定義了一個表征用戶體驗質(zhì)量的滿意度模型，該模型由 Abdeljaouad 等在[18]中提出，基于向下遞減的效用函數(shù) sigmoid 設(shè)計，合理的效用函數(shù)應(yīng)該遵循邊際效用遞減規(guī)律，存在一個最小值，在該值之前效用質(zhì)量為優(yōu)秀，且應(yīng)存在一個最大值，該值之后效用質(zhì)量為最差，即需要一個最大值和最小值作為邊界。作者采用了最大IPTV 時延和理想時延作為邊界并將兩者中值作為中間點，并將該模型作為用戶對于 IPTV 時延的體驗質(zhì)量標準。該效用函數(shù)同樣適用于本文，因此將其中的理想時延和最大時延替換為理想能耗和最大能耗，并將該模型作為用戶能耗需求的體驗質(zhì)量標準即滿意度。
2.1 滿意度函數(shù)分析
在對滿意度曲線進行分析之前，首先引入斜率變點的概念。系統(tǒng)的輸出序列在某未知時刻起了突然變化，該時刻即稱為變點，斜率變點是指曲線斜率加(減)速變化最大的點[19]。假設(shè)最大能耗與理想能耗的比例為 8:5，滿足公式(2)，為取值區(qū)間內(nèi)不同的靈敏度參數(shù)對于用戶滿意度的影響。從單個曲線走勢來看，一條曲線一共有兩個斜率變點，本文定義圖中左邊變點為第一變點，右邊變點為第二變點。當(dāng)能耗從理想能耗緩慢增加時，用戶的滿意度在緩慢下降，但是從曲線的斜率可以看出，在到達第一個變點之前，下降的幅度是比較緩慢的，這也是該滿意度函數(shù)更加貼近用戶感受的體現(xiàn)。
當(dāng)能耗不斷增加到達變點之后，此時離理想能耗已經(jīng)較遠，滿意度相比之前開始急劇下降，直到遇到第二個變點，此時的滿意度已經(jīng)下降到了一個較低的水平，再次變化的幅度相較之前已經(jīng)不大。從單個曲線關(guān)注到多個曲線，從圖中可以看出，隨著靈敏度參數(shù)的增加，用戶滿意度曲線的第一個變點會升高，這表示用戶在能耗較低時的滿意度較高，一旦能耗開始增加，滿意度的下降程度會隨之提升，這種設(shè)置可以滿足不同情況下的不同需求。例如用戶當(dāng)前對于能耗的需求比較苛刻，可以通過調(diào)高參數(shù)來獲得更多的資源。
但是考慮到其他用戶的計算需求，不能無限制增加參數(shù)值，所以給該參數(shù)限制了一個設(shè)置范圍。該曲線除了能更加符合用戶的需求外，還有另一個優(yōu)點。在處理優(yōu)化問題例如最大化所有用戶滿意度時，由于所有的用戶都是合作的，為了更大化所有用戶的滿意度，可以盡量讓用戶的滿意度達到第一個變點附近而非最理想的狀態(tài)，這樣可以給那些擁有資源較少的用戶更多的讓步，以此達到用更少的資源獲得更好的滿意度的效果。當(dāng)用戶設(shè)備電量較高時，其理想能耗值按公式(2)設(shè)置會比較高，應(yīng)用到滿意度模型中，相當(dāng)于放松了對能耗的需求，在進行資源分配時，獲得較少計算資源時就能達到較高的滿意度。而電量較少的用戶其理想能耗值會很低，同理可以分配得到較多的計算資源，以此來減少任務(wù)執(zhí)行能耗，提升滿意度。經(jīng)過該合作模式，能夠有效提高網(wǎng)絡(luò)設(shè)備的待機時間和用戶的滿意度總和。
3 所提算法
3.1 強化學(xué)習(xí)框架
RL 框架主要由智能體，環(huán)境和三要素組成，三要素包括：狀態(tài)空間、動作空間以及獎勵。在傳統(tǒng)的 DDPG 中，廣泛采用均勻采樣，從經(jīng)驗重放數(shù)組中隨機抽取一小批經(jīng)驗樣本用于網(wǎng)絡(luò)參數(shù)訓(xùn)練[22]。這種做法忽略了經(jīng)驗組的重要性，不同的經(jīng)驗組應(yīng)該有不同的重要性，可以快速感知成功或者失敗的經(jīng)驗以此來加快收斂。因此，部分研究 人 員 引 入 了 基 于 優(yōu) 先 經(jīng) 驗 重 放 (Priorityexperience replay, PER)的方法來解決上述問題，其中更有價值的經(jīng)驗以更高的概率重放[23]。
每個經(jīng)驗組與優(yōu)先級相關(guān)聯(lián)，而重放概率是根據(jù)重放數(shù)組中所有經(jīng)驗組的優(yōu)先級值計算的。在 PER 中，那些較為成功的或者失敗的經(jīng)驗組更有可能被加入訓(xùn)練批次，有助于縮短學(xué)習(xí)時間和提高訓(xùn)練的穩(wěn)定性。在研究 PER 技術(shù)時，如何定義優(yōu)先級是一個關(guān)鍵問題，通常絕對 TD 誤差會作為評估經(jīng)驗優(yōu)先級的重要指標[24]。TD 誤差絕對值較高的經(jīng)驗組給予較高的優(yōu)先級，此時說明神經(jīng)網(wǎng)絡(luò)對于動作的真實價值估計并不準確，給予較高的權(quán)重有助于神經(jīng)網(wǎng)絡(luò)減少錯誤預(yù)測的概率。受到以上優(yōu)先級分析的啟發(fā)，本文提出一個更加適合本文問題的優(yōu)先級機制。在資源有限的情況下，MEC 網(wǎng)絡(luò)不能滿足所有用戶的任務(wù)計算都能達到最理想的能耗，此時會出現(xiàn)不同用戶分配到的資源不同的情況。
由曲線分析可知，在能耗從大到小的變化過程中，當(dāng)能耗度過第二個變點之后，滿意度的上升幾乎與能耗呈線性關(guān)系，此時的上升速度是比較快的。但是當(dāng)度過第一個變點之后，滿意度的上升就開始減緩�？梢钥闯�，付出相同的代價第一變點前后滿意度的變化幅度是不同的。假設(shè)所有用戶是合作的，由于本文的優(yōu)化目標是最大化所有用戶的滿意度，所以如果那些滿意度在第一變點之上的用戶將滿意度控制在變點附近，就可以為資源較少的用戶即滿意度在第一變點之下的用戶，釋放出更多的資源來為他們提供更多的滿意度提升空間，這樣滿意度總值會比之前有所提升�；谏鲜龇治霰疚奶岢龌谧畲蠡脩魸M意度的優(yōu)先級機制，將那些較多用戶滿意度停留在第一變點附近的經(jīng)驗組賦予較高的優(yōu)先級，有助于智能體的快速學(xué)習(xí)。
4 仿真分析
在本節(jié)介紹了評估了所提強化學(xué)習(xí)算法的性能。首先介紹仿真實驗的相關(guān)參數(shù)的設(shè)置，然后分析不同參數(shù)對強化學(xué)算法的影響，并驗證了所提算法的收斂性和有效性。最后與現(xiàn)有算法基于不同方面進行對比，證明了所提算法的優(yōu)越性。
在經(jīng)過少量迭代之后，算法重新收斂，證明了所提算法的穩(wěn)定性。另外將所提算法與當(dāng)前現(xiàn)存算法 DDPG 和 DQN 進行對比。兩種算法都帶有基于 TD 目標的優(yōu)先重放，而算法的參數(shù)設(shè)置與所提算法相同，不再贅述。從中可以看出，所提算法不管是在算法收斂性上還是收益性能上都有明顯的優(yōu)勢。DDPG 算法雖然帶有基于 TD 目標的優(yōu)先經(jīng)驗重放策略，但是由于所提算法的優(yōu)先經(jīng)驗重放是基于當(dāng)前問題提出的，所以在該問題求解上要優(yōu)于DDPG。由于本文所提優(yōu)化問題帶有連續(xù)決策變量，所以采用 DQN 算法時需要進行變量離散化，變量離散化會造成精度損失，所以在性能上 DQN 要略差于 DDPG。當(dāng)用戶數(shù)量較少時，兩種算法的迭代次數(shù)相差不大。
隨著用戶數(shù)量增加，本文所提算法的優(yōu)勢開始體現(xiàn)，迭代次數(shù)明顯減少。當(dāng)數(shù)量增大到一定程度，又變回差別較小的狀態(tài)。這是因為當(dāng)用戶數(shù)量較少時，當(dāng)前的計算資源比較充足可以滿足所有用戶的能耗需求，此時本文所提的優(yōu)先經(jīng)驗重放策略起的作用比較小，但是也不會造成負面的影響。隨著用戶數(shù)量的增加，計算資源開始變得不再理想化，不能滿足所有的用戶的計算能耗需求，此時本文所提算法的優(yōu)勢就有所體現(xiàn)。當(dāng)用戶數(shù)量增大到一定程度，所有用戶的滿意度都達不到第一變點位置，此時計算資源相當(dāng)匱乏，本文所提的優(yōu)先經(jīng)驗重放策略作用再次降低。在實際中，第二種情況較為常見，由此可見本文所提算法的有效性。另外用戶數(shù)量的增加對所提算法性能的影響明顯小于 DDPG，這也是所提算法具有一定穩(wěn)定性的體現(xiàn)。
計算機方向論文：基于機器學(xué)習(xí)算法的樟子松立木材積預(yù)測
5 結(jié) 論
本文首先在考慮用戶需求的情況下在現(xiàn)有任務(wù)模型的基礎(chǔ)上加入了用戶對于任務(wù)執(zhí)行的能耗需求，然后在超密集網(wǎng)絡(luò)的動態(tài) MEC 系統(tǒng)中，提出了一個根據(jù)能耗需求設(shè)定的動態(tài)用戶滿意度的優(yōu)化問題，該滿意度可以用來表征用戶在能耗方面的體驗質(zhì)量。在此基礎(chǔ)上對基于深度強化學(xué)習(xí)的DDPG 算法進行了改進，使其優(yōu)先經(jīng)驗重放策略更加適合求解上述優(yōu)化問題。最后通過仿真證明，本文所提算法與現(xiàn)有算法相比，有效提升了算法收斂性以及穩(wěn)定性。
參考文獻：
[1] CHEN Zhenyue, CHENG Siyao. ComputationOffloading Algorithms in Mobile Edge ComputingSystem: A Survey[C]// Proceedings of InternationalConference on Computer Frontier. Guilin: CNKI, 2019:39.
[2] ALI H.S., ROUT R.R., PARIMI P., et al. Real-Time TaskScheduling in Fog-Cloud Computing Framework for IoTApplications: A Fuzzy Logic based Approach[C]//2021International Conference on COMmunication Systems &NETworkS (COMSNETS). Bangalore: IEEE, 2021:556-564.
[3] ZHANG Xinglin, LIANG Lingyu, LUO Chengwen, et al.Privacy-Preserving Incentive Mechanisms for MobileCrowdsensing[J]. Pervasive Computing, IEEE, 2018,17(3): 47-57.
[4] PANG Shanchen, WANG Shuyu, Joint Wireless Source Management and Task Offloading in Ultra-DenseNetwork[J]. IEEE Access, 2020, 8: 52917-52926.
[5] HU Shihong, LI Guanghui. Dynamic Request SchedulingOptimization in Mobile Edge Computing for IoTApplications[J]. IEEE Internet of Things Journal, 2020,7(2): 1426-1437.
[6] GUO Hhongzhi, LIU Jiajia, ZHANG Jie. ComputationOffloading for Multi-Access Mobile Edge Computing inUltra-Dense Networks[J]. IEEE CommunicationsMagazine, 2018, 56(8): 14-19.
[7] 谷曉會, 章國安, 孔德尚. 基于 SDN 和 MEC 的 5GVANET 架構(gòu)及其性能分析 [J]. 電訊技術(shù) , 2019,372(11): 1332-1337.
作者：鮮永菊，劉闖，韓瑞寅，陳萬瓊
轉(zhuǎn)載請注明來自發(fā)表學(xué)術(shù)論文網(wǎng)：http:///dzlw/30119.html
