本文摘要：摘要：近年來(lái)，基于位置的社交網(wǎng)絡(luò)被廣泛使用，用戶通過(guò)在興趣點(diǎn)簽到以記錄他們的行程，并與其他用戶分享他們的感受和評(píng)價(jià)。興趣點(diǎn)推薦是基于位置的社交網(wǎng)絡(luò)提供的一項(xiàng)重要服務(wù)，一方面它可以幫助用戶快速發(fā)現(xiàn)感興趣的興趣點(diǎn)，另一方面也有利于興趣點(diǎn)提供商
摘要：近年來(lái)，基于位置的社交網(wǎng)絡(luò)被廣泛使用，用戶通過(guò)在興趣點(diǎn)簽到以記錄他們的行程，并與其他用戶分享他們的感受和評(píng)價(jià)。興趣點(diǎn)推薦是基于位置的社交網(wǎng)絡(luò)提供的一項(xiàng)重要服務(wù)，一方面它可以幫助用戶快速發(fā)現(xiàn)感興趣的興趣點(diǎn)，另一方面也有利于興趣點(diǎn)提供商更全面深入地了解用戶偏好，并有針對(duì)性地提高服務(wù)質(zhì)量。興趣點(diǎn)推薦主要基于對(duì)用戶歷史簽到數(shù)據(jù)以及內(nèi)容、社交關(guān)系等信息的分析。這篇論文系統(tǒng)歸納了興趣點(diǎn)推薦中需要解決的四個(gè)挑戰(zhàn)，即時(shí)空序列特征提取、內(nèi)容社交特征提取、多特征整合以及對(duì)數(shù)據(jù)稀疏性問(wèn)題的處理，總結(jié)了使用深度學(xué)習(xí)方法解決這四個(gè)挑戰(zhàn)的相關(guān)工作，并指出了它們的不足。最后論文提出了三類在興趣點(diǎn)推薦上還沒(méi)有得到充分利用的深度學(xué)習(xí)方法，即使用增量學(xué)習(xí)加速推薦模型更新、使用遷移學(xué)習(xí)緩解冷啟動(dòng)問(wèn)題以及使用強(qiáng)化學(xué)習(xí)建模用戶動(dòng)態(tài)偏好。這篇論文聚焦在深度學(xué)習(xí)方法在興趣點(diǎn)推薦上的應(yīng)用，希望通過(guò)分析總結(jié)最新的研究進(jìn)展，為進(jìn)一步提升推薦效果提供研究思路。
關(guān)鍵詞：興趣點(diǎn)推薦;深度學(xué)習(xí);特征提取;特征整合;數(shù)據(jù)稀疏性
概述
智能手機(jī)的普及和全球定位系統(tǒng)的支持促進(jìn)了基于位置的社交網(wǎng)絡(luò)(Location-basedSocialNetwork,LBSN)，如Foursquare、Yelp、Instagram、大眾點(diǎn)評(píng)等，的廣泛使用。興趣點(diǎn)(PointofInterest,POI)推薦是LBSN提供的一項(xiàng)重要服務(wù)，一方面可以方便用戶規(guī)劃行程、快速發(fā)現(xiàn)感興趣的興趣點(diǎn);另一方面，也可以幫助興趣點(diǎn)服務(wù)提供商和廣告商更全面深入地了解用戶偏好，發(fā)掘更準(zhǔn)確的市場(chǎng)目標(biāo)群體，并引入更有針對(duì)性的廣告策略吸引用戶。LBSN中包含了大量用戶和興趣點(diǎn)的信息，為挖掘用戶偏好提供了基礎(chǔ)。
在一個(gè)典型的LBSN中，用戶可以通過(guò)在興趣點(diǎn)簽到以記錄行程，一次簽到(Check-in)可以用一個(gè)“<>”三元組表示。每個(gè)用戶的多次簽到記錄可以根據(jù)時(shí)間戳排序構(gòu)成其簽到序列，即用戶軌跡。簽到記錄直接反映了用戶對(duì)興趣點(diǎn)的偏好。此外，用戶還可以在LBSN中發(fā)表對(duì)興趣點(diǎn)的評(píng)價(jià)或上傳照片;可以關(guān)注其他用戶并分享他們對(duì)于興趣點(diǎn)的感受，與其他用戶之間形成社交好友關(guān)系，上述內(nèi)容信息和社交關(guān)系信息也隱含了用戶的偏好。
因此，興趣點(diǎn)推薦服務(wù)的實(shí)現(xiàn)可以依托于從LBSN的豐富信息中挖掘出的用戶偏好。傳統(tǒng)推薦系統(tǒng)中的一些經(jīng)典方法可以被運(yùn)用到興趣點(diǎn)推薦中，其中使用最廣泛的方法之一是基于矩陣分解的方法[1-2]，其原理是通過(guò)分解“用戶-興趣點(diǎn)”簽到矩陣(user-POIcheck-inmatrix)獲取表征用戶和興趣點(diǎn)關(guān)聯(lián)的低維隱特征，但這種方法沒(méi)有考慮用戶簽到序列的序列特征。另一類方法將簽到序列抽象為Markov鏈[3-5]，僅根據(jù)上一次簽到?jīng)Q定下一次簽到的推薦，沒(méi)有考慮更早期的歷史簽到中體現(xiàn)的用戶偏好信息對(duì)下一次簽到的影響。
此外，這兩類方法都只使用了用戶簽到數(shù)據(jù)，LBSN中的其他信息沒(méi)有得到充分有效地利用。隨著人工智能技術(shù)的快速發(fā)展，深度學(xué)習(xí)已被證實(shí)可以有效地從大量數(shù)據(jù)中學(xué)習(xí)隱藏信息并預(yù)測(cè)未來(lái)狀態(tài)。相比于傳統(tǒng)的機(jī)器學(xué)習(xí)算法，它可以通過(guò)模型自動(dòng)化從數(shù)據(jù)中提取并處理特征。將深度學(xué)習(xí)應(yīng)用于興趣點(diǎn)推薦系統(tǒng)有助于充分利用系統(tǒng)中豐富的特征并挖掘特征之間的復(fù)雜關(guān)聯(lián)。
近年來(lái)，興趣點(diǎn)推薦問(wèn)題已得到了廣泛的研究�，F(xiàn)有的一些有代表性的綜述[6-8]根據(jù)推薦目標(biāo)將興趣點(diǎn)推薦分為用戶通用興趣點(diǎn)推薦和用戶下一個(gè)興趣點(diǎn)推薦;根據(jù)用戶偏好的主要影響因素將其分為地理因素、時(shí)間因素、社交因素和內(nèi)容因素主導(dǎo)的興趣點(diǎn)推薦系統(tǒng);根據(jù)使用的數(shù)據(jù)種類將其分為基于用戶位置、軌跡、活動(dòng)以及以上多種數(shù)據(jù)的興趣點(diǎn)推薦系統(tǒng)。不同于這些綜述對(duì)興趣點(diǎn)推薦問(wèn)題中涉及的要素進(jìn)行分類，我們聚焦于該問(wèn)題本身的挑戰(zhàn)以及深度學(xué)習(xí)方法在解決這些挑戰(zhàn)的應(yīng)用上，試圖從方法的角度對(duì)興趣點(diǎn)推薦的研究進(jìn)行總結(jié)并提供未來(lái)研究思路。
1興趣點(diǎn)推薦問(wèn)題的挑戰(zhàn)
興趣點(diǎn)推薦需要根據(jù)LBSN中的大量相關(guān)信息對(duì)用戶偏好進(jìn)行總結(jié)和刻畫(huà)，給出個(gè)性化的興趣點(diǎn)推薦，針對(duì)興趣點(diǎn)推薦系統(tǒng)的特性，我們將其中的挑戰(zhàn)總結(jié)為以下四個(gè)方面：
1)如何從簽到數(shù)據(jù)中提取時(shí)空序列特征?用戶的歷史簽到序列是LBSN中用戶對(duì)興趣點(diǎn)偏好最直觀的體現(xiàn)。與傳統(tǒng)的“用戶-商品”矩陣相比，簽到序列包含了上下文時(shí)空信息，充分挖掘其時(shí)空序列特征可以有效改善對(duì)用戶偏好的建模效果。
2)如何充分利用LBSN中的信息?除了用戶簽到序列，LBSN中還包含大量用戶生成內(nèi)容(User-GeneratedContent,UGC)和社交關(guān)系信息，如用戶發(fā)布的關(guān)于某個(gè)興趣點(diǎn)的照片評(píng)論、用戶之間的關(guān)注關(guān)系等。這些信息能夠反映出用戶的關(guān)注點(diǎn)和興趣偏好，同時(shí)也隱含了興趣點(diǎn)的特征，因此可以被用來(lái)進(jìn)一步改善興趣點(diǎn)推薦的效果。
3)如何綜合多特征的影響實(shí)現(xiàn)興趣點(diǎn)推薦?如上所述，興趣點(diǎn)推薦系統(tǒng)中包含大量體現(xiàn)用戶偏好的特征。從特征對(duì)象的角度可以分為用戶特征、興趣點(diǎn)特征和外部環(huán)境特征;從用戶偏好主要影響因素的角度可以分為時(shí)空因素、內(nèi)容因素和社交關(guān)系因素等。一個(gè)有效且有拓展性的模型需要綜合考慮這些特征的共同影響以實(shí)現(xiàn)個(gè)性化的興趣點(diǎn)推薦。
4)如何處理“用戶-興趣點(diǎn)”簽到矩陣的稀疏性問(wèn)題?雖然LBSN被廣泛使用，但單個(gè)用戶訪問(wèn)過(guò)的興趣點(diǎn)數(shù)量相比于全部興趣點(diǎn)而言是極少的。此外，對(duì)于新用戶和新注冊(cè)的興趣點(diǎn)，LBSN中關(guān)于它們的歷史簽到信息較少。鑒于以上原因，“用戶-興趣點(diǎn)”簽到矩陣具有較強(qiáng)的稀疏性。怎樣挖掘有限的歷史簽到數(shù)據(jù)、利用沒(méi)有歷史簽到的用戶興趣點(diǎn)其本身的特性以在一定程度上緩解數(shù)據(jù)稀疏性問(wèn)題是許多相關(guān)工作研究的焦點(diǎn)。
基于以上對(duì)興趣點(diǎn)推薦問(wèn)題挑戰(zhàn)的總結(jié)，本文將從時(shí)空序列特征提取、內(nèi)容社交特征提取、多特征整合和無(wú)簽到用戶興趣點(diǎn)處理四方面對(duì)使用深度學(xué)習(xí)解決這些挑戰(zhàn)的背景和優(yōu)勢(shì)進(jìn)行分析，對(duì)相關(guān)工作中用于解決四個(gè)問(wèn)題的具體深度學(xué)習(xí)方法進(jìn)行回顧。
通過(guò)對(duì)興趣點(diǎn)推薦中深度學(xué)習(xí)方法的總結(jié)和分類，2時(shí)空序列特征提取用戶的歷史簽到數(shù)據(jù)是LBSN中反映用戶對(duì)興趣點(diǎn)偏好的最直觀的信息。用戶簽到包括其訪問(wèn)的興趣點(diǎn)和時(shí)間戳，用戶偏好受到時(shí)空特征的限制和影響，例如由于營(yíng)業(yè)時(shí)間限制，一些興趣點(diǎn)只會(huì)在特定的時(shí)間段被訪問(wèn);根據(jù)地理學(xué)第一定律[9]，興趣點(diǎn)之間的距離遠(yuǎn)近在一定程度上決定了它們之間關(guān)聯(lián)的緊密程度。此外，簽到序列往往具有一些序列特征，如某些興趣點(diǎn)之間訪問(wèn)的連續(xù)性、用戶偏好的一致性、用戶行為的周期性等。
推薦系統(tǒng)傳統(tǒng)的矩陣分解方法沒(méi)有考慮到簽到數(shù)據(jù)的時(shí)空序列特征，一些相關(guān)工作[11-13]試圖使用傳統(tǒng)統(tǒng)計(jì)和概率學(xué)的方法對(duì)矩陣分解方法進(jìn)行改進(jìn)，如最小化連續(xù)兩次訪問(wèn)的用戶向量差[11]、最小化候選興趣點(diǎn)向量與用戶歷史訪問(wèn)過(guò)的興趣點(diǎn)向量之間的差[12]等。
但是這些改進(jìn)只能啟發(fā)式地描述簽到序列一些顯式的宏觀特征，用戶簽到數(shù)據(jù)中隱含的特征和聯(lián)系依然很難被充分挖掘和利用。近年來(lái)隨著自然語(yǔ)言處理技術(shù)的快速發(fā)展以及處理序列的神經(jīng)網(wǎng)絡(luò)模型的廣泛使用，深度學(xué)習(xí)方法被證實(shí)在處理序列數(shù)據(jù)上具有很大優(yōu)勢(shì)，通過(guò)對(duì)循環(huán)神經(jīng)元結(jié)構(gòu)的改造、“門(mén)”的設(shè)計(jì)以及注意力機(jī)制的運(yùn)用，這類方法可以有效地在序列數(shù)據(jù)中刻畫(huà)復(fù)雜的上下文特征并捕捉用戶的長(zhǎng)短期偏好，因此可以被應(yīng)用于LBSN中包含時(shí)空信息的簽到序列的特征提取。
在本章中，我們主要總結(jié)歸納了兩類提取時(shí)空序列特征的方法，第一類是使用自然語(yǔ)言處理中獲取詞向量的方法來(lái)處理興趣點(diǎn)序列，這類方法更加關(guān)注局部的序列特性，即某些興趣點(diǎn)常在短期內(nèi)被同一用戶訪問(wèn)的模式，使這些興趣點(diǎn)擁有相近的隱特征向量，在推薦時(shí)根據(jù)隱特征向量給出符合用戶歷史偏好的興趣點(diǎn);第二類方法是使用一些常用的處理序列的神經(jīng)網(wǎng)絡(luò)模塊，如循環(huán)神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制等，這類方法相比于第一類方法可以獲取歷史興趣點(diǎn)序列的長(zhǎng)期特征即用戶的長(zhǎng)期偏好以及興趣點(diǎn)被訪問(wèn)的前后關(guān)系特征，并可充分挖掘利用興趣點(diǎn)簽到相關(guān)的上下文信息，如興趣點(diǎn)地理位置、簽到時(shí)間等，因此在相關(guān)工作中被應(yīng)用得更加廣泛。
2.1詞向量獲取方法
為獲取簽到序列的序列特征，興趣點(diǎn)推薦系統(tǒng)需要挖掘興趣點(diǎn)之間的潛在關(guān)聯(lián)，一類常見(jiàn)的方法是借鑒自然語(yǔ)言處理中獲取詞向量的方法，將每個(gè)興趣點(diǎn)類比為一個(gè)單詞，將用戶歷史簽到的興趣點(diǎn)序列看作句子，最終刻畫(huà)用戶的興趣點(diǎn)訪問(wèn)模式可以被轉(zhuǎn)化為提取句子的語(yǔ)義特征。常用的詞向量獲取方法Word2vec模型[10]分為兩種實(shí)現(xiàn)，即Skip-gram和ContinuousBag-of-Words(CBOW)。Skip-gram是根據(jù)當(dāng)前的詞來(lái)預(yù)測(cè)其周圍的詞，而CBOW則是根據(jù)周圍的詞預(yù)測(cè)當(dāng)前的詞，這兩種模型均可被應(yīng)用于興趣點(diǎn)推薦。
文獻(xiàn)[14]利用Skip-gram實(shí)現(xiàn)以建模用戶的簽到興趣點(diǎn)序列以獲取每個(gè)興趣點(diǎn)的隱特征，Skip-gram在興趣點(diǎn)推薦中其目標(biāo)方程是最大化興趣點(diǎn)上下文(歷史數(shù)據(jù)中曾經(jīng)在某個(gè)興趣點(diǎn)前后被訪問(wèn)的興趣點(diǎn))和該興趣點(diǎn)同時(shí)出現(xiàn)的概率，該方法在推薦前十個(gè)興趣點(diǎn)時(shí)比利用非一致性和連續(xù)性的特征改進(jìn)的矩陣分解算法[11]準(zhǔn)確率提高了約0.03。文獻(xiàn)[15]對(duì)上述方法進(jìn)行了進(jìn)一步優(yōu)化，將用戶每一天的簽到序列看作一個(gè)單獨(dú)的句子，并對(duì)興趣點(diǎn)在工作日和周末的簽到進(jìn)行了區(qū)分。文獻(xiàn)[16]則使用了CBOW實(shí)現(xiàn)，根據(jù)興趣點(diǎn)序列獲取興趣點(diǎn)特征表示。
2.2處理序列的神經(jīng)網(wǎng)絡(luò)方法
使用類比后獲取詞向量的方法從用戶簽到序列中提取興趣點(diǎn)特征表示僅僅考慮到了興趣點(diǎn)短期被同用戶訪問(wèn)的關(guān)系，而沒(méi)有考慮到興趣點(diǎn)之間更復(fù)雜的關(guān)聯(lián)，簽到數(shù)據(jù)的具體地理位置信息和時(shí)間戳信息沒(méi)有得到充分利用。為了更加深入地挖掘帶時(shí)空上下文的序列特征，一些處理序列的神經(jīng)網(wǎng)絡(luò)模塊可被應(yīng)用于興趣點(diǎn)推薦。
循環(huán)神經(jīng)網(wǎng)絡(luò)(RecurrentNeuralNetwork,RNN)[17]是處理帶豐富上下文信息的序列數(shù)據(jù)的有效方法，將基于循環(huán)神經(jīng)網(wǎng)絡(luò)的方法引入興趣點(diǎn)推薦可以有效地從簽到序列中提取時(shí)空序列特征。由于傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)在刻畫(huà)用戶長(zhǎng)期偏好時(shí)存在梯度消失的問(wèn)題，基于長(zhǎng)短期記憶網(wǎng)絡(luò)(LongShort-TermMemory,LSTM)[18]的方法在相關(guān)工作中被使用得更加廣泛，它可以有效地刻畫(huà)用戶的長(zhǎng)短期偏好。
文獻(xiàn)[19]引入了興趣點(diǎn)類別的概念并利用兩個(gè)長(zhǎng)短期記憶網(wǎng)絡(luò)編碼器分別提取用戶簽到的興趣點(diǎn)類別序列和具體興趣點(diǎn)序列的時(shí)間特征，根據(jù)興趣點(diǎn)類別特征進(jìn)行初步篩選后再根據(jù)每個(gè)興趣點(diǎn)的特征和用戶特征實(shí)現(xiàn)推薦，通過(guò)刻畫(huà)不同層次的序列特征減小了推薦的搜索空間，提高了興趣點(diǎn)推薦的準(zhǔn)確性。上述工作通過(guò)改進(jìn)循環(huán)神經(jīng)網(wǎng)絡(luò)的循環(huán)神經(jīng)元使得其更加適應(yīng)于興趣點(diǎn)推薦系統(tǒng)中時(shí)空序列特征的處理。但這類方法的缺點(diǎn)在于循環(huán)神經(jīng)元無(wú)法有區(qū)別地處理簽到序列中不同的簽到，而事實(shí)上歷史簽到對(duì)未來(lái)簽到的影響并不完全是隨著時(shí)間間隔的增大而衰減。
注意力機(jī)制是另一類處理序列的神經(jīng)網(wǎng)絡(luò)方法，可用于提取興趣點(diǎn)序列的時(shí)空特征。從地理位置來(lái)看，每一對(duì)興趣點(diǎn)之間的影響力大小不同。文獻(xiàn)[26]提出了地理注意力網(wǎng)絡(luò)來(lái)刻畫(huà)興趣點(diǎn)之間基于位置的關(guān)系，考慮了兩個(gè)興趣點(diǎn)之間的距離以及他們各自的地理屬性——地理影響力(即該興趣點(diǎn)引導(dǎo)用戶去其他興趣點(diǎn)的能力)和地理被影響力(即該興趣點(diǎn)吸引其他興趣點(diǎn)的訪客的能力)，使用候選興趣點(diǎn)的地理被影響力作為注意力機(jī)制中的查詢(Query)、該用戶歷史訪問(wèn)過(guò)的興趣點(diǎn)的地理影響力作為鍵(Key)，影響力系數(shù)根據(jù)兩個(gè)興趣點(diǎn)之間的距離使用RBF核獲得，最終計(jì)算出注意力權(quán)重，模型輸出的對(duì)于候選興趣點(diǎn)的用戶偏好為歷史興趣點(diǎn)地理影響的加權(quán)求和。地理注意力網(wǎng)絡(luò)使得模型的性能在Foursquare和Gowalla數(shù)據(jù)集上均獲得了較大提升。
在處理時(shí)序特征時(shí)，注意力機(jī)制一般與循環(huán)神經(jīng)網(wǎng)絡(luò)或長(zhǎng)短期記憶網(wǎng)絡(luò)一起使用，一類方法是使用后者獲取每次簽到的隱特征，再利用注意力機(jī)制加權(quán)聚合簽到序列中多次簽到的隱特征;另一類方法則是并行使用這兩種方法從多維度提取簽到序列的特征。文獻(xiàn)[27]為推薦下一次簽到的興趣點(diǎn)，先將用戶簽到序列(候選興趣點(diǎn)和推薦時(shí)間作為序列的最后一個(gè)節(jié)點(diǎn))中每一次簽到的興趣點(diǎn)特征和時(shí)空上下文特征輸入長(zhǎng)短期記憶網(wǎng)絡(luò)以獲取其隱特征，由于每個(gè)歷史簽到對(duì)未來(lái)簽到興趣點(diǎn)預(yù)測(cè)的貢獻(xiàn)程度不同，他們?cè)倮米⒁饬C(jī)制根據(jù)歷史簽到的隱特征和候選興趣點(diǎn)的隱特征計(jì)算注意力權(quán)重加權(quán)的決策向量，基于此向量可預(yù)測(cè)該候選興趣點(diǎn)被訪問(wèn)的概率，訪問(wèn)概率最高的候選興趣點(diǎn)被作為推薦的結(jié)果。
文獻(xiàn)[28]提出了一種基于長(zhǎng)短期記憶網(wǎng)絡(luò)模塊的編碼器-解碼器模型來(lái)預(yù)測(cè)下一個(gè)被訪問(wèn)的興趣點(diǎn)，其中編碼器中的長(zhǎng)短期記憶網(wǎng)絡(luò)被用來(lái)獲取簽到序列中每個(gè)簽到興趣點(diǎn)的隱特征，解碼器同樣利用長(zhǎng)短期記憶網(wǎng)絡(luò)根據(jù)編碼器的結(jié)果進(jìn)一步挖掘簽到興趣點(diǎn)特征，時(shí)間注意力機(jī)制根據(jù)編碼器輸出的歷史簽到的隱特征和解碼器計(jì)算的候選興趣點(diǎn)特征計(jì)算注意力權(quán)重，考慮歷史簽到與候選興趣點(diǎn)之間不同大小的相關(guān)性獲取更準(zhǔn)確的候選興趣點(diǎn)特征進(jìn)行推薦預(yù)測(cè)。不同于上述兩個(gè)工作，文獻(xiàn)[29]并行地使用注意力機(jī)制和長(zhǎng)短期記憶網(wǎng)絡(luò)來(lái)共同刻畫(huà)用戶偏好的整體特征。
他們認(rèn)為用戶簽到行為從短期來(lái)看往往呈現(xiàn)出一定的連續(xù)性和一致性，長(zhǎng)短期記憶網(wǎng)絡(luò)適用于建模用戶簽到的序列行為以獲取用戶的短期偏好;而從長(zhǎng)期來(lái)看，用戶的偏好在不同的情景和位置下往往具有非一致性，注意力機(jī)制可以更有效地刻畫(huà)用戶的整體長(zhǎng)期偏好。為了刻畫(huà)出用戶偏好在一天中具體時(shí)間段的特征，文獻(xiàn)[19]區(qū)分了工作日和周末，并將1天根據(jù)簽到的分布密度分為12個(gè)時(shí)間窗口，他們將長(zhǎng)短期記憶網(wǎng)絡(luò)輸出的興趣點(diǎn)隱特征劃分到不同時(shí)間窗口中，并利用用戶和窗口中興趣點(diǎn)的隱特征的相關(guān)性計(jì)算了每個(gè)時(shí)間窗口的注意力權(quán)重，這項(xiàng)機(jī)制的設(shè)計(jì)大幅提升了興趣點(diǎn)推薦的準(zhǔn)確性。
2.3相關(guān)工作的不足
時(shí)空特征是興趣點(diǎn)推薦系統(tǒng)中最重要的特征之一，目前大多數(shù)關(guān)于興趣點(diǎn)推薦和位置預(yù)測(cè)的研究都聚焦于時(shí)空特征的提取和分析。大部分的現(xiàn)有工作側(cè)重于利用深度學(xué)習(xí)模型提取時(shí)間序列特征，盡管一些工作引入了時(shí)間影響力和時(shí)間間隔的概念，但具體的時(shí)間點(diǎn)特征目前還沒(méi)有能夠被充分挖掘。例如，用戶更傾向于在某些特定日期訪問(wèn)某些興趣點(diǎn)，或某些興趣點(diǎn)只在某些特定的時(shí)間段可被訪問(wèn)，粗粒度的時(shí)間窗口無(wú)法描述這些特征。與時(shí)間相關(guān)的用戶訪問(wèn)模式如多層次的周期性和一致性特征有待進(jìn)一步挖掘。
此外，相關(guān)工作多是對(duì)單個(gè)用戶簽到序列進(jìn)行建模，盡管每個(gè)單序列中都包含了豐富的時(shí)空序列特征，但序列之間關(guān)系的挖掘和利用可以進(jìn)一步提升用戶偏好預(yù)測(cè)的效果，目前該方面的研究工作較少。不同序列中由于存在某些相同或相近的興趣點(diǎn)可以聯(lián)合進(jìn)行時(shí)空特征提取，通過(guò)多序列特征提取可以獲取更加全面的時(shí)空序列特征。
3內(nèi)容社交特征提取
除了用戶簽到數(shù)據(jù)，LBSN中還包含了大量用戶生成內(nèi)容和社交關(guān)系信息，如用戶評(píng)論、照片以及用戶之間的社交關(guān)系等，這些信息也能夠反映出用戶的偏好和興趣點(diǎn)的特征，在數(shù)據(jù)集中包含這些類型的輔助信息時(shí)，充分利用這些信息可以有效提升興趣點(diǎn)推薦的效果。根據(jù)用戶評(píng)論可以分析出用戶訪問(wèn)某個(gè)興趣點(diǎn)時(shí)的感受和情緒，用戶上傳的照片不僅可以反映出其關(guān)注點(diǎn)和偏好，還可以提供更多關(guān)于興趣點(diǎn)的信息。此外由于這些數(shù)據(jù)都是公開(kāi)可見(jiàn)的，它們也會(huì)影響其他用戶對(duì)該興趣點(diǎn)的預(yù)期，進(jìn)而影響用戶選擇是否會(huì)訪問(wèn)該興趣點(diǎn)，因此興趣點(diǎn)推薦時(shí)需要考慮到評(píng)論、照片等用戶生成內(nèi)容中包含的語(yǔ)義特征。
4多特征整合
如上所述，從LBSN中的歷史簽到、用戶生成內(nèi)容和用戶社交關(guān)系信息等數(shù)據(jù)中可以提取出豐富的特征，用戶對(duì)于興趣點(diǎn)的偏好受這些特征共同影響。從對(duì)象的角度分類，這些特征可以分為用戶特征、興趣點(diǎn)特征和外部環(huán)境特征;從影響因素的角度來(lái)看，可以分為時(shí)空特征、序列特征、內(nèi)容語(yǔ)義特征、社交關(guān)系特征等。傳統(tǒng)的協(xié)同過(guò)濾方法使用矩陣分解來(lái)獲取用戶和興趣點(diǎn)的隱特征向量，這種方法將用戶和興趣點(diǎn)之間的關(guān)系刻畫(huà)為隱特征之間的內(nèi)積關(guān)系，其缺陷在于其要求用戶和興趣點(diǎn)的隱特征具有相同的維度，限制了用戶興趣點(diǎn)特征提取的效果;此外，線性運(yùn)算無(wú)法全面地刻畫(huà)用戶和興趣點(diǎn)之間的復(fù)雜關(guān)聯(lián)，難以建模多特征的共同影響。
神經(jīng)元中非線性激活函數(shù)的設(shè)計(jì)以及神經(jīng)元之間的網(wǎng)絡(luò)結(jié)構(gòu)使得神經(jīng)網(wǎng)絡(luò)模型可以刻畫(huà)輸入和輸出之間的復(fù)雜非線性關(guān)聯(lián)，因此可以被用于興趣點(diǎn)推薦中多特征整合的過(guò)程。此外，LBSN中各個(gè)實(shí)體(如用戶、興趣點(diǎn)等)之間存在不同類型的關(guān)系，構(gòu)建多實(shí)體關(guān)系圖并使用圖嵌入的方法可以在特征整合的過(guò)程中有效地保留不同實(shí)體之間不同關(guān)系的結(jié)構(gòu)特征。本章將歸納總結(jié)興趣點(diǎn)推薦相關(guān)工作中進(jìn)行特征整合時(shí)使用的這兩類深度學(xué)習(xí)方法。
5無(wú)簽到用戶興趣點(diǎn)處理
興趣點(diǎn)推薦系統(tǒng)一個(gè)值得關(guān)注的特征就是其興趣點(diǎn)數(shù)量規(guī)模巨大，由于時(shí)間和地理位置的限制單個(gè)用戶只能訪問(wèn)其中很少一部分，因此興趣點(diǎn)推薦系統(tǒng)存在嚴(yán)重的數(shù)據(jù)稀疏性問(wèn)題。能否有效處理正樣本(歷史訪問(wèn)過(guò)的興趣點(diǎn))和負(fù)樣本(歷史未訪問(wèn)過(guò)的興趣點(diǎn))之間的數(shù)量不平衡對(duì)于用戶偏好建模的效果至關(guān)重要，一方面如何根據(jù)少量歷史訪問(wèn)數(shù)據(jù)從大量未訪問(wèn)過(guò)的候選興趣點(diǎn)中推薦用戶可能感興趣的興趣點(diǎn)是一項(xiàng)巨大挑戰(zhàn);另一方面用戶歷史未訪問(wèn)過(guò)的興趣點(diǎn)也可以借助其自身的地理位置信息以及LBSN中的社交信息等輔助推薦。
近幾年，在深度學(xué)習(xí)領(lǐng)域，介于監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)之間的半監(jiān)督學(xué)習(xí)受到了廣泛關(guān)注。利用少量有標(biāo)簽數(shù)據(jù)和大量無(wú)標(biāo)簽數(shù)據(jù)，結(jié)合數(shù)據(jù)分布上的特征來(lái)構(gòu)建模型，可以有效提升模型的準(zhǔn)確性，同時(shí)降低訓(xùn)練的成本，因此被廣泛運(yùn)用在有標(biāo)簽數(shù)據(jù)不足的場(chǎng)景中。在興趣點(diǎn)推薦系統(tǒng)中，歷史簽到數(shù)據(jù)可以被看作是有標(biāo)簽的數(shù)據(jù)，而歷史未被訪問(wèn)的興趣點(diǎn)是無(wú)標(biāo)簽數(shù)據(jù)，雖然有標(biāo)簽的數(shù)據(jù)量較少，但興趣點(diǎn)的時(shí)空特征、用戶的社交特征等分布具有一定的規(guī)律性，因此半監(jiān)督學(xué)習(xí)的思想可以被應(yīng)用在興趣點(diǎn)推薦任務(wù)中以緩解數(shù)據(jù)稀疏的問(wèn)題。
6未來(lái)工作
根據(jù)上述分析可以發(fā)現(xiàn)，深度學(xué)習(xí)方法的應(yīng)用可以有效解決興趣點(diǎn)推薦系統(tǒng)中存在的挑戰(zhàn)，但目前興趣點(diǎn)推薦的相關(guān)工作依然存在不足，未來(lái)可以針對(duì)上述四方面相關(guān)工作的不足進(jìn)行進(jìn)一步地研究。此外除了本文總結(jié)的興趣點(diǎn)推薦的四方面挑戰(zhàn)，深度學(xué)習(xí)相關(guān)技術(shù)還可用于解決目前興趣點(diǎn)推薦中一些尚未得到足夠重視的問(wèn)題。
首先，目前大多數(shù)的興趣點(diǎn)推薦相關(guān)工作都著力于提高推薦的準(zhǔn)確率，而推薦方法的時(shí)空復(fù)雜度沒(méi)有得到足夠的重視。目前大多數(shù)的研究都是離線推薦，它們?cè)谝延械臄?shù)據(jù)集上進(jìn)行分析和預(yù)測(cè)，但實(shí)際運(yùn)用這些推薦算法時(shí)，在線推薦是不可避免的。由于每秒鐘都會(huì)有大量的用戶簽到數(shù)據(jù)產(chǎn)生，歷史可用作訓(xùn)練的數(shù)據(jù)集的規(guī)模較大且增長(zhǎng)較快，其中體現(xiàn)出的用戶偏好也會(huì)不斷變化，因此需要不斷更新模型以適應(yīng)這種偏好變化。
在效率和有效性之間做權(quán)衡，一種折中方案是將訓(xùn)練和推斷模型拆分為離線和在線兩部分，離線部分根據(jù)最近收集的數(shù)據(jù)定期重訓(xùn)練模型，其效率問(wèn)題是可容忍的;在線部分基于最新的模型實(shí)時(shí)產(chǎn)生每個(gè)用戶的興趣點(diǎn)推薦結(jié)果，對(duì)效率敏感，但這種方案推薦的準(zhǔn)確率一定程度上取決于模型更新的頻率。未來(lái)工作可以考慮利用增量學(xué)習(xí)(incrementallearning)[65]來(lái)持續(xù)對(duì)興趣點(diǎn)推薦的模型進(jìn)行更新[66]，增量學(xué)習(xí)不斷利用新收集的數(shù)據(jù)來(lái)擴(kuò)展模型知識(shí)，訓(xùn)練過(guò)程是高效且節(jié)省資源的，同時(shí)模型可以快速捕捉到用戶偏好的變化。
其次，冷啟動(dòng)是興趣點(diǎn)推薦的一個(gè)經(jīng)典問(wèn)題，預(yù)測(cè)新用戶或新到訪一個(gè)地區(qū)的用戶的偏好是一項(xiàng)挑戰(zhàn)。目前已有的興趣點(diǎn)推薦方法往往需要挖掘用戶的歷史數(shù)據(jù)，但在一個(gè)LBSN中關(guān)于新用戶的相關(guān)信息較少，不足以反映出他們的偏好。隨著智能手機(jī)的普及以及各類應(yīng)用數(shù)量的增加，用戶往往會(huì)使用多個(gè)社交網(wǎng)絡(luò)應(yīng)用，即一個(gè)LBSN中的新用戶很可能是其他社交網(wǎng)絡(luò)的老用戶。
因此可以通過(guò)“跨站鏈接(cross-sitelinking)”[67]的方式從其他網(wǎng)絡(luò)中獲取更多用戶相關(guān)數(shù)據(jù)來(lái)幫助興趣點(diǎn)推薦。遷移學(xué)習(xí)[68]也是一種可以被運(yùn)用的技術(shù)，它根據(jù)兩個(gè)任務(wù)之間的相關(guān)性，重利用在一個(gè)任務(wù)上訓(xùn)練的模型去處理另一個(gè)任務(wù)。目前僅有很少一些工作[69-70]嘗試使用遷移模型根據(jù)本地用戶的偏好來(lái)推斷新移民或游客的偏好。未來(lái)一個(gè)LBSN可以從其他LBSN或傳統(tǒng)社交網(wǎng)絡(luò)中獲取更多反映用戶、興趣點(diǎn)特征以及社交關(guān)系的信息以提升興趣點(diǎn)推薦的效果。此外由于時(shí)空特征是興趣點(diǎn)推薦的一個(gè)重要影響因子，因此一些交通數(shù)據(jù)可以被用來(lái)輔助推薦。
第三，用戶的偏好是動(dòng)態(tài)變化的，一個(gè)LBSN提供的興趣點(diǎn)推薦服務(wù)不是一次性的服務(wù)，興趣點(diǎn)推薦取決于已知的用戶偏好，但同時(shí)用戶偏好的變化也會(huì)受歷史推薦的影響。現(xiàn)有的工作僅僅最優(yōu)化了當(dāng)前一次推薦的用戶滿意度而忽視了本次推薦對(duì)未來(lái)用戶偏好的影響。
深度學(xué)習(xí)論文：基于深度學(xué)習(xí)算法的學(xué)術(shù)查詢意圖分類器構(gòu)建
強(qiáng)化學(xué)習(xí)[71]可以被引入興趣點(diǎn)推薦以建模用戶偏好的動(dòng)態(tài)特征，該方法已被廣泛應(yīng)用于其他推薦系統(tǒng)如商品推薦[72]和新聞推薦中[73]，其主要思路是將推薦系統(tǒng)看作是一種追求用戶效用(即獎(jiǎng)勵(lì),reward)最大的策略(policy)，每次推薦根據(jù)當(dāng)前狀態(tài)(state)計(jì)算出最優(yōu)的動(dòng)作(action)，即推薦的興趣點(diǎn)，再根據(jù)該行為進(jìn)行狀態(tài)轉(zhuǎn)化，最終目標(biāo)是最大化用戶訪問(wèn)的興趣點(diǎn)序列的效用之和，進(jìn)而提高綜合推薦效果。
對(duì)于具體強(qiáng)化學(xué)習(xí)方法的選擇，由于用戶狀態(tài)的刻畫(huà)較復(fù)雜，狀態(tài)空間較大，因此推薦系統(tǒng)中一般使用是深度強(qiáng)化學(xué)習(xí)模型，在文獻(xiàn)[72]和[73]中均采用了基于值函數(shù)的DeepQ-Learning(DQN)[74]的算法。由于候選興趣點(diǎn)數(shù)量較大，動(dòng)作空間也較大，在未來(lái)興趣點(diǎn)推薦的研究中也可嘗試使用基于策略梯度的深度強(qiáng)化學(xué)習(xí)算法，如DDPG算法[75]。
作者：湯佳欣1,2，陳陽(yáng)1,2，周孟瑩1,2，王新1,2
轉(zhuǎn)載請(qǐng)注明來(lái)自發(fā)表學(xué)術(shù)論文網(wǎng)：http:///jjlw/27603.html
