文丨五年寶
編輯丨五年寶
(資料圖片)
5G和未來6G技術(shù)的興起將為未來通信網(wǎng)絡(luò)的建設(shè)做出巨大貢獻(xiàn)，而網(wǎng)絡(luò)終端用戶和服務(wù)的數(shù)量大幅增長(zhǎng)，這給用戶選擇與不同設(shè)備的需求相匹配的服務(wù)提出了挑戰(zhàn)。
智能邊緣計(jì)算（IEC）支持更多節(jié)點(diǎn)負(fù)載流量并提高通信速率，歐洲電信標(biāo)準(zhǔn)協(xié)會(huì)（ETSI）將這一新興范式定義為多接入邊緣計(jì)算，將計(jì)算能力更加貼近邊緣網(wǎng)絡(luò)。
從而使智能設(shè)備能夠通過不同的網(wǎng)絡(luò)模式調(diào)用服務(wù)，以滿足邊緣計(jì)算的需求，以及低延遲。
QoS人工智能以及最新智能服務(wù)另一方面，邊緣節(jié)點(diǎn)提供的人工智能技術(shù)支持的智能服務(wù)數(shù)量越來越龐大，需要更準(zhǔn)確的智能服務(wù)預(yù)測(cè)模型。
而服務(wù)質(zhì)量（QoS）一直是衡量服務(wù)是否適合用戶的關(guān)鍵標(biāo)準(zhǔn)，所以QoS的預(yù)測(cè)成為服務(wù)推薦中的關(guān)鍵問題。
在未來的通信場(chǎng)景中，QoS容易受到用戶異構(gòu)設(shè)備和網(wǎng)絡(luò)環(huán)境復(fù)雜性的影響，而且用戶可以從多種智能設(shè)備，比如說可穿戴設(shè)備、手機(jī)、平板電腦和筆記本電腦調(diào)用服務(wù)。
但不同的設(shè)備對(duì)服務(wù)有不同的QoS感知，即使對(duì)于相同的服務(wù)，QoS值也可能完全不同，這就要求預(yù)測(cè)模型需要對(duì)各種設(shè)備敏感。
不光如此，設(shè)備的網(wǎng)絡(luò)接入方式也對(duì)QoS值有顯著影響，用戶由于接入的網(wǎng)絡(luò)模式不同，會(huì)得到不同的QoS。
所以預(yù)測(cè)系統(tǒng)需要感知網(wǎng)絡(luò)模式的接入，而其他因素也會(huì)在一定程度上影響QoS，例如地理位置、IP地址、身份證號(hào)碼等。
為了做出準(zhǔn)確的QoS預(yù)測(cè)，人們采取了不同的努力，而QoS預(yù)測(cè)的研究可以分為最近鄰（NN）、矩陣分解（MF）和深度學(xué)習(xí)（DL）方法。
NN方法有著這樣的假設(shè)：如果用戶過去有類似的QoS體驗(yàn)，他們將來也會(huì)有類似的QoS體驗(yàn)，但神經(jīng)網(wǎng)絡(luò)方法僅利用鄰域的信息進(jìn)行預(yù)測(cè)。
從而忽略了隱藏在整個(gè)用戶服務(wù)QoS矩陣中的有益信息，與NN方法不同，MF方法通過使用QoS矩陣中的全部可用數(shù)據(jù)學(xué)習(xí)的用戶和服務(wù)隱式特征矩陣提供QoS預(yù)測(cè)。
但是MF的性能受到用戶潛在特征向量和服務(wù)潛，而且在特征向量的簡(jiǎn)單線性點(diǎn)積的限制，根據(jù)服務(wù)QoS預(yù)測(cè)、因子分解機(jī)(FM)和多層感知器(MLP) 的深度學(xué)習(xí)取得了巨大的發(fā)展。
根據(jù)深度學(xué)習(xí)的方法為推進(jìn)服務(wù)QoS預(yù)測(cè)提供了前所未有的機(jī)會(huì)，IEC方向的AI技術(shù)提高了預(yù)測(cè)精度但構(gòu)建更準(zhǔn)確的QoS預(yù)測(cè)器仍然面臨挑戰(zhàn)。
為了緩解這些關(guān)鍵挑戰(zhàn)，研究人員提出了一種名為矩陣分解自動(dòng)交互網(wǎng)絡(luò)（MFAIN）的方法來自動(dòng)學(xué)習(xí)高階特征交互。
在研究人員的方法中，他們將上下作為顯式特征，例如地理位置、IP地址、ID號(hào)等，同時(shí)為了利用與設(shè)備相關(guān)的信息，他們將聚類算法獲得的設(shè)備類型和網(wǎng)絡(luò)模式作為顯式特征。
通過MF提取包含潛在關(guān)系的隱式特征，研究人員又利用所有這些特征生成的向量來饋送基于多頭自注意力機(jī)制的交互網(wǎng)絡(luò)，以學(xué)習(xí)低階和高階特征交互。
而注意力機(jī)制用于衡量特征之間的相關(guān)性，還可以確定應(yīng)組合哪些特征以形成有意義的高階特征。
有實(shí)驗(yàn)結(jié)果表明，研究人員的模型在預(yù)測(cè)精度方面表現(xiàn)出色，與最先進(jìn)的方法相比，他們的方法在RT和TP的最佳基線上分別實(shí)現(xiàn)了平均MAE11.1%和11.6%的改進(jìn)。
不光如此，研究人員們的模型在利用異構(gòu)上下文特征方面具有良好的魯棒性和可擴(kuò)展性，而其余部分組織如下： 相關(guān)工作部分 展示了他們的相關(guān)工作，動(dòng)機(jī)部分介紹了動(dòng)機(jī)場(chǎng)景。
他們的方法部分介紹了基于MF和特征學(xué)習(xí)的服務(wù)推薦方法，有實(shí)驗(yàn)并且評(píng)估部分描述了實(shí)驗(yàn)和評(píng)估，根據(jù)結(jié)論和未來工作部分總結(jié)有關(guān)于QoS未來工作的預(yù)測(cè)。
相關(guān)工作根據(jù)現(xiàn)有的QoS預(yù)測(cè)研究，研究人員將工作分為傳統(tǒng)的NN、MF和DL方法，而根據(jù)有傳統(tǒng)方法是基于神經(jīng)網(wǎng)絡(luò)的QoS預(yù)測(cè)，其優(yōu)點(diǎn)是易于在傳統(tǒng)服務(wù)計(jì)算環(huán)境中實(shí)現(xiàn)。
這種方法的核心是計(jì)算相似度，之后進(jìn)行協(xié)同過濾，有一部分研究人員提出使用基于皮爾遜相關(guān)系數(shù)（PCC）計(jì)算的用戶相似度的協(xié)同預(yù)測(cè)方法。
而后又提出了一種混合模型，通過置信權(quán)重線性集成基于用戶和基于項(xiàng)目的方法，他們考慮QoS數(shù)據(jù)的分布特征來計(jì)算相似度。
但需要注意的是，在實(shí)際場(chǎng)景中，單個(gè)用戶無法調(diào)用所有服務(wù)，這會(huì)導(dǎo)致數(shù)據(jù)稀疏問題，在這種情況下，無法選擇用戶和服務(wù)的鄰居。
為了減輕數(shù)據(jù)稀疏性的影響，Liu提出了一種方法：位置感知相似性度量，以借助位置信息來查找用戶和服務(wù)的鄰居。
之后又有研究人員提出，一種通過計(jì)算用戶或邊緣服務(wù)器相似度的服務(wù)推薦方法，通過NN方法仍然忽略了隱藏在整個(gè)數(shù)據(jù)中的有用信息。
而他們提出的MFAIN方法旨在利用整個(gè)數(shù)據(jù)來訓(xùn)練和提高QoS預(yù)測(cè)的準(zhǔn)確性，但MF是另一種協(xié)同過濾方法。
MFAIN方法MF與僅使用鄰居信息進(jìn)行QoS預(yù)測(cè)的方法不同，而是使用所有可用的QoS數(shù)據(jù)來學(xué)習(xí)用戶和服務(wù)的隱式特征表示。
盡管現(xiàn)有的MF方法嘗試將位置、相似關(guān)系和上下文信息集成到MF中，但其性能仍然受到用戶潛在特征向量和服務(wù)潛在特征向量之間的簡(jiǎn)單線性內(nèi)積的限制。
隨著IEC環(huán)境中上下信息的放大，需要捕獲用戶和服務(wù)之間更多的非線性交互，但在最近有一些探索性工作基于DL模型進(jìn)行QoS預(yù)測(cè)。
FM是解決稀疏數(shù)據(jù)特征組合問題的有效技術(shù)，從而研究人員引入了FM并使用二階特征交互來建模用戶和服務(wù)之間的真實(shí)交互。
這種技術(shù)將用戶和服務(wù)的鄰域作為補(bǔ)充特征，并將其放入FM中進(jìn)行交互式學(xué)習(xí)，但低階特征交互不足以適應(yīng)復(fù)雜的特征關(guān)系。
考慮到用戶和服務(wù)之間的真實(shí)交互是復(fù)雜且非線性的，Zhang提出，將用戶、服務(wù)和位置信息輸入one-hot編碼后的MLP中。
并且利用ReLU函數(shù)實(shí)現(xiàn)用戶和服務(wù)之間復(fù)雜交互的非線性變換，為了利用用戶鄰域信息來提高預(yù)測(cè)精度，Gao通過融合用戶和服務(wù)的鄰居的潛在集群特征改進(jìn)了MLP的嵌入層。
通過精心設(shè)計(jì)的左右結(jié)構(gòu)結(jié)合了FM和MLP的優(yōu)點(diǎn)，并利用上下信息來提高QoS預(yù)測(cè)的準(zhǔn)確性。
但除了利用上下信息之外，有更多的研究人員使用隱式信息來提高預(yù)測(cè)準(zhǔn)確性，有研究人員提出了一種位置感知特征交互學(xué)習(xí)（LAFIL）方法，用于預(yù)測(cè)用戶服務(wù)矩陣的QoS值。
在這之后，通過學(xué)習(xí)隱藏在有關(guān)位置信息的特征中的底層關(guān)系來進(jìn)行推薦，考慮到卷積神經(jīng)網(wǎng)絡(luò)（CNN）的優(yōu)點(diǎn)，Yin提出了一種MF和CNN聯(lián)合模型。
這是一種充分利用了服務(wù)調(diào)用過程的鄰域特征、公共隱式特征和深層隱式特征，所提出的模型解決了如何提高鄰居選擇質(zhì)量以及如何從QoS記錄中學(xué)習(xí)深層隱式特征的問題。
之后研究人員又提出了JDNMFL，它構(gòu)建了一個(gè)基于CNN的聯(lián)合深度網(wǎng)絡(luò)來學(xué)習(xí)局部關(guān)鍵特征交互，并應(yīng)用MLP從原始特征和局部特征交互中學(xué)習(xí)全局特征交互以進(jìn)行QoS預(yù)測(cè)。
盡管現(xiàn)有方法考慮了很多背景因素，但在面對(duì)設(shè)備服務(wù)的IEC環(huán)境目標(biāo)時(shí)，設(shè)備類型和數(shù)量的增加使得設(shè)備信息在預(yù)測(cè)中發(fā)揮著越來越重要的作用，而這一點(diǎn)并未得到充分考慮。
根據(jù)上文描述的深度學(xué)習(xí)的方法，并沒有過多關(guān)注特征的高階交互的影響，但為了豐富用戶特征和服務(wù)之間的交互方式，Chen提出了一種上下文感知特征交互模型（CFM）。
通過聯(lián)合考慮與FM的低階特征交互以及與MLP和深度交叉網(wǎng)絡(luò)（DCN）的高階特征交互來捕獲記憶和泛化。
而LAFIL利用壓縮交互網(wǎng)絡(luò)（CIN）僅進(jìn)行位置信息的特征交互學(xué)習(xí)，研究人員對(duì)此提出了一種用于上下QoS預(yù)測(cè)的通用深度神經(jīng)模型（DNM）。
這種模型分別學(xué)習(xí)用戶側(cè)和服務(wù)側(cè)的特征交互，但忽略了用戶和服務(wù)之間的特征交互，但未曾想到，現(xiàn)有的基于深度學(xué)習(xí)的特征交互學(xué)習(xí)方法沒有區(qū)分不同特征交互的重要性。
他們?yōu)樗刑卣鹘换シ峙湎嗤臋?quán)重，從而忽略了低相關(guān)性特征交互的識(shí)別和處理，嚴(yán)重影響了QoS預(yù)測(cè)的準(zhǔn)確性。
與現(xiàn)有的工作相比，研究人員的工作考慮了IEC環(huán)境中用戶設(shè)備的特性，并且使用矩陣分解來豐富上下文隱式特征，這些特征通常被交互層中的現(xiàn)有特征學(xué)習(xí)方法所忽略。
但在最后，使用多頭自注意力機(jī)制自動(dòng)學(xué)習(xí)低階和高階特征交互，從而允許每個(gè)特征與其他特征交互并通過學(xué)習(xí)確定相關(guān)性。
顯式特征嵌入為了考慮IEC環(huán)境中的各種上下特征，研究人員將用戶側(cè)和服務(wù)側(cè)中與服務(wù)調(diào)用相關(guān)的特征作為顯式特征。
在這樣的前提下，研究人員考慮了12個(gè)顯式特征，其中包括用戶ID、服務(wù)ID、用戶和服務(wù)的地理位置、用戶和服務(wù)的IP地址、用戶和服務(wù)的自治系統(tǒng)。
直接從原始數(shù)據(jù)集中的用戶和服務(wù)信息獲取的用戶和服務(wù)的IPNo，分別在TP和RT矩陣上通過聚類算法得到用戶設(shè)備類型和用戶接入的網(wǎng)絡(luò)模式。
考慮到復(fù)雜的IEC環(huán)境下設(shè)備的多路接入，這就要考慮用戶設(shè)備的特性，為了擴(kuò)展設(shè)備特征，研究人員發(fā)現(xiàn)不同用戶對(duì)同一服務(wù)的QoS具有聚類特征。
對(duì)于數(shù)據(jù)集中的部分用戶，可以假設(shè)同一類型的用戶使用相同的類型設(shè)備和網(wǎng)絡(luò)接入方式，而后他們又使用K-means聚類算法。
以此來獲取基于服務(wù)質(zhì)量的用戶設(shè)備類型和接入網(wǎng)絡(luò)方式兩個(gè)現(xiàn)實(shí)特征，而K-means聚類是最簡(jiǎn)單且流行的無監(jiān)督機(jī)器學(xué)習(xí)算法之一。
它識(shí)別k質(zhì)心的數(shù)量，然后將每個(gè)數(shù)據(jù)點(diǎn)分配到最近的簇，同時(shí)保持質(zhì)心盡可能小，但研究人員對(duì)調(diào)用相同每個(gè)服務(wù)的所有用戶進(jìn)行聚類。
之后又對(duì)所有服務(wù)的聚類結(jié)果進(jìn)行平均，可由于設(shè)備的類型與吞吐量關(guān)系更大，而設(shè)備的網(wǎng)絡(luò)接入方式與響應(yīng)時(shí)間關(guān)系更大。
他們對(duì)RT和TP數(shù)據(jù)集進(jìn)行上述操作，分別獲得這兩個(gè)顯式設(shè)備特征，而特征轉(zhuǎn)換在許多分類或回歸預(yù)測(cè)任務(wù)中至關(guān)重要，因?yàn)閱为?dú)使用原始特征很少會(huì)產(chǎn)生最佳預(yù)測(cè)結(jié)果。
為了獲得最佳結(jié)果，原始特征轉(zhuǎn)換通常需要大量的工作，所以研究人員使用one-hot編碼來預(yù)處理顯式特征。
字段的概念首先在點(diǎn)擊率（CTR）預(yù)測(cè)中提出，這些字段有兩種類型的數(shù)據(jù)：一類是離散數(shù)據(jù)或分類數(shù)據(jù)，另一類是連續(xù)數(shù)據(jù)。
在一些研究中，有研究人員將所有字段作為分類表數(shù)據(jù)，并將它們形式化為one-hot編碼，這是一個(gè)指定維度設(shè)置為1的高維零向量。
假設(shè)如果有三個(gè)用戶，則one-hot向量的維數(shù)設(shè)置為三。那么ID為1的用戶可以表示為，ID為2、3的用戶可以分別表示為0.1和1。
在他們的方法中，從12個(gè)顯式特征生成18個(gè)字段，其中冗余字段是從用戶和服務(wù)的IP地址生成的，并用符號(hào)“.”分隔。
通過實(shí)驗(yàn)，研究人員將用戶IP地址生成為四個(gè)字段，并用符號(hào)“.”分隔，并對(duì)服務(wù)IP地址進(jìn)行同樣的操作。
此操作有兩個(gè)好處：第一是考慮到IP地址中相同的本地字段可能共享相同的地理信息，第二是考慮到有更多的特征意味著交互層中更多的特征交互。
結(jié)論網(wǎng)絡(luò)技術(shù)的進(jìn)步使得人們調(diào)用服務(wù)能夠滿足高密度、低時(shí)延的需求，而服務(wù)質(zhì)量（QoS）預(yù)測(cè)對(duì)于用戶在未來復(fù)雜的通信場(chǎng)景。
從中大量功能相似的Web服務(wù)中找到合適的服務(wù)至關(guān)重要，但當(dāng)前的QoS預(yù)測(cè)算法無法充分考慮智能設(shè)備周圍的上下信息以及用戶和服務(wù)之間的底層關(guān)系。
在一些研究者，有人提出了一種預(yù)測(cè)模型，將上下信息結(jié)合為顯式特征和隱式特征，然后輸入基于交互層的多頭自注意力機(jī)制來學(xué)習(xí)低階和高階特征交互。
這樣方法的關(guān)鍵是新引入的交互層，它允許每個(gè)特征與其他特征交互并通過學(xué)習(xí)確定相關(guān)性，在真實(shí)世界數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果證明了研究人員提出的模型的有效性和效率。
不光如此，他們的方法提供了出色的模型可擴(kuò)展性，擁有的特征越多，獲得的預(yù)測(cè)就會(huì)精度就越高。
當(dāng)與MF捕獲的隱式特征集成時(shí)，與之前最先進(jìn)的方法相比，研究人員實(shí)現(xiàn)了更好的MAE和RMSE。
在未來的工作中，他們將嘗試考慮時(shí)間序列來解決動(dòng)態(tài)QoS的實(shí)時(shí)預(yù)測(cè)問題，而研究人員的方法提供了出色的模型可擴(kuò)展性。
標(biāo)簽：
