BotUmc：使用多視角因果推理的不確定性感知 Twitter 殭屍偵測

Tao Yang Yang Hu Feihong Lu Ziwei Zhang Qingyun Sun Jianxin Li
School of Computer Science and Engineering,
BDBC, Beihang University, Beijing, China

摘要

社交殭屍已經廣為社交平台的使用者所知。為了防止社交殭屍散播有害的言論，許多新穎的殭屍檢測方法被提出。然而，隨著社群殭屍的演進，偵測方法難以為樣本提供高可信度的答案。這促使我們量化輸出的不確定性，以告知結果的可信度。因此，我們提出不確定性感知的殭屍檢測方法來告知置信度，並使用不確定性分數從不同環境下的社交網路多個視圖中挑選出高置信度的決策。具體而言，我們提出的 BotUmc 使用 LLM 來擷取 tweets 中的資訊。然後，我們根據擷取的資訊、原始使用者資訊以及使用者關係建構圖形，並透過因果干擾產生圖形的多重檢視。最後，使用不確定性損失來強制模型量化結果的不確定性，並在一個視圖中選擇不確定性低的結果作為最終判斷。廣泛的實驗顯示了我們方法的優越性。

楊濤、胡陽、呂飛紅、張紫薇、孫青雲、李建新
電腦科學與工程學院、
中國北京，北京航空航天大学，BDBC

1 簡介

社交媒體為人們日常生活中的溝通和資訊獲取提供了便利，也使得錯誤資訊的傳播 Starbird( 2019); Zannettou 等人( 2019), 選舉干擾 Ferrara( 2017), 恐怖分子宣傳 Chatfield 等人( 2015) 等都可以歸功於社交機器人。為了降低殭屍所造成的風險，Feng 等人( 2021c, 2022a); Liu 等人( 2023) 進行了廣泛的研究工作，探討區分殭屍與人類的方法。

現有的社交殭屍檢測方法可分為三類：基於特徵的方法、基於文本的方法和基於圖表的方法。基於特徵的方法 Kudugunta and Ferrara ( 2018); Hayawi et al. ( 2022) 對 tweets 和 metadata 進行特徵工程，以提取關鍵資訊，並通過傳統分類演算法檢測社交殭屍。基於特徵的偵測器的成功，迫使殭屍開發者透過製造具備先進特徵的殭屍，實施精密的反制措施。隨著殭屍的進化，基於特徵的方法變得越來越難應付具有先進特徵的殭屍 Cresci ( 2020); Cresci et al. ( 2017).由於深度學習的出現，基於文字的方法 Wei and Nguyen ( 2019); Feng et al. ( 2021a) 被提出來利用自然語言處理技術偵測殭屍。因此，殭屍開發者會竊取真實使用者的文字來欺騙基於文字的方法。為了緩解這個問題，Feng 等人( 2021c); Liu 等人( 2023) 提出了圖形神經網絡 (Graph Neural Networks, GNNs) 來利用更全面的使用者資訊，例如拓樸結構資訊。

儘管現有的基於圖形的方法在社群殭屍偵測上已經有很好的表現，但由於資訊不足而造成的部分預測信賴度低的問題並未受到重視。因此，本工作嘗試設計殭屍偵測的不確定性量化，達到不確定性感知的殭屍偵測，如圖 1 (a) 所示。圖一 (b) 的結果顯示，我們的方法達到效能與不確定性之間的假性關聯，證明結果越確定，就越有可能是正確的。由於有了不確定性量化，我們可以從多個觀點中挑出較可靠的人機關聯，改善人機偵測的結果。

我們的貢獻可總結如下：

- 我們提出了不確定性感知的 Twitter 殭屍偵測框架，稱為 BotUmc，它可以說「我不確定結果」。廣泛的實驗證明，BotUmc 在三個資料集上都有極佳的表現。
- 我們提出了一個用於殭屍偵測的不確定性量化模組，用來測量輸出的可靠性，以便選擇更可靠的輸出作為最終決策。
- 我們引進因果干預，透過模擬不同的環境來建構圖形的多重視圖，進而找出高可信度的特徵。

2相關工作

Twitter 殭屍偵測。現有的 Twitter 殭屍偵測方法一般可分為三類：基於特徵的方法、基於文字的方法和基於圖形的方法。

基於特徵的方法根據使用者元資料進行特徵工程，然後與傳統分類演算法結合。Kudugunta 和 Ferrara ( 2018) 使用基於上下文 LSTM 架構的深度神經網路來擷取使用者元資料特徵以偵測殭屍；Miller 等人 ( 2014) 使用 tweet 內容特徵進行偵測；Hayawi 等人 ( 2022) 使用 LSTM 單元與密集層的混合架構來處理混合特徵。然而，隨著殭屍的進化，它們會篡改特徵來逃避偵測 Cresci ( 2020)。

以文字為基礎的方法則是利用自然語言處理技術，根據推文與使用者的描述來進行偵測。Lei 等人( 2022) 指出機器人發佈的 tweets 與人類發佈的 tweets 會有語義不一致的情況；Wei 和 Nguyen( 2019) 使用 RNN 中的 BiLSTM 進行檢測；Feng 等人( 2021a) 提出自監督學習框架，共同編碼多種類型的資訊進行檢測；Dukić 等人( 2020) 使用 BERT-BASE 模型對 tweets 進行編碼。然而，先進的殭屍可以透過複製真實使用者的文字來逃避這種只分析推文內容的偵測。

基於圖形的方法嘗試將社群網路建構成圖形結構，以使用者為節點、關係為邊緣，並透過 GNN 執行偵測。Dehghan 等人( 2023 年) 使用結構嵌入演算法，Pham 等人( 2022 年) 改良 Node2Vec 演算法，Magelinski 等人( 2020 年) 使用圖形的潛在局部特徵，Liu 等人( 2023 年) 提出社群感知特定模式專家混合偵測。GNN 構建異質圖形聚合表徵以達到先進的偵測效能，但 bots 會利用圖形策略來構建虛假關聯，以逃避偵測。

不確定性估算。產生不確定性的方法可分為兩大類。第一類是強迫模型直接學習輸出的不確定性。例如證據學習 Sensoy 等人( 2018); Amini 等人( 2020)、貝葉斯神經網絡 MacKay ( 1992)、深度整合 Lakshminarayanan 等人( 2017)、隨機權重平均 (SWAG) Maddox 等人( 2019)和蒙特卡洛剔除 Gal 和 Ghahramani ( 2016)。然而，這類方法通常需要多次迭代和估計來優化整個模型參數，因此更適合參數較少的模型。第二類方法使用轉移學習 Kandemir ( 2015) 或蒸餾式學習 Fathullah and Gales ( 2022) 等技術。透過這些方法，具有許多參數的模型可以有效地學習輸出的不確定性，方法是只優化特定層而不是整個模型參數集。這不僅提高了優化過程的效率，也有助於維持模型輸出的合理不確定性。此外，VBLL Harrison 等人( 2024)提出了訓練 Bayesian 神經網路最後一層的確定變異公式，大大提高了不確定性估計的效率。

3 問題提出

在本節中，我們使用多種使用者資訊來定義社交殭屍偵測任務。

給定一個使用者，相應的資訊用 $x_{i}\in X$ 表示，其中 $x_{i}$ 包含以下元件：文字資訊：包括使用者描述和使用者張貼的 tweet，由 $T$ 表示。元資料資訊：數值資料 $N_{i}$ （例如：追隨者數量、讚數量）和布林值資料 $C_{i}$ （例如：驗證狀態）。結合使用者間的關係資訊，我們建構了一個異質圖 $G=G(X,E,R_{e},Y)$ ，其中 $E$ 是邊緣集， $R_{e}$ 是關係類型集，而 $Y$ 則是使用者的標籤。因此，我們的目標是建構一個可以輸出預測值 $\hat{Y}\in\{0,1\}$ 和不確定性分數 $U\in\{0,1\}$ 的偵測函數 $f(G)$ 。

4 方法

社交平台上大量的殭屍會模仿真實使用者的行為來欺騙人類和殭屍偵測。為了應對這個挑戰，如圖 2 所示，我們提出了一個不確定感知的 Twitter 殭屍檢測框架，命名為 BotUmc，其進程如下：1) 基於 LLM 的知識推理模組運用大型語言模型 (LLMs) 從使用者的 Twitter 文字中萃取關鍵洞察；2) 基於介入圖形的特徵學習模組透過多環境因果介入，建構異質的社交圖形，並產生圖形的多重視圖。這有助於偵測人類與殭屍之間的假性關聯。3) 基於不確定性的殭屍檢測模組透過不確定性量化評估節點分類的可靠性，並從圖表的多個視圖中選擇更可靠的輸出作為預測，以準確檢測偽裝殭屍。

4.1 以LLM為基礎的知識推理

人類的推文通常是暗示而非明示的，而社交機器人通常會透過在推文內容中插入元素來掩飾自己的意圖。這使得社交媒體推文中常見的「噪音」大大增加了從推文中擷取資訊的複雜性。這種複雜性可能會導致錯誤的資訊擷取，進而造成社群殭屍與真實使用者之間不準確的區別。為了擷取有用的資訊，我們提出一個關鍵知識提示策略，引導 LLM 從原始推文的各個維度中擷取概念、行動、物件、情緒和關鍵字。

具體來說，我們首先串連來自同一使用者的多條推文，以提供完整的資訊。然後將串接的資訊送入 Llama，並使用獨特設計的提示來引導 Llama Wang 等人 ( 2023) 推理使用者推文中的關鍵資訊：

在此，我們使用 LLM 來擷取原始推文的關鍵資訊：

\displaystyle t_{\text{key}}=Llama\left(concat\left(\sum_{i=1}^{N_{t}}t_{i}% \right)\right),

(1)

其中 $t_{\text{key}}$ 是 LLM 之後的關鍵知識， $t_{i}$ 是使用者的單條推文， $N_{t}$ 是使用者的推文總數。

然後，我們使用預先訓練好的 RoBERTaLiu ( 2019) 模型來編碼關鍵資訊和連接的原始 tweet，並通過一層 MLP 來獲得使用者的 tweet 表示 $\boldsymbol{v}_{concat}$ ：

\displaystyle\boldsymbol{v}_{concat}

\displaystyle=MLP\left(RoBERTa\left(\left\{t_{i}\right\}_{i=1}^{N_{t}};t_{% \text{key}}\right)\right).

(2)

4.2 基於介入圖形的特徵學習

社交機器人已經進化到可以有效模仿人類行為和互動模式的地步。它們能夠模仿人類行為，並與人類使用者建立看似真實的互動，從而創造出虛假的社交關聯，進一步模糊人類與機器人之間的界限。這種偽裝自己並形成欺騙性關聯的能力降低了機器人偵測系統的準確性，增加了誤判的可能性。為了因應上述挑戰，我們提出了一種基於介入圖形的特徵學習方法，其中包括異質圖形建構，以及基於介入的圖形更新。

異質圖形建構。為了解決偵測社群殭屍偽裝的挑戰，我們利用多視角使用者資訊來考慮社群殭屍與人類之間的差異。如圖 2 所示，我們整合文字資訊 (使用者描述、使用者推文) 和元資料資訊 (使用者數值屬性和布林資料) 作為節點 $X$ ，並使用使用者之間的互動 (「friend」和「follow」) 作為邊緣 $E$ 來建立異質圖形。為了充分利用不同類型的資訊，受到 Feng 等人 ( 2021c) 工作中的特徵編碼過程的啟發，我們將資訊編碼如下：

對於使用者描述 (圖 2 中的黃色方框)，我們使用 RoBERTa 來取得描述嵌入 $\boldsymbol{v}_{des}$ 。對於元資料，我們結合了來自 Twitter API 的數值和布林屬性。數值特徵（圖 2 中綠色方塊中）使用 $z$ 分數規範化進行標準化，並透過全連結層獲得其最終表示，表示為 $\boldsymbol{v}_{num}$ 。布林屬性透過單次熱編碼進行編碼，接著透過全連結層進行串接和轉換，以產生使用者的分類特徵表示 (圖 2 中的紅色方塊)，表示為 $\boldsymbol{v}_{bl}$ 。

對於每個使用者，我們將四個不同特徵的編碼表示串聯為使用者特徵向量 $\bar{X}$ ，並確保每個特徵的向量尺寸相同：

\bar{X}=\left[\boldsymbol{v}_{des};\boldsymbol{v}_{concat};\boldsymbol{v}_{num% };\boldsymbol{v}_{bl}\right].

(3)

隨後，我們定義 $\bar{X}$ 為節點集， $R_{e}=\{\text{followers},\text{likes}\}$ 為邊集來建構異質圖 $G_{o}=G(\bar{X},E,R_{e},Y)$ ，其中 $Y$ 表示與每個使用者相關聯的標籤。

基於介入的圖形更新。我們提出了社交殭屍檢測任務的訓練和檢測過程的因果觀，如圖 3 所示。在此，我們使用因果觀來檢視四個變數之間的因果關聯：異質圖表的特徵 $G$ （包括圖表上的結構 $E$ 和節點特徵 $\bar{X}$ ）、圖表中節點之間的真實行為 $C$ （包括真實使用者的關聯 $E_{A}$ 和特徵 $\bar{X}_{A}$ ）、圖中節點之間的偽裝行為 $D$ （包括殭屍建構的虛假關聯 $E_{D}$ 和殭屍模仿真實使用者的偽裝特徵 $\bar{X}_{D}$ ），以及目標標籤 $Y$ 。圖 3 說明任務中不同變數之間的因果關聯，詳細說明如下。

異質圖 $G$ 包含真實行為 $A$ 和偽裝行為 $D$ 。 $A$ → $Y$ 表示因果變數 $A$ 是唯一的內生父節點，對於正確分類實體類型至關重要； $D$ → $Y$ 代表殭屍所建構的偽裝邊緣和特徵的影響，其作用是逃避偵測和干擾分類。

正如 Fan 等人 ( 2022) 的研究中所述，為了在優化過程中快速降低損失函數，模型將集中依賴有偏差的子結構進行預測，即 $D$ → $Y$ 。因此，我們提出一種因果干預策略，以阻止偽裝行為 $D$ → $Y$ 並強化真實的行為 $A$ → $Y$ 。在這方面，我們模擬不同的環境，並執行因果干預，從相同的原始圖形經過因果干預後產生兩個異質的社會網路圖：

P(Y\mid do(A),do(\neg D)).

(4)

其中， $do(A)$ 代表對 $A$ 的干預（強化真實行為）。 $do(\neg D)$ 代表阻止 $D$ 效應的干預（消除 $D$ 對 $Y$ 的虛假影響）。

具體來說，為了捕捉穩定的關聯表示並減少偏差關聯的影響，我們採用不同的環境來同時訓練一對 RGCN，分別表示為 $G_{1}$ 和 $G_{2}$ ，以原始圖形 $G_{o}$ 為基礎。

G_{1}=RGCN_{1}(G_{o}),G_{2}=RGCN_{2}(G_{o}),

(5)

在此階段中，整體目標是使兩個 RGCN 的表達盡可能相距最遠。因此，我們定義損失函數為

L_{KL}=-D_{KL}(G_{1})\parallel(G_{2})).

(6)

之後，我們使用圖形結構學習來更新 $G_{1}$ 和 $G_{2}$ ：

{\begin{split}x^{(l+1)}_{i}&=\Theta_{\text{self}}\cdot x^{(l)}_{i}+\sum_{r\in R% }\sum_{j\in N_{r}^{G_{m}}(i)}\frac{1}{|N_{r}^{G_{m}}(i)|}\Theta_{r}\cdot x^{(l% )}_{j},\end{split}}

(7)

其中 $G_{m}$ 為不同環境下的圖形， $\Theta$ 為投影矩陣，我們透過 MLP 來轉換使用者表示：

r_{i}=\varphi(W_{2}\cdot x^{(L)}_{i}+b_{2}),

(8)

其中 $W_{2}$ 和 $b_{2}$ 是可學習參數， $L$ 是層數， $r_{i}$ 是使用者 $i$ 的表示。

最後，我們根據 $G_{1}$ 和 $G_{2}$ 使用公式 (7) 得到 $r_{k1}$ 和 $r_{k2}$ 。而 $G_{1}$ 和 $G_{2}$ 則利用交叉熵損失進行優化，而 $L_{KL}$ 則用來約束 $G_{1}$ 和 $G_{2}$ 的分佈。整體損失函數為

{L_{Inter}=\lambda_{1}L_{KL}+(1-\lambda_{1})\Big{(}L_{CE}(r_{k1},y)+L_{CE}(r_{% k2},y)\Big{)},}

(9)

其中 $\lambda_{1}$ 是超參數，用於平衡交叉熵損失和 KL 損失的影響。

4.3 基於不確定性的殭屍偵測

隨著社交殭屍的演進，殭屍可以模仿真實使用者的特徵和行為，這可能會導致高置信度的錯誤判斷。為了減緩殭屍檢測中的這個問題，我們的修正不確定性損失為具有大量證據的錯誤判定引入了一個附加項目，目的是避免因殭屍的偽裝特徵而造成的錯誤分類。

不確定性量化。基於 Dempster-Shaffer 證據理論 (DST) Yager 和 Liu ( 2008) ，我們使用信念品質來分析模型的不確定性 Sensoy 等人 ( 2018) 。假設每類樣本的證據以 $\epsilon$ 表示，模型輸出的不確定性以 $U$ 表示。受 Sensoy 等人 ( 2018) 對不確定性定義的啟發，殭屍檢測結果的不確定性可表述為：

U=1-\sum_{k=1}^{2}\frac{\epsilon_{k}}{S},\quad S=\sum_{i=k}^{2}(\epsilon_{k}+1),

(10)

其中 $S$ 代表二元分類中不確定性分佈的歸一因子。

為了建立證據模型，我們引入 Dirichlet 分佈。Dirichlet 分佈是概率質量函數 $p$ 可能值的概率密度函數，可寫為

D(p|\alpha)=\begin{cases}\frac{1}{B(\alpha)}\prod_{k=1}^{2}p_{k}^{\alpha_{k}-1% },&\quad p\in\{p_{1},p_{2}\}\\ 0,&\quad\text{otherwise},\end{cases}

(11)

其中 $\alpha_{k}$ 代表用來分類樣本 $k$ 的 Dirichlet 分佈參數，用來將模型的輸出分佈映射到高斯分佈空間。

通過這些步驟，可以從相應的 Dirichlet 分佈參數 $\epsilon_{k}={\alpha_{k}-1}$ 和 $S=\sum_{k=1}^{2}\alpha_{k}$ 中推斷出證據。然後，將 $\alpha_{k}$ 代入公式 (10) 即可得到模型的不確定性：

U=1-\sum_{k=1}^{2}\frac{\alpha_{k}-1}{\alpha_{k}}=\frac{2}{S}.

(12)

不確定性學習。如圖 2 所示，我們需要不確定性損失來強制不確定性學習模型學習 Dirichlet 分佈的參數 $\alpha$ ，從而使模型能夠輸出不確定性分數。同時，硬樣本（即高置信度的錯誤分類樣本）需要額外注意。因此，針對殭屍檢測提出修正的不確定性損失，可表達為

$\displaystyle\mathcal{L}_{u}(\alpha_{i})$	$\displaystyle=-\lambda_{2}\mathrm{log}\left(\int p_{i0}^{y_{i0}}p_{i1}^{y_{i1}% }\frac{1}{B(\alpha_{i})}p_{i0}^{\alpha_{i0}-1}p_{i1}^{\alpha_{i1}-1}d\mathbf{p% }_{i}\right)$	(13)
	$\displaystyle+\left(1-\lambda_{2}\right)(Y_{i}-\widehat{Y}_{i})^{2}(1-u_{i})$
	$\displaystyle=-\lambda_{2}\sum_{j=1}^{2}y_{ij}\left(\log(S_{i})-\log(\alpha_{% ij})\right)$
	$\displaystyle+\left(1-\lambda_{2}\right)(Y_{i}-\widehat{Y}_{i})^{2}(1-u_{i}),$

其中， $y_{i}$ 是單熱向量，用來編碼觀測 $x_{i}$ 的真實類別， $p_{ij}$ 是模型處理後輸出的 $i$ -th 樣本屬於 $j$ -th 類別的概率。 $Y_{i}$ 和 $\hat{Y_{i}}$ 分別是 $x_{i}$ 的標籤和模型預測， $u_{i}$ 是 $x_{i}$ 的不確定性， $\lambda_{2}$ 是用來平衡第一部分損失和第二部分損失的超參數。

我們根據模型的不確定性公式定義了第一部分的優化損失函數，並設計了第二部分的損失，以提高模型對困難樣本的學習能力。具體來說，對於第一部分的損失，我們採用 Type II Maximum Likelihood EstimationSeeger ( 2004) 的思想，透過優化 Dirichlet 分佈期望 ( $\alpha_{i}$ )的損失函數，來提升模型的證據學習能力。考慮到殭屍的隱蔽性，我們設計了損失的第二部分來增強模型對困難樣本的學習能力，對不確定性較低的高風險節點增加損失。

基於不確定性的可信圖形融合。在不確定性學習之後，我們可以針對圖形中的每個特定節點 (即使用者) 輸出不確定性分數 $u_{G_{1}}$ 和 $u_{G_{2}}$ ，並根據不確定性分數融合可信的圖形。同時，透過第 4.2 節的因果干預，我們得到了在不同環境下訓練出來的圖 $G_{1}$ 和 $G_{2}$ ，以及圖中每個特定節點 (即使用者) 對應的預測結果 $\hat{Y}_{G_{1}}$ 和 $\hat{Y}_{G_{2}}$ 。我們透過比較不確定度分數 $u_{G_{1}}$ 和 $u_{G_{2}}$ ，選出可信度較高的預測結果作為最終結果 $\hat{Y}$ ，可以表述為：

{\hat{Y}=h(\hat{Y}_{G_{1}},\hat{Y}_{G_{2}}\mid u_{G_{1}},u_{G_{2}})=\begin{% cases}\hat{Y}_{G_{1}},&u_{G_{1}}<u_{G_{2}}\\ \hat{Y}_{G_{2}},&u_{G_{1}}\geq u_{G_{2}},\end{cases}}

(14)

其中 $h(\cdot)$ 代表二元分類器，其參數為 $u_{c1}$ 和 $u_{c2}$ ，它們是兩個因果干預圖的不確定度，而 $\hat{Y}$ 代表最終預測。

5實驗

5.1 實驗設定

資料集。我們在三個廣泛使用的社交殭屍偵測資料集上評估了我們的方法：Cresci-15 Cresci 等人( 2015)、TwiBot-20 Feng 等人( 2021b)和 TwiBot-22 Feng 等人( 2022b)。Cresci-15 包括 1,950 位使用者、3,351 個機器人、2,827,757 篇推文和 7,086,134 個關係。TwiBot-20 包括來自不同領域的 5,237 位使用者、6,589 個機器人、33,488,192 則推文和 33,716,171 個關係。TwiBot-22 是最大的開放原始碼 Twitter 殭屍偵測資料集，涵蓋 860,057 位使用者、139,943 個殭屍、86,764,167 條推文，以及 170,185,937 個關係。在資料集的分割上，我們使用資料集公認的原始訓練、有效和測試分割，以進行公平的實驗比較。

Model	成長-15		TwiBot-20		TwiBot-22
Model	精確度	F1 分數	精確度	F1 分數	精確度	F1 分數
李	98.19 ± 0.07	98.52 ± 0.06	75.73 ± 0.19	79.37 ± 0.19	-	-
GAT	96.44 ± 0.19	97.22 ± 0.14	77.32 ± 0.73	80.51 ± 0.65	77.53 ± 0.08	53.47 ± 0.46
RoBERTa	95.70 ± 0.15	94.06 ± 0.21	74.97 ± 0.23	72.80 ± 0.32	71.92 ± 0.64	16.15 ± 4.98
BotRGCN	96.37 ± 0.15	96.80 ± 0.27	83.21 ± 0.37	87.68 ± 0.32	76.75 ± 0.08	48.29 ± 0.66
SATAR	92.72 ± 0.59	93.84 ± 0.52	61.70 ± 1.75	71.95 ± 0.69	-	-
RGT	96.89 ± 0.16	97.58 ± 0.12	85.20 ± 0.24	86.88 ± 0.22	81.93 ± 0.19	23.85 ± 0.20
BotMoE	95.30 ± 0.16	96.39 ± 0.11	84.22 ± 0.34	86.89 ± 0.34	79.25 ± 0.00	56.62± 0.40
BotUmc	98.21 ± 0.11	98.59 ± 0.09	87.37 ± 0.06	89.01 ± 0.05	72.71 ± 0.01	58.52 ± 0.01

表 1:Twitter殭屍偵測方法在三個資料集上的精確度和二元 F1 得分。每種方法執行五次，報告平均值 ± 標準差。粗體表示性能最佳。有些方法無法擴充至 TwiBot-22，以「-」表示。

執行細節。在因果干預階段，我們針對 Cresci-15 和 TwiBot-20 資料集，將學習率、捨棄率、 $\lambda_{1}$ 、隱藏層大小和最大 epoch 分別設定為 1e-2、0.2、0.8、32 和 200。對於 TwiBot-22 資料集，這些參數則設定為 1e-2、0.2、0.1、32 和 3,000。在不確定性學習階段，Cresci-15 和 TwiBot-20 資料集的學習率、 $\lambda_{2}$ 、dropout 率和最大 epoch 分別設定為 5e-5、0.7、0 和 100。對於 TwiBot-22 資料集，這些值設定為 1e-5、0.5、0 和 50。為了公平起見，我們使用標準的公開資料集分割來評估這些方法。對於 Cresci-15、TwiBot-20 和 TwiBot-22，我們在 GPU V100 上運行三次，模組 2 的平均訓練時間約為 55、90 和 4,148 秒，而模組 3 的平均訓練時間約為 5、22 和 51 秒。使用的 LLM 是 Llama-3-8b。模組 2 和模組 3 的參數分別為 24,036 和 90,214。附錄 A 中描述了基線方法。

5.2 比較實驗

如表 1 所示，我們在三個 Twitter 殭屍檢測基準 (Cresci-15 Cresci 等人 ( 2015)、TwiBot-20 Feng 等人 ( 2021b) 和 TwiBot-22 Feng 等人 ( 2022b)) 上，將我們提出的 BotUmc 與 7 個代表性基準進行比較。我們的 BotUmc 在六項結果中的五項都優於基線方法，但在 TwiBot-22 上的精確度似乎不佳。然而，TwiBot-22 上的 F1 分數顯示我們的方法具有優勢，這意味著測試集中的樣本不平衡。三個測試集中的殭屍樣本比例分別為 63.2%、54.1% 和 29.4%，證明了這一點。因此，F1-score 更能反映模型的表現。總括而言，我們的 BotUmc 整體上優於所有基線方法。

單元一	模組 2	單元三	精確度	F1
			86.22	87.88
		\usym1F5F8	86.55	88.23
	\usym1F5F8		86.72	88.32
\usym1F5F8			86.60	88.28
	\usym1F5F8	\usym1F5F8	86.90	88.49
\usym1F5F8	\usym1F5F8		86.81	88.41
\usym1F5F8		\usym1F5F8	86.81	88.44
\usym1F5F8	\usym1F5F8	\usym1F5F8	87.57	89.21

表 2:BotUmc在Twibot-20上的消融研究。模組 1 是知識推理模組，模組 2 是基於介入圖的特徵學習模組，模組 3 是基於不確定性的殭屍檢測模組。

5.3 消融研究

我們建議的 BotUmc 包含 3 個模組：LLM-based Knowledge Reasoning、Interventional Graph-Based Feature Learning 以及 Uncertainty Based Bot Detection。我們進行了消融實驗來顯示 3 個模組的作用，結果如表 2 所示。

LLM基於知識推理的作用。我們移除基於 LLM 的知識推理模組，使用原始推文文字作為輸入。性能的下降意味著推文的隱含意向挖掘和上下文資訊的完成對文本表達至關重要。

基於介入圖的特徵學習的作用。為了評估基於介入圖的特徵學習的作用，我們移除 KL 損失，並僅以交叉熵損失訓練 R-GCN，這又導致表二所示的效能下降。效能下降顯示因果干擾可能找到穩健的關聯，並改善穩定表徵的學習，降低 Twitter 殭屍偽裝行為對偵測的影響。

Uncertainty Based Bot Detection 的作用。在此，我們移除不確定性(Uncertainty Based Bot Detection)模組，以探索不確定性測量在社群殭屍偵測中的作用。具體來說，我們從基於介入圖的特徵學習模組所輸出的 $G_{1}$ 和 $G_{2}$ 中選擇 F1-score 較好的一個作為最終結果。在此結果中， $G_{1}$ 與 $G_{2}$ 的F1 Score較佳，而 $G_{1}$ 與 $G_{2}$ 的F1 Score較低，這說明基於不確定性的合併策略可以有效地選擇更多正確的偵測結果。這也意味著不確定性訓練可以有效地學習每個使用者偵測結果的不確定性。

5.4 超參數實驗

我們對公式 (9) 中的超參數 $\lambda_{1}$ 和公式 (13) 中的 $\lambda_{2}$ 進行實驗。結果如圖 4 所示。

如圖 4 (a) 所示，將 $\lambda_{1}$ 從 0.1 增加到 0.8 會持續增強模型的效能，這表示較高的 KL 損失會鼓勵 $G_{o}$ 在不同的環境中學習更多穩健的特徵，從而減緩殭屍偽裝的影響。但是，當 $\lambda_{1}$ 從 0.8 增加到 0.9 時，會觀察到效能急速下降。這顯示過高的 $\lambda_{1}$ 值會導致過大的 KL 損失，造成模型過度專注於產生不同環境的特徵，而忽略了真值標籤的學習。

在圖 4 (b)中，隨著 $\lambda_{2}$ 的增加，模型逐漸優先從真值標籤中學習更多，同時將假值標籤的影響降至最低。當 $\lambda_{2}$ 達到 0.7 時，模型達到最佳效能。但是， $\lambda_{2}$ 的進一步增加會導致性能顯著下降，這表明過高的 $\lambda_{2}$ 值會導致模型只專注於真值證據，從而忽略了從高風險、難度大的樣本中學習。

5.5 個案研究

為了證明我們的模型可以有效識別高風險的偽裝殭屍，我們在圖 5 中展示了一個典型的例子。這個殭屍的鄰居主要是人類使用者帳號，這可能會造成人類特徵被彙集到目前的殭屍特徵，降低殭屍被偵測到的機率。另外，殭屍的推文具有欺騙性，很難將此帳號與人類的帳號區分開來。我們使用 LLM 來有效擷取關鍵資訊 (在灰色方塊中)，以強化文字資訊。此案例顯示兩種觀點提供了不同的預測。我們透過比較它們的不確定性分數，挑選出正確的預測作為最後決定。

6結論

我們提出一種新型的不確定性感知殭屍偵測方法 BotUmc，可量化其輸出的置信度。為了充分利用不確定性量化，我們引入因果擾動來產生不同環境中社交網路的多重視圖。然後選擇高置信度的輸出作為最終決策，以提升效能。此外，我們設計了專門的不確定性損失函數，在訓練過程中糾正具有高置信度的錯誤判斷，從而防止由於殭屍的細微特徵而造成的錯誤分類。與現有的殭屍偵測方法相比，BotUmc 的表現更為優異。在未來的工作中，我們的目標是探索多模態殭屍檢測方法，充分利用社交領域中的多模態資訊來提高殭屍檢測的準確性。

限制條件

我們的工作提出了一種基於 LLM 的不確定性感知 Twitter 殭屍檢測，可以從多角度圖表中挑出高可信度的預測作為最終判斷。然而，仍有一些限制：1) 我們的模型並未考慮在其他多模態任務上的應用，例如視訊、圖片等；2) 由於現有的殭屍偵測資料集僅限於 Twitter 平台，並未涵蓋其他社交媒體平台 (例如 Facebook、Instagram 等)。未來的研究將擴展到其他社交平台，並建構相應的資料集，以進一步驗證我們方法的適用性和有效性。

參考資料

Amini et al (2020)
Alexander Amini、Wilko Schwarting、Ava Soleimany 和 Daniela Rus。2020.深度證據迴歸。神經資訊處理系統的進展，33:14927-14937。
Chatfield 等人（2015 年）
Akemi Takeoka Chatfield、Christopher G Reddick 和 Uuf Brajawidagda。2015.推特宣傳、激進化與招募：伊斯蘭國支持者的多方 twitter 網絡。In Proceedings of the 16th annual international conference on digital government research, pages 239-249.
成長 (2020)
Stefano Cresci。2020.社交殭屍偵測的十年。ACM 通訊，63(10):72-83。
Cresci 等人（2015 年）
Stefano Cresci、Roberto Di Pietro、Marinella Petrocchi、Angelo Spognardi 和 Maurizio Tesconi。2015.出售名聲：高效偵測虛假 Twitter 追蹤者。決策支援系統，80:56-71。
Cresci 等人（2017 年）
Stefano Cresci、Roberto Di Pietro、Marinella Petrocchi、Angelo Spognardi 和 Maurizio Tesconi。2017.社交垃圾郵件的範式轉移：證據、理論與工具的軍備競賽。In Proceedings of the 26th international conference on world wide web companion, pages 963-972.
Dehghan et al (2023)
Ashkan Dehghan, Kinga Siuta, Agata Skorupka, Akshat Dubey, Andrei Betlen, David Miller, Wei Xu, Bogumił Kamiński, and Paweł Prałat.2023.使用節點與結構嵌入偵測社交網路中的殭屍。大數據期刊，10(1):119。
Dukić et al (2020)
David Dukić, Dominik Keča, and Dominik Stipić.2020.使用 bert 偵測 twitter 上的殭屍。In 2020 IEEE 7th International Conference on Data Science and Advanced Analytics (DSAA)，pages 631-636。IEEE.
Fan et al. (2022) Shaohua Fan, Xiao Wang, Yanhu Mo, Chuan Shi, and Jian Tang. 2022. Debiasing graph neural networks via learning disentangled causal substructure. Advances in Neural Information Processing Systems, 35:24934–24946.
Fathullah and Gales (2022) Yassir Fathullah and Mark JF Gales. 2022. Self-distribution distillation: efficient uncertainty estimation. In Uncertainty in Artificial Intelligence, pages 663–673. PMLR.
Feng et al. (2022a) Shangbin Feng, Zhaoxuan Tan, Rui Li, and Minnan Luo. 2022a. Heterogeneity-aware twitter bot detection with relational graph transformers. In Proceedings of the AAAI Conference on Artificial Intelligence, volume 36, pages 3977–3985.
Feng et al. (2022b) Shangbin Feng, Zhaoxuan Tan, Herun Wan, Ningnan Wang, Zilong Chen, Binchi Zhang, Qinghua Zheng, Wenqian Zhang, Zhenyu Lei, Shujie Yang, et al. 2022b. Twibot-22: Towards graph-based twitter bot detection. Advances in Neural Information Processing Systems, 35:35254–35269.
Feng et al. (2021a) Shangbin Feng, Herun Wan, Ningnan Wang, Jundong Li, and Minnan Luo. 2021a. Satar: A self-supervised approach to twitter account representation learning and its application in bot detection. In Proceedings of the 30th ACM International Conference on Information & Knowledge Management, pages 3808–3817.
Feng et al. (2021b) Shangbin Feng, Herun Wan, Ningnan Wang, Jundong Li, and Minnan Luo. 2021b. Twibot-20: A comprehensive twitter bot detection benchmark. In Proceedings of the 30th ACM international conference on information & knowledge management, pages 4485–4494.
Feng et al. (2021c) Shangbin Feng, Herun Wan, Ningnan Wang, and Minnan Luo. 2021c. Botrgcn: Twitter bot detection with relational graph convolutional networks. In Proceedings of the 2021 IEEE/ACM international conference on advances in social networks analysis and mining, pages 236–239.
Ferrara (2017) Emilio Ferrara. 2017. Disinformation and social bot operations in the run up to the 2017 french presidential election. arXiv preprint arXiv:1707.00086.
Gal and Ghahramani (2016) Yarin Gal and Zoubin Ghahramani. 2016. Dropout as a bayesian approximation: Representing model uncertainty in deep learning. In international conference on machine learning, pages 1050–1059. PMLR.
Harrison et al. (2024) James Harrison, John Willes, and Jasper Snoek. 2024. Variational bayesian last layers. arXiv preprint arXiv:2404.11599.
Hayawi et al. (2022) Kadhim Hayawi, Sujith Mathew, Neethu Venugopal, Mohammad M Masud, and Pin-Han Ho. 2022. Deeprobot: a hybrid deep neural network model for social bot detection based on user profile data. Social Network Analysis and Mining, 12(1):43.
Kandemir (2015) Melih Kandemir. 2015. Asymmetric transfer learning with deep gaussian processes. In International Conference on Machine Learning, pages 730–738. PMLR.
Kudugunta and Ferrara (2018) Sneha Kudugunta and Emilio Ferrara. 2018. Deep neural networks for bot detection. Information Sciences, 467:312–322.
Lakshminarayanan et al. (2017) Balaji Lakshminarayanan, Alexander Pritzel, and Charles Blundell. 2017. Simple and scalable predictive uncertainty estimation using deep ensembles. Advances in neural information processing systems, 30.
Lee et al. (2011) Kyumin Lee, Brian Eoff, and James Caverlee. 2011. Seven months with the devils: A long-term study of content polluters on twitter. In Proceedings of the international AAAI conference on web and social media, volume 5, pages 185–192.
Lei et al. (2022) Zhenyu Lei, Herun Wan, Wenqian Zhang, Shangbin Feng, Zilong Chen, Jundong Li, Qinghua Zheng, and Minnan Luo. 2022. Bic: Twitter bot detection with text-graph interaction and semantic consistency. arXiv preprint arXiv:2208.08320.
Liu (2019) Yinhan Liu. 2019. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692, 364.
Liu et al. (2023) Yuhan Liu, Zhaoxuan Tan, Heng Wang, Shangbin Feng, Qinghua Zheng, and Minnan Luo. 2023. Botmoe: Twitter bot detection with community-aware mixtures of modal-specific experts. In Proceedings of the 46th International ACM SIGIR Conference on Research and Development in Information Retrieval, pages 485–495.
MacKay (1992) David JC MacKay. 1992. A practical bayesian framework for backpropagation networks. Neural computation, 4(3):448–472.
Maddox et al. (2019) Wesley J Maddox, Pavel Izmailov, Timur Garipov, Dmitry P Vetrov, and Andrew Gordon Wilson. 2019. A simple baseline for bayesian uncertainty in deep learning. Advances in neural information processing systems, 32.
Magelinski et al. (2020) Thomas Magelinski, David Beskow, and Kathleen M Carley. 2020. Graph-hist: Graph classification from latent feature histograms with application to bot detection. In Proceedings of the AAAI Conference on Artificial Intelligence, volume 34, pages 5134–5141.
Miller et al. (2014) Zachary Miller, Brian Dickinson, William Deitrick, Wei Hu, and Alex Hai Wang. 2014. Twitter spammer detection using data stream clustering. Information Sciences, 260:64–73.
Pham et al. (2022) Phu Pham, Loan TT Nguyen, Bay Vo, and Unil Yun. 2022. Bot2vec: A general approach of intra-community oriented representation learning for bot detection in different types of social networks. Information Systems, 103:101771.
Seeger (2004) Matthias Seeger. 2004. Gaussian processes for machine learning. International journal of neural systems, 14(02):69–106.
Sensoy et al. (2018) Murat Sensoy, Lance Kaplan, and Melih Kandemir. 2018. Evidential deep learning to quantify classification uncertainty. Advances in neural information processing systems, 31.
Starbird (2019) Kate Starbird. 2019. Disinformation’s spread: bots, trolls and all of us. Nature, 571(7766):449–450.
Veličković et al. (2017) Petar Veličković, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Lio, and Yoshua Bengio. 2017. Graph attention networks. arXiv preprint arXiv:1710.10903.
Wang et al. (2023) Jiaan Wang, Yunlong Liang, Fandong Meng, Zengkui Sun, Haoxiang Shi, Zhixu Li, Jinan Xu, Jianfeng Qu, and Jie Zhou. 2023. Is chatgpt a good nlg evaluator? a preliminary study. arXiv preprint arXiv:2303.04048.
Wei and Nguyen (2019) Feng Wei and Uyen Trang Nguyen. 2019. Twitter bot detection using bidirectional long short-term memory neural networks and word embeddings. In 2019 First IEEE International conference on trust, privacy and security in intelligent systems and applications (TPS-ISA), pages 101–109. IEEE.
Yager and Liu (2008) Ronald R Yager and Liping Liu. 2008. Classic works of the Dempster-Shafer theory of belief functions, volume 219. Springer.
Zannettou et al. (2019) Savvas Zannettou, Tristan Caulfield, Emiliano De Cristofaro, Michael Sirivianos, Gianluca Stringhini, and Jeremy Blackburn. 2019. Disinformation warfare: Understanding state-sponsored trolls on twitter and their influence on the web. In Companion proceedings of the 2019 world wide web conference, pages 218–226.

Appendix A Baseline Methods

We compare BotUmc’s approach with the following methods: Lee Lee et al. (2011) uses random forests with multiple user features to detect bots. GAT Veličković et al. (2017) uses the graph attention mechanism to adaptively assign weights to node neighbors and capture information in the graph structure for Twitter bot detection. RoBERTa Liu (2019) uses the powerful text representation ability to model user behavior on social media for Twitter bot detection. BotRGCN Feng et al. (2021c) builds a heterogeneous graph of social networks and uses a relational graph convolutional network for Twitter bot detection. SATAR Feng et al. (2021a) uses semantic, attribute, and neighborhood information for self-supervised learning of Twitter user representations. RGT Feng et al. (2022a) effectively learns graph-structured data through the relationships between nodes in the graph for Twitter bot detection. BotMoE Liu et al. (2023) introduces a community-aware hybrid expert layer to improve the accuracy of Twitter bot detection.