Social bot detection is crucial for mitigating misinformation, online manipulation, and coordinated inauthentic behavior. While existing neural network-based detectors perform well on benchmarks, they struggle with generalization due to distribution shifts across datasets and frequently produce overconfident predictions for out-of-distribution accounts beyond the training data. To address this, we introduce a novel Uncertainty Estimation for Social Bot Detection (UESBD) framework, which quantifies the predictive uncertainty of detectors beyond mere classification. For this task, we propose Robust Multi-modal Neural Processes (RMNP), which aims to enhance the robustness of multi-modal neural processes to modality inconsistencies caused by social bot camouflage. RMNP first learns unimodal representations through modality-specific encoders. Then, unimodal attentive neural processes are employed to encode the Gaussian distribution of unimodal latent variables. Furthermore, to avoid social bots stealing human features to camouflage themselves thus causing certain modalities to provide conflictive information, we introduce an evidential gating network to explicitly model the reliability of modalities. The joint latent distribution is learned through the generalized product of experts, which takes the reliability of each modality into consideration during fusion. The final prediction is obtained through Monte Carlo sampling of the joint latent distribution followed by a decoder. Experiments on three real-world benchmarks show the effectiveness of RMNP in classification and uncertainty estimation, as well as its robustness to modality conflicts.


翻译:社交机器人检测对于缓解虚假信息、在线操纵和协调性虚假行为至关重要。虽然现有的基于神经网络的检测器在基准测试上表现良好,但由于数据集间的分布偏移,它们在泛化方面存在困难,并且经常对超出训练数据的分布外账户产生过度自信的预测。为解决这一问题,我们引入了一种新颖的社交机器人检测不确定性估计(UESBD)框架,该框架不仅进行分类,还量化检测器的预测不确定性。为此,我们提出了鲁棒多模态神经过程(RMNP),旨在增强多模态神经过程对社交机器人伪装导致的模态不一致性的鲁棒性。RMNP首先通过模态特定编码器学习单模态表示。然后,采用单模态注意力神经过程来编码单模态潜在变量的高斯分布。此外,为避免社交机器人窃取人类特征进行伪装从而导致某些模态提供冲突信息,我们引入了一个证据门控网络来显式建模模态的可靠性。通过广义专家乘积来学习联合潜在分布,该过程在融合时考虑了每个模态的可靠性。最终预测通过对联合潜在分布进行蒙特卡洛采样再经解码器获得。在三个真实世界基准上的实验显示了RMNP在分类和不确定性估计方面的有效性,以及其对模态冲突的鲁棒性。

0
下载
关闭预览

相关内容

国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
VIP会员
相关基金
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员