Image-with-text memes are a dominant form of online communication, and much of their spread happens through meme templates which are recurring visual formats that users adapt with new text or imagery. Most prior work scores memes individually for engagement or harmful content, an approach that is structurally blind to templates. Templates might amplify these patterns and enable coordinated harassment, which becomes visible only when memes are grouped by shared template. We formalize meme template identification as a semi-open-set recognition problem, requiring methods to both classify known templates and reject template-free memes and non-meme content. We introduce an evaluation framework spanning a controlled setting (1,704 ImgFlip templates) and a heterogeneous real-world social media sample, comparing supervised CNN- and distance-based methods, unsupervised density-based clustering, a novel fused SigLIP2+DINOv2 representation, and a retrieval-augmented LLM pipeline. In real-world social media sources dedicated to meme sharing, we find that only 21% of images use a known template, while 58% are template-free and 21% are not memes at all; identification performance also drops sharply from the controlled setting (best MCC 0.974 to 0.684). The loss comes mainly from deciding whether an image is a template-based meme at all, rather than identifying the template. Our dataset of 1.1M soft-labeled social media images, together with code for reproducibility, is available upon request.


翻译:暂无翻译

0
下载
关闭预览

相关内容

EMNLP2023:MMEdit——如何编辑多模态大语言模型?
专知会员服务
39+阅读 · 2023年11月5日
强化学习三篇论文 避免遗忘等
CreateAMind
20+阅读 · 2019年5月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Network Embedding 指南
专知
22+阅读 · 2018年8月13日
自然语言处理(二)机器翻译 篇 (NLP: machine translation)
DeepLearning中文论坛
12+阅读 · 2015年7月1日
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关主题
最新内容
综述|谁来改进机器人?迈向物理递归自我改进
专知会员服务
2+阅读 · 10月14日
软件定义无人机蜂群给防空带来全新压力
专知会员服务
9+阅读 · 10月13日
《半自主无人地面战车的互操作性》66页
专知会员服务
10+阅读 · 10月13日
迈向更智慧的军事情报
专知会员服务
9+阅读 · 10月12日
《美国陆军2026年野战手册 2-0 情报》
专知会员服务
8+阅读 · 10月12日
《基于启发式算法求解武器-目标分配问题》
专知会员服务
9+阅读 · 10月12日
相关VIP内容
EMNLP2023:MMEdit——如何编辑多模态大语言模型?
专知会员服务
39+阅读 · 2023年11月5日
相关资讯
强化学习三篇论文 避免遗忘等
CreateAMind
20+阅读 · 2019年5月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Network Embedding 指南
专知
22+阅读 · 2018年8月13日
自然语言处理(二)机器翻译 篇 (NLP: machine translation)
DeepLearning中文论坛
12+阅读 · 2015年7月1日
相关基金
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员