研究方向

多模态深度学习

多模态深度学习是实验室的核心研究方向。团队关注模型如何在语言与视觉之间实现信息的对齐、融合与生成。

多模态深度学习是实验室的核心研究方向,也是王佳英副教授领衔的多模态数据智能科研团队的主要研究内容。团队关注模型如何在语言与视觉之间实现信息的对齐、融合与生成。

近期工作包括:组合式与多样性增强的文本生成图像(CSAI、Dice-GAN)、基于动态门控与双流注意力的视觉定位、基于多关系上下文学习的人物交互检测、面向商品理解(AAAI 2024)与工业钢材表面缺陷检测的视觉语言模型,以及面向异构医疗数据的模态鲁棒联邦学习(OmniFM,CVPR 2026)。

主要主题

  • 文本生成图像
  • 图像描述生成
  • 视觉定位
  • 人物交互检测
  • 视觉语言模型
  • 多模态联邦学习

相关成果 (11)

  1. 01

    A multimodal outfit recommendation Q&A system based on LLMs and KGs

    Ruichen Liu, Jiaying Wang, Jing Shan

    The Computer Journal, bxag029, 2026

    期刊论文CCF-B中科院四区
  2. 02

    一种多模态服装推荐方法

    刘睿琛,王佳英,单菁,胡骏,宋晓旭

    (ZL202510850104.X), 2026

    专利
  3. 03

    Dice-GAN: Generative adversarial network with diversity injection and consistency enhancement

    Jing Shan, Xiaoxuan Ma, Jiaying Wang

    Expert Systems with Applications, 330, 133059, 2026

    期刊论文CCF-C中科院一区
  4. 04

    OmniFM: Toward Modality-Robust and Task-Agnostic Federated Learning for Heterogeneous Medical Imaging

    Meilin Liu, Jiaying Wang, Jing Shan

    Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 21099--21109, 2026

    会议论文CCF-AEI
  5. 05

    CSAI: Cross- and Self-Attention Interaction for Compositional Text-to-Image Generation

    单菁, 张建宇, 王佳英, 张爱晨, 宋晓旭

    WISA, 2026

    会议论文CCF-CEI新
    新
  6. 06

    Topological Prototype Learning for Robust Multimodal Sentiment Analysis under Missing Modalities

    单菁, 王乐桐, 王佳英, 程一伦, 宋晓旭

    WISA, 2026

    会议论文CCF-CEI新
    新
  7. 07

    FAME: Fusion Adaptation and Modality Excitation for Robust Multimodal Sentiment Analysis

    程一伦, 王佳英, 单菁, 王乐桐, 宋晓旭

    WISA, 2026

    会议论文CCF-CEI新
    新
  8. 08

    Improve Visual Grounding with Dynamic Gating and Dual Stream Attention

    Qianqian Lin, Xiaoxu Song, Jing Shan, Jiaying Wang, Junyi Jiang

    Asia-Pacific Web (APWeb) and Web-Age Information Management (WAIM) Joint International Conference on Web and Big Data, 318--332, 2025

    会议论文CCF-CEI
  9. 09

    Multi-relational Context Learning with Cross-Attention Augmentation for Human Object Interaction Detection

    Wuyou Wang, Jiaying Wang, Jing Shan, Xiaoxu Song

    International Conference on Web Information Systems and Applications, 3--14, 2025

    会议论文CCF-CEI优秀论文奖
  10. 10

    Visual language--let the product say what you want

    Jiaying Wang, Shuailing Hao, Jing Shan, Xiaoxu Song

    Proceedings of the AAAI Conference on Artificial Intelligence (AAAI), 38(21), 23841--23843, 2024

    会议论文CCF-AEI
  11. 11

    多模态深度学习发展前沿

    王佳英,单菁,马晓萱

    辽宁人民出版社, ISBN 978-7-205-11381-0, 2024

    专著

相关项目 (1)