研究方向
多模态深度学习
多模态深度学习是实验室的核心研究方向。团队关注模型如何在语言与视觉之间实现信息的对齐、融合与生成。
多模态深度学习是实验室的核心研究方向,也是王佳英副教授领衔的多模态数据智能科研团队的主要研究内容。团队关注模型如何在语言与视觉之间实现信息的对齐、融合与生成。
近期工作包括:组合式与多样性增强的文本生成图像(CSAI、Dice-GAN)、基于动态门控与双流注意力的视觉定位、基于多关系上下文学习的人物交互检测、面向商品理解(AAAI 2024)与工业钢材表面缺陷检测的视觉语言模型,以及面向异构医疗数据的模态鲁棒联邦学习(OmniFM,CVPR 2026)。
主要主题
相关成果 (11)
- 01
A multimodal outfit recommendation Q&A system based on LLMs and KGs
期刊论文CCF-B中科院四区 - 02
一种多模态服装推荐方法
专利 - 03
Dice-GAN: Generative adversarial network with diversity injection and consistency enhancement
期刊论文CCF-C中科院一区 - 04
OmniFM: Toward Modality-Robust and Task-Agnostic Federated Learning for Heterogeneous Medical Imaging
会议论文CCF-AEI - 05
CSAI: Cross- and Self-Attention Interaction for Compositional Text-to-Image Generation
会议论文CCF-CEI新新 - 06
Topological Prototype Learning for Robust Multimodal Sentiment Analysis under Missing Modalities
会议论文CCF-CEI新新 - 07
FAME: Fusion Adaptation and Modality Excitation for Robust Multimodal Sentiment Analysis
会议论文CCF-CEI新新 - 08
Improve Visual Grounding with Dynamic Gating and Dual Stream Attention
会议论文CCF-CEI - 09
Multi-relational Context Learning with Cross-Attention Augmentation for Human Object Interaction Detection
会议论文CCF-CEI优秀论文奖 - 10
Visual language--let the product say what you want
会议论文CCF-AEI - 11
多模态深度学习发展前沿
专著
相关项目 (1)
- 辽宁省教育厅面上项目 2023–2025
面向多模态大数据的智能感知技术研究
Intelligent Perception Technologies for Multimodal Big Data
