近期，我校信息學(xué)院王菡子教授團(tuán)隊(duì)在視頻目標(biāo)檢測(cè)領(lǐng)域取得重要進(jìn)展，相關(guān)研究成果以“IMC-Det: Intra-Inter Modality Contrastive Learning for Video Object Detection”為題發(fā)表在International Journal of Computer Vision（DOI:10.1007/s11263-024-02201-9）。

視頻目標(biāo)檢測(cè)是計(jì)算機(jī)視覺(jué)領(lǐng)域中的一項(xiàng)基礎(chǔ)而又重要的研究方向。目前的視頻目標(biāo)檢測(cè)方法大多使用視覺(jué)模態(tài)內(nèi)的時(shí)空信息進(jìn)行特征聚合。然而，由于目標(biāo)遮擋、運(yùn)動(dòng)模糊、罕見(jiàn)姿態(tài)等導(dǎo)致的表觀退化問(wèn)題，大多數(shù)現(xiàn)有的視頻目標(biāo)檢測(cè)方法無(wú)法穩(wěn)定地預(yù)測(cè)表觀退化的目標(biāo)，從而導(dǎo)致了受限的檢測(cè)性能。本文提出了一種基于內(nèi)外模態(tài)的視頻目標(biāo)檢測(cè)方法（簡(jiǎn)稱IMC-Det）。該方法能夠同時(shí)利用視覺(jué)模態(tài)和文本模態(tài)中的有益信息來(lái)增強(qiáng)目標(biāo)表觀表示，以提高視頻目標(biāo)檢測(cè)的性能。在具有挑戰(zhàn)性的大規(guī)模的ImageNet VID數(shù)據(jù)集上進(jìn)行了大量實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，與現(xiàn)有的視頻目標(biāo)檢測(cè)方法相比，本研究所提出的IMC-Det方法能夠獲得較好的檢測(cè)性能（即使用ResNet-101和ResNeXt-101可分別獲得85.5% mA P和86.7% mAP）。

該論文由博士生齊強(qiáng)和碩士生邱振宇在王菡子教授、嚴(yán)嚴(yán)教授、盧楊老師共同指導(dǎo)下完成。該研究工作得到了國(guó)家自然科學(xué)基金項(xiàng)目（U21A20514, 62372388, 62071404 and 62376233）等項(xiàng)目的支持。

論文連接：https://doi.org/10.1007/s11263-024-02201-9

（信息學(xué)院）