近日,颜成钢教授团队以杭电为第一单位的论文Dynamic Style Transferring and Content Preserving for Domain Generalization获得国际会议EAI MOBIMEDIA最佳论文奖,该研究的合作单位还有中科院计算所、快手和浙江大华有限公司。论文第一作者是杭州电子科技大学“智能信息处理实验室”(HDU IIPLab)的硕士研究生王超怡。
虽然,卷积神经网络在不同的计算机视觉任务中表现出了卓越的能力,但是他们并不能很好的应对域偏移。近年来域适应方法引起了计算机视觉界的广泛关注。域适应是一种在训练集和测试集不满足独立同分布条件下的机器学习技术,域泛化则是域适应的进一步推广。最近的研究表明,域转移主要是由于图像的风格或纹理变化引起的,而不是图片的内容。受此启发,我们提出了动态风格转换来克服CNN的风格偏见。具体来说,我们设计了一种知识注入注意机制,用于自适应地学习风格融合的权重,并将动态选择图像的风格知识嵌入潜在空间。因此,风格转换的程度是可以控制的,我们可以保留风格中潜在与内容相关的琐碎信息,在随机化风格时,可以有目的地保留一些包含内容信息的特征。此外,论文还设置内容保留模块,该模块与编码器形成了对抗结构,以使编码器提取的风格信息更精确。为了平衡编码器和辅助分类器之间的对抗关系,我们还引入了一致性损失来增强辅助分类器的能力,它不仅促进编码器和辅助分类器之间的对抗关系,也延长编码器对内容表示的学习阶段,通过扩展反向传播过程间接提高编码器的能力。
杭州电子科技大学“智能信息处理实验室”(HDU IIPLab)主任为颜成钢教授。实验室现有在职教师16名,含3位国家级人才及4位省级人才,包括“长江学者奖励计划”特聘教授、“海外引才计划”特聘教授、“海外引才计划”青年学者、浙江省“钱江学者”特聘教授、浙江省杰出青年基金获得者、浙江省“151人才工程”第一层次、浙江省高校中青年学科带头人重点资助等多名国家及省部级人才。现有硕博生87名,在职研究生毕业生多就职于阿里巴巴、腾讯、字节跳动、海康威视、华为、网易等国内知名大公司。实验室采用与海内外知名高校、研究所(清华大学、北京大学、中科院、美国北卡罗来纳大学教堂山分校、澳大利亚悉尼科技大学、京东AI研究院等等)联合培养制,长期致力于智能信息处理方面的研究,主要研究方向包括:机器学习、模式识别、计算机视觉、计算机图形学、医学影像处理、生物信息学等。实验室为学校交叉创新团队,拥有自由开放的学术氛围和国际前沿的研究方向,可以在多个学院招生,包括但不限于自动化、计算机、电子、通信等学院。