北卡罗莱纳州立大学的人工智能研究人员通过将特征归一化和特征关注模块合并到一个称为注意力归一化(AN)的模块中，提高了深度神经网络的性能。混合模块可显着提高系统的精度，同时使用可忽略的额外计算能力。
“特征规范化是训练深度神经网络的关键要素，特征关注对于帮助网络强调从原始数据中学到的哪些特征对于完成给定任务最重要，也同样重要，”该论文的相应作者吴天福说。他是北卡罗来纳州立大学的电气和计算机工程副教授。“但是大多数情况下，它们已被单独对待。我们发现将它们结合起来可以使它们更加有效。”
为了测试他们的AN模块，研究人员将其插入了四种最广泛使用的神经网络体系结构：ResNets，DenseNets，MobileNetsV2和AOGNets。然后，他们针对两个行业标准基准测试了网络：ImageNet-1000分类基准和MS-COCO 2017对象检测和实例分割基准。
Wu说：“我们发现在两个基准测试中，AN都改善了所有四种架构的性能。” “例如，ImageNet-1000的top-1精度提高了0.5%到2.7%。MS-COCO中，包围盒的平均精度(AP)精度提高了1.8%，语义蒙版的精度提高了2.2%。
Wu说：“ AN的另一个优势是，它可以促进不同领域之间更好的转移学习。” “例如，从ImageNet中的图像分类到MS-COCO中的对象检测和语义分割。这可以通过对MS-COCO基准进行性能改进来说明，这是通过在MS-COCO中微调ImageNet预训练的深度神经网络而获得的。 COCO，最先进的计算机视觉中的常见工作流程。
“我们已经发布了源代码，希望我们的AN能够带来更好的深度神经网络集成设计。”
在8月23日至28日在线召开的欧洲计算机视觉会议(ECCV)上，发表了论文“ Attentive Normalization ”。该论文是由最近的博士学位的李锡来合着的。毕业于北卡罗来纳州立大学;由博士学位的孙伟 北卡罗来纳州立大学的学生。
