加载中...
PyTorch是由Facebook AI研究实验室开发的一个基于Python的深度学习框架，也是业界十分流行的深度学习框架（详情：PyTorch详情）。
PyTorch最新的1.12版本已经在前天发布。而其中TorchVision是基于PyTorch框架开发的面向CV解决方案的一个PyThon库，其最主要的特点是包含了很多流行的数据集、模型架构以及预训练模型等。本次也随着PyTorch1.12的发布更新到了v0.13。此次发布包含几个非常好的提升，值得大家关注。
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
TorchVision有一个新的向后兼容的API，用于建立支持多权重的模型。新的API允许在同一个模型变体上加载不同的预训练权重，跟踪重要的元数据，如分类标签，并包括使用模型所需的预处理转换。
目前，TorchVision提供了预训练的模型，这些模型可以作为转移学习的起点，也可以在计算机视觉应用中原样使用。但是上述方法有一些局限性。
新的API解决了上述限制，减少了标准任务所需的模板代码量。具体可以参考：https://pytorch.org/blog/introducing-torchvision-new-multi-weight-support-api/
TorchVision在这个版本中增加了很多新的模型供大家使用。主要包括以下几点。
Swin Transformer和EfficienetNetV2是两个流行的分类模型，经常被用于下游的视觉任务。这个版本包括6个预训练的权重，用于它们的分类变体。下面是如何使用这些新模型的方法。
import torch
from torchvision.models import *
image = torch.rand(1, 3, 224, 224)
model = swin_t(weights="DEFAULT").eval()
prediction = model(image)
image = torch.rand(1, 3, 384, 384)
model = efficientnet_v2_s(weights="DEFAULT").eval()
prediction = model(image)
除此以外，我们还为现有架构提供了新的变体，如ShuffleNetV2、ResNeXt和MNASNet。在ImageNet-1K上获得的所有新的预训练模型的准确率如下所示。
我们为RetinaNet、FasterRCNN和MaskRCNN引入了3个新的模型变体，其中包括一些论文后的架构优化和改进的训练配方。所有模型都可以类似地使用。
import torch
from torchvision.models.detection import *
images = [torch.rand(3, 800, 600)]
model = retinanet_resnet50_fpn_v2(weights="DEFAULT")
# model = fasterrcnn_resnet50_fpn_v2(weights="DEFAULT")
# model = maskrcnn_resnet50_fpn_v2(weights="DEFAULT")
model.eval()
prediction = model(images)
ViT和RegNet模型的变体提供了新的预训练的SWAG（来自hashtAGs的监督弱化）权重。其中最大的一个模型在ImageNet-1K上达到了惊人的88.6%的准确率。我们目前提供两个版本的权重。1）在ImageNet-1K上的微调端到端权重（最高精度）；2）在ImageNet-1K上的冻结主干权重与线性分类器拟合（非常适合转移学习）。
SWAG的权重是在Attribution-NonCommercial 4.0国际许可证下发布的。我们要感谢Laura Gustafson、Mannat Singh和Aaron Adcock在为TorchVision提供权重方面的工作和支持。
多重支持API的发布使我们能够刷新最受欢迎的模型并提供更准确的权重。我们将每个模型平均提高了~3分。所用的新配方是在ResNet50的基础上学习的。
这个版本带来了一堆新的基元，可用于制作SOTA模型。一些亮点包括增加了AugMix数据增强方法、DropBlock层、cIoU/dIoU损失等。我们要感谢Aditya Oke、Abhijit Deo、Yassine Alouini和Hu Ye对项目的贡献，并帮助我们保持TorchVision的相关性和新鲜感。