pytorch模型部署方案（pytorch模型怎么部署）

大家好，我是讯享网，很高兴认识大家。

编辑：润贝果

在刚刚召开的PyTorch大会上，PyTorch发布了一大波更新，把深度学习从业者们高兴坏了！

正式推出ExecuTorch。它可以让PyTorch在Arm、苹果和高通的处理器上运行，实现在移动端设备上大范围地部署AI工具。

伴随着这个更新，在可以预见的未来，手机，VR头显，汽车和可穿戴等移动设备将会全面AI化。

除此之外，Pytorch还宣布，torch.compile实现了对NumPy代码跟踪的支持，从而可以利用PyTorch的编译器生成高效的融合矢量化代码，而无需修改原始NumPy代码。

更重要的是，这次更新还允许通过在torch.device(“cuda”)下运行torch.compile来在CUDA上执行NumPy代码！

深度学习大佬Sebastian也证实，这次更新后，用PyTorch编译NumPy代码时速度暴增35倍！激动人心！

而就在前不久，PyTorch 2.1也正式发布了。

这个新版本在torch.compile、torch.distributed.checkpoint中提供自动动态形状（Automatic Dynamic Shape）支持，可以在多个队列上并行保存/加载分布式训练作业，以及torch.compile对NumPy API的支持。

此外，新版本还提供了多个性能方面的改进（例如CPU电感器改进、AVX512支持、缩放点积注意力支持）以及torch.export的原型版本、健全的全图捕获机制和torch.export基于量化。

除了新品的发布，业内各路大佬都会在大会上分享关于AI模型训练，AI开源的深度见解。

ExecuTorch让AI模型部署到全平台

与各种计算平台兼容，从性能最强劲的手机到嵌入式系统都将获得支持。

使开发人员能够使用相同的工具链和SDK，在各种平台上实现PyTorch模型的设计，调试以及部署，从而大大提高生产力。

由于任务执行时间比较短，并且可以利用完整硬件功能（包括通用CPU和专用处理器，例如NPU和DSP）和能力，最终就可以为用户提供无缝和高性能的体验。

在官方提供的Demo中，我们可以看到，在移动端，可以轻松部署深度学习的视觉模型。

如下图，可以在终端对图像进行语义分割，分割的效果虽然比不上使用GPU推理的结果，但是相信随着终端硬件的发展，其图像处理效果会有进一步的提升。

Meta已经对这项技术进行了验证，将其应用于最新一代VR头显Quest 3当中。

在PyTorch大会的主题演讲中，Meta软件工程师Mergen Nachin 详细介绍了新的ExecuTorch技术的全部内容及其重要性。

他指出，当今的人工智能模型正在从服务器扩展到边缘设备，例如移动、AR、VR和AR耳机、可穿戴设备、嵌入式系统和微控制器。

ExecuTorch通过提供PyTorch模型的端到端工作流程来交付优化的本机程序，解决了受限边缘设备的挑战。

Nachin解释说，ExecuTorch从标准PyTorch模块开始，但将其转换为exporter graph，然后通过进一步转换和编译来优化它以针对特定设备。

ExecuTorch的一个主要优势是可移植性，能够在移动和嵌入式设备上运行。

Nachin指出，ExecuTorch还可以通过跨不同目标使用一致的API和软件开发套件来帮助提高开发人员的工作效率。

Nachin表示，随着该技术现已作为PyTorch基金会的一部分开源，我们的目标是帮助行业协作解决将人工智能模型部署到各种边缘设备时的碎片化问题。

Meta相信ExecuTorch可以通过其优化且可移植的工作流程帮助更多组织利用设备上的人工智能。

在PyTorch大会的主题演讲中，Meta软件工程师Mergen Nachin详细介绍了新的ExecuTorch技术的全部内容及其重要性。

作为开源的PyTorch项目的一部分，ExecuTorch的目标是进一步推动这项技术，让世界迎来在移动设备上进行AI推理的新时代。

NumPy代码编译为C++/CUDA，提速35倍！

PyTorch2.1发布

本月初，官方发布了PyTorch2.1。

PyTorch 2.1在torch.compile、torch.distributed.checkpoint中提供自动动态形状支持，用于在多个队列上并行保存/加载分布式训练作业，以及 torch.compile对NumPy API的支持。

此外，此版本还提供了许多性能改进（例如CPU电感器改进、AVX512支持、缩放点积注意力支持）以及torch.export的原型版本、健全的全图捕获机制和 torch.export基于量化。

除了2.1之外，官方还发布PyTorc域库的一系列测试版更新，包括TorchAudio和TorchVision。下面是最新稳定版本和更新的列表。

地址：https://pytorch.org/blog/new-library-updates/

参考资料：

https://www.linuxfoundation.org/blog/-pytorch-conference-2023-news?hss_channel=tw-

https://pytorch.org/blog/pytorch-edge/?utm_content=&utm_medium=social&utm_source=twitter&hss_channel=tw-