2025年CANN的接口调用流程概述

CANN的接口调用流程概述CANN 库里面目前在看的是 c 的代码 在 WEB 时代流行的是 JAVA 而不是 c 或者 c 原因之一就是 JAVA 不需要关注内存的分配和释放 而这些却正是在 c 或 c 编程中重要格外关注的 因此而产生不少的代码片段 在看代码的时候

大家好,我是讯享网,很高兴认识大家。

CANN库里面目前在看的是c++的代码,在WEB时代流行的是JAVA,而不是c或者c++,原因之一就是JAVA不需要关注内存的分配和释放,而这些却正是在c或c++编程中重要格外关注的,因此而产生不少的代码片段,在看代码的时候,稍稍会影响对于正常流程的代码的关注。
再则,在接口调用后,为了程序的健壮和容错,往往都要对于调用返回结果进行检查和错误处理,这样看代码时也会觉得稍稍繁琐。
所以先暂时抛开这些,来主要的关注一下接口调用主流程,这样看代码时能够提纲挈领,而不容易被淹没在代码细节中。
先要介绍一下CANN的概念,它是一个技术架构,官方定义是:

  • CANN(Compute Architecture for Neural Networks)是华为公司针对AI场景推出的异构计算架构,通过提供多层次的编程接口,支持用户快速构建基于昇腾平台的AI应用和业务。

然后代码中我们经常会看看名字以acl开头的接口,那么ACL是计算语言,概念定义如下:

  • AscendCL(Ascend Computing Language)是一套用于在昇腾平台上开发深度神经网络推理应用的C语言API库,提供运行资源管理、内存管理、模型加载与执行、算子加载与执行、媒体数据处理等API,能够实现利用昇腾硬件计算资源、在昇腾CANN平台上进行深度学习推理计算、图形图像预处理、单算子加速计算等能力。简单来说,就是统一的API框架,实现对所有资源的调用。

image.png
讯享网
上图中的 计算资源层 是昇腾AI处理器的硬件算力基础,主要完成神经网络的矩阵相关计算、完成控制算子/标量/向量等通用计算和执行控制功能、完成图像和视频数据的预处理,为深度神经网络计算提供了执行上的保障。
从图中还可以看出,ACL包含与CANN之中,并且处于CANN的结构分层中的最上层。

所以,应用层的开发,直接使用的接口就是ACL接口。当然,可以有第三方框架/lib库来调用ACL形成更高级的接口服务提供给应用。

ACL的优势这里必须要列一下:

  1. 高度抽象:算子编译、加载、执行的API归一,相比每个算子一个API,AscendCL大幅减少API数量,降低复杂度。
  2. 向后兼容:AscendCL具备向后兼容,确保软件升级后,基于旧版本编译的程序依然可以在新版本上运行。
  3. 零感知芯片:一套AscendCL接口可以实现应用代码统一,多款昇腾AI处理器无差异。

来看一下ACL的总体调用流程:

image.png

小讯
上一篇 2025-03-25 20:31
下一篇 2025-01-09 18:07

相关推荐

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/76127.html