ONNX是什么

ONNX（Open Neural Network eXchange，开放神经网络交换）是一种针对机器学习所设计的开放式的文件格式，用于存储训练好的模型。它使得不同的人工智能框架（如Pytorch, TensorFlow）可以采用相同格式存储模型数据并交互。 ONNX的规范及代码主要由微软，亚马逊 ，Facebook 和 IBM 等公司共同开发，以开放源代码的方式托管在Github上。
相关网站：【1】https://onnx.ai/ 【2】https://onnxruntime.ai/index.html

开发板与镜像

• 这里使用的是正点原子的7020小系统板。
• 镜像版本为2.6。
• 理论上在其他开发板上的PYNQ环境中也能跑通。

PYNQ-ARM 🔳

• 这里研究的是怎么在PYNQ中的ARM（带操作系统）上安装与部署ONNX。下述的安装与部署均是基于Python。
• 因为在PYNQ-ARM上一般仅执行推理，所以仅需安装运行时环境：onnxruntime，选择1.4版本。
• 研究PYNQ-ARM端的部署并非是完全抛弃PYNQ上的FPGA，而是根据需求来选择由ARM还是FPGA来负责算法的推理，或者是两者结合。
• PYNQ的ONNX安装与部署都存在一定的“坑”，并不是一条安装指令就能解决！注意下面的说明。

环境安装

• PYNQ本身就自带了完整的Python3.6和pip的环境，除了pynq包还有众多的第三方包。所以Python本身不需要做什么改动。
• 从https://github.com/nknytk/built-onnxruntime-for-raspberrypi-linux/tree/master/wheels/buster下载whl包 : **onnxruntime-1.4.0-cp36-cp36m-linux_armv7l.whl, **并上传至开发板。
• 注意，这里直接pip3 install这个whl包是无法安装成功的！！！会遇到两个问题：
  • 自动下载的依赖包protobuf版本过高，会提示只有Python3.7才能兼容。这时千万不要尝试升级Python至3.7以上，否则可能会导致核心工具pynq不可用！这时只需单独安装protobuf，指定版本号3.19.3：

pip3 install protobuf==3.19.3

• 自动下载的依赖包numpy过高，导致与自带的Cython版本不匹配无法编译。因为onnxruntime需要的numpy版本至少要1.16.6，自带的numpy1.13.3不能满足需求，所以会下载最新版本，但是又太新了，导致不能编译与安装！这时也需要单独安装numpy 1.16.6（可能时间会很长，耐心等待完成）：

pip3 install numpy==1.16.6

• 完成上述两步后再安装onnxruntime的whl包, 在该whl包所在的目录下：

pip3 install onnxruntime-1.4.0-cp36-cp36m-linux_armv7l.whl

• 至此，onnxruntime包的安装已经完成，可以在控制台中启动python并import onnxruntime，发现没有报错。

模型推理示例 🔆

• 分别使用PyTorch和TensorFlow.Keras搭建了一个1维的CNN，并分别将其转化为onnx文件（其中Keras需要额外依赖第三方包tf2onnx，pip安装即可），并使用onnxruntime运行。
• 具体代码文件：
  

工程地址：https://github.com/Aiwiscal/pynq-onnx-demo** **
喜欢麻烦给个star，感谢~~~~~~~~~~~

注意

不能保证所有的用户模型都能顺利转换并运行，其各版本对各算子的支持情况需要注意。