完善资料让更多小伙伴认识你,还能领取20积分哦, 立即完善>
我将 yolov7tiny.pt(yolov7-tiny 模型)转换为具有 uint8 权重的 yolov7tiny.onnx,然后在 i.MX 8M Plus NPU 上运行 yolov7tiny.onnx。输入大小为 224x224,但 npu 推理时间为 127 毫秒。好像太慢了。这个时间合理吗?
以下是我的onnx模型转换步骤和我的onnxruntime执行代码: 1. 从 https://github.com/WongKinYiu/yolov7/releases下载yolov7-tiny.pt ,并重命名yolov7tiny.pt 2.将yolov7tiny.pt转换为yolov7tiny.onnx(这个onnx有fp32权重) (onnx==1.10.0 and opset=15) $ git clone https://github.com/WongKinYiu/yolov7.git $ python export.py --weights ./yolov7tiny.pt --img-size 224 注意:我修改了附件中export.py中的一些代码。 3.量化yolov7tiny.onnx,输出称为yolov7tiny_uint8.onnx ,这里我参考https://github.com/microsoft/onnxruntime/issues/10787。 $ python quantize_yolo.py 注:附件中的quantize_yolo.py是我量化onnx模型的代码。 4. 使用 onnxruntime_perf_test 在 npu 上运行 yolov7tiny_uint8.onnx $ /usr/bin/onnxruntime-1.10.0/onnxruntime_perf_test ./yolov7tiny_uint8.onnx -r 1 -e nnapi 结果: 我把我的相关文件放在附件里了。 |
|
相关推荐
|
|
只有小组成员才能发言,加入小组>>
1631个成员聚集在这个小组
加入小组我的项目我做主,使用GN+Ninja来完成构建系统(VSCode开发RT106X)
35374 浏览 0 评论
NXP IMX8应用处理器快速入门必备:技巧、使用、设计指南
3723 浏览 0 评论
4958 浏览 1 评论
6053 浏览 0 评论
NXP i.MX6UL开发板(linux系统烧录+规格+硬件+模块移植)使用手册
3646 浏览 0 评论
108浏览 2评论
3811浏览 2评论
求助,S32G上Core M启动后如何让Core A在Flash指定位置加载uboot?
135浏览 2评论
求分享适用于PN7160 Android的NFC工厂测试应用程序
226浏览 2评论
227浏览 2评论
小黑屋| 手机版| Archiver| 电子发烧友 ( 粤ICP备14022951号 )
GMT+8, 2023-10-5 09:46 , Processed in 0.607230 second(s), Total 68, Slave 60 queries .
Powered by 电子发烧友网
© 2015 bbs.elecfans.com
关注我们的微信
下载发烧友APP
电子发烧友观察
版权所有 © 深圳华秋电子有限公司
电子发烧友 (电路图) 粤公网安备 44030402000349 号 电信与信息服务业务经营许可证:粤 B2-20160233 工商网监 湘ICP备2023018690号