对,OpenVINO是开源免费的。
OpenVINO是用于模型部署的工具包,不支持模型训练。
目前仅支持Intel®的硬件平台,包括:CPU,集成显卡iGPU, GNA, FPGA, MovidiusTM VPU。
还支持树莓派。
不支持。
参考链接设置过程中参考最新版本对应的环境变量设置脚本:
C:\Program Files (x86)\IntelSWTools\openvino\bin\setupvars.bat
检查系统环境变量Path的值,删掉有问题的值。
Windows:
cd C:\Program Files (x86)\IntelSWTools\openvino\deployment_tools\model_optimizer\install_prerequisites
install_prerequisites.bat
Linux:
cd /opt/intel/openvino/deployment_tools/model_optimizer/install_prerequisites
sudo ./install_prerequisites.sh
解决办法:换国内pip源:
Windows:
[global]
timeout = 300
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
[install]
trusted-host=tsinghua.edu.cn
Linux:
在当前用户的Home目录下新建一个.pip目录,在pip目录中新建pip.ini文件并输入以上内容,保存后重新运行:sudo ./install_prerequisites.sh
cd C:\Program Files (x86)\IntelSWTools\openvino\deployment_tools\demo\
demo_squeezenet_download_convert_run.bat
因为国内网络环境的问题,squeezenet1.1模型很难下载下来。
cd C:\Program Files (x86)\IntelSWTools\openvino\deployment_tools\demo\
demo_squeezenet_download_convert_run.bat
可能原因: 加载的模型路径中有中文
解决办法:确保模型文件的路径中没有中文
cd C:\Program Files (x86)\IntelSWTools\openvino\deployment_tools\demo\
demo_security_barrier_camera.bat
可能原因:安装 visual studio 的时候修改了 默认路径,demo_security_barrier_camera.bat中没有找到相应的 visual studio 版本。
解决办法:在demo_security_barrier_camera.bat中临时加上你系统中安装的Visual Studio版本信息。
cd C:\Program Files (x86)\IntelSWTools\openvino\deployment_tools\demo\
demo_security_barrier_camera.bat
原因:OpenVINO没有安装在C盘上,.bat脚本中的 cd 命令运行失败
解决办法:把.bat脚本中的“cd”命令全都改成“cd /d”,或者把OpenVINO安装到C盘。
参考:链接
解决办法:进入安装目录下的opencv子目录,C:\Program Files (x86)\IntelSWTools\openvino_2020.3.194\opencv,找到ffmpeg-download.ps1文件,右键菜单中选择Run with Powershell安装ffmpeg的相关库即可。
在C:\Program Files (x86)\IntelSWTools\openvino\deployment_tools\open_model_zoo\models的intel和public目录中,每个模型的路径下有个model.yml,其中配置了模型的下载路径,可以直接去网站上下载。
运行mo.py脚本时指定 –input和--output参数为要截取的网络的输入和输出节点即可,请参考:链接
从2020.4开始支持Tensorflow2.2.0。
不可以,INT8量化可以使用OpenVINO中的Post Training Optimization Toolkit,参考:链接
请参考: 链接
请参考: 链接
请参考: 链接
模型转换命令:
python mo_tf.py
--input_model xxx.pb
--disable_nhwc_to_nchw
--input IteratorGetNext:0,IteratorGetNext:1,IteratorGetNext:4
--input_shape [1,128],[1,128],[1,128]
原因调查:从PB文件中可以查看到OneHot的Indices输入是Reshape2,该节点在pb中是int32,转换以后变成float32
解决方案:转换模型时添加数据类型信息
python mo_tf.py
--input_model xxx.pb
--disable_nhwc_to_nchw
--input IteratorGetNext:0{i32},IteratorGetNext:1{i32},IteratorGetNext:4{i32}
--input_shape [1,128],[1,128],[1,128]
参考链接:链接
解决方案:Pytorch转ONNX时,指定opset_version=10是可以的。(2020.3之前版本中测试通过)
在Linux版本中可以使用Deployment Manager生成最小部署包。请参考: 链接
请参考: 链接
MultiDevice自动负载均衡通常针对多设备跑一个模型,如果是多个模型,需要自己写代码指定哪个MYRIAD加载哪个模型。
参考:
链接
cl-cache设置部分,设置好以后,虽然第一次加载还是会慢,但是后面再重新加载时会很快。