前言

很多人都使用OpenVINO新版的C++ 或者Python的SDK，都覺得非常好用，OpenVINO2022之后的版本C++ SDK做了大量的優(yōu)化與整理，已經(jīng)是非常貼近開發(fā)的使用習(xí)慣與推理方式。與OpenCV的Mat對(duì)象對(duì)接方式更是幾乎無縫對(duì)接，非常的方便好用。

導(dǎo)入頭文件

一行代碼就獲取C++ SDK支持

#include 

創(chuàng)建推理推理請(qǐng)求

總結(jié)起來有三種不同方式，針對(duì)單個(gè)固定輸入與輸出層的模型，只需要三行代碼即可創(chuàng)建：

ov::Core ie;
ov::CompiledModel compiled_model = ie.compile_model(settings.getWeight_file(), "CPU");
infer_request = compiled_model.create_infer_request();

對(duì)于支持動(dòng)態(tài)輸入的模型，需要首先設(shè)置支持動(dòng)態(tài)輸入的維度，一般都是圖像寬高，加載模型，創(chuàng)建推理請(qǐng)求的方式如下：

ov::Core ie;
auto model = ie.read_model(settings.getWeight_file());
autoinputs=model->inputs();


// change the input as dynamic shape support
for(auto input_one : inputs){
         auto input_shape = input_one.get_partial_shape();
         input_shape[0] = 1;
         input_shape[1] = 3;
         input_shape[2] = -1;
         input_shape[3] = -1;
}


ov::CompiledModel compiled_model = ie.compile_model(model, "CPU");
infer_request = compiled_model.create_infer_request();

如果有多個(gè)輸入層的模型，想動(dòng)態(tài)修改輸入層與模型輸入的格式，然后再創(chuàng)建推理請(qǐng)求，代碼實(shí)現(xiàn)如下：

ov::Core ie;
std::cout<<"model file: "<
auto model = ie.read_model(settings.getWeight_file());
std::cout<<"read?model?file?finished!"<


// setting input data format and layout
ov::PrePostProcessor ppp(model);
ov::InputInfo& inputInfo0 = ppp.input(0);
inputInfo0.tensor().set_element_type(ov::u8);
inputInfo0.tensor().set_layout({ "NCHW" });
inputInfo0.model().set_layout("NCHW");


ov::InputInfo& inputInfo1 = ppp.input(1);
inputInfo1.tensor().set_element_type(ov::u8);
inputInfo1.tensor().set_layout({ "NCHW" });
inputInfo1.model().set_layout("NCHW");
model = ppp.build();


ov::CompiledModel compiled_model = ie.compile_model(model, "CPU");
this->infer_request = compiled_model.create_infer_request();

導(dǎo)出IR格式模型

我發(fā)現(xiàn)OpenVINO已經(jīng)支持腳本方式導(dǎo)出XML的IR格式文件，簡(jiǎn)單易用，推薦給大家。以下是導(dǎo)出YOLOv8格式IR文件腳本，親測(cè)有效：

ov_model = ov.convert_model("D:/python/my_yolov8_train_demo/yolov8n.onnx",
                             input=[[1, 3, 640, 640]])
ov.save_model(ov_model, str("D:/bird_test/back1/yolov8_ov.xml"))

圖像預(yù)處理

OpenVINO已經(jīng)有自己的預(yù)處理方式，代碼如下：

ov::PrePostProcessor ppp(model);
ov::InputInfo& input = ppp.input(tensor_name);
// we only need to know where is C dimension
input.model().set_layout("...C");
// specify scale and mean values, order of operations is important
input.preprocess().mean(116.78f).scale({ 57.21f, 57.45f, 57.73f });
// insert preprocessing operations to the 'model'
model = ppp.build();

同時(shí)你還可以使用OpenCV的blobfromImage函數(shù)來完成圖像預(yù)處理：

// 預(yù)處理
cv::Mat blob_image;
resize(image, blob_image, cv::Size(input_w, input_h));
blob_image.convertTo(blob_image, CV_32F);
blob_image = blob_image / 255.0;

或者

cv::Mat blob = cv::blobFromImage(image, 1 / 255.0, cv::Size(640, 640), cv::Scalar(0, 0, 0), true, false);

預(yù)測(cè)推理

OpenVINO C++ SDK支持兩種方式預(yù)測(cè)推理，分別是同步與異步模式，此外異步模式還支持Callback的方式實(shí)現(xiàn)后處理，這樣對(duì)于實(shí)現(xiàn)推理流水線非常有用。代碼片段如下： 同步推理，等待結(jié)果

this->infer_request.infer();

異步方式 + Callback

auto restart_once = true;
infer_request.set_callback([&, restart_once](std::exception_ptr exception_ptr) mutable {
    if (exception_ptr) {
        // procces exception or rethrow it.
        std::rethrow_exception(exception_ptr);
    } else {
        // Extract inference result
        ov::Tensor output_tensor = infer_request.get_output_tensor();
        // Restart inference if needed
        if (restart_once) {
            infer_request.start_async();
            restart_once = false;
        }
    }
});
// Start inference without blocking current thread
infer_request.start_async();
// Get inference status immediately
bool status = infer_request.wait_for(std::milliseconds{0});
// Wait for one milisecond
status = infer_request.wait_for(std::milliseconds{1});
// Wait for inference completion
infer_request.wait();

cv::Mat與ov::Tensor轉(zhuǎn)換

從Mat創(chuàng)建Tensor對(duì)象，這個(gè)時(shí)候我就喜歡模型的輸入格式是NHWC的方式，這樣創(chuàng)建Tensor，設(shè)置輸入數(shù)據(jù)只要一行代碼即可，示例如下：

bgr.convertTo(bgr, CV_32FC3);
gray.convertTo(gray, CV_32F, 1.0/255);


ov::Tensor blob1(input_tensor_1.get_element_type(), input_tensor_1.get_shape(), (float *)bgr.data);
ov::Tensor blob2(input_tensor_2.get_element_type(), input_tensor_2.get_shape(), (float *)gray.data);

推理預(yù)測(cè)結(jié)果Tensor到OpenCV Mat對(duì)象，也很簡(jiǎn)單明了，如果輸出數(shù)據(jù)是NHWC四維，可以直接用下面的代碼：

const float* prob = (float*)output.data();
const ov::Shape outputDims = output.get_shape();
size_t numRows = outputDims[1];
size_t numCols = outputDims[2];

// 通道數(shù)為1 用這行

cv::Mat detOut(numRows, numCols, CV_32F, (float*)prob);

// 通道數(shù)為3 用這行

cv::Mat detOut(numRows, numCols, CV_32FC3, (float*)prob);

如果輸出是1xHW的三維張量，直接用下面這樣：

cv::Mat detOut(numRows, numCols, CV_32F, (float*)prob);

從此你就真的解鎖了OpenVINO C++ 模型推理部署的各種細(xì)節(jié)了。