《开源精选》是我们分享Github、Gitee等开源社区中优质项目的栏目,包括技术、学习、实用与各种有趣的内容。本期推荐的是基于PaddleOCR的C++代码修改并封装的.NET的工具类库。
项目介绍
本项目是一个基于PaddleOCR的C++代码修改并封装的.NET的工具类库。包含文本识别、文本检测、基于文本检测结果的统计分析的表格识别功能,同时针对小图识别不准的情况下,做了优化,提高识别准确率。
包含总模型仅8.6M的超轻量级中文OCR,单模型支持中英文数字组合识别、竖排文本识别、长文本识别。同时支持多种文本检测。
本项目中PaddleOCR.dll文件是基于开源项目PaddleOCR的C++代码修改而成的C++动态库,基于opencv的x64编译而成的。
全部调用参数介绍
region通用参数//////是否使用GPU,默认关闭/// publicbyteuse_gpu {get;set; } =0;//////GPU id,使用GPU时有效/// publicintgpu_id {get;set; } =0;//////申请的GPU内存,使用GPU时有效/// publicintgpu_mem {get;set; } =4000;//////使用线程数,默认2/// publicintnumThread {get;set; } =2;//////启用mkldnn加速,默认开启/// publicbyteEnable_mkldnn {get;set; } =1;endregionregion检测模型相关//////补白边,默认50,暂时没有用/// publicintPadding {get;set; } =50;//////输入图像长宽大于960时,等比例缩放图像,使得图像最长边为960/// publicintMaxSideLen {get;set; } =960;//////DB后处理过滤box的阈值,如果检测存在漏框情况,可酌情减小/// publicfloatBoxScoreThresh {get;set; } =0.5f;//////用于过滤DB预测的二值化图像,设置为0.-0.3对结果影响不明显/// publicfloatBoxThresh {get;set; } =0.3f;//////表示文本框的紧致程度,越小则文本框更靠近文本/// publicfloatUnClipRatio {get;set; } =1.6f;//////DoAngle 默认1启用/// publicbyteDoAngle {get;set; } =1;//////MostAngle 默认1启用/// publicbyteMostAngle {get;set; } =1;//////是否使用多边形框计算bbox score,false表示使用矩形框计算。矩形框计算速度更快,多边形框对弯曲文本区域计算更准确。/// publicbyteuse_polygon_score {get;set; } =0;//////是否对结果进行可视化,为1时,会在当前文件夹下保存文件名为ocr_vis.png的预测结果。/// publicbytevisualize {get;set; } =0;endregionregion方向分类器相关//////启用方向选择器,默认关闭/// publicbyteuse_angle_cls {get;set; } =0;//////方向分类器的得分阈值/// publicfloatcls_thresh {get;set; } =0.9f;endregion
服务器端C++预测
准备环境
- Linux环境,推荐使用docker。
- Windows环境,目前支持基于Visual Studio 2019 Community进行编译。
编译opencv库
- 首先需要从opencv官网上下载在Linux环境下源码编译的包,以opencv3.4.7为例,下载命令如下。
cddeploy/cpp_inferwgethttps://paddleocr.bj.bcebos.com/libs/opencv/opencv-3.4.7.tar.gztar-xf opencv-3.4.7.tar.gz
最终可以在当前目录下看到opencv-3.4.7/的文件夹。
- 编译opencv,设置opencv源码路径(root_path)以及安装路径(install_path)。进入opencv源码路径下,按照下面的方式进行编译。
root_path="your_opencv_root_path"install_path=${root_path}/opencv3build_dir=${root_path}/buildrm-rf ${build_dir}mkdir${build_dir}cd${build_dir}cmake.. \
-DCMAKE_INSTALL_PREFIX=${install_path} \
-DCMAKE_BUILD_TYPE=Release \
-DBUILD_SHARED_LIBS=OFF \
-DWITH_IPP=OFF \
-DBUILD_IPP_IW=OFF \
-DWITH_LAPACK=OFF \
-DWITH_EIGEN=OFF \
-DCMAKE_INSTALL_LIBDIR=lib64 \
-DWITH_ZLIB=ON \
-DBUILD_ZLIB=ON \
-DWITH_JPEG=ON \
-DBUILD_JPEG=ON \
-DWITH_PNG=ON \
-DBUILD_PNG=ON \
-DWITH_TIFF=ON \
-DBUILD_TIFF=ONmake-jmakeinstall
也可以直接修改tools/build_opencv.sh的内容,然后直接运行下面的命令进行编译。
shtools/build_opencv.sh
其中root_path为下载的opencv源码路径,install_path为opencv的安装路径,make install完成之后,会在该文件夹下生成opencv头文件和库文件,用于后面的OCR代码编译。
最终在安装路径下的文件结构如下所示。
opencv3/
|-- bin|-- include|-- lib|-- lib64|-- share
下载或者编译Paddle预测库
直接下载安装:https://paddle-inference.readthedocs.io/en/latest/user_guides/download_lib.html
- 下载之后使用下面的方法解压,最终会在当前的文件夹中生成paddle_inference/的子文件夹。
tar-xfpaddle_inference.tgz
预测库源码编译
- 如果希望获取最新预测库特性,可以从Paddle github上克隆最新代码,源码编译预测库。
gitclone https://github.com/PaddlePaddle/Paddle.git
git checkout release/2.2
- 进入Paddle目录后,编译方法如下。
rm-rf buildmkdirbuildcdbuildcmake.. \
-DWITH_CONTRIB=OFF \
-DWITH_MKL=ON \
-DWITH_MKLDNN=ON \
-DWITH_TESTING=OFF \
-DCMAKE_BUILD_TYPE=Release \
-DWITH_INFERENCE_API_TEST=OFF \
-DON_INFER=ON \
-DWITH_PYTHON=ONmake-jmakeinference_lib_dist
- 编译完成之后,可以在build/paddle_inference_install_dir/文件下看到生成了以下文件及文件夹。
build/paddle_inference_install_dir/
|-- CMakeCache.txt|-- paddle|-- third_party|-- version.txt
其中paddle就是C++预测所需的Paddle库,version.txt中包含当前预测库的版本信息。
开始运行
将模型导出为inference model
inference/
|-- det_db| |--inference.pdiparams| |--inference.pdmodel|-- rec_rcnn| |--inference.pdiparams| |--inference.pdmodel
编译PaddleOCR C++预测demo
- 编译命令如下,其中Paddle C++预测库、opencv等其他依赖库的地址需要换成自己机器上的实际地址。
shtools/build.sh
- 具体的,需要修改tools/build.sh中环境路径,相关内容如下:
OPENCV_DIR=your_opencv_dirLIB_DIR=your_paddle_inference_dirCUDA_LIB_DIR=your_cuda_lib_dirCUDNN_LIB_DIR=/your_cudnn_lib_dir
其中,OPENCV_DIR为opencv编译安装的地址;LIB_DIR为下载(paddle_inference文件夹)或者编译生成的Paddle预测库地址(build/paddle_inference_install_dir文件夹);CUDA_LIB_DIR为cuda库文件地址,在docker中为/usr/local/cuda/lib64;CUDNN_LIB_DIR为cudnn库文件地址,在docker中为/usr/lib/x86_64-linux-gnu/。注意:以上路径都写绝对路径,不要写相对路径。
- 编译完成之后,会在build文件夹下生成一个名为ppocr的可执行文件。
运行demo
运行方式:
./build/ppocr [--param1] [--param2] [...]
只调用检测:
./build/ppocr det \--det_model_dir=inference/ch_ppocr_mobile_v2.0_det_infer \--image_dir=../../doc/imgs/12.jpg
只调用识别:
./build/ppocr rec \--rec_model_dir=inference/ch_ppocr_mobile_v2.0_rec_infer \--image_dir=../../doc/imgs_words/ch/
调用串联:
不使用方向分类器./build/ppocrsystem \
--det_model_dir=inference/ch_ppocr_mobile_v2.0_det_infer \
--rec_model_dir=inference/ch_ppocr_mobile_v2.0_rec_infer \
--image_dir=../../doc/imgs/12.jpg使用方向分类器./build/ppocrsystem \
--det_model_dir=inference/ch_ppocr_mobile_v2.0_det_infer \
--use_angle_cls=true \
--cls_model_dir=inference/ch_ppocr_mobile_v2.0_cls_infer \
--rec_model_dir=inference/ch_ppocr_mobile_v2.0_rec_infer \
--image_dir=../../doc/imgs/12.jpg
最终屏幕上会输出检测结果如下:
.net使用示例
OpenFileDialog ofd =newOpenFileDialog();
ofd.Filter ="*.*|*.bmp;*.jpg;*.jpeg;*.tiff;*.tiff;*.png";if(ofd.ShowDialog() != DialogResult.OK)return;varimagebyte = File.ReadAllBytes(ofd.FileName);
Bitmap bitmap =newBitmap(newMemoryStream(imagebyte));
OCRModelConfig config =null;
OCRParameter oCRParameter =newOCRParameter ();//oCRParameter.use_gpu=1;当使用GPU版本的预测库时,该参数打开才有效果OCRResult ocrResult =newOCRResult();using(PaddleOCREngine engine =newPaddleOCREngine(config, oCRParameter))
{
ocrResult = engine.DetectText(bitmap );
}if(ocrResult !=null)
{
MessageBox.Show(ocrResult.Text,"识别结果");
}
更多内容:https://gitee.com/raoyutian/paddle-ocrsharp