PaddleRS/test_tipc/docs/test_train_inference_python.md

Linux GPU/CPU 基础训练推理测试

Linux GPU/CPU 基础训练推理测试的主程序为test_train_inference_python.sh，可以测试基于Python的模型训练、评估、推理等基本功能。

1 测试结论汇总

• 训练相关：

任务类别	模型名称	单机单卡	单机多卡	参考预测精度
变化检测	BIT	正常训练	正常训练	IoU=71.01%
变化检测	CDNet	正常训练	正常训练	IoU=55.10%
变化检测	ChangeFormer	正常训练	正常训练	IoU=61.09%
变化检测	DSAMNet	正常训练	正常训练	IoU=69.02%
变化检测	DSIFN	正常训练	正常训练	IoU=72.36%
变化检测	FC-EF	正常训练	正常训练	IoU=57.18%
变化检测	FC-Siam-conc	正常训练	正常训练	IoU=52.82%
变化检测	FC-Siam-diff	正常训练	正常训练	IoU=58.30%
变化检测	FCCDN	正常训练	正常训练	IoU=23.94%
变化检测	SNUNet	正常训练	正常训练	IoU=67.66%
变化检测	STANet	正常训练	正常训练	IoU=67.23%
场景分类	CondenseNet V2	正常训练	正常训练	Acc(top1)=60.53%
场景分类	HRNet	正常训练	正常训练	Acc(top1)=99.47%
场景分类	MobileNetV3	正常训练	正常训练	Acc(top1)=99.57%
场景分类	ResNet50-vd	正常训练	正常训练	Acc(top1)=99.37%
目标检测	Faster R-CNN	正常训练	正常训练	暂无稳定精度
目标检测	PP-YOLO	正常训练	正常训练	暂无稳定精度
目标检测	PP-YOLO Tiny	正常训练	正常训练	暂无稳定精度
目标检测	PP-YOLOv2	正常训练	正常训练	暂无稳定精度
目标检测	YOLOv3	正常训练	正常训练	暂无稳定精度
图像复原	DRN	正常训练	正常训练	PSNR=24.92
图像复原	ESRGAN	正常训练	正常训练	PSNR=21.39
图像复原	LESRCNN	正常训练	正常训练	PSNR=23.67
图像分割	BiSeNet V2	正常训练	正常训练	mIoU=70.52%
图像分割	DeepLab V3+	正常训练	正常训练	mIoU=64.41%
图像分割	FactSeg	正常训练	正常训练
图像分割	FarSeg	正常训练	正常训练	mIoU=50.60%
图像分割	Fast-SCNN	正常训练	正常训练	mIoU=49.27%
图像分割	HRNet	正常训练	正常训练	mIoU=33.03%
图像分割	UNet	正常训练	正常训练	mIoU=72.58%

注：参考预测精度为whole_train_whole_infer模式下单卡训练汇报的精度数据。

• 推理相关：

任务类别	模型名称	device_CPU	device_GPU	batchsize
变化检测	BIT	支持	支持	1
变化检测	CDNet	支持	支持	1
变化检测	ChangeFormer	支持	支持	1
变化检测	DSAMNet	支持	支持	1
变化检测	DSIFN	支持	支持	1
变化检测	SNUNet	支持	支持	1
变化检测	STANet	支持	支持	1
变化检测	FC-EF	支持	支持	1
变化检测	FC-Siam-conc	支持	支持	1
变化检测	FC-Siam-diff	支持	支持	1
场景分类	CondenseNet V2	支持	支持	1
场景分类	HRNet	支持	支持	1
场景分类	MobileNetV3	支持	支持	1
场景分类	ResNet50-vd	支持	支持	1
图像复原	DRN	支持	支持	1
图像复原	ESRGAN	支持	支持	1
图像复原	LESRCNN	支持	支持	1
目标检测	Faster R-CNN	支持	支持	1
目标检测	PP-YOLO	支持	支持	1
目标检测	PP-YOLO Tiny	支持	支持	1
目标检测	PP-YOLOv2	支持	支持	1
目标检测	YOLOv3	支持	支持	1
图像分割	BiSeNet V2	支持	支持	1
图像分割	DeepLab V3+	支持	支持	1
图像分割	FactSeg	支持	支持	1
图像分割	FarSeg	支持	支持	1
图像分割	Fast-SCNN	支持	支持	1
图像分割	HRNet	支持	支持	1
图像分割	UNet	支持	支持	1

2 测试流程

2.1 环境配置

除了安装PaddleRS以外，您还需要安装规范化日志输出工具AutoLog：

pip install  https://paddleocr.bj.bcebos.com/libs/auto_log-1.2.0-py3-none-any.whl

2.2 功能测试

先运行test_tipc/prepare.sh准备数据和模型，然后运行test_tipc/test_train_inference_python.sh进行测试。测试过程中生成的日志文件均存储在test_tipc/output/目录。

test_tipc/test_train_inference_python.sh支持4种运行模式，分别是：

• 模式1：lite_train_lite_infer，使用少量数据训练，用于快速验证训练到预测的流程是否能走通，不验证精度和速度；

bash ./test_tipc/prepare.sh test_tipc/configs/clas/hrnet/train_infer_python.txt lite_train_lite_infer
bash ./test_tipc/test_train_inference_python.sh test_tipc/configs/clas/hrnet/train_infer_python.txt lite_train_lite_infer

• 模式2：lite_train_whole_infer，使用少量数据训练，全量数据预测，用于验证训练后的模型执行预测时预测速度是否合理；

bash ./test_tipc/prepare.sh test_tipc/configs/clas/hrnet/train_infer_python.txt lite_train_whole_infer
bash ./test_tipc/test_train_inference_python.sh test_tipc/configs/clas/hrnet/train_infer_python.txt lite_train_whole_infer

• 模式3：whole_infer，不训练，使用全量数据预测，验证模型动转静是否正常，检查模型的预测时间和精度;

bash ./test_tipc/prepare.sh test_tipc/configs/clas/hrnet/train_infer_python.txt whole_infer
# 用法1:
bash ./test_tipc/test_train_inference_python.sh test_tipc/configs/clas/hrnet/train_infer_python.txt whole_infer
# 用法2: 在指定GPU上执行预测，第三个传入参数为GPU编号
bash ./test_tipc/test_train_inference_python.sh test_tipc/configs/clas/hrnet/train_infer_python.txt whole_infer '1'

• 模式4：whole_train_whole_infer，CE： 全量数据训练，全量数据预测，验证模型训练精度、预测精度、预测速度；

bash ./test_tipc/prepare.sh test_tipc/configs/clas/hrnet/train_infer_python.txt whole_train_whole_infer
bash ./test_tipc/test_train_inference_python.sh test_tipc/configs/clas/hrnet/train_infer_python.txt whole_train_whole_infer

运行相应指令后，在test_tipc/output目录中会自动保存运行日志。如lite_train_lite_infer模式下，该目录中可能存在以下文件：

test_tipc/output/{task name}/{model name}/
|- results_python.log    # 存储指令执行状态的日志
|- norm_gpus_0_autocast_null/  # GPU 0号卡上的训练日志和模型保存目录
......
|- python_infer_cpu_usemkldnn_True_threads_6_precision_fp32_batchsize_1.log  # CPU上开启mkldnn，线程数设置为6，测试batch_size=1条件下的预测运行日志
|- python_infer_gpu_usetrt_True_precision_fp16_batchsize_1.log # GPU上开启TensorRT，测试batch_size=1的半精度预测运行日志
......

其中results_python.log中保存了每条指令的执行状态。如果指令运行成功，输出信息如下所示：

 Run successfully with command - hrnet - python test_tipc/infer.py --file_list ./test_tipc/data/ucmerced/ ./test_tipc/data/ucmerced/val.txt --device=gpu --use_trt=False --precision=fp32 --model_dir=./test_tipc/output/clas/hrnet/lite_train_lite_infer/norm_gpus_0,1_autocast_null/static/ --batch_size=1 --benchmark=True  !
......

如果运行失败，输出信息如下所示：

 Run failed with command - hrnet - python test_tipc/infer.py --file_list ./test_tipc/data/ucmerced/ ./test_tipc/data/ucmerced/val.txt --device=gpu --use_trt=False --precision=fp32 --model_dir=./test_tipc/output/clas/hrnet/lite_train_lite_infer/norm_gpus_0,1_autocast_null/static/ --batch_size=1 --benchmark=True  !
......