You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 
 

9.9 KiB

使用图像超分提高低分辨率无人机影像的分割精度

一、项目背景

  • 前段时间写了个项目:PaddleSeg:使用Transfomer模型对航空遥感图像分割,项目利用PaddleSeg模块训练Transfomer类的语义分割模型,在UDD6数据集中mIOU达到74.50% ,原论文使用DeepLabV3+的mIOU为73.18%, 高1.32% ,训练效果图如下,其中:车辆:红色;道路:浅蓝色;植被:深蓝色;建筑立面:亮绿色;建筑屋顶:紫色;其他:焦绿色
%cd /home/aistudio/
import matplotlib.pyplot as plt
from PIL import Image

output = Image.open(r"work/example/Seg/UDD6_result/added_prediction/000161.JPG")

plt.figure(figsize=(18, 12))  # 设置窗口大小
plt.imshow(output), plt.axis('off')

output_1_2

  • 训练的结果很不错,所使用的UDD6数据是从北京、葫芦岛、沧州、郑州四个城市,使用大疆精灵四无人机在60m-100m高度之间采集。但是,在实际的生产过程中,城市、飞行的高度、图像的质量会发生变化
  • 采集飞行高度升高可以在相同时间内获取更大面积的数据,但分辨率会降低,对低质量的数据,直接使用先前训练的数据预测效果不理想再标注数据、训练模型将是一个不小的工作量,解决的方法除了提升模型的泛化能力,也可以考虑使用图像超分对低质量的无人机图像重建,然后再进行预测
  • 本项目使用PaddleRS提供的无人机遥感图像超分模块,对真实的低质量无人机影像数据进行超分,然后再使用前段时间用UDD6训练的Segformer模型预测,与直接使用低分辨率模型对比。由于没有对低质量数据进行标注无法计算指标。但人眼判别,超分之后的预测结果更好,左边是人工标注的label,中间是低分辨率的预测结果,右边是超分辨率重建后的结果
img = Image.open(r"work/example/Seg/gt_result/data_05_2_14.png")
lq = Image.open(r"work/example/Seg/lq_result/added_prediction/data_05_2_14.png")
sr = Image.open(r"work/example/Seg/sr_result/added_prediction/data_05_2_14.png")

plt.figure(figsize=(18, 12))
plt.subplot(1,3,1), plt.title('GT')
plt.imshow(img), plt.axis('off')
plt.subplot(1,3,2), plt.title('predict_LR')
plt.imshow(lq), plt.axis('off')
plt.subplot(1,3,3), plt.title('predict_SR')
plt.imshow(sr), plt.axis('off')
plt.show()

output_3_0

二、数据介绍与展示

  • 使用的数据是使用大疆精灵四无人机在上海,飞行高度为300m采集的,采集的时候天气也一般,可以看后续的示例发现质量不高。由于只是展示超分重建后进行预测的效果,所以只是简单标注了其中5张照片,毕竟标注数据真的是一件很费力的事! 要是能用公开数据集训练的模型来预测自己的数据,这多是一件美事!
  • 部分标注数据展示如下
add_lb = Image.open(r"work/example/Seg/gt_result/data_05_2_19.png")
lb = Image.open(r"work/example/Seg/gt_label/data_05_2_19.png")
img = Image.open(r"work/ValData/DJI300/data_05_2_19.png")

plt.figure(figsize=(18, 12))
plt.subplot(1,3,1), plt.title('image')
plt.imshow(img), plt.axis('off')
plt.subplot(1,3,2), plt.title('label')
plt.imshow(lb), plt.axis('off')
plt.subplot(1,3,3), plt.title('add_label')
plt.imshow(add_lb), plt.axis('off')
plt.show()

output_5_0

三、无人机遥感图像超分

  • 因为PaddleRS提供了预训练的超分模型,所以这步主要分为以下两个步骤:
    • 准备PaddleRS并设置好环境
    • 调用PaddleRS中的超分预测接口,对低分辨率无人机影像进行超分重建
# 从github上克隆仓库
!git clone https://github.com/PaddleCV-SIG/PaddleRS.git
# 安装依赖,大概一分多钟
%cd PaddleRS/
!pip install -r requirements.txt
# 进行图像超分处理,使用的模型为DRN
import os
import paddle
import numpy as np
from PIL import Image
from paddlers.models.ppgan.apps.drn_predictor import DRNPredictor

# 输出预测结果的文件夹
output = r'../work/example'
# 待输入的低分辨率影像位置
input_dir = r"../work/ValData/DJI300"

paddle.device.set_device("gpu:0")  # 若是cpu环境,则替换为 paddle.device.set_device("cpu")
predictor = DRNPredictor(output)  # 实例化

filenames = [f for f in os.listdir(input_dir) if f.endswith('.png')]
for filename in filenames:
    imgPath = os.path.join(input_dir, filename)  
    predictor.run(imgPath)  # 预测
  • 超分重建结果前后对比展示
# 可视化
import os
import matplotlib.pyplot as plt
%matplotlib inline

lq_dir = r"../work/ValData/DJI300"  # 低分辨率影像文件夹
sr_dir = r"../work/example/DRN"  # 超分辨率影像所在文件夹
img_list = [f for f in os.listdir(lq_dir) if f.endswith('.png')]
show_num = 3  # 展示多少对影像
for i in range(show_num):
    lq_box = (100, 100, 175, 175)
    sr_box = (400, 400, 700, 700)
    filename = img_list[i]
    image = Image.open(os.path.join(lq_dir, filename)).crop(lq_box)  # 读取低分辨率影像
    sr_img = Image.open(os.path.join(sr_dir, filename)).crop(sr_box)  # 读取超分辨率影像

    plt.figure(figsize=(12, 8))
    plt.subplot(1,2,1), plt.title('Input')
    plt.imshow(image), plt.axis('off')
    plt.subplot(1,2,2), plt.title('Output')
    plt.imshow(sr_img), plt.axis('off')
    plt.show()

output_11_0

output_11_1

output_11_2

四、超分前后图像分割效果对比

  • 使用的模型为Segformer_b3,用UDD6数据集训练了40000次
  • 已经将性能最好的模型以及.yml文件放在work文件夹下
  • 运行以下命令可对指定的文件夹下的图像进行预测
  • 首先用该模型对低质量的无人机数据进行预测,然后再使用超分重建后的图像预测,最后对比一下预测的效果
%cd ..
# clone PaddleSeg的项目
!git clone https://gitee.com/paddlepaddle/PaddleSeg
# 安装依赖
%cd /home/aistudio/PaddleSeg
!pip install  -r requirements.txt
# 对低分辨率的无人机影像进行预测
!python predict.py \
       --config ../work/segformer_b3_UDD.yml \
       --model_path ../work/best_model/model.pdparams \
       --image_path ../work/ValData/DJI300 \
       --save_dir ../work/example/Seg/lq_result
# 对使用DRN超分重建后的影像进行预测
!python predict.py \
       --config ../work/segformer_b3_UDD.yml \
       --model_path ../work/best_model/model.pdparams \
       --image_path ../work/example/DRN \
       --save_dir ../work/example/Seg/sr_result

展示预测结果

  • 其中,颜色如下:
种类 颜色
其他 焦绿色
建筑外立面 亮绿色
道路 淡蓝色
植被 深蓝色
车辆 红色
屋顶 紫色
  • 由于只标注了五张图片,所以只展示五张图片的结果,剩下的预测结果均在 work/example/Seg/文件夹下,其中左边是真值,中间是低分辨率影像预测结果,右边是超分重建后预测结果
# 展示部分预测的结果
%cd /home/aistudio/
import matplotlib.pyplot as plt
from PIL import Image
import os

img_dir = r"work/example/Seg/gt_result"  # 低分辨率影像文件夹
lq_dir = r"work/example/Seg/lq_result/added_prediction"
sr_dir = r"work/example/Seg/sr_result/added_prediction"  # 超分辨率预测的结果影像所在文件夹
img_list = [f for f in os.listdir(img_dir) if f.endswith('.png') ]
for filename in img_list:
    img = Image.open(os.path.join(img_dir, filename))
    lq_pred = Image.open(os.path.join(lq_dir, filename))
    sr_pred = Image.open(os.path.join(sr_dir, filename))

    plt.figure(figsize=(12, 8))
    plt.subplot(1,3,1), plt.title('GT')
    plt.imshow(img), plt.axis('off')
    plt.subplot(1,3,2), plt.title('LR_pred')
    plt.imshow(lq_pred), plt.axis('off')
    plt.subplot(1,3,3), plt.title('SR_pred')
    plt.imshow(sr_pred), plt.axis('off')
    plt.show()

output_18_1

output_18_2

output_18_3

output_18_4

output_18_5

五、总结

  • 本项目调用PaddleRS提供的超分重建接口,选用DRN模型对真实采集的低分辨率影像进行重建,再对重建后的图像进行分割,从结果上看,超分重建后的图片的分割结果更好
  • 不足之处:虽然相对于低分辨率影像,超分重建后的预测精度从目视的角度有所提高,但是并没有达到UDD6测试集中的效果,所以模型的泛化能力也需要提高才行,光靠超分重建依然不够
  • 后续工作:将会把超分重建这一步整合到PaddleRS中的transform模块,在high-level任务预测之前可以进行调用改善图像质量,请大家多多关注PaddleRS