Add content to rs_data.md

own
Bobholamovic 2 years ago
parent 4ceef338f6
commit 71ff3d36a0
  1. 2
      README.md
  2. 54
      docs/data/rs_data.md
  3. 41
      docs/datasets.md
  4. 8
      test_tipc/README.md
  5. 4
      test_tipc/docs/test_train_inference_python.md

@ -186,7 +186,7 @@ PaddleRS目录树中关键部分如下:
* [快速上手PaddleRS](./tutorials/train/README.md)
* 准备数据集
* [遥感数据介绍](./docs/data/rs_data.md)
* [快速了解遥感与遥感数据](./docs/data/rs_data.md)
* [遥感数据集整理](./docs/data/dataset.md)
* [智能标注工具EISeg](https://github.com/PaddlePaddle/PaddleSeg/tree/release/2.4/EISeg)
* [遥感影像处理工具集](./docs/data/tools.md)

@ -1,22 +1,27 @@
# 遥感数据介绍
广义上,遥感指的是"遥远的感知",即在不直接接触的情况下,对目标或自然现象进行远距离探测和感知。狭义上的遥感一般指电磁波遥感技术,即在某种平台(如飞机或卫星)上利用传感器探测电磁波的反射特性、并从中提取信息的过程。这个过程获取的影像数据被称作遥感数据,一般包括卫星和航空影像。遥感数据的用途广泛,在诸如空间分析等GIS任务中、或是包括场景分类、影像分割与目标检测在内的计算机视觉(Computer Vision, CV)领域都可以见到它们的身影。
## 1 遥感与遥感影像的定义
广义上,遥感指的是"遥远的感知",即在不直接接触的情况下,对目标或自然现象进行远距离探测和感知。狭义上的遥感一般指电磁波遥感技术,即在某种平台(如飞机或卫星)上利用传感器探测电磁波的反射特性、并从中提取信息的过程。这个过程获取的影像数据被称作遥感影像,一般包括卫星和航空影像。遥感数据的用途广泛,在诸如空间分析等GIS任务中、或是包括场景分类、影像分割与目标检测在内的计算机视觉(Computer Vision, CV)领域都可以见到它们的身影。
相比航空影像,卫星影像的覆盖面积更广,因此得到了更加长足的应用。常见的卫星影像可能由商业卫星摄制,也可能来自NASA、ESA等机构的开放数据库。
## 遥感影像的分类
## 2 遥感影像的特点
遥感影像具有覆盖面积广、波段数多、来源多样等特点。根据存储方式,可将遥感影像分为栅格数据和矢量数据两种类型;根据波段数,又可分为多光谱影像、高光谱影像等类型。本文档旨在为不具备遥感专业背景的开发者提供快速了解的途径,因此仅介绍几种常见的遥感影像类型
遥感技术具有宏观性、多波段性、周期性和经济性的特点。其中,宏观性指的是遥感平台越高,视角就越广,可以同步探测到的地面范围就越广;多波段性指的是传感器可以从紫外、可见光、近红外到微波等各个不同波段进行探测和记录信息;周期性指的是遥感卫星具有以一定周期重复获取图像的特点,可以在短时间内对同一地区进行重复观测;经济性指的是遥感技术可以作为一种获取大面积地表信息的方式,而相对不需要花费太多人力物力
### 栅格数据
遥感技术的特点决定了遥感影像具有如下特性:
1. 大尺度。一幅遥感影像能够覆盖广大的地表面积。
2. 多光谱。相比自然图像,遥感影像往往具有较多的波段数。
3. 来源丰富。不同传感器、不同卫星可以提供多样的数据源。
栅格是一种基于像素的数据格式,可以有效地表示连续表面。栅格中的信息存储在网格结构中,每个信息单元或像素具有相同的大小和形状,但值不同。数码照片、正射影像和卫星影像都可以这种格式存储。
## 3 栅格影像的定义与遥感影像成像原理
栅格格式非常适合用于查看空间和时间变化的分析,因为每个数据值都有一个基于网格的可访问位置。这使我们能够访问两个或多个不同栅格中的相同地理位置并比较它们的值
为介绍遥感影像的成像原理,首先需要引入栅格的概念。栅格是一种基于像素的数据格式,可以有效地表示连续表面。栅格中的信息存储在网格结构中,每个信息单元或像素具有相同的大小和形状,但值不同。数码照片、正射影像和卫星影像都可以这种格式存储
当地球观测卫星拍摄照片时,传感器会读取并记录从沿电磁光谱的波长收集的反射率值,并利用反射率计算各个栅格像元的DN值(Digital Number),即遥感影像像元的亮度值,从而记录地物的灰度值。
栅格格式非常适合用于查看空间和时间变化的分析,因为每个数据值都有一个基于网格的可访问位置。这使我们能够访问两个或多个不同栅格中的相同地理位置并比较它们的值。
通过DN值,可以反求地物的辐照率和反射率。它们之间的关系如以下公式所示,其中$gain$和$bias$分别指传感器的增益和偏移;$L$是辐射率,也称为辐射亮度值;$\rho$是地物反射率;$d_{s}$、$E_{0}$和$\theta$分别表示日地天文单位距离、太阳辐照度以及太阳天顶角。
当地球观测卫星拍摄照片时,传感器会记录不同波长电磁波在栅格像元中的DN值(Digital Number)。通过DN值,可以反求地物的辐照率和反射率。它们之间的关系如以下公式所示,其中$gain$和$bias$分别指传感器的增益和偏移;$L$是辐射率,也称为辐射亮度值;$\rho$是地物反射率;$d_{s}$、$E_{0}$和$\theta$分别表示日地天文单位距离、太阳辐照度以及太阳天顶角。
$$
L = gain * DN + bias \\
@ -29,7 +34,11 @@ $$
电磁波谱范围很广,使用一个传感器同时收集所有波长的信息是不切实际的。在实际中,不同的传感器优先考虑从不同波长的光谱收集信息。由传感器捕获和分类的频谱的每个部分都被归类为一个信息带。信息带的大小各不相同,可以编译成不同类型的合成影像,每幅合成影像都强调不同的物理特性。同时,大多数遥感影像都为16位的图像,与传统的8位图像不同,它能表示更精细的光谱信息。
#### RGB影像
## 4 遥感影像的分类
遥感影像具有覆盖面积广、波段数多、来源丰富等特点,其分类方式也十分多样。例如,根据空间分辨率,可将遥感影像分为低分辨率遥感影像、中分辨率遥感影像、高分辨率遥感影像等;根据波段数,又可分为多光谱影像、高光谱影像、全色影像等类型。本文档旨在为不具备遥感专业背景的开发者提供快速了解的途径,因此仅介绍几种常见的遥感影像类型。
### 4.1 RGB影像
RGB影像与生活中常见的自然图像类似,其中显示的地物特征也符合人类的视觉常识(如树是绿色的、水泥是灰色的等),三个通道分别表示红、绿和蓝。下图展示了一幅RGB遥感影像:
@ -37,7 +46,7 @@ RGB影像与生活中常见的自然图像类似,其中显示的地物特征
由于当前大多数CV任务的处理流程都是基于自然图像设计的,因此RGB类型的遥感数据集在CV领域使用较多。
#### MSI/HSI影像
### 4.2 MSI/HSI影像
MSI(Multispectral Image,多光谱影像)和HSI(Hyperspectral Image,高光谱影像)通常包括数个到数百个不等的波段,二者以不同的光谱分辨率(*光谱分辨率是指传感器所能记录的电磁波谱中某一特定的波长范围值,波长范围值越宽,则光谱分辨率越低*)进行区分。通常光谱分辨率在波长的1/10数量级范围内称为多光谱。MSI的波段数相对HSI较少,谱带较宽,空间分辨率较高;而HSI的波段数较多,谱带较窄,光谱分辨率较高。
@ -61,7 +70,7 @@ MSI(Multispectral Image,多光谱影像)和HSI(Hyperspectral Image,高
MSI/HSI包含的波段数量可能较多。一方面,并不是所有波段都适用于待处理的任务;另一方面,过多的波段数可能带来沉重的资源负担。在实际应用中,可以根据需求选用MSI/HSI的部分波段完成任务,也可以使用如PCA、小波变换等方法对MSI/HSI进行降维处理,以减少冗余,节省计算资源。
#### SAR影像
### 4.3 SAR影像
SAR(Synthetic Aperture Radar)指的是主动式侧视雷达系统。SAR的成像几何属于斜距投影类型,因此SAR影像与光学影像在成像机理、几何特征、辐射特征等方面都有较大的区别。
@ -71,10 +80,31 @@ SAR(Synthetic Aperture Radar)指的是主动式侧视雷达系统。SAR的
由于SAR影像的特殊成像机理,其分辨率相对较低,信噪比也较低,所以SAR影像中所包含的振幅信息远达不到光学影像的成像水平。这也是为什么SAR影像在CV领域中的应用较少。目前,SAR影像被主要用于基于相位信息的沉降检测反演、三维重建等。值得一提的是,由于SAR的波长较长,具有一定的云层和地表穿透能力,因此在部分应用场景中有其独特的优势。
#### RGBD影像
### 4.4 RGBD影像
RGBD影像与RGB影像的区别在于多了一个D通道,即深度(depth)。深度影像类似于灰度图像,只是其中的每个像素值代表的是传感器距离物体的实际距离。通常RGBD影像中的RGB数据和深度数据是相互配准的。如下图所示为无人机航摄的RGBD影像,其中可以看出建筑物与地面之间的相对高度。
![rgbd](../images/rgbd.jpg)
深度影像提供了RGB影像所不具有的高度信息,能够在某些下游任务中对一些光谱特征相似的地物起到一定的区分作用。
## 5 遥感影像的预处理
相比自然图像,遥感影像的预处理过程十分繁琐。具体而言,主要可分为以下步骤:
1. **辐射定标**:将DN值转化为辐射亮度值或者反射率等物理量。
2. **大气校正**:消除由大气影响所造成的辐射误差,反演地物真实的表面反射率。该步骤与辐射定标合称为**辐射校正**。
3. **正射校正**:对影像同时进行倾斜改正和投影差改正,将影像重采样为正射影像。
4. **影像配准**:将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅影像进行匹配、叠加。
5. **影像融合**:将多源信道所采集到的关于同一目标的影像数据综合成高质量影像。
6. **影像裁剪**:将大幅遥感影像裁剪为小块,提取感兴趣区域。
7. **定义投影**:对数据定义投影信息(地理坐标系)。
需要说明的是,在实际应用中,上述的步骤并不都是必须的,可根据需要选择性地执行其中某些步骤。
## 参考资料
- [Remote sensing in Wikipedia](https://en.wikipedia.org/wiki/Remote_sensing)
- [宁津生等 《测绘学概论》](https://book.douban.com/subject/3116967/)
- [孙家抦 《遥感原理与应用》](https://book.douban.com/subject/3826668/)
- [遥感影像预处理步骤](https://blog.csdn.net/qq_35093027/article/details/119808941)

@ -1,41 +0,0 @@
# 遥感数据集
遥感影像的格式多种多样,不同传感器产生的数据格式也可能不同。PaddleRS至少兼容以下6种格式图片读取:
- `tif`
- `png`, `jpeg`, `bmp`
- `img`
- `npy`
标注图要求必须为单通道的png格式图像,像素值即为对应的类别,像素标注类别需要从0开始递增。例如0,1,2,3表示有4种类别,255用于指定不参与训练和评估的像素,标注类别最多为256类。
## L8 SPARCS数据集
[L8 SPARCS公开数据集](https://www.usgs.gov/land-resources/nli/landsat/spatial-procedures-automated-removal-cloud-and-shadow-sparcs-validation)进行云雪分割,该数据集包含80张卫星影像,涵盖10个波段。原始标注图片包含7个类别,分别是`cloud`, `cloud shadow`, `shadow over water`, `snow/ice`, `water`, `land`和`flooded`。由于`flooded`和`shadow over water`2个类别占比仅为`1.8%`和`0.24%`,我们将其进行合并,`flooded`归为`land`,`shadow over water`归为`shadow`,合并后标注包含5个类别。
数值、类别、颜色对应表:
|Pixel value|Class|Color|
|---|---|---|
|0|cloud|white|
|1|shadow|black|
|2|snow/ice|cyan|
|3|water|blue|
|4|land|grey|
<p align="center">
<img src="./images/dataset.jpg" align="middle"
</p>
<p align='center'>
L8 SPARCS数据集示例
</p>
执行以下命令下载并解压经过类别合并后的数据集:
```shell script
mkdir dataset && cd dataset
wget https://paddleseg.bj.bcebos.com/dataset/remote_sensing_seg.zip
unzip remote_sensing_seg.zip
cd ..
```
其中`data`目录存放遥感影像,`data_vis`目录存放彩色合成预览图,`mask`目录存放标注图。

@ -1,6 +1,6 @@
# 飞桨训推一体全流程(TIPC)
## 1. 简介
## 1 简介
飞桨除了基本的模型训练和预测,还提供了支持多端多平台的高性能推理部署工具。本文档提供了飞桨训推一体全流程(Training and Inference Pipeline Criterion(TIPC))信息和测试工具,方便用户查阅每种模型的训练推理部署打通情况,并可以进行一键测试。
@ -8,7 +8,7 @@
<img src="docs/overview.png" width="1000">
</div>
## 2. 汇总信息
## 2 汇总信息
打通情况汇总如下,已填写的部分表示可以使用本工具进行一键测试,未填写的表示正在支持中。
@ -28,7 +28,7 @@
| 图像分割 | UNet | 支持 | - | - | - |
## 3. 测试工具简介
## 3 测试工具简介
### 3.1 目录介绍
@ -50,7 +50,7 @@ test_tipc
使用本工具,可以测试不同功能的支持情况。测试过程包含:
1. 准备数据与环境
1. 准备数据与环境
2. 运行测试脚本,观察不同配置是否运行成功。
<a name="3.3"></a>

@ -2,7 +2,7 @@
Linux GPU/CPU 基础训练推理测试的主程序为`test_train_inference_python.sh`,可以测试基于Python的模型训练、评估、推理等基本功能。
## 1. 测试结论汇总
## 1 测试结论汇总
- 训练相关:
@ -23,7 +23,7 @@ Linux GPU/CPU 基础训练推理测试的主程序为`test_train_inference_pytho
| 图像分割 | UNet | 支持 | 支持 | 1 |
## 2. 测试流程
## 2 测试流程
### 2.1 环境配置

Loading…
Cancel
Save