如果你的gdal版本是3.2.2及以上,那么只能:
from osgeo import gdal
ds = gdal.Open(data)
rows = ds.RasterYSize
cols = ds.RasterXSize
bandnum = ds.RasterCount
transform = ds.GetGeoTransform()
ds是一个对象,rows是影像的行,也是Y轴长度。对应的,cols则是影像的列,X轴的长度。bandnum代表影像的波段数。
transform是一个list,存储着栅格数据集的地理坐标信息。
#transform[0] /* top left x 左上角x坐标(经度)*/
#transform[1] /* w--e pixel resolution 东西方向上的像素分辨率*/
#transform[2] /* rotation, 0 if image is "north up" 如果北边朝上,地图的旋转角度*/
#transform[3] /* top left y 左上角y坐标(纬度)*/
#transform[4] ...
最近在处理遥感影像的矢量成果时,碰到了一个挺离谱的问题。
输入是一景 TIF 影像,输出是经过一系列后处理得到的 SHP 矢量文件。按理说,影像和矢量使用同一个坐标系,叠加起来应该严丝合缝。
结果偏偏出了问题。
在 QGIS 里检查,坐标系识别正常。换到 ArcGIS 10.2,尤其是经过重新投影等操作之后,图斑的位置就不对了。
更奇怪的是,查看坐标系信息,明明都是 EPSG:3857。
同一个坐标系,换个软件,怎么还能把位置搞错?
最开始以为是代码的问题。
是不是栅格转矢量的时候把坐标弄反了?
是不是影像的 Y 轴翻转了?
还是某个处理中间环节丢失了投影信息?
排查了一圈,最后把注意力放到了一个平时不怎么起眼的文件上:
.prj
做 GIS 开发的应该都见过 Shapefile 的这几个文件:
.shp:存储几何图形。
.shx:几何索引。
.dbf:存储属性数据。
.prj:记录坐标参考系统。
前三个比较好理解,第四个经常被忽略。我第一次熟悉它们是在几年前在学GEE的时候,想上传矢量到GEE需要把这几个文件上传,缺一不可,多一个也不可(点名shx文件)。
很多时候,我们写完 S ...
上周和同事聊天聊起来,我和他说了下我的经历,说起我学编程的这个经历,他就问我怎么学编程?
准确来说,我是在工作半年后,开始一边工作,一边自学编程。
那是我第一份工作,工作时,使用matlab比较多,但我知道python才是日后的主流。
所以我是自学python,然后用python去做一些遥感数据处理的工作。
当时AI还没那么强大,我只能一边搜索,一边打断点看变量信息。
整体来说,整个过程不算难,编程不止是编写程序,有些知识是和电脑基础知识有关的,好在我小时候混迹网吧,打游戏就打着打着就风灵月影启动,记得小时候玩冒险岛开变速齿轮…所以我对不少的电脑知识有一些了解。
那么回到今天的主题,在现在这个时代乃至这十年内,怎么学习编程?
我个人的看法是:抓住输入和输出。
这个也是我在AI编程来临之前,自学编程的思想。
我会默认,一个函数是有输入、有输出。
在python里,一切都是对象,函数是对象,类是对象,连文件也是对象。
甚至,一个文件是可以有输入、有输出。
是的哟,你写好一个py文件,在另一个py文件可以去调用第一个py文件。
实际上,函数也可以没有输入,没有输出。
比如这个:
def ad ...
上回说到我检索到一份他人已切片完成的 GID5 数据,大小约 18 GB,后续可直接使用这份现成数据,省去自行处理。
这回就说,怎么使用这个数据集进行模型训练,文字纯手打,想到什么就打字什么。
GID5 数据是一个多分类的数据,包含150张高分二号影像,被切成512×512大小的图片。标签含有5种类别(不加空白),0:建筑、1:田地、2:林地、3:草地、4:水体
所以这次我们训练的是一个多分类。鉴于我几乎没有做过多分类模型,所以本次将直接使用deeplabv3+的模型结构,重新开始训练。
代码怎么写,你去问下ai,它会告诉你怎么写。
这个时代,纯手搓写代码是不现实。
ai复制写代码也是有技巧的,这里我贴下我的提示词,你们可以参考一下,主要是描述这件事情是什么,应该怎么做,预期结果是什么,写清楚输入、输出的描述。
现在我输入一个文件夹,例如C:\\GID-5,C:\\GID-5\image 是影像,C:\\GID-5\label是标签,C:\\GID-5\image和C:\\GID-5\label都有150个文件夹,例如C:\\GID-5\image\GF2_PMS1__L1A000 ...
有人针对昨天的留意说:GID5数据集中的8bit那个版本数据本身没有问题,软件显示错误是其读取方式带来的,如果代码读取是没问题的。
本着求真的精神,严肃讨论GID5数据集8BIT是否是问题数据。
本文框架如下:1.代码读取影像,显示。
2.打断点显示第四波段。
3.对照组是代码显示16bit数据。
本次测试数据源自GID5 的GF2_PMS1__L1A0001680858-MSS1.tif
代码如下:
#!/usr/bin/env python
# -*- coding: utf-8 -*-
"""
读取两张 4 波段 TIF,各取第 2、3、4 波段作为 RGB,并排同时显示。
"""
import numpy as np
from osgeo import gdal
import matplotlib.pyplot as plt
gdal.UseExceptions()
def read_rgb(tif_path, bands=(2, 3, 4), max_size=2000, stretch=(2, 98)):
"""
读取影像并转成可以 imshow ...
GID 高分二号高分辨率土地覆盖数据集
GID 是 gaofen image dataset的缩写。
包含150张高分二号影像,被切成512×512大小的图片 标签含有5种类别(不加空白),0:建筑、1:田地、2:林地、3:草地、4:水体
来源:https://x-ytong.github.io/project/GID.html
首先下载GID-5网盘数据的只有标签文件,影像需要去另一个链接下载。
不过这点作者在readme中提到了。
在我下载完标签文件后,转头去Five-Billion-Pixels.下载对应影像文件。
Five-Billion-Pixels 不止是有影像,还有其他标签。不过我并不需要Five-Billion-Pixels.的标签,考虑到深度学习图像处理大多数是处理8bit数据,我就下载上图中的Image__8bit_NirRGB 文件夹,结果踩坑了。
因为Image__8bit_NirRGB 中的文件是存在明显错误的。
根据介绍得知,该Image__8bit_NirRGB是8bit,波段顺序是nir、R、G、B。正常情况下是我需要对这个文件进行波段重组为RG ...
上一篇我们弄明白了,任何数字图片的本质都是矩阵。
灰度图是一个矩阵,彩色图是三个矩阵叠在一起,分别记录红、绿、蓝。
但如果你打开一幅遥感影像,往往会发现它不止 3 层。
有的 4 层,有的 8 层,有的 13 层,甚至几百层。为什么卫星要这么“浪费”,拍那么多波段?难道红绿蓝还不够吗?
要回答这个问题,我们先得承认一件事:人眼其实挺“弱”的。
人眼只能看见“可见光”这一小段。光是一种电磁波,波长的范围极广。从收音机的无线电波,到微波炉的微波,到我们感觉热的红外线,再到能晒伤皮肤的紫外线,全都是“光”的亲戚。
而人眼能直接看到的,只是这中间很窄的一段,我们叫它“可见光”。
可见光里,我们又按照波长从长到短,大致分成红、绿、蓝三个区域。
手机和普通相机,就是用红绿蓝这三个通道来模拟人眼的感受,所以三个波段就够拍出一张照片。
但地表上的东西,不止是只有蓝绿红色举个例子,你看一片草地是绿色的,是因为草叶的色素强烈反射绿光,同时吸收了红和蓝。所以它那个位置的红矩阵数值小,绿矩阵数值大,蓝矩阵数值小——人脑一解读,“绿了”。
可草的“绿”只是它在可见光里的表演。
如果有一双眼睛能看见近红外 ...
让我们从最简单的东西开始:你用手机随便拍的一张照片。
把它在屏幕上放大、再放大,直到再也看不清画面内容,你看到了什么?一个个纯色的小方格,密密麻麻地排列在一起。
这些方格就是像素,是数字图像最小的组成单元。如果把每个小方格的颜色,用一个数字来代替。比如纯黑是 0,纯白是 255,中间灰就取一个中间值。那么整张图片就不再是一幅“图”,而是一张填满数字的表格。
有行、有列,按位置排列,这张数字表格,在数学里就叫矩阵。
一张灰度图,就是一个矩阵。例如一张 3×3 像素的灰度图,它的矩阵可能是:
[ 255, 128, 0 ]
[ 64, 32, 200 ]
[ 10, 240, 100 ]
你看,画面的明暗、层次,其实就是这些数字的大小在起作用。
彩色图片也并没有更高深。一张彩色图,只不过每个像素需要 3 个数字,分别控制红、绿、蓝三种颜色的强度。于是你得到了三个同样大小的矩阵。一个记红色,一个记绿色,一个记蓝色。把它们叠在一起,就是彩色图像。
数学家喜欢把这种叠在一起的矩阵叫张量,但我们暂时只需要知道:彩色图 = 三层矩阵叠起来。
遥感影像,本质上和手机照片没区别,只是更“ ...
很多人第一次接触 PyTorch 多 GPU 训练时,都会有一个非常直观的想法:
一张 GPU 训练需要 10 个小时,两张 GPU 是不是 5 个小时?四张 GPU 是不是 2.5 个小时?
理论上,好像应该如此。
毕竟 GPU 数量增加了一倍,计算能力也增加了一倍。
但是实际训练过程中,你往往会发现:
2 张 GPU 并没有快 2 倍,4 张 GPU 也没有快 4 倍。
甚至有时候,增加 GPU 后,训练速度提升非常有限。
为什么?
因为深度学习训练并不是一个“只靠 GPU 算力”的过程。
GPU 只是整个训练流水线中的一个环节。
训练模型,不只是 GPU 在工作
很多人理解训练过程时,会简单认为:
把数据丢给 GPU,然后 GPU 负责计算。
实际上,一次完整的训练迭代,背后包含很多步骤:
读取数据
↓
CPU 数据处理
↓
数据加载到内存
↓
传输到 GPU
↓
Forward 前向计算
↓
Backward 反向传播
↓
梯度同步
↓
参数更新
其中只有:
Forward
Backward
是真正消耗 ...
朋友们,今天聊点实在的。
最近在搞一个遥感分类项目,要标注几千个蔬菜大棚,正样本标“1”,负样本标“0”。本以为是个机械活,结果在QGIS或者是在arcgis里一个个点开属性表改字段,再手动跳转下一个图斑,眼睛花了不说,手指头都快练出肌肉记忆了。
实在忍不了,撸了个小插件,取名 “01标注器”,专治这种重复劳动。
它有多懒人?
选中一个图斑,按键盘 数字1 ,自动赋值为“1”(正样本)
按 数字2 → 自动赋值为“0”(负样本)
然后自动跳转到下一个图斑,顺便把地图缩放到合适大小,不用你再手动滚轮。
左右箭头还能随时前后翻看图斑,想回看修改也方便。
关键是不用再碰属性表了,选好图层和字段,所有操作都在面板上完成,快捷键一按,丝滑得像玩游戏。
缩放比例我也调过几版,一开始图斑顶满屏幕,看着憋屈;后来改成8倍边距,视野舒服多了。你要是觉得太大或太小,代码里 rect.scale() 那个数字自己改,2.0、3.0随你心意。
插件长这样
停靠在qgis的右侧,我再放大一点:
现在我的标注效率至少翻了几倍,下午一边听播客一边按1/2,几千个图斑不知不觉就搞定了。
如果你也在QGIS里 ...

