遥感大模型DINOv3 逐层特征可视化
遥感大模型DINOv3 逐层特征可视化
ytkz深度学习模型通常被认为是一个“黑盒”,我们知道它能够识别目标,却很难理解模型内部到底关注了哪些信息。
本文这个脚本,利用 DINOv3 ViT-Large(24层) 提取同一张图像在每一层 Transformer Block 中的特征,并生成一张 4×6 的逐层特征响应图,直观展示模型从底层纹理到高层语义的学习过程。
下面附上全部代码。
#!/usr/bin/env python3
"""
DINOv3 ViT-L 24层特征可视化
================================
可视化 DINOv3 ViT-Large(24层)每层"看到"什么,
展示从底层纹理到高层语义的逐层变化。
输出:一张 4×6 网格图,每格对应一层的特征热力图。
"""
import os, sys
import numpy as np
from PIL import Image
import torch
import torch.nn.functional as F
import timm
from timm.data import IMAGENET_DEFAULT_MEAN, IMAGENET_DEFAULT_STD
# HF mirror for China
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
import matplotlib
matplotlib.use('Agg')
import matplotlib.pyplot as plt
plt.rcParams['font.family'] = 'sans-serif'
plt.rcParams['font.sans-serif'] = ['Microsoft YaHei', 'WenQuanYi Zen Hei', 'SimHei', 'sans-serif']
plt.rcParams['axes.unicode_minus'] = False
# ─── Paths ──────────────────────────────────────────────
SCRIPT_DIR = os.path.dirname(os.path.abspath(__file__))
IMG_PATH = os.path.join(SCRIPT_DIR, 'dinov3.jpg') # 输入图像
OUTPUT_DIR = os.path.join(SCRIPT_DIR, 'output')
os.makedirs(OUTPUT_DIR, exist_ok=True)
# ─── Config ─────────────────────────────────────────────
INPUT_SIZE = 560 # 24层同时提取,560×560内存控制合理
PATCH_SIZE = 16
NUM_LAYERS = 24
DEVICE = 'cuda' if torch.cuda.is_available() else 'cpu'
# ─── 1. Load image ──────────────────────────────────────
if not os.path.exists(IMG_PATH):
print(f"[ERROR] Image not found: {IMG_PATH}")
sys.exit(1)
img_pil = Image.open(IMG_PATH).convert('RGB')
W, H = img_pil.size
print(f"Image: {W}x{H}")
# ─── 2. Load DINOv3 ViT-L ──────────────────────────────
print("Loading DINOv3 ViT-L (24 layers)...")
model = timm.create_model('vit_large_patch16_dinov3.sat493m', pretrained=True, num_classes=0)
model = model.to(DEVICE)
model.eval()
print(f"Model: DINOv3 ViT-L | {len(model.blocks)} layers | {model.embed_dim}-dim")
# ─── 3. Preprocess ─────────────────────────────────────
def preprocess(pil_img, size):
img = np.array(pil_img.resize((size, size), Image.LANCZOS))
t = torch.from_numpy(img).float().permute(2, 0, 1) / 255.0
m = torch.tensor(IMAGENET_DEFAULT_MEAN).view(1, 3, 1, 1)
s = torch.tensor(IMAGENET_DEFAULT_STD).view(1, 3, 1, 1)
return ((t.unsqueeze(0) - m) / s).to(DEVICE), img
img_t, img_np = preprocess(img_pil, INPUT_SIZE)
grid = INPUT_SIZE // PATCH_SIZE # 35×35
# ─── 4. Register hooks on ALL 24 layers ─────────────────
feature_maps = {}
def make_hook(name):
def hook(m, i, o):
feature_maps[name] = o[0].detach()
return hook
handles = []
for idx in range(NUM_LAYERS):
handles.append(model.blocks[idx].register_forward_hook(make_hook(f'block_{idx}')))
print("Extracting features from all 24 layers...")
with torch.no_grad():
_ = model.forward_features(img_t)
for h in handles:
h.remove()
print(f"Captured {len(feature_maps)} layers")
# ─── 5. Layer descriptions ──────────────────────────────
layer_labels = {
0: "Layer 0\n边缘/颜色检测",
1: "Layer 1\n局部纹理",
2: "Layer 2\n简单模式",
3: "Layer 3\n重复纹理",
4: "Layer 4\n方向性纹理",
5: "Layer 5\n局部形状",
6: "Layer 6\n部件线索",
7: "Layer 7\n简单部件",
8: "Layer 8\n部件轮廓",
9: "Layer 9\n中等部件",
10: "Layer 10\n部件组合",
11: "Layer 11\n语义部件",
12: "Layer 12\n目标局部",
13: "Layer 13\n目标片段",
14: "Layer 14\n目标聚焦",
15: "Layer 15\n目标检测",
16: "Layer 16\n语义区域",
17: "Layer 17\n类别区分",
18: "Layer 18\n目标边界",
19: "Layer 19\n语义分割",
20: "Layer 20\n上下文理解",
21: "Layer 21\n全局关系",
22: "Layer 22\n抽象语义",
23: "Layer 23\n高层概念",
}
# ─── 6. Visualize all 24 layers (4×6 grid) ────────────
print("Generating 4×6 grid visualization...")
fig, axes = plt.subplots(4, 6, figsize=(24, 16))
for idx in range(NUM_LAYERS):
row, col = idx // 6, idx % 6
ax = axes[row, col]
feat = feature_maps[f'block_{idx}']
patches = feat[5:] # drop cls token
acts = patches.norm(dim=1).cpu().numpy().reshape(grid, grid)
# Upsample to input size for overlay
acts_t = torch.from_numpy(acts).float().unsqueeze(0).unsqueeze(0)
acts_up = F.interpolate(acts_t, size=(INPUT_SIZE, INPUT_SIZE), mode='bilinear')[0, 0].numpy()
acts_norm = (acts_up - acts_up.min()) / (acts_up.max() - acts_up.min() + 1e-8)
ax.imshow(img_np, alpha=0.4)
im = ax.imshow(acts_norm, cmap='jet', alpha=0.6)
ax.set_title(layer_labels[idx], fontsize=9, fontweight='bold')
ax.axis('off')
# Add a shared colorbar
fig.subplots_adjust(right=0.92)
cbar_ax = fig.add_axes([0.93, 0.15, 0.01, 0.7])
fig.colorbar(im, cax=cbar_ax, label='特征响应强度')
plt.suptitle(f'DINOv3 ViT-L (24层) 逐层特征可视化 — 从边缘到语义', fontsize=16, fontweight='bold', y=0.98)
save_path = os.path.join(OUTPUT_DIR, 'dinov3_24layers.png')
plt.savefig(save_path, dpi=180, bbox_inches='tight')
plt.close()
print(f"\nDone! Saved to: {save_path}")
# ─── 7. Print layer summary ────────────────────────────
print("\n" + "="*60)
print("DINOv3 ViT-L 24层语义层级概要")
print("="*60)
stages = [
(0, 4, "浅层:边缘、纹理、颜色", "检测局部梯度方向、重复纹理模式、色彩边界"),
(5, 10, "中浅层:部件、模式", "形成简单形状(角、弧线)、组合为局部部件"),
(11, 15, "中深层:目标、语义", "识别目标局部→完整目标、开始区分类别"),
(16, 20, "深层:类别、上下文", "目标级语义、背景与前景分离、场景理解"),
(21, 23, "最深层:抽象、关系", "目标间关系、全局场景抽象、高层概念"),
]
for start, end, title, desc in stages:
print(f"\n Layer {start}–{end} | {title}")
print(f" {desc}")
print("\n 越深层的特征越适合分类和语义理解")
print(" 中层特征(Layer 11-15)最适合目标检测")
print(" 浅层特征(Layer 3-7)适合纹理分析和精细分割")
print("="*60)
运行以上代码,
输入图像是下图,在代码中是dinov3.jpg:
输出结果是:
整个流程可以分为五个步骤:
首先,脚本读取输入图片,并按照 DINOv3 的要求完成缩放、归一化等预处理,将图像转换为模型输入。
随后加载 DINOv3 ViT-Large 预训练模型,并利用 Forward Hook 在全部 24 个 Transformer Block 上注册特征提取接口。这样,模型前向推理一次,就能够同时获得每一层的输出,而无需重复计算。
得到各层特征后,脚本计算每个 Patch 特征向量的 L2 范数(Feature Norm),将其作为该位置的响应强度。再通过双线性插值恢复到原图大小,并以热力图形式叠加到原始影像上,从而得到每一层的注意力分布。
最后,程序按照 4×6 网格 输出全部 24 层的可视化结果,并结合不同层级的功能,对各层进行语义解释。例如:
- 第 0~4 层主要关注边缘、颜色和纹理;
- 第 5~10 层开始学习局部形状和目标部件;
- 第 11~15 层逐渐形成完整目标语义,是目标检测的重要特征层;
- 第 16~20 层开始理解类别和上下文关系;
- 第 21~23 层则形成全局语义和抽象概念。
从最终结果可以直观看到,DINOv3 并不是“一步识别目标”,而是经历了边缘 → 纹理 → 部件 → 目标 → 语义 → 场景理解的逐层抽象过程。
这种可视化方法不仅有助于理解 Vision Transformer 的内部工作机制,也能够帮助研究人员分析不同层特征在分类、目标检测、遥感解译以及语义分割等任务中的作用,为模型设计和特征选择提供参考。
可视化结果再放大,可以观察得更加仔细,如下:
从下图也可以说明不能只取最后四层。因为后四层丢失了太多的细节信息。
关注我,后续我再写一写怎么在低配GPU微调dnovi3的内容。







