遥感大模型：综述与未来设想_应用_训练_数据

遥感大模型发展综述与未来趋势总结

深度学习虽推动遥感图像处理技术进步，显著提升精度与速度，但实际应用中存在依赖大量人工标注样本、泛化性能弱等问题。视觉基础模型与大语言模型的发展，为遥感领域引入“预训练+微调”的新范式。遥感大模型（基础模型）先在大规模数据集上进行与任务无关的预训练，再通过微调适应各类下游应用，其在语言、视觉等领域的广泛应用潜力，正获学术界关注。

基础模型关键技术涵盖模型结构、学习算法与微调。视觉基础模型如ViT、Swin-T、CoAtNet，基于Transformer架构，通过分割图像补丁、滑动窗口机制或卷积与注意力结合，提升特征提取能力。视觉-语言基础模型如CLIP、ALBEF、BLIP，通过图文双流对比、交叉注意力机制等实现多模态融合，具备零样本或少样本迁移能力。

遥感基础模型应用中，Adapter微调技术通过冻结预训练模型参数，仅调整少量任务相关层，降低计算开销，适用于图像分类、目标检测等多任务。但遥感数据复杂性（多模态差异）、图像-文本对稀缺性、视觉任务难度（类间相似性、尺度差异），限制自然图像预训练模型的直接应用。

单模态预训练模型分有监督与自监督。有监督模型如ViTAE在遥感数据集预训练后，微调可提升多任务性能；自监督模型通过生成式、对比式、预测式任务，利用未标注数据学习特征，如SimCLR、MoCo等对比学习方法。视觉-文本联合训练模型如RemoteCLIP、SkySense，通过图文对齐与多模态融合，增强遥感图像语义理解，适用于场景分类、变化检测等任务。

展开剩余74%

当前遥感大模型面临数据匮乏、模型可靠性不足、时空数据不一致、评估标准不统一等挑战🔶1-159🔶🔶1-160🔶🔶1-161🔶🔶1-162🔶🔶1-163🔶🔶1-164🔶。未来发展将聚焦构建大规模多样化数据集、应用扩散模型生成合成数据、开发多模态融合的领域特定模型、优化评估策略、强化联合学习与迁移学习应用，以推动遥感大模型在地球观测、环境监测等领域的深度应用。

以下为报告节选内容

发布于：北京市