U-Net 简介
U-Net 由 Olaf Ronneberger 等人于 2015 年提出,因其对称的 U 形架构得名。U-Net 在 ISBI 细胞追踪挑战赛中大幅超越此前方法,奠定了生物医学图像分割的标杆。
架构设计
U-Net 由三部分组成:收缩路径(编码器) 使用卷积 + 池化下采样逐步提取高维特征;扩张路径(解码器) 使用转置卷积上采样恢复空间信息;跳跃连接 将编码器的浅层高分辨率特征直接传递到解码器对应层,帮助恢复空间细节。
重要影响
U-Net 的编码器-解码器 + 跳跃连接设计被广泛迁移到各类密集预测任务中。值得注意的是,U-Net 是扩散模型中最重要的组件之一——Stable Diffusion、DALL-E 2、Imagen 等文生图模型都使用 U-Net 作为骨干网络来逐步去噪生成图像。