显著性目标检测任务旨在自动定位场景中最吸引人的物体。针对显著性目标检测算法中跨模态互补特征难以充分利用和层级特征融合易丢失有用信息的问题，提出一种基于多尺度模态融合的RGB-D显著性目标检测网络(MMFNet)。该模型主要由多尺度模态增强模块和并行多层解码结构组成。多尺度模态增强模块以空洞卷积细化多模态特征，通过注意力机制融合不同感受野特征减少冗余信息。并行多层解码结构采用级联的双解码器设计，以通道注意力机制实现层级特征的自适应校准，进一步优化预测的显著图，以学习到更多的跨层级信息。在四个基准数据集上的实验表明，该网络模型在四种评价指标上优于近年来的九种先进方法，获得了优异的性能。