随着人工智能技术的发展及生物图像数据的快速积累，利用深度学习技术与物种图像大数据构建生物自动识别模型已经成为生物多样性领域重要的研究方向之一。但是，仅基于图像（image-only）的深度学习技术很难突破因物种图像数量分布不均衡及物种外观形态相似引起的模型性能瓶颈。生物多样性信息学研究组针对这一研究难题，充分考虑物种识别与普通物品图像识别之间差异，提出以物种分布数据和图像数据为基础，构建生态位特征与图像特征相结合的联合深度学习模型NicheNet。
　　NicheNet采用生态位模型求解物种分布的先验概率，然后利用ResNet深度学习方法对特定地点采集的图像进行图像识别。假设S为物种集合，且 s=1,…,S.对于带有采集地信息(x,y)的输入的图像I，其被识别为物种s的概率可以定义为：

　　其中，PN_s是通过生态位模型预测物种s出现在 (x,y)附近区域的概率；PI_s是图像I被深度学习模型识别为物种s的概率；那么，PNN_s就是这两种模型的联合概率，可以解释为物种s分布在 (x,y)附近区域且通过图像识别为s的概率。本研究以中国鸟类作为实例，通过将NicheNet与仅基于图像的模型相比较，其整体识别准确率有显著提升（top-1准确率提升7.73%），在不平衡数据集上的表现也显著优于仅基于图像的模型。
　　本研究的另外一项创新点是首次提出“邻近错误率”指标即图像被识别为相近物种的错误率，用以评估识别模型对形态相似物种的识别能力。研究表明，NicheNet在识别形态相似的物种上也显著优于仅基于图像的模型。
　　本研究以“Learning niche features to improve image-based species identification”为题发表在Ecological Informatics（https://doi.org/10.1016/j.ecoinf.2021.101217），林聪田博士为第一作者，纪力强研究员为通讯作者。本研究得到中国科学院A类先导专项“地球大数据科学工程”（XDA19050202）及中国科学院信息化专项“科学大数据工程”（XXH13505-03-593102）的支持。

NicheNet联合模型框架

NicheNet与Image-only模型在识别不同物种的F1-Score指标比较
（a）ResNet和NicheNet在不同物种上的F1-Score都随着图像数量增多而增加；后者的F1-Score曲线基本上都在前者上方，统计表明NicheNet对ResNet的提升具有显著性，平均提升15.3%，T检验显著：p-value: 3.052e-16 < 0.001。（b）NicheNet的F1-Score增长累积曲线：50%的增长量来自12.5%的图像，反映NicheNet在较少图像数据上的识别性能优异。

（a）两种模型在62个物种上的邻近种错误率的差异：NicheNet显著降低了image-only模型的邻近种错误率，平均减少8.5%，T检验显著（p-value= 6.476e-08 < 0.001）。（b）两种模型的邻近属错误率：NicheNet降低了image-only模型的邻近属错误率，相比邻近种错误率其下降的幅度较小，平均减少4.4%，但T检验表明依然显著（p-value=0.0012 < 0.01）。

附件下载：