街景图像是观测城市物质空间的一种新型的大数据源，其观测视角更接近于人，所表达的内容也更为丰富。街景图像不但详尽地描绘了城市物质空间的组成（建筑物、道路、交通设施等），同时蕴含了大量有关城市功能和社会经济属性的信息。为了量化场所间物质环境的相似度和特异度，并挖掘每个场所中最有特色的场景，课题组提出了一种基于机器学习和混淆矩阵的方法。通过分析数百万张来自于社交媒体的城市街景照片，他们计算了全球18个城市的城市景观特色程度及城市间的相似程度，挖掘出了最有城市代表性的照片（图1）。
图1 利用街景图像计算城市景观特色度与相似度，并挖掘城市最有代表性场景
街景图像所表达的城市物质空间，在很大程度上与人们在城市中行为特征相关联。如何度量城市物质空间对人们情感体验的影响，进而为城市设计和规划提供决策支持？课题组利用机器学习模型，学习了来自于全世界几万名志愿者对数十万张街景的评分结果，实现了对任意自然场景的感知评分评估。图2所示为模型对北京五环内100万张街景图片，在安全感、生机感、压抑感等六个维度的评分结果。这项工作从个体感知的角度，提供了新的视角观测城市空间的分异格局，为构建和谐、宜居环境提供方法支持。
图2 利用街景图片观测大尺度城市区域居民情感感知评价
什么样的城市物质空间会使居民产生更积极的情感体验？为了回答这一问题，首先需要对城市物质空间进行定量化表达。课题组提出了基于计算机视觉的城市街道场景要素提取和基本分类方法，从“人-地”“静-动”等多层次对场景中可能出现的64种视觉要素（建筑、车辆、植被等）进行梳理，进一步实现了对场景、街道和区域类型的分类，辅助城市物质环境的定性理解和定量分析（图3）。基于此工具，该研究不但验证了自然要素对居民情感体验的积极作用，同时发现了围墙、大规模人造地物对居民的消极作用。
图3 利用街景图片定量研究城市物质空间的基本框架
城市物质空间不但影响居民的情感体验，同时也蕴含了城市功能和居民活动等信息。但城市物质空间和社会空间之间存在多大程度的关联性，一直是有待回答的问题。课题组利用街景表达城市物质空间，设计了一种基于深度学习的模型来学习和预测每条街道上每小时居民出行的模式，发现仅仅根据街景图片，算法就可以还原65%以上的相关场所居民日出行活动的时空分布模式（图4）。该工作构建了连接物质空间与社会活动空间关系的桥梁，可以潜在地衡量建成环境与居民活动、社会经济水平发展之间的不均衡性，从而为城市设计与管理提供参考和决策支持。
图4 利用街景图片预测城市居民活动模式
刘瑜课题组长期致力于利用多源时空大数据开展分析及应用研究，提出了“社会感知（Social Sensing）”的概念。基于街景图像定量分析的系列研究，为“社会感知”提供了新的视角，将帮助我们全面研究地理环境。相关成果近日分别发表在地理信息科学、遥感、城市研究等领域重要刊物ISPRS Journal of Photogrammetry and Remote Sensing，Landscape and Urban Planning，Computers、Environment and Urban Systems，Royal Society Open Science等，张帆为论文第一作者。这一系列研究工作得到国家自然科学基金、国家重点研发计划等项目的资助。
