081200|计算机科学与技术专业硕士研究生指导教师ClickNum:360
姓名冯志全性别男
民族汉族出生年月1964-6
学历|学位研究生|博士专业技术职务教授
行政职务
联系电话**移动电话**
邮箱ise_fengzq@ujn.edu.cn
通讯地址 | 邮编山东省济南市南辛庄西路336号济南大学信息科学与工程学院 | 250022
招生方向(领域)02计算机应用技术,03计算机软件与理论
研究领域、学习工作经历、学术兼职等情况冯志全，博士，教授，硕士生导师，优秀教师，师德标兵，山东高等学校优秀共产党员，校级A3教授岗，人机交互与虚拟现实方向学科带头人，山东省网络环境智能计算技术重点实验室常务副主任，《计算机应用》《中国图形图像学报》等期刊审稿人、国际期刊《The Open Virtual Reality Journal》和国内期刊《工程图学学报》编委，四川省绵阳师范学院客座教授，ACM SIGCHI专委会委员，计算机图学专委会委员。

主持多个国家自然科学基金、山东省自然科学基金重点、山东各省自然科学基金、教育厅科技计划以及青岛海信等知名企业项目，发表专业论文100余篇，被SCI/EI收录80多篇，其中，多篇论文在《Pattern Recognition》、《The Visual Computer》、《计算机学报》、《软件学报》、《计算机研究与发展》等国际国内顶级期刊上发表。此外，获得山东省优秀科研成果奖一等奖3项，其它奖励2项，教学奖励3项，主编教材1部；获得多项国家发明专利；出版专著2部。

主要研究方向：智能感知与自然交互。




代表性科研成果及奖励：
（包括项目、鉴定、论文、专著、专利等)（1）总体情况

近五年连续主持四项国家自然科学基金项目，一项山东省自然科学基金重点项目，一项山东省自然科学基金和一项教育厅科技计划项目等，并参与山东省省自然科学基金，发表专业论文50余篇，被SCI/EI收录40多篇，其中，多篇论文在《Pattern Recognition》、《The Visual Computer》、《计算机学报》、《软件学报》、《计算机研究与发展》等国际国内顶级期刊上发表。此外，获得山东省优秀科研成果奖一等奖3项，其它奖励2项，教学奖励3项，主编教材1部；获得多项国家发明专利。近5年内主持主要项目：


1．面向实时性和鲁棒性的自然人手粒子滤波跟踪方法研究(2008.1-2008.12)，国家自然科学基金(项目编号：**)，项目主持

2．虚拟样机人机交互界面设计中自然人手的跟踪方法研究(2007.12-2010.12)，山东省自然科学基金（Y2007G39），项目主持

3．基于认知心理学的自然人手状态采样方法及其在运动跟踪中的应用研究(2007.12-2009.12)，山东省教育厅科技计划项目(J07YJ18)，项目主持

4．基于Monte Carlo方法的人手跟踪方法研究(2007.12-2010.12)，济南大学博士科研启动基金（XBS0705），项目主持

5．面向人手三维跟踪的粒子滤波器中的实时性和鲁棒性问题研究(2010.1-2012.12)，国家自然科学基金(项目编号：**)，项目主持

6. 基于认知机理和手势动画的三维人机交互界面研究(2012.01-2015.12), 国家自然科学基金(项目编号：**)，项目主持.

7. 面向自然人手跟踪的3D人机交互界面中的关键问题研究（2012.01-2014.12）,山东省自然科学基金重点项目（项目编号：ZR2011FZ003），项目主持。

8. 自动化与工厂一体化教学系统（2012.2-2012.12）.山东星科智能科技有限公司(**)，校企合作项目。

9. 手势交互关键技术及其在智能电视中的应用（2013.10-2014.10）, 海信集团有限公司.


10. 手势驱动的直接操纵3D人机交互界面中的透明性模型和算法研究（2015.01-2018.12）, 国家自然科学基金（项目编号：**），项目主持。

（2）具体情况

（一）研究特色

（1）以山东星科虚拟装配、青岛海信智能交互式智能电视作为应用背景。（2）研究认知行为模型、认知信息、关注分布等与关键科学问题之间的联系规律或机理。（3）将模型、算法和原型系统相结合。（4）以用户交互意图的捕获为切入点，突出原创性研究，追求深度和高度。

（二）原创性工作

（1）提出“虚跟踪”的概念以及面向数据库的原子模型检索和重映射算法，既克服了手势运动速度瓶颈的限制，又不影响交互任务的完成和操作者的心理感知。（2）提出操作者手势随时间和任务而变化的注意分布图，并用数学形式进行描述，为手势“虚跟踪”算法和“实跟踪”算法及其它们之间的融合提供依据。（3）通过对认知信息进行提取、拓展和分类，企图解决人机交互界面研究领域中的一系列理论问题和实践问题：把操作者、认知环境和认知任务联系起来的方式；把跟踪、识别和交互联系起来的方式；在3D界面中用统一的模型和方法“抓取”不同尺寸和形状的物体；在单通道条件下用户以一种统一的模式自然、自由、高效地选择其想要的选择。（4）把行为模型中状态变量微观结构分为不同层次，使得操作者的手势可以不同程度地收到行为模型的制约。（5）集成关键模型和算法，实现了虚拟装配、游戏等多个应用原型系统。

（三）标志性成果

标志性成果包括：

【1】 首次用局部运动模型间的关联性描述用户手势的行为模型，实现了用户行为模型的鲁棒性描述；首次实现了认知信息的提取、表达和分类，将其与认知信息相融合，构建了行为模型；揭示了用行为模型指导手势跟踪和交互的机理和算法。在跟踪精度、时间开销以及用户体验等方面得到明显改善。该成果在国际期刊《Pattern Recognition》上发表。

【2】 提出了一种新的认知行为模型（PAMT模型），从认知角度对PAMT模型进行分析和解释，利用局部运动模型之间的关联关系对PAMT模型中的“吸引子”进行描述。利用PAMT模型，能够有效降低维度，实现三维手势的实时跟踪。该成果在国际期刊《Chinese Journal of Electronics》上发表。

【3】 提出一种简单、自满足用户愉悦体验的三维手势初始化方法。结合操作者和计算机之间的交互技术以及三维模型的实时可视化技术，克服了现有方法的呆板僵化、低效率等不足之处。算法的初始化结果精度高、鲁棒性强，初始化过程直观、自然、方便。该成果在国际期刊《Chinese Journal of Electronics》上发表。

【4】 提出了一种新的行为模型（TPTM行为模型），并提出了用它指导三维手势跟踪的算法，改进了采样方法和样本数量。该成果在国际期刊《Journal of Computers & ElectricalEngineering (CAEE)》上发表。

【5】 针对自然手势单通道条件下建立统一交互模型的难点问题和关键问题， 提出一种基于二级行为模型的3D手势跟踪和交互方法，实现了一种基于自然手势的直接操作型3D人机交互界面范式原型系统。建立了基本手势库的二级行为模型； 用“令牌环”技术捕捉用户的交互意图；建立“多选一”的交互模型；用“替身”技术解决人手模型与不同物体的抓取过程中的多样性和复杂性问题，建立了抓取和释放操作的统一范式并提出了相关算法。该成果在《计算机学报》上发表。

【6】 以行为分析和建模为切入点，提出一种新的手势跟踪方法。首先，分析操作者在手势操作过程中的行为特征，建立人手运动的动态模型。其次，研究动态模型的基本特征，并给出一种描述方法。然后，建立人手运动的时段模型，分析了手势状态的时间-空间关系。在此基础上，提出了状态变量微观结构的概念，重点给出了基于状态变量微观结构的手势跟踪算法。提出的核心算法已经用于一个基于自然手势交互的三维虚拟装配原型系统。该成果在《软件学报》上发表。

【7】 首次研究了用户对三维手势模型的视觉关注分布规律，为三维手势跟踪算法的研究提供了新的认知依据。对比实验表明，利用分布规律可以有效地提高30%的手势交互速度和跟踪精度。以手势运动的行为模型作为切入点，揭示手势图像面积变化与手势运动速度之间的关系，为进一步捕捉用户的交互意图打下了基础。针对目前手势识别方法受旋转、平移、缩放的影响，提出基于空间手势坐标点分布特征（HCDF）和类-Hausdorff距离模板匹配的手势识别方法，识别率达到96%以上，实现了手势动画的高效检索。

【8】 取得发明专利1项，出版专著2部，获得厅级奖励1项，取得软件著作权登记11项。

（四）应用情况

本项目已经与青岛海信集团展开技术合作，且已经引起山东星科集团有限公司的合作兴趣。

（3）研究方向介绍

研究方向：自然交互与虚拟现实

学术带头人姓名：冯志全 教授

教授人数：2

副教授人数：3

有博士学位人数：3



1. 总体简介

从上世纪的桌面计算时代转变为新世纪的普适计算时代，“以人为中心的信息社会”与“和谐人机环境”等相关研究也应运而生，并成为当前信息领域的新的发展方向和研究热点。为此，研究新一代的自然和谐的人机交互理论和技术，发展和应用以用户为中心的设计方法，从而保证普适计算时代的信息技术能够创造和谐的人机环境，使全体公民都能分享信息技术发展的成果，是21世纪人类社会需要解决的重大课题。

近5年来，本团队方向得到5个国家自然科学基金、1个山东省自然科学基金重点项目、2项山东省自然科学基金以及多个厅部级项目的资助，还与青岛海信集团等知名企业展开深度合作，在Pattern Recognition (PR)、Chinese Journal of Electronics (CJE)等期刊上发表SCI论文10余篇，在《计算机学报》、《软件学报》等EI期刊上发表期刊论文100余篇，在重要国际学术会议上发表国际会议论文50余篇，获授权多项发明专利、软件著作权登记，获得多项山东省高等学校优秀科研成果奖。出版专著2部。

本团队核心成员：李金屏，尹建芹，唐好魁，韩延彬，徐涛，吕娜，王世贤，蒋彦，夏英杰。

2. 研究特色

（1）以青岛海信智能交互式智能电视作为应用背景。（2）研究认知行为模型、认知信息、关注分布等与关键科学问题之间的联系规律或机理。（3）将模型、算法和原型系统相结合。（4）以用户交互意图的捕获为切入点，突出原创性研究，追求深度和高度。

3. 原创性工作

（1）提出“虚跟踪”的概念以及面向数据库的原子模型检索和重映射算法，既克服了手势运动速度瓶颈的限制，又不影响交互任务的完成和操作者的心理感知。（2）提出操作者手势随时间和任务而变化的注意分布图，并用数学形式进行描述，为手势“虚跟踪”算法和“实跟踪”算法及其它们之间的融合提供依据。（3）通过对认知信息进行提取、拓展和分类，企图解决人机交互界面研究领域中的一系列理论问题和实践问题：把操作者、认知环境和认知任务联系起来的方式；把跟踪、识别和交互联系起来的方式；在3D界面中用统一的模型和方法“抓取”不同尺寸和形状的物体；在单通道条件下用户以一种统一的模式自然、自由、高效地选择其想要的选择。（4）把行为模型中状态变量微观结构分为不同层次，使得操作者的手势可以不同程度地收到行为模型的制约。（5）集成关键模型和算法，实现了虚拟装配、游戏等多个应用原型系统。

4. 研究规划

项目组将进一步以基于视频手势输入的交互界面中的自然交互为切入点和突破口，以智能感知和普适计算为学术内涵，围绕以自然交互界面为中心的关键科学问题开展原创性研究，揭示自然交互的认知机理，从新的角度系统性地诠释“自然交互”的本质，构建模型和算法，提出并实现自然交互界面范式，并在基于视频手势输入的交互式3D智能数字电视平台或3D移动平台上实现应用原型系统。

项目组将以山东省网络环境智能计算技术重点实验室为依托、 以建设智能山东为契机、以已有工作和国际前沿研究成果为基础、以服务于国民经济建设为主要目标、以综合型和立体型研究为主要特色、以理论创新和应用创新为主要途径，坚持学术追求，培养高水平创新型人才，发奋图强，只争朝夕，为本省地方经济的建设和发展、为培养和造就高水平人才做出应有的贡献！







































教学及研究生培养情况所在团队已经成长为济南大学学科方向团队重点建设项目，三名教师正在攻读博士学位；资助教师参加国内外会议达到10余人次。培养研究生11名，已经毕业6名，其中，1名应届毕业研究生于2012年考上山东大学计算机科学与技术学院的孟祥旭教授的博士研究生。具体情况见表1：



表 研究生培养情况



研究生姓名

研究方向

论文题目

导师姓名

已答辩或预期答辩年月
宋晓娜

人机交互

基于认知模型的运动人手三维跟踪方法研究

杨波，冯志全

2010.5毕业
许婷

人机交互

基于行为分析的运动人手跟踪方法研究

冯志全

2011..5毕业
朱德良

人机交互

基于交互分析的人手三维跟踪方法研究

冯志全

2011..5毕业
林燕

人机交互

基于融合Sigma点模型的人手三维跟踪研究

冯志全

2012..5毕业
盖伟

人机交互

基于改进VLMM和手势分析的自然人手三维跟踪方法研究

冯志全

2012..5毕业
宋先惠

人机交互

基于变量间关系分析的人手三维跟踪方法研究

冯志全

2012..5毕业
尚爱丽

人机交互

基于状态变量微观结构的三维手势跟踪方法研究

冯志全

2013.5毕业
刘柄超

人机交互

手势三维跟踪中的观测似然模型研究

冯志全

2013.5毕业
闵凡文

人机交互

基于认知行为模型库的实时手势跟踪算法

冯志全

2014.5毕业
张廷芳

人机交互

基于认知行为模型的语义手势识别算法与应用研究

冯志全

2014.5毕业
宿媛媛

人机交互

基于认知信息的手势交互方法研究

冯志全

2014.5毕业
目前，冯志全教授主要讲授本科生和研究生的《人机交互技术》、《虚拟现实技术》等课程。






备注