近日,上海交通大学电子信息与电气工程学院约翰·霍普克罗夫特计算机科学中心在计算机网络领域物联网方向取得突破性进展,研究成果MagX: Wearable, Untethered Hands Tracking with Passive Magnets(MagX: 基于永磁铁的可穿戴、无束缚的手部跟踪技术)被网络系统领域顶级会议International Conference on Mobile Computing and Networking (ACM MobiCom 2021)录用。该研究提供了一种完全不受约束的人体手部跟踪系统Mag-X。该项目由上海交通大学与密西根大学安娜堡分校共同完成,上海交通大学为第一单位,电院助理教授陈东尧为第一作者,其余主要参与者均为交大在校学生。
MobiCom由ACM SIGMOBILE赞助,致力于解决网络通信和移动计算方向的挑战性难题。该会议有非常严格的审稿过程:每篇论文在接收前要经过2轮双盲评审,之后在程序委员会再次盲审讨论后才有机会被录用。作者必须严格按照所有审稿意见对论文进行修改,在程序委员会一致同意后才正式录用论文。ACM MobiCom的论文录取率通常在15%左右,2021年全球仅录用59篇文章。
陈东尧团队
研究成果
作为身体最灵活自由的部位之一,手能够以一种自然的方式与机器以及周围的环境进行交互。精确的手部追踪技术能够通过改善交互的沉浸感来帮助提升用户体验,这在蓬勃发展的VR/AR或元宇宙(Metaverse)应用场景中是至关重要的。此外,手部动作通常与精神压力(如无意识地抓头发、摸嘴唇、咬指甲)和身体健康(洗手和摸脸)有关。许多先前的研究倾向于使用相机或IMU (Inertial Measurement Unit,惯性测量单元)传感器来追踪用户的手部运动。目前,基于相机的方法已经实现了高精度的手部分割和跟踪。然而,视线遮挡、耗能高、计算复杂度大以及隐私泄露等问题限制了这些方法在现实生活中的使用。IMU数据则存在着较严重的漂移问题,随着使用时间的增长其误差也会越来越大。
陈东尧团队及其合作者提供了一种完全不受约束的人体手部跟踪系统Mag-X,该系统利用无源磁铁和一种新型的磁感应平台实现。由于无源磁铁无需维护,因而它们可以永久地戴在用户手上,并且,系统中只有传感器需要充电,与智能手表类似。
Mag-X使用永磁铁,同时提供了一个可穿戴且不受束缚的传感模块,且该模块具有可定制的阵列尺寸和多功能外形
研究团队使用Mag-X进行了一系列实验,通过这些实验发现了一种可穿戴传感器阵列,该阵列能够独立地对两块磁铁进行毫米级精度地自由度跟踪。例如,在11厘米处,6cmX6cm的传感器阵列所对应的跟踪误差(包括位置误差和方向误差)为0.76 cm和0.11 rad,在21cm处所对应的跟踪误差为2.65 cm和0.41 rad。此外,Mag-X可以使用更大的传感器阵列来实现远距离跟踪,例如,对于27cm处的两块磁铁,9.8cm X 9.8cm的传感器阵列可以实现2.62 cm和0.55rad的跟踪性能。这种高鲁棒性的跟踪性能可以促使磁跟踪普遍应用于各种应用。最后,Mag-X可以在本地执行所有计算,并且在进行实时跟踪时只需要0.38W(传感器平台的220mW与计算单元的159mW之和)的功耗,这使得Mag-X基于典型的智能手表大小的电池即可提供全天且完全不受约束的操作。
研究团队以摸脸行为监测为例来验证Mag-X的性能。值得一提的是,人平均每小时会不自觉地摸脸23次,这会导致细菌和病毒通过粘膜进入身体从而导致葡萄球菌和其他严重的呼吸道感染(如新型冠状肺炎)。因此,检测并减少摸脸行为可以极大地限制这些疾病的传播。
Mag-X实现了全新的帽子和徽章佩戴形态。在此形态下,传感器阵列和磁体应分别置于使用者的胸前和手腕上。为了寻找指尖的位置,磁铁的北极应指向放松状态下指尖的自然朝向。通过这种方式,食指指尖的位置就可以通过磁体的位置、方向以及放松手掌的长度来近似获取。下图动态展示了徽章形态的跟踪性能。
脸部触摸跟踪展示
下图展示了脸部动作跟踪的精度,其中LC、LE、M、N、RC、RE和No来分别表示左脸颊、左眼、嘴、鼻、右脸颊、右眼和无触碰。
Mag-X的精度数据
Mag-X还可以用于其他多种应用场景,来弥补传统的“视觉+机器学习”解决方案的显著不足。例如增强现实(AR)应用中,使用者可以佩戴Mag-X在黑夜或视线受遮挡的情况下依然实现精准的手部动作跟踪。
AR手部跟踪展示
教师名片
陈东尧,中心助理教授。他在美国密西根大学安娜堡分校计算机科学与工程系获得博士学位,导师是Kang G. Shin教授。研究领域主要为物联网(IoT)系统和安全,探索机器学习与现实生活的结合。其研究成果的主要应用场景是下一代智慧交通与医疗,其中汽车+IoT相关研究已经在现实生活中得到了应用并积累了接近10000公里的真实世界驾驶数据。他在国际顶级学术会议如MobiCom, MobiSys,CCS,UbiComp,以及CoNEXT上发表过多篇论文。同时,他也担任国际知名会议和期刊如UbiComp,ICCPS,IEEE Transactions on Mobile Computing,Service Computing, Vehicular Technology,以及ACM Transactions on Privacy and Security的审稿人。
删除或更新信息,请邮件至freekaoyan#163.com(#换成@)
上海交大陈东尧团队在网络系统领域顶会中发表研究成果
本站小编 Free考研考试/2022-02-12
相关话题/传感器 系统 论文 计算 上海交通大学
上海交通大学林秋宁、周广东等构建秒级固化、高强度、高粘附水凝胶实现关节镜水压环境下软骨修复
近期,上海交通大学生物医学工程学院林秋宁研究员、上海交通大学附属第九人民医院周广东研究员联合设计了一种超快、高强、强粘的杂化光交联(HybridPhoto-Crosslinking)水凝胶技术。该水凝胶技术能够满足关节镜手术实施软骨缺损修复的苛刻要求,即在水压环境下实现光固化操作。通过该技术构建水凝 ...上海交通大学通知公告 本站小编 Free考研考试 2022-02-12李政道研究所在国际顶级期刊发表关于大动量有效理论的综述论文
近日,国际顶级学术期刊《现代物理评论》(ReviewsofModernPhysics)发表了季向东、刘乙庄、刘于圣等****以李政道研究所署名的题为Large-MomentumEffectiveTheory(大动量有效理论,简称LaMET)的综述性论文(Rev.Mod.Phys.93(2021)03 ...上海交通大学通知公告 本站小编 Free考研考试 2022-02-12上海交大李金金团队在《Physics Reports》发表量子计算和机器学习综述
近日,电子信息与电气工程学院微纳电子学系李金金团队在物理学顶级期刊《PhysicsReports》上发表了题为《Machinelearningacceleratesquantummechanicspredictionsofmolecularcrystals》(机器学习加速分子晶体的量子力学预测)的综 ...上海交通大学通知公告 本站小编 Free考研考试 2022-02-12从横场伊辛链到量子E8可积模型: 李政道研究所吴建达团队在一维量子可积系统的研究中取得重要进展
近日,上海交通大学李政道研究所李政道****吴建达的理论团队,中国人民大学于伟强教授核磁共振实验团队与上海交通大学物理与天文学院的马杰教授中子散射实验团队共同合作,在国际权威物理学期刊《物理评论快报》上,以“E8SpectraofQuasi-one-dimensionalAntiferromagne ...上海交通大学通知公告 本站小编 Free考研考试 2022-02-12李万万研究员团队在《Advanced Materials》发表体外诊断领域功能微纳米材料研究综述论文
多因子生物检测,即在复杂生物样本中同时检测一系列目标物,对于分析生物反应和过程、疾病诊断等方面都比单因子检测有着明显的优势,并对人类健康问题和生命科学的发展有着重要意义。而针对目前多因子检测领域还存在的一些关键性的问题,例如如何增加可分辨的信号数量用于待测物编码、如何提高整个体系的检测性能以满足所有 ...上海交通大学通知公告 本站小编 Free考研考试 2022-02-12上海交大系统生物医学研究院张延团队和严威团队合作开发质谱检测新策略深度解析阿尔兹海默症相关糖蛋白APP的糖基化
阿尔兹海默症(Alzheimer’sdiseases,AD)是最常见的一种神经退行性疾病,临床表现为渐进性记忆损伤,认知功能障碍,语言障碍等精神症状。我国现有1000多万AD患者,是世界上患者数量最多的国家。且随着人口老龄化,这个数字还在急剧增加,据预测到2050年中国AD患病人数将超过4000万, ...上海交通大学通知公告 本站小编 Free考研考试 2022-02-12上海交大海洋学院曹玲关于海洋水产品未来前景的研究成果入选ESI高被引论文和热点论文
近日,据WebofScience的“基本科学指标数据库(EssentialScienceIndicators,简称ESI)”2021年5月和7月更新数据显示,我院曹玲老师以共同通讯作者在国际顶级期刊《Nature》发表的研究论文“Thefutureoffoodfromthesea”入选ESI高被引论 ...上海交通大学通知公告 本站小编 Free考研考试 2022-02-12上海交通大学氢科学中心在氢医学领域取得一系列研究进展
上海交通大学氢科学中心在“氢能源、氢医学和氢农学”三个研究方向上携手并进、协同发展。氢气既是一种清洁绿色能源,又是一种被证实的、安全且有效的医用气体,在炎症相关疾病展现出明显的抗炎效应,还是一种清洁高效的农用气体,在农作物抗逆、增产、保鲜等方面具有显著的生物学效应。氢能源、氢医学和氢农学存在共性科学 ...上海交通大学通知公告 本站小编 Free考研考试 2022-02-12上海交大ITEWA团队在Cell Reports Physical Science期刊发表“胺嫁接层状双金属氢氧化物用于直接空气捕集二氧化碳”研究论文
近日,CellPress期刊CellReportsPhysicalScience发表了有关直接空气捕集二氧化碳研究成果Modifiedlayereddoublehydroxidesforefficientandreversiblecarbondioxidecapturefromair,论文由上海交大 ...上海交通大学通知公告 本站小编 Free考研考试 2022-02-12上海交大“生物质热化学转化”创新工作室发表有关主曲线法的论文
近日,上海交大农生学院资环系本科生罗来鹏同学在热力学领域顶尖期刊《Energy》(中科院分区一区期刊,影响因子6.082)上发表题为“Insightintomasterplotsmethodforkineticanalysisoflignocellulosicbiomasspyrolysis”的研究 ...上海交通大学通知公告 本站小编 Free考研考试 2022-02-12