Signs团队已公布技术演进蓝图,计划在未来18个月内实现面部表情与身体姿态的全面整合。根据路线图,2024年Q3将首先上线眉毛动作识别模块,能检测”提眉询问”等关键非手语信号;2025年推出的2.0版本将结合OpenPose框架,实现肩部倾斜、身体朝向等80个附加参数的追踪。
这项扩展基于坚实的语言学基础:ASL中约35%语义信息通过面部表情传递(如抿嘴表示否定),15%依赖身体姿态(如前倾体现强调)。技术挑战在于解决多模态信号同步问题——现有测试版使用时间戳对齐算法,确保手部动作与面部变化的±2帧同步精度。早期实验显示,整合非手动信号后,AI对复杂句子的理解准确率从68%提升至89%。
该计划获得NIH 200万美元专项资助,研究团队包含语言学家、AI工程师和聋人顾问。扩展后的平台将首次实现ASL的完整语境建模,这对远程手语翻译等场景具有革命性意义。
本答案来源于文章《Signs:通过AI技术助力学习和贡献美国手语的互动平台》