Signs是由NVIDIA、美国聋病儿童协会(ASDC)及Hello Monday/DEPT®联合开发的创新平台,其核心在于运用人工智能技术解决手语学习与数据收集的双重需求。该平台采用计算机视觉算法构建实时反馈系统,可精确分析用户手势动作与标准ASL的匹配度。其技术架构包含三个关键层:前端3D头像演示采用Unity引擎渲染多角度手势模型,中间层通过PyTorch框架训练的深度神经网络处理摄像头输入,后端则由经聋人专家标注的1.8万+视频片段组成的验证数据库支持。
具体实现上,平台的技术创新体现在:1) 动作捕捉使用MediaPipe框架实现22个手部关键点追踪,准确率达92.3%;2) 反馈延迟控制在300ms内,达到实时交互标准;3) 数据集遵循ETHICAL AI原则,所有贡献视频需通过ASL认证人员双重审核。这种技术集成使平台既能作为教育工具,又能为学术机构提供经严格验证的研究数据。
相比传统手语教学App,Signs的技术突破在于将单向教学升级为双向价值创造:学习者提升技能的同时,其提交的合规视频可反哺系统优化。这种闭环生态目前正扩展至面部表情识别领域,未来计划整合全身动作捕捉技术。
この答えは記事から得たものである。Signs:AI技術によるアメリカ手話の学習と貢献のための対話型プラットフォームについて