【P-066】瞬きや眼球運動、表情、口の動き、鼻呼吸の実生活データの常時計測のためのウェアラブルセンシング基盤

KYOSUKE FUTAMI 双見京介

公開日時

2025/09/03 - PM18:39

更新日時

2025/09/03 - PM18:43

スライド概要

本プロジェクトでは、目の活動（瞬きや眼球運動のパラメータ）、口の動き、表情、鼻呼吸の実生活データの認識技術(センサ・AI)を、ウェアラブル化(様々な活動で利用可)、低費用化し、その応用基盤開発を進めています。
これらの情報は人の活動や状態を示す重要な指標になり、実世界の様々な活動でそれらを常にセンシングできる技術は、事業・知見・技術を多分野で創出する源泉となります。例えば、目のヘルスケアや医療連携、入力インタフェース、脳疲労・眠気・覚醒度の定量化、脳疾患の定量化、等の社会課題解決に応用可能性があります。
これらセンサ・機械学習の技術に加え、人への介入技術を利用した総合的な研究を行っています。
協力者(研究、製品化・事業化、フィールド提供等)を募集しています。是非お声がけ下さい。
弊組織の専門のキーワード: ウェアラブル、ユビキタス、モバイル、センサ、IoT、 AR/XR/VR 、AI、HCI、情報提示、インターフェース、人間拡張、行動変容、心理現象や認知バイアスや錯覚の考慮・操作、マインドハック、自制支援

Twitter Facebook LinkedIn

埋め込みHTML

Copied.

各ページのテキスト

各ページの
テキスト

瞬きや眼球運動、表情、口の動き、鼻呼吸の実生活データの業績概要常時計測のためのウェアラブルセンシング基盤連絡先双見京介(立命館大学、Digital Spirit Technology) futami@fc.ritsumei.ac.jp https://x.gd/sBO2z • 本プロジェクトでは、目の活動（瞬きや眼球運動のパラメータ）、口の動き、表情、鼻呼吸の実生活データの認識技術(センサ・AI)を、ウェアラブル化(様々な活動で利用可)、低費用化し、その応用基盤開発を進めています。 • これらの情報は人の活動や状態を示す重要な指標になり、実世界の様々な活動でそれらを常にセンシングできる技術は、事業・知見・技術を多分野で創出する源泉となります。例えば、目のヘルスケアや医療連携、入力インタフェース、脳疲労・眠気・覚醒度の定量化、脳疾患の定量化、等の社会課題解決に応用可能性があります。 • これらセンサ・機械学習の技術に加え、人への介入技術を利用した総合的な研究を行っています。 • 協力者(研究、製品化・事業化、フィールド提供等)を募集しています。是非お声がけ下さい。 • 弊組織の専門のキーワード: ウェアラブル、ユビキタス、モバイル、センサ、IoT、 AR/XR/VR 、AI、HCI、情報提示、インターフェース、人間拡張、行動変容、心理現象や認知バイアスや錯覚の考慮・操作、マインドハック、自制支援 1．目の活動の実生活データ取得のためのウェアラブル基盤目の健康分野応用のためのアイウェア脱着モデル瞬きパラメータの認識の例 • 目的: 瞬きの詳細指標(頻度，Duration，Depth 等)や眼球運動指標(視線の移動・方向)の常時認識機能をアイウェアに低費用で付与する手法の開発。 • 結果: 眼球移動: 入力インタフェース応用を想定したタスクでは5〜20種類の視線移動をF値0.96 〜1.0で認識)。瞬き: 回数は誤差8%以内、持続時間の指標は有意な相関(0.83)。その他について開発中(概要 https://qr.paps.jp/sctIA) 2．口の活動の常時センシング手法、サイレントスピーチのアイウェアインタラクションへの応用例 • 目的: 口の活動の簡便な常時認識手法の開発。 • 結果: 本手法を応用し、無音発話認識を簡便に行える技術を開発した．アイウェア機器(スマートグラス， HMD，一般メガネ)や耳装着機器(耳掛けマイク，イヤホン)に，無声発話の認識機能を簡便に付与できる．例えば、メディアプレイヤー用の5つの無声発話コマンド(例: 音楽，再生，停止など)を0.90のF値で認識でき，また，長い無声発話コマンド10個(例: スポーツニュースを教えて，タイマーを3分セット)を 0.83のF値で認識できた． 3．表情の常時センシング手法、ハンズフリー入力インタフェースへの応用例 • 目的: イヤアクセサリに適用可能な表情の簡便な常時認識手法の開発。耳の付け根、耳たぶ、耳珠の3 種類の耳かけ型イヤホンのプロトタイプシステムを作成した。 • 結果: 9種類の表情ジェスチャをF値0.95以上で認識可能と示した。 4. アイウェアを用いた鼻呼吸の常時センシング手法，秘匿ハンズフリー入力手法への応用例 • 目的: 鼻呼吸の簡便な常時認識手法の開発。提案手法は，呼吸の回数，時間間隔，強度という要素から呼吸パタンを認識可能． • 結果: 提案手法が8種類の鼻呼吸ジェスチャーをF 値0.82で認識でき、個人が得意なものに限定することでF値0.9以上で認識できた．秘匿ハンズフリー入力手法への応用可能性を示した．