特開 2022-187072 ウェアラブル機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022187072

(43)【公開日】2022-12-19

(54)【発明の名称】ウェアラブル機器

(51)【国際特許分類】

   G06F 3/01 20060101AFI20221212BHJP

   H04N 5/64 20060101ALI20221212BHJP

   G09B 21/00 20060101ALI20221212BHJP

【ＦＩ】

G06F3/01 590

H04N5/64 511A

G09B21/00 D

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021094880

(22)【出願日】2021-06-07

(71)【出願人】

【識別番号】000006895

【氏名又は名称】矢崎総業株式会社

(74)【代理人】

【識別番号】110001771

【氏名又は名称】弁理士法人虎ノ門知的財産事務所

(72)【発明者】

【氏名】稲葉 永吾

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA44

5E555BA04

5E555BA88

5E555BB04

5E555BC30

5E555BE08

5E555CA47

5E555CB44

5E555DA08

5E555DB44

5E555DB57

5E555EA23

5E555FA00

(57)【要約】

【課題】適正にコミュニケーションを補助することができるウェアラブル機器を提供することを目的とする。
【解決手段】ウェアラブル機器１は、人体１０１の頭部１０２に装着された状態で、装着者１００の視界に情報を表示可能である表示器本体１０と、表示器本体１０に設けられ、対話者の音声を入力可能である音声入力部６０と、表示器本体１０に設けられ、音声入力部６０によって入力された音声を視覚情報に変換する処理、及び、変換した当該視覚情報を表示器本体に表示させる処理を実行可能である処理部８０とを備えることを特徴とする。この結果、ウェアラブル機器１は、適正にコミュニケーションを補助することができる、という効果を奏する。
【選択図】図１

【特許請求の範囲】

【請求項1】

人体の頭部に装着された状態で、装着者の視界に情報を表示可能である表示器本体と、
前記表示器本体に設けられ、対話者の音声を入力可能である音声入力部と、
前記表示器本体に設けられ、前記音声入力部によって入力された前記音声を視覚情報に変換する処理、及び、変換した当該視覚情報を前記表示器本体に表示させる処理を実行可能である処理部とを備えることを特徴とする、
ウェアラブル機器。

【請求項2】

前記表示器本体に設けられ、前記装着者の視線を検出可能である視線検出部を備え、
前記処理部は、前記視線検出部によって検出された前記装着者の視線に基づいて前記対話者を特定する処理、及び、特定された前記対話者の位置に基づいて前記音声入力部による集音における指向角を可変とする処理を実行可能である、
請求項１に記載のウェアラブル機器。

【請求項3】

前記処理部は、特定された前記対話者と前記音声入力部との距離が相対的に長いほど、前記指向角を相対的に小さくし、前記距離が相対的に短いほど、前記指向角を相対的に大きくする、
請求項２に記載のウェアラブル機器。

【請求項4】

前記視覚情報は、前記音声に対応した文字列を表す文字画像情報を含む、
請求項１乃至請求項３のいずれか１項に記載のウェアラブル機器。

【請求項5】

前記視覚情報は、前記音声に対応した手話を表す手話動画像情報を含む、
請求項１乃至請求項４のいずれか１項に記載のウェアラブル機器。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ウェアラブル機器に関する。

【背景技術】

【0002】

従来のウェアラブル機器として、例えば、特許文献１には、視聴用のキャプションを表示するシステムが開示されている。このシステムは、異なるスペクトル範囲と実質的に相補的な偏光とによって、異なるカラーの少なくとも１つにより少なくとも２つのキャプションを表示するディスプレイを有する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特表２０１４－５０８９６２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、このようなウェアラブル機器は、例えば、聴覚障害者のコミュニケーションの補助等の用途での使用も望まれている。

【0005】

本発明は、上記の事情に鑑みてなされたものであって、適正にコミュニケーションを補助することができるウェアラブル機器を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本発明のウェアラブル機器は、人体の頭部に装着された状態で、装着者の視界に情報を表示可能である表示器本体と、前記表示器本体に設けられ、対話者の音声を入力可能である音声入力部と、前記表示器本体に設けられ、前記音声入力部によって入力された前記音声を視覚情報に変換する処理、及び、変換した当該視覚情報を前記表示器本体に表示させる処理を実行可能である処理部とを備えることを特徴とする。

【発明の効果】

【0007】

本発明に係るウェアラブル機器は、音声入力部によって入力された対話者の音声を、処理部による処理に応じて視覚情報に変換する。そして、ウェアラブル機器は、処理部による処理に応じて、頭部に装着された状態で装着者の視界に情報を表示可能である表示器本体に当該視覚情報を表示させる。この結果、ウェアラブル機器は、適正にコミュニケーションを補助することができる、という効果を奏する。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係るウェアラブル機器の概略構成を表す模式図である。

【図2】図２は、実施形態に係るウェアラブル機器の概略構成を表すブロック図である。

【図3】図３は、実施形態に係るウェアラブル機器における表示の一例を表す模式図である。

【図4】図４は、実施形態に係るウェアラブル機器における視線検出について説明する模式図である。

【図5】図５は、実施形態に係るウェアラブル機器における視線検出について説明する模式図である。

【図6】図６は、実施形態に係るウェアラブル機器における輻輳角と距離との関係について説明する模式図である。

【図7】図７は、実施形態に係るウェアラブル機器における輻輳角と距離との関係について説明する模式図である。

【図8】図８は、実施形態に係るウェアラブル機器における輻輳角と距離との関係について説明する模式図である。

【図9】図９は、対話者との距離とマイクの指向角との関係の傾向を説明する模式図である。

【図10】図１０は、対話者との距離とマイクの指向角との関係の傾向を説明する模式図である。

【図11】図１１は、実施形態に係るウェアラブル機器における対話者との距離とマイクの指向角との関係を説明する模式図である。

【図12】図１２は、実施形態に係るウェアラブル機器における対話者との距離とマイクの指向角との関係を説明する模式図である。

【図13】図１３は、実施形態に係るウェアラブル機器におけるマイクの指向角の算出方法の一例を説明する模式図である。

【図14】図１４は、実施形態に係るウェアラブル機器における対話者との距離とマイクの指向角との関係を説明する表図である。

【図15】図１５は、実施形態に係る実施形態に係るウェアラブル機器の処理部によって行われる処理の一例を示すフローチャートである。

【図16】図１６は、実施形態に係る実施形態に係るウェアラブル機器の処理部によって行われる処理の一例を示すフローチャートである。

【図17】図１７は、実施形態に係る実施形態に係るウェアラブル機器の処理部によって行われる処理の一例を示すフローチャートである。

【図18】図１８は、変形例に係るウェアラブル機器の処理部によって行われる処理の一例を示すフローチャートである。

【図19】図１９は、変形例に係るウェアラブル機器の処理部によって行われる処理の一例を示すフローチャートである。

【図20】図２０は、変形例に係るウェアラブル機器における対話者との距離の算出方法の一例を説明する模式図である。

【図21】図２１は、変形例に係るウェアラブル機器における表示の一例を表す模式図である。

【発明を実施するための形態】

【0009】

以下に、本発明に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。

【0010】

［実施形態］
図１、図２、図３に示す本実施形態のウェアラブル機器１は、人体１０１の頭部１０２に装着され、装着者１００の視界に種々の情報を表示するスマートグラスを構成するものである。本実施形態のウェアラブル機器１は、集音した音声を視覚情報ＶＩに変換し、当該変換した視覚情報ＶＩを装着者１００の視界に表示することで、聴覚障害者のコミュニケーションを適正に補助することができるツールを実現する。典型的には、本実施形態のウェアラブル機器１は、視線検出機能、音声認識機能、及び、情報表示機能を有し、装着者１００の視線を検出し、視線の方向に位置する対話者２００（図６等参照）の音声を認識して、スマートグラスの表面に字幕等による視覚情報ＶＩを表示させる。以下、図１を参照してウェアラブル機器１の各構成について詳細に説明する。

【0011】

具体的には、ウェアラブル機器１は、図１、図２に示すように、表示器本体１０と、電源２０と、装着センサ３０と、視線検出部としての視線検出センサ４０と、外向きカメラ５０と、音声入力部としてのマイク６０と、記憶部７０と、処理部８０とを備える。電源２０、装着センサ３０、視線検出センサ４０、外向きカメラ５０、マイク６０、記憶部７０、及び、処理部８０は、表示器本体１０に設けられ、相互に通信可能に接続されている。

【0012】

表示器本体１０は、人体１０１の頭部１０２に装着可能なヘッドマウントディスプレイ（ＨＭＤ）方式のメガネ型表示デバイスである。表示器本体１０は、人体１０１の頭部１０２に装着された状態で、装着者１００の視界に情報を表示可能である。

【0013】

具体的には、表示器本体１０は、透明ディスプレイ１１、及び、フレーム１２を含んで構成される。

【0014】

透明ディスプレイ１１は、視覚情報ＶＩを表示可能であり、ウェアラブル機器１における視覚情報ＶＩの表示面を構成する。透明ディスプレイ１１は、当該透明ディスプレイ１１越しに背景を視認可能な程度に高い透明性を有している。透明ディスプレイ１１は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ等によって構成される。ここでは、透明ディスプレイ１１は、装着者１００の右の眼球１０３Ｒに対応した右ディスプレイ１１Ｒ、及び、装着者１００の左の眼球１０３Ｌに対応した左ディスプレイ１１Ｌを含んで構成される。

【0015】

フレーム１２は、人体１０１の頭部１０２に装着され、透明ディスプレイ１１を装着者１００の視界に支持する構造体であり、弦や枠等を含んで構成される。フレーム１２は、右ディスプレイ１１Ｒを装着者１００の右の眼球１０３Ｒと対向する位置に支持し、左ディスプレイ１１Ｌを装着者１００の左の眼球１０３Ｌと対向する位置に支持する。フレーム１２は、ウェアラブル機器１を構成する電源２０、装着センサ３０、視線検出センサ４０、外向きカメラ５０、マイク６０、記憶部７０、処理部８０等の各部が組み付けられる。

【0016】

上記構成により、表示器本体１０は、フレーム１２が人体１０１の頭部１０２に装着された状態で、透明ディスプレイ１１越しの背景に重畳させて当該透明ディスプレイ１１上に視覚情報ＶＩを表示することで、当該視覚情報ＶＩを装着者１００の視界に表示可能である。図３に例示するように、透明ディスプレイ１１によって装着者１００の視界に表示する視覚情報ＶＩは、例えば、対話者２００（図６等参照）の音声に対応した文字列（テキスト）を表す文字画像情報ＶＩ１を含む。なお、透明ディスプレイ１１は、上記に限らず、例えば、網膜投射型のディスプレイ等によって構成されてもよい。

【0017】

電源２０は、ウェアラブル機器１の電力源である。電源２０は、リチウムイオン電池等の充放電可能な二次電池等を含んで構成され、ウェアラブル機器１内の各部に対して電力を供給する。

【0018】

装着センサ３０は、ウェアラブル機器１が人体１０１の頭部１０２に装着されていることを検出可能な検出器である。装着センサ３０は、例えば、温度検知や発汗検知を行う検出器によって構成される。装着センサ３０は、温度検知や発汗検知に基づいてフレーム１２が装着者１００の頭部１０２に触れていることを検出することで、ウェアラブル機器１が頭部１０２に装着されていることを検出する。

【0019】

視線検出センサ４０は、装着者１００の視線を検出可能な検出器である。視線検出センサ４０は、例えば、フレーム１２の中央の弦部分に設けられる。視線検出センサ４０は、例えば、図４に例示するように、内向きカメラ４１によって構成される。内向きカメラ４１は、装着者１００の眼球１０３Ｌ、１０３Ｒを撮像可能な撮像器である。視線検出センサ４０を構成する内向きカメラ４１は、図５に示すように、眼球１０３Ｌ、１０３Ｒの瞳孔１０３ａとプルキニエ像（角膜表面における反射光）１０３ｂを検出することで、瞳孔－角膜反射法により装着者１００の視線検出を可能とする。なお、視線検出センサ４０は、上記に限らず、例えば、フレーム１２の中央の弦部分に内蔵され眼球運動に伴う目の周りの電位差を検出することで、装着者１００の視線検出を行う眼電位センサによって構成されてもよい。

【0020】

外向きカメラ５０は、装着者１００の眼球１０３Ｌ、１０３Ｒ側とは反対側を撮像可能な撮像器である。言い換えれば、外向きカメラ５０は、透明ディスプレイ１１越しに装着者１００の視線が向う側を撮像する。外向きカメラ５０は、例えば、フレーム１２の端部に設けられる。

【0021】

マイク６０は、対話者２００の音声を入力可能な集音器である。マイク６０は、集音方向、及び、指向角α（図１１等参照）を変更可能な指向性マイクである。ここで、指向角αとは、集音可能な角度範囲を表し、小さいほど当該角度範囲が狭いことを表し、大きいほど当該角度範囲が広いことを表す。マイク６０は、例えば、２チャンネル話者追尾型マイクロホンアレーを用いることができる。

【0022】

記憶部７０は、各種データ（情報）を記憶する記憶回路である。記憶部７０は、例えば、ウェアラブル機器１が各種の機能を実現するためのプログラムを記憶する。記憶部７０に記憶されるプログラムには、透明ディスプレイ１１を機能させるプログラム、電源２０を機能させるプログラム、装着センサ３０を機能させるプログラム、視線検出センサ４０を機能させるプログラム、外向きカメラ５０を機能させるプログラム、マイク６０を機能させるプログラム、処理部８０を機能させるプログラム等が含まれる。また、記憶部７０は、処理部８０での各種処理に必要なデータ、透明ディスプレイ１１で表示するデータ等の各種データを記憶する。記憶部７０は、処理部８０等によってこれらの各種データが必要に応じて読み出される。なお、記憶部７０は、ネットワークを介してウェアラブル機器１に接続されたクラウドサーバ等により実現されてもよい。

【0023】

処理部８０は、ウェアラブル機器１における各種処理機能を実現する処理回路である。処理部８０は、例えば、プロセッサによって実現される。プロセッサとは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の回路を意味する。処理部８０は、例えば、記憶部７０から読み込んだプログラムを実行することにより、各処理機能を実現する。

【0024】

本実施形態に係る処理部８０は、マイク６０によって入力された音声を視覚情報ＶＩに変換し、変換した当該視覚情報ＶＩを表示器本体１０の透明ディスプレイ１１に表示させる各種処理を行うための機能を有している。また、本実施形態の処理部８０は、視線検出センサ４０によって検出された装着者１００の視線に基づいて対話者２００を特定し、特定された対話者２００の位置に基づいてマイク６０による集音における指向角αを可変とする各種処理を行うための機能を有している。

【0025】

具体的には、本実施形態の処理部８０は、上記各種処理機能を実現するために、機能概念的に、装着検出処理部８１、電源制御処理部８２、視線検出処理部８３、対話者特定処理部８４、指向角設定処理部８５、音声入力処理部８６、変換処理部８７、及び、表示制御処理部８８を含んで構成される。処理部８０は、例えば、記憶部７０から読み込んだプログラムを実行することにより、これら装着検出処理部８１、電源制御処理部８２、視線検出処理部８３、対話者特定処理部８４、指向角設定処理部８５、音声入力処理部８６、変換処理部８７、及び、表示制御処理部８８の各処理機能を実現する。

【0026】

装着検出処理部８１は、ウェアラブル機器１が人体１０１の頭部１０２に装着されていることを判定する処理を実行可能な機能を有する部分である。装着検出処理部８１は、装着センサ３０による検出結果に基づいて、ウェアラブル機器１が頭部１０２に装着されていることを判定する。

【0027】

電源制御処理部８２は、電源２０を制御する処理を実行可能な機能を有する部分である。電源制御処理部８２は、装着検出処理部８１によってウェアラブル機器１が頭部１０２に装着されていると判定された場合、ウェアラブル機器１の電源２０をＯＮとする。一方、電源制御処理部８２は、装着検出処理部８１によってウェアラブル機器１が頭部１０２に装着されていないと判定された場合、ウェアラブル機器１の電源２０をＯＦＦ（最小限の待機状態）とする。この処理により、ウェアラブル機器１は、消費電力を削減することができる。

【0028】

視線検出処理部８３は、ウェアラブル機器１を装着した装着者１００の視線を検出する処理を実行可能な機能を有する部分である。視線検出処理部８３は、視線検出センサ４０による検出結果に基づいて、装着者１００の視線を検出する。ここでは、視線検出処理部８３は、視線検出センサ４０を構成する内向きカメラ４１によって撮像された眼球１０３Ｌ、１０３Ｒの画像から瞳孔１０３ａ、プルキニエ像１０３ｂの位置を検出する。そして、視線検出処理部８３は、これら瞳孔１０３ａ、プルキニエ像１０３ｂの位置に基づいて瞳孔－角膜反射法により装着者１００の視線の方向を検出する。

【0029】

対話者特定処理部８４は、視線検出センサ４０によって検出され視線検出処理部８３によって処理された装着者１００の視線に基づいて対話者２００を特定する処理を実行可能な機能を有する部分である。ここでは、対話者特定処理部８４は、例えば、人物が人物と話をする場合、一定時間、対話者２００を見る傾向を利用し、装着者１００の視線が所定時間（例えば、２秒以上）停留した人物を対話者２００として特定する。

【0030】

本実施形態の対話者特定処理部８４は、一例として、装着者１００の視線に加えて、外向きカメラ５０によって撮像された当該視線が向う側の画像に基づいて対話者２００を特定する。対話者特定処理部８４は、外向きカメラ５０によって撮像された画像から人物を検出し、検出した人物から装着者１００の視線の方向に位置する人物を特定する。そして、対話者特定処理部８４は、装着者１００の視線が当該特定した人物に所定時間（例えば、２秒以上）滞留した場合に、当該人物を対話者２００として特定する。

【0031】

また、本実施形態の対話者特定処理部８４は、特定した対話者２００の位置に基づいて当該対話者２００までの距離を推定する。ここでいう対話者２００までの距離とは、装着者１００と対話者２００との距離であり、概略的には、特定された対話者２００とマイク６０との距離にも相当する。

【0032】

ここでは、対話者特定処理部８４は、一例として、図６、図７、図８に示すように、視線検出センサ４０によって検出され視線検出処理部８３によって処理された装着者１００の視線に基づいて装着者１００の輻輳角θを算出し、算出した当該輻輳角θに基づいて対話者２００までの距離Ｄを推定する。

【0033】

ここでいう装着者１００の輻輳角θとは、図６、図７、図８に示すように、装着者１００の左の眼球１０３Ｌの視線と右の眼球１０３Ｒの視線とがなす角度である。なお、この図６、図７、図８中には、瞳孔１０３ａと共に中心窩１０３ｃも図示している。対話者特定処理部８４は、視線検出センサ４０によって検出され視線検出処理部８３によって処理された左の眼球１０３Ｌの視線の方向と右の眼球１０３Ｒの視線の方向とに基づいて装着者１００の当該輻輳角θを算出する。なお、視線に基づいて算出される輻輳角θは、装着者１００によって個人差があるので、ウェアラブル機器１の使用にあたっては適宜キャリブレーションを実施しておくことが好ましい。

【0034】

ここで、図６、図７、図８に示すように、人体は、近くの対話者（物体）２００を視る場合、すなわち、対話者２００までの距離Ｄが相対的に短い場合に輻輳角θが相対的に大きくなる傾向にある。逆に、人体は、遠くの対話者（物体）２００を視る場合、すなわち、対話者２００までの距離Ｄが相対的に長い場合に輻輳角θが相対的に小さくなる傾向にある。

【0035】

対話者特定処理部８４は、図６、図７、図８に示すような対話者２００までの距離Ｄと輻輳角θとの傾向を利用し、算出した輻輳角θに基づいて対話者２００までの距離Ｄを推定する。例えば、ウェアラブル機器１は、対話者２００までの距離Ｄと輻輳角θとの傾向を表す数式やテーブルを記憶部７０に予め記憶しておく。そして、対話者特定処理部８４は、当該数式や当該テーブルに基づいて、輻輳角θから対話者２００までの距離Ｄを算出する。

【0036】

指向角設定処理部８５は、対話者特定処理部８４によって特定された対話者２００の位置に基づいてマイク６０による集音における指向角αを可変とする処理を実行可能な機能を有する部分である。

【0037】

ここで、図９、図１０を参照して、対話者２００の位置にかかわらず、マイク６０の指向角αを固定とした場合について説明する。例えば、マイク６０は、図９に例示するように、装着者１００からの距離Ｄが相対的に短く当該装着者１００の近くに位置する対話者２００Ａの肩幅（例えば４５～４６ｃｍ程度）にあわせて指向角αを相対的に大きな値に設定した場合を仮定する。この場合、マイク６０は、装着者１００からの距離Ｄが相対的に長く当該装着者１００から離れて位置する対話者２００Ｂの音声を集音するに際には、周囲のノイズ（例えば、周囲の人物の音声等）を拾い易い傾向となる。逆に、マイク６０は、図１０に例示するように、装着者１００からの距離Ｄが相対的に長く当該装着者１００から離れて位置する対話者２００Ｂの肩幅にあわせて指向角αを相対的に小さな値に設定した場合を仮定する。この場合、マイク６０は、装着者１００からの距離Ｄが相対的に短く当該装着者１００の近くに位置する対話者２００Ａの音声を集音するに際には、対話者２００Ａの音声を拾い難い傾向となる。

【0038】

本実施形態の指向角設定処理部８５は、マイク６０による集音において、対話者２００までの距離Ｄに応じてより好ましい指向角αが異なる、という上記のような傾向に基づいて、マイク６０の指向角αを変化させる。すなわちここでは、指向角設定処理部８５は、上記のような傾向に基づいて、対話者２００の位置に応じて、マイク６０の集音方向、及び、指向角αを設定する。この処理により、指向角設定処理部８５は、マイク６０を介した音声認識率を向上させる。

【0039】

より具体的には、指向角設定処理部８５は、上記のような傾向に基づいて、対話者２００までの距離Ｄに応じてマイク６０の指向角αを設定する。指向角設定処理部８５は、図１１、図１２に示すように、特定された対話者２００とマイク６０との距離Ｄが相対的に長いほど、指向角αを相対的に小さくし、特定された対話者２００とマイク６０との距離Ｄが相対的に短いほど、指向角αを相対的に大きくする。

【0040】

人物の肩幅の範囲を全て集音対象範囲に入れるとすると、必要となる指向角αは、上述したようにその人物（対話者２００）までの距離Ｄに応じて変わり、例えば、図１３に例示するように、下記の数式（１）を用いて距離Ｄに応じて定まる。

ｔａｎ（α／２)＝肩幅／２×１／Ｄ ・・・ （１）

【0041】

図１４は、対話者２００までの距離Ｄと、当該距離Ｄにおける好適な指向角αとの関係の一例を表した表図である。人物の肩幅は、４５～４６ｃｍ程度と略一定なので、例えば、肩幅を固定値＝４５ｃｍと仮定すると、指向角αは、距離Ｄが０．４５ｍである場合は５３．１度程度、距離Ｄが１．２ｍである場合は２１．２度程度、距離Ｄが３．５ｍである場合は７．３６度程度にとなる。

【0042】

例えば、ウェアラブル機器１は、対話者２００までの距離Ｄと指向角αとの上記のような傾向を表す数式やテーブルを記憶部７０に予め記憶しておく。そして、指向角設定処理部８５は、当該数式や当該テーブルに基づいて、対話者２００までの距離Ｄから指向角αを算出、設定する。指向角設定処理部８５は、距離Ｄに応じて指向角αをリニアに変更して設定してもよいが、ここでは、距離Ｄに応じて上記の３つの指向角αを段階的に変更して設定する。

【0043】

そして、指向角設定処理部８５は、視線の方向、対話者２００の位置、距離Ｄ等に応じて集音方向、指向角αを設定し、当該設定した集音方向、指向角αに応じた動作指令をマイク６０に入力し、当該マイク６０を設定した集音方向、指向角αで集音させる。

【0044】

この処理により、ウェアラブル機器１は、図１１に示すように、装着者１００からの距離Ｄが相対的に短く当該装着者１００の近くに位置する対話者２００Ａの音声を集音するに際には、指向角αが相対的に大きく設定される。これにより、ウェアラブル機器１は、対話者２００Ａの音声を拾い易くすることができる。一方、ウェアラブル機器１は、図１２に示すように、装着者１００からの距離Ｄが相対的に長く当該装着者１００から離れて位置する対話者２００Ｂの音声を集音するに際には、指向角αが相対的に小さく設定される。これにより、ウェアラブル機器１は、対話者２００Ｂの周囲のノイズ（例えば、周囲の人物の音声等）を拾い難くすることができる。

【0045】

音声入力処理部８６は、マイク６０を制御し当該マイク６０によって音声を入力する処理を実行可能な機能を有する部分である。音声入力処理部８６は、指向角設定処理部８５によって設定された集音方向、指向角αでマイク６０によって集音する。音声入力処理部８６は、マイク６０によって集音した集音データを一旦記憶回部７０に記憶させるようにしてもよい。

【0046】

変換処理部８７は、マイク６０によって入力された音声を視覚情報ＶＩに変換する処理を実行可能な機能を有する部分である。変換処理部８７は、指向角設定処理部８５によって設定された集音方向、指向角αでマイク６０によって集音された音から、音声認識機能（音声認識エンジン）によって対話者２００の音声を認識する。そして、変換処理部８７は、音声認識した対話者２００の音声を視覚情報ＶＩに変換する。ここでは、変換処理部８７は、音声認識した対話者２００の音声を、対話者２００の音声に対応した文字列（テキスト）に変換し、図３に例示したように、視覚情報ＶＩとして、当該文字列を表す文字画像情報ＶＩ１を生成する。変換処理部８７は、生成した視覚情報ＶＩ、ここでは、文字画像情報ＶＩ１を一旦記憶回部７０に記憶させるようにしてもよい。

【0047】

表示制御処理部８８は、変換処理部８７によって変換した視覚情報ＶＩを表示器本体１０の透明ディスプレイ１１に表示させる処理を実行可能な機能を有する部分である。表示制御処理部８８は、図３に例示するように、対話者２００の音声に対応した視覚情報ＶＩとして、当該音声に対応した文字列を表す文字画像情報ＶＩ１を、透明ディスプレイ１１によって装着者１００の視界に表示させ、対話者２００の音声を字幕表示させる。

【0048】

次に、図１５、図１６、図１７のフローチャート図を参照して、ウェアラブル機器１おける処理手順について説明する。

【0049】

まず、図１５に示すように、処理部８０の装着検出処理部８１は、装着センサ３０による検出結果に基づいて、装着者１００がウェアラブル機器（スマートグラス）１を外したか否か、言い換えれば、ウェアラブル機器１が頭部１０２に装着されているか否かを判定する（ステップＳ１）。

【0050】

処理部８０の電源制御処理部８２は、装着検出処理部８１によって装着者１００がウェアラブル機器１を外したと判定された場合（ステップＳ１：Ｙｅｓ）、言い換えれば、ウェアラブル機器１が頭部１０２に装着されていないと判定された場合、電源２０をＯＦＦ（最小限の待機状態）とし、この処理を終了する。

【0051】

処理部８０の視線検出処理部８３は、装着検出処理部８１によって装着者１００がウェアラブル機器１を外していないと判定された場合（ステップＳ１：Ｎｏ）、言い換えれば、ウェアラブル機器１が頭部１０２に装着されていると判定された場合、視線検出センサ４０による検出結果に基づいて、装着者１００の視線を検出したか否かを判定する（ステップＳ２）。

【0052】

処理部８０は、視線検出処理部８３によって装着者１００の視線を検出していないと判定された場合（ステップＳ２：Ｎｏ）、ステップＳ１に戻って以降の処理を繰り返し実行する。

【0053】

視線検出処理部８３は、装着者１００の視線を検出したと判定された場合（ステップＳ２：Ｙｅｓ）、視線検出センサ４０による検出結果に基づいて、入力された視線から当該視線の方向を取得する（ステップＳ３）。

【0054】

次に、処理部８０の対話者特定処理部８４は、視線検出処理部８３によって処理された装着者１００の視線の方向と、外向きカメラ５０によって撮像された画像とに基づいて、当該画像から特定される人物に視線が２秒以上滞留したか否かを判定する（ステップＳ４）。

【0055】

処理部８０は、対話者特定処理部８４によって画像から特定される人物に視線が２秒以上滞留していないと判定された場合（ステップＳ４：Ｎｏ）、ステップＳ２に戻って以降の処理を繰り返し実行する。

【0056】

対話者特定処理部８４は、画像から特定される人物に視線が２秒以上滞留したと判定した場合（ステップＳ４：Ｙｅｓ）、当該人物を対話者２００として特定する（ステップＳ５）。

【0057】

次に、対話者特定処理部８４は、視線検出センサ４０による検出結果に基づいて、入力された視線から装着者１００の輻輳角θを取得する（ステップＳ６）。対話者特定処理部８４は、左の眼球１０３Ｌの視線の方向と右の眼球１０３Ｒの視線の方向とに基づいて装着者１００の輻輳角θを算出、取得する。

【0058】

次に、対話者特定処理部８４は、取得した装着者１００の輻輳角θに基づいて対話者２００までの距離Ｄを推定する（ステップＳ７）。対話者特定処理部８４は、例えば、記憶部７０に記憶されている数式やテーブルに基づいて、輻輳角θから対話者２００までの距離Ｄを算出、推定する。

【0059】

次に、指向角設定処理部８５は、対話者特定処理部８４によって推定された対話者２００までの距離Ｄに基づいてマイク６０の指向角αを決定する（ステップＳ８）。指向角設定処理部８５は、例えば、記憶部７０に記憶されている数式やテーブルに基づいて、対話者２００までの距離Ｄからマイク６０の指向角αを決定する。なお、この指向角αの決定フローについては、図１７で一例を後述する。

【0060】

そして、指向角設定処理部８５は、視線の方向、対話者２００の位置、距離Ｄ等に基づいて取得した集音方向、指向角αに応じた動作指令をマイク６０に入力する（ステップＳ９）。

【0061】

そして、処理部８０の音声入力処理部８６は、指向角設定処理部８５によって設定された集音方向にマイク６０を向け、指向角設定処理部８５によって設定された指向角αで集音させる（ステップＳ１０）。

【0062】

次に、処理部８０の変換処理部８７は、マイク６０によって入力された音声を取得し、公知の音声認識エンジンに入力する（ステップＳ１１）。

【0063】

そして、変換処理部８７は、音声認識を実行して、集音された音から対話者２００の音声を認識し、音声認識した対話者２００の音声を文字列（テキスト）に変換し、視覚情報ＶＩとして、当該文字列を表す文字画像情報ＶＩ１を生成する（ステップＳ１２）。

【0064】

次に、処理部８０の表示制御処理部８８は、変換処理部８７によって変換した視覚情報ＶＩ、ここでは、音声認識の結果として、文字列を表す文字画像情報ＶＩ１を表示器本体１０の透明ディスプレイ１１に出力し表示させる（ステップＳ１３）。

【0065】

ここでは、表示制御処理部８８は、図１６に示すように、出力する文字列を所定文字数、例えば、２０文字ごとに区切り（ステップＳ１４）、透明ディスプレイ１１上で当該文字列を出力する位置を決定する（ステップＳ１５）。

【0066】

そして、表示制御処理部８８は、現在、透明ディスプレイ１１上に出力されている２０文字を消し（ステップＳ１６）、次に２０文字に区切られた文字列を表す文字画像情報ＶＩ１を透明ディスプレイ１１上の決められた位置に出力する（ステップＳ１７）。

【0067】

そして、表示制御処理部８８は、出力する文字がもうないか否かを判定し（ステップＳ１８）、出力する文字がまだあると判定した場合（ステップＳ１８：Ｎｏ）、ステップＳ１６に戻って以降の処理を繰り返し実行する。処理部８０は、表示制御処理部８８によって出力する文字がもうないと判定された場合（ステップＳ１８：Ｙｅｓ）、図１５のステップＳ１に戻って以降の処理を繰り返し実行する。

【0068】

次に、図１７を参照して、ステップＳ８の指向角αの決定フローの一例について説明する。

【0069】

この場合まず、指向角設定処理部８５は、ステップＳ７で対話者特定処理部８４によって輻輳角θに基づいて推定された対話者２００までの距離Ｄが３．５ｍ以上であるかを判定する（ステップＳ２１）。

【0070】

指向角設定処理部８５は、対話者２００までの距離Ｄが３．５ｍ以上であると判定した場合（ステップＳ２１：Ｙｅｓ）、マイク６０の指向角αを７．３６度に決定し（ステップＳ２２）、当該決定フローを終了する。

【0071】

指向角設定処理部８５は、対話者２００までの距離Ｄが３．５ｍ未満であると判定した場合（ステップＳ２１：Ｎｏ）、対話者２００までの距離Ｄが１．２ｍ以上３．５ｍ未満であるかを判定する（ステップＳ２３）。

【0072】

指向角設定処理部８５は、対話者２００までの距離Ｄが１．２ｍ以上３．５ｍ未満であると判定した場合（ステップＳ２３：Ｙｅｓ）、マイク６０の指向角αを２１．２度に決定し（ステップＳ２４）、当該決定フローを終了する。

【0073】

指向角設定処理部８５は、対話者２００までの距離Ｄが１．２ｍ未満であると判定した場合（ステップＳ２４：Ｎｏ）、対話者２００までの距離Ｄが０．４５ｍ以上１．２ｍ未満であるかを判定する（ステップＳ２５）。

【0074】

指向角設定処理部８５は、対話者２００までの距離Ｄが０．４５ｍ以上１．２ｍ未満であると判定した場合（ステップＳ２５：Ｙｅｓ）、マイク６０の指向角αを５３．１度に決定し（ステップＳ２６）、当該決定フローを終了する。

【0075】

指向角設定処理部８５は、対話者２００までの距離Ｄが０．４５ｍ未満であると判定した場合（ステップＳ２５：Ｎｏ）、現状の指向角α（典型的には最大の指向角α）を維持したまま、当該決定フローを終了する。

【0076】

以上で説明したウェアラブル機器１は、マイク６０によって入力された対話者２００の音声を、処理部８０による処理に応じて視覚情報ＶＩに変換する。そして、ウェアラブル機器１は、処理部８０による処理に応じて、頭部１０２に装着された状態で装着者１００の視界に情報を表示可能である表示器本体１０に当該視覚情報ＶＩを表示させる。この結果、ウェアラブル機器１は、例えば、聴覚障害者が対話者２００の言葉を読み取るために当該対話者２００の口元に視線を集中させなくても、リアルタイムに対話者２００の会話内容を知ることができる。

【0077】

以上のように、ウェアラブル機器１は、例えば、通訳者等によらずに、適正にコミュニケーションを補助することができる。この結果、ウェアラブル機器１は、例えば、聴覚障害者におけるコミュニケーションの負担を緩和することができ、聴覚障害者の生活福祉を向上させることができる。

【0078】

また、以上で説明したウェアラブル機器１は、処理部８０が視線検出センサ４０によって検出された装着者１００の視線に基づいて対話者２００を特定し、特定された対話者２００の位置に基づいてマイク６０による集音における指向角αを可変とする処理を実行する。この処理により、ウェアラブル機器１は、特定した対話者２００の位置に応じた適切な指向角αでマイク６０による集音を行うことができるので、対話者２００の位置にかかわらず音声認識率を向上させることができる。この結果、ウェアラブル機器１は、対話者２００の位置にかかわらずより適正にコミュニケーションを補助することができる。

【0079】

より具体的には、以上で説明したウェアラブル機器１は、処理部８０が対話者２００とマイク６０との距離Ｄが相対的に長いほど、指向角αを相対的に小さくし、当該距離Ｄが相対的に短いほど、指向角αを相対的に大きくする。この処理により、ウェアラブル機器１は、装着者１００からの距離Ｄが相対的に短く当該装着者１００の近くに位置する対話者２００の音声を集音するに際には、当該対話者２００の音声を拾い易くすることができる。一方、ウェアラブル機器１は、装着者１００からの距離Ｄが相対的に長く当該装着者１００から離れて位置する対話者２００の音声を集音するに際には、当該対話者２００の周囲のノイズ（例えば、周囲の人物の音声等）を拾い難くすることができる。この結果、ウェアラブル機器１は、上記のように対話者２００がいずれの位置にいる場合であっても、周囲の他の人物の音声等のノイズを拾い難くし、当該対話者２００の音声を拾い易くすることができる。これにより、ウェアラブル機器１は、上記のように、対話者２００の位置にかかわらずより適正にコミュニケーションを補助することができる。

【0080】

ここでは、以上で説明したウェアラブル機器１は、視覚情報ＶＩとして対話者２００の音声に対応した文字列（テキスト）を表す文字画像情報ＶＩ１を含む。これにより、ウェアラブル機器１は、対話者２００の音声に対応した文字列を表す文字画像情報ＶＩ１を、表示器本体１０によって装着者１００の視界に視覚情報ＶＩとして表示させ、対話者２００の音声を字幕表示させることができる。

【0081】

なお、上述した本発明の実施形態に係るウェアラブル機器は、上述した実施形態に限定されず、特許請求の範囲に記載された範囲で種々の変更が可能である。

【0082】

以上の説明では、対話者特定処理部８４は、視線検出センサ４０によって検出された装着者１００の視線に基づいて輻輳角θを算出し、算出した当該輻輳角θに基づいて対話者２００までの距離Ｄを推定するものとして説明したがこれ限らない。対話者特定処理部８４は、例えば、図１８、図１９、図２０に示すように、輻輳角θに基づかずに、外向きカメラ５０によって撮像された画像に基づいて人物の大きさ等から対話者２００までの距離Ｄを推定してもよい。

【0083】

この場合、対話者特定処理部８４は、図１８に示すように、対話者２００を特定した後（ステップＳ５）、外向きカメラ５０によって撮像された画像において、対話者２００の肩幅の画面上の大きさから当該対話者２００までの距離Ｄを算出、推定し、指向角設定処理部８５は、当該距離Ｄからマイク６０の指向角αを決定する（ステップＳ６Ａ）。

【0084】

具体的には、対話者特定処理部８４は、図１９の指向角αの決定フローに例示するように、外向きカメラ５０によって撮像された画像から対話者２００に相当する人物を検出し、外向きカメラ５０のイメージセンサ上の肩幅Ｗの大きさに相当するｐｉｘｅｌ値Ｗ１を検出する（ステップＳ２０Ａ）。

【0085】

ここで、上述したように、人物の肩幅Ｗは、４５～４６ｃｍ程度と略一定なので、例えば、肩幅を固定値＝４５ｃｍと仮定すると、図２０に示すように、対話者特定処理部８４は、対話者２００の肩幅Ｗについて、外向きカメラ５０のイメージセンサ上のｐｉｘｅｌ値Ｗ１を検出することで、対話者２００までの距離Ｄを算出、推定することができる。

【0086】

例えば、外向きカメラ５０のイメージセンサのサイズを１／３インチ、画素数をＶＧＡ（６４０×４８０)、焦点距離Ｆ＝２ｍｍとすると、水平方向の撮影範囲Ｄ１は、対話者２００までの距離Ｄに応じて、下記の数式（２）により求まる。

Ｄ１＝４．８ｍｍ（イメージセンサの幅）×Ｄ／Ｆ ・・・ （２）

【0087】

そして、対話者２００までの距離Ｄが０．４５ｍである場合、水平方向の撮影範囲Ｄ１は、上記の数式（２）より、Ｄ１＝４．８ｍｍ×０．４５ｍ／２ｍｍ＝１．０８ｍとなるので、ｐｉｘｅｌ値Ｗ１は、下記の比例式（３）の関係となる。

０．４５ｍ：１．０８ｍ＝Ｗ１：６４０ｐｉｘｅｌ ・・・ （３）

これにより、対話者２００までの距離Ｄが０．４５ｍである場合は、Ｗ１＝２６７ｐｉｘｅｌとなる。

【0088】

同様にして、対話者２００までの距離Ｄが１．２ｍである場合、水平方向の撮影範囲Ｄ１は、上記の数式（２）より、Ｄ１＝４．８ｍｍ×１．２ｍ／２ｍｍ＝２．８８ｍとなるので、ｐｉｘｅｌ値Ｗ１は、下記の比例式（４）の関係となる。

０．４５ｍ：２．８８ｍ＝Ｗ１：６４０ｐｉｘｅｌ ・・・ （４）

これにより、対話者２００までの距離Ｄが１．２ｍである場合は、Ｗ１＝１００ｐｉｘｅｌとなる。

【0089】

また、対話者２００までの距離Ｄが３．５ｍである場合、水平方向の撮影範囲Ｄ１は、上記の数式（２）より、Ｄ１＝４．８ｍｍ×３．５ｍ／２ｍｍ＝８．４ｍとなるので、ｐｉｘｅｌ値Ｗ１は、下記の比例式（５）の関係となる。

０．４５ｍ：８．４ｍ＝Ｗ１：６４０ｐｉｘｅｌ ・・・ （５）

これにより、対話者２００までの距離Ｄが３．５ｍである場合は、Ｗ１＝３４．３ｐｉｘｅｌとなる。

【0090】

以上を用いて、対話者特定処理部８４は、外向きカメラ５０の画像認識結果から求めた画像上の肩幅Ｗの大きさから、距離Ｄを推定することが可能である。

【0091】

ここでは、対話者特定処理部８４は、ステップＳ２０Ａの後、ステップＳ２０Ａで検出した肩幅Ｗの大きさに相当するｐｉｘｅｌ値Ｗ１が３４．３ｐｉｘｅｌ以下であるか否かを判定する（ステップＳ２１Ａ）。

【0092】

対話者特定処理部８４は、ｐｉｘｅｌ値Ｗ１が３４．３ｐｉｘｅｌ以下であると判定した場合（ステップＳ２１Ａ：Ｙｅｓ）、対話者２００までの距離Ｄが３．５ｍ以上であるものと判定する。そして、指向角設定処理部８５は、マイク６０の指向角αを７．３６度に決定し（ステップＳ２２Ａ）、当該決定フローを終了する。

【0093】

対話者特定処理部８４は、ｐｉｘｅｌ値Ｗ１が３４．３ｐｉｘｅｌより大きいと判定した場合（ステップＳ２１Ａ：Ｎｏ）、当該ｐｉｘｅｌ値Ｗ１が３４．３ｐｉｘｅｌより大きく１００ｐｉｘｅｌ以下であるか否かを判定する（ステップＳ２３Ａ）。

【0094】

対話者特定処理部８４は、ｐｉｘｅｌ値Ｗ１が３４．３ｐｉｘｅｌより大きく１００ｐｉｘｅｌ以下であると判定した場合（ステップＳ２３Ａ：Ｙｅｓ）、対話者２００までの距離Ｄが１．２ｍ以上３．５ｍ未満であるものと判定する。そして、指向角設定処理部８５は、マイク６０の指向角αを２１．２度に決定し（ステップＳ２４Ａ）、当該決定フローを終了する。

【0095】

対話者特定処理部８４は、ｐｉｘｅｌ値Ｗ１が１００ｐｉｘｅｌより大きいと判定した場合（ステップＳ２３Ａ：Ｎｏ）、当該ｐｉｘｅｌ値Ｗ１が１００ｐｉｘｅｌより大きく２６７ｐｉｘｅｌ以下であるか否かを判定する（ステップＳ２５Ａ）。

【0096】

対話者特定処理部８４は、ｐｉｘｅｌ値Ｗ１が１００ｐｉｘｅｌより大きく２６７ｐｉｘｅｌ以下であると判定した場合（ステップＳ２５Ａ：Ｙｅｓ）、対話者２００までの距離Ｄが０．４５ｍ以上１．２ｍ未満であるものと判定する。そして、指向角設定処理部８５は、マイク６０の指向角αを５３．１度に決定し（ステップＳ２６Ａ）、当該決定フローを終了する。

【0097】

対話者特定処理部８４は、ｐｉｘｅｌ値Ｗ１が２６７ｐｉｘｅｌより大きいと判定した場合（ステップＳ２５Ａ：Ｎｏ）、対話者２００までの距離Ｄが０．４５ｍ未満であると判定し、指向角設定処理部８５は、現状の指向角α（典型的には最大の指向角α）を維持したまま、当該決定フローを終了する。

【0098】

以上のように、ウェアラブル機器１は、外向きカメラ５０によって撮像された画像に基づいて対話者２００までの距離Ｄを推定し、当該距離Ｄに基づいてマイク６０の指向角αを設定することもできる。この場合であっても、ウェアラブル機器１は、対話者２００の位置にかかわらず音声認識率を向上させることができ、より適正にコミュニケーションを補助することができる。

【0099】

また、以上の説明では、対話者特定処理部８４は、一例として、装着者１００の視線に加えて、外向きカメラ５０によって撮像された画像に基づいて対話者２００を特定するものとして説明したがこれに限らない。対話者特定処理部８４は、外向きカメラ５０によって撮像された画像を用いず、視線検出センサ４０を介して視線検出処理部８３によって検出された装着者１００の視線の方向や当該視線の方向に応じた輻輳角θに基づいて対話者２００の位置の特定や距離Ｄの推定を簡略化して行うようにしてもよい。例えば、対話者特定処理部８４は、視線の方向や輻輳角θが所定時間、変化しない場合に、このときの視線の方向や輻輳角θに基づいて対話者２００の位置の特定や距離Ｄの推定を行うことができる。この場合、ウェアラブル機器１は、外向きカメラ５０を備えない構成であってもよい。

【0100】

また、以上の説明では、ウェアラブル機器１は、装着者１００の視線を検出して対話者２００の位置を特定するものとして説明したが、そもそも、装着者１００の視線検出を行わない構成であってもよい。この場合、ウェアラブル機器１は、視線検出センサ４０を備えない構成であってもよく、処理部８０は、対話者２００までの距離Ｄにかかわらずマイク６０の指向角αを固定してマイク６０による集音を行うようにしてもよい。

【0101】

また、以上の説明では、透明ディスプレイ１１によって装着者１００の視界に表示する視覚情報ＶＩは、文字画像情報ＶＩ１を含むものとして説明したがこれ限らない。当該視覚情報ＶＩは、例えば、図２１に示すように、対話者２００の音声に対応した手話を表す手話動画像情報ＶＩ２を含むものであってもよい。この場合、変換処理部８７は、音声認識した対話者２００の音声を、対話者２００の音声に対応した手話に関する情報に変換し、視覚情報ＶＩとして、当該手話を表す手話動画像情報ＶＩ２を生成する。表示制御処理部８８は、対話者２００の音声に対応した視覚情報ＶＩとして、当該音声に対応した手話を表す手話動画像情報ＶＩ２を、透明ディスプレイ１１によって装着者１００の視界に表示させる。これにより、ウェアラブル機器１は、対話者２００の音声に対応した手話を表す手話動画像情報ＶＩ２を、表示器本体１０によって装着者１００の視界に視覚情報ＶＩとして表示させ、例えば、手話通訳ロボットをオーバーレイ表示させることができる。

【0102】

以上で説明した処理部８０は、単一のプロセッサによって各処理機能が実現されるものとして説明したがこれに限らない。処理部８０は、複数の独立したプロセッサを組み合わせて各プロセッサがプログラムを実行することにより各処理機能が実現されてもよい。また、処理部８０が有する処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。また、処理部８０が有する処理機能は、その全部又は任意の一部をプログラムにて実現してもよく、また、ワイヤードロジック等によるハードウェアとして実現してもよい。

【0103】

本実施形態に係るウェアラブル機器は、以上で説明した実施形態、変形例の構成要素を適宜組み合わせることで構成してもよい。

【符号の説明】

【0104】

１ ウェアラブル機器
１０ 表示器本体
１１ 透明ディスプレイ
１１Ｌ 左ディスプレイ
１１Ｒ 右ディスプレイ
１２ フレーム
２０ 電源
３０ 装着センサ
４０ 視線検出センサ（視線検出部）
４１ 内向きカメラ
５０ 外向きカメラ
６０ マイク（音声入力部）
７０ 記憶部
８０ 処理部
８１ 装着検出処理部
８２ 電源制御処理部
８３ 視線検出処理部
８４ 対話者特定処理部
８５ 指向角設定処理部
８６ 音声入力処理部
８７ 変換処理部
８８ 表示制御処理部
１００ 装着者
１０１ 人体
１０２ 頭部
２００、２００Ａ、２００Ｂ 対話者
Ｄ 距離
ＶＩ 視覚情報
ＶＩ１ 文字画像情報
ＶＩ２ 手話動画像情報
α 指向角
θ 輻輳角

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】