特開 2023-90200 手話学習装置、手話学習方法及び手話学習用プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023090200

(43)【公開日】2023-06-29

(54)【発明の名称】手話学習装置、手話学習方法及び手話学習用プログラム

(51)【国際特許分類】

   G09B 21/00 20060101AFI20230622BHJP

   G06T 19/00 20110101ALI20230622BHJP

   G06F 3/01 20060101ALI20230622BHJP

   H04N 7/18 20060101ALI20230622BHJP

   G09B 19/00 20060101ALI20230622BHJP

【ＦＩ】

G09B21/00 F

G06T19/00 A

G06F3/01 570

H04N7/18 R

G09B19/00 Z

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2021205038

(22)【出願日】2021-12-17

(71)【出願人】

【識別番号】505082110

【氏名又は名称】株式会社ＪＲ東日本情報システム

(71)【出願人】

【識別番号】000221616

【氏名又は名称】東日本旅客鉄道株式会社

(71)【出願人】

【識別番号】519025596

【氏名又は名称】株式会社ホロラボ

(74)【代理人】

【識別番号】110001612

【氏名又は名称】弁理士法人きさらぎ国際特許事務所

(72)【発明者】

【氏名】齋藤 由希

(72)【発明者】

【氏名】間瀬 和夫

(72)【発明者】

【氏名】石山 暁業

【テーマコード（参考）】

5B050

5C054

5E555

【Ｆターム（参考）】

5B050AA06

5B050BA04

5B050BA06

5B050BA09

5B050BA12

5B050BA18

5B050BA20

5B050CA01

5B050DA01

5B050EA07

5B050EA19

5B050EA26

5B050FA02

5B050FA05

5B050FA13

5C054CA04

5C054CD03

5C054CE11

5C054FA07

5C054FC12

5C054FD02

5C054FE11

5C054HA16

5E555AA07

5E555AA08

5E555BA02

5E555BA05

5E555BA06

5E555BA08

5E555BB02

5E555BB05

5E555BB06

5E555BB08

5E555BC04

5E555BE17

5E555CA42

5E555CB66

5E555CC01

5E555DA08

5E555DB57

5E555DC09

5E555EA22

5E555FA00

(57)【要約】

【課題】一人称視点で手話を学習可能な手話学習装置、手話学習方法及び手話学習用プログラムを提供する。
【解決手段】ユーザの頭部に装着可能かつ、ユーザの手を視認可能に構成された手話学習装置であって、ユーザの視界内に手話の模範モデルを表示可能に構成されており、模範モデルは、ユーザ視点のユーザ視点模範モデルを含む。模範モデルを立体的に表示可能に構成されている。模範モデルは、第三者視点の第三者視点模範モデルを更に含み、ユーザ視点のユーザ視点模範モデルと、第三者視点模範モデルとを同時に表示可能に構成されている。
【選択図】図１

【特許請求の範囲】

【請求項1】

ユーザの頭部に装着可能かつ、前記ユーザの手を視認可能に構成された手話学習装置であって、
前記ユーザの視界内に手話の模範モデルを表示可能に構成されており、
前記模範モデルは、ユーザ視点のユーザ視点模範モデルを含む
ことを特徴とする手話学習装置。

【請求項2】

前記模範モデルを立体的に表示可能に構成されている
ことを特徴とする請求項１に記載の手話学習装置。

【請求項3】

前記模範モデルは、第三者視点の第三者視点模範モデルを更に含み、
前記ユーザ視点模範モデルと、前記第三者視点模範モデルとを同時に表示可能に構成されている
ことを特徴とする請求項１又は２に記載の手話学習装置。

【請求項4】

前記ユーザの視界内に学習対象の一覧表を表示可能に構成されると共に、前記一覧表の中から選択された前記学習対象に対応した前記模範モデルを表示可能に構成されている
ことを特徴とする請求項１～３のいずれか１項に記載の手話学習装置。

【請求項5】

前記ユーザの手の形を検出可能な検出部と、
手話の手の形の正解データを格納する記憶部と、
前記正解データと、前記検出部が検出した前記ユーザの前記手の形との一致度を判定可能に構成された判定部と
を備え、
前記模範モデルの表示処理と、前記一致度の判定処理とを独立して実行可能に構成されている
ことを特徴とする請求項１～４のいずれか１項に記載の手話学習装置。

【請求項6】

前記判定部は、前記ユーザの前記手を複数の領域に分割し、前記ユーザの前記手の各領域の座標と、該領域に対応する前記正解データの座標とを比較することで前記一致度を判定する
ことを特徴とする請求項５に記載の手話学習装置。

【請求項7】

前記一致度に基づいて前記ユーザの前記手の形の正誤を判定可能な正誤判定モードを有しており、
前記正誤の判定閾値を変更可能に構成されている
ことを特徴とする請求項５又は６に記載の手話学習装置。

【請求項8】

前記判定部は、前記正誤判定モードにおいて、前記正誤の前記判定閾値を所定時間上回った場合、正解判定をするよう構成されている
ことを特徴とする請求項７に記載の手話学習装置。

【請求項9】

前記ユーザの視界内に前記所定時間の経過状況を表示可能に構成されている
ことを特徴とする請求項８に記載の手話学習装置。

【請求項10】

前記正誤判定モードにおいて、前記模範モデルを非表示状態に変更可能に構成されている
ことを特徴とする請求項７～９のいずれか１項に記載の手話学習装置。

【請求項11】

ユーザ視点の画像及び映像の少なくとも一つを撮影する可視光カメラを備え、
前記検出部は、前記可視光カメラが撮影した画像、又は映像から前記ユーザの手の形を検出可能に構成されている
ことを特徴とする請求項５～１０のいずれか１項に記載の手話学習装置。

【請求項12】

前記模範モデルの表示サイズを変更可能に構成されている
ことを特徴とする請求項１～１１のいずれか１項に記載の手話学習装置。

【請求項13】

前記模範モデルを回転可能に構成されている
ことを特徴とする請求項１～１２のいずれか１項に記載の手話学習装置。

【請求項14】

ユーザの手を視認可能に構成された手話学習方法であって、
前記ユーザの視界内に手話の模範モデルを表示可能に構成されている
ことを特徴とする手話学習方法。

【請求項15】

ユーザの視界内に手話の模範モデルを表示させるモデル表示処理を制御部に実行させる
ことを特徴とする手話学習用プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、手話学習装置、手話学習方法及び手話学習用プログラムに関する。

【背景技術】

【0002】

従来、ユーザが映るユーザ映像を逐次取得し、逐次取得された前記ユーザ映像に映る前記ユーザの動きを逐次検出し、逐次検出された前記ユーザの動きに応じて、動きの手本を表す手本映像の再生開始及び再生速度を制御し、前記制御された前記手本映像と、前記ユーザ映像とが表示装置に表示されるように制御する処理をコンピュータが実行する映像制御方法がある（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－１２９６５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

また、上述した映像制御方法を用いた映像表示システムとして、カメラと、映像制御装置と、表示装置とを備える映像表示システムが知られている。この映像表示システムの表示装置は、ヘッドマウントディスプレイであり、表示装置には、カメラで撮影したユーザ映像に対して手本映像が重畳表示された映像が表示される。

【0005】

しかしながら、従来の映像制御方法及び映像表示システムでは、第三者視点から撮影したユーザ映像と手本映像を重畳表示するため、表示装置に表示される映像が鏡のように反転した第三者視点の映像となり、一人称視点で学習することができないという問題がある。

【0006】

本発明はこのような課題に鑑みなされたものであり、一人称視点で手話を学習可能な手話学習装置、手話学習方法及び手話学習用プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明に係る手話学習装置は、ユーザの頭部に装着可能かつ、前記ユーザの手を視認可能に構成された手話学習装置であって、前記ユーザの視界内に手話の模範モデルを表示可能に構成されており、前記模範モデルは、ユーザ視点のユーザ視点模範モデルを含むことを特徴とする。

【0008】

本発明に係る手話学習装置は、前記模範モデルを立体的に表示可能に構成されてもよい。

【0009】

本発明に係る手話学習装置において、前記模範モデルは、第三者視点の第三者視点模範モデルを更に含み、ユーザ視点模範モデルと、前記第三者視点模範モデルとを同時に表示可能に構成されてもよい。

【0010】

本発明に係る手話学習装置は、前記ユーザの視界内に学習対象の一覧表を表示可能に構成されると共に、前記一覧表の中から選択された前記学習対象に対応した前記模範モデルを表示可能に構成されてもよい。

【0011】

本発明に係る手話学習装置は、前記ユーザの手の形を検出可能な検出部と、手話の手の形の正解データを格納する記憶部と、前記正解データと、前記検出部が検出した前記ユーザの前記手の形との一致度を判定可能に構成された判定部とを備え、前記模範モデルの表示処理と、前記一致度の判定処理とを独立して実行可能に構成されてもよい。

【0012】

本発明に係る手話学習装置において、前記判定部は、前記ユーザの前記手を複数の領域に分割し、前記ユーザの前記手の各領域の座標と、該領域に対応する前記正解データの座標とを比較することで前記一致度を判定してもよい。

【0013】

本発明に係る手話学習装置は、前記一致度に基づいて前記ユーザの前記手の形の正誤を判定可能な正誤判定モードを有しており、前記正誤の判定閾値を変更可能に構成されてもよい。

【0014】

本発明に係る手話学習装置において、前記判定部は、前記正誤判定モードにおいて、前記正誤の前記判定閾値を所定時間上回った場合、正解判定をするよう構成されてもよい。

【0015】

本発明に係る手話学習装置は、前記ユーザの視界内に前記所定時間の経過状況を表示可能に構成されてもよい。

【0016】

本発明に係る手話学習装置は、前記正誤判定モードにおいて、前記模範モデルを非表示状態に変更可能に構成されてもよい。

【0017】

本発明に係る手話学習装置は、ユーザ視点の画像及び映像の少なくとも一つを撮影する可視光カメラを備え、前記検出部は、前記可視光カメラが撮影した画像、又は映像から前記ユーザの手の形を検出可能に構成されてもよい。

【0018】

本発明に係る手話学習装置は、前記模範モデルの表示サイズを変更可能に構成されてもよい。

【0019】

本発明に係る手話学習装置は、前記模範モデルを回転可能に構成されてもよい。

【0020】

本発明に係る手話学習方法は、ユーザの手を視認可能に構成された手話学習方法であって、前記ユーザの視界内に手話の模範モデルを表示可能に構成されていることを特徴とする。

【0021】

本発明に係る手話学習用プログラムは、ユーザの視界内に手話の模範モデルを表示部に表示させるモデル表示処理を制御部に実行させることを特徴とする。

【発明の効果】

【0022】

本発明によれば、一人称視点で手話を学習可能な手話学習装置、手話学習方法及び手話学習用プログラムを提供することが可能となる。

【図面の簡単な説明】

【0023】

【図1】本発明の実施形態に係る手話学習装置を示す概略図

【図2】本実施形態に係る手話学習装置を示す機能ブロック図

【図3】本実施形態に係る表示部の一例を示す概略図

【図4】本実施形態に係る一致度判定を示すイメージ図

【図5】本実施形態に係る一致度判定方法を示す概略図

【図6】本実施形態に係る一致度判定方法を示す概略図

【図7】本実施形態に係る一致度判定方法を示す概略図

【図8】本実施形態に係る練習モードを示す概略図

【図9】本実施形態に係る閾値変更を示す概略図

【図10】本実施形態に係る指文字模範モデルを示す概略図

【図11】本実施形態に係る動的模範モデルを示す概略図

【図12】本実施形態に係る模範モデルの拡大方法を示す概略図

【図13】本実施形態に係る模範モデルの回転方法を示す概略図

【図14】本実施形態に係る暗記確認モードを示す概略図

【図15】本実施形態に係る手話学習方法の一例を示すフローチャート

【発明を実施するための形態】

【0024】

以下、本発明を実施するための最良の実施形態について、図面を用いて説明する。なお、以下の実施形態は、各請求項に係る発明を限定するものではなく、また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。また、図面は、本発明を示すために適宜強調や省略、比率の調整を行った模式的な図となっており、実際の形状や位置関係、比率とは異なる場合がある。

【0025】

［本実施形態に係る手話学習装置の構成］
まず、図１～図３を参照して、本発明の実施形態に係る手話学習装置１を概説する。本実施形態に係る手話学習装置１は、概略的には、図１に示すように、ユーザの頭部に装着可能かつ、ユーザの手２を視認可能に構成された手話学習装置であって、図３に示すように、ユーザの視界内に手話の模範モデル３を表示可能に構成されており、模範モデル３は、ユーザ視点のユーザ視点模範モデル３ａを含む。手話学習装置１は、図１に示すように、ユーザが手話学習装置１を装着した際にユーザの視界前方に配置される表示部１０と、制御部２０とを備える。また、手話学習装置１は、図２に示すように、手話の手の形の正解データ３４を格納する記憶部３０と、複数台の可視光カメラ４０と、深度センサ５０と、慣性計測装置（ＩＭＵ： ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）６０とを更に備える。模範モデル３は、図３に示すように、第三者視点の第三者視点模範モデル３ｂを更に含む。

【0026】

以下、本明細書において、模範モデル３は、明示する場合を除き、ユーザ視点模範モデル３ａと、第三者視点の第三者視点模範モデル３ｂを含む。また、模範モデル３は、指文字の模範モデルである指文字模範モデルと、後述する動的模範モデルの双方を含む。

【0027】

可視光カメラ４０は、レンズ及びイメージセンサが１つずつ配されており、図１に示すように、ユーザの視界の全体又は一部を撮影範囲として撮影可能となるように表示部１０の上方に配置されている。本実施形態において、手話学習装置１は、４台の可視光カメラ４０を備え、正面方向の左右に２台ずつ配置されているが、これに限定されず、可視光カメラ４０の台数及び配置は、種々の任意の構成を採用可能である。なお、可視光カメラ４０は、種々の公知の構成を採用可能であるため、その詳細な説明を省略する。

【0028】

深度センサ５０は、深度計測が可能なステレオビジョンの深度カメラを含み、現実空間の３次元構造を計測し、取得可能に構成されている。なお、深度センサ５０は、種々の公知の構成を採用可能であるため、その詳細な説明を省略する。

【0029】

慣性計測装置６０は、加速度計と、ジャイロスコープと、磁力計とを含む。慣性計測装置６０は、３軸の角度（又は角速度）と加速度を検出し、手話学習装置１の挙動を計測可能に構成されている。なお、慣性計測装置６０は、種々の公知の構成を採用可能であるため、その詳細な説明を省略する。

【0030】

表示部１０は、光学投影システムを採用した透過型ホログラフィックレンズで構成されている。表示部１０は、ユーザの視界を覆うように配置された透過ディスプレイとなっており、ユーザは、表示部１０を介して自身の手２の形状及び動きを確認することができる。また、表示部１０は、図３に示すように、あたかもユーザの視界に重畳しているようにホログラムとして模範モデル３や、学習対象の一覧表４等を表示することができる。

【0031】

制御部２０は、図２に示すように、表示制御部２２と、自己位置推定処理部２４と、ユーザの手２を検出可能な検出部２６と、判定部２８とを備える。表示制御部２２は、表示部１０に表示される情報を制御する。表示制御部２２は、例えば、記憶部３０から後述する指文字模範モデルデータ３２等を読み出し、表示部１０に表示させる。

【0032】

このような構成を備える表示制御部２２は、例えば、模範モデル３として、指文字模範モデルや、動きのある動的模範モデルを表示部１０に表示可能に構成されている。このような構成を備えることにより、手の形だけでなく、挨拶等の動きのある手話の動作も確認できるという利点を有している。また、表示制御部２２は、後述する正誤判定モードにおいて、模範モデル３を非表示状態に変更可能に構成されている。以下、本明細書において、「動的模範モデル」とは、動きのある手話の模範モデルであることを意味し、例えば、挨拶等の日常単語、５０音の濁音・半濁音等を表現するものとする。

【0033】

自己位置推定処理部２４は、可視光カメラ４０、深度センサ５０及び慣性計測装置６０からユーザの周囲の映像と距離情報を取得し、手話学習装置１の自己位置を推定するＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）処理を実行する。このような構成を備えることにより、現実空間の識別が可能となり、ユーザが移動しても模範モデル３を仮想空間の特定の位置に固定できる。そのため、ユーザには、模範モデル３が現実空間にあたかも固定されているかのように見える。例えば、ユーザは、模範モデル３の正面位置から移動して回り込むことで模範モデル３を横方向や、反対方向から確認することができる。

【0034】

検出部２６は、可視光カメラ４０が撮影した画像、又は映像からユーザの手２の形を検出可能に構成されている。具体的には、検出部２６は、可視光カメラ４０で撮影した左右の映像のステレオマッチング処理と、深度センサ５０の測定情報とを組み合わせることで、空間の立体形状を認識し、ユーザの手２の形状と動きを検出する。このような構成を備えることにより、ユーザの身体にマーカを取り付けたり、ユーザがコントローラを持ったりせずに、モーションキャプチャ（ｍｏｔｉｏｎ ｃａｐｔｕｒｅ）が可能となる。

【0035】

特に手話の学習においては、手の形が重要であるため、コントローラを持って操作をし、ユーザの動きを認識するデバイスでは、手話の学習が困難であった。また、手話学習装置１は、このような構成を備えることにより、ハンドトラッキングが可能であるため、所定のジェスチャー等のモーションで操作することができ、一覧表４から学習対象を選択する操作や、設定等の操作をユーザが直感的に行うことができる。

【0036】

判定部２８は、図４に示すように、正解データ３４と、検出部２６が検出したユーザの手２の形との一致度を判定可能に構成されている。判定部２８は、検出部２６が検出したユーザの手２を複数の領域に分割し、ユーザの手２の各領域の座標と、該領域に対応する正解データ３４の座標とを比較することで一致度を判定する。

【0037】

具体的には、判定部２８は、検出部２６が検出したユーザの手２と、正解データ３４を比較することで、一致度を判定する。判定部２８は、図５に示すように、ユーザの手２を２５の領域に分割し、そのうちの手指部分の１９箇所の領域の３次元座標を正解データ３４の座標データと比較する。以下、この方法について詳述する。

【0038】

まず、ユーザの手２の第１の領域（１）の座標と、図６に示す正解データ３４の第１の領域（１）′の座標の比を取り、第１の領域のｘ座標、ｙ座標、ｚ座標の正誤率をそれぞれ求める。次に求めたｘ，ｙ，ｚ座標の正誤率の平均値を計算し、これを第１の領域の正誤率とする。そして、図７に示すように、同様に第１の領域から第１９の領域の正誤率をそれぞれ計算し、最後に１９箇所の正誤率の平均値を求める。この平均値を手全体の正誤率として一致度を判定する。例えば、図７に示す例の場合、手全体の正誤率は、７８％となる。このような判定部２８を備えることにより、手話学習装置１は、模範モデル３の表示処理と、一致度の判定処理とを独立して実行可能に構成されている。

【0039】

本実施形態において、判定部２８は、手全体の正誤率が予め定められた正誤の判定閾値を所定時間（例えば、２秒間）、上回った場合、すなわち、正しい手の形が所定時間維持された場合に、正解判定をするよう構成されている。なお、所定時間は、上述した例に限定されず、様々な任意の時間を採用可能である。このような構成を備えることにより、手話学習装置１は、指文字の基本形や、挨拶、日常単語、日常会話等の手話の正誤判定ができる。

【0040】

また、手話学習装置１は、図８に示すように、所定時間の経過状況をカウンタ７として表示部１０に表示可能に構成されている。カウンタ７は、ユーザが所定時間を視覚的に認識可能な構成であれば、図８に示す、ゲージが稼働する演出を表示するものに限定されず、時間をカウントする演出を表示するもの等種々の任意の構成を採用可能である。

【0041】

判定部２８が判定した一致度は、図８に示すように、一致度表示９として、表示部１０に表示され、ユーザは、判定結果を確認することができる。また、図８及び図９に示すように、判定部２８が一致度を判定するための正誤の判定閾値は、設定ウインドウ５上で変更可能に構成されている。判定部２８が判定した一致度が設定された判定閾値を超えていた場合、すなわち、ユーザの手２の形が正しい場合、図９に示すように、“Ｇｏｏｄ”、“ＯＫ”、“正解”等の正解判定表示８が表示される。

【0042】

記憶部３０は、ユーザインターフェース３１と、指文字模範モデルデータ３２と、動的模範モデルデータ３３と、正解データ３４と、一覧表データ３５と、取得データ３６と、手話学習用プログラム３７とを格納する。ユーザインターフェース３１は、手話学習装置１のＯＳ（オペレーティングシステム：Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や、表示部１０に表示されるＧＵＩ（グラフィカルユーザインターフェース：Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等の手話学習装置１の動作に必要な種々のプログラムを含む。

【0043】

指文字模範モデルデータ３２は、図１０に示すように、表示部１０に表示される指文字の模範モデル３の３Ｄデータである。本実施形態において、指文字模範モデルデータ３２は、ＮＰＯ法人手話技能検定協会が定める手話技能検定７級に相当する５０音及び数字の指文字の基本形（濁音、半濁音などの動きのある手話を含まない）の３Ｄモデルである。

【0044】

動的模範モデルデータ３３は、図１１に示すように、例えば、“ありがとう”、“こんにちは”、等の挨拶や、“わたし”、“あなた”等の表示部１０に表示される日常単語等の模範モデル３の３Ｄデータである。動的模範モデルデータ３３は、身体のどの位置でどのように手を動かせばいいかユーザが動作を確認できるように、人の身体の手以外の部分も含めた３Ｄデータとなっている。

【0045】

指文字模範モデルデータ３２及び動的模範モデルデータ３３は、種々の公知のモーションキャプチャにより、手本となるユーザの手話から取得した３Ｄデータであってもよいし、３Ｄスキャナー等で手本となるユーザの手話をスキャンし、３Ｄデータとして取り込んだものでもよいし、ＣＡＤや３ＤＣＧソフトでモデリングされた３Ｄデータであってもよい。

【0046】

正解データ３４は、制御部２０の判定部２８が、一致度を判定するための座標データを含む。具体的には、正解データ３４は、指文字模範モデルデータ３２及び動的模範モデルデータ３３の各学習対象に対応する座標データを含む。本実施形態において、正解データ３４の座標データは、指文字模範モデルデータ３２及び動的模範モデルデータ３３とは別に用意した理想的な手話の手の形の座標データであるが、これに限定されない。正解データ３４の座標データは、指文字模範モデルデータ３２及び動的模範モデルデータ３３から取得したデータでもよい。

【0047】

一覧表データ３５は、表示部１０に表示される学習対象の一覧表４のデータであり、図３に示すように、例えば、指文字模範モデルデータ３２の一覧を示す５０音表及び数字の一覧表４ａや、動的模範モデルデータ３３の一覧を示す一覧表４ｂのデータである。

【0048】

取得データ３６は、可視光カメラ４０が撮影した画像及び映像や、深度センサ５０が計測した３次元構造データ、慣性計測装置６０の計測データ等の手話学習装置１の各部が取得したあらゆるデータを含む。

【0049】

手話学習用プログラム３７は、ユーザの視界内（表示部１０）に手話の模範モデル３を表示させるモデル表示処理を制御部２０に実行させる。また、手話学習用プログラム３７は、現実空間の識別し、手話学習装置１の位置を推定する自己位置推定処理と、ユーザの手２の形状や動きを検出するユーザ検出処理と、表示した模範モデル３に対応する正解データ３４の座標データを読み出す座標データ読み出し処理と、正解データ３４と検出したユーザの手２との一致度を判定する一致度判定処理と、判定した一致度から正誤判定をする正誤判定処理と、判定した一致度及び正誤を表示部１０に表示させる判定表示処理とを制御部２０に実行させる。さらに、手話学習用プログラム３７は、学習対象の一覧表４を表示部１０に表示させる一覧表表示処理を制御部２０に実行させる。

【0050】

以上の構成を備える手話学習装置１は、図３に示すように、手話の模範モデル３を表示部１０に立体的に表示可能に構成されている。また、手話学習装置１は、ユーザ視点模範モデル３ａと、第三者視点模範モデル３ｂとを同時に表示可能に構成されている。

【0051】

さらに、手話学習装置１は、図９に示すように、表示部１０に学習対象の一覧表４を表示可能に構成されている。手話学習装置１は、ユーザが一覧表４の中から学習したい学習対象をジェスチャーや視線入力等で選択することで、表示部１０に一覧表４の中から選択された学習対象に対応した模範モデル３を表示可能に構成されている。

【0052】

また、手話学習装置１は、複数の模範モデル３を規則的又は不規則的に順番に表示可能に構成されており、ユーザが一覧表４から学習対象を選択しなくても自動的に次の模範モデル３を表示できる。このような構成を備えることにより、ユーザが手動で選択しなくても複数の模範モデル３を表示し、確認できるという利点を有している。例えば、５０音順に模範モデル３を順次表示して確認することや、ランダム形式で模範モデル３を表示して確認することができる。

【0053】

模範モデル３は、ユーザのジェスチャーによって模範モデル３の表示サイズを変更可能に構成されている。例えば、ユーザが２本の指で模範モデル３をつまむように動かすジェスチャー、所謂、ピンチイン、ピンチアウト動作をすることで模範モデル３を縮小拡大できる。また、模範モデル３の表示サイズは、図１２に示すように、設定ウインドウ５上で変更することも可能である。

【0054】

さらに、模範モデル３は、表示部１０上で回転可能に構成されており、ユーザが立ち位置を移動しなくても模範モデル３を様々な方向から確認することができる。例えば、ユーザが模範モデル３を回すジェスチャーをすることで、模範モデル３を回転させることができる。また、図１３のように、模範モデル３の周囲に回転用アイコン６を表示し、回転用アイコン６を操作するジェスチャーによって模範モデル３を回転させることもできる。なお、回転用アイコン６は、図１３に示す形状に限定されず、四角形や円形の台座のようなオブジェクト等種々の任意の形状を採用可能である。

【0055】

模範モデル３の表示位置は、ユーザが模範モデル３を掴んで移動させるジェスチャーをすることで、自由な位置に配置できる。

【0056】

表示部１０に表示されている一覧表４は、図１０及び図１１に示すように、表示部１０に表示される模範モデル３に合わせて一覧表４の該当する学習対象を強調表示可能に構成されている。強調表示は、例えば、一覧表４内の学習対象の色が変化したり、色が反転したり、点滅したりする。このような構成を備えることにより、ユーザが現在学習している学習対象を把握しやすくなるという利点を有している。

【0057】

本実施形態に係る手話学習装置１は、制御部２０の判定部２８が判定する一致度に基づいてユーザの手２の形の正誤を判定可能な正誤判定モードを有している。正誤判定モードは、図９に示すように、模範モデル３を表示部１０に表示した状態でユーザの手２の形の正誤を判定可能な練習モードと、図１４に示すように、模範モデル３を表示部１０に表示しない状態でユーザの手２の形の正誤を判定可能な暗記確認モードとを有している。

【0058】

練習モードは、規則的に学習対象の模範モデル３が表示部１０に順次表示され、表示されている模範モデル３に合わせて一覧表４の該当する学習対象が強調表示される。暗記確認モードは、表示部１０に模範モデル３が表示されず、規則的に又は、不規則に一覧表４の学習対象が強調表示される。

【0059】

［手話学習方法の説明］
本実施形態に係る手話学習装置１を用いた手話学習方法について図１５を参照して説明する。図１５は、本実施形態に係る手話学習装置１を用いた手話学習の手順の一例を示すフローチャートである。本実施形態に係る手話学習方法は、概略的には、ユーザの手２を視認可能に構成された手話学習方法であって、ユーザの視界内に手話の模範モデル３を表示可能に構成されている。

【0060】

また、手話学習方法は、表示部１０に模範モデル３を表示させるモデル表示工程と、表示した模範モデル３に対応する正解データ３４の座標データを読み出す座標データ読み出し工程と、可視光カメラ４０で現実空間を撮影する画像取得工程と、取得した画像からユーザの手２を検出するユーザ検出工程と、正解データ３４と検出したユーザの手２との一致度を判定する一致度判定工程と、判定した一致度から正誤判定をする正誤判定工程と、表示部１０に判定した一致度及び正誤を表示する判定表示工程とを備える。

【0061】

以下この方法について詳述する。なお、以下の説明において、学習対象となる手話は、５０音や数字等の指文字であり、正誤判定モードの練習モードで学習するものとする。

【0062】

まず、制御部２０の表示制御部２２は、記憶部３０の指文字模範モデルデータ３２から学習対象となる模範モデル３（例えば、“あ”の模範モデル）の３Ｄデータを読み出し、表示部１０に読み出した模範モデル３を表示させる（図１５のＳ１：モデル表示工程）。模範モデル３の表示と同時に、又は、その後、制御部２０の判定部２８は、記憶部３０の正解データ３４から表示されている模範モデル３に対応する座標データ（例えば、“あ”の座標データ）を読み出す（図１５のＳ２：座標データ読み出し工程）。

【0063】

ユーザが表示された模範モデル３を確認し、模倣した後、可視光カメラ４０と深度センサ５０の深度カメラがユーザの手２を含む現実空間の画像を撮影、若しくは、映像を撮影し、記憶部３０の取得データ３６に記録する（図１５のＳ３：画像取得工程）。その後、制御部２０の検出部２６は、撮影された画像若しくは、映像からユーザの手２を検出する（図１５のＳ４：ユーザ検出工程）。

【0064】

次に、制御部２０の判定部２８は、検出部２６が検出したユーザの手２を複数の領域に分割し、各領域の座標と、座標データ読み出し工程で読み出した模範モデル３に対応する正解データ３４の座標データとを比較することで、一致度を判定する（図１５のＳ５：一致度判定工程）。また、判定部２８は、判定した一致度が正誤の判定閾値を超えているか否かを判定する（正誤判定工程）。そして、制御部２０の表示制御部２２は、判定部２８の判定結果として、一致度表示９を表示部１０に表示させる（図１５のＳ６：判定表示工程）。

【0065】

一致度が正誤の判定閾値の以下であった場合（図１５のＳ７にてＮＯ）、画像取得工程から一致度表示工程までを繰り返す。一致度が所定時間（例えば、２秒間）正誤の判定閾値以上であった場合（図１５のＳ７にてＹＥＳ）、学習対象の学習を終了する。以上の工程により、本実施形態に係る手話学習装置１による一連の手話学習方法が実行される。

【0066】

［本実施形態に係る手話学習装置、手話学習方法及び手話学習用プログラムの利点］
以上説明したように、本実施形態に係る手話学習装置１は、ユーザの頭部に装着可能かつ、ユーザの手２を視認可能に構成された手話学習装置であって、ユーザの視界内に手話の模範モデル３を表示可能に構成されており、模範モデル３は、ユーザ視点のユーザ視点模範モデル３ａを含む。

【0067】

そして、本実施形態に係る手話学習装置１は、このような構成を備えることにより、ユーザの手２を視認可能な状態で模範モデル３が表示されるため、一人称視点で手話を学習することができるという利点を有している。

【0068】

また、本実施形態に係る手話学習装置１は、模範モデル３を立体的に表示可能に構成されている。このような構成を備えることにより、指の曲げ具合等の細かい部分まで手話の形を確認できるという利点を有している。

【0069】

さらに、本実施形態に係る手話学習装置１において、模範モデル３は、第三者視点の第三者視点模範モデル３ｂを更に含み、ユーザ視点模範モデル３ａと、第三者視点模範モデル３ｂとを同時に表示可能に構成されている。このような構成を備えることにより、ユーザ視点模範モデル３ａに加え、通常のテキストや動画教材のような第三者視点模範モデル３ｂも表示することで、手話の形を確認しやすくなるという利点を有している。

【0070】

またさらに、本実施形態に係る手話学習装置１は、ユーザの視界内に学習対象の一覧表４を表示可能に構成されると共に、一覧表４の中から選択された学習対象に対応した模範モデル３を表示可能に構成されている。このような構成を備えることにより、直感的な操作が可能であり、一覧表４から簡単に確認したい模範モデル３を選択し、表示できるという利点を有している。

【0071】

またさらに、本実施形態に係る手話学習装置１は、ユーザの手２の形を検出可能な検出部２６と、手話の手の形の正解データ３４を格納する記憶部３０と、正解データ３４と、検出部２６が検出したユーザの手２の形との一致度を判定可能に構成された判定部２８とを備え、模範モデル３の表示処理と、一致度の判定処理とを独立して実行可能に構成されている。このような構成を備えることにより、ユーザ自身が手話の正誤を主観で判断するだけでなく、客観的に評価することができるという利点を有している。また、模範モデル３を表示するための指文字模範モデルデータ３２及び動的模範モデルデータ３３とは別に一致度を判定するための正解データ３４が記憶部３０に格納されており、模範モデル３の表示処理と一致度の判定処理をそれぞれ独立して実行することで、模範モデル３の滑らかな描画と並行しての一致度判定が容易になるという利点を有している。

【0072】

また、本実施形態に係る手話学習装置１において、判定部２８は、ユーザの手２を複数の領域に分割し、ユーザの手２の各領域の座標と、該領域に対応する正解データ３４の座標とを比較することで一致度を判定する。このような構成を備えることにより、指の各関節の曲がり具合等の手話の手の形の細かいポイントまで比較でき、より正確に手話を学習できるという利点を有している。

【0073】

さらに、本実施形態に係る手話学習装置１は、一致度に基づいてユーザの手２の形の正誤を判定可能な正誤判定モードを有しており、正誤の判定閾値を変更可能に構成されている。このような構成を備えることにより、ユーザの学習レベルに合わせて正誤判定モードの難易度を変更できるという利点を有している。

【0074】

またさらに、本発明に係る手話学習装置１において、判定部２８は、正誤判定モードにおいて、正誤の判定閾値を所定時間上回った場合、正解判定をするよう構成されている。このような構成を備えることにより、所定時間正しい手の形を維持しなければならず、また、瞬時に次の学習対象に切り替わることがないため、ユーザが正しい手の形を確認する時間を設けることができ、正確な手話をより覚えやすくなるという利点を有している。

【0075】

また、本発明に係る手話学習装置１は、ユーザの視界内に所定時間の経過状況を表示可能に構成されている。このような構成を備えることにより、ユーザがどれくらいの時間正しい手の形を維持すればよいかを把握することができるという利点がある。また、次の学習対象に切り替わるまでに残りどれだけの時間現在取り組んでいる学習対象の確認ができるかを確認できるという利点がある。

【0076】

さらに、本実施形態に係る手話学習装置１は、正誤判定モードにおいて、模範モデル３を非表示状態に変更可能に構成されている。このような構成を備えることにより、ユーザが学習対象を暗記し、模範モデル３を見ずに手話を行えるか確認できるという利点を有している。

【0077】

またさらに、本発明に係る手話学習装置１は、ユーザ視点の画像及び映像の少なくとも一つを撮影する可視光カメラ４０を備え、検出部２６は、可視光カメラ４０が撮影した画像、又は映像からユーザの手２の形を検出可能に構成されている。このような構成を備えることにより、ユーザの手２を検出するために、ユーザの手２にマーカを取り付けたり、センサ付きのグローブを装着したりする必要がなく、頭部に手話学習装置１を装着するだけで簡単に手話学習に取り組めるという利点を有している。

【0078】

また、本実施形態に係る手話学習装置１は、模範モデル３の表示サイズを変更可能に構成されている。このような構成を備えることにより、模範モデル３を実寸大で表示したり、細かく確認するために拡大表示したりすることができるという利点を有している。

【0079】

さらに、本実施形態に係る手話学習装置１は、模範モデル３を回転可能に構成されている。このような構成を備えることにより、模範モデル３を横方向や、上下方向等からも確認できるという利点を有している。

【0080】

［変形例］
以上、本発明の好適な実施形態について説明したが、本発明の技術的範囲は、上述した実施形態に記載の範囲には限定されない。上記実施形態には、多様な変更又は改良を加えることが可能である。

【0081】

例えば、上述した実施形態において、模範モデル３を立体的に表示可能に構成されているものとして説明したが、これに限定されず、模範モデル３を立体的に表示できなくてもよい。

【0082】

上述した実施形態において、模範モデル３は、第三者視点の第三者視点模範モデル３ｂを更に含み、ユーザ視点模範モデル３ａと、第三者視点模範モデル３ｂとを同時に表示可能に構成されているものとして説明したが、これに限定されず、模範モデル３は、第三者視点模範モデル３ｂを更に含まなくてもよい。また、ユーザ視点模範モデル３ａと、第三者視点模範モデル３ｂとを同時に表示できなくてもよい。

【0083】

上述した実施形態において、ユーザの視界内に学習対象の一覧表４を表示可能に構成されると共に、一覧表４の中から選択された学習対象に対応した模範モデル３を表示可能に構成されているものとして説明したが、これに限定されず、学習対象の一覧表４を表示できなくてもよい。

【0084】

上述した実施形態において、ユーザの手２の形を検出可能な検出部２６と、手話の手の形の正解データ３４を格納する記憶部３０と、正解データ３４と、検出部２６が検出したユーザの手２の形との一致度を判定可能に構成された判定部２８とを備え、模範モデル３の表示処理と、一致度の判定処理とを独立して実行可能に構成されているものとして説明したが、これに限定されず、検出部２６と、判定部２８と、記憶部３０とを備えなくてもよい。

【0085】

上述した実施形態において、判定部２８は、ユーザの手２を複数の領域に分割し、ユーザの手２の各領域の座標と、該領域に対応する正解データ３４の座標とを比較することで一致度を判定するものとして説明したが、これに限定されない。判定部２８は、ユーザの手２を複数の領域に分割し、ユーザの手２の各領域の座標と、該領域に対応する正解データ３４の座標とを比較することで一致度を判定しなくてもよい。例えば、判定部２８は、ユーザの手２を分割せずに、手全体の外形から判定してもよい。また、判定部２８は、３次元的に測定されたユーザの手２の各関節の曲がり具合から判定してもよい。さらに、判定部２８は、正解データ３４の座標データが指文字模範モデルデータ３２及び動的模範モデルデータ３３から取得したデータである場合において、指文字模範モデルデータ３２及び動的模範モデルデータ３３に基づいて表示される模範モデル３にユーザの手２を重ね合わせた際に、その重ね合わせの一致具合から一致度を判定してもよい。

【0086】

上述した実施形態において、一致度に基づいてユーザの手２の形の正誤を判定可能な正誤判定モードを有しており、正誤の判定閾値を変更可能に構成されているものとして説明したが、これに限定されず、正誤判定モードを有さなくてもよい。また、正誤判定モードを有する場合において、判定閾値は変更できなくてもよい。

【0087】

上述した実施形態において、判定部２８は、正誤判定モードにおいて、正誤の判定閾値を所定時間上回った場合、正解判定をするよう構成されているものとして説明したが、これに限定されない。判定部２８は、正誤判定モードにおいて、正誤の判定閾値を瞬間的に上回った場合、正解判定をするよう構成されてもよい。

【0088】

上述した実施形態において、ユーザの視界内に所定時間の経過状況を表示可能に構成されているものとして説明したが、これに限定されず、ユーザの視界内に所定時間の経過状況を表示しなくてもよい。

【0089】

上述した実施形態において、正誤判定モードにおいて、模範モデル３を非表示状態に変更可能に構成されているものとして説明したが、これに限定されず、正誤判定モードにおいて、模範モデル３を非表示状態に変更できなくてもよい。

【0090】

上述した実施形態において、ユーザ視点の画像及び映像の少なくとも一つを撮影する可視光カメラ４０を備え、検出部２６は、可視光カメラ４０が撮影した画像、又は映像からユーザの手２の形を検出可能に構成されているものとして説明したが、これに限定されず、可視光カメラ４０を備えなくてもよい。また、検出部２６は、可視光カメラ４０が撮影した画像、又は映像からユーザの手２の形を検出しなくてもよい。例えば、検出部２６は、ユーザの手２に取り付けられたマーカや、センサ付きグローブ等からユーザの手２の形を検出してもよい。

【0091】

上述した実施形態において、模範モデル３の表示サイズを変更可能に構成されているものとして説明したが、これに限定されず、模範モデル３の表示サイズを変更できなくてもよい。

【0092】

上述した実施形態において、模範モデル３を回転可能に構成されているものとして説明したが、これに限定されず、模範モデル３を回転できなくてもよい。

【0093】

上述した実施形態において、表示部１０は、光学投影システムを採用した透過型ホログラフィックレンズで構成されているものとして説明したが、これに限定されない。例えば、表示部１０は、不透過性のディスプレイであり、手話学習装置１は、ＲＧＢカメラを備え、該ＲＧＢカメラで撮影した映像を表示部１０に表示することで、ユーザの手２を視認可能な構成であってもよい。また、手話学習装置１は、表示部１０の代わりに超小型プロジェクタ等の網膜投影装置を備え、ユーザの網膜に直接映像を投影してもよい。

【0094】

上述した実施形態において、表示される模範モデル３に合わせて一覧表４の該当する学習対象を強調表示可能に構成されているものとして説明したが、これに限定されず、表示される模範モデル３に合わせて一覧表４の該当する学習対象を強調表示できなくてもよい。

【0095】

上述した実施形態において、複数の模範モデル３を規則的又は不規則的に順番に表示可能に構成されているものとして説明したが、これに限定されず、複数の模範モデル３を順番に表示できなくてもよい。例えば、ユーザが学習対象の選択や、所定のジェスチャーをすることで表示してもよい。

【0096】

上述した実施形態において、模範モデル３として、動きのある動的模範モデルを表示可能に構成されているものとして説明したが、これに限定されず、動的模範モデルを表示できなくてもよい。

【0097】

上述した実施形態において、記憶部３０は、ユーザインターフェース３１と、指文字模範モデルデータ３２と、動的模範モデルデータ３３と、正解データ３４と、一覧表データ３５と、取得データ３６とを格納するものとして説明したが、これに限定されない。例えば、指文字模範モデルデータ３２及び動的模範モデルデータ３３は、クラウド上に格納されており、クラウド上からデータを転送・再生する、所謂ストリーミング再生等種々の任意の構成を採用可能である。全てのデータが記憶部３０に格納されている場合、インターネット接続を必要とせず、オフライン環境で手話学習を実施できるという利点がある。

【符号の説明】

【0098】

１ 手話学習装置
２ ユーザの手
３ 模範モデル
３ａ ユーザ視点模範モデル
３ｂ 第三者視点模範モデル
４，４ａ，４ｂ 一覧表
５ 設定ウインドウ
６ 回転用アイコン
７ カウンタ
８ 正解判定表示
９ 一致度表示
１０ 表示部
２０ 制御部
２２ 表示制御部
２４ 自己位置推定処理部
２６ 検出部
２８ 判定部
３０ 記憶部
３１ ユーザインターフェース
３２ 指文字模範モデルデータ
３３ 動的模範モデルデータ
３４ 正解データ
３５ 一覧表データ
３６ 取得データ
３７ 手話学習用プログラム
４０ 可視光カメラ
５０ 深度センサ
６０ 慣性計測装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】