特許 7360775 スマートグラス、プログラム及び表示制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-04

(45)【発行日】2023-10-13

(54)【発明の名称】スマートグラス、プログラム及び表示制御方法

(51)【国際特許分類】

   G06F 3/01 20060101AFI20231005BHJP

   G06F 3/16 20060101ALI20231005BHJP

   G09G 5/00 20060101ALI20231005BHJP

   G09G 5/37 20060101ALI20231005BHJP

   H04N 5/64 20060101ALI20231005BHJP

   G06T 7/00 20170101ALI20231005BHJP

   G06K 7/10 20060101ALI20231005BHJP

   G06Q 50/22 20180101ALI20231005BHJP

【ＦＩ】

G06F3/01 510

G06F3/16 690

G06F3/16 610

G06F3/16 620

G09G5/00 550C

G09G5/00 550X

G09G5/00 510Q

G09G5/37 320

H04N5/64 511A

G06T7/00 660A

G06K7/10 256

G06Q50/22

【請求項の数】 10

(21)【出願番号】P 2020190020

(22)【出願日】2020-11-16

(65)【公開番号】P2022079067

(43)【公開日】2022-05-26

【審査請求日】2023-02-10

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100135068

【弁理士】

【氏名又は名称】早原 茂樹

(72)【発明者】

【氏名】呉 剣明

(72)【発明者】

【氏名】小原 朋広

(72)【発明者】

【氏名】川田 亮一

【審査官】佐々木 祐

(56)【参考文献】

【文献】特開２０１９－０６１５５７（ＪＰ，Ａ）

【文献】特開２０１７－０８５２０４（ＪＰ，Ａ）

【文献】特開２０２０－０９１６９０（ＪＰ，Ａ）

【文献】特開２０１３－１４０４３８（ＪＰ，Ａ）

【文献】特開２０１２－０６０２４０（ＪＰ，Ａ）

【文献】特開２０１５－０８８０９６（ＪＰ，Ａ）

【文献】特開２０１９－０５７０５７（ＪＰ，Ａ）

【文献】特開２０１０－０１６４３２（ＪＰ，Ａ）

【文献】特開２０１８－１０６５７９（ＪＰ，Ａ）

【文献】特開２０１８－０９７４３７（ＪＰ，Ａ）

【文献】特開２００６－２２１５４１（ＪＰ，Ａ）

【文献】特開２０００－３５７１７７（ＪＰ，Ａ）

【文献】特開２０１９－１５１４５２（ＪＰ，Ａ）

【文献】特表２０１６－５０６５６５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８ － ３／０４８９５

Ｇ０６Ｆ ３／１６

Ａ６１Ｂ ５／１１７１

Ｇ０６Ｋ ７／１０

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ １９／００

Ｇ０６Ｑ ５０／２２

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３７

Ｈ０４Ｎ ５／６４

(57)【特許請求の範囲】

【請求項1】

視線先の映像を撮影するカメラと、装着元ユーザの視界に表示情報を映し出すディスプレイとを有するシースルー型のスマートグラスにおいて、
ユーザＩＤ（識別子）に応じた表示情報、及び、位置に応じた表示情報を予め記憶した表示情報記憶手段と、
映像から、人の顔領域を認識し、当該顔領域のサイズを検出し、当該顔領域からユーザＩＤを特定する顔認識手段と、
現在位置を検知するセンシング手段と、
顔領域のサイズが第１の所定範囲以上となる場合、特定されたユーザＩＤに応じた表示情報をディスプレイに表示し、そうでない場合、検知された現在位置に応じた表示情報をディスプレイに表示する表示制御手段と
を有することを特徴とするスマートグラス。

【請求項2】

表示情報は、文字、画像及び／又は映像である
ことを特徴とする請求項１に記載のスマートグラス。

【請求項3】

表示情報記憶手段は、
各ユーザＩＤについて、位置及び時間帯の組毎に応じた表示情報と、
各位置について、時間帯に応じた表示情報と
を記憶しており、
表示制御手段は、認識された顔領域のサイズが第１の所定範囲以上となる場合、ユーザＩＤ、現在位置及び時間帯に応じた表示情報をディスプレイに表示し、そうでない場合、現在位置及び時間帯に応じた表示情報をディスプレイに表示する
ことを特徴とする請求項１又は２に記載のスマートグラス。

【請求項4】

装着元ユーザの聴覚へ音声を出力するスピーカを更に有し、
表示制御手段は、認識された顔領域のサイズが第２の所定範囲よりも小さい場合、ディスプレイに表示すべき表示情報が文字である場合、音声合成によって音声に変換し、当該音声をスピーカから出力する
ことを特徴とする請求項１から３のいずれか１項に記載のスマートグラス。

【請求項5】

スピーカは、骨伝導スピーカである
ことを特徴とする請求項４に記載のスマートグラス。

【請求項6】

顔認識手段によって認識された人の顔領域のサイズが大きいほど、当該人と装着元ユーザとの間の距離が近く、サイズが小さいほど、当該人と装着元ユーザとの間の距離が遠く、
顔領域のサイズの第１の所定範囲は、当該人と装着元ユーザとの間の距離に基づくものである
ことを特徴とする請求項１から５のいずれか１項に記載のスマートグラス。

【請求項7】

装着元ユーザが移動可能な周辺環境に、位置に応じて無線タグが配置されており、
表示制御手段は、
位置毎に、無線タグのＭＡＣアドレス及び／又はタグＩＤを記憶した位置テーブルを有し、
複数の無線タグを検出した際に、電波強度が最も強い無線信号を受信する無線タグのＭＡＣアドレス及び／又はタグＩＤから、位置テーブルを用いて位置を特定するか、
又は、電波強度が強い順に無線信号を受信する３つの無線タグのＭＡＣアドレス及び／又はタグＩＤから、位置テーブルを用いて三角測量によって位置を特定する
ことを特徴とする請求項１から６のいずれか１項に記載のスマートグラス。

【請求項8】

無線ネットワークを介してサーバに接続する無線通信インタフェースを更に有し、
表示情報記憶手段は、無線通信ネットワークを介してサーバから、ユーザＩＤに応じた表示情報を予め受信する
ことを特徴とする請求項１から７のいずれか１項に記載のスマートグラス。

【請求項9】

視線先の映像を撮影するカメラと、装着元ユーザの視界に表示情報を映し出すディスプレイとを有するシースルー型のスマートグラスに搭載されたコンピュータを機能させるプログラムにおいて、
ユーザＩＤ（識別子）に応じた表示情報、及び、位置に応じた表示情報を予め記憶した表示情報記憶手段と、
映像から、人の顔領域を認識し、当該顔領域のサイズを検出し、当該顔領域からユーザＩＤを特定する顔認識手段と、
現在位置を検知するセンシング手段と、
顔領域のサイズが第１の所定範囲以上となる場合、特定されたユーザＩＤに応じた表示情報をディスプレイに表示し、そうでない場合、検知された現在位置に応じた表示情報をディスプレイに表示する表示制御手段と
してコンピュータを機能させることを特徴とするスマートグラスのプログラム。

【請求項10】

視線先の映像を撮影するカメラと、装着元ユーザの視界に表示情報を映し出すディスプレイとを有するシースルー型のスマートグラスの表示制御方法において、
スマートグラスは、
ユーザＩＤ（識別子）に応じた表示情報、及び、位置に応じた表示情報を予め記憶した表示情報記憶部を有し、
映像から、人の顔領域を認識し、当該顔領域のサイズを検出し、当該顔領域からユーザＩＤを特定すると共に、現在位置を検知する第１のステップと、
顔領域のサイズが第１の所定範囲以上となる場合、特定されたユーザＩＤに応じた表示情報をディスプレイに表示し、そうでない場合、検知された現在位置に応じた表示情報をディスプレイに表示する第２のステップと
を実行することを特徴とするスマートグラスの表示制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、スマートグラスの技術に関する。特に、拡張現実(Augmented Reality)ウェアラブルコンピュータとしてのシースルー型のスマートグラスに関する。

【背景技術】

【0002】

スマートグラスは、装着元ユーザの視界前方に眼鏡のように装着され、カメラと網膜投射型ディスプレイとを搭載する。装着元ユーザから見ると、非現実空間を表示する仮想現実(Virtual Reality)と異なって、現実空間の視界に重畳的に情報が表示される。スマートグラスによっては、自然言語の音声認識機能を搭載し、ユーザは自らの発話によって操作することもできる。

【0003】

近年、高齢者介護施設や医療機関では、被介護者の増加や介護者の人手不足に伴って、介護サービスの質の低下が社会的課題となっている。特に介護者は、施設内の位置や時間帯に応じて、被介護者各々に適した異なる応対をする必要がある。しかし、多数の被介護者が入居する介護施設では、介護者が、被介護者各々の特性を覚えきれない場合も当然に多い。

【0004】

これに対し、施設の中で、監視対象者（被介護者）の挙動を監視する技術がある（例えば特許文献１参照）。この技術によれば、施設内に複数のカメラを設置し、その映像に映り込む監視対象者を顔認識によって特定し、その監視対象者のケア関連情報を、監視者（介護者）へ通知することができる。また、カメラによって撮影された画像を解析し、被介護者の定型的な動作を認識し、その動作に応じた通知情報が監視者へ送信される。ここでは、監視対象者のプライバシに配慮し、撮影した監視画像そのものではなく、当該監視画像を解析した解析結果のみを監視者に通知する。また、監視対象者毎に異なるケア水準に応じたケアの必要度に係る情報を、監視者に通知することができる。

【先行技術文献】

【特許文献】

【0005】

【文献】特許６５７９４１１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１に記載の技術によれば、介護施設のような生活場所に、監視用カメラを配置する必要があり、被介護者にとっては違和感を持つ場合がある。また、被介護者に電子タグやセンサなどのウェアラブルデバイスを貼り付けることもできるが、同様に、被介護者にとっては抵抗感及び嫌悪感を持つ場合もある。一方で、例えば大規模な介護施設の場合、介護者が、全ての被介護者について氏名や症状などの個人情報を認識しておくことは難しい。

【0007】

これに対し、本願の発明者らは、介護者から見て、目の前の被介護者を迅速に同定し、その被介護者の個人情報を直ぐに認識することができるように、スマートグラスを用いることができないか、と考えた。このとき、介護者が、その被介護者について必要とする情報は、施設内の位置や時間帯に応じて異なるであろう、と考えた。

【0008】

そこで、本発明は、装着元ユーザが、視界先ユーザを迅速に同定し、その視界先ユーザの個人情報を直ぐに認識することができるスマートグラス、プログラム及び表示制御方法を提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明によれば、視線先の映像を撮影するカメラと、装着元ユーザの視界に表示情報を映し出すディスプレイとを有するシースルー型のスマートグラスにおいて、
ユーザＩＤ（識別子）に応じた表示情報、及び、位置に応じた表示情報を予め記憶した表示情報記憶手段と、
映像から、人の顔領域を認識し、当該顔領域のサイズを検出し、当該顔領域からユーザＩＤを特定する顔認識手段と、
現在位置を検知するセンシング手段と、
顔領域のサイズが第１の所定範囲以上となる場合、特定されたユーザＩＤに応じた表示情報をディスプレイに表示し、そうでない場合、検知された現在位置に応じた表示情報をディスプレイに表示する表示制御手段と
を有することを特徴とする。

【0010】

本発明のスマートグラスにおける他の実施形態によれば、
表示情報は、文字、画像及び／又は映像であってもよい。

【0012】

本発明のスマートグラスにおける他の実施形態によれば、
表示情報記憶手段は、
各ユーザＩＤについて、位置及び時間帯の組毎に応じた表示情報と、
各位置について、時間帯に応じた表示情報と
を記憶しており、
表示制御手段は、認識された顔領域のサイズが第１の所定範囲以上となる場合、ユーザＩＤ、現在位置及び時間帯に応じた表示情報をディスプレイに表示し、そうでない場合、現在位置及び時間帯に応じた表示情報をディスプレイに表示する
ことも好ましい。

【0013】

本発明のスマートグラスにおける他の実施形態によれば、
装着元ユーザの聴覚へ音声を出力するスピーカを更に有し、
表示制御手段は、認識された顔領域のサイズが第２の所定範囲よりも小さい場合、ディスプレイに表示すべき表示情報が文字である場合、音声合成によって音声に変換し、当該音声をスピーカから出力する
ことも好ましい。

【0014】

本発明のスマートグラスにおける他の実施形態によれば、
スピーカは、骨伝導スピーカであってもよい。

【0015】

本発明のスマートグラスにおける他の実施形態によれば、
顔認識手段によって認識された人の顔領域のサイズが大きいほど、当該人と装着元ユーザとの間の距離が近く、サイズが小さいほど、当該人と装着元ユーザとの間の距離が遠く、
顔領域のサイズの第１の所定範囲は、当該人と装着元ユーザとの間の距離に基づくものである
ことも好ましい。

【0016】

本発明のスマートグラスにおける他の実施形態によれば、
装着元ユーザが移動可能な周辺環境に、位置に応じて無線タグが配置されており、
表示制御手段は、
位置毎に、無線タグのＭＡＣアドレス及び／又はタグＩＤを記憶した位置テーブルを有し、
複数の無線タグを検出した際に、電波強度が最も強い無線信号を受信する無線タグのＭＡＣアドレス及び／又はタグＩＤから、位置テーブルを用いて位置を特定するか、
又は、電波強度が強い順に無線信号を受信する３つの無線タグのＭＡＣアドレス及び／又はタグＩＤから、位置テーブルを用いて三角測量によって位置を特定する
ことも好ましい。

【0017】

本発明のスマートグラスにおける他の実施形態によれば、
無線ネットワークを介してサーバに接続する無線通信インタフェースを更に有し、
表示情報記憶手段は、無線通信ネットワークを介してサーバから、ユーザＩＤに応じた表示情報を予め受信する
ことも好ましい。

【0018】

本発明によれば、
視線先の映像を撮影するカメラと、装着元ユーザの視界に表示情報を映し出すディスプレイとを有するシースルー型のスマートグラスに搭載されたコンピュータを機能させるプログラムにおいて、
ユーザＩＤ（識別子）に応じた表示情報、及び、位置に応じた表示情報を予め記憶した表示情報記憶手段と、
映像から、人の顔領域を認識し、当該顔領域のサイズを検出し、当該顔領域からユーザＩＤを特定する顔認識手段と、
現在位置を検知するセンシング手段と、
顔領域のサイズが第１の所定範囲以上となる場合、特定されたユーザＩＤに応じた表示情報をディスプレイに表示し、そうでない場合、検知された現在位置に応じた表示情報をディスプレイに表示する表示制御手段と
してコンピュータを機能させることを特徴とする。

【0019】

本発明によれば、
視線先の映像を撮影するカメラと、装着元ユーザの視界に表示情報を映し出すディスプレイとを有するシースルー型のスマートグラスの表示制御方法において、
スマートグラスは、
ユーザＩＤ（識別子）に応じた表示情報、及び、位置に応じた表示情報を予め記憶した表示情報記憶部を有し、
映像から、人の顔領域を認識し、当該顔領域のサイズを検出し、当該顔領域からユーザＩＤを特定すると共に、現在位置を検知する第１のステップと、
顔領域のサイズが第１の所定範囲以上となる場合、特定されたユーザＩＤに応じた表示情報をディスプレイに表示し、そうでない場合、検知された現在位置に応じた表示情報をディスプレイに表示する第２のステップと
を実行することを特徴とする。

【発明の効果】

【0020】

本発明のスマートグラス、プログラム及び表示制御方法によれば、装着元ユーザが、視界先ユーザを迅速に同定し、その視界先ユーザの個人情報を直ぐに認識することができる。

【図面の簡単な説明】

【0021】

【図1】本発明におけるスマートグラスの外観図である。

【図2】スマートグラスのディスプレイの表示を表す説明図である。

【図3】本発明におけるスマートグラスの機能構成図である。

【図4】顔認識部の処理機能を表す説明図である。

【図5】対面する被介護者との距離に応じたディスプレイの表示を表す説明図である。

【図6】表示制御部における位置テーブルの説明図である。

【図7】表示制御部における表示項目を表す説明図である。

【図8】装着元ユーザの視界に応じた表示項目の切り替わりを表す説明である。

【発明を実施するための形態】

【0022】

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

【0023】

図１は、本発明におけるスマートグラスの外観図である。

【0024】

スマートグラス１は、ユーザの視線に映像を表示することができるシースルー型である。
図１によれば、スマートグラス１は、ハードウェアとして、ディスプレイ１０１と、カメラ１０２と、スピーカ１０３と、センシング部１０４と、無線通信インタフェース１０５とを有する。
ディスプレイ１０１は、特定の表示情報を、装着元ユーザの視界に映し出す。表示情報としては、一般的には文字であるが、勿論、画像や映像であってもよい。
カメラ１０２は、装着元ユーザにおける視界先の映像を撮影する。映像には、視界先ユーザが映り込む場合もあれば、視界先にユーザが存在せずに施設設備のみが映り込む場合もある。
スピーカ１０３は、音声信号を、装着元ユーザの聴覚へ発声する。音声信号は、ディスプレイ１０１への表示情報が文字である場合、その文字を音声合成によって変換したものである。また、スピーカ１０３は、骨電動スピーカであってもよい。装着元ユーザのこめかみに接して振動させることによって、装着元ユーザに聴覚的に文字を認識させることができる。これによって、視界先ユーザに聞こえることなく、装着元ユーザに文字を認識させることができる。
センシング部１０４は、例えばBluetooth（登録商標）であって、ＢＬＥ(Bluetooth Low Energy)タグから発信される無線信号を受信する。ＢＬＥタグは、装着元ユーザが移動する施設内の各箇所に予め配置されているとする。これによって、スマートグラス１は、現在位置を検知することができる。
無線通信インタフェース１０５は、無線ＬＡＮのアクセスポイント又は携帯電話網の基地局を介して、インターネットに接続されたユーザ管理サーバ２と通信する。ユーザ管理サーバ２は、スマートグラス１のディスプレイ１０１への表示情報を、ユーザ毎に管理するものである。

【0025】

図２は、スマートグラスのディスプレイの表示を表す説明図である。

【0026】

図２によれば、例えば介護施設の中で、介護者（装着元ユーザ）が、スマートグラス１を装着しているとする。また、介護者の視界先には、被介護者Ａさんが居るとする。
このとき、介護者から見ると、スマートグラス１を介した視界に、被介護者Ａさんが見えると同時に、その被介護者Ａさんの「個人情報」が映り込むように表示されている。個人情報としては、例えば被介護者Ａさんの介護に必要な症状などの情報である。
これによって、介護者は、被介護者Ａさんが視界に入った時点で直ぐに、被介護者Ａさんに対して適切な声かけをすることができる。

【0027】

図３は、本発明におけるスマートグラスの機能構成図である。

【0028】

図３によれば、スマートグラス１は、顔認識部１１と、ユーザ特徴量蓄積部１１０と、表示制御部１２と、表示情報記憶部１２０とを有する。これら機能構成部は、スマートグラスに搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これらの機能構成部の処理の流れは、スマートグラスの表示制御方法としても理解できる。

【0029】

［顔認識部１１］
顔認識部１１は、映像から人の顔領域を認識し、当該顔領域のサイズを検出し、当該顔領域からユーザＩＤ(IDentifier、識別子)を特定する。特定されたユーザＩＤは、表示制御部１２へ出力される。

【0030】

図４は、顔認識部の処理機能を表す説明図である。
図４によれば、顔認識部１１の処理機能として、顔領域検出部１１１と、顔特徴検出部１１２と、ユーザ特徴量蓄積部１１０と、高速識別器１１３とを有する。

【0031】

（顔領域検出部１１１）
顔領域検出部１１１は、カメラ１０２によって撮影された映像フレームの画像から、顔領域（例えばバウンディングボックス）を切り出す。具体的には、Ｒ－ＣＮＮ(Regions with Convolutional Neural Networks)やＳＳＤ(Single Shot Multibox Detector)を用いる。
Ｒ－ＣＮＮは、四角形の顔領域を畳み込みニューラルネットワークの特徴と組み合わせて、顔領域のサブセットを検出する（領域提案）。次に、領域提案からＣＮＮ特徴量を抽出する。そして、ＣＮＮ特徴量を用いて予め学習したサポートベクタマシンによって、領域提案のバウンディングボックスを調整する。
ＳＳＤは、機械学習を用いた一般物体検知のアルゴリズムであって、デフォルトボックス(default boxes)という長方形の枠（バウンディングボックス）を決定する。１枚の画像上に、大きさの異なるデフォルトボックスを多数重畳させ、そのボックス毎に予測値を計算する。各デフォルトボックスについて、自身が物体からどのくらい離れていて、どのくらい大きさが異なるのか、とする位置の予測をすることができる。

【0032】

（顔特徴検出部１１２）
（Ｓ２）顔特徴検出部１１２は、切り出された顔領域を、顔認識モデルを用いて、128/256/512次元の特徴量（ユークリッド距離）に変換する。距離が近いほど、同一人物と認識することができる。また、同一人物の顔画像として、Anchor（怒り）,Positive（肯定）,Negative（否定）の３つ組（Triplet）を作成し、Triplet Lossを最小にするように学習したものであってもよい。
顔認識モデルとしては、具体的にはGoogle（登録商標）のFacenet（登録商標）アルゴリズムを用いることもできる。これによって、顔領域から多次元ベクトルの特徴量に変換することができる。

【0033】

（ユーザ特徴量蓄積部１１０）
ユーザ特徴量蓄積部１１０は、識別すべき実際のユーザの顔画像の特徴量を予め蓄積したものである。例えば施設内に入居する被介護者の顔画像の特徴量であってもよい。ユーザ特徴量蓄積部１１０に蓄積されたユーザのみが、識別対象となる。

【0034】

（高速識別器１１３）
高速識別器１１３は、ユーザ特徴量蓄積部１１０を用いて、ユーザの顔の特徴量の集合と照合し、最も距離が短い又は所定閾値以下となる特徴量となるユーザＩＤを特定する。

【0035】

顔認識部１１は、小型ＩｏＴデバイスに実装できるように、学習モデルが軽量化されている。学習済みモデルの中間層特徴の選別（レイヤの削除）と、軽量化アーキテクチャの置換とによって、計算量を大幅に削減している。具体的には、Ｃ＋＋Nativeライブラリを用いて、スマートグラスのような小型デバイスであっても、１万人を１秒で識別可能となっている。

【0036】

［表示情報記憶部１２０］
表示情報記憶部１２０は、ユーザＩＤ毎の表示情報を予め記憶したものである。
「表示情報」としては、スマートトグラス１のディスプレイに表示可能な情報であって、「文字」であることが好ましい。勿論、それに限られず、画像又は映像であってもよい。
また、表示情報記憶部１２０は、無線通信インタフェース１０５を介して、ユーザ管理サーバ２から、ユーザＩＤ毎の表示情報を予めダウンロードして蓄積する。予めダウンロードしておくことによって、スマートグラス１をスタンドアロンで機能させることができる。勿論、表示情報記憶部１２０は、無線通信インタフェース１０５を介して常時、ユーザ管理サーバ２に接続されて通信可能なものであってもよい。

【0037】

表示情報記憶部１２０は、ユーザ毎の個人情報を、時間帯及び／又は位置に応じた表示情報として更に記憶したものであってもよい。
（顔認識部１１によってユーザＩＤを特定できた場合）
・時間帯に応じたユーザ毎の個人情報
・時間帯及び位置に応じたユーザ毎の個人情報
（顔認識部１１によってユーザＩＤを特定できない場合）
・位置に応じた情報
・時間帯及び位置に応じた情報

【0038】

［表示制御部１２］
表示制御部１２は、顔領域のサイズが第１の所定範囲以上となる場合、特定されたユーザＩＤに応じた表示情報を、ディスプレイ１０１に表示する。
顔認識部１１によって認識された視界先ユーザの顔領域のサイズは、以下のように判断される。
（１）顔領域のサイズが大きいほど、視界先ユーザと装着元ユーザとの間の距離が近い。
（２）顔領域のサイズが小さいほど、視界先ユーザと装着元ユーザとの間の距離が遠い。
そのために、閾値となる顔領域のサイズの第１の所定範囲は、視界先ユーザと装着元ユーザとの間の距離に基づくものである。

【0039】

表示制御部１２は、以下のように表示を制御する。
（１）認識された顔領域のサイズが第１の所定範囲以上となる場合、ユーザＩＤ、現在位置及び時間帯に応じた表示情報をディスプレイ１０１に表示する。
（２）認識された顔領域のサイズが第１の所定範囲よりも小さい場合、検知された現在位置に応じた表示情報をディスプレイ１０１に表示する。このとき、現在位置に加えて、更に時間帯に応じた表示情報を表示することも好ましい。

【0040】

図５は、対面する被介護者との距離に応じたディスプレイの表示を表す説明図である。

【0041】

図５（ａ）によれば、装着元ユーザにおけるスマートグラス１を介した視界先には、被介護者ＡさんとＢさんとの２人が見える。このとき、Ａさんの顔領域のサイズが第１の所定範囲以上となる場合、Ａさんの個人情報（表示情報）を、ディスプレイ１０１に表示する。装着元ユーザの視界には、以下のようなＡさんの個人情報が表示される。
［基本情報］：名前、年齢、要介護度、生年月日、部屋番号
［行動情報］：起床時間、食事有無、水分補給有無、服薬有無
［申し送り］：健康状態、体温、血圧、脈拍、症状、服薬情報、リハビリ情報

【0042】

図５（ｂ）によれば、図５（ａ）と同様に、装着元ユーザには、被介護者ＡさんとＢさんとの２人が見える。このとき、図５（ａ）と異なって、Ａさん及びＢさんの両方とも、顔領域のサイズが第１の所定範囲以上となっていない。このとき、装着元ユーザの視界には、Ａさん及びＢさんの名前のみが表示される。

【0043】

図６は、表示制御部における位置テーブルの説明図である。

【0044】

装着元ユーザが移動可能な周辺環境における各位置に、無線タグとして例えばＢＬＥタグが配置されている。
これに対し、スマートグラス１の表示制御部１２は、位置テーブルを有する。
「位置テーブル」は、位置毎に、無線タグのＭＡＣアドレス及び／又はタグＩＤを記憶したものである。

【0045】

図６の位置テーブルによれば、タグＩＤ及びＭＡＣアドレス毎に、以下の情報が対応付けられている。
［タグＩＤ］［ＭＡＣアドレス］：位置区分、部屋番号、室内位置区分
スマートグラス１の装着元ユーザの現在位置は、以下のいずれかの方法で特定される。
（１）複数の無線タグを検出した際に、電波強度が最も強い無線信号を受信する無線タグのＭＡＣアドレス及び／又はタグＩＤから、位置テーブルを用いて位置を特定する。
（２）電波強度（RSSI(Received Signal Strength Indication)）が強い順に無線信号を受信する３つの無線タグのＭＡＣ(Media Access Control)アドレス及び／又はタグＩＤから、位置テーブルを用いて三角測量によって位置を特定する。

【0046】

図７は、表示制御部における表示項目を表す説明図である。

【0047】

図７によれば、時間帯及び位置に応じて、装着元ユーザに見せる表示情報の表示項目を表す。これによって、時間帯（朝、昼、晩）及び位置（施設内、玄関、トイレ・風呂、寝室）に応じて、表示情報記憶部１２０の中から表示情報をカスタマイズして、装着元ユーザに見せることができる。

【0048】

表示項目としては、以下の３つがある
（基本情報）
氏名、年齢、介護度、生年月日、部屋番号、ケアプラン
（行動情報）
起床時間、食事（済／未）、水分補給（済／未）、服薬（済／未）、
排泄（有／無）、入浴（済／未）、
（申し送り情報）
健康状態、体温、血圧（上・下）、脈拍、処置情報、症状、治療情報、
未排泄日数、排泄時刻、排泄異常（有／無）、朝／昼／夜食時刻、朝／昼／夜食量、
水分補給時刻、水分量、服薬時刻、入浴時刻、入浴異常（有／無）

【0049】

図７によれば、以下のように表示項目が規定されている。
時間帯に限らず、装着元ユーザから見て視界先ユーザが存在しているとする。このとき、顔領域のサイズが第１の所定範囲以上となって、ユーザＩＤが特定されている場合、図７の表示項目Ａが表示対象となる。一方で、顔領域のサイズが第１の所定範囲よりも小さい場合、図７の表示項目Ｂ（氏名のみ）が表示対象となる。
朝の時間帯であって、装着元ユーザから見て視界先ユーザが存在していないとする。ここで、装着元ユーザについて、現在位置が「トイレ・風呂」である場合、表示項目Ｃが表示対象となり、現在位置が「寝室」である場合、表示項目Ｄが表示対象となる。
昼の時間帯であって、装着元ユーザから見て視界先ユーザが存在していないとする。ここで、装着元ユーザについて、現在位置が「トイレ・風呂」である場合、表示項目Ｅが表示対象となり、現在位置が「寝室」である場合、表示項目Ｆが表示対象となる。
夜の時間帯であって、装着元ユーザから見て視界先ユーザが存在していないとする。ここで、装着元ユーザについて、現在位置が「トイレ・風呂」である場合、表示項目Ｇが表示対象となり、現在位置が「寝室」である場合、表示項目Ｈが表示対象となる。

【0050】

図８は、装着元ユーザの視界に応じた表示項目の切り替わりを表す説明である。

【0051】

図８（ａ）によれば、装着元ユーザから見て、視界先ユーザの顔領域のサイズが第１の所定範囲以上であるので、特定されたユーザＩＤに応じた表示情報がディスプレイ１０１に表示されている。
図８（ｂ）によれば、装着元ユーザから見て、視界先ユーザが存在しない。また、装着元ユーザは、現在、部屋２０１号室のトイレ・風呂に位置しているとする。このとき、図７の表示項目を用いて、時間帯及び位置に応じた表示項目がディスプレイ１０１に表示されている。
図８（ｃ）によれば、装着元ユーザから見て、視界先ユーザが存在しない。また、装着元ユーザは、現在、部屋２０１号室の寝室に位置しているとする。このとき、図７の表示項目を用いて、時間帯及び位置に応じた表示項目がディスプレイ１０１に表示されている。

【0052】

前述した実施形態によれば、例えば文字の表示情報をディスプレイ１０１に表示するものとして説明した。これに対し、他の実施形態として、文字の表示情報を、装着元ユーザの耳から聴覚的に認識させるものであってもよい。

【0053】

表示制御部１２は、認識された顔領域のサイズが第２の所定範囲よりも小さい場合、ディスプレイに表示すべき表示情報を音声合成によって音声に変換し、当該音声をスピーカ１０３から出力する。
顔領域のサイズについて、第２の所定範囲は、第１の所定範囲と同じであってもよいし、第１の所定範囲よりも大きくても小さくてもよい。
また、音声合成については、IoT・組み込み向けマイコンボード単体に搭載されるような、軽量な日本語音声読み上げ機能を用いる。但し、人名など同形異音語については、読み仮名を付与することで適切に読上げ可能となるように制御する。例えば「小原さん」の場合、「コハラ」「オハラ」「オバラ」など多様な読み方が想定されるためである。

【0054】

装着元ユーザと視界先ユーザとの間の距離が遠いほど（視界先ユーザの顔領域のサイズが小さいほど）、音声をスピーカ１０３から出力して、文字を読み上げるものであってもよい。一方で、装着元ユーザと視界先ユーザとの間の距離が近いほど（視界先ユーザの顔領域のサイズが大きいほど）、表示情報をディスプレイ１０１に表示する。
このように、装着元ユーザと視界先ユーザとの間の距離に応じて、装着元ユーザに対する情報の提示方法を動的に変化させることができる。
このような適用は、例えば介護施設の場合、介護者（装着元ユーザ）と被介護者（視界先ユーザ）とが対面する際に、近い距離では直接的に会話する場合が多いため、音声でスピーカ１０３から発声させると、介護者の注意力を分散させる恐れがあるためである。

【0055】

以上、詳細に説明したように、本発明のスマートグラス、プログラム及び表示制御方法によれば、装着元ユーザが、視界先ユーザを迅速に同定し、その視界先ユーザの個人情報を直ぐに認識することができる。

【0056】

例えば介護施設における介護者は、本発明のスマートグラスを装着することによって、視界先の被介護者が誰かを直ぐに同定でき、その被介護者の個人情報（氏名や年齢、症状など）をハンズフリーで認識することができる。被介護者の心理的抵抗感を抑制すると知に、介護者に迅速且つ的確な情報を提示することができる。
また、視界先に被介護者が存在しなくても、施設内に配置されたＢＬＥタグによって、現在位置に応じた情報を直ぐに認識することができる。
本発明のスマートグラスは、介護作業支援ＡＲシステムや不審者検出システム（学校・保育園など）にも適用することができる。

【0057】

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

【符号の説明】

【0058】

１ スマートグラス
１０１ ディスプレイ
１０２ カメラ
１０３ スピーカ、骨電動スピーカ
１０４ センシング部
１０５ 無線通信インタフェース
１１ 顔認識部
１１０ ユーザ特徴量蓄積部
１１１ 顔領域検出部
１１２ 顔特徴検出部
１１３ 高速識別器
１２ 表示制御部
１２０ 表示情報記憶部
２ ユーザ管理サーバ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】