特許 7606956 情報端末、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-18

(45)【発行日】2024-12-26

(54)【発明の名称】情報端末、情報処理方法及びプログラム

(51)【国際特許分類】

   G09B 9/00 20060101AFI20241219BHJP

   G09B 5/02 20060101ALI20241219BHJP

   G06F 3/01 20060101ALI20241219BHJP

【ＦＩ】

G09B9/00 Z

G09B5/02

G06F3/01 510

【請求項の数】 10

(21)【出願番号】P 2021208559

(22)【出願日】2021-12-22

(65)【公開番号】P2023093124

(43)【公開日】2023-07-04

【審査請求日】2024-01-17

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】110004222

【氏名又は名称】弁理士法人創光国際特許事務所

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】福原 忠行

【審査官】白形 優依

(56)【参考文献】

【文献】特開２０１９－１８５６３４（ＪＰ，Ａ）

【文献】特開２０２０－２０１７９３（ＪＰ，Ａ）

【文献】山崎寛 ほか，VR技術を用いた高齢者ケアシミュレータ：介護者の行動センシング手法の提案，第２３回日本バーチャルリアリティ学会大会論文集，2018年09月，21E-3，pp.1-4

【文献】［認知症介護の本］ユマニチュードの技術１ 見る（下），よみもの.com 誠文堂新光社 [online]，2018年09月11日，[2024年9月18日検索], インターネット <URL：https://43mono.com/series/humanitude_f/humanitude_f7/>

【文献】平松知樹 ほか，拡張現実と分布型接触センサを組み合わせた認知症ケア教育システムの開発，ロボティクスメカトロニクス講演会２０１９講演会論文集，一般社団法人日本機械学会，2019年12月26日，pp.1-4

【文献】石坂 諒任 ほか，講演者の視線と発話に基づく積極的傾聴キャラクタを用いた没入型講演体験システムの開発，第８１回（２０１９年）全国大会講演論文集，2019年02月28日，pp.4-235 - 4-236

【文献】平松知樹 ほか，拡張現実と分布型触覚センサを組み合わせた認知症ケア教育システムの開発 シナリオに基づく訓練システムと実証実験，ロボティクス・メカトロニクス講演会２０２０予稿集，一般社団法人日本機械学会，2021年07月21日，pp.1-4

【文献】沖野祐介 ほか，頭部装着型カメラを用いた介護スキル評価，電子情報通信学会技術研究報告，日本，一般社団法人電子情報通信学会 The Institute of Electronics,Information and Communication Engineers，Vol.116, No.39，pp.95-100

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｂ １／００ － ９／５６

Ｇ０９Ｂ１７／００ － １９／２６

Ｇ０６Ｆ ３／０１ － ３／０４８９５

(57)【特許請求の範囲】

【請求項1】

被介護者とのコミュニケーションの訓練をユーザに提供する情報端末であって、
前記被介護者の３次元映像を表示する提示部と、
前記３次元映像を提示する空間における前記被介護者の視界の領域を決定する視界領域決定部と、
前記空間における前記ユーザの位置が前記視界の領域に含まれるか否かを判定する判定部と、を有し、
前記提示部は、前記判定部の判定結果に応じて異なる前記被介護者の前記３次元映像を表示する、
情報端末。

【請求項2】

前記視界領域決定部は、前記被介護者の前記３次元映像の表示を開始する際に、前記視界の領域を特定するための距離、視野角を示すそれぞれのパラメータについて、所定の範囲から値を決定し、決定したパラメータに基づいて前記被介護者の視界の領域を決定する、
請求項１に記載の情報端末。

【請求項3】

前記視界領域決定部は、前記被介護者の前記３次元映像の表示を開始する際に、前記視界の領域を特定するための距離、水平方向の視野角及び鉛直方向の視野角を示すそれぞれのパラメータについて、所定の範囲から値を決定し、決定したパラメータに基づいて前記被介護者の視界の領域を決定する、
請求項２に記載の情報端末。

【請求項4】

前記ユーザから操作を受け付ける操作受付部をさらに有し、
前記提示部は、前記操作受付部が前記視界の領域を表示する操作を受け付けた場合に、前記視界領域決定部が決定した前記被介護者の視界の領域を表示する、
請求項１から３のいずれか１項に記載の情報端末。

【請求項5】

前記ユーザの発声を検知する音声検知部をさらに有し、
前記判定部は、前記ユーザの発声を検知した場合に、前記ユーザの位置が前記視界の領域に含まれるか否かを判定し、
前記提示部は、前記ユーザの位置が前記視界の領域に含まれる場合、前記被介護者が第１の動作をする映像を表示し、前記ユーザの位置が前記視界の領域に含まれない場合、前記被介護者が第２の動作をする映像を表示する、
請求項１から４のいずれか１項に記載の情報端末。

【請求項6】

前記ユーザの視界の少なくとも一部を撮像対象領域とする撮像部が撮像することによって生成される撮像データを取得する撮像データ取得部と、
前記撮像データに含まれる前記ユーザの手の位置を検出する検出部をさらに有し、
前記判定部は、前記ユーザの手の位置が前記空間における前記被介護者の位置と重なる場合に、前記空間における前記ユーザの位置が前記視界の領域に含まれるか否かを判定する、
請求項１から５のいずれか１項に記載の情報端末。

【請求項7】

前記ユーザの視界の少なくとも一部を撮像対象領域とする撮像部が撮像することによって生成される撮像データを取得する撮像データ取得部と、
撮像データに含まれるダミーであって、前記３次元映像を重畳させるための前記ダミーを検出する検出部と、
圧力を検知する圧力検知手段を搭載した前記ダミーから前記ダミーにかかる圧力の強さを示す圧力情報を取得する圧力情報取得部と、を有し、
前記判定部は、取得した前記圧力情報が示す圧力が第１の閾値以上であるかをさらに判定し、
前記提示部は、前記被介護者の前記３次元映像を前記検出部が検出した前記ダミーに重畳して表示し、取得した前記圧力情報が示す圧力が前記第１の閾値以上であって前記ユーザの位置が前記視界の領域に含まれる場合、前記被介護者が前記第１の動作をする映像を表示し、取得した前記圧力情報が示す圧力が前記第１の閾値以上であって前記ユーザの位置が前記視界の領域に含まれない場合に、前記被介護者が前記第２の動作をする映像を表示する、
請求項５に記載の情報端末。

【請求項8】

前記判定部は、取得した前記圧力情報が示す圧力が第２の閾値未満であるかをさらに判定し、
前記提示部は、取得した前記圧力情報が示す圧力が前記第２の閾値以上である場合に、前記被介護者が前記第２の動作をする映像を表示し、取得した前記圧力情報が示す圧力が前記第１の閾値以上かつ前記第２の閾値未満であって前記ユーザの位置が前記視界の領域に含まれる場合、前記被介護者が前記第１の動作をする映像を表示し、取得した前記圧力情報が示す圧力が前記第１の閾値以上かつ前記第２の閾値未満であって前記ユーザの位置が前記視界の領域に含まれない場合に、前記被介護者が前記第２の動作をする映像を表示する、
請求項７に記載の情報端末。

【請求項9】

コンピュータが実行する、
被介護者の３次元映像を表示するステップと、
前記３次元映像を提示する空間における前記被介護者の視界の領域を決定するステップと、
前記空間におけるユーザの位置が前記視界の領域に含まれるか否かを判定するステップと、
前記判定するステップにおける判定結果に応じて異なる前記被介護者の前記３次元映像を表示するステップと、
を有する情報処理方法。

【請求項10】

コンピュータに、
被介護者の３次元映像を表示するステップと、
前記３次元映像を提示する空間における前記被介護者の視界の領域を決定するステップと、
前記空間におけるユーザの位置が前記視界の領域に含まれるか否かを判定するステップと、
前記判定するステップにおける判定結果に応じて異なる前記被介護者の前記３次元映像を表示するステップと、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報端末、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

要介護者の介護をする介護者の訓練を行うためのシステムが知られている（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－１５１７５０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

高齢者や認知症患者の介護において、被介護者の視界に入りケアを行うユマニチュードが注目されている。ユマニチュードに基づいたケアを促進するためには被介護者を介護する介護者が、被介護者の視界に入り、被介護者とのコミュニケーションを行う訓練が必要となる。ここで、介護者の訓練の質をより高めるためには、被介護者の視界の広さを訓練者である介護者が体験できる必要があるが、従来の訓練システムにおいては、このような訓練は提供されていなかった。

【0005】

そこで、本発明はこれらの点に鑑みてなされたものであり、訓練者が被介護者の視界の広さを体験できるようにすることを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様の情報端末においては、被介護者とのコミュニケーションの訓練をユーザに提供する情報端末であって、前記被介護者の３次元映像を表示する提示部と、前記３次元映像を提示する空間における前記被介護者の視界の領域を決定する視界領域決定部と、前記空間における前記ユーザの位置が前記視界の領域に含まれるか否かを判定する判定部と、を有し、前記提示部は、前記判定部の判定結果に応じて異なる前記被介護者の前記３次元映像を表示する。

【0007】

前記視界領域決定部は、前記被介護者の前記３次元映像の表示を開始する際に、前記視界の領域を特定するための距離、視野角を示すそれぞれのパラメータについて、所定の範囲から値を決定し、決定したパラメータに基づいて前記被介護者の視界の領域を決定してもよい。

【0008】

前記視界領域決定部は、前記被介護者の前記３次元映像の表示を開始する際に、前記視界の領域を特定するための距離、水平方向の視野角及び鉛直方向の視野角を示すそれぞれのパラメータについて、所定の範囲から値を決定し、決定したパラメータに基づいて前記被介護者の視界の領域を決定してもよい。

【0009】

前記ユーザから操作を受け付ける操作受付部をさらに有し、前記提示部は、前記操作受付部が前記視界の領域を表示する操作を受け付けた場合に、前記視界領域決定部が決定した前記被介護者の視界の領域を表示してもよい。

【0010】

前記ユーザの発声を検知する音声検知部をさらに有し、前記判定部は、前記ユーザの発声を検知した場合に、前記ユーザの位置が前記視界の領域に含まれるか否かを判定し、前記提示部は、前記ユーザの位置が前記視界の領域に含まれる場合、前記被介護者が第１の動作をする映像を表示し、前記ユーザの位置が前記視界の領域に含まれない場合、前記被介護者が第２の動作をする映像を表示してもよい。

【0011】

前記ユーザの視界の少なくとも一部を撮像対象領域とする撮像部が撮像することによって生成される撮像データを取得する撮像データ取得部と、前記撮像データに含まれる前記ユーザの手の位置を検出する検出部をさらに有し、前記判定部は、前記ユーザの手の位置が前記空間における前記被介護者の位置と重なる場合に、前記空間における前記ユーザの位置が前記視界の領域に含まれるか否かを判定してもよい。

【0012】

前記ユーザの視界の少なくとも一部を撮像対象領域とする撮像部が撮像することによって生成される撮像データを取得する撮像データ取得部と、撮像データに含まれるダミーであって、前記３次元映像を重畳させるための前記ダミーを検出する検出部と、圧力を検知する圧力検知手段を搭載した前記ダミーから前記ダミーにかかる圧力の強さを示す圧力情報を取得する圧力情報取得部と、を有し、前記判定部は、取得した前記圧力情報が示す圧力が第１の閾値以上であるかをさらに判定し、前記提示部は、前記被介護者の前記３次元映像を前記検出部が検出した前記ダミーに重畳して表示し、取得した前記圧力情報が示す圧力が前記第１の閾値以上であって前記ユーザの位置が前記視界の領域に含まれる場合、前記被介護者が前記第１の動作をする映像を表示し、取得した前記圧力情報が示す圧力が前記第１の閾値以上であって前記ユーザの位置が前記視界の領域に含まれない場合に、前記被介護者が前記第２の動作をする映像を表示してもよい。

【0013】

前記判定部は、取得した前記圧力情報が示す圧力が第２の閾値未満であるかをさらに判定し、前記提示部は、取得した前記圧力情報が示す圧力が前記第２の閾値以上である場合に、前記被介護者が前記第２の動作をする映像を表示し、取得した前記圧力情報が示す圧力が前記第１の閾値以上かつ前記第２の閾値未満であって前記ユーザの位置が前記視界の領域に含まれる場合、前記被介護者が前記第１の動作をする映像を表示し、取得した前記圧力情報が示す圧力が前記第１の閾値以上かつ前記第２の閾値未満であって前記ユーザの位置が前記視界の領域に含まれない場合に、前記被介護者が前記第２の動作をする映像を表示してもよい。

【0014】

本発明の第２の態様の情報処理方法においては、コンピュータが実行する、被介護者の３次元映像を表示するステップと、前記３次元映像を提示する空間における前記被介護者の視界の領域を決定するステップと、前記空間におけるユーザの位置が前記視界の領域に含まれるか否かを判定するステップと、前記判定するステップにおける判定結果に応じて異なる前記被介護者の前記３次元映像を表示するステップと、を有する。

【0015】

本発明の第３の態様のプログラムにおいては、コンピュータに、被介護者の３次元映像を表示するステップと、前記３次元映像を提示する空間における前記被介護者の視界の領域を決定するステップと、前記空間におけるユーザの位置が前記視界の領域に含まれるか否かを判定するステップと、前記判定するステップにおける判定結果に応じて異なる前記被介護者の前記３次元映像を表示するステップと、を実行させる。

【発明の効果】

【0016】

本発明によれば、訓練者が被介護者の視界の広さを体験することができる。

【図面の簡単な説明】

【0017】

【図1】情報端末１による訓練の概要を説明する図である。

【図2】情報端末１の構成を示すブロック図である。

【図3】提示部１１が表示する被介護者の動作の一例を示す図である。

【図4】提示部１１が表示する被介護者の動作の一例を示す図である。

【図5】視界領域決定部１５１が決定する視界の領域の一例を示す図である。

【図6】提示部１１が被介護者の視界の領域を表示する一例を示す図である。

【図7】情報端末１における処理の流れを示すフローチャートである。

【図8】変形例にかかる情報端末１の構成を示すブロック図である。

【図9】第２の実施例にかかる情報端末１Ｂによる訓練の概要を説明する図である。

【図10】第２の実施例にかかる情報端末１Ｂの構成を示すブロック図である。

【発明を実施するための形態】

【0018】

＜第１の実施形態＞
図１は、情報端末１による訓練の概要を説明する図である。図１においては、情報端末１を装着した介護者Ｕ（ユーザとも言う）が、被介護者Ａを介助する際のコミュニケーションについての訓練を受けている様子を示している。図１に示す被介護者Ａは、情報端末１に表示された映像である。被介護者Ａから伸びる破線で区切られた領域Ｆは、情報端末１によって決定された被介護者Ａの視界を示している。

【0019】

情報端末１は、被介護者Ａを介護する介護者Ｕに被介護者Ａとのコミュニケーションの訓練を提供する装置である。情報端末１は例えば、ヘッドマウントディスプレイである。情報端末１は、ＶＲ（Virtual Reality）により被介護者Ａを表示してもよい。また、情報端末１は、ＭＲ（Mixed Reality）により現実空間に配置された所定の物に重畳して被介護者Ａを表示してもよい。

【0020】

介護者Ｕが訓練を開始する操作をすると、情報端末１は、訓練空間における被介護者Ａの位置を決定する。そして、情報端末１は、被介護者Ａの位置と視界の領域を決定するパラメータとに基づいて被介護者Ａの視界の領域Ｆを決定する。

【0021】

情報端末１は、情報端末１の位置情報に基づいて、訓練空間における介護者Ｕの位置を特定する。情報端末１は、例えばＧＰＳ（Global Positioning System）で位置情報を取得してもよいし、情報端末１の加速度に基づいて介護者Ｕの位置を算出してもよい。また、情報端末１は、情報端末１が撮像した映像に基づいて介護者Ｕの位置を特定してもよい。

【0022】

そして、情報端末１は、介護者Ｕが被介護者Ａに声掛けをした場合に介護者Ｕが被介護者Ａの視界の領域の中に位置するかを判定する。一例として情報端末１は、介護者Ｕが所定の発声をしたことを検出した場合に、介護者Ｕが被介護者Ａに声掛けをしたことを特定する。

【0023】

情報端末１は、被介護者Ａに声掛けをした際に、介護者Ｕが被介護者Ａの視界の領域の中に位置していたかに基づいて、被介護者Ａが異なる動作をする映像を表示する。一例として、介護者Ｕが被介護者Ａの視界の領域の中に位置していた場合、情報端末１は、被介護者Ａが笑顔で応答する映像を表示してもよい。そして、介護者Ｕが被介護者Ａの視界の領域の中に位置していない場合、情報端末１は、被介護者Ａが機嫌の悪い様子で応答をする映像を表示してもよい。

【0024】

情報端末１が、上記のような構成を有することで、訓練をうける介護者に被介護者の視野の広さを体験させることができる。特に、認知症の患者の視野は健常者の視野と比較して狭くなることが知られている。情報端末１を用いた訓練を行うことにより、訓練を受ける介護者はそのような視界の広さの違いを体験することができる。

【0025】

［情報端末１の構成］
図２は、情報端末１の構成を示すブロック図である。情報端末１は、提示部１１、入力部１２、位置検出手段１３、記憶部１４及び制御部１５を有する。制御部１５は、視界領域決定部１５１、判定部１５２、操作受付部１５３及び音声検知部１５４を有する。

【0026】

提示部１１は、ディスプレイである。提示部１１は、被介護者Ａの３次元映像を表示する。提示部１１は、視界領域決定部１５１が決定した位置に被介護者Ａの３次元映像を表示する。

【0027】

提示部１１は、判定部１５２の判定結果に応じて異なる被介護者Ａの３次元映像を表示する。図３は、提示部１１が表示する被介護者Ａの動作の一例を示す図である。図３は、介護者Ｕが被介護者Ａの視界の領域の中に位置していた場合に提示部１１が表示する映像である。図３に示す映像においては、被介護者Ａは笑顔で介護者Ｕに応答している。

【0028】

図４は、提示部１１が表示する被介護者Ａの動作の一例を示す図である。図４は、介護者Ｕが被介護者Ａの視界の領域の中に位置していない場合に提示部１１が表示する映像である。図４に示す映像においては、被介護者Ａは機嫌の悪い様子で介護者Ｕに応答している。

【0029】

図２に戻り、入力部１２は、介護者Ｕからの操作を受け付けるユーザインタフェースである。入力部１２は、例えばタッチパネル、音声入力デバイス、ジェスチャ入力デバイス、ボタン等である。入力部１２は、ユーザの操作内容に応じた信号を操作受付部１５３に入力する。入力部１２は、入力された音声を音声検知部１５４に入力する。

【0030】

位置検出手段１３は、情報端末１の位置を検出する。位置検出手段１３はＧＰＳにより位置を検出してもよいし、検出した加速度から位置を算出することにより位置を検出してもよい。位置検出手段１３は情報端末１の位置を示す位置情報を判定部１５２に入力する。

【0031】

記憶部１４は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＳＳＤ（Solid State Drive）等の記憶媒体である。記憶部１４は、制御部１５が実行する各種のプログラムを記憶する。

【0032】

制御部１５は、例えばＣＰＵ（Central Processing Unit）である。制御部１５は、記憶部１４に記憶されている制御プログラムを実行することにより、視界領域決定部１５１、判定部１５２、操作受付部１５３及び音声検知部１５４として機能する。

【0033】

視界領域決定部１５１は、３次元映像を提示する空間における被介護者Ａの視界の領域を決定する。視界領域決定部１５１は、訓練空間における被介護者Ａの位置を決定する。情報端末１は例えば、被介護者Ａの水平方向の位置を示す位置座標、被介護者Ａが向いている方向、及び被介護者Ａの視点の高さを決定する。視界領域決定部１５１は、被介護者Ａの位置と視界の領域を決定するパラメータとに基づいて被介護者Ａの視界の領域Ｆを決定する。視界の領域を決定するパラメータは、例えば被介護者Ａが視認可能な距離、水平方向の視野角及び鉛直方向の視野角である。

【0034】

図５は、視界領域決定部１５１が決定する視界の領域の一例を示す図である。被介護者Ａの視線方向をＤ、被介護者Ａが視認可能な距離をＺ、水平方向の視野角をΘ、鉛直方向の視野角をφとすると、視界領域決定部１５１は、Ｄ方向の長さＺの直線を、方向Ｄを中心に水平方向にΘ／２及び－Θ／２それぞれ回転させてなる面を決定する。そして、視界領域決定部１５１は、決定した面を視線の方向Ｄを中心に鉛直方向にφ／２及び－φ／２回転させてなる錐体を被介護者Ａの視界の領域Ｆとして決定する。なお、視界の領域の形状は円錐、楕円錐、四角錐であってもよい。

【0035】

なお、視界領域決定部１５１は、水平方向の視野角と鉛直方向の視野角とを同一のパラメータに基づいて決定してもよい。すなわち、視界の領域を特定するための距離、視野角を示すそれぞれのパラメータについて、所定の範囲から値を決定し、決定したパラメータに基づいて被介護者Ａの視界の領域を決定してもよい。

【0036】

図２に戻り、判定部１５２は、空間におけるユーザの位置が視界の領域に含まれるか否かを判定する。具体的には、判定部１５２は、位置検出手段１３から入力された介護者Ｕの位置と、視界領域決定部１５１が決定した被介護者Ａの視界の領域Ｆとを比較する。そして、判定部１５２は、介護者Ｕの位置が領域Ｆの内側又は境界線上にあるか否かを判定する。判定部１５２は、介護者Ｕが所定の操作を行った場合に判定を行ってもよい。所定の操作は、例えば、発声、ジェスチャ又は情報端末１に搭載されたボタンが押されることである。

【0037】

なお、判定部１５２は、介護者Ｕの位置を操作受付部１５３が受け付けた操作に基づいて介護者Ｕの移動量を算出し、介護者Ｕの位置を決定してもよい。この場合、判定部１５２は、決定した介護者Ｕの位置と、視界領域決定部１５１が決定した被介護者Ａの視界の領域Ｆとを比較する。

【0038】

ところで、被介護者の視界の広さは、個人差や病気の進行状況により異なる場合がある。情報端末１が、様々な視界の広さを再現できるように構成されると、訓練を受ける介護者が様々な視界の広さがあることを体験することができる。

【0039】

視界領域決定部１５１は、被介護者Ａの３次元映像の表示を開始する際に、視界の領域を特定するための距離、水平方向の視野角及び鉛直方向の視野角を示すそれぞれのパラメータについて、所定の範囲から値を決定する。一例として、それぞれのパラメータが選択される範囲は、健常者における通常の視野を特定するための距離、水平方向の視野角及び鉛直方向の視野角と、病気が進行した場合の視野特定するための距離、水平方向の視野角及び鉛直方向の視野角のいずれもが含まれるように設定される。視界領域決定部１５１は、一例として、それぞれのパラメータを設定された範囲の値からランダムで決定してもよい。

【0040】

視界領域決定部１５１は、それぞれのパラメータについて、病気の進行状況に応じた複数種類のパラメータの設定値の組み合わせを保持してもよい。そして、視界領域決定部１５１は、ランダムで設定値の組み合わせのいずれかを参照してパラメータを決定してもよいし、ユーザの選択に対応する設定値の組み合わせを参照してパラメータを決定してもよい。

【0041】

ところで、実際の被介護者は視線を固定させているとは限らず、ケアの最中に視線が動く場合もあり得る。そこで、被介護者Ａの視線の方向を動的に決定するよう構成されることで、より実際の介護に近い訓練を提供することができる。

【0042】

視界領域決定部１５１は、被介護者Ａの視界の領域Ｆを決定した後、所定の場合には、被介護者Ａの視線の方向を再度決定し、決定した視線の方向に基づいて被介護者Ａの視界の領域Ｆを再度決定してもよい。所定の場合は例えば、あらかじめ設定された時間が経過した場合や、所定の操作を受け付けた場合である。そして、判定部１５２は、空間におけるユーザの位置が再決定後の視界の領域Ｆに含まれるか否かを判定する。

【0043】

この場合、提示部１１は、再度決定された被介護者Ａの視線の方向を被介護者Ａが向いている映像を表示してもよい。提示部１１がこのように構成されることで、被介護者Ａの視線の方向が変わったことを介護者Ｕが理解しやすくなる効果を奏する。

【0044】

介護者Ｕが訓練の途中又は終了後に被介護者Ａの視界の領域を視認できるように提示部１１が領域Ｆを表示すると、介護者Ｕにより強く被介護者Ａの視界の広さを印象付けることができ、訓練の効果を向上させることが期待できる。

【0045】

操作受付部１５３は、ユーザから操作を受け付ける。操作受付部１５３は、入力部１２から入力された信号に基づいてユーザの操作内容を特定する。

【0046】

提示部１１は、操作受付部１５３が視界の領域を表示する操作を受け付けた場合に、視界領域決定部１５１が決定した被介護者Ａの視界の領域を表示する。図６は、提示部１１が被介護者Ａの視界の領域を表示する一例を示す図である。図６においては、提示部１１において視界領域決定部１５１が決定した視界の領域Ｆが介護者Ｕに視認可能な態様で表示される。提示部１１は、例えば領域Ｆを他の部分と異なる色で表示する。

【0047】

提示部１１は、ユーザの行った操作が視界の領域Ｆを表示するための所定の操作である場合、図６に示す映像を表示する。所定の操作は、例えば視界領域を表示するために割り当てられたボタンが押された場合、所定のジェスチャが行われた場合又はタッチパネルの所定の位置がタップされた場合である。

【0048】

介護者Ｕが声かけを行ったことに起因して判定部１５２の判定が行われるよう構成されると、より実際の介護に近い訓練を提供することができる。

【0049】

音声検知部１５４は、ユーザの発声を検知する。音声検知部１５４は、例えば入力部１２から入力された音声データが所定の音量以上での発声を示す場合にユーザの発声を検知する。そして、音声検知部１５４は、ユーザの発声を検知したことを判定部１５２に通知する。

【0050】

また、音声検知部１５４は入力部１２から入力された音声データを音声認識し、ユーザが発声した単語を特定してもよい。特定された単語が所定のキーワードと一致する場合に、介護者Ｕが被介護者Ａに声かけをしたことを判定部１５２に通知する。所定のキーワードは声かけを行う際に用いられる言葉であり、例えば「こんにちは」、「失礼します」などの挨拶に用いられる単語である。

【0051】

判定部１５２は、ユーザの発声を検知した場合に、ユーザの位置が視界の領域に含まれるか否かを判定する。判定部１５２は、介護者Ｕが被介護者Ａに声かけを行ったことを音声検知部１５４が検知した場合に、介護者Ｕが被介護者Ａの視界の領域Ｆに含まれるか否かを判定してもよい。

【0052】

提示部１１は、ユーザの位置が視界の領域に含まれる場合、被介護者Ａが第１の動作をする映像を表示し、ユーザの位置が視界の領域に含まれない場合、被介護者Ａが第２の動作をする映像を表示する。被介護者Ａが第１の動作をする映像は例えば、図３に示す映像である。被介護者Ａが第２の動作をする映像は例えば、図４に示す映像である。被介護者Ａが第２の動作をする映像は、被介護者Ａが応答しない映像でもよいし、被介護者Ａが怒り出す映像であってもよい。

【0053】

［情報端末１における処理の流れ］
図７は、情報端末１における処理の流れを示すフローチャートである。図７に示すフローチャートは、介護者Ｕが訓練を開始する操作を行い、訓練が開始された時点から開始している。視界領域決定部１５１は、被介護者Ａの位置を決定する（Ｓ１０１）。視界領域決定部１５１は、視界の領域を決定するパラメータを決定する（Ｓ１０２）。視界領域決定部１５１は、決定した被介護者Ａの位置と、パラメータと、に基づいて、被介護者Ａの視界の領域Ｆを決定する（Ｓ１０３）。提示部１１は、被介護者Ａの３次元映像を表示する（Ｓ１０４）。

【0054】

判定部１５２は、介護者Ｕが被介護者Ａに声掛けを行ったか否かを判定する（Ｓ１０５）。一例として、音声検知部１５４が所定の音量以上で介護者Ｕが発声したことを検知した場合、判定部１５２は声掛けが行われたと判定する。介護者Ｕが被介護者Ａに声掛けを行っていない間（Ｓ１０５におけるＮ）、情報端末１は、介護者Ｕが被介護者Ａに声掛けを行うまで待機処理を継続する。

【0055】

介護者Ｕが被介護者Ａに声掛けを行ったと判定する場合（Ｓ１０５におけるＹ）、判定部１５２は、情報端末１の介護者Ｕの位置を取得する（Ｓ１０６）。一例として、判定部１５２は、介護者Ｕの位置として位置検出手段１３から取得した情報端末１の位置情報を取得する。

【0056】

判定部１５２は、介護者Ｕの位置が被介護者Ａの視界の領域Ｆに含まれるか否かを判定する（Ｓ１０７）。介護者Ｕの位置が被介護者Ａの視界の領域Ｆに含まれる場合（Ｓ１０７におけるＹ）、提示部１１は、被介護者Ａが第１の動作をする映像を表示する（Ｓ１０８）。一例として、第１の動作は、被介護者Ａが笑顔で介護者Ｕに応答する映像である。

【0057】

介護者Ｕの位置が被介護者Ａの視界の領域Ｆに含まれない場合（Ｓ１０７におけるＮ）、提示部１１は、被介護者Ａが第２の動作をする映像を表示する（Ｓ１０９）。一例として、第２の動作は、被介護者Ａが機嫌の悪い様子で介護者Ｕに応答する映像である。

【0058】

提示部１１は、被介護者Ａの視界の領域Ｆを視認可能な態様で表示する（Ｓ１１０）。なお、提示部１１は、操作受付部１５３が所定の操作を受け付けた場合に被介護者Ａの視界の領域Ｆを表示してもよい。そして、情報端末１は、処理を終了する。

【0059】

［第１の実施形態の効果］
以上、説明したように第１の実施形態にかかる情報端末１においては、訓練を受けた介護者に視界の広さの違いを体験させることができるという効果を奏する。

【0060】

＜変形例１＞
ところで、介護者Ｕは声かけをした後、被介護者Ａに触れ、介護をする。ここで相手の視界の中に入った状態で介護を行うことで介護の効果を高めることが期待できる。そこで、情報端末１は、被介護者Ａの視界に入りながら被介護者Ａに触れる訓練を提供するよう構成されても良い。以下では、既に説明した内容と同じ内容については説明を省略し、異なる部分を中心に説明する。

【0061】

図８は、変形例１にかかる情報端末１Ａの構成を示すブロック図である。変形例１にかかる情報端末１Ａは、撮像部１６を有する。また、制御部１５は、撮像データ取得部１５５及び検出部１５６を有する。制御部１５は、記憶部１４に記憶されている制御プログラムを実行することにより、撮像データ取得部１５５及び検出部１５６として機能する。

【0062】

撮像部１６は、カメラである。撮像部１６は、介護者Ｕの前方を撮像できるように配置される。撮像部１６は、介護者Ｕの視界の少なくとも一部を撮像対象領域として撮像する。撮像部１６は、撮像したデータを撮像データ取得部１５５に入力する。

【0063】

撮像データ取得部１５５は、ユーザの視界の少なくとも一部を撮像対象領域とする撮像部１６が撮像することによって生成される撮像データを取得する。撮像データ取得部１５５は、取得した撮像データを検出部１５６に出力する。撮像データ取得部１５５は、撮像部１６が撮像した画像フレームのうち所定の間隔ごとに抽出された一部のフレームのみを取得しても良い。

【0064】

検出部１５６は、撮像データに含まれる介護者Ｕの手の位置を検出する。検出部１５６は、撮像データ取得部１５５より入力された撮像データを画像認識することで撮像データに含まれる介護者Ｕの手を検出する。そして、検出部１５６は、情報端末１と検出した介護者Ｕの手との距離を測定する。検出部１５６は、位置検出手段１３が検出した情報端末１の位置と、測定した距離と、を加算すること介護者Ｕの手の位置を得る。検出部１５６は、検出したユーザの手の位置を判定部１５２に出力する。

【0065】

判定部１５２は、介護者Ｕの手の位置が空間における被介護者Ａの位置と重なる否かを判定する。そして、判定部１５２は、介護者Ｕの手の位置が空間における被介護者Ａの位置と重なる場合に、空間におけるユーザの位置が被介護者Ａの視界の領域に含まれるか否かを判定する。具体的には、判定部１５２は、取得した介護者Ｕの位置と、視界領域決定部１５１が決定した被介護者Ａの視界の領域Ｆとを比較する。そして、判定部１５２は、介護者Ｕの位置が領域Ｆの内側又は境界線上にあるか否かを判定する。そして、提示部１１は、判定結果に応じた被介護者Ａの映像を表示する。

【0066】

なお、検出部１５６は、撮像データに含まれるユーザの掌の位置を検出してもよい。この場合、判定部１５２は、ユーザの掌の位置が空間における被介護者Ａの位置と重なるかを判定する。

【0067】

＜変形例２＞
変形例１においては、撮像部１６が撮像した撮像データに含まれる介護者Ｕの手に基づいてユーザの手の位置を検出したが、撮像部１６が撮像した、ユーザが持つ位置検出装置（不図示）の撮像データに基づいてユーザの手の位置を検出してもよい。一例として、位置検出装置は複数のマーカを搭載している。そして、検出部１５６は、複数のカメラで撮像した複数のマーカの視差に基づいて、位置検出装置の位置を、ユーザの手の位置として特定する。一例として、マーカは、赤外線ＬＥＤであり、撮像部１６は、赤外線カメラである。位置検出装置は例えばコントローラである。

【0068】

＜変形例３＞
さらに、ユーザの手の位置を検出する位置検出装置（不図示）が検出したユーザの手の位置を取得するよう構成されてもよい。この場合の位置検出装置は、例えば、位置を検出する機能と情報端末１Ａと通信し、位置情報を送信する機能を有するコントローラである。検出部１５６は、位置検出装置から取得した位置情報に基づいて、ユーザの手の位置として特定する。

【0069】

＜第２の実施形態＞
第１の実施形態においては、実空間に配置された物を用いずに提示部１１が被介護者Ａの３次元映像を表示する場合について説明した。これに対して第２の実施形態にかかる情報端末１Ｂは、被介護者を模したダミーに被介護者Ａの３次元映像を重畳して表示するよう構成されてもよい。訓練を受ける介護者Ｕはダミーに触れてコミュニケーションの訓練を行うため、より実際の介護に近い訓練を受けることができる。そして、訓練を受ける介護者の五感を刺激することで訓練の効果を高めることが期待される。

【0070】

図９は、第２の実施形態にかかる情報端末１Ｂを用いた訓練の概要を説明する図である。図９においては、実空間に配置されたダミーＤに被介護者Ａの映像が重畳して表示されている。ダミーＤは被介護者Ａを模したモデルである。ダミーＤの表面にはマーカＭが配置されている。マーカＭは情報端末１がマーカを判別するための画像である。情報端末１Ｂは、前方を撮像した映像においてマーカＭを検出した場合、ダミーＤに被介護者Ａの映像を重畳して表示する。

【0071】

ダミーＤには圧力センサＳが搭載されている。圧力センサＳは検出した圧力を示す圧力情報を情報端末１に送信する。情報端末１は、取得した圧力情報が示す圧力が所定の条件を満たす場合、介護者Ｕの位置が、被介護者Ａの位置に含まれるか否かを判定する。そして、情報端末１は、判定結果に応じた被介護者Ａの映像を表示する。

【0072】

図１０は、第２の実施形態にかかる情報端末１Ｂの構成を示すブロック図である。情報端末１Ｂは、通信部１７をさらに有する。制御部１５は、圧力情報取得部１５７をさらに有する。制御部１５は、記憶部１４に記憶されている制御プログラムを実行することにより、圧力情報取得部１５７として機能する。

【0073】

提示部１１は、被介護者Ａの３次元映像を検出部１５６が検出したダミーＤに重畳して表示する。検出部１５６がダミーＤを検出する処理については後述する。

【0074】

提示部１１は、取得した圧力情報が示す圧力が第１の閾値以上であってユーザの位置が視界の領域に含まれる場合、被介護者Ａが第１の動作をする映像を表示する。そして、提示部１１は、取得した圧力情報が示す圧力が第１の閾値以上であってユーザの位置が視界の領域に含まれない場合に、被介護者Ａが第２の動作をする映像を表示する。換言すれば、取得した圧力情報が示す圧力が第１の閾値以上である場合に、判定部１５２は、介護者Ｕの位置が被介護者Ａの位置に含まれるかどうかの判定を行う。そして、提示部１１は、上述の通り、判定結果に応じた映像を表示する。

【0075】

通信部１７は、圧力センサＳと通信するための通信インターフェースである。通信部１７は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）により、圧力センサＳと通信する。

【0076】

判定部１５２は、取得した圧力情報が第１の閾値以上であるかを判定する。第１の閾値は、介護者が被介護者に触れる際に通常発生する程度の圧力に基づいて定められる値である。

【0077】

検出部１５６は、撮像データに含まれるダミーＤであって、３次元映像を重畳させるためのダミーＤを検出する。すなわち、検出部１５６は、撮像データ取得部１５５より入力された撮像データを画像認識することで撮像データに含まれるマーカＭを検出する。そして、検出部１５６は、情報端末１と検出したマーカＭとの距離を測定する。視界領域決定部１５１は、訓練空間における介護者Ａの位置を決定する。視界領域決定部１５１は、位置検出手段１３が検出した情報端末１の位置と、測定した距離と、を加算することで被介護者Ａの位置を決定する。

【0078】

圧力情報取得部１５７は、圧力を検知する圧力検知手段を搭載したダミーＤからダミーＤにかかる圧力の強さを示す圧力情報を取得する。圧力情報取得部１５７は、通信部１７を介して圧力センサＳが周期的に検知する圧力情報を取得する。

【0079】

ところで、被介護者は強い力で触れられるとネガティブな反応を示す場合がある。そこで、判定部１５２は介護者Ｕが触れた圧力が所定の閾値未満であるか否かに応じて表示する映像を制御するよう構成されてもよい。

【0080】

判定部１５２は、取得した圧力情報が示す圧力が第２の閾値未満であるかを判定する。第２の閾値は、その圧力で触れられた人が強く圧迫されていると感じやすい圧力に基づいて定められる値であり、例えば２５ｈＰＡである。

【0081】

提示部１１は、取得した圧力情報が示す圧力が第２の閾値以上である場合に、被介護者Ａが第２の動作をする映像を表示し、取得した圧力情報が示す圧力が第１の閾値以上かつ第２の閾値未満であってユーザの位置が視界の領域に含まれる場合、被介護者Ａが第１の動作をする映像を表示し、取得した圧力情報が示す圧力が第１の閾値以上かつ第２の閾値未満であってユーザの位置が視界の領域に含まれない場合に、被介護者Ａが第２の動作をする映像を表示する。換言すれば、取得した圧力情報が示す圧力が第２の閾値以上である場合に、判定部１５２は、介護者Ｕの位置によらず、被介護者Ａが第２の動作をする映像を表示する。

【0082】

［第２の実施形態の効果］
第２の実施形態にかかる情報端末１Ｂにおいては、介護者に被介護者を模したダミーに触れながらコミュニケーションを取る訓練を提供することが可能となる。この結果、訓練の効果をより高めることができる。

【0083】

なお、本発明により、国連が主導する持続可能な開発目標（SDGs）の目標９「産業と技術革新の基盤をつくろう」に貢献することが可能となる。

【0084】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。例えば、情報端末１の構成の一部を情報端末１と通信可能に接続された不図示のサーバ上で実施し、情報端末１はサーバにおける処理の結果を受信するよう構成されてもよい。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【符号の説明】

【0085】

１ 情報端末
１１ 提示部
１２ 入力部
１３ 位置検出手段
１４ 記憶部
１５ 制御部
１６ 撮像部
１７ 通信部
１５１ 視界領域決定部
１５２ 判定部
１５３ 操作受付部
１５４ 音声検知部
１５５ 撮像データ取得部
１５６ 検出部
１５７ 圧力情報取得部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】