特開 2024-174715 移動支援装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024174715

(43)【公開日】2024-12-17

(54)【発明の名称】移動支援装置

(51)【国際特許分類】

   G06T 7/20 20170101AFI20241210BHJP

   A61B 5/11 20060101ALI20241210BHJP

【ＦＩ】

G06T7/20 300Z

A61B5/11 200

【審査請求】未請求

【請求項の数】3

【出願形態】ＯＬ

(21)【出願番号】P 2023092697

(22)【出願日】2023-06-05

(71)【出願人】

【識別番号】000002967

【氏名又は名称】ダイハツ工業株式会社

(74)【代理人】

【識別番号】100180644

【弁理士】

【氏名又は名称】▲崎▼山 博教

(72)【発明者】

【氏名】野田 憲司

【テーマコード（参考）】

4C038

5L096

【Ｆターム（参考）】

4C038VA04

4C038VB01

4C038VC20

5L096CA02

5L096GA51

(57)【要約】

【課題】ユーザの動作を正確に検出し、ユーザの移動を適切に支援できる移動支援装置の実現を目的とする。
【解決手段】ユーザ２の両肩及び首周りの少なくともいずれかに装着される移動支援装置１であり、ユーザ２の少なくとも両肩の動きに係る肩移動情報２１を取得する肩移動検知センサ２０と、肩移動情報２１に基づいて関心領域に対する処理を実行する制御部４０とを備え、制御部４０は、肩移動情報２１に基づいて関心領域を推定する関心領域推定処理と、肩移動情報２１に基づいて予め規定された複数の関心領域変更パターンの少なくとも一に基づいて関心領域を変更する関心領域変更処理とを実行可能であり、肩移動情報２１に基づいて関心領域推定処理を実行すると共に、推定された関心領域に近づくように少なくとも一の関心領域変更パターンを選択し、選択された関心領域変更パターンに基づいて、関心領域変更処理を実行することを特徴とする。
【選択図】図１

【特許請求の範囲】

【請求項1】

ユーザの両肩及び首周りの少なくともいずれかに装着される移動支援装置であって、
前記ユーザの少なくとも両肩の動きに係る肩移動情報を取得する肩移動検知センサと、
前記肩移動情報に基づいて関心領域に対する処理を実行する制御部と、
を備え、
前記制御部は、
前記肩移動情報に基づいて前記関心領域を推定する関心領域推定処理と、
前記肩移動情報に基づいて予め規定された複数の関心領域変更パターンの少なくとも一に基づいて前記関心領域を変更する関心領域変更処理と、
を実行可能なものであり、
前記肩移動情報に基づいて前記関心領域推定処理を実行すると共に、推定された前記関心領域に近づくように少なくとも一の前記関心領域変更パターンを選択し、選択された前記関心領域変更パターンに基づいて、前記関心領域変更処理を実行すること、を特徴とする移動支援装置。

【請求項2】

前記ユーザの前方側を撮像する撮像部を備えており、
前記関心領域は、前記撮像部で撮像された画像内において設定されるものであり、
前記制御部は、前記肩移動情報と共に、前記撮像部で撮像した画像情報に基づいて、少なくとも一の前記関心領域変更パターンを選択すること、を特徴とする請求項１に記載の移動支援装置。

【請求項3】

前記関心領域変更パターンは、
前記肩移動情報における前記両肩の幅方向への動きが所定の移動閾値よりも大きいことを条件として、前記関心領域を前記幅方向に広げる変更を行う領域広域変更パターンと、
前記肩移動情報における前記両肩の移動速度が、所定の速度閾値よりも大きいことを条件として、前記関心領域を奥行方向に移行させる領域奥域方向変更パターンと、
前記肩移動情報における前記両肩の移動速度が、前記速度閾値以下であることを条件として、前記関心領域を手前方向に移行させる領域手前方向変更パターンと、
を含むこと、を特徴とする請求項１又は２に記載の移動支援装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動支援装置に関する。

【背景技術】

【0002】

従来、手によるジェスチャーによりヘッドマウントデバイス上の拡張現実を選択するための方法が知られている（例えば、特許文献１）。特許文献１に記載の方法は、ヘッドマウントデバイス（ＨＭＤ）上の拡張現実（ＡＲ）オブジェクトを選択するための方法であって、ユーザの少なくとも一方の手によって形成されるジェスチャーに基づいて関心領域（ＲＯＩ）を定義するステップと、前記ユーザに対して前記ＨＭＤ上に形状を表示するステップであって、前記形状が前記ＲＯＩの輪郭を表すステップと、前記ユーザに対して複数のＡＲオブジェクトを表示するステップであって、前記複数のＡＲオブジェクトの各々が前記ＲＯＩの内側の目標に関連付けられるステップと、前記ユーザの前記少なくとも一方の手の第１の動きに基づいて前記ＲＯＩのサイズを縮小するステップであって、前記縮小されたサイズのＲＯＩが前記複数のＡＲオブジェクトから特定のＡＲオブジェクトを選択するために使用されるステップとを含むものとされている。

【0003】

また、他の手段として、ユーザの視線に基づいて、関心領域（ＲＯＩ：Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）に表示させる画像を変更することも知られている（例えば、特許文献２）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開ＷＯ２０１４／１２６９６６号公報

【特許文献2】国際公開ＷＯ２０１６／１０３２５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、特許文献１に記載の発明は、ヘッドマウントデバイスを装着したユーザが手でジェスチャーを行うことをきっかけとして、ＲＯＩのサイズが縮小されるものとされている。

【0006】

しかしながら、特許文献１に記載の方法は、ジェスチャーを検出できる範囲内でジェスチャーを行う必要があり、コツを要する懸念がある。また、上述した特許文献１に記載の発明は、自分の手が検出されているかわからない状況が発生し、ユーザが不安に陥る懸念や、ジェスチャーを誤ることにより、想定した動作が行われない懸念がある。

【0007】

また、特許文献２に記載の方法は、ユーザの視線を検出する構成とした場合、ユーザの視線を検出するための視線検出装置を設ける必要がある。しかしながら、視線を通じて、顔の向きを検出したとしても、例えば周囲の音変化といった環境変化により、意図せず顔の向きが変化するため、正確にユーザの動作を正確に検出できない懸念がある。そのため、例えば、障害物の存在を報知するような移動支援装置に適用した場合、ユーザに的確に障害物の存在を報知することができない懸念がある。

【0008】

そこで本発明は、ユーザの動作を正確に検出し、ユーザの移動状態に基づいた適切な関心領域（ＲＯＩ）の提供が可能な移動支援装置の実現を目的とする。また、本発明は、ユーザの移動を適切に支援できる移動支援装置の実現を目的とする。

【課題を解決するための手段】

【0009】

（１）上述した課題を解決すべく提供される本発明の移動支援装置は、ユーザの両肩及び首周りの少なくともいずれかに装着される移動支援装置であって、前記ユーザの少なくとも両肩の動きに係る肩移動情報を取得する肩移動検知センサと、前記肩移動情報に基づいて関心領域に対する処理を実行する制御部と、を備え、前記制御部は、前記肩移動情報に基づいて前記関心領域を推定する関心領域推定処理と、前記肩移動情報に基づいて予め規定された複数の関心領域変更パターンの少なくとも一に基づいて前記関心領域を変更する関心領域変更処理と、を実行可能なものであり、前記肩移動情報に基づいて前記関心領域推定処理を実行すると共に、推定された前記関心領域に近づくように少なくとも一の前記関心領域変更パターンを選択し、選択された前記関心領域変更パターンに基づいて、前記関心領域変更処理を実行すること、を特徴とするものである。

【0010】

上述した移動支援装置は、肩移動検知センサによって、ユーザの少なくとも両肩の動きに係る肩移動情報を取得できる。また、上述した移動支援装置は、取得した肩移動情報に基づいて関心領域推定処理を実行すると共に、推定された関心領域に近づくように少なくとも一の関心領域変更パターンを選択し、選択された関心領域変更パターンに基づいて、関心領域変更処理を実行することができる。すなわち、上述した移動支援装置は、ユーザの両肩の動きに基づいて、ユーザの動作を正確に検出できる。これにより、上述した移動支援装置は、ユーザの移動状態に基づいた適切な関心領域を提供することができるので、ユーザの移動を適切に支援することができる。

【0011】

（２）上述した本発明の移動支援装置は、前記ユーザの前方側を撮像する撮像部を備えており、前記関心領域は、前記撮像部で撮像された画像内において設定されるものであり、前記制御部は、前記肩移動情報と共に、前記撮像部で撮像した画像情報に基づいて、少なくとも一の前記関心領域変更パターンを選択すること、を特徴とするとよい。

【0012】

上述した移動支援装置は、かかる構成とすることにより、撮像部で撮像した画像情報に基づいて、少なくとも一の関心領域変更パターンを選択できる。すなわち、上述した移動支援装置は、肩移動情報、及びユーザの前方側の画像情報の双方に基づいて、関心領域の変更を行うことができるので、ユーザの進行方向を考慮して適切な位置に関心領域を設定することができる。これにより、上述した移動支援装置は、ユーザの移動をより一層精度良く支援することができる。

【0013】

（３）上述した本発明の移動支援装置は、前記関心領域に対する前記処理の結果を通知する通知部を備え、前記制御部は、前記画像情報に含まれる障害物を検出する障害物検出処理と、前記画像情報に前記障害物が含まれることを条件として、前記障害物に対するバウンディングボックスを前記関心領域に設定するバウンディングボックス設定処理と、を実行可能なものであり、前記通知部は、設定された前記バウンディングボックスに基づき、前記障害物の存在を通知すること、を特徴とするとよい。

【0014】

上述した移動支援装置は、かかる構成とすることにより、障害物に対するバウンディングボックスを関心領域に設定することができる。これにより、上述した移動支援装置は、通知部において、バウンディングボックスに基づく障害物の存在を通知することができる。そのため、上述した移動支援装置は、視覚障がい者等に対して、適切に移動の支援を行うことができる。

【0015】

（４）上述した本発明の移動支援装置は、前記肩移動検知センサが、ジャイロセンサで構成されており、前記関心領域変更パターンが、前記ジャイロセンサで検知された加速度の変化に基づいて選択されること、を特徴とするとよい。

【0016】

上述した移動支援装置は、かかる構成とすることにより、肩移動検知センサを小型化することができる。具体的には、上述した移動支援装置は、ジャイロセンサを用いることにより、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向の３方向の両肩の移動を一体的に検出できる。ここで、ジャイロセンサは、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）等で構成されているとよい。これにより、上述した移動支援装置の小型化が期待できる。なお、ジャイロセンサに代えて、例えば、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向の加速度センサを設けておき、これらの加速度センサにおける加速度を合成することにより、両肩の移動が検出されてもよい。

【0017】

（５）上述した本発明の移動支援装置は、前記肩移動検知センサと、前記制御部と、前記肩移動検知センサ及び前記制御部を駆動するためのバッテリーと、を一体的に備える筐体を有し、前記筐体が、前記ユーザの前記両肩及び首周りの少なくともいずれかに装着可能であること、を特徴とするとよい。

【0018】

上述した移動支援装置は、かかる構成とすることにより、ユーザの両肩の動きを精度良く検知できる。そのため、上述した移動支援装置は、ユーザの手の動きに依存せずにユーザの移動を適切に支援できる。これにより、上述した移動支援装置は、ユーザが、手の動きの検出有無に係る不安に陥ることを抑制できる。

【0019】

（６）上述した本発明の移動支援装置において、前記関心領域変更パターンは、前記肩移動情報における前記両肩の幅方向への動きが所定の移動閾値よりも大きいことを条件として、前記関心領域を前記幅方向に広げる変更を行う領域広域変更パターンと、前記肩移動情報における前記両肩の移動速度が、所定の速度閾値よりも大きいことを条件として、前記関心領域を奥行方向に移行させる領域奥域方向変更パターンと、前記肩移動情報における前記両肩の移動速度が、前記速度閾値以下であることを条件として、前記関心領域を手前方向に移行させる領域手前方向変更パターンと、を含むこと、を特徴とするとよい。

【0020】

上述した移動支援装置は、かかる構成とすることにより、領域広域変更パターン、領域奥域方向変更パターン、及び領域手前方向変更パターンの３つのパターンに基づいて、関心領域を変更することができる。そのため、上述した移動支援装置は、３つのパターンに応じて、迅速かつ適切に関心領域を変更することができる。これにより、上述した移動支援装置は、ユーザの意図する移動方向に関心領域を移行させることができるので、ユーザの意図に応じた適切な移動支援を行うことができる。

【0021】

ここで、領域広域変更パターンは、両肩の幅方向の動きが所定の移動閾値よりも大きいことを条件として、関心領域を幅方向に広げる変更を行うものとされている。これにより、上述した移動支援装置は、ユーザにおける両肩の幅方向の動きが大きい場合であっても、迅速に追従してユーザの移動支援を行うことができる。また、領域奥行方向変更パターンは、両肩の移動速度が、所定の速度閾値よりも大きいことを条件として、関心領域を奥行方向に移行させるものとされている。これにより、ユーザの移動速度が速い場合であっても、迅速に追従してユーザの移動支援を行うことができる。また、領域手前方向変更パターンは、両肩の移動速度が、所定の速度閾値以下であることを条件として、関心領域を手前方向に移行させるものとされている。これにより、ユーザの移動速度が遅い場合に、ユーザの移動速度に応じた適切な移動支援を行うことができる。

【0022】

（７）上述した本発明の移動支援装置は、前記肩移動検知センサによって取得された前記肩移動情報を蓄積する肩移動情報蓄積部を有し、前記関心領域変更パターンは、前記肩移動情報蓄積部に蓄積された前記肩移動情報を機械学習することにより得られた学習肩移動情報に基づいて設定されるものであること、を特徴とするとよい。

【0023】

上述した移動支援装置は、肩移動情報蓄積部に蓄積された肩移動情報を機械学習することにより学習肩移動情報を取得することができる。また、上述した移動支援装置は、機械学習により得られた学習肩移動情報に基づいて、関心領域変更パターンを設定することができる。これにより、上述した移動支援装置は、迅速に適切な関心領域変更パターンを設定できるので、ユーザの移動を適切に支援できる。ここで、肩移動情報蓄積部は、移動支援装置の本体に設けられるものの他、移動支援装置と通信可能なように外部に設けられるものでもよい。また、上述した移動支援装置は、肩移動情報蓄積部を有しない構成とすることもできる。かかる場合は、別途の手段で予め取得した肩移動情報を機械学習することにより学習肩移動情報を取得するようにすればよい。

【0024】

（８）上述した本発明の移動支援装置は、前記肩移動検知センサによって取得された前記肩移動情報を蓄積する肩移動情報蓄積部を有し、前記関心領域推定処理は、前記肩移動情報蓄積部に蓄積された前記肩移動情報を機械学習することにより得られた学習肩移動情報に基づいて実行されるものであるとよい。

【0025】

上述した移動支援装置は、肩移動情報蓄積部に蓄積された肩移動情報を機械学習することにより学習肩移動情報を取得することができる。また、上述した移動支援装置は、機械学習により得られた学習肩移動情報に基づいて、関心領域推定処理を実行できる。これにより、上述した移動支援装置は、迅速に適切な関心領域を推定することができるので、ユーザの移動を適切に支援できる。

【発明の効果】

【0026】

本発明によれば、ユーザの動作を正確に検出し、ユーザの移動状態に基づいた適切な関心領域（ＲＯＩ）の提供が可能な移動支援装置を実現することができる。また、本発明によれば、ユーザの移動を適切に支援できる移動支援装置を実現することができる。

【図面の簡単な説明】

【0027】

【図1】本発明の一実施形態に係る移動支援装置の平面図である。

【図2】図１の移動支援装置の装置構成を示すブロック図である。

【図3】本発明の一実施形態に係る移動支援装置を装着したユーザの移動方向と肩移動検知センサの検知状態との関係を示した説明図である。

【図4】本発明の一実施形態に係る移動支援装置を装着したユーザの移動速度と肩移動検知センサの検知状態との関係を示した説明図である。

【図5】本発明の移動支援装置を構成する肩移動検知センサの制御を示すフローチャートである。

【図6】本発明の移動支援装置を構成する撮像部の制御を示すフローチャートである。

【図7】本発明の変形例に係る移動支援装置の装置構成を示すブロック図である。

【発明を実施するための形態】

【0028】

以下、本発明の一実施形態に係る移動支援装置１について、図面を参照しつつ詳細を説明する。なお、各図は、理解が容易なように模式的に表したものであり、実際のサイズとは異なる場合があることに留意されたい。また、以下の説明において、上下左右等の位置関係については、特に断りのない限り、図示した姿勢を基準として説明する。

【0029】

図１に示した移動支援装置１は、例えば、視覚障がいを有するユーザ２の移動を支援するためのものである。図２に示すように、移動支援装置１は、端末１０として構成されている。移動支援装置１（端末１０）は、肩移動検知センサ２０、撮像部３０、制御部４０、及び通知部５０等を備えている。

【0030】

端末１０は、ユーザ２が装着して使用するものである。端末１０は、バッテリー１１を備えている。撮像部３０やバッテリー１１は、移動支援装置１をなす筐体の内部に収容されている。端末１０は、ユーザ２が負担を感じることなく、安定的に装着可能なものであるとよい。本実施形態では、端末１０は、両肩又は首周りの少なくともいずれかに装着可能なウエアラブル端末とされている。図３及び図４に示す例では、端末１０は、首周りから両肩に掛けて装着可能なウエアラブル端末とされている。本実施形態では、端末１０が、逆Ｕ字形状に形成されており、ユーザ２の首に掛けることができる。また、端末１０は、使用状態においてユーザ２の前方側の領域を撮影可能なように撮像部３０が組み込まれている。端末１０は、バッテリー１１を具備しており、バッテリー１１から供給される電力によって撮像部３０や制御部４０、通知部５０等の移動支援装置１を構成する各部を作動させることができる。

【0031】

肩移動検知センサ２０は、例えば、ジャイロセンサ２０Ａで構成されており、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向の３方向の加速度を一体的に検知することができる。ここで、ジャイロセンサ２０Ａは、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）等で構成されているとよい。これにより、端末１０の小型化が期待できる。肩移動検知センサ２０は、ユーザ２の少なくとも両肩の動きに係る肩移動情報２１を取得することができる。具体的には、肩移動検知センサ２０は、ジャイロセンサ２０Ａを用いることにより、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向の３方向の両肩の移動を肩移動情報２１として検出できる。ここで、肩移動情報２１は、例えば、加速度、あるいは、加速度を演算処理して得られるユーザ２の肩の移動方向とされている。なお、加速度の演算処理は、肩移動検知センサ２０、及び後述する制御部４０の少なくともいずれかにおいて行うことができる。

【0032】

撮像部３０は、例えば、カメラで構成されており、ユーザ２の前方側の領域を撮像することができる。本実施形態では、撮像部３０が、例えば、端末１０の前端側の一方側に設けられている（図１参照）。撮像部３０で撮像された画像における画像情報３１は、制御部４０に有線又は無線にて送信される。

【0033】

制御部４０は、コンピュータ等で構成され、肩移動情報２１の演算処理や、撮像部３０から取得した撮像画像の画像処理等を実行することができる。制御部４０は、端末１０をなす筐体の内部に収容されている。制御部４０は、肩移動情報２１に基づいて関心領域（ＲＯＩ：Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔとも称する）に対する処理を実行することができる。具体的には、制御部４０は、肩移動情報２１に基づいて関心領域を推定する関心領域推定処理と、肩移動情報２１に基づいて予め規定された複数の関心領域変更パターンの少なくとも一に基づいて関心領域を変更する関心領域変更処理と、を実行可能なものとされている。

【0034】

関心領域推定処理は、図３（ｂ）に示すユーザ２が正面を向いた状態から図３（ａ）に示すユーザ２が右方向を向いた状態への移行（図示矢印（３））、あるいは、前記とは逆に図３（ａ）に示すユーザ２が右方向を向いた状態から、図３（ｂ）に示すユーザ２が正面を向いた状態への移行（図示矢印（４））の際のＸ軸方向、Ｙ軸方向、Ｚ軸方向（単に、３軸方向とも称する）への加速度の変化に基づいて、ユーザ２の関心領域を推定する処理とされている。

【0035】

また、関心領域推定処理は、図３（ｂ）に示すユーザ２が正面を向いた状態から図３（ｃ）に示すユーザ２が左方向を向いた状態への移行（図示矢印（１））、あるいは、前記とは逆に図３（ｃ）に示すユーザ２が左方向を向いた状態から、図３（ｂ）に示すユーザ２が正面を向いた状態への移行（図示矢印（２））の際の３軸方向への加速度の変化に基づいて、ユーザ２の関心領域を推定する処理とされている。言い換えると、関心領域推定処理は、肩移動情報２１に基づいて、ユーザ２が向く方向を推定することにより、ベースとなる関心領域を推定する処理と言える。ここで、関心領域は、ユーザ２が移動したい対象領域である。本実施形態では、関心領域が、撮像部３０で撮像された画像内において設定される。また、関心領域は、画像情報３１において、障害物の存在を検知したときに、当該障害物の報知（通知）を行う対象領域とされている。

【0036】

関心領域変更処理は、推定された関心領域に近づくように少なくとも一の関心領域変更パターンを選択し、選択された関心領域変更パターンに基づいて、関心領域変更処理を実行するものとされている。

【0037】

ここで、関心領域変更パターンは、本実施形態では、領域広域変更パターン、領域奥行方向変更パターン、及び領域手前方向変更パターンの３つのパターンとして規定されている。

【0038】

領域広域変更パターンは、肩移動情報２１における両肩の幅方向への動きが、所定の移動閾値よりも大きいことを条件として、関心領域を幅方向に広げる変更を行うための変更パターンとして規定されている。ここで、移動閾値は、例えば、肩移動検知センサ２０の特性や、使用するユーザ２の動作状況等に応じて、任意の数値に設定できる。また、領域広域変更パターンでは、関心領域を幅方向に広げる変更を行う処理が実行される。言い換えると、領域広域変更パターンでは、肩移動検知センサ２０及び撮像部３０における領域広域検出の設定変更が実行される。

【0039】

領域奥行方向変更パターンは、図４（ｂ）に示すように、肩移動情報２１における両肩の移動速度が、所定の速度閾値Ｔｖよりも大きいことを条件として、関心領域を奥行方向に移行させる変更を行うための変更パターンとして規定されている。ここで、速度閾値Ｔｖは、例えば、肩移動検知センサ２０の特性や、使用するユーザ２の動作状況等に応じて、任意の数値に設定できる。図４（ｂ）では、ユーザ２のＸ方向及びＺ方向への移動速度が速度閾値Ｔｖよりも大きい場合を例示している。また、領域奥行方向変更パターンでは、関心領域を奥行方向に移行させる処理が実行される。言い換えると、領域奥行方向変更パターンでは、肩移動検知センサ２０及び撮像部３０における領域奥行検出の設定変更が実行される。

【0040】

領域手前方向変更パターンは、図４（ａ）に示すように、肩移動情報２１における両肩の移動速度が、速度閾値Ｔｖ以下であることを条件として、関心領域を手前方向に移行させる変更を行うための変更パターンとして規定されている。図４（ａ）では、ユーザ２のＸ方向及びＺ方向への移動速度が速度閾値Ｔｖ以下である場合を例示している。また、領域手前方向変更パターンでは、関心領域を手前方向に移行させる処理が実行される。言い換えると、領域手前方向変更パターンでは、肩移動検知センサ２０及び撮像部３０における領域手前検出の設定変更が実行される。

【0041】

また、本実施形態の移動支援装置１では、上述した関心領域変更パターンが、肩移動検知センサ２０（ジャイロセンサ２０Ａ）で検知された加速度の変化に基づいて選択されるものとされている。また、本実施形態の移動支援装置１では、制御部４０が、肩移動情報２１と共に、撮像部３０で撮像した画像情報３１に基づいて、少なくとも一の関心領域変更パターンを選択する制御を行うものとされている。具体的には、制御部４０は、撮像画像に基づく処理として、画像情報３１に含まれる障害物を検出する障害物検出処理と、画像情報３１に前記障害物が含まれることを条件として、前記障害物に対するバウンディングボックスを関心領域に設定するバウンディングボックス設定処理と、を実行するものとされている。

【0042】

通知部５０は、本実施形態では、スピーカー（イヤホンを含む）として構成されており、音声により、関心領域に対する処理の結果を通知するものとされている。具体的には、通知部５０は、設定されたバウンディングボックスに基づき、障害物の存在を通知することができる。すなわち、通知部５０は、制御部４０による処理の結果に基づいてユーザ２の移動を支援する移動支援通知を行うものとされている。

【0043】

以上が、本発明の一実施形態に係る移動支援装置１の構成であり、次に、図５及び図６のフローチャートを参照しながら、移動支援装置１の動作について説明する。

【0044】

図５は、移動支援装置１を構成する肩移動検知センサ２０の制御を示すフローチャートであり、図６は、移動支援装置１を構成する撮像部３０の制御を示すフローチャートである。なお、本実施形態では、肩移動検知センサ２０及び撮像部３０の制御が並行して行われることに留意されたい。

【0045】

図５に示すように、制御部４０において、肩移動検知センサ２０における制御が開始されると、肩移動検知センサ２０により加速度（肩移動情報２１）が取得される（ステップＳ１０）。続いて、一定時間の肩移動情報２１が蓄積したか否かの判定が行われる（ステップＳ１１）。

【0046】

ステップＳ１１において、一定時間の肩移動情報２１が蓄積していないと判定された場合は、処理がステップＳ１０に戻される。一方、ステップＳ１１において、一定時間の肩移動情報２１が蓄積したものと判定された場合は、肩移動情報２１の分析が実行される（ステップＳ１２）。

【0047】

次に、肩移動情報２１における幅方向への移動が、所定の移動閾値よりも大きいか否かの判定が行われる（ステップＳ１３）。

【0048】

ステップＳ１３において、肩移動情報２１における幅方向への移動（両肩の幅方向への移動量）が、所定の移動閾値よりも大きい場合は、領域変更パターンとして、領域広域変更パターンが選択される（ステップＳ１４）。領域広域変更パターンが選択されると、領域広域検出の設定が変更される。ステップＳ１４の処理が完了すると、ステップＳ１０の処理に戻される。なお、ステップＳ１４の処理が完了した後、処理を終了させることもできる。

【0049】

ステップＳ１３において、肩移動情報２１における幅方向への移動が、所定の移動閾値以下である場合は、肩移動情報２１における移動速度が、所定の速度閾値Ｔｖよりも大きいか否かの判定が行われる（ステップＳ１５）。

【0050】

ステップＳ１５において、肩移動情報２１における移動速度（両肩の移動速度）が、所定の速度閾値Ｔｖよりも大きい場合は、領域変更パターンとして、領域奥行方向変更パターンが選択される（ステップＳ１６）。領域奥行方向変更パターンが選択されると、領域奥域検出の設定が変更される。具体的には、両肩の移動速度が速度閾値Ｔｖよりも速い場合は、関心領域を奥行方向に移行させる。ステップＳ１６の処理が完了すると、ステップＳ１０の処理に戻される。なお、ステップＳ１６の処理が完了した後、処理を終了させることもできる。

【0051】

ステップＳ１５において、肩移動情報２１における移動速度が、所定の速度閾値Ｔｖ以下である場合は、領域変更パターンとして、領域手前方向変更パターンが選択される（ステップＳ１７）。領域手前方向変更パターンが選択されると、領域手前検出の設定が変更される。具体的には、両肩の移動速度が速度閾値Ｔｖよりも遅い場合は、関心領域を手前方向に移行させる。ステップＳ１７の処理が完了すると、ステップＳ１０の処理に戻される。なお、ステップＳ１７の処理が完了した後、処理を終了させることもできる。

【0052】

以上が、移動支援装置１を構成する肩移動検知センサ２０の制御の一実施形態であり、次に、移動支援装置１を構成する撮像部３０の制御について、以下に説明する。

【0053】

図６に示すように、処理が開始されると、撮像部３０における解析設定が読み込まれる（ステップＳ２０）。続いて、撮像部３０において、撮像が行われ、画像が取得される（ステップＳ２１）。

【0054】

ステップＳ２１において、画像が取得されると、画像解析が実行される（ステップＳ２２）。ステップＳ２２における画像解析においては、障害物の検知が実行され、障害物を含む画像情報３１が取得される。なお、画像解析は、画像マッチング等の各種の手段で行うことができる。

【0055】

次に、ステップＳ２２で検知された障害物に対してバウンディングボックスが取得（設定）される（ステップＳ２３）。バウンディングボックスが設定されると、設定されたバウンディングボックスに基づき、通知部５０が、障害物の存在を通知する（ステップＳ２４）。ステップＳ２４の処理が完了すると、ステップＳ２０の処理に戻される。なお、ステップＳ２４の処理が完了した後、処理を終了させることもできる。

【0056】

以上が、本発明の一実施形態に係る移動支援装置１の構成及び動作であり、次に移動支援装置１の作用効果について、以下に説明する。

【0057】

（１）本実施形態の移動支援装置１は、ユーザ２の両肩及び首周りの少なくともいずれかに装着される移動支援装置１であって、ユーザ２の少なくとも両肩の動きに係る肩移動情報２１を取得する肩移動検知センサ２０と、肩移動情報２１に基づいて関心領域に対する処理を実行する制御部４０と、を備え、制御部４０は、肩移動情報２１に基づいて前記関心領域を推定する関心領域推定処理と、肩移動情報２１に基づいて予め規定された複数の関心領域変更パターンの少なくとも一に基づいて前記関心領域を変更する関心領域変更処理と、を実行可能なものであり、肩移動情報２１に基づいて前記関心領域推定処理を実行すると共に、推定された前記関心領域に近づくように少なくとも一の前記関心領域変更パターンを選択し、選択された前記関心領域変更パターンに基づいて、前記関心領域変更処理を実行するものである。

【0058】

上述した移動支援装置１は、肩移動検知センサ２０によって、ユーザ２の少なくとも両肩の動きに係る肩移動情報２１を取得できる。また、上述した移動支援装置１は、取得した肩移動情報２１に基づいて関心領域推定処理を実行すると共に、推定された関心領域に近づくように少なくとも一の関心領域変更パターンを選択し、選択された関心領域変更パターンに基づいて、関心領域変更処理を実行することができる。すなわち、上述した移動支援装置１は、ユーザ２の両肩の動きに基づいて、ユーザ２の動作を正確に検出できる。これにより、上述した移動支援装置１は、ユーザ２の移動状態に基づいた適切な関心領域を提供することができるので、ユーザ２の移動を適切に支援することができる。

【0059】

（２）上述した移動支援装置１は、ユーザ２の前方側を撮像する撮像部３０を備えており、前記関心領域は、撮像部３０で撮像された画像内において設定されるものであり、制御部４０は、肩移動情報２１と共に、撮像部３０で撮像した画像情報３１に基づいて、少なくとも一の前記関心領域変更パターンを選択するものとされている。

【0060】

上述した移動支援装置１は、かかる構成とすることにより、撮像部３０で撮像した画像情報３１に基づいて、少なくとも一の関心領域変更パターンを選択できる。すなわち、上述した移動支援装置１は、肩移動情報２１、及びユーザ２の前方側の画像情報３１の双方に基づいて、関心領域の変更を行うことができるので、ユーザ２の進行方向を考慮して適切な位置に関心領域を設定することができる。これにより、上述した移動支援装置１は、ユーザ２の移動をより一層精度良く支援することができる。

【0061】

（３）上述した移動支援装置１は、前記関心領域に対する前記処理の結果を通知する通知部５０を備え、制御部４０は、画像情報３１に含まれる障害物を検出する障害物検出処理と、画像情報３１に前記障害物が含まれることを条件として、前記障害物に対するバウンディングボックスを前記関心領域に設定するバウンディングボックス設定処理と、を実行可能なものであり、通知部５０は、設定された前記バウンディングボックスに基づき、前記障害物の存在を通知するものとされている。

【0062】

上述した移動支援装置１は、かかる構成とすることにより、障害物に対するバウンディングボックスを関心領域に設定することができる。これにより、上述した移動支援装置１は、通知部５０において、バウンディングボックスに基づく障害物の存在を通知することができる。そのため、上述した移動支援装置１は、視覚障がい者等に対して、適切に移動の支援を行うことができる。

【0063】

（４）上述した移動支援装置１は、肩移動検知センサ２０が、ジャイロセンサ２０Ａで構成されており、前記関心領域変更パターンが、ジャイロセンサ２０Ａで検知された加速度の変化に基づいて選択されるものとされている。

【0064】

上述した移動支援装置１は、かかる構成とすることにより、肩移動検知センサ２０を小型化することができる。具体的には、上述した移動支援装置１は、ジャイロセンサ２０Ａを用いることにより、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向の３方向の両肩の移動を一体的に検出できる。

【0065】

（５）上述した移動支援装置１は、肩移動検知センサ２０と、制御部４０と、肩移動検知センサ２０及び制御部４０を駆動するためのバッテリー１１と、を一体的に備える筐体を有し、前記筐体が、ユーザ２の前記両肩及び首周りの少なくともいずれかに装着可能とされている。

【0066】

上述した移動支援装置１は、かかる構成とすることにより、ユーザ２の両肩の動きを精度良く検知できる。そのため、上述した移動支援装置１は、ユーザ２の手の動きに依存せずにユーザ２の移動を適切に支援できる。これにより、上述した移動支援装置１は、ユーザ２が、手の動きの検出有無に係る不安に陥ることを抑制できる。

【0067】

（６）上述した移動支援装置１において、前記関心領域変更パターンは、肩移動情報２１における前記両肩の幅方向への動きが所定の移動閾値よりも大きいことを条件として、前記関心領域を前記幅方向に広げる変更を行う領域広域変更パターンと、肩移動情報２１における前記両肩の移動速度が、所定の速度閾値Ｔｖよりも大きいことを条件として、前記関心領域を奥行方向に移行させる領域奥域方向変更パターンと、前記肩移動情報における前記両肩の移動速度が、速度閾値Ｔｖ以下であることを条件として、前記関心領域を手前方向に移行させる領域手前方向変更パターンと、を含むものとされている。

【0068】

上述した移動支援装置１は、かかる構成とすることにより、領域広域変更パターン、領域奥域方向変更パターン、及び領域手前方向変更パターンの３つのパターンに基づいて、関心領域を変更することができる。そのため、上述した移動支援装置１は、３つのパターンに応じて、迅速かつ適切に関心領域を変更することができる。これにより、上述した移動支援装置１は、ユーザ２の意図する移動方向に関心領域を移行させることができるので、ユーザ２の意図に応じた適切な移動支援を行うことができる。

【0069】

ここで、領域広域変更パターンは、両肩の幅方向の動きが所定の移動閾値よりも大きいことを条件として、関心領域を幅方向に広げる変更を行うものとされている。これにより、上述した移動支援装置１は、ユーザ２における両肩の幅方向の動きが大きい場合であっても、迅速に追従してユーザ２の移動支援を行うことができる。また、領域奥行方向変更パターンは、両肩の移動速度が、所定の速度閾値Ｔｖよりも大きいことを条件として、関心領域を奥行方向に移行させるものとされている。これにより、ユーザ２の移動速度が速い場合であっても、迅速に追従してユーザ２の移動支援を行うことができる。また、領域手前方向変更パターンは、両肩の移動速度が、所定の速度閾値Ｔｖ以下であることを条件として、関心領域を手前方向に移行させるものとされている。これにより、ユーザ２の移動速度が遅い場合に、ユーザ２の移動速度に応じた適切な移動支援を行うことができる。

【0070】

以上が、本発明の一実施形態に係る移動支援装置１の作用効果であり、次に変形例に係る移動支援装置１００についての詳細を説明する。なお、変形例に係る移動支援装置１００は、上述した実施形態に係る移動支援装置１に対して、肩移動情報蓄積部１１０が設けられている以外は、移動支援装置１と同様の構成を備えている。したがって、以下の説明では、同様部分の構成の説明は省略する。また、図面において、移動支援装置１と同様の部材には、同様の符号を用いていることに留意されたい。

【0071】

≪変形例≫
図７に示すように、移動支援装置１００は、移動支援装置１と同様に端末１０として構成されている。移動支援装置１００は、肩移動検知センサ２０、撮像部３０、制御部４０、通知部５０、及び肩移動情報蓄積部１１０等を備えている。

【0072】

肩移動情報蓄積部１１０は、例えば、メモリ等の記憶媒体で構成されている。肩移動情報蓄積部１１０は、肩移動検知センサ２０によって取得された肩移動情報２１を、例えば、所定時間毎に蓄積（記憶）することができる。変形例に係る移動支援装置１００では、前記関心領域変更パターンが、肩移動情報蓄積部１１０に蓄積された肩移動情報２１（蓄積肩移動情報Ａ１～Ａｎとも称する）を機械学習することにより得られた学習肩移動情報２２に基づいて設定される。これにより、移動支援装置１００は、機械学習によって設定された関心領域変更パターンに基づいて、関心領域の変更処理を実行できる。なお、学習肩移動情報２２は、一又は複数の情報で構成されていてもよい。

【0073】

ここで、肩移動情報蓄積部１１０は、移動支援装置１００の本体に設けられるものの他、移動支援装置１００と通信可能なように外部に設けられるものでもよい。また、上述した移動支援装置１００は、肩移動情報蓄積部１１０を有しない構成とすることもできる。かかる場合は、別途の手段で予め取得した肩移動情報２１を機械学習することにより学習肩移動情報２２を取得するようにすればよい。

【0074】

また、移動支援装置１００では、前記関心領域推定処理が、肩移動情報蓄積部１１０に蓄積された肩移動情報２１を機械学習することにより得られた学習肩移動情報２２に基づいて実行されるものとされている。このように、変形例に係る移動支援装置１００は、肩移動情報蓄積部１１０に蓄積された複数の蓄積肩移動情報Ａ１～Ａｎを機械学習することにより得られた学習肩移動情報２２に基づいて関心領域推定処理や関心領域の変更処理を実行できる。

【0075】

以上が、本発明の変形例に係る移動支援装置１００の構成であり、次に移動支援装置１００の作用効果について以下に説明する。

【0076】

（７）本発明の変形例に係る移動支援装置１００は、肩移動検知センサ２０によって取得された肩移動情報２１を蓄積する肩移動情報蓄積部１１０を有し、前記関心領域変更パターンは、肩移動情報蓄積部１１０に蓄積された肩移動情報２１（蓄積肩移動情報Ａ１～Ａｎ）を機械学習することにより得られた学習肩移動情報２２に基づいて設定されるものである。

【0077】

上述した移動支援装置１００は、肩移動情報蓄積部１１０に蓄積された肩移動情報２１を機械学習することにより学習肩移動情報２２を取得することができる。また、上述した移動支援装置１００は、機械学習により得られた学習肩移動情報２２に基づいて、関心領域変更パターンを設定することができる。これにより、上述した移動支援装置１００は、迅速に適切な関心領域変更パターンを設定できるので、ユーザ２の移動を適切に支援できる。

【0078】

（８）本発明の変形例に係る移動支援装置１００は、肩移動検知センサ２０によって取得された肩移動情報２１を蓄積する肩移動情報蓄積部１１０を有し、前記関心領域推定処理は、肩移動情報蓄積部１１０に蓄積された肩移動情報２１（蓄積肩移動情報Ａ１～Ａｎ）を機械学習することにより得られた学習肩移動情報２２に基づいて実行されるものとされている。

【0079】

上述した移動支援装置１００は、肩移動情報蓄積部１１０に蓄積された肩移動情報２１を機械学習することにより学習肩移動情報２２を取得することができる。また、上述した移動支援装置１００は、機械学習により得られた学習肩移動情報２２に基づいて、関心領域推定処理を実行できる。これにより、上述した移動支援装置１００は、迅速に適切な関心領域を推定することができるので、ユーザ２の移動を適切に支援できる。

【0080】

以上が、本発明の移動支援装置１，１００の構成及び作用効果であるが、本発明の移動支援装置１，１００は、上述した実施形態に限定されるものではなく、各種の変形を行うことができる。

【0081】

本実施形態では、移動支援装置１の筐体に肩移動検知センサ２０が一体に設けられているが、肩移動検知センサ２０が筐体とは別に設けられていてもよい。また、肩移動検知センサ２０は、単一のものとして形成されているものだけではなく、例えば、両肩のそれぞれに分離して設けられているものでも良い。また、本実施形態では、移動支援装置１が逆Ｕ字形状に形成されているが、移動支援装置１は、様々な形状や大きさに形成することができる。また、本実施形態では、移動支援装置１がユーザ２の両肩及び首周りの少なくともいずれかに装着されるものとしているが、肩移動検知センサ２０によって、ユーザ２の両肩の動きが検知できるものであれば、ユーザ２における各種の位置に配置することができる。また、本実施形態では、肩移動検知センサ２０が、ジャイロセンサ２０Ａとして構成されているものを例示したが、本発明の移動支援装置１は、これには限定されない。例えば、ジャイロセンサ２０Ａに代えて、例えば、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向の加速度センサを設けておき、これらの加速度センサにおける加速度を合成することにより、両肩の移動が検出されてもよい。また、ジャイロセンサ２０ＡもＭＥＭＳを利用したものの他、各種の方式や形態のものが利用できる。また、移動閾値や速度閾値Ｔｖは、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向に対してそれぞれ設定されるものだけではなく、これらの軸方向の移動量を総合したものに対して設定されるものなど、各種の態様や各種の数値で設定することができる。

【0082】

また、設定される関心領域やバウンディングボックスは、ユーザ２に対する移動支援を阻害しない範囲で、各種の形態で形成できる。また、本実施形態では、単一の制御部４０で各種の制御を行うものとしたが、制御部４０は、複数のもので形成されていてもよい。例えば、制御部４０は、画像処理、肩移動情報２１の解析処理、通知部５０における通知処理等、機能毎に設けられていてもよい。また、本実施形態では、関心領域変更パターンとして、領域広域変更パターン、領域奥行方向変更パターン、及び領域手前方向変更パターンの３つのパターンが規定されているが、関心領域変更パターンは、一又は複数の各種のパターンとして規定することができる。

【0083】

本実施形態では、撮像部３０が、カメラとして構成され、筐体の一端側に設けられるものを例示したが、撮像部３０は、障害物を認識可能な各種のものが利用できる。撮像部３０は、単一のものだけではなく複数のものであってもよい。また、撮像部３０は、ユーザ２の支援が可能なように、各種の位置に配置することができる。また、撮像部３０に代えて又は撮像部３０と共に、例えば、障害物検知センサ等を設けて、障害物を検知するようにしてもよい。また、本実施形態では、移動支援装置１が、肩移動情報２１及び画像情報３１の双方に基づいて、ユーザ２の移動支援を行うものとしたが、本発明の移動支援装置１は、肩移動情報２１に基づいて、ユーザ２の移動支援を行うことができる。

【0084】

本実施形態では、通知部５０が、スピーカーやイヤホンであり、音声により通知をおこなうものを例示したが、通知部５０は、音声により通知を行うものだけではなく、移動支援を行う対象であるユーザ２に対して、通知できるものであれば各種のものが利用できる。また、本実施形態では、移動支援装置１が、視覚障がい者を対象とするものを例示したが、本発明の移動支援装置１は、視覚障がい者だけではなく、各種の者を対象とすることができる。例えば、移動支援装置１は、高齢者等の移動支援等にも利用することができる。

【0085】

また、上述した変形例に係る移動支援装置１００では、肩移動情報蓄積部１１０に蓄積された肩移動情報２１（蓄積肩移動情報Ａ１～Ａｎ）を機械学習することにより学習肩移動情報２２を取得するようにしているが、本発明の移動支援装置１００は、これには限定されない。例えば、肩移動情報蓄積部１１０が、端末１０の本体ではなく、外部に設けられており、端末１０との無線通信により、肩移動情報２１が、外部の肩移動情報蓄積部１１０に送信されるものでもよい。また、学習肩移動情報２２は、別途の手段で予め取得した肩移動情報２１を機械学習することにより取得することもできる。かかる場合は、移動支援装置１のように、肩移動情報蓄積部１１０を設けない構成としておき、予め取得した学習肩移動情報２２に基づいて、関心領域推定処理や関心領域変更パターンの設定を行えばよい。また、上述した機械学習には、各種の機械学習手段が利用できる。

【0086】

以上が、本発明に係る移動支援装置の各種の実施形態や変形例であるが、本発明は上述した実施形態や変形例において例示したものに限定されるものではなく、特許請求の範囲を逸脱しない範囲でその教示及び精神から他の実施形態があり得ることは当業者に容易に理解できよう。

【産業上の利用可能性】

【0087】

本発明は、ユーザの移動支援を行う移動支援装置全般において好適に利用可能である。

【符号の説明】

【0088】

１ ：移動支援装置
１０ ：端末
１１ ：バッテリー
２０ ：肩移動検知センサ
２０Ａ ：ジャイロセンサ
２１ ：肩移動情報
２２ ：学習肩移動情報
３０ ：撮像部
３１ ：画像情報
４０ ：制御部
５０ ：通知部
１００ ：移動支援装置
１１０ ：肩移動情報蓄積部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】