IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ダイハツ工業株式会社の特許一覧

<>
  • 特開-移動支援装置 図1
  • 特開-移動支援装置 図2
  • 特開-移動支援装置 図3
  • 特開-移動支援装置 図4
  • 特開-移動支援装置 図5
  • 特開-移動支援装置 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024013166
(43)【公開日】2024-01-31
(54)【発明の名称】移動支援装置
(51)【国際特許分類】
   G09B 21/00 20060101AFI20240124BHJP
   G06F 3/01 20060101ALI20240124BHJP
【FI】
G09B21/00 D
G06F3/01 510
【審査請求】未請求
【請求項の数】3
【出願形態】OL
(21)【出願番号】P 2022115152
(22)【出願日】2022-07-19
(71)【出願人】
【識別番号】000002967
【氏名又は名称】ダイハツ工業株式会社
(74)【代理人】
【識別番号】100180644
【弁理士】
【氏名又は名称】▲崎▼山 博教
(72)【発明者】
【氏名】野田 憲司
(72)【発明者】
【氏名】池田 寛志
【テーマコード(参考)】
5E555
【Fターム(参考)】
5E555AA64
5E555AA74
5E555BA38
5E555BB38
5E555BC04
5E555BE08
5E555CA42
5E555DA23
5E555DA24
5E555EA22
5E555FA00
(57)【要約】
【課題】報知の必然性の高い障害物の存在について適確に報知可能とするとともに、報知が高頻度に発生することによる恐怖感や煩わしさを最小限に抑制可能な移動支援装置を実現すること。
【解決手段】移動支援装置10は、撮像部22と、撮像部22から取得した撮像画像に基づく処理を実行する処理部30と、処理部30による処理の結果に基づいて通知を行う通知部40と、を備えている。処理部30は、撮像画像に含まれる視覚障がい者用誘導ブロックBを検出するブロック検出処理と、関心領域Rを設定する関心領域設定処理と、障害物の存在を検出する障害物検出処理とを実行可能とされている。障害物検出処理により関心領域Rの内側における障害物が検出されることを条件として、通知部40が障害物の存在を通知する。
【選択図】図1
【特許請求の範囲】
【請求項1】
ユーザが移動する路面を含む撮像画像を取得可能な撮像部と、
前記撮像部から取得した前記撮像画像に基づく処理を実行する処理部と、
前記処理部による前記処理の結果に基づいて通知を行う通知部と、
を備えており、
前記処理部が、
前記撮像画像に含まれる視覚障がい者用誘導ブロックを検出するブロック検出処理と、
前記ブロック検出処理によって検出された前記視覚障がい者用誘導ブロックの存在状態に基づいて関心領域を設定する関心領域設定処理と、
前記撮像画像に基づいて障害物の存在を検出する障害物検出処理と、
を実行可能なものであり、
前記障害物検出処理により前記関心領域の内側における前記障害物の存在が検出されることを条件として、前記通知部が前記障害物の存在を通知するための障害物存在通知を実行可能であること、を特徴とする移動支援装置。
【請求項2】
前記処理部が、
前記関心領域設定処理において、前記視覚障がい者用誘導ブロックを含むように形成されるバウンディングボックス、及び前記撮像画像において所定位置に想定される基準線の位置関係に基づいて前記関心領域を設定すること、を特徴とする請求項1に記載の移動支援装置。
【請求項3】
前記処理部が、前記障害物検出処理により前記関心領域の内側における前記障害物として人を検出するとともに、前記人の顔の方向を検出可能であり、前記障害物として検出された前記人の前記顔の方向を条件の一部又は全部として、前記人を前記障害物存在通知の対象となる前記障害物とするか否かの判定を行うものであること、を特徴とする請求項1又は2に記載の移動支援装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、移動支援装置に関する。
【背景技術】
【0002】
従来、特許文献1に記載されている移動支援装置のようなものが提供されている。この移動支援装置は、路面を撮像する撮像部と、撮像部の撮像画像をもとに、使用者の移動可能方向の指標となる指標情報を検出する検出部と、検出部が検出した指標情報に基づき、使用者の移動を誘導する誘導情報を出力する制御部とを備えたものとされている。特許文献1の移動支援装置は、撮像部の撮像画像をもとに視覚障害者誘導用ブロックに重なる障害物が検出された場合に、障害物が存在する旨の警告を音声出力部により出力するものとされている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2017-146726号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1の移動支援装置のような構成とした場合、撮像部によって得られた撮像画像の内部において障害物が検出される度に警告が発せられる。そのため、特許文献1の移動支援装置においては、障害物の存在を知らせる警告が高頻度で発生することがあり、ユーザが必要以上に恐怖感を抱いたり、煩わしさを感じたりする可能性がある。また、ユーザとの衝突等を考慮した場合に警告する必要のないものまで警告が行われると、警告の信頼度が低下してしまう懸念すらある。
【0005】
その一方で、本発明者らが鋭意検討したところ、撮像部によって得られた撮像画像の内部において障害物が検出されたとしても、その障害物のなかには例えばユーザと衝突等する懸念のないなどして、ユーザに対して音声による警告等の報知をする必要性の低いものも多数含まれることがあり得るとの知見が得られた。また、ユーザとの衝突等の可能性を加味して報知の必然性の高いものについて適確に報知することにより、報知が高頻度に発生することによる恐怖感や煩わしさを最小限に抑制できるのではないかとの知見に至った。
【0006】
そこで本発明は、報知の必然性の高い障害物の存在について適確に報知可能とするとともに、報知が高頻度に発生することによる恐怖感や煩わしさを最小限に抑制可能な移動支援装置の実現を目的とした。
【課題を解決するための手段】
【0007】
(1)本発明の移動支援装置は、ユーザが移動する路面を含む撮像画像を取得可能な撮像部と、前記撮像装置から取得した前記撮像画像に基づく処理を実行する処理部と、前記処理部による前記処理の結果に基づいて通知を行う通知部と、を備えており、前記処理部が、前記撮像画像に含まれる視覚障がい者用誘導ブロックを検出するブロック検出処理と、前記ブロック検出処理によって検出された前記視覚障がい者用誘導ブロックの存在状態に基づいて関心領域を設定する関心領域設定処理と、前記撮像画像に基づいて障害物の存在を検出する障害物検出処理と、を実行可能なものであり、前記障害物検出処理により前記関心領域の内側における前記障害物の存在が検出されることを条件として、前記通知部が前記障害物の存在を通知するための障害物存在通知を実行可能であること、を特徴とするものである。
【0008】
本発明の移動支援装置は、ブロック検出処理によって検出された視覚障がい者用誘導ブロックの存在状態に基づいて関心領域を設定し、関心領域の内側において障害物の存在が検出されることを条件として、通知部により障害物存在通知を実行することにより、障害物の存在をユーザに対して通知することができる。このように、本発明の移動支援装置は、撮像装置から取得した撮像画像の全体ではなく、関心領域の内部に絞って障害物の存在を検出して通知を行う。そのため、本発明の移動支援装置は、報知が高頻度に発生することによる恐怖感や煩わしさを最小限に抑制できる。また、本発明の移動支援装置においては、関心領域が、ユーザが移動に際して指標とすると想定される視覚障がい者用誘導ブロックの存在状態に基づいて設定される。そのため、本発明の移動支援装置は、ユーザの移動に際して支障となるような、報知の必然性の高い障害物の存在を適確に報知することができる。従って、本発明によれば、報知の必然性の高い障害物の存在について適確に報知可能とするとともに、報知が高頻度に発生することによる恐怖感や煩わしさを最小限に抑制可能な移動支援装置を実現できる。
【0009】
(2)本発明の移動支援装置は、前記処理部が、前記関心領域設定処理において、前記視覚障がい者用誘導ブロックを含むように形成されるバウンディングボックス、及び前記撮像画像において所定位置に想定される基準線の位置関係に基づいて前記関心領域を設定すること、を特徴とするものであると良い。
【0010】
本発明の移動支援装置は、このような構成とすることにより、視覚障がい者用誘導ブロックの存在状態に基づいて適切な位置に関心領域を設定することができる。これにより、本発明の移動支援装置は、報知の必然性の高い障害物の存在についてより一層適確に報知しつつ、報知の頻度を最小限に抑制できる。
【0011】
(3)本発明の移動支援装置は、前記基準線が、前記撮像画像の中心を通り、前記ユーザの進行方向と並行するように設定される仮想線とされること、を特徴とするものであると良い。
【0012】
本発明の移動支援装置は、このような構成とすることにより、ユーザの進行方向を考慮して適切な位置に関心領域を設定することができる。これにより、本発明の移動支援装置は、報知の必然性の高い障害物の存在について一層適確に報知しつつ、報知の頻度を最小限に抑制できる。
【0013】
(4)本発明の移動支援装置は、前記基準線が、前記ユーザの移動経路として予測される移動予測経路に基づいて既定されること、を特徴とするものであると良い。
【0014】
本発明の移動支援装置は、このような構成とすることにより、ユーザの移動経路の予測に基づいて適切な位置に関心領域を設定できる。これにより、本発明の移動支援装置は、報知の必然性の高い障害物の存在について適確に報知しつつ、報知の頻度を最小限に抑制できる。
【0015】
(5)本発明の移動支援装置は、前記ブロック検出処理によって前記視覚障がい者用誘導ブロックの存在が検出されることを条件として、前記視覚障がい者用誘導ブロックの存在が検出されない場合に比べて前記関心領域が小さく設定されるものであると良い。
【0016】
本発明の移動支援装置は、かかる構成とすることにより、視覚障がい者用誘導ブロックを指標として移動するユーザにとって必要な領域に限定して報知の必然性の高い障害物の存在を適確に報知しつつ、報知の頻度を最小限に抑制できる。
【0017】
(6)本発明の移動支援装置は、前記ブロック検出処理によって前記視覚障がい者用誘導ブロックの存在が検出されることを条件として、ユーザの位置を基準として前記視覚障がい者用誘導ブロックを介して幅方向外側の領域が前記関心領域の対象領域から除外されること、を特徴とするものであると良い。
【0018】
本発明の移動支援装置は、かかる構成とすることにより、視覚障がい者用誘導ブロックを指標として移動するユーザにとって報知の必然性の低いと想定される視覚障がい者用誘導ブロックを介して幅方向外側の領域について関心領域の対象領域から除外できる。これにより、本発明の移動支援装置は、ユーザにとって報知が必要な領域に限定して障害物の存在を適確に報知しつつ、報知の頻度を最小限に抑制できる。
【0019】
ここで、移動に際してユーザの近辺に存在している物だけでなく人も障害物となりうる。そのため、上述した本発明の移動支援装置は、障害物として物だけでなく人も検出可能なものとすることが望ましい。かかる知見に基づき、本発明者らが鋭意検討したところ、人は物とは異なり、顔を向けて視認している領域内に人や物が存在している場合に、その人や物を回避して移動する傾向にあり、報知の必然性が低いのではないかとの知見に至った。また、関心領域の内側に存在している人を障害物として検出可能としつつ、認識された人の顔の向きまで検出可能とし、顔の向きに応じて障害物の存在を通知するか否かを判定するようにすれば、報知の頻度を最小限に抑制し、報知が高頻度に発生することによる恐怖感や煩わしさをさらに低減できるのではないかとの知見に至った。
【0020】
(7)上述した知見に基づけば、本発明の移動支援装置は、前記処理部が、前記障害物検出処理により前記関心領域の内側における前記障害物として人を検出するとともに、前記人の顔の方向を検出可能であり、前記障害物として検出された前記人の前記顔の方向を条件の一部又は全部として、前記人を前記障害物存在通知の対象となる前記障害物とするか否かの判定を行うものであること、を特徴とするものであると良い。
【0021】
(8)また同様に、本発明の移動支援装置は、ユーザが移動する路面を含む撮像画像を取得可能な撮像部と、前記撮像装置から取得した前記撮像画像に基づく処理を実行する処理部と、前記処理部による前記処理の結果に基づいて通知を行う通知部と、を備えており、前記処理部が、前記撮像画像に基づいて障害物の存在を検出する障害物検出処理を実行可能なものであり、前記障害物検出処理により前記関心領域の内側における前記障害物の存在が検出されることを条件として、前記通知部が前記障害物の存在を通知するための障害物存在通知を実行可能であり、前記処理部が、前記障害物検出処理により前記関心領域の内側における前記障害物として人を検出するとともに、前記人の顔の方向を検出可能であり、前記障害物として検出された前記人の前記顔の方向を条件の一部又は全部として、前記人を前記障害物存在通知の対象となる前記障害物とするか否かの判定を行うものであると良い。
【0022】
本発明の移動支援装置は、上記(7)や(8)のような構成とすることにより、障害物として検出された人のうち、ユーザの移動に際して支障になりうる人の存在を適確に報知しつつ、ユーザの移動に際して支障になる可能性の低い人の存在については報知を抑制できる。従って、本発明の移動支援装置は、上述したような構成とすることにより、報知の頻度を最小限に抑制し、報知が高頻度に発生することによる恐怖感や煩わしさをさらに低減できる。
【0023】
(9)本発明の移動支援装置は、前記撮像部が、ユーザが装着する端末に設けられ、前記端末をユーザが装着した状態において前記路面を含む前記撮像画像を取得可能なものであり、前記端末が、首又は肩に装着可能なウエアラブル端末であること、を特徴とするものであると良い。
【0024】
本発明の移動支援装置は、かかる構成とすることにより、ユーザが負担を感じることなく撮像部によって路面を撮影しつつ使用可能なものとすることができる。
【0025】
(10)本発明の移動支援装置は、前記撮像部が、ユーザが装着する端末に設けられ、前記端末をユーザが装着した状態において前記路面を含む前記撮像画像を取得可能なものであり、前記端末が、眼鏡型のウエアラブル端末であること、を特徴とするものであると良い。
【0026】
本発明の移動支援装置は、かかる構成とすることにより、ユーザが負担を感じることなく撮像部によって路面を撮影しつつ使用可能なものとすることができる。
【発明の効果】
【0027】
本発明によれば、上記課題を解決した移動支援装置を提供することができる。
【図面の簡単な説明】
【0028】
図1】本発明の一実施形態に係る移動支援装置の斜視図である。
図2図1の移動支援装置の装置構成を示すブロック図である。
図3】第一実施形態に係る移動支援装置が形成する関心領域、バウンディングボックス、及び基準線の例を示したものであり、(a)は視覚障がい者用誘導ブロックが存在していない場合、(b)、(c)は視覚障がい者用誘導ブロックが存在していない場合の例を示したものである。
図4】第一実施形態に係る移動支援装置の動作を示すフローチャートである。
図5】第二実施形態に係る移動支援装置が障害物として人を検出した場合における顔の向きと通知対象とするか否かの関係を示した模式図である。
図6】第二実施形態に係る移動支援装置の動作を示すフローチャートである。
【発明を実施するための形態】
【0029】
以下、本発明の一実施形態に係る移動支援装置10について、図面を参照しつつ詳細に説明する。なお、以下の説明において、上下左右等の位置関係については、特に断りのない限り、図示した姿勢を基準として説明する。
【0030】
図1に示した移動支援装置10は、視覚障がいを有するユーザの移動を支援するためのものである。図2に示すように、移動支援装置10は、大別して端末20、処理部30、通知部40を備えている。
【0031】
端末20は、ユーザが装着して使用するものである。端末20は、撮像部22やバッテリー24を具備している。撮像部22やバッテリー24は、端末20をなす筐体の内部に収容されている。端末20は、ユーザが負担を感じることなく、安定的に装着可能なものであると良い。例えば、端末20は、首又は肩に装着可能なウエアラブル端末や、眼鏡型のウエアラブル端末等とすると良い。図1に示す例では、端末20は、首に装着可能なウエアラブル端末とされている。また、端末20は、使用状態においてユーザの前方側の領域を撮影可能なように撮像部22を組み込んだものとされている。端末20は、バッテリー24を具備しており、バッテリー24から供給される電力によって撮像部22や処理部30、通知部40等の移動支援装置10を構成する各部を作動させることができる。
【0032】
処理部30は、端末20が備える撮像部22から取得した撮像画像に基づく処理を実行可能なものである。処理部30は、端末20をなす筐体の内部に収容されている。処理部30は、撮像画像に基づく処理として、ブロック検出処理、関心領域設定処理、及び障害物検出処理を行うことにより、ユーザに対して報知すべき障害物の存在を検出することができる。
【0033】
ブロック検出処理は、撮像画像に含まれる視覚障がい者用誘導ブロックBを検出するものである。ブロック検出処理においては、画像マッチング等の手法により、視覚障がい者用誘導ブロックBを検出する処理が行われる。また、ブロック検出処理においては、撮像画像において視覚障がい者用誘導ブロックBを包含するバウンディングボックスXを形成する処理が行われる(図3参照)。
【0034】
関心領域設定処理は、関心領域Rを設定する処理である。関心領域Rは、障害物の存在を検知したときに、当該障害物の報知を行う対象領域である。そのため、本実施形態の移動支援装置10においては、関心領域Rの外側の領域に障害物が存在していたとしても、当該障害物の存在は報知対象とはされない。図3に示すように、関心領域Rは、撮像画像のうちの一部の領域として設定される。関心領域設定処理を行うことにより、ブロック検出処理によって検出された視覚障がい者用誘導ブロックBの存在状態(視覚障がい者用誘導ブロックBの存否及び位置)に基づいて関心領域Rが設定される。
【0035】
具体的には、ブロック検出処理により視覚障がい者用誘導ブロックBが検出されなかった場合には、撮像画像の一部をなす所定の領域が関心領域R(以下、必要に応じて「通常関心領域Rn」とも称する)として設定される。本実施形態では、図3(a)に示すように、撮像画像のうちユーザに近い位置(撮像側の下側の位置)から、ユーザを基準として前後方向中間位置(撮像画像の上下方向中間位置)までの間に通常関心領域Rnが設定される。また、通常関心領域Rnは、ユーザを基準として左右方向に中間の領域(撮像画像の左右方向中間位領域)に設定される。図示例においては、撮像画像のうちユーザに近い位置(撮像側の下側の位置)を基準として矩形あるいは台形(本実施形態では等脚台形)の形状に通常関心領域Rnが設定される。
【0036】
また、上述したブロック検出処理により視覚障がい者用誘導ブロックBが検出された場合には、図3(b),(c)に示すように、視覚障がい者用誘導ブロックBの位置に基づいて関心領域R(以下、「ブロック検出時関心領域Rx」とも称す)が設定される。視覚障がい者用誘導ブロックBの位置に基づくブロック検出時関心領域Rxの設定は、適宜の方法により行うことができる。本実施形態では、視覚障がい者用誘導ブロックBを含むように形成されたバウンディングボックスX、及び撮像画像において所定位置に想定される基準線Lの位置関係に基づいてブロック検出時関心領域Rxを設定する。
【0037】
ここで、基準線Lは、適宜の設定基準に基づいて設定できる。例えば、基準線Lは、撮像画像の所定位置(例えば中心)を通り、ユーザの進行方向と並行するように設定される仮想線として設定することができる。また、基準線Lは、ユーザの移動経路を予測して生成された移動予想線として設定することができる。本実施形態では、バウンディングボックスXの長手方向に向けて視覚障がい者用誘導ブロックBが敷設されていると想定されることから、バウンディングボックスXの長手方向をユーザの進行方向とし、当該進行方向に並行しつつ撮像画像の所定位置(本実施形態では中心)を通る仮想線を基準線Lとして設定する。
【0038】
本実施形態では、図3(b),(c)に示すように、上述したようにして設定された基準線Lと、バウンディングボックスXとの位置関係に基づいて関心領域R(ブロック検出時関心領域Rx)を設定する。具体的には、ブロック検出時関心領域Rxの設定に際して、先ず視覚障がい者用誘導ブロックBが検出されなかった場合に設定される通常関心領域Rnが想定される。また、基準線Lを境界として通常関心領域Rnを二つの領域に分けた場合において、バウンディングボックスX(視覚障がい者用誘導ブロックB)が存在していない方の領域(以下、「非存在領域Rna」とも称す)と、バウンディングボックスXが存在している方の領域(以下、「存在領域Rnb」とも称す)とが想定される。非存在領域Rnaは、全体がブロック検出時関心領域Rxの一部とされる。また、存在領域Rnbのうち、視覚障がい者用誘導ブロックBが敷設されている位置を基準として、基準線Lや非存在領域Rnaに近い方向にある領域(視覚障がい者用誘導ブロックBよりも内側の領域)についても、ブロック検出時関心領域Rxの一部とされる。一方、存在領域Rnbのうち、視覚障がい者用誘導ブロックBの敷設位置を基準として、基準線Lや非存在領域Rnaから離れる方向にある領域(視覚障がい者用誘導ブロックBよりも外側の領域)は、ブロック検出時関心領域Rxから除外される。ブロック検出処理により視覚障がい者用誘導ブロックBが検出された場合には、このようにして関心領域Rを設定する。そのため、関心領域Rは、視覚障がい者用誘導ブロックBが検出されることを条件として、視覚障がい者用誘導ブロックBが検出されない場合よりも限定された範囲に設定される。
【0039】
障害物検出処理は、撮像画像に基づいて障害物の存在を検出する処理である。障害物検出処理は、上述したブロック検出処理と同様に、画像マッチング等の手法により、障害物を検出する処理が行われる。
【0040】
通知部40は、処理部30による処理の結果に基づいてユーザの移動を支援する移動支援通知を行う。通知部40は、報知情報生成部42、出力部44を有する。
【0041】
報知情報生成部42は、通知部40により行われる移動支援通知に係る情報を生成する処理を行うものである。報知情報生成部42は、撮像画像に基づいて検出された障害物の存在を通知する障害物存在通知等の通知情報を生成できる。
【0042】
出力部44は、報知情報生成部42により生成された通知情報を出力するためのものである。出力部44は、例えばスピーカーによって音声により通知情報を出力するもの、バイブレータによって振動により通知情報を出力するもの等とすることができる。本実施形態では、出力部44は、スピーカーによって音声により通知情報を出力可能なものとされている。
【0043】
上述した移動支援装置10は、図4に示したフローに則ってユーザの移動に際して障害となる障害物の存在についての報知を行う。以下、移動支援装置10の動作について、図4を参照しつつ詳細に説明する。
【0044】
(ステップ1-1)
図4に示すように、移動支援装置10は、先ずステップ1-1において撮像部22によりユーザの前方側の領域を撮影して撮像画像を取得する。その後、制御フローは、ステップ1-2に進められる。
【0045】
(ステップ1-2)
ステップ1-2において、処理部30は、撮像部22によって取得された撮像画像に係るデータ(撮像画像データ)に基づき、上述したブロック検出処理及び障害物検出処理を実行する。これにより、視覚障がい者用誘導ブロックB及び障害物の検出を行う。また、処理部30は、ブロック検出処理により検出された視覚障がい者用誘導ブロックBを包含するバウンディングボックスXを形成する処理を行う。その後、制御フローはステップ1-3に進められる。
【0046】
(ステップ1-3)
ステップ1-3において、処理部30は、ステップ1-2において、視覚障がい者用誘導ブロックBが検出されたか否かの判定を行う。ここで、視覚障がい者用誘導ブロックBが検出されている場合には、制御フローがステップ1-4に進められる。一方、視覚障がい者用誘導ブロックBが検出されていない場合には制御フローがステップ1-5に進められる。
【0047】
(ステップ1-4)
制御フローが上述したステップ1-3からステップ1-4に進んだ場合、処理部30は、上述した関心領域設定処理により、視覚障がい者用誘導ブロックBの位置に基づき、関心領域Rとしてブロック検出時関心領域Rxを設定する処理を行う。その後、制御フローは、ステップ1-6に進められる。
【0048】
(ステップ1-5)
一方、制御フローが上述したステップ1-3からステップ1-5に進んだ場合、処理部30は、上述した関心領域設定処理により、撮像画像の一部をなす所定の通常関心領域Rnを関心領域Rとして設定する処理を行う。その後、制御フローは、ステップ1-6に進められる。
【0049】
(ステップ1-6)
上述したステップ1-4あるいはステップ1-5において関心領域Rとしてブロック検出時関心領域Rxあるいは通常関心領域Rnを設定する処理が完了すると、ステップ1-6において関心領域Rの内側に障害物が存在しているか否かの判定を行う。その結果、関心領域Rの内側に障害物が存在しているとの判定がなされた場合には、制御フローがステップ1-7に進められる。一方、関心領域Rの内側に障害物が存在していないとの判定がなされた場合には、制御フローがステップ1-8に進められる。
【0050】
(ステップ1-7)
制御フローがステップ1-7に進んだ場合には、関心領域Rの内側に障害物が存在しており、ユーザに障害物の存在を報知する必然性が高い。そこで、ステップ1-7においては、障害物の存在についての通知が行われる。具体的には、ステップ1-7においては、通知部40の報知情報生成部42が、ステップ1-6における判定に基づき、障害物の存在を通知するための通知情報を生成する。これに基づき、出力部44は、報知情報生成部42により生成された通知情報を出力し、障害物の存在をユーザに通知する。ステップ1-7における通知が完了すると、制御フローがステップ1-1に戻される。
【0051】
(ステップ1-8)
一方、上述したステップ1-6において関心領域Rの内側に障害物が存在していないとの判定がなされた場合には、ユーザに障害物の存在を報知する必然性が低い。そこで、制御フローがステップ1-8に進んだ場合には、特段の通知を行うことなく、制御フローがステップ1-1に戻される。
【0052】
≪移動支援装置10による効果について≫
上述した移動支援装置10は、以下の(a)~(g)のような特徴的構成を備えている。そのため、移動支援装置10は、以下のような従来技術では達し得ない特有の効果を奏することができる。
【0053】
(a)本実施形態の移動支援装置10は、ユーザが移動する路面を含む撮像画像を取得可能な撮像部22と、撮像装置から取得した撮像画像に基づく処理を実行する処理部30と、処理部30による処理の結果に基づいて通知を行う通知部40と、を備えており、処理部30が、撮像画像に含まれる視覚障がい者用誘導ブロックBを検出するブロック検出処理と、ブロック検出処理によって検出された視覚障がい者用誘導ブロックBの存在状態に基づいて関心領域Rを設定する関心領域設定処理と、撮像画像に基づいて障害物の存在を検出する障害物検出処理と、を実行可能なものであり、障害物検出処理により関心領域Rの内側における障害物の存在が検出されることを条件として、通知部40が障害物の存在を通知するための障害物存在通知を実行可能なものである。
【0054】
移動支援装置10は、ブロック検出処理によって検出された視覚障がい者用誘導ブロックBの存在状態に基づいて関心領域Rを設定する。また、移動支援装置10は、関心領域Rの内側において障害物の存在が検出されることを条件として、通知部40により障害物存在通知を実行することができる。本実施形態の移動支援装置10は、撮像装置から取得した撮像画像の全体ではなく、関心領域Rの内部に絞って障害物の存在を検出して通知を行う。そのため、移動支援装置10は、報知が高頻度に発生することによる恐怖感や煩わしさを最小限に抑制できる。
【0055】
また、移動支援装置10においては、関心領域Rが、ユーザが移動に際して指標とすると想定される視覚障がい者用誘導ブロックBの存在状態に基づいて設定される。そのため、本実施形態の移動支援装置10は、ユーザの移動に際して支障となるような、報知の必然性の高い障害物の存在を適確に報知することができる。従って、移動支援装置10によれば、報知の必然性の高い障害物の存在について適確に報知可能とするとともに、報知が高頻度に発生することによる恐怖感や煩わしさを最小限に抑制できる。
【0056】
(b)移動支援装置10は、処理部30が、関心領域設定処理において、視覚障がい者用誘導ブロックBを含むように形成されるバウンディングボックスX、及び撮像画像において所定位置に想定される基準線Lの位置関係に基づいて関心領域Rを設定するものとされている。
【0057】
移動支援装置10は、上記(b)のような構成とされているため、視覚障がい者用誘導ブロックBの存在状態に基づいて適切な位置に関心領域Rを設定することができる。これにより、移動支援装置10は、報知の必然性の高い障害物の存在についてより一層適確に報知しつつ、報知の頻度を最小限に抑制できる。
【0058】
(c)本実施形態の移動支援装置10は、基準線Lが、撮像画像の中心を通り、ユーザの進行方向と並行するように設定される仮想線とされるものである。
【0059】
本実施形態の移動支援装置10は、上記(c)のような構成とすることにより、ユーザの進行方向(本実施形態では視覚障がい者用誘導ブロックBの敷設方向)を考慮して適切な位置に関心領域Rを設定することができる。これにより、移動支援装置10は、報知の必然性の高い障害物の存在について一層適確に報知しつつ、報知の頻度を最小限に抑制できる。
【0060】
(d)本実施形態の移動支援装置10は、基準線Lが、ユーザの移動経路として予測される移動予測経路に基づいて既定されるものである。
【0061】
上述した移動支援装置10は、上記(d)のように、ユーザの移動経路として予測される移動予想経路(本実施形態では視覚障がい者用誘導ブロックBが敷設されている経路)に基づいて適切な位置に関心領域Rを設定できる。これにより、本実施形態の移動支援装置10は、報知の必然性の高い障害物の存在について適確に報知しつつ、報知の頻度を最小限に抑制できる。
【0062】
(e)移動支援装置10は、ブロック検出処理によって視覚障がい者用誘導ブロックBの存在が検出されることを条件として、視覚障がい者用誘導ブロックBの存在が検出されない場合に比べて関心領域Rが小さく設定されるものである。
【0063】
移動支援装置10は、上記(e)のような構成とされている。具体的には、移動支援装置10においては、視覚障がい者用誘導ブロックBの存在が検出された場合の関心領域R(ブロック検出時関心領域Rx)が、視覚障がい者用誘導ブロックBの存在が検出されなかった場合の関心領域R(通常関心領域Rn)よりも小さく設定される。これにより、視覚障がい者用誘導ブロックBを指標として移動するユーザにとって必要な領域に限定して報知の必然性の高い障害物の存在を適確に報知しつつ、報知の頻度を最小限に抑制できる。
【0064】
(f)本実施形態の移動支援装置10は、ブロック検出処理によって視覚障がい者用誘導ブロックBの存在が検出されることを条件として、ユーザの位置を基準として視覚障がい者用誘導ブロックBを介して幅方向外側の領域が関心領域Rの対象領域から除外されるものである。
【0065】
本実施形態の移動支援装置10は、上記(f)のような構成とされているため、視覚障がい者用誘導ブロックBを指標として移動するユーザにとって報知の必然性の低いと想定される視覚障がい者用誘導ブロックBを介して幅方向外側の領域について関心領域Rの対象領域から除外できる。これにより、本実施形態の移動支援装置10は、ユーザにとって報知が必要な領域(ブロック検出時関心領域Rx)に限定して障害物の存在を適確に報知しつつ、報知の頻度を最小限に抑制できる。
【0066】
(g)本実施形態の移動支援装置10は、撮像部22が、ユーザが装着する端末20に設けられ、端末20をユーザが装着した状態において路面を含む撮像画像を取得可能なものであり、端末20が、首又は肩に装着可能なウエアラブル端末によって構成されたものである。
【0067】
本実施形態の移動支援装置10は、上記(g)のような構成とされているため、ユーザが負担を感じることなく撮像部22によって路面を撮影しつつ使用できる。
【0068】
なお、上述した移動支援装置10は、本発明の一実施形態を示したものに過ぎず、本発明の趣旨を逸脱しない範囲において適宜構成を変更することが可能である。例えば、移動支援装置10は、上述した(a)~(e)に係る全ての構成を備えたものに限らず、これらの構成のいずれかを省略したり、他の構成に置換したりしたものとすることも可能である。
【0069】
具体的には、本実施形態では、視覚障がい者用誘導ブロックBの存在状態として、視覚障がい者用誘導ブロックBの存否に加えて、視覚障がい者用誘導ブロックBが存在している場合にその敷設状態を加味して関心領域Rの絞り込みを行えるものを例示したが、本発明はこれに限定されない。例えば、移動支援装置10は、視覚障がい者用誘導ブロックBの存在状態として、視覚障がい者用誘導ブロックBの存否のみを視覚障がい者用誘導ブロックBの存在状態として把握し、視覚障がい者用誘導ブロックBの存否に応じて関心領域Rの大きさを変化させる等することも可能である。
【0070】
本実施形態では、上記(b)のようにバウンディングボックスX、及び基準線Lの位置関係に基づいて関心領域Rを設定する例を示したが、本発明はこれに限定されるものではない。例えば、移動支援装置10は、基準線Lを指標とせず、バウンディングボックスXのみを指標として関心領域Rを設定する等しても良い。
【0071】
本実施形態では、上記(c)のように、撮像画像の中心を通り、ユーザの進行方向と並行するように設定される仮想線を基準線Lとする例を示したが、本発明はこれに限定されない。例えば、移動支援装置10は、撮像画像の中心と、ユーザの体の位置とのズレを考慮して撮像画像の中心から外れた位置を通る仮想線を基準線Lとして設定するもの等とすることが可能である。
【0072】
本実施形態では、上記(d)のように、ユーザの移動経路として予測される移動予測経路に基づいて基準線Lを既定する例を示したが、本発明はこれに限定されない。例えば、移動支援装置10は、移動予測経路とは異なる基準に基づいて基準線Lを既定することも可能である。また、上記実施形態では、視覚障がい者用誘導ブロックBが敷設されている経路をユーザの移動予測経路とし、これに基づいて基準線Lを設定する例を示したが、本発明はこれに限定されない。例えば、ユーザの移動予測経路を別の方法によって導出し、これに基づいて基準線Lを設定することも可能である。
【0073】
本実施形態では、上記(e)のように、視覚障がい者用誘導ブロックBの存在が検出されることを条件として関心領域Rを絞り込む例を示したが、本発明はこれに限定されない。具体的には、移動支援装置10は、視覚障がい者用誘導ブロックBの存否によらず、関心領域Rを変更しない構成とすることも可能である。
【0074】
本実施形態では、上記(f)のように、視覚障がい者用誘導ブロックBの存在が検出されることを条件として、ユーザの位置を基準として関心領域Rを幅方向に絞り込む例を示したが、本発明はこれに限定されない。具体的には、移動支援装置10は、視覚障がい者用誘導ブロックBの存否によらず、関心領域Rを幅方向に変更しない構成とすることも可能である。
【0075】
移動支援装置10は、上記(g)のように、首又は肩に装着可能なウエアラブル端末を端末20とし、この端末20に撮像部22を設けることにより、端末20をユーザが装着した状態において路面を含む撮像画像を取得可能なものとした例を示したが、本発明はこれに限定されない。具体的には、本実施形態の移動支援装置10は、例えば端末20が眼鏡型のウエアラブル端末によって構成されるものとすると良い。移動支援装置10は、かかる構成とすることによっても、ユーザが負担を感じることなく使用可能なものとすることができる。
【0076】
≪第二実施形態≫
続いて、第二実施形態に係る移動支援装置100について図面を参照しつつ詳細に説明する。なお、以下の説明においては、第二実施形態に係る移動支援装置100において上述した第一実施形態の移動支援装置10と共通する構成については同一の符号を付し、詳細の説明については省略する。
【0077】
移動支援装置100は、視覚障がいを有するユーザの移動を支援するためのものである。図2に示すように、移動支援装置100は、上述した移動支援装置10と同様に端末20、処理部130、通知部40を備えている。移動支援装置100は、端末20及び通知部40について移動支援装置10と同様の構成とされている一方で、処理部130については上述した処理部30と実行できる処理の内容が一部相違している。
【0078】
具体的には、処理部130は、障害物検出処理により、物品や構造物に加えて、人を障害物として検出可能なものとされている。処理部130は、画像マッチング等の手法により、物品や構造物、人を障害物として検出できる。また、処理部130は、障害物として検出した人の顔の方向を検出可能とされている。処理部130は、障害物として検出された人の顔の方向を判定条件の一部又は全部として、障害物として検出した人を障害物存在通知の対象となる障害物とするか否かの判定を行うことができる。
【0079】
具体的には、図5(a)のように障害物として検出した人の顔が後ろ向きである場合や、図5(b)、(f)のように顔が真横に向いている場合は、障害物として検出した人の視野にユーザが入っていないものと想定される。この場合、障害物として検出した人がユーザとの衝突を回避するような行動をとってくれる可能性が極めて低いものと想定される。従って、障害物として検出した人の顔が、当該人の視野にユーザが入っていないと想定される向きである場合、処理部130は、当該人を障害物存在通知の対象となる障害物と判定する。一方、図5(d)のように障害物として検出した人の顔がユーザに向いている場合や、図5(c)、(e)のように障害物として検出した人の顔がユーザに対して所定の角度範囲内において斜め前方に向いている場合には、障害物として検出した人の視野にユーザが入っているものと想定される。この場合、障害物として検出した人がユーザとの衝突を回避する行動をとってくれる可能性が高いものと想定される。従って、障害物として検出した人の顔が、当該人の視野にユーザが入っていると想定される向きである場合、処理部130は、当該人を障害物存在通知の対象となる障害物から除外する判定を行う。
【0080】
上述した移動支援装置100は、図6に示したフローに則って障害物となりうる人の存在を検知して報知する動作を行う。以下、移動支援装置100の動作について、図6を参照しつつ詳細に説明する。
【0081】
(ステップ2-1)
図6に示すように、移動支援装置100は、先ずステップ2-1において撮像部22によりユーザの前方側の領域を撮影して撮像画像を取得する。その後、制御フローは、ステップ2-2に進められる。
【0082】
(ステップ2-2)
ステップ2-2において、処理部130は、撮像画像中にユーザの移動に際して障害物となりうる人が存在しているか否かの判定を行う。その結果、障害物となりうる人が存在しているとの判定がなされた場合には、制御フローがステップ2-3に進められる。一方、障害物となりうる人が存在していないとの判定がなされた場合には、制御フローがステップ2-6に進められる。
【0083】
(ステップ2-3)
ステップ2-3において、処理部130は、ステップ2-2において障害物となりうると判定された人について顔の向きを把握する処理を行う。その後、制御フローはステップ2-4に進められる。
【0084】
(ステップ2-4)
ステップ2-4において、処理部130は、ステップ2-3において把握した人の顔が、移動支援装置100のユーザを視野に入れることができる範囲に向いているか否かの判定を行う。ここで、図5(a)、(b)、(f)のように障害物として検出した人の顔が後ろ向きである場合や、真横に向いている場合は、障害物として検出した人の顔が移動支援装置100のユーザを視野に入れることができる範囲に向いていない。このような状態である場合には、制御フローがステップ2-5に進められる。一方、図5(c)~(e)のように、障害物として検出した人の顔が移動支援装置100のユーザを直視できる方向に向いている場合や、移動支援装置100のユーザを斜め前方に視認できる方向に向いている場合には、障害物として検出した人の顔が移動支援装置100のユーザを視野に入れることができる範囲に向いている。このような状態である場合には、制御フローがステップ2-6に進められる。
【0085】
(ステップ2-5)
制御フローがステップ2-5に進んだ場合には、移動支援装置100のユーザが、障害物として検出した人の視野に入っていない可能性が高い。そのため、この場合には、障害物となりうる人の存在についての通知が行われる。その後、制御フローがステップ2-1に戻される。
【0086】
(ステップ2-6)
制御フローがステップ2-2からステップ2-6に進んだ場合には、障害物として人が検知されていないため、障害物となりうる人の存在についての通知をユーザに対して行う必要がない。また、制御フローがステップ2-4からステップ2-6に進んだ場合には、移動支援装置100のユーザが、障害物として検出した人の視野に入っている可能性が高い。この場合には、ユーザが直ちに進行方向を変更する等しなくても、障害物として検出した人がユーザとの衝突を回避する行動をとってくれる等してる可能性が高いものと想定される。そのため、制御フローがステップ2-6に進んだ場合には、障害物となりうる人の存在についての通知を実行しない。その後、制御フローがステップ2-1に戻される。
【0087】
≪移動支援装置100による効果について≫
上述した移動支援装置100は、以下の(h)のような特徴的構成を備えている。そのため、移動支援装置100は、以下のような従来技術では達し得ない特有の効果を奏することができる。
【0088】
(h)第二実施形態の移動支援装置100は、処理部130が、障害物検出処理により関心領域Rの内側における障害物として人を検出するとともに、人の顔の方向を検出可能であり、障害物として検出された人の顔の方向を条件の一部又は全部として、人を障害物存在通知の対象となる障害物とするか否かの判定を行うものとされている。
【0089】
本実施形態の移動支援装置100は、上記(g)のような構成とされているため、障害物として検出された人のうち、ユーザの移動に際して支障になりうる人の存在を適確に報知しつつ、ユーザの移動に際して支障になる可能性の低い人の存在については報知を抑制できる。従って、本実施形態の移動支援装置100は、上述したような構成とすることにより、報知の頻度を最小限に抑制し、報知が高頻度に発生することによる恐怖感や煩わしさをさらに低減できる。
【0090】
なお、上述した第一実施形態の移動支援装置10や、第二実施形態の移動支援装置100は、本発明の一実施形態を示したものに過ぎず、本発明の趣旨を逸脱しない範囲において適宜構成を変更することが可能である。例えば、第一実施形態の移動支援装置10は、第二実施形態の移動支援装置100のように、上記(h)に係る構成を備えたものとすることができる。すなわち、移動支援装置10は、処理部30に加えて処理部130を備えた構成としたり、処理部130の機能を処理部30に加えたりして、撮像装置22から取得した撮像画像の一部に関心領域Rを絞って、障害物の存在を検出して通知を行いつつ、障害物として人が検知された場合に、その人の顔の向きに応じて障害物存在通知の対象となる障害物とするか否かの判定を行ったうえで通知を行うようにすると良い。また、移動支援装置10は、図4に示した制御フローに則って撮像装置22から取得した撮像画像の一部に関心領域Rを絞って、障害物の存在を検出して通知を行うのと並行して、撮像画像の全体を対象として図6に示した制御フローに則って障害物となりうる人の存在を検出し、検出された人の顔の向きに応じて通知を行うようにすることも可能である。
【0091】
本発明は、上述した実施形態や変形例等として示したものに限定されるものではなく、特許請求の範囲を逸脱しない範囲でその教示及び精神から他の実施形態があり得る。上述した実施形態の構成要素は任意に選択して組み合わせて構成するとよい。また実施形態の任意の構成要素と、課題を解決するための手段に記載の任意の構成要素又は課題を解決するための手段に記載の任意の構成要素を具体化した構成要素とは任意に組み合わせて構成してもよい。これらについても本願の補正又は分割出願等において権利取得する意思を有する。
【産業上の利用可能性】
【0092】
本発明は、ユーザの移動支援を行う移動支援装置全般において好適に利用可能である。
【符号の説明】
【0093】
10 :移動支援装置
20 :端末
22 :撮像部
30 :処理部
40 :通知部
100 :移動支援装置
130 :処理部
B :視覚障がい者用誘導ブロック
L :基準線
R :関心領域
Rn :通常関心領域
Rx :ブロック検出時関心領域
X :バウンディングボックス
図1
図2
図3
図4
図5
図6