特開 2024-172289 傾き判定システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024172289

(43)【公開日】2024-12-12

(54)【発明の名称】傾き判定システム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20241205BHJP

   A61H 3/06 20060101ALI20241205BHJP

【ＦＩ】

G06T7/70 B

A61H3/06 Z

【審査請求】未請求

【請求項の数】3

【出願形態】ＯＬ

(21)【出願番号】P 2023089897

(22)【出願日】2023-05-31

(71)【出願人】

【識別番号】000002967

【氏名又は名称】ダイハツ工業株式会社

(74)【代理人】

【識別番号】100180644

【弁理士】

【氏名又は名称】▲崎▼山 博教

(72)【発明者】

【氏名】池田 寛志

(72)【発明者】

【氏名】野田 憲司

【テーマコード（参考）】

4C046

5L096

【Ｆターム（参考）】

4C046AA25

4C046BB12

4C046CC01

4C046DD36

4C046EE02

4C046EE14

4C046EE21

4C046EE33

5L096AA02

5L096AA06

5L096BA06

5L096CA02

5L096DA03

5L096FA18

5L096FA64

5L096FA66

5L096FA67

5L096GA51

(57)【要約】

【課題】傾き補正用のセンサを別途設けることなく、正確に傾き判定を行える傾き判定システムを実現する。
【解決手段】ユーザ２の両肩や首に装着される移動支援装置１０の傾き判定システム１であり、ユーザ２の前方側を撮像する撮像部２０と、撮像された画像２１内において鉛直方向に延びる柱状物３をバウンディングボックス２６として検出するバウンディングボックス検出部２５と、画像２１の鉛直方向に対して予め所定区間を設定する所定区間設定部３０と、柱状物３の下端部における幅を予め柱状物幅閾値Ｗ２として設定する柱状物幅閾値設定部３５とを備え、バウンディングボックス２６の下端部が、所定区間内に含まれることを条件として、バウンディングボックス２６の下端部におけるバウンディングボックス水平幅Ｗ１、及び柱状物幅閾値Ｗ２に基づいて移動支援装置１０の傾きを判定することを特徴とする。
【選択図】図２

【特許請求の範囲】

【請求項1】

ユーザの両肩及び首の少なくともいずれかに装着される移動支援装置の傾き判定システムであって、
前記ユーザの前方側を撮像する撮像部と、
前記撮像部で撮像された画像内において鉛直方向に延びる柱状物を水平方向及び鉛直方向を辺とするバウンディングボックスとして検出するバウンディングボックス検出部と、
前記画像の鉛直方向に対して予め所定区間を設定する所定区間設定部と、
前記柱状物の下端部における幅を予め柱状物幅閾値として設定する柱状物幅閾値設定部と、
を備え、
前記バウンディングボックスの下端部が、前記所定区間内に含まれることを条件として、前記バウンディングボックスの下端部におけるバウンディングボックス水平幅、及び前記柱状物幅閾値に基づいて前記移動支援装置の傾きを判定することを特徴とする傾き判定システム。

【請求項2】

前記バウンディングボックス水平幅が、前記柱状物幅閾値よりも大きいことを条件として、前記移動支援装置が傾いていると判定することを特徴とする請求項１に記載の傾き判定システム。

【請求項3】

前記柱状物が、電柱、道路標識用支柱、及び街灯用支柱のいずれかであることを特徴とする請求項１又は２に記載の傾き判定システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、傾き判定システムに関する。

【背景技術】

【0002】

従来、カメラの傾き角度を傾き検出部（加速度センサ）で取得して、傾き補正を行なうカメラが知られている（例えば、特許文献１）。また、近年、カメラを用いたウェアラブル装置が知られており、当該ウェアラブル装置を用いた視覚障がい者等のための移動支援装置も知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４－９９８３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、上述したようなウェアラブル装置を移動支援装置として用いた場合、ユーザの移動時の振動等によって、ウェアラブル装置がずれて、ウェアラブル装置が過度に傾いた状態となる懸念があった。かかる場合は、ウェアラブル装置に搭載されたカメラも大きく傾斜するため、当該カメラで撮像された画像も過度に傾いた状態となる懸念があった。

【0005】

そこで、特許文献１に記載のカメラを、ウェアラブル装置に搭載することも考えられるが、特許文献１に記載のカメラは、過度に傾いた状態では、補正量も多くなることが想定され、傾きの補正が困難となる懸念があった。また、傾き角度を取得するセンサを不要として、傾きの判定を廉価に行いたいという要請もある。また、視覚障がい者向けの移動支援装置においては、視覚障がい者の方で、カメラがずれていることを認識しにくいということもあり、移動支援装置やカメラの側で、撮像された画像の傾きを自動的に判定する必要がある。

【0006】

そこで本発明は、傾き補正のためのセンサを別途に設けることなく、正確に傾き判定を行うことが可能な傾き判定システム、傾き判定方法、及び移動支援装置を実現することを目的とする。

【課題を解決するための手段】

【0007】

（１）上述した課題を解決すべく提供される本発明の傾き判定システムは、ユーザの両肩及び首の少なくともいずれかに装着される移動支援装置の傾き判定システムであって、前記ユーザの前方側を撮像する撮像部と、前記撮像部で撮像された画像内において鉛直方向に延びる柱状物を水平方向及び鉛直方向を辺とするバウンディングボックスとして検出するバウンディングボックス検出部と、前記画像の鉛直方向に対して予め所定区間を設定する所定区間設定部と、前記柱状物の下端部における幅を予め柱状物幅閾値として設定する柱状物幅閾値設定部と、を備え、前記バウンディングボックスの下端部が、前記所定区間内に含まれることを条件として、前記バウンディングボックスの下端部におけるバウンディングボックス水平幅、及び前記柱状物幅閾値に基づいて前記移動支援装置の傾きを判定することを特徴とするものである。

【0008】

上述した傾き判定システムは、撮像部で撮像された画像内の柱状物を、水平方向及び鉛直方向を辺とするバウンディングボックスとして検出することができる。ここで、本発明におけるバウンディングボックスは、画像における柱状物の傾斜を問わず、柱状物の全体を矩形状の枠として検出するものとされている。また、バウンディングボックスにおける下端部の幅は、バウンディングボックス水平幅として取得される。また、上述した傾き判定システムは、検出されたバウンディングボックスの下端部が、予め設定された画像鉛直方向の所定区間内に含まれる（位置する）ことを条件として、前記バウンディングボックスの下端部におけるバウンディングボックス水平幅、及び柱状物幅閾値に基づいて前記移動支援装置の傾きを判定することができる。このように、上述した傾き判定システムは、傾きセンサを用いずに移動支援装置の傾きを判定できるので、移動支援装置の傾きが大きくても誤判定することなく正確に傾き判定を行うことができる。

【0009】

ここで、所定区間は、画像の鉛直方向に対して規定されている。言い換えれば、所定区間は、撮像部の柱状物までの距離に相当するものである。また、柱状物幅閾値は、例えば、柱状物が傾斜していない状態の柱状物の下端部の幅を所定の閾値として設定されるものである。したがって、上述した傾き判定システムは、所定区間内（所定距離内）にあるバウンディングボックス水平幅と、柱状物幅閾値と、を比較することにより、柱状物が傾斜しているか否かを認識できる。そのため、上述した傾き判定システムは、柱状物の傾斜状態に基づいて、移動支援装置の傾きを判定できる。これにより、上述した傾き判定システムは、傾き補正のためのセンサを別途に設けることなく、正確に傾き判定を行うことができるので、コストの増大を抑制できる。

【0010】

ところで、傾斜状態にある柱状物においては、バウンディングボックス水平幅が大きくなる。そのため、バウンディングボックス水平幅が、柱状物幅閾値よりも大きいか否かを判定すれば、柱状物の傾斜状態を判定できると考えられる。

【0011】

（２）そこで、上述した本発明の傾き判定システムは、前記バウンディングボックス水平幅が、前記柱状物幅閾値よりも大きいことを条件として、前記移動支援装置が傾いていると判定することを特徴とするとよい。

【0012】

上述した傾き判定システムは、かかる構成とすることにより、柱状物が傾斜していると判定できる。また、上述した傾き判定システムは、画像内に検出されたバウンディングボックスに基づいて、傾き判定を行うことができるので、別途に傾きセンサを設ける必要がない。これにより、上述した傾き判定システムは、コストの増大を抑制できる。

【0013】

（３）上述した本発明の傾き判定システムは、前記柱状物が、電柱、道路標識用支柱、及び街灯用支柱のいずれかであることを特徴とするとよい。

【0014】

上述した傾き判定システムは、かかる構成とすることにより、例えば、歩道上の障害物となりうる電柱、道路標識用支柱、及び街灯用支柱（これらを併せて電柱等とも称する）を対象として、移動支援装置の傾き判定を行うことができる。すなわち、ユーザの移動先に位置する電柱等を対象として、移動支援装置の傾きを判定できるので、上述した傾き判定システムは、移動支援装置の傾きをいち早く認識できる。

【0015】

（４）上述した本発明の傾き判定システムは、通知部を有しており、前記バウンディングボックス水平幅が、前記柱状物幅閾値よりも大きいことを条件として、前記通知部によって、警告が通知されることを特徴とするとよい。

【0016】

上述した傾き判定システムは、かかる構成とすることにより、移動支援装置が傾いている場合に、通知部により警告を通知することができる。これにより、上述した傾き判定システムは、ユーザの意に反して移動支援装置が傾斜した場合であっても、移動支援装置の傾斜をユーザに対して的確に通知できる。

【0017】

（５）上述した課題を解決すべく提供される本発明の傾き判定方法は、ユーザの両肩及び首の少なくともいずれかに装着される移動支援装置の傾き判定方法であって、前記ユーザの前方側を撮像部によって撮像することにより画像を取得する画像取得ステップと、前記画像内において鉛直方向に延びる柱状物を水平方向及び鉛直方向を辺とするバウンディングボックスとして検出するバウンディングボックス検出ステップと、前記バウンディングボックス検出ステップにおいて、前記バウンディングボックスが検出されることを条件として、前記バウンディングボックスの下端部における鉛直方向座標を取得するバウンディングボックス座標取得ステップと、前記鉛直方向座標が、前記画像の鉛直方向に対して予め設定された所定区間内のものであるか否かを判定する鉛直方向座標判定ステップと、前記鉛直方向座標判定ステップにおいて前記鉛直方向座標が前記所定区間内のものであることを条件として、前記バウンディングボックスの下端部におけるバウンディングボックス水平幅が、予め前記柱状物の下端部における幅として設定された柱状物幅閾値よりも大きいか否かを判定する柱状物幅判定ステップと、前記柱状物幅判定ステップにおいて前記バウンディングボックス水平幅が、前記柱状物幅閾値よりも大きいことを条件として、前記移動支援装置が傾いていると判定し、警告を通知する警告通知ステップと、を実行することを特徴とするものである。

【0018】

上述した傾き判定方法は、画像取得ステップ、バウンディングボックス検出ステップ、バウンディングボックス座標取得ステップ、鉛直方向座標判定ステップ、及び柱状物幅判定ステップを順次実行することにより、移動支援装置の傾きを判定できる。また、上述した傾き判定方法は、柱状物幅判定ステップにおいて、移動支援装置が傾いていると判定した場合に、警告通知ステップの実行により、警告を通知できるので、ユーザに対して、移動支援装置の傾きを即座に伝達できる。

【0019】

（６）上述した課題を解決すべく提供される本発明の移動支援装置は、ユーザの両肩及び首の少なくともいずれかに装着される移動支援装置であって、前記ユーザの少なくとも両肩の動きに係る肩移動情報を取得する肩移動検知センサと、前記ユーザの前方側を撮像する撮像部と、前記撮像部で撮像された画像内において鉛直方向に延びる柱状物を水平方向及び鉛直方向を辺とするバウンディングボックスとして検出するバウンディングボックス検出部と、前記画像の鉛直方向に対して予め所定区間を設定する所定区間設定部と、前記柱状物の下端部における幅を予め柱状物幅閾値として設定する柱状物幅閾値設定部と、制御部と、を備え、前記制御部は、前記バウンディングボックスの下端部が、前記所定区間内に含まれることを条件として、前記バウンディングボックスの下端部におけるバウンディングボックス水平幅、及び前記柱状物幅閾値に基づいて傾きを判定する制御を行うことを特徴とするものである。

【0020】

上述した移動支援装置は、かかる構成とすることにより、別途に傾きセンサを設けることなく、傾き判定を行うことができる。これにより、移動支援装置の小型化やコストの低減が期待できる。また、上述した移動支援装置は、当該移動支援装置内に一体的に傾き判定システムを構築できる。これにより、より一層の移動支援装置の小型化が期待できる。

【発明の効果】

【0021】

本発明によれば、傾き補正のためのセンサを別途に設けることなく、正確に傾き判定を行うことが可能な傾き判定システム、傾き判定方法及び移動支援装置を実現することができる。

【図面の簡単な説明】

【0022】

【図1】本発明の一実施形態に係る傾き判定システムを構成する移動支援装置の平面図である。

【図2】本発明の一実施形態に係る傾き判定システムのブロック図である。

【図3】本発明の一実施形態に係る傾き判定システムにおける動作説明図であり、（ａ）は、移動支援装置が傾斜していない状態の画像を表し、（ｂ）は、（ａ）の状態にある移動支援装置のユーザへの装着状態を表す説明図である。

【図4】本発明の一実施形態に係る傾き判定システムにおける動作説明図であり、（ｃ）は、移動支援装置が傾斜している状態の画像を表し、（ｄ）は、（ｃ）の状態にある移動支援装置のユーザへの装着状態を表したものである。

【図5】本発明の一実施形態に係る傾き判定システムにおける動作説明図であり、（ａ）は、バウンディングボックスの下端部が、所定区間よりも下方側に外れると共に、移動支援装置が傾斜している状態を表し、（ｂ）は、バウンディングボックスの下端部が、所定区間よりも上方側に外れると共に、移動支援装置が傾斜している状態を表したものである。

【図6】本発明の一実施形態に係る傾き判定システムにおける動作説明図であり、バウンディングボックスの下端部が、所定区間よりも上方側に外れた状態を表したものである。

【図7】本発明の傾き判定システムの動作を示すフローチャートである。

【発明を実施するための形態】

【0023】

以下、本発明の一実施形態に係る傾き判定システム１について、図面を参照しつつ詳細を説明する。なお、各図は、理解が容易なように模式的に表したものであり、実際のサイズとは異なる場合があることに留意されたい。また、本実施形態では、傾き判定システム１が移動支援装置１０に搭載されている場合を例として説明する。

【0024】

図１に示すように本発明の傾き判定システム１が組み込まれた移動支援装置１０は、例えば、視覚障がいを有するユーザ２の移動を支援するためのものである。また、移動支援装置１０は、端末として構成されている（以下、移動支援装置１０を端末１０とも称する）。図２に示すように、傾き判定システム１は、撮像部２０、バウンディングボックス検出部２５、所定区間設定部３０、柱状物幅閾値設定部３５、及び通知部４５等を備えている。また、傾き判定システム１が搭載される端末１０は、傾き判定システム１の他、肩移動検知センサ１５、及び制御部４０等を備えている。

【0025】

端末１０（移動支援装置１０）は、ユーザ２（図３参照）が装着して使用するものである。端末１０は、バッテリー１１を備えている。撮像部２０やバッテリー１１は、移動支援装置１０をなす筐体の内部に収容されている。端末１０は、ユーザ２が負担を感じることなく、安定的に装着可能なものであるとよい。本実施形態では、端末１０は、両肩又は首周りの少なくともいずれかに装着可能なウェアラブル端末とされている。図３（ｂ）に示す例では、端末１０は、首周りから両肩に掛けて装着可能なウェアラブル端末とされている。本実施形態では、端末１０が、逆Ｕ字形状に形成されており、ユーザ２の首に掛けることができる。また、端末１０は、使用状態においてユーザ２の前方側の領域を撮影可能なように撮像部２０が組み込まれている。端末１０は、バッテリー１１を具備しており、バッテリー１１から供給される電力によって撮像部２０や制御部４０、通知部４５等の移動支援装置１０を構成する各部を作動させることができる。

【0026】

肩移動検知センサ１５は、例えば、ジャイロセンサで構成されており、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向の３方向の加速度を一体的に検知することができる。ここで、ジャイロセンサは、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）等で構成されているとよい。これにより、端末１０の小型化が期待できる。肩移動検知センサ１５は、ユーザ２の少なくとも両肩の動きに係る肩移動情報１６を取得することができる。具体的には、肩移動検知センサ１５は、ジャイロセンサを用いることにより、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向の３方向の両肩の移動を肩移動情報１６（図２参照）として検出できる。ここで、肩移動情報１６は、例えば、加速度、あるいは、加速度を演算処理して得られるユーザ２の肩の移動方向とされている。なお、加速度の演算処理は、肩移動検知センサ１５、及び後述する制御部４０の少なくともいずれかにおいて行うことができる。また、本発明の傾き判定システム１においては、肩移動検知センサ１５とは独立して傾き判定を行うことができる。

【0027】

図１に示すように、撮像部２０は、例えば、カメラで構成されており、ユーザ２の前方側の領域を撮像することができる。本実施形態では、撮像部２０が、例えば、端末１０の前端側の一方側に設けられている。撮像部２０は、ユーザ２の前方側の領域を撮像することにより、図３（ａ）及び図４（ｃ）に示すような画像２１を取得することができる。本実施形態における画像２１には、柱状物３や建物４などが撮像されている。なお、柱状物３は、電柱、標識用支柱（標識用ポール）、及び街灯用支柱（街灯用ポール）を含むものであるが、本実施形態では、柱状物３が電柱である場合を例として説明する。撮像部２０での撮像により取得された画像２１（図３及び図４参照）は、制御部４０に有線又は無線にて送信され、画像解析（画像処理）に供される。

【0028】

バウンディングボックス検出部２５は、図３（ａ）及び図４（ｃ）に示すように、撮像部２０で撮像された画像２１内において鉛直方向に延びる柱状物３を水平方向及び鉛直方向を辺とするバウンディングボックス２６として検出する。具体的には、上述した画像解析により、画像２１内に柱状物３の存在が認識されると、当該柱状物３に対して矩形状のバウンディングボックス２６が設定される。ここで、バウンディングボックス２６は、柱状物３が傾斜しているか否かに関わらず、画像２１内における柱状物３の全体を矩形状に囲うように設定される。バウンディングボックス検出部２５は、設定されたバウンディングボックス２６を検出すると共に、バウンディングボックス２６における各頂点の座標を取得する。

【0029】

ここで、画像２１の座標は、画像２１における左上頂点を原点（０，０）としている。したがって、バウンディングボックス２６における左上頂点の座標は（ｘ１，ｙ１）、右上頂点の座標は（ｘ２，ｙ１）、左下頂点の座標は（ｘ１，ｙ２）、右下頂点の座標は（ｘ２，ｙ２）として表すことができる（ｘ１、ｘ２、ｙ１、ｙ２は、それぞれ任意の値であり、ｘ２＞ｘ１、ｙ２＞ｙ１である）。また、バウンディングボックス検出部２５で取得された座標は、後述する制御部４０に送信され、バウンディングボックス２６の下端部におけるバウンディングボックス水平幅Ｗ１が算出される。なお、バウンディングボックス水平幅Ｗ１は、バウンディングボックス検出部２５によって算出してもよい。

【0030】

所定区間設定部３０（図２参照）は、画像２１の鉛直方向に対して予め所定区間（ｙ３～ｙ４）を設定するものである。所定区間は、撮像部２０から柱状物３までの距離に相当するものである。言い換えれば、所定区間は、撮像部２０から柱状物３までの距離を二次元の画像２１中の距離に変換したものと言える。したがって、例えば、ｙ３は、撮像部２０から柱状物３までの距離が２ｍ、ｙ４は、撮像部２０から柱状物３までの距離が５ｍというように設定される。詳細は後述するが、所定区間が設定されるのは、柱状物３までの距離の違いにより、柱状物３の幅が変化するため、後述する傾き判定に利用する判定基準を定める必要があるからである。

【0031】

柱状物幅閾値設定部３５（図２参照）は、柱状物３の下端部における幅を予め柱状物幅閾値Ｗ２として設定するものである。ここで、柱状物幅閾値Ｗ２は、画像２１における所定区間内に鉛直方向に沿って柱状物３が位置するとき（柱状物３が傾斜していない状態）の柱状物３の幅を基準に設定されるものである。すなわち、柱状物幅閾値Ｗ２は、撮像部２０から所定距離（所定区間に相当）内にある柱状物３の幅を、画像２１内における柱状物３の幅に変換したものである。なお、柱状物幅閾値Ｗ２は、複数の柱状物３の幅を平均化して求めるようにするとよい。

【0032】

制御部４０は、コンピュータ等で構成され、肩移動情報１６の演算処理や、撮像部２０から取得した撮像画像の画像処理等を実行することができる。制御部４０は、端末１０をなす筐体の内部に収容されている。制御部４０は、バウンディングボックス検出部２５で取得したバウンディングボックス２６の各頂点の座標に基づき、バウンディングボックス２６の下端部におけるバウンディングボックス水平幅Ｗ１を算出することができる。また、制御部４０は、バウンディングボックス２６の下端部が、所定区間内に含まれる（位置する）ことを条件として、バウンディングボックス２６の下端部におけるバウンディングボックス水平幅Ｗ１、及び柱状物幅閾値Ｗ２に基づいて移動支援装置１０の傾きを判定することができる。具体的には、制御部４０は、所定区間内にあるバウンディングボックス水平幅Ｗ１と、柱状物幅閾値Ｗ２と、を比較することにより、柱状物３が傾斜しているか否かを判定できる。これにより、制御部４０（傾き判定システム１）は、移動支援装置１０や撮像部２０の傾きを判定することができる。

【0033】

制御部４０は、上述した傾き判定の他、肩移動情報１６に基づいて、移動支援装置１０における移動支援に係る制御を行うことができる。具体的には、制御部４０は、肩移動情報１６に基づいて、ユーザ２が向いている方向（進行方向）を認識できる。また、制御部４０は、撮像部２０で取得した画像２１に基づいて、ユーザ２の周囲にある障害物（例えば、柱状物３、車、人物等）を検知することができる。なお、制御部４０は、複数の機能毎に分割して設けられていてもよい。例えば、移動支援に係る制御と、傾き判定に係る制御と、がそれぞれ個別に設けられていてもよい。

【0034】

通知部４５は、本実施形態では、スピーカー（イヤホンを含む）として構成されており、音声により、移動支援装置１０が傾いていることに対する警告や障害物に対する警告に関する通知（発報等）を行うことができる。すなわち、通知部４５は、制御部４０による傾き判定の結果や障害物の有無をユーザ２に通知することによりユーザ２の移動を支援するものとされている。

【0035】

以上が、本発明の一実施形態に係る傾き判定システム１、及び傾き判定システム１を搭載する本発明の移動支援装置１０の構成であり、次に、図３～図６を参照しながら、傾き判定システム１の動作の一実施形態についての詳細を説明する。なお、図３（ａ）及び図４（ｃ）では、説明の便宜上、手前側の電柱のみを対象として説明するが、実際には、後方側の電柱も同様の処理がなされることに留意されたい。

【0036】

図３（ｂ）に示すように、ユーザ２の首周りに装着された移動支援装置１０（端末１０）が、傾き無く正しく装着されている場合には、図３（ａ）に示すように、画像２１が傾斜なく撮像される。画像２１が撮像されると、制御部４０において画像解析が行われ、画像２１内に柱状物３（本実施形態では電柱）の有無の判定がなされる。画像２１内に柱状物３が検出されると、柱状物３に対してバウンディングボックス２６が設定される。

【0037】

バウンディングボックス２６が設定されると、バウンディングボックス検出部２５により、バウンディングボックス２６が検出されると共に、バウンディングボックス２６の各頂点の座標が取得される。図３（ａ）の例示では、バウンディングボックス水平幅Ｗ１が、鉛直方向の所定区間内（ｙ３～ｙ４）であるものと判定される。続いて、バウンディングボックス水平幅Ｗ１が、柱状物幅閾値Ｗ２よりも大きいか否かが判定される。図３（ａ）においては、バウンディングボックス水平幅Ｗ１が、柱状物幅閾値Ｗ２以下であるので、制御部４０において、移動支援装置１０（撮像部２０を含む）が、傾いていないと判定される。かかる場合は、移動支援装置１０が正しく装着されているため警告はなされない。

【0038】

次に、図４（ｄ）に示すように、移動支援装置１０（端末１０）が、傾いて装着されている場合は、図４（ｃ）に示すように、画像２１が傾斜した状態で撮像される。画像２１が撮像されると、制御部４０において画像解析が行われ、画像２１内における柱状物３（本実施形態では電柱）の有無の判定がなされる。画像２１内に柱状物３が検出されると、柱状物３に対してバウンディングボックス２６が設定される。

【0039】

バウンディングボックス２６が設定されると、バウンディングボックス検出部２５により、バウンディングボックス２６が検出されると共に、バウンディングボックス２６の各頂点の座標が取得される。図４（ｃ）の例示では、バウンディングボックス水平幅Ｗ１が、鉛直方向の所定区間内（ｙ３～ｙ４）にあるものと判定される。続いて、バウンディングボックス水平幅Ｗ１が、柱状物幅閾値Ｗ２よりも大きいか否かが判定される。図４（ｃ）においては、バウンディングボックス水平幅Ｗ１が、柱状物幅閾値Ｗ２よりも大きいので、制御部４０において、移動支援装置１０（撮像部２０を含む）が、傾いていると判定される。かかる場合は、移動支援装置１０が傾いて装着されているため通知部４５により警告（通知）がなされる。

【0040】

図５は、画像２１内におけるバウンディングボックス２６の下端部が、鉛直方向の所定区間（ｙ３～ｙ４）から外れると共に、移動支援装置１０が傾斜しているものを例示するものである。なお、図５及び図６において、画像２１の左上の頂点の座標を原点（０，０）とし、画像２１の右方向をｘ軸の正方向、画像２１の下方向をｙ軸の正方向としていることに留意されたい。

【0041】

図５（ａ）に示すように、バウンディングボックス２６の下端部が、鉛直方向のｙ４よりも大きい（柱状物３までの距離が所定距離よりも近い）場合は、移動支援装置１０の傾斜の有無に関わらず、バウンディングボックス水平幅Ｗ１が、所定距離にある柱状物３の幅よりも大きいものとなるため、傾き判定の対象から除外する必要がある。

【0042】

また、図５（ｂ）に示すように、移動支援装置１０が傾斜した状態で、バウンディングボックス２６の下端部が、鉛直方向のｙ３よりも小さい（柱状物３までの距離が所定距離より遠い）場合は、移動支援装置１０が傾斜しているにも関わらず、バウンディングボックス水平幅Ｗ１が、柱状物幅閾値Ｗ２よりも小さくなることがある。そのため、本発明の傾き判定システム１では、上述のように鉛直方向の所定区間（ｙ３～ｙ４）を閾値として規定し、バウンディングボックス水平幅Ｗ１が、所定区間から外れる場合は、傾き判定の対象から除外するようにしている。これにより、傾き判定システム１は、精度良く移動支援装置１０の傾きを判定することができる。なお、所定区間（ｙ３～ｙ４）は、撮像部２０と柱状物３との距離や画像２１における柱状物３の幅との関係等に応じて各種の数値に設定できる。

【0043】

図６は、画像２１内におけるバウンディングボックス２６の下端部が、鉛直方向の所定区間（ｙ３～ｙ４）から外れると共に、移動支援装置１０に傾きがない場合の画像２１を例示するものである。

【0044】

図６に示すように、バウンディングボックス２６の下端部が、鉛直方向のｙ３よりも小さい（柱状物３までの距離が所定距離よりも遠い）場合は、バウンディングボックス水平幅Ｗ１も、所定距離にある柱状物３の幅よりも小さいものとなる。そのため、バウンディングボックス水平幅Ｗ１が、柱状物幅閾値Ｗ２よりも小さいものとなる懸念がある。そこで、本発明の傾き判定システム１では、バウンディングボックス２６の下端部が、鉛直方向の所定区間（ｙ３～ｙ４）から外れるものを傾き判定の対象から除外するようにしている。このように、上述した傾き判定システム１は、バウンディングボックス２６の下端部が、所定区間内（ｙ３～ｙ４）にあるか否かを判定することにより、バウンディングボックス２６の下端部が、所定区間にないものを傾き判定の対象から除外することができる。そのため、上述した傾き判定システム１は、別途の傾きセンサを設けることなく、精度良く、移動支援装置１０や撮像部２０の傾き判定を行うことができる。

【0045】

次に、図７のフローチャートを参照しながら、傾き判定システム１の動作（傾き判定方法）について説明する。

【0046】

図７に示すように、移動支援装置１０（傾き判定システム１）が起動されると、撮像部２０によるユーザ２の前方側の撮像が開始され、画像２１が取得される（ステップＳ１０：画像取得ステップ）。続いて、画像２１が制御部４０に送信され、制御部４０により画像解析が行われる（ステップＳ１１：画像解析ステップ）。

【0047】

ステップＳ１１において画像解析が行われると、画像２１内の柱状物３の有無が検出され、柱状物３が検出されると、柱状物３に対してバウンディングボックス２６が設定される。また、バウンディングボックス検出部２５によって、画像２１内において鉛直方向に延びる柱状物３を水平方向及び鉛直方向を辺とするバウンディングボックス２６が検出される（ステップＳ１２：バウンディングボックス検出ステップ）。

【0048】

また、ステップＳ１２（バウンディングボックス検出ステップ）において、バウンディングボックス２６が検出されることを条件として、バウンディングボックス２６の下端部における鉛直方向座標を取得するバウンディングボックス座標取得ステップが実行される。

【0049】

ステップＳ１２においてバウンディングボックス２６の検出及び座標取得が完了すると、柱状物３までの距離が所定区間内であるか否かの判定が行われる（ステップＳ１３：鉛直方向座標判定ステップ）。具体的には、図３～図６に示すように、バウンディングボックス２６の下端部における鉛直方向座標が、画像２１の鉛直方向に対して予め設定された所定区間内（ｙ３～ｙ４）のものであるか否かが判定される。言い換えれば、バウンディングボックス２６の下端部におけるバウンディングボックス水平幅Ｗ１が、所定区間内（ｙ３～ｙ４）であるか否かの判定が行われる。

【0050】

ステップＳ１３において、バウンディングボックス水平幅Ｗ１が、所定区間内である場合は、バウンディングボックス水平幅Ｗ１が、予め柱状物３の下端部における幅として設定された柱状物幅閾値Ｗ２よりも大きいか否かが判定される（ステップＳ１４：柱状物幅判定ステップ）。

【0051】

一方、ステップＳ１３において、バウンディングボックス水平幅Ｗ１が所定区間内（ｙ３～ｙ４）にないと判定された場合は、移動支援装置１０（撮像部２０）に傾きが無いものと判定され（ステップＳ１６）、処理がステップＳ１０に戻される。

【0052】

ステップＳ１４（柱状物幅判定ステップ）において、バウンディングボックス水平幅Ｗ１が、柱状物幅閾値Ｗ２よりも大きい場合は、移動支援装置１０（撮像部２０）に傾きがあるものと判定され、通知部４５により警告が通知（発報）される（ステップＳ１５：警告通知ステップ）。ステップＳ１５の処理が完了すると処理がステップＳ１０の処理に戻される。なお、ステップＳ１５の処理が完了した後、処理を終了させることもできる。

【0053】

以上が、本発明の傾き判定システム１及び傾き判定方法並びに傾き判定システム１を採用する移動支援装置１０の一実施形態である。次に、本発明の傾き判定システム１及び傾き判定方法並びに移動支援装置１０により実現される作用効果について、以下に説明する。

【0054】

上述した傾き判定システム１は、以下の（１）～（４）のような特徴的構成を備えている 。そのため、傾き判定システム１は、以下のような従来技術では達し得ない特有の効果を奏することができる。

【0055】

（１）本実施形態の傾き判定システム１は、ユーザ２の両肩及び首の少なくともいずれかに装着される移動支援装置１０の傾き判定システム１であって、ユーザ２の前方側を撮像する撮像部２０と、撮像部２０で撮像された画像２１内において鉛直方向に延びる柱状物３を水平方向及び鉛直方向を辺とするバウンディングボックス２６として検出するバウンディングボックス検出部２５と、画像２１の鉛直方向に対して予め所定区間（ｙ３～ｙ４）を設定する所定区間設定部３０と、柱状物３の下端部における幅を予め柱状物幅閾値Ｗ２として設定する柱状物幅閾値設定部３５と、を備え、バウンディングボックス２６の下端部が、所定区間（ｙ３～ｙ４）内に含まれることを条件として、バウンディングボックス２６の下端部におけるバウンディングボックス水平幅Ｗ１、及び柱状物幅閾値Ｗ２に基づいて移動支援装置１０の傾きを判定することを特徴とするものである。

【0056】

上述した傾き判定システム１は、撮像部２０で撮像された画像２１内の柱状物３を、水平方向及び鉛直方向を辺とするバウンディングボックス２６として検出することができる。ここで、本発明におけるバウンディングボックス２６は、画像２１における柱状物３の傾斜を問わず、柱状物３の全体を矩形状の枠として検出するものとされている。また、バウンディングボックス２６における下端部の幅は、バウンディングボックス水平幅Ｗ１として取得される。また、上述した傾き判定システム１は、検出されたバウンディングボックス２６の下端部が、予め設定された画像鉛直方向の所定区間内に含まれる（位置する）ことを条件として、バウンディングボックス２６の下端部におけるバウンディングボックス水平幅Ｗ１、及び柱状物幅閾値Ｗ２に基づいて移動支援装置１０の傾きを判定することができる。このように、上述した傾き判定システム１は、傾きセンサを用いずに移動支援装置１０の傾きを判定できるので、移動支援装置１０の傾きが大きくても誤判定することなく正確に傾き判定を行うことができる。

【0057】

したがって、上述した傾き判定システム１は、所定区間内（所定距離内）にあるバウンディングボックス水平幅Ｗ１と、柱状物幅閾値Ｗ２と、を比較することにより、柱状物３が傾斜しているか否かを認識できる。そのため、上述した傾き判定システム１は、柱状物３の傾斜状態に基づいて、移動支援装置１０の傾きを判定できる。これにより、上述した傾き判定システム１は、傾き補正のためのセンサを別途に設けることなく、正確に傾き判定を行うことができるので、コストの増大を抑制できる。

【0058】

（２）上述した傾き判定システム１は、バウンディングボックス水平幅Ｗ１が、柱状物幅閾値Ｗ２よりも大きいことを条件として、移動支援装置１０が傾いていると判定するものとされている。

【0059】

上述した傾き判定システム１は、上記（２）のような構成とすることにより、柱状物３が傾斜していると判定できる。また、上述した傾き判定システム１は、画像２１内に検出されたバウンディングボックス２６に基づいて、傾き判定を行うことができるので、別途に傾きセンサを設ける必要がない。これにより、上述した傾き判定システム１は、コストの増大を抑制できる。

【0060】

（３）上述した傾き判定システム１は、柱状物３が、電柱、道路標識用支柱、及び街灯用支柱のいずれかであるものとされている。

【0061】

上述した傾き判定システム１は、上記（３）のような構成とすることにより、例えば、歩道上の障害物となりうる電柱、道路標識用支柱、及び街灯用支柱（これらを併せて電柱等とも称する）を対象として、移動支援装置１０の傾き判定を行うことができる。すなわち、ユーザ２の移動先に位置する電柱等を対象として、移動支援装置１０の傾きを判定できるので、上述した傾き判定システム１は、移動支援装置１０の傾きをいち早く認識できる。

【0062】

（４）上述した傾き判定システム１は、通知部４５を有しており、バウンディングボックス水平幅Ｗ１が、柱状物幅閾値Ｗ２よりも大きいことを条件として、通知部４５によって、警告が通知される。

【0063】

上述した傾き判定システム１は、上記（４）のような構成とすることにより、移動支援装置１０が傾いている場合に、通知部４５により警告を通知することができる。これにより、上述した傾き判定システム１は、ユーザ２の意に反して移動支援装置１０が傾斜した場合であっても、移動支援装置１０の傾斜をユーザ２に対して的確に通知できる。

【0064】

ここで、上述した傾き判定方法は、以下の（５）のような特徴的構成を備えている。そのため、傾き判定方法は、以下のような従来技術では達し得ない特有の効果を奏することができる。

【0065】

（５）本実施形態の傾き判定方法は、ユーザ２の両肩及び首の少なくともいずれかに装着される移動支援装置１０の傾き判定方法であって、ユーザ２の前方側を撮像部２０によって撮像することにより画像２１を取得する画像取得ステップと、画像２１内において鉛直方向に延びる柱状物３を水平方向及び鉛直方向を辺とするバウンディングボックス２６として検出するバウンディングボックス検出ステップと、バウンディングボックス検出ステップにおいて、バウンディングボックス２６が検出されることを条件として、バウンディングボックス２６の下端部における鉛直方向座標を取得するバウンディングボックス座標取得ステップと、前記鉛直方向座標が、画像２１の鉛直方向に対して予め設定された所定区間（ｙ３～ｙ４）内のものであるか否かを判定する鉛直方向座標判定ステップと、前記鉛直方向座標判定ステップにおいて前記鉛直方向座標が所定区間（ｙ３～ｙ４）内のものであることを条件として、バウンディングボックス２６の下端部におけるバウンディングボックス水平幅Ｗ１が、予め柱状物３の下端部における幅として設定された柱状物幅閾値Ｗ２よりも大きいか否かを判定する柱状物幅判定ステップと、前記柱状物幅判定ステップにおいてバウンディングボックス水平幅Ｗ１が、柱状物幅閾値Ｗ２よりも大きいことを条件として、移動支援装置１０が傾いていると判定し、警告を通知する警告通知ステップと、を実行することを特徴とするものである。

【0066】

上述した傾き判定方法は、画像取得ステップ、バウンディングボックス検出ステップ、バウンディングボックス座標取得ステップ、鉛直方向座標判定ステップ、及び柱状物幅判定ステップを順次実行することにより、移動支援装置１０の傾きを判定できる。また、上述した傾き判定方法は、柱状物幅判定ステップにおいて、移動支援装置１０が傾いていると判定した場合に、警告通知ステップの実行により、警告を通知できるので、ユーザ２に対して、移動支援装置１０の傾きを即座に伝達できる。

【0067】

また、上述した移動支援装置１０は、以下の（６）のような特徴的構成を備えている。そのため、移動支援装置１０は、以下のような従来技術では達し得ない特有の効果を奏することができる。

【0068】

（６）本実施形態の移動支援装置１０は、ユーザ２の両肩及び首の少なくともいずれかに装着される移動支援装置１０であって、ユーザ２の少なくとも両肩の動きに係る肩移動情報１６を取得する肩移動検知センサ１５と、ユーザ２の前方側を撮像する撮像部２０と、撮像部２０で撮像された画像２１内において鉛直方向に延びる柱状物３を水平方向及び鉛直方向を辺とするバウンディングボックス２６として検出するバウンディングボックス検出部２５と、画像２１の鉛直方向に対して予め所定区間（ｙ３～ｙ４）を設定する所定区間設定部３０と、柱状物３の下端部における幅を予め柱状物幅閾値Ｗ２として設定する柱状物幅閾値設定部３５と、制御部４０と、を備え、制御部４０は、バウンディングボックス２６の下端部が、所定区間内に含まれることを条件として、バウンディングボックス２６の下端部におけるバウンディングボックス水平幅Ｗ１、及び柱状物幅閾値Ｗ２に基づいて傾きを判定する制御を行うことを特徴とするものである。

【0069】

上述した移動支援装置１０は、上記（６）のような構成とすることにより、別途に傾きセンサを設けることなく、傾き判定を行うことができる。これにより、移動支援装置１０の小型化やコストの低減が期待できる。また、上述した移動支援装置１０は、当該移動支援装置内に一体的に傾き判定システム１を構築できる。これにより、より一層の移動支援装置１０の小型化が期待できる。

【0070】

以上が、本発明の一実施形態に係る傾き判定システム１、傾き判定方法、及び移動支援装置１０の作用効果であるが、本発明の傾き判定システム１、傾き判定方法、及び移動支援装置１０は、上述した実施形態に限定されるものではなく、各種の変形を行うことができる。

【0071】

本実施形態では、移動支援装置１０（端末１０）が、ユーザ２の両肩及び首の少なくともいずれかに装着されるものとしたが、本発明は、これには限定されず各種の移動支援装置１０に適用することができる。例えば、移動支援装置１０が、ユーザ２の頭部、顔、胴部に装着されるものであってもよい。また、撮像部２０は、画像２１の取得が可能なカメラや画像センサ等の各種のものが利用できる。また、撮像部２０で撮像する範囲は、移動支援装置１０の特性や使用態様に応じて、ユーザ２の前方、側方、後方など各種の方向に設定することができる。

【0072】

また、本実施形態では、バウンディングボックス２６が、水平方向及び鉛直方向を辺として設定されているが、検出対象の柱状物３の形状や大きさに応じて、バウンディングボックス２６を形成する辺の方向を変更してもよい。また、本実施形態では、画像２１内の柱状物３を検出した後、検出された柱状物３に対して、バウンディングボックス２６を設定するようにしているが、本発明は、これには限定されない。バウンディングボックス２６の設定方法や柱状物３の検出方法は、各種の画像解析手段を利用することができる。また、画像２１に設定される鉛直方向の所定区間（ｙ３～ｙ４）は、撮像部２０の特性や柱状物３の幅等に応じて各種の数値に設定することができる。また、柱状物幅閾値Ｗ２は、傾き判定の対象とする柱状物３に応じて、各種の数値に設定できる。また、本実施形態では、バウンディングボックス２６が一つの柱状物３を対象に設定されるものとしたが、バウンディングボックス２６が複数設定されるものや、複数種類の柱状物３のそれぞれに対して設定されるものとしてもよい。かかる場合は、柱状物３毎にバウンディングボックス水平幅Ｗ１や柱状物幅閾値Ｗ２を設定すればよい。

【0073】

また、本実施形態では、バウンディングボックス水平幅Ｗ１を柱状物３の下端部に設定したが、バウンディングボックス水平幅Ｗ１は、取得する画像２１の状態に応じて、柱状物３の下端部以外の各所に変更することができる。また、本実施形態では、柱状物３が電柱である場合を例示したが、本発明はこれには限定されず、道路標識用支柱や街灯用支柱などの柱状の各種のものを対象として利用することができる。

【0074】

本実施形態では、通知部４５が、スピーカーやイヤホンであり、音声により通知をおこなうものを例示したが、通知部４５は、音声により通知を行うものだけではなく、移動支援を行う対象であるユーザ２に対して、通知できるものであれば各種のものが利用できる。また、本実施形態では、傾き判定システム１及び移動支援装置１０が、視覚障がい者を対象とするものを例示したが、本発明の傾き判定システム１及び移動支援装置１０は、視覚障がい者だけではなく、各種の者を対象とすることができる。例えば、傾き判定システム１及び移動支援装置１０は、高齢者等の移動支援等にも利用することができる。また、通知部４５による通知は、バウンディングボックス水平幅Ｗ１が、柱状物幅閾値Ｗ２よりも大きい場合に通知するものだけではなく、移動支援に係る各種の通知を適時に行うようにすることもできる。

【0075】

以上が、本発明に係る傾き判定システム１、傾き判定方法、及び移動支援装置１０の各種の実施形態や変形例であるが、本発明は上述した実施形態や変形例において例示したものに限定されるものではなく、特許請求の範囲を逸脱しない範囲でその教示及び精神から他の実施形態があり得ることは当業者に容易に理解できよう。

【産業上の利用可能性】

【0076】

本発明は、各種のカメラ等の傾き判定に利用できる。また、本発明は、ユーザの移動支援を行う移動支援装置全般において好適に利用可能である。

【符号の説明】

【0077】

１ ：傾き判定システム
１０ ：移動支援装置（端末）
１１ ：バッテリー
１５ ：肩移動検知センサ
２０ ：撮像部
２１ ：画像
２５ ：バウンディングボックス検出部
２６ ：バウンディングボックス
３０ ：所定区間設定部
３５ ：柱状物幅閾値設定部
４０ ：制御部
４５ ：通知部
Ｗ１ ：バウンディングボックス水平幅
Ｗ２ ：柱状物幅閾値

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】