特開 2024-177666 傾き判定システム、傾き判定方法、及び移動支援装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024177666

(43)【公開日】2024-12-20

(54)【発明の名称】傾き判定システム、傾き判定方法、及び移動支援装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241213BHJP

   A45B 3/04 20060101ALI20241213BHJP

   G06V 10/74 20220101ALI20241213BHJP

   G06T 7/80 20170101ALI20241213BHJP

【ＦＩ】

G06T7/00 300Z

A45B3/04 Z

G06V10/74

G06T7/80

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2023095922

(22)【出願日】2023-06-10

(71)【出願人】

【識別番号】000002967

【氏名又は名称】ダイハツ工業株式会社

(74)【代理人】

【識別番号】100180644

【弁理士】

【氏名又は名称】▲崎▼山 博教

(72)【発明者】

【氏名】池田 寛志

(72)【発明者】

【氏名】野田 憲司

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA02

5L096DA02

5L096DA03

5L096FA16

5L096FA18

5L096FA67

5L096GA51

(57)【要約】      （修正有）

【課題】傾き補正のためのセンサを別途に設けることなく、簡素な構成で、正確に傾き判定を行うことが可能な傾き判定システム、傾き判定方法及び移動支援装置を提供する。
【解決手段】ユーザの両肩及び首の少なくともいずれかに装着され、白杖と共に使用される移動支援装置１０の傾き判定システム１であって、ユーザの前方側を撮像することにより白杖を含む画像２１を取得する撮像部２０と、ユーザに把持された状態の白杖を、撮像部２０で撮像して得られた画像２１内において水平方向及び鉛直方向を辺とするバウンディングボックスとして検出する白杖検出部２５と、を備え、バウンディングボックスの水平幅に基づいて、移動支援装置１０の傾きを判定する。
【選択図】図２

【特許請求の範囲】

【請求項1】

ユーザの両肩及び首の少なくともいずれかに装着され、白杖と共に使用される移動支援装置の傾き判定システムであって、
前記ユーザの前方側を撮像することにより前記白杖を含む画像を取得する撮像部と、
前記ユーザに把持された状態の前記白杖を、前記撮像部で撮像して得られた画像内において水平方向及び鉛直方向を辺とするバウンディングボックスとして検出する白杖検出部と、
を備え、
前記バウンディングボックスの水平幅に基づいて、前記移動支援装置の傾きを判定することを特徴とする傾き判定システム。

【請求項2】

前記バウンディングボックスの水平幅が、所定の閾値よりも小さいことを条件として、前記移動支援装置の傾きが所定範囲内であるとの判定を行うことを特徴とする請求項１に記載の傾き判定システム。

【請求項3】

自重により下垂させた状態の前記白杖を撮像することにより得られた画像に基づいて、前記移動支援装置の傾きを判定することを特徴とする請求項１又は２に記載の傾き判定システム。

【請求項4】

ユーザの両肩及び首の少なくともいずれかに装着され、白杖と共に使用される移動支援装置の傾き判定方法であって、
前記ユーザの前方側を撮像部によって撮像することにより前記白杖を含む画像を取得する画像取得ステップと、
前記画像内において、前記白杖を水平方向及び鉛直方向を辺とするバウンディングボックスとして検出する白杖検出ステップと、
前記白杖検出ステップにおいて検出された前記バウンディングボックスの水平幅が、所定の閾値よりも小さいか否かを判定するバウンディングボックス水平幅判定ステップと、
前記バウンディングボックス水平幅判定ステップにおいて前記バウンディングボックスの水平幅が、前記閾値以上であることを条件として、前記移動支援装置が傾いていると判定し、警告を通知する警告通知ステップと、を実行することを特徴とする傾き判定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、傾き判定システム、傾き判定方法、及び移動支援装置に関する。

【背景技術】

【0002】

従来、カメラで撮像した画像を用いてカメラの取付角度を校正するカメラの取付角度校正装置（単に、取付角度校正装置と称する）が知られている（例えば、特許文献１）。特許文献１に記載の取付角度校正装置は、車載カメラの取付角度を校正するものとされている。また、特許文献１に記載の取付角度校正装置は、撮像画像を鳥瞰変換し、変換された鳥瞰画像中の２本の直線部分が、互いに並行で且つ等幅となるような取付角度を探索するものとされている。これにより、特許文献１に記載の取付角度校正装置は、前記探索結果に基づいて、車載カメラの取付角度を校正するものとされている。また、近年、カメラを用いたウェアラブル装置が知られており、当該ウェアラブル装置を用いた視覚障がい者等のための移動支援装置も知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７－１８８７３８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、上述したようなウェアラブル装置を移動支援装置として用いた場合、ユーザの移動時の振動等によって、ウェアラブル装置がずれて、ウェアラブル装置が過度に傾いた状態となる懸念があった。かかる場合は、ウェアラブル装置に搭載されたカメラも大きく傾斜するため、当該カメラで撮像された画像も過度に傾いた状態となり、正確にユーザを案内することが困難となる懸念があった。

【0005】

そこで、特許文献１に記載の取付角度校正装置を、ウェアラブル装置に搭載することも考えられるが、特許文献１に記載の取付角度校正装置は、車両に搭載される車載用のものであり、ウェアラブル装置に搭載するには、複雑であり、コストも高く付く問題がある。また、上述したようにウェアラブル装置が、過度に傾いた状態では、補正量も多くなることが想定されるため、ウェアラブル装置に上記取付角度校正装置を用いた場合は、傾きの補正が困難となる懸念があった。また、ウェアラブル装置においては、傾き角度を取得するセンサを不要として、傾きの判定を廉価に行いたいという要請もある。また、視覚障がい者向けの移動支援装置においては、視覚障がい者の方で、カメラがずれて装着されていることを認識しにくいということもあり、移動支援装置やカメラの側で、傾きを自動的に判定する必要もある。

【0006】

そこで本発明は、傾き補正のためのセンサを別途に設けることなく、簡素な構成で、正確に傾き判定を行うことが可能な傾き判定システム、傾き判定方法、及び移動支援装置を実現することを目的とする。

【課題を解決するための手段】

【0007】

（１）上述した課題を解決すべく提供される本発明の傾き判定システムは、ユーザの両肩及び首の少なくともいずれかに装着され、白杖と共に使用される移動支援装置の傾き判定システムであって、前記ユーザの前方側を撮像することにより前記白杖を含む画像を取得する撮像部と、前記ユーザに把持された状態の前記白杖を、前記撮像部で撮像して得られた画像内において水平方向及び鉛直方向を辺とするバウンディングボックスとして検出する白杖検出部と、を備え、前記バウンディングボックスの水平幅に基づいて、前記移動支援装置の傾きを判定することを特徴とするものである。

【0008】

上述した傾き判定システムは、白杖を使用するユーザ（視覚障がい者）の両肩及び首の少なくともいずれかに装着される移動支援装置における傾き判定を行うものとされている。また、上述した傾き判定システムは、ユーザに把持された状態の白杖を、撮像部で撮像して得られた画像内において水平方向及び鉛直方向を辺とするバウンディングボックスとして検出するものとされている。すなわち、上述した傾き判定システムは、画像における白杖の傾斜を問わず、白杖の全体をバウンディングボックスとして検出することができる。ここで、バウンディングボックスの水平幅は、白杖が、鉛直方向に沿って把持された状態にあるときは、最小となり、白杖の、水平方向への傾斜角度が大きくなるにつれて大きくなるものとされている。したがって、上述した傾き判定システムは、バウンディングボックスにおける水平幅に基づいて、移動支援装置の傾きを判定することができる。また、上述した傾き判定システムは、移動支援装置の傾き判定結果を利用して、例えば、移動支援装置の使用開始時に、当該移動支援装置がユーザに正しく装着されたか否かを判定することができる。

【0009】

このように、上述した傾き判定システムは、傾きセンサを用いずに移動支援装置の傾きを判定できるので、移動支援装置（撮像部を含む）の傾きが大きくても誤判定することなく正確に傾き判定を行うことができる。また、上述した傾き判定システムは、複雑な取付角度校正装置（制御を含む）を用いることなく、正確に傾き判定を行うことができるので、コストの増大を抑制できる。なお、上述した傾き判定システムは、移動支援装置がユーザに正しく装着されたか否かを移動支援装置の傾きによって判定することができる。ここで、撮像部における白杖の撮像は、ユーザが白杖を使用する状態、すなわち白杖が地面方向（下方側）に向けて把持された状態で行えばよい。

【0010】

（２）上述した本発明の傾き判定システムは、前記バウンディングボックスの水平幅が、所定の閾値よりも小さいことを条件として、前記移動支援装置の傾きが所定範囲内であるとの判定を行うことを特徴とするとよい。

【0011】

上述した傾き判定システムは、かかる構成とすることにより、所定の閾値を基準として、移動支援装置の傾きが所定の範囲内にあるか否かの判定を行うことができる。ここで、閾値は、ユーザ（撮像部）から所定の距離にある鉛直方向に沿う白杖に対して設定されるバウンディングボックスの水平幅を基準に設定するとよい。すなわち、上述した傾き判定システムは、バウンディングボックスの水平幅が所定の閾値よりも小さい場合は、移動支援装置が所定範囲内の傾き（正常範囲の傾き）であると判定できる。このように、上述した傾き判定システムは、画像内に検出されたバウンディングボックスの水平幅と、所定の閾値とを比較することにより、傾き判定を行うことができるので、別途に傾きセンサを設ける必要がない。これにより、上述した傾き判定システムは、コストの増大を抑制できる。

【0012】

なお、上述した本発明の傾き判定システムは、前記バウンディングボックスの水平幅が、所定の閾値以上であることを条件として、前記移動支援装置が傾いていると判定するように構成してもよい。かかる構成とすれば、上述した傾き判定システムは、移動支援装置が傾いていることを判定できる。

【0013】

（３）上述した本発明の傾き判定システムは、自重により下垂させた状態の前記白杖を撮像することにより得られた画像に基づいて、前記移動支援装置の傾きを判定することを特徴とするとよい。

【0014】

上述した傾き判定システムは、かかる構成とすることにより、傾きが無い状態の白杖に係る画像を取得できるので、白杖の傾きを排除した状態で、移動支援装置の傾きを判定できる。ここで、ユーザが、例えば、白杖の上部に設けられたストラップを保持することにより、上述の自重により下垂させた状態の白杖を形成することができる。これにより、精度良く白杖を鉛直方向に沿って配置し、撮像することができる。

【0015】

（４）上述した本発明の傾き判定システムは、通知部を有しており、前記バウンディングボックスの水平幅が、前記閾値以上であることを条件として、前記通知部によって、警告を通知することを特徴とするとよい。

【0016】

上述した傾き判定システムは、かかる構成とすることにより、移動支援装置が傾いている場合に、通知部により警告を通知することができる。これにより、上述した傾き判定システムは、移動支援装置が傾斜状態で装着されている場合であっても、移動支援装置の傾斜をユーザに対して的確に通知できる。なお、例えば、移動支援装置が傾斜している状態から、移動支援装置の傾斜が無くなった状態に遷移した際に、「移動支援装置が正しく装着されました。」等のメッセージが通知されるようにしてもよい。

【0017】

（５）上述した課題を解決すべく提供される本発明の傾き判定方法は、ユーザの両肩及び首の少なくともいずれかに装着され、白杖と共に使用される移動支援装置の傾き判定方法であって、前記ユーザの前方側を撮像部によって撮像することにより前記白杖を含む画像を取得する画像取得ステップと、前記画像内において、前記白杖を水平方向及び鉛直方向を辺とするバウンディングボックスとして検出する白杖検出ステップと、前記白杖検出ステップにおいて検出された前記バウンディングボックスの水平幅が、所定の閾値よりも小さいか否かを判定するバウンディングボックス水平幅判定ステップと、前記バウンディングボックス水平幅判定ステップにおいて前記バウンディングボックスの水平幅が、前記閾値以上であることを条件として、前記移動支援装置が傾いていると判定し、警告を通知する警告通知ステップと、を実行することを特徴とするものである。

【0018】

上述した傾き判定方法は、画像取得ステップ、白杖検出ステップ、及びバウンディングボックス水平幅判定ステップが実行されることにより、移動支援装置の傾きを判定できる。また、上述した傾き判定方法は、バウンディングボックス水平幅判定ステップにおいて、移動支援装置が傾いていると判定した場合に、警告通知ステップの実行により、警告を通知できるので、ユーザに対して、移動支援装置の傾きを即座に伝達できる。

【0019】

（６）上述した課題を解決すべく提供される本発明の移動支援装置は、ユーザの両肩及び首の少なくともいずれかに装着され、白杖と共に使用される移動支援装置であって、前記ユーザの少なくとも両肩の動きに係る肩移動情報を取得する肩移動検知センサと、前記ユーザの前方側を撮像することにより前記白杖を含む画像を取得する撮像部と、前記ユーザに把持された状態の前記白杖を前記撮像部で撮像して得られた画像内において水平方向及び鉛直方向を辺とするバウンディングボックスとして検出する白杖検出部と、制御部と、を備え、前記制御部は、前記バウンディングボックスの水平幅に基づいて、傾きを判定する制御を行うことを特徴とするものである。

【0020】

上述した移動支援装置は、かかる構成とすることにより、別途に傾きセンサを設けることなく、傾き判定を行うことができる。これにより、移動支援装置の小型化やコストの低減が期待できる。また、上述した移動支援装置は、当該移動支援装置内に一体的に傾き判定システムを構築できる。これにより、より一層の移動支援装置の小型化が期待できる。

【発明の効果】

【0021】

本発明によれば、傾き補正のためのセンサを別途に設けることなく、簡素な構成で、正確に傾き判定を行うことが可能な傾き判定システム、傾き判定方法、及び移動支援装置を実現することができる。

【図面の簡単な説明】

【0022】

【図1】本発明の一実施形態に係る傾き判定システムを構成する移動支援装置の平面図である。

【図2】本発明の一実施形態に係る傾き判定システムのブロック図である。

【図3】本発明の一実施形態に係る傾き判定システムにおける白杖の撮像方法の一例を示す説明図である。

【図4】本発明の一実施形態に係る傾き判定システムにおける動作説明図であり、（ａ）は、移動支援装置が傾斜している状態及び白杖部分の画像の説明図、（ｂ）は、移動支援装置が傾斜していない状態及び白杖部分の画像の説明図である。

【図5】本発明の傾き判定システムの動作を示すフローチャートである。

【発明を実施するための形態】

【0023】

以下、本発明の一実施形態に係る傾き判定システム１について、図面を参照しつつ詳細を説明する。なお、各図は、理解が容易なように模式的に表したものであり、実際のサイズとは異なる場合があることに留意されたい。また、本実施形態では、傾き判定システム１が移動支援装置１０に搭載されている場合を例として説明する。なお、図４における画像２１は、バウンディングボックス２６の部分を切り出して描いていることに留意されたい。

【0024】

図１に示すように本発明の傾き判定システム１が組み込まれた移動支援装置１０は、例えば、視覚障がいを有するユーザ２の移動を支援するためのものである。そのため、本実施形態では、移動支援装置１０が、白杖３（図４参照）と共に使用されるものとされている。また、移動支援装置１０は、端末として構成されている（以下、移動支援装置１０を端末１０とも称する）。図２に示すように、傾き判定システム１は、撮像部２０、白杖検出部２５、及び通知部４０等を備えている。また、傾き判定システム１が搭載される端末１０は、肩移動検知センサ１５、及び制御部３０（閾値設定部３１を含む）等を備えている。

【0025】

端末１０（移動支援装置１０）は、ユーザ２（図４参照）が装着して使用するものである。端末１０は、バッテリー１１を備えている。撮像部２０やバッテリー１１は、端末１０をなす筐体の内部に収容されている（図１参照）。端末１０は、ユーザ２が負担を感じることなく、安定的に装着可能なものであるとよい。本実施形態では、端末１０は、両肩又は首周りの少なくともいずれかに装着可能なウェアラブル端末とされている。図４（ａ）及び図４（ｂ）に示す例では、端末１０は、首周りから両肩に掛けて装着可能なウェアラブル端末とされている。本実施形態では、端末１０が、逆Ｕ字形状に形成されており、ユーザ２の首に掛けることができる。また、端末１０は、使用状態においてユーザ２の前方側の領域を撮影可能なように撮像部２０が組み込まれている。端末１０は、バッテリー１１を具備しており、バッテリー１１から供給される電力によって撮像部２０や制御部３０、通知部４０等の移動支援装置１０を構成する各部を作動させることができる。

【0026】

肩移動検知センサ１５は、例えば、ジャイロセンサで構成されており、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向の３方向の加速度を一体的に検知することができる。ここで、ジャイロセンサは、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）等で構成されているとよい。これにより、端末１０の小型化が期待できる。肩移動検知センサ１５は、ユーザ２の少なくとも両肩の動きに係る肩移動情報１６を取得することができる。具体的には、肩移動検知センサ１５は、ジャイロセンサを用いることにより、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向の３方向の両肩の移動を肩移動情報１６（図２参照）として検出できる。ここで、肩移動情報１６は、例えば、加速度、あるいは、加速度を演算処理して得られるユーザ２の肩の移動方向とされている。なお、加速度の演算処理は、肩移動検知センサ１５、及び後述する制御部３０の少なくともいずれかにおいて行うことができる。また、本発明の傾き判定システム１においては、肩移動検知センサ１５とは独立して傾き判定を行うことができる。

【0027】

図１に示すように、撮像部２０は、例えば、カメラで構成されており、ユーザ２の前方側の領域を撮像することができる。また、撮像部２０は、ユーザ２の前方側を撮像することにより、白杖３を含む画像２１（図２、図３参照）を取得することができる。なお、撮像部２０は、傾き判定以外の移動支援を行う場合において、白杖３を含まない画像を取得することも可能である。本実施形態では、撮像部２０が、例えば、端末１０の前端側の一方側に設けられている。

【0028】

ここで、本実施形態における傾き判定システム１では、ユーザ２が端末１０を装着した際に、端末１０が正しく（傾き無く）装着されたか否かを判定するための傾き判定が実行される。詳細は後述するが、傾き判定システム１における傾き判定では、図３に示すように、ユーザ２が把持する白杖３を撮像部２０によって撮像することにより得られた画像２１に基づいて行われる。白杖３は、視覚障がい者の歩行支援の目的に製造されたものであり、本実施形態では、使用状態において直線状（折り畳み式のものも含む）のものが使用されるものとされている。また、白杖３の先端部近傍には、例えば、赤色のマーカー３Ａが施されている。撮像部２０での撮像により取得された画像２１（図３及び図４参照）は、制御部３０（図１及び図２参照）に有線又は無線にて送信され、画像解析（画像処理）に供される。

【0029】

白杖検出部２５は、図３及び図４に示すように、ユーザ２に把持された状態の白杖３を、撮像部２０で撮像して得られた画像２１内において水平方向及び鉛直方向を辺とするバウンディングボックス２６として検出するものである。端的に説明すると、上述した画像２１の画像解析により、画像２１内に白杖３の存在が認識されると、当該白杖３に対して矩形状のバウンディングボックス２６が設定される。ここで、バウンディングボックス２６は、白杖３が傾斜しているか否かに関わらず、画像２１内における白杖３の全体（ストラップ２Ｂを除く）を矩形状に囲うように設定される。白杖検出部２５は、設定されたバウンディングボックス２６を検出する。検出されたバウンディングボックス２６に係る情報（例えば、バウンディングボックス２６の各頂点の位置座標等）は、後述する制御部３０に送信され、制御部３０においてバウンディングボックス２６の水平幅Ｗ１（バウンディングボックス水平幅Ｗ１とも称する）が算出される。なお、バウンディングボックス水平幅Ｗ１は、白杖検出部２５において算出してもよい。

【0030】

閾値設定部３１（図２参照）は、本実施形態では、後述する制御部３０に設けられている。閾値設定部３１は、所定の距離にある画像２１内の白杖３における幅（例えば、最大幅）を予め閾値Ｗ２として設定するものである。ここで、閾値Ｗ２は、画像２１における鉛直方向に沿って白杖３が位置するとき（白杖３が傾斜していない状態）の白杖３の幅を基準に設定されるものである。すなわち、閾値Ｗ２は、撮像部２０から所定距離（例えば、ユーザ２の腕の長さ分離れた位置）にある白杖３の幅を、画像２１内における白杖３の幅に変換したものである。なお、閾値Ｗ２は、複数の白杖３の幅を平均化して求めるようにするとよい。

【0031】

制御部３０は、コンピュータ等で構成され、肩移動情報１６の演算処理や、撮像部２０から取得した撮像画像の画像処理等を実行することができる。制御部３０は、端末１０をなす筐体の内部に収容されている。制御部３０は、白杖検出部２５で検出したバウンディングボックス２６の例えば、各頂点の座標に基づき、バウンディングボックス２６におけるバウンディングボックス水平幅Ｗ１を算出することができる。また、制御部３０は、バウンディングボックス水平幅Ｗ１に基づいて、移動支援装置１０（端末１０）の傾きを判定することができる。具体的には、制御部３０は、画像２１内にあるバウンディングボックス水平幅Ｗ１と、閾値Ｗ２と、を比較することにより、バウンディングボックス水平幅Ｗ１が、所定の閾値Ｗ２よりも小さいことを条件として、端末１０の傾きが所定範囲内であるとの判定を行うものとされている。また、制御部３０は、バウンディングボックス水平幅Ｗ１が、所定の閾値Ｗ２以上であることを条件として、端末１０が傾いていると判定するように構成されていてもよい。かかる構成とすることにより、制御部３０（傾き判定システム１）は、移動支援装置１０や撮像部２０の傾きを判定することができる。

【0032】

制御部３０は、上述した傾き判定の他、肩移動情報１６に基づいて、端末１０における移動支援に係る制御を行うことができる。具体的には、制御部３０は、肩移動情報１６に基づいて、ユーザ２が向いている方向（進行方向）を認識できる。また、制御部３０は、撮像部２０で取得した画像２１に基づいて、ユーザ２の周囲にある障害物（例えば、電柱、車、人物等）を検知することができる。なお、制御部３０は、複数の機能毎に分割して設けられていてもよい。例えば、移動支援に係る制御機構と、傾き判定に係る制御機構と、がそれぞれ個別に設けられていてもよい。

【0033】

通知部４０は、本実施形態では、スピーカー（イヤホンを含む）として構成されており、音声により、端末１０が傾いていることに対する警告や障害物に対する警告に関する通知（発報等）を行うことができる。すなわち、通知部４０は、制御部３０による傾き判定の結果や障害物の有無をユーザ２に通知することによりユーザ２の移動を支援するものとされている。端末１０の傾き判定では、バウンディングボックス水平幅Ｗ１が、閾値Ｗ２よりも大きいことを条件として、通知部４０によって、警告が通知されるものとされている。

【0034】

以上が、本発明の一実施形態に係る傾き判定システム１、及び傾き判定システム１を搭載する本発明の移動支援装置１０（端末１０）の構成であり、次に、図３、図４（ａ）、及び図４（ｂ）を参照しながら、傾き判定システム１の動作の一実施形態についての詳細を説明する。なお、図３及び図４では、説明の便宜上、画像２１内における白杖３のみを対象として説明するが、実際には、画像２１内に白杖３以外のものも撮像されていることに留意されたい。また、本実施形態では、端末１０の装着時における傾き判定について説明するが、端末１０の装着時以外の適宜のタイミングで傾き判定を行ってもよい。また、図４（ａ）及び図４（ｂ）では、ユーザ２が、白杖３のグリップ部分を把持している状態を描いているが、傾き判定の際は、図３に示すように、白杖３のストラップ２Ｂを把持し、自重により下垂させた状態で行うことが望ましい。

【0035】

図４（ａ）及び図４（ｂ）に示すように、端末１０がユーザ２の両肩又は首のいずれかに装着され、起動されると、例えば、通知部４０により、端末１０の傾き判定を実施するようにメッセージ（例えば、音声）が通知される。また、傾き判定のための白杖３の撮像を行うためのメッセージ（例えば、「腕を前方に伸ばした状態で、白杖３のストラップ２Ｂを把持し、白杖３を自重により下垂（下吊）させて下さい。」）が通知される。

【0036】

図３に示すように、ユーザ２によるストラップ２Ｂの把持によって下垂された白杖３は、撮像部２０によって撮像され、白杖３を含む画像２１が取得される。また、画像２１は、制御部３０によって画像解析され、白杖３に対するバウンディングボックス２６が、白杖検出部２５によって検出される。

【0037】

図４（ａ）に示すように、端末１０が傾いて装着された状態では、白杖３が傾いた状態で撮像される。すなわち、端末１０が傾いて装着された状態では、画像２１内における白杖３が傾いた状態でバウンディングボックス２６が検出され、バウンディングボックス水平幅Ｗ１が閾値Ｗ２以上の状態となる。かかる場合は、通知部４０により、端末１０が正しく装着されていない（傾斜して装着されている）旨の通知（例えば、警報）が行われる。通知を受けたユーザ２は、通知が無くなるように端末１０の傾き（装着状態）を補正する。

【0038】

図４（ｂ）に示すように、端末１０が正しく装着された状態では、白杖３が、ほぼ鉛直方向に沿った状態（傾き無しの状態）で撮像される。すなわち、端末１０が正しく装着された状態では、画像２１内における白杖３が鉛直方向に沿った状態でバウンディングボックス２６が検出され、バウンディングボックス水平幅Ｗ１が閾値Ｗ２よりも小さい状態となる。かかる場合は、通知部４０による通知がなされない。なお、例えば、端末１０が傾斜している状態から、端末１０の傾斜が無くなった状態に遷移した際に、「端末１０が正しく装着されました。」等のメッセージが通知されるようにしてもよい。

【0039】

次に、図５のフローチャートを参照しながら、傾き判定システム１の動作（傾き判定方法）について説明する。本発明の傾き判定方法は、ユーザ２の両肩及び首の少なくともいずれかに装着され、白杖３と共に使用される端末１０（移動支援装置１０）の傾き判定に利用できる。また、以下の説明では、端末１０の装着開始段階に実行される端末１０の傾き判定を例として説明する。

【0040】

端末１０（傾き判定システム１）が起動されると、ユーザ２の前方側が撮像部２０によって撮像され、白杖３を含む画像２１が取得される（ステップＳ１０：画像取得ステップ）。続いて、画像２１が制御部３０に送信され、制御部３０により画像解析が行われる（ステップＳ１１：画像解析ステップ）。

【0041】

ステップＳ１１において画像解析が行われると、画像２１内において、白杖３が、水平方向及び鉛直方向を辺とするバウンディングボックス２６として検出される（ステップＳ１２：白杖検出ステップ）。

【0042】

続いて、ステップＳ１２において検出されたバウンディングボックス水平幅Ｗ１が、所定の閾値Ｗ２よりも小さいか否かの判定が行われる（ステップＳ１３：バウンディングボックス水平幅判定ステップ）。

【0043】

ステップＳ１３において、バウンディングボックス水平幅Ｗ１が、閾値Ｗ２よりも小さい場合は、端末１０の傾き判定において端末１０が傾いていないと判定される（ステップＳ１４）。ステップＳ１４の処理が完了すると、補正完了案内（例えば、「端末１０が正しく装着されました。」）が通知部４０により通知される（ステップＳ１５）。また、ステップＳ１５の処理が完了すると、一連の処理が終了する。

【0044】

ステップＳ１３において、バウンディングボックス水平幅Ｗ１が、閾値Ｗ２以上である場合は、端末１０が傾いていると判定されると共に、警告が通知される（ステップＳ２０：警告通知ステップ）。また、警告を受けたユーザ２により端末１０の傾きが補正される（ステップＳ２１）。ステップＳ２１において端末１０の傾きが補正されると、処理が再びステップＳ１０の処理に戻される。すなわち、端末１０が正しく（傾いていない状態で）装着されるまで、繰り返し上記の一連の処理が実行される。

【0045】

以上が、本発明の傾き判定システム１及び傾き判定方法並びに傾き判定システム１を採用する移動支援装置１０の一実施形態である。次に、本発明の傾き判定システム１及び傾き判定方法並びに移動支援装置１０により実現される作用効果について、以下に説明する。

【0046】

上述した傾き判定システム１は、以下の（１）～（６）のような特徴的構成を備えている 。そのため、傾き判定システム１は、以下のような従来技術では達し得ない特有の効果を奏することができる。

【0047】

（１）本実施形態の傾き判定システム１は、ユーザ２の両肩及び首の少なくともいずれかに装着され、白杖３と共に使用される移動支援装置１０の傾き判定システム１であって、ユーザ２の前方側を撮像することにより白杖３を含む画像２１を取得する撮像部２０と、ユーザ２に把持された状態の白杖３を、撮像部２０で撮像して得られた画像２１内において水平方向及び鉛直方向を辺とするバウンディングボックス２６として検出する白杖検出部２５と、を備え、バウンディングボックス２６の水平幅Ｗ１に基づいて、移動支援装置１０の傾きを判定することを特徴とするものである。

【0048】

上述した傾き判定システム１は、白杖３を使用するユーザ２（視覚障がい者）の両肩及び首の少なくともいずれかに装着される移動支援装置１０における傾き判定を行うものとされている。また、上述した傾き判定システム１は、ユーザ２に把持された状態の白杖３を、撮像部２０で撮像して得られた画像２１内において水平方向及び鉛直方向を辺とするバウンディングボックス２６として検出するものとされている。また、上述した傾き判定システム１は、画像２１における白杖３の傾斜を問わず、白杖３の全体をバウンディングボックス２６として検出することができる。ここで、バウンディングボックス２６の水平幅Ｗ１は、白杖３が、鉛直方向に沿って把持された状態にあるときは、最小となり、白杖３の、水平方向への傾斜角度が大きくなるにつれて大きくなるものとされている。したがって、上述した傾き判定システム１は、バウンディングボックス２６における水平幅Ｗ１に基づいて、移動支援装置１０の傾きを判定することができる。また、上述した傾き判定システム１は、移動支援装置１０の傾き判定結果を利用して、例えば、移動支援装置１０の使用開始時に、移動支援装置１０がユーザ２に正しく装着されたか否かを判定することができる。

【0049】

このように、上述した傾き判定システム１は、傾きセンサを用いずに移動支援装置１０の傾きを判定できるので、移動支援装置１０（撮像部２０を含む）の傾きが大きくても誤判定することなく正確に傾き判定を行うことができる。また、上述した傾き判定システム１は、複雑な取付角度校正装置（制御を含む）を用いることなく、正確に傾き判定を行うことができるので、コストの増大を抑制できる。なお、上述した傾き判定システム１は、移動支援装置１０がユーザ２に正しく装着されたか否かを移動支援装置１０の傾きによって判定することができる。ここで、撮像部２０における白杖３の撮像は、例えば、ユーザ２が白杖３を使用する状態、すなわち白杖３が地面方向（下方側）に向けて把持された状態で行われる。

【0050】

（２）本実施形態の傾き判定システム１は、バウンディングボックス２６の水平幅Ｗ１が、所定の閾値Ｗ２よりも小さいことを条件として、移動支援装置１０の傾きが所定範囲内であるとの判定を行うことを特徴とするものである。

【0051】

上述した傾き判定システム１は、かかる構成とすることにより、所定の閾値Ｗ２を基準として、移動支援装置１０の傾きが所定の範囲内にあるか否かの判定を行うことができる。ここで、閾値Ｗ２は、ユーザ２（撮像部２０）から所定の距離にある鉛直方向に沿う白杖３に対して設定されるバウンディングボックス２６の水平幅Ｗ１を基準に設定されている。すなわち、上述した傾き判定システム１は、バウンディングボックス２６の水平幅Ｗ１が所定の閾値Ｗ２よりも小さい場合は、移動支援装置１０が所定範囲内の傾き（正常範囲の傾き）であると判定できる。このように、上述した傾き判定システム１は、画像２１内に検出されたバウンディングボックス２６の水平幅Ｗ１と、所定の閾値Ｗ２とを比較することにより、傾き判定を行うことができるので、別途に傾きセンサを設ける必要がない。これにより、上述した傾き判定システム１は、コストの増大を抑制できる。

【0052】

なお、上述した傾き判定システム１は、バウンディングボックス２６の水平幅Ｗ１が、所定の閾値Ｗ２以上であることを条件として、移動支援装置１０が傾いていると判定するように構成することもできる。かかる構成とすれば、上述した傾き判定システム１は、移動支援装置１０が傾いていることを判定できる。

【0053】

（３）本実施形態の傾き判定システム１は、自重により下垂させた状態の白杖３を撮像することにより得られた画像２１に基づいて、移動支援装置１０の傾きを判定することを特徴とするものである。

【0054】

上述した傾き判定システム１は、かかる構成とすることにより、傾きが無い状態の白杖３に係る画像２１を取得できるので、白杖３の傾きを排除した状態で、移動支援装置１０の傾きを判定できる。ここで、ユーザ２が、例えば、白杖３の上部に設けられたストラップ２Ｂを保持することにより、上述の自重により下垂させた状態の白杖３を形成することができる。これにより、精度良く白杖３を鉛直方向に沿って配置し、撮像することができる。

【0055】

（４）本実施形態の傾き判定システム１は、通知部４０を有しており、バウンディングボックス２６の水平幅Ｗ１が、閾値Ｗ２以上であることを条件として、通知部４０によって、警告を通知することを特徴とするものである。

【0056】

上述した傾き判定システム１は、かかる構成とすることにより、移動支援装置１０が傾いている場合に、通知部４０により警告を通知することができる。これにより、上述した傾き判定システム１は、移動支援装置１０が傾斜状態で装着されている場合であっても、移動支援装置１０の傾斜をユーザ２に対して的確に通知できる。なお、例えば、移動支援装置１０が傾斜している状態から、移動支援装置１０の傾斜が無くなった状態に遷移した際に、「移動支援装置１０が正しく装着されました。」等のメッセージが通知されるようにしてもよい。

【0057】

（５）本実施形態の傾き判定方法は、ユーザ２の両肩及び首の少なくともいずれかに装着され、白杖３と共に使用される移動支援装置１０の傾き判定方法であって、ユーザ２の前方側を撮像部２０によって撮像することにより白杖３を含む画像２１を取得する画像取得ステップと、画像２１内において、白杖３を水平方向及び鉛直方向を辺とするバウンディングボックス２６として検出する白杖検出ステップと、白杖検出ステップにおいて検出されたバウンディングボックス２６の水平幅Ｗ１が、所定の閾値Ｗ２よりも小さいか否かを判定するバウンディングボックス水平幅判定ステップと、前記バウンディングボックス水平幅判定ステップにおいてバウンディングボックス２６の水平幅Ｗ１が、閾値Ｗ２以上であることを条件として、移動支援装置１０が傾いていると判定し、警告を通知する警告通知ステップと、を実行することを特徴とするものである。

【0058】

上述した傾き判定方法は、画像取得ステップ、白杖検出ステップ、及びバウンディングボックス水平幅判定ステップが実行されることにより、移動支援装置１０の傾きを判定できる。また、上述した傾き判定方法は、バウンディングボックス水平幅判定ステップにおいて、移動支援装置１０が傾いていると判定した場合に、警告通知ステップの実行により、警告を通知できるので、ユーザ２に対して、移動支援装置１０の傾きを即座に伝達できる。

【0059】

（６）本実施形態の移動支援装置１０は、ユーザ２の両肩及び首の少なくともいずれかに装着され、白杖３と共に使用される移動支援装置１０であって、ユーザ２の少なくとも両肩の動きに係る肩移動情報１６を取得する肩移動検知センサ１５と、ユーザ２の前方側を撮像することにより白杖３を含む画像２１を取得する撮像部２０と、ユーザ２に把持された状態の白杖３を撮像部２０で撮像して得られた画像２１内において水平方向及び鉛直方向を辺とするバウンディングボックス２６として検出する白杖検出部２５と、制御部３０と、を備え、制御部３０は、バウンディングボックス２６の水平幅Ｗ１に基づいて、傾きを判定する制御を行うことを特徴とするものである。

【0060】

上述した移動支援装置１０は、かかる構成とすることにより、別途に傾きセンサを設けることなく、傾き判定を行うことができる。これにより、移動支援装置１０の小型化やコストの低減が期待できる。また、上述した移動支援装置１０は、移動支援装置１０内に一体的に傾き判定システム１を構築できる。これにより、より一層の移動支援装置１０の小型化が期待できる。

【0061】

以上が、本発明の一実施形態に係る傾き判定システム１、傾き判定方法、及び移動支援装置１０の作用効果であるが、本発明の傾き判定システム１、傾き判定方法、及び移動支援装置１０は、上述した実施形態に限定されるものではなく、各種の変形を行うことができる。

【0062】

本実施形態では、移動支援装置１０（端末１０）が、ユーザ２の両肩及び首の少なくともいずれかに装着されるものとしたが、本発明は、これには限定されず各種の移動支援装置１０に適用することができる。例えば、移動支援装置１０が、ユーザ２の頭部、顔、胴部に装着されるものであってもよい。また、撮像部２０は、画像２１の取得が可能なカメラや画像センサ等の各種のものが利用できる。また、撮像部２０で撮像する範囲は、傾き判定を行う場合において、白杖３を含むものとすればよく、移動支援を行う場合においては、必要に応じて白杖３を含まないものとすることもできる。また、撮像部２０は、移動支援装置１０の特性や使用態様に応じて、ユーザ２の前方、側方、後方など各種の方向に設定することができる。

【0063】

また、本実施形態では、バウンディングボックス２６が、水平方向及び鉛直方向を辺として設定されているが、白杖３の形状や大きさに応じて、バウンディングボックス２６を形成する辺の方向を変更してもよい。また、本実施形態では、画像２１内の白杖３を検出した後、検出された白杖３に対して、バウンディングボックス２６を設定するようにしているが、本発明は、これには限定されない。バウンディングボックス２６の設定方法や白杖３の検出方法は、各種の画像解析手段を利用することができる。バウンディングボックス水平幅Ｗ１は、撮像部２０の特性や白杖３の幅等に応じて各種の数値に設定することができる。また、閾値Ｗ２は、傾き判定の対象とする白杖３に応じて、各種の数値に設定できる。

【0064】

本実施形態では、通知部４０が、スピーカーやイヤホンであり、音声により通知をおこなうものを例示したが、通知部４０は、音声により通知を行うものだけではなく、移動支援を行う対象であるユーザ２に対して、通知できるものであれば各種のものが利用できる。また、本実施形態では、傾き判定システム１及び移動支援装置１０が、視覚障がい者を対象とするものを例示したが、本発明の傾き判定システム１及び移動支援装置１０は、視覚障がい者だけではなく、各種の者を対象とすることができる。例えば、傾き判定システム１及び移動支援装置１０は、高齢者等の移動支援等にも利用することができる。かかる場合は、白杖３に代えて、白杖３ではない杖を用いればよい。また、通知部４０による通知は、バウンディングボックス水平幅Ｗ１が、閾値Ｗ２以上の場合に通知するものだけではなく、移動支援に係る各種の通知を適時に行うようにすることもできる。例えば通知部４０は、バウンディングボックス水平幅Ｗ１が閾値Ｗ２よりも小さい場合において、移動支援装置１０が正しく装着された（傾き補正が完了した）旨の通知を行うようにすることもできる。

【0065】

以上が、本発明に係る傾き判定システム、傾き判定方法、及び移動支援装置の各種の実施形態や変形例であるが、本発明は上述した実施形態や変形例において例示したものに限定されるものではなく、特許請求の範囲を逸脱しない範囲でその教示及び精神から他の実施形態があり得ることは当業者に容易に理解できよう。

【産業上の利用可能性】

【0066】

本発明は、ユーザの移動支援を行う移動支援装置全般において好適に利用可能である。

【符号の説明】

【0067】

１ ：傾き判定システム
２ ：ユーザ
３ ：白杖
１０ ：移動支援装置（端末）
１１ ：バッテリー
１５ ：肩移動検知センサ
２０ ：撮像部
２１ ：画像
２５ ：白杖検出部
２６ ：バウンディングボックス
３０ ：制御部
３１ ：閾値設定部
４０ ：通知部
Ｗ１ ：バウンディングボックス水平幅
Ｗ２ ：閾値

【図1】

【図2】

【図3】

【図4】

【図5】