特許 6630503 眼鏡型ウェアラブル装置、その制御方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6630503

(24)【登録日】2019年12月13日

(45)【発行日】2020年1月15日

(54)【発明の名称】眼鏡型ウェアラブル装置、その制御方法、およびプログラム

(51)【国際特許分類】

   A61H 1/02 20060101AFI20200106BHJP

   G09G 5/00 20060101ALI20200106BHJP

   G09G 5/36 20060101ALI20200106BHJP

   G06F 3/01 20060101ALI20200106BHJP

【ＦＩ】

   A61H1/02 R

   G09G5/00 510A

   G09G5/00 510G

   G09G5/00 550C

   G09G5/36 520P

   G06F3/01 510

【請求項の数】10

【全頁数】8

(21)【出願番号】特願2015-139267(P2015-139267)

(22)【出願日】2015年7月11日

(65)【公開番号】特開2017-18383(P2017-18383A)

(43)【公開日】2017年1月26日

【審査請求日】2018年7月3日

(73)【特許権者】

【識別番号】715006465

【氏名又は名称】長島 優

(72)【発明者】

【氏名】長島 優

【審査官】 小野田 達志

(56)【参考文献】

【文献】 国際公開第２００６／１３４０３７（ＷＯ，Ａ１）

【文献】 国際公開第２０１４／１０７６２９（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２０１５／００８２１８０（ＵＳ，Ａ１）

【文献】 特開２００９−１１９０６６（ＪＰ，Ａ）

【文献】 米国特許第０５５７５２９４（ＵＳ，Ａ）

【文献】 特開２００５−０３４５６８（ＪＰ，Ａ）

【文献】 米国特許第０５５９７３０９（ＵＳ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｈ １／０２

Ｇ０６Ｆ ３／０１

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３６

(57)【特許請求の範囲】

【請求項1】

ユーザの視野画像を撮像する撮像手段と、
前記視野画像の中から前記ユーザの足部領域を検出する足部領域検出手段と、
前記視野画像の中から床面領域を検出する床面領域検出手段と、
前記足部領域検出手段により検出された前記足部領域と、前記床面領域検出手段により検出された前記床面領域とに基づき、前記床面領域に視覚的目印を描画する描画手段と、
を有することを特徴とする眼鏡型ウェアラブル装置。

【請求項2】

前記撮像手段は、
可視光画像データを取得する可視光画像データ取得手段と、
奥行き画像データを取得する奥行き画像データ取得手段と、
を含み、
前記足部領域検出手段は、前記可視光画像データ取得手段により取得された前記可視光画像データと、前記奥行き画像データ取得手段により取得された前記奥行き画像データと、予め登録したユーザの足部画像データとに基づき、前記足部領域を検出することを特徴とする請求項１に記載の眼鏡型ウェアラブル装置。

【請求項3】

前記ユーザの加速度情報を取得する加速度情報取得手段を更に有し、
前記床面領域検出手段は、前記奥行き画像データと、前記加速度情報とに基づき、前記床面領域を検出することを特徴とする請求項２に記載の眼鏡型ウェアラブル装置。

【請求項4】

前記足部領域検出手段が、前記ユーザの視野内で前記足部領域を検出した場合、前記床面領域検出手段は、前記床面領域を検出する一方、前記足部領域検出手段が、前記ユーザの視野内で前記足部領域を検出しない場合、前記床面領域検出手段は、前記床面領域を検出しないことを特徴とする請求項１乃至３の何れか１項に記載の眼鏡型ウェアラブル装置。

【請求項5】

前記ユーザは、パーキンソン病をはじめとするすくみ足症状を呈する大脳基底核疾患患者であることを特徴とする請求項１乃至４の何れか１項に記載の眼鏡型ウェアラブル装置。

【請求項6】

前記描画手段は、前記視覚的目印として、前記ユーザの進行方向に対して垂直方向に伸長する線分を描画することを特徴とする請求項１乃至５の何れか１項に記載の眼鏡型ウェアラブル装置。

【請求項7】

前記描画手段は、前記ユーザの足部前方の位置に表示されるように前記線分を描画することを特徴とする請求項６に記載の眼鏡型ウェアラブル装置。

【請求項8】

前記描画手段は、リアルタイムで検出される前記足部領域および前記床面領域に基づき、奇異性歩行を誘発するタイミングである、歩行中に足を踏み出す直前のみ、前記視覚的目印を描画することを特徴とする請求項１乃至７の何れか１項に記載の眼鏡型ウェアラブル装置。

【請求項9】

眼鏡型ウェアラブル装置の制御方法であって、
ユーザの視野画像を撮像するステップと、
前記視野画像の中から前記ユーザの足部領域を検出するステップと、
前記視野画像の中から床面領域を検出するステップと、
前記足部領域検出手段により検出された前記足部領域と、前記床面領域検出手段により検出された前記床面領域とに基づき、前記床面領域に視覚的目印を描画するステップと、
を有することを特徴とする制御方法。

【請求項10】

前記眼鏡型ウェラブル装置に請求項９に記載の制御方法を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、パーキンソン病患者の歩行障害を改善する眼鏡型ウェアラブル装置に関するものである。

【背景技術】

【0002】

パーキンソン病は、振戦、筋固縮、無動、姿勢反射障害を主な運動症状とする神経変性疾患であり、現在のところ根治的治療法のない難病である。パーキンソン病患者の歩行障害は、前傾前屈姿勢で小刻み歩行となる特徴があり、特に歩き始めの第一歩が出にくいすくみ足症状は転倒の原因となり、また薬物療法に反応しにくいため臨床的に問題である。パーキンソン病患者の歩行障害を改善する手法として、パーキンソン病患者に特徴的な神経学的徴候である奇異性歩行を利用する技術が開示されている。奇異性歩行とは、進行方向の床面上に目印が存在することによってすくみ足症状が軽減し、歩行障害が改善する歩行の特徴を指して用いる徴候名である。

【0003】

従来、奇異性歩行を人為的に誘発する方法として、床面へ目印となる線分を描くことが有効であると知られている（非特許文献１参照）。また、先端に横木のついたＬ字型の杖（非特許文献１参照）や、レーザー発光装置を備え床面にレーザー光を照射する杖（特許文献１参照）が知られている。さらに、視覚的目印のパターンを視野全体あるいは進行方向の床面全体に表示するヘッドマウントディスプレイなどが知られている（特許文献２参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００５−３４５６８号公報

【特許文献2】米国特許第５５９７３０９号

【非特許文献】

【0005】

【非特許文献1】岩田誠著、「神経症候学を学ぶ人のために」、医学書院、２０００年、ｐ．３２２

【発明の概要】

【発明が解決しようとする課題】

【0006】

非特許文献１に記載された床面上に視覚的目印（例えば、線分）を描く手法では、あらかじめ目印を描いた場所でしか効果が望めないという問題があった。
非特許文献１や特許文献１に記載された杖型デバイスでは、足元にちょうど目印が来るように患者が自分で杖の位置を調節する必要があることから、上肢にも運動障害のあることの多いパーキンソン病患者には操作が難しいという問題があった。
特許文献２に記載されたヘッドマウントディスプレイは、患者の視野内の広範囲に広がるパターン図形を表示するものであり、現実的な住環境においては、奇異性歩行を誘発するのに必要な患者前方の足元の床面以外の場所にも、視覚的目印が表示されてしまう。パーキンソン病患者の多くが視力障害を伴うことの多い高齢者であることを考慮すると、視野内の広範囲に亘ってパターン図形を表示することが、患者の視野を遮ることにつながり、周囲の環境を認識する際の妨げになることで、かえって歩行の安定性を損ねてしまうという問題があった。
このように、上で列挙した文献に記載の技術は何れも、段差や凸凹等がある現実的な住環境の床面上へ視覚的目印を適切に表示することができなかった。

【課題を解決するための手段】

【0007】

本発明は、 ユーザの視野画像を撮像する撮像手段と、前記視野画像の中から前記ユーザの足部領域を検出する足部領域検出手段と、前記視野画像の中から床面領域を検出する床面領域検出手段と、前記足部領域検出手段により検出された前記足部領域と、前記床面領域検出手段により検出された前記床面領域とに基づき、前記床面領域に視覚的目印を描画する描画手段と、を有することを特徴とする眼鏡型ウェアラブル装置である。

【発明の効果】

【0008】

本発明により、パーキンソン病患者が段差や凹凸等がある現実的な住環境における床面を歩行する際に、奇異性歩行を誘発することが可能となり、パーキンソン病患者の歩行障害を改善できる。

【図面の簡単な説明】

【0009】

【図1】本実施例に係る眼鏡型ウェアラブル装置の構成図

【図2】本実施例に係る眼鏡型ウェアラブル装置のハードウェアの構成を示すブロック図

【図3】本実施例に係る眼鏡型ウェアラブル装置のソフトウェアモジュールの構成を示すブロック図

【図4】本実施例における視覚的目印表示に至る処理のフローチャート

【図5】本実施例に係る眼鏡型ウェアラブル装置の使用の状況を説明するための図

【発明を実施するための形態】

【0010】

以下、実施形態について説明する。なお、以下に説明する実施例は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

【実施例1】

【0011】

図１は、本実施例に係る眼鏡型ウェアラブル装置の外形の説明図であり、図１（ａ）は上面図、図１（ｂ）は正面図である。眼鏡型ウェアラブル装置１は、可視光カメラ２と、デプスカメラ３と、加速度センサー４とを備える。可視光カメラ２とデプスカメラ３は、眼鏡型ウェアラブル装置１の前面に配置する。加速度センサー４は、患者にとって眼鏡型ウェアラブル装置１の装着の邪魔にならない場所（たとえば眼鏡型ウェアラブル装置１の前面）に配置する。

【0012】

図２は、本実施例に係る眼鏡型ウェアラブル装置のハードウェア構成を示すブロック図である。眼鏡型ウェアラブル装置１は、ＣＰＵ２０１と、ＲＡＭ２０２と、ＲＯＭ２０３と、液晶表示素子２０４と、可視光カメラ２と、デプスカメラ３と、加速度センサー４とを備える。これらの構成要素は共通のバスを介して互いに接続されている。
ＣＰＵ２０１と、ＲＡＭ２０２と、ＲＯＭ２０３は、互いにデータを送受信することが可能である。ＣＰＵ２０１は、ＲＯＭ２０３に格納されている各種プログラムをＲＡＭ２０２に展開し、当該展開したプログラムを実行する。これによりＣＰＵ２０１は、各構成要素を統括的に統御し、眼鏡型ウェアラブル装置１を動作させる。
ＣＰＵ２０１はＲＡＭ２０２上に展開されたプログラムを実行する過程で、可視光カメラ２やデプスカメラ３や加速度センサー４を制御し、可視光カメラ２からは可視光画像を、デプスカメラ３からは奥行き画像を、加速度センサー４からは加速度の方向と大きさとを示すデータを取得する。当該取得したデータは、ＲＡＭ２０２やＲＯＭ２０３に保存される。
また、ＣＰＵ２０１はＲＡＭ２０２上に展開されたプログラムを実行する過程で、ＲＡＭ２０２上に視覚的目印の画像データを作成し、当該作成した画像データに基づき液晶表示素子２０４に視覚的目印を表示する。

【0013】

図３は、本実施例におけるソフトウェアモジュールの構成を示すブロック図である。
可視光画像データ取得部３０１は、可視光カメラ２を制御して撮像を行い、可視光画像データを取得する。当該取得した可視光画像データは、ＲＡＭ２０２上の領域に保存され、足部領域検出部３０４に渡される。
奥行き画像データ取得部３０２は、デプスカメラ３を制御して撮像を行い、奥行き画像データを取得する。当該取得した奥行き画像データは、ＲＡＭ２０２上の領域に保存され、足部領域検出部３０４と床面検出部３０５とに渡される。
加速度情報取得部３０３は、加速度センサー４を制御し、加速度の方向と大きさとを示すデータを取得する。当該取得したデータは、ＲＡＭ２０２上の領域に保存され、床面検出部３０５に渡される。
足部領域検出部３０４は、可視光画像データ取得部３０１から可視光画像データ、および、奥行き画像データ取得部３０２から奥行き画像データを受け取る。そして、足部領域検出部３０４は、あらかじめＲＯＭ２０２上に登録されていた患者の足部画像データを利用して、可視光画像および奥行き画像における患者の足部に相当する領域（以下、足部領域とする）を検出する（詳細は後述する）。可視光画像における足部領域を示す情報は視覚的目印描画部３０６へ渡され、奥行き画像における足部領域を示す情報は床面検出部３０５へ渡される。
床面検出部３０５は、奥行き画像データ取得部３０２から奥行き画像データを、加速度情報取得部３０３から加速度の方向と大きさとを示すデータのアドレスを受け取り、これらのデータに基づいて、奥行き画像における床面領域を検出する（詳細は後述する）。当該領域を示す情報は視覚的目印描画部３０６へ渡される。
視覚的目印描画部３０６は、足部領域検出部３０４から可視光画像における患者の足部領域を示す情報（位置）を、床面検出部３０５から奥行き画像における床面領域を示す情報（位置）を受け取り、これらの情報に基づいて、患者の足部前方の床面に限定して、視覚的目印（例えば、患者の進行方向に対して垂直方向に伸長する線分）を表示する。

【0014】

図４は、本実施例における視覚的目印表示に至る処理のフローチャートである。
ステップＳ４０１において、可視光画像データ、奥行き画像データ、および加速度の方向と大きさとを示すデータを取得する。即ち、可視光画像データ取得部３０１は、可視光カメラ２を制御して撮像を行い、可視光画像データを取得する。また、奥行き画像データ取得部３０２は、デプスカメラ３を制御して撮像を行い、奥行き画像データを取得する。さらに、加速度情報取得部３０３は、加速度センサー４を制御し、加速度の方向と大きさとを示すデータを取得する。
ステップＳ４０２において、足部領域検出部３０４は、可視光画像データおよび奥行き画像データ、ならびに、あらかじめＲＯＭ２０２上に登録されていた患者の足部画像データに基づき、足部領域の検出を試みる。具体的には、ＲＯＭ２０２上に登録されていたテンプレートとなる患者の足部画像データを、可視光画像データ、および、奥行画像データの中から検索し、可視光画像における足部領域、および、奥行き画像における足部領域の検出を試みる。
ステップＳ４０３において、足部領域検出部３０４は、患者の視野内に足部領域を検出したか否かを判定する。当該判定の結果、足部領域を検出した場合、ステップＳ４０４に進む。一方、当該判定の結果、足部領域を検出しなかった場合、一連の処理は終了する。
ステップＳ４０４において、床面検出部３０５は、奥行き画像データ、および、加速度の方向と大きさとを示すデータに基づき、床面領域を検出する。加速度センサーを用いて取得した加速度の方向は、近似的に重力加速度の方向と同じであるとみなすことができる。奥行き画像データは各画素が距離値を持つ画像データであり、その数学的な実体は三次元空間上の点群である。奥行き画像内部の平面を抽出するためには、例えばＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）法と呼ばれる、三次元空間上の点群から、任意の方程式系によって定まる図形の上に存在する点の集合を取得する方法を用いることができる。本実施例では奥行き画像データに対してＲＡＮＳＡＣ法を繰り返し適用し、奥行き画像データ内部に存在する平面をすべて抽出する。抽出した平面群から、重力加速度の方向に垂直な平面を選び出すことで、患者の視野内に存在する水平面リスト（床面や机、棚など）が得られる。最後に、当該水平面リストの中から、足部領域検出部３０４から受け取った奥行き画像データに基づき、奥行き画像における患者足部領域の位置情報を利用して、患者足部と奥行き距離が最も近い水平面を選択することで、奥行き画像データ内部で床面の領域を検出することができる。
ステップＳ４０５において、視覚的目印描画部３０６は、可視光画像における足部領域の情報（位置）と、奥行き画像における床面領域の情報（位置）とに基づいて、患者の足部前方の床面に限定して、視覚的目印（患者の進行方向に垂直な線分）を描画する。この視覚的目印は、眼鏡型ウェアラブル装置１を透過して患者が見ている視界の像に重ね書き（オーバーレイ）して表示される。

【0015】

図４のフローチャートに示す述べた視覚的目印表示処理を、ビデオレートで繰り返すことで、患者の移動や頭の動きに追随して、リアルタイムに視覚的目印の表示を更新する。

【0016】

図５に、本実施例に係る眼鏡型ウェアラブル装置の使用の状況を説明するイラストを示す。図５（ａ）は、装置使用時の患者の姿勢と周囲の環境の例である。図５（ｂ）は、図５（ａ）の状況で眼鏡型ウェアラブル装置１を装着しない場合の患者の視界である。図５（ｂ）の下端には、患者の両足つま先が見えている。図５（ｃ）は、図５（ａ）の状況で眼鏡型ウェアラブル装置１を装着した場合の患者の視界であり、患者の足元の進行方向には、視界に重ね書き（オーバーレイ）して表示された視覚的目印（患者の進行方向に対して垂直方向に伸長する線分）が見えている。

【0017】

本発明では、奇異性歩行を誘発するための視覚的目印を、患者の視野内において患者の足元の床面上に自動表示し、且つ、その表示の内容を患者の移動や頭の動きに従ってリアルタイムに更新する。これにより、パーキンソン病患者が歩行する際に、奇異性歩行が誘発され、パーキンソン病患者の歩行障害が改善する。
本発明の眼鏡型ウェアラブル装置により、奇異性歩行を誘発する視覚的目印を、患者の操作を必要とせずに自動で、患者の視界に表示できる。
また本発明では、患者の進行方向の床面と患者の足部は、デプスカメラと可視光カメラによってリアルタイムに検出され、当該検出結果に基づいて、奇異性歩行を誘発するのに必要なタイミング（例えば歩行中に足を踏み出す直前）でのみ視覚的目印を表示することが可能である。従って、歩行する患者の足部前方の狭い床面以外の場所に視覚的目印が表示されることはなく、患者の視界を遮ることがない。
さらに、デプスカメラは患者の頭に装着する眼鏡型ウェアラブル装置に固定されているため、患者が移動したり、頭を動かしたりしても、患者の動きに追随して患者の見ている視野内の最適な場所にのみ、視覚的目印を表示できる 。

【図1】

【図2】

【図3】

【図4】

【図5】