(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-09
(45)【発行日】2024-09-18
(54)【発明の名称】電動歩行補助装置を制御するための制御システムおよび制御方法
(51)【国際特許分類】
A61G 5/04 20130101AFI20240910BHJP
A61G 5/10 20060101ALI20240910BHJP
A61H 3/00 20060101ALI20240910BHJP
G05D 1/43 20240101ALI20240910BHJP
G08G 1/005 20060101ALI20240910BHJP
【ＦＩ】
A61G5/04 707
A61G5/10
A61H3/00 Z
G05D1/43
G08G1/005
【請求項の数】
12
【外国語出願】
(21)【出願番号】P 2023086237
(22)【出願日】2023-05-25
(65)【公開番号】P2023180221
(43)【公開日】2023-12-20
【審査請求日】2023-07-07
(31)【優先権主張番号】111121316
(32)【優先日】2022-06-08
(33)【優先権主張国・地域又は機関】TW
(73)【特許権者】
【識別番号】508226687
【氏名又は名称】和碩聯合科技股▲ふん▼有限公司
【氏名又は名称原語表記】ＰＥＧＡＴＲＯＮ ＣＯＲＰＯＲＡＴＩＯＮ
【住所又は居所原語表記】５Ｆ．，Ｎｏ．７６，Ｌｉｇｏｎｇ Ｓｔ．， Ｂｅｉｔｏｕ Ｄｉｓｔ．， Ｔａｉｐｅｉ Ｃｉｔｙ １１２， Ｔａｉｗａｎ
(74)【代理人】
【識別番号】110002952
【氏名又は名称】弁理士法人鷲田国際特許事務所
(72)【発明者】
【氏名】李昂謙
【審査官】寺澤 忠司
(56)【参考文献】
【文献】中国特許出願公開第１１２８６９９６８（ＣＮ，Ａ）
【文献】特表２０２０－５０９４７６（ＪＰ，Ａ）
【文献】特開２０２２－０４８０１７（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１９／０３６５５９２（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｇ ５／０４，５／１０
Ａ６１Ｈ ３／００
Ｇ０８Ｇ １／００５
Ｇ０５Ｄ １／４３
(57)【特許請求の範囲】
【請求項1】
電動歩行補助装置を制御するための制御システムであって、前記電動歩行補助装置に配置され、前記電動歩行補助装置の周囲のパノラマ画像を撮影するように構成されたパノラマカメラと、
前記電動歩行補助装置に配置され、ナビゲーション情報を生成するように構成されたナビゲーション情報デバイスと、
前記パノラマカメラおよび前記ナビゲーション情報デバイスに結合され、前記パノラマ画像に基づいて使用者の人物検出および使用者の関節点検出のうちの少なくとも１つを実行し、ポイントクラウド情報を介して、電動歩行補助装置と使用者の間の距離を取得し、前記ナビゲーション情報に基づいて前記使用者に近づくように前記電動歩行補助装置を制御するコントローラと、
を含み、
前記距離が予め設定された距離よりも短いとき、前記コントローラが、前記人物検出および前記関節点検出のうちの少なくとも１つの検出結果に基づいて、前記使用者の背部の後ろの位置を検索し、前記使用者の背部に向かって移動するように前記電動歩行補助装置を制御する、制御システム。
【請求項2】
前記コントローラが、フィールド内で移動するように前記電動歩行補助装置を制御するため、前記ナビゲーション情報デバイスが、前記フィールドの前記ナビゲーション情報を生成する、請求項１に記載の制御システム。
【請求項3】
前記コントローラが、前記人物検出を介して前記パノラマ画像内の前記使用者の位置を把握し、前記関節点検出を介して前記使用者の姿勢を把握する、請求項１に記載の制御システム。
【請求項4】
前記ナビゲーション情報が、加速度情報およびポイントクラウド情報を含み、前記ナビゲーション情報デバイスが、前記電動歩行補助装置がフィールド内で移動したときに、前記電動歩行補助装置の前記加速度情報を取得するように構成された慣性計測ユニットと、
前記フィールドの前記ポイントクラウド情報を生成するように構成されたデプスカメラと、
を含む、請求項１に記載の制御システム。
【請求項5】
前記コントローラが、前記ポイントクラウド情報および前記加速度情報に基づいてリアルタイムマップを生成し、前記リアルタイムマップが、前記フィールドの環境に対応する、請求項４に記載の制御システム。
【請求項6】
前記コントローラが、前記人物検出および前記関節点検出のうちの少なくとも１つの検出結果に基づいて、前記使用者が前記電動歩行補助装置に座っているかどうかを判断し、前記使用者が前記電動歩行補助装置に座っていると前記コントローラが判断したとき、前記コントローラが、移動を停止するように前記電動歩行補助装置を制御し、
前記使用者が前記電動歩行補助装置に座っていないと前記コントローラが判断したとき、前記コントローラが、前記使用者の背部に向かって移動するように前記電動歩行補助装置を制御する、請求項１に記載の制御システム。
【請求項7】
電動歩行補助装置を制御するための制御方法であって、パノラマカメラにより前記電動歩行補助装置の周囲のパノラマ画像を撮影し、前記パノラマ画像に基づいて、人物検出および使用者の関節点検出のうちの少なくとも１つを実行することと、
ナビゲーション情報デバイスによりナビゲーション情報を生成することと、
前記パノラマ画像に基づいて前記使用者を検出し、前記ナビゲーション情報に基づいて前記使用者に近づくように前記電動歩行補助装置を制御することと、
ポイントクラウド情報を介して前記電動歩行補助装置と前記使用者の間の距離を取得することと、
を含み、
前記電動歩行補助装置と前記使用者の間の前記距離が予め設定された距離よりも短いとき、前記人物検出および前記関節点検出のうちの少なくとも１つの検出結果に基づいて、前記使用者の背部の後ろの位置を検索し、前記使用者の背部に向かって移動するように前記電動歩行補助装置を制御する、制御方法。
【請求項8】
前記ナビゲーション情報デバイスにより前記ナビゲーション情報を生成することが、フィールド内で移動するように前記電動歩行補助装置を制御して、前記ナビゲーション情報デバイスが前記フィールドのナビゲーション情報を生成することを含む、請求項７に記載の制御方法。
【請求項9】
前記パノラマ画像に基づいて前記人物検出および前記関節点検出のうちの少なくとも１つを実行することが、前記人物検出を介して前記パノラマ画像内の前記使用者の位置を把握することと、
前記関節点検出を介して前記使用者の姿勢を把握することと、
を含む請求項７に記載の制御方法。
【請求項10】
前記ナビゲーション情報が、加速度情報およびポイントクラウド情報を含み、前記ナビゲーション情報デバイスにより前記ナビゲーション情報を生成することが、前記電動歩行補助装置がフィールド内で移動する際の加速度情報を取得することと、
前記フィールドの前記ポイントクラウド情報を生成することと、
を含む、請求項７に記載の制御方法。
【請求項11】
前記ポイントクラウド情報および前記加速度情報に基づいてリアルタイムマップを生成することをさらに含み、前記リアルタイムマップが、前記フィールドの環境に対応する、請求項１０に記載の制御方法。
【請求項12】
前記人物検出および前記関節点検出のうちの少なくとも１つの検出結果に基づいて、前記使用者が前記電動歩行補助装置に座っているかどうかを判断することと、前記使用者が前記電動歩行補助装置に座っていると判断されたときに、移動を停止するように前記電動歩行補助装置を制御することと、
前記使用者が前記電動歩行補助装置に座っていないと判断されたときに、前記使用者の背部に向かって移動するように前記電動歩行補助装置を制御することと、
をさらに含む、請求項９に記載の制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、制御システムおよび制御方法に関するものであり、特に、電動歩行補助装置を制御するための制御システムおよび制御方法に関するものである。
【背景技術】
【0002】
電動歩行補助器、電動歩行補助椅子、電動リフト、および電動車椅子などの電動歩行補助装置は、移動が困難な使用者の移動を助けることができる。しかしながら、現在の電動歩行補助装置を使用するためには、使用者が自分で電動歩行補助装置に近づくか、または居合わせた人が電動歩行補助装置を使用者の近くまで持って来る必要がある。これにより、電動歩行補助装置の利便性が制限される。したがって、使用者に積極的に近づくように電動歩行補助装置を制御して、電動歩行補助装置の利便性を向上させることが、この分野の技術者の研究課題の１つである。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本発明は、使用者に積極的に近づくように電動歩行補助装置を制御するための制御システムおよび制御方法を提供する。
【課題を解決するための手段】
【0004】
本発明の制御システムは、電動歩行補助装置を制御するために使用される。制御システムは、パノラマカメラ、ナビゲーション情報デバイス、およびコントローラを含む。パノラマカメラは、電動歩行補助装置に配置される。パノラマカメラは、電動歩行補助装置の周囲のパノラマ画像を撮影する。ナビゲーション情報デバイスは、電動歩行補助装置に配置される。ナビゲーション情報デバイスは、ナビゲーション情報を生成する。コントローラは、パノラマカメラおよびナビゲーション情報デバイスに接続される。コントローラは、パノラマ画像に基づいて使用者を検出し、ナビゲーション情報に基づいて使用者に近づくように電動歩行補助装置を制御する。
【0005】
本発明の制御方法は、電動歩行補助装置を制御するために使用される。制御方法は、以下のステップを含む。パノラマカメラを介して電動歩行補助装置の周囲のパノラマ画像を撮影する。ナビゲーション情報デバイスによりナビゲーション情報を生成する。パノラマ画像に基づいて使用者を検出し、ナビゲーション情報に基づいて使用者に近づくように電動歩行補助装置を制御する。
【発明の効果】
【0006】
以上のように、本発明の制御システムおよび制御方法は、パノラマカメラを使用して電動歩行補助装置の周囲のパノラマ画像を撮影し、ナビゲーション情報デバイスを使用してナビゲーション情報を生成する。本発明の制御システムおよび制御方法は、パノラマ画像に基づいて使用者を検出し、ナビゲーション情報に基づいて使用者に近づくように電動歩行補助装置を制御する。このようにして、電動歩行補助装置の利便性を向上させることができる。
【0007】
上述した内容をより包括的にするために、図面と併せたいくつかの実施形態について詳細に説明する。
【図面の簡単な説明】
【0008】
添付の図面は、本発明の原理をさらに理解するために含まれており、本明細書に組み込まれ、かつその一部を構成するものである。図面は、本発明の実施形態を例示しており、説明とともに、本発明の原理を説明する役割を果たしている。
【0009】
【図1】本発明の１つの実施形態に係る制御システムの概略図である。
【図2】本発明の１つの実施形態に係る制御方法のフローチャートである。
【図3】本発明の別の実施形態に係る制御システムの概略図である。
【図4】本発明の１つの実施形態に係るポイントクラウド情報と原画像を比較した概略図である。
【図5】本発明の別の実施形態に係る制御方法のフローチャートである。
【発明を実施するための形態】
【0010】
図１を参照すると、図１は、本発明の１つの実施形態に係る制御システムの概略図である。制御システム１００は、電動歩行補助装置１０を制御するために使用される。本実施形態において、電動歩行補助装置１０は、例えば、電動歩行補助器、電動歩行補助椅子、電動リフト、電動車椅子、およびその他の移動補助装置である。本実施形態において、制御システム１００は、パノラマカメラ１１０、ナビゲーション情報デバイス１２０、およびコントローラ１３０を含む。パノラマカメラ１１０は、電動歩行補助装置１０に配置される。パノラマカメラ１１０は、電動歩行補助装置１０の周囲のパノラマ画像ＰＩＭＧを撮影する。パノラマ画像ＰＩＭＧは、電動歩行補助装置１０の周囲の３６０°のパノラマ画像である。例えば、パノラマカメラ１１０は、さまざまな撮像角度を有する複数の撮像回路によって実現することができる。本実施形態において、ナビゲーション情報デバイス１２０は、電動歩行補助装置１０に配置される。ナビゲーション情報デバイス１２０は、ナビゲーション情報ＮＭを生成する。
【0011】
本実施形態において、コントローラ１３０は、パノラマカメラ１１０およびナビゲーション情報デバイス１２０に結合される。コントローラ１３０は、パノラマ画像ＰＩＭＧおよびナビゲーション情報ＮＭを受信する。コントローラ１３０は、パノラマ画像ＰＩＭＧに基づいて使用者を検出し、ナビゲーション情報ＮＭに基づいて使用者に近づくように電動歩行補助装置１０を制御する。本実施形態において、コントローラ１３０は、ナビゲーション情報ＮＭに基づいて制御信号ＳＣを提供し、電動歩行補助装置１０を制御するため、電動歩行補助装置１０は、使用者に近づくことができる。本実施形態において、コントローラ１３０は、例えば、コンピュータプログラムをロードおよび実行することのできる中央処理装置（central processing unit, CPU）、またはその他のプログラム可能な汎用または特殊用途のマイクロプロセッサ、デジタル信号プロセッサ（digital signal processor, DSP）、プログラマブルコントローラ、特定用途向け集積回路（application specific integrated circuit, ASIC）、プログラマブルロジックデバイス（programmable logic device, PLD）、またはその他の類似するデバイス、あるいはこれらのデバイスの組み合わせである。
【0012】
注意すべきこととして、コントローラ１３０は、パノラマ画像ＰＩＭＧに基づいてパノラマ画像ＰＩＭＧ内の使用者を検出し、パノラマ画像ＰＩＭＧ内の使用者の位置を把握する。コントローラ１３０は、また、ナビゲーション情報ＮＭに基づいて電動歩行補助装置１０を誘導することにより、使用者に近づくように電動歩行補助装置１０を制御する。このようにして、電動歩行補助装置１０の利便性を向上させることができる。
【0013】
本実施形態において、コントローラ１３０は、フィールド内で移動するように電動歩行補助装置１０を制御するため、ナビゲーション情報デバイス１２０は、フィールドのナビゲーション情報ＮＭを生成する。フィールドは、屋内環境および／または屋外環境であってもよい。本実施形態において、コントローラ１３０は、リアルタイムマップＳＭを構築することができる。例えば、コントローラ１３０は、ナビゲーション情報ＮＭに基づいて同時ローカリゼーションおよびマッピング（simultaneous localization and mapping, SLAM）計算を行い、フィールドのリアルタイムマップＳＭを提供することができる。リアルタイムマップＳＭは、フィールドの環境に対応する。例えば、リアルタイムマップＳＭは、フィールド内の障害物や電動歩行補助装置１０がフィールド内で自由に移動する空間情報を記録する。コントローラ１３０は、リアルタイムマップＳＭおよびナビゲーション情報ＮＭに基づいて制御信号ＳＣを生成し、フィールドの環境における電動歩行補助装置１０の動き（例えば、現在位置、速度など）を把握し、制御信号ＳＣを使用して電動歩行補助装置１０の動きを制御することができる。さらに、コントローラ１３０は、ビジュアルＳＬＡＭ操作を実行することにより、フィールドのリアルタイムマップＳＭを提供する。コントローラ１３０は、ナビゲーション情報ＮＭを使用して、リアルタイムマップＳＭ内の電動歩行補助装置１０の移動状態またはフィールド内の現在位置を把握することができる。移動状態には、移動方向と移動速度が含まれる。したがって、コントローラ１３０がリアルタイムマップＳＭ内の電動歩行補助装置１０の移動状態やフィールド内の現在位置を把握したとき、コントローラ１３０は、リアルタイムマップＳＭおよびナビゲーション情報ＮＭを使用して制御信号ＳＣを提供し、電動歩行補助装置１０を誘導することができる。本実施形態において、コントローラ１３０は、また、パノラマ画像ＰＩＭＧに基づいて人物検出および使用者の関節点検出のうちの少なくとも１つを実行する。例えば、コントローラ１３０は、人物検出を介して使用者を認識し、パノラマ画像ＰＩＭＧ内の使用者の位置を把握する。コントローラ１３０は、関節点検出を介して使用者の姿勢、例えば、立っているか、座っているか、しゃがんでいるか、寝ているか、手を挙げているかなどを把握する。例えば、コントローラ１３０は、関節点検出を介して使用者の複数の関節点座標を取得し、関節点座標を用いて使用者の骨格分布を決定し、使用者の骨格分布に基づいて使用者の姿勢を把握することができる。
【0014】
図１および図２を併せて参照すると、図２は、本発明の１つの実施形態に係る制御方法のフローチャートである。本実施形態において、図２に示した制御方法は、電動歩行補助装置１０に適用可能である。ステップＳ１１０において、パノラマカメラ１１０は、電動歩行補助装置１０の周囲のパノラマ画像ＰＩＭＧを撮影する。ステップＳ１２０において、ナビゲーション情報デバイス１２０は、ナビゲーション情報ＮＭを生成する。ステップＳ１３０において、コントローラ１３０は、パノラマ画像ＰＩＭＧに基づいて使用者を検出し、ナビゲーション情報ＮＭに基づいて使用者に近づくように電動歩行補助装置１０を制御する。ステップＳ１１０～Ｓ１３０の実施の詳細については、図１の実施形態において完全に説明または教示されているため、以下では繰り返し説明しない。
【0015】
図１および図３を参照すると、図３は、本発明の別の実施形態に係る制御システムの概略図である。本実施形態において、制御システム２００は、制御システム１００を実施するために、またはそれと置き換えるために使用することができる。制御システム２００は、パノラマカメラ２１０、ナビゲーション情報装置２２０、およびコントローラ２３０を含む。パノラマカメラ２１０は、電動歩行補助装置１０の周囲のパノラマ画像ＰＩＭＧを撮影する。ナビゲーション情報装置２２０は、慣性計測ユニット（inertial measurement unit, IMU）２２１およびデプスカメラ２２２を含む。本実施形態において、ナビゲーション情報ＮＭは、加速度情報ＩＦ１およびポイントクラウド（point cloud）情報ＩＦ２を含む。慣性計測ユニット２２１は、電動歩行補助装置１０がフィールド内で移動する際の加速度情報ＩＦ１を取得する。加速度情報ＩＦ１は、電動歩行補助装置１０がフィールド内で移動する際の軌跡に関連する。デプスカメラ２２２は、フィールドのポイントクラウド情報ＩＦ２を生成する。
【0016】
さらに説明するため、図３および図４を併せて参照すると、図４は、本発明の１つの実施形態に係るポイントクラウド情報と原画像を比較した概略図である。図４は、単一のポイントクラウド情報ＩＦ２および単一の原画像ＦＩＭＧを示す。電動歩行補助装置１０がフィールド内で移動している間、デプスカメラ２２２は、原画像ＦＩＭＧを受信し、原画像ＦＩＭＧに基づいてポイントクラウド情報ＩＦ２を生成する。本実施形態において、ポイントクラウド情報ＩＦ２は、フィールドの原画像ＦＩＭＧに対応するポイントクラウド画像を含む。好ましくは、ポイントクラウド画像は、複数の特徴点の複数の深度情報を含む。
【0017】
本実施形態において、コントローラ２３０は、リアルタイムマップ生成モジュール２３１および計算モデル２３２を含む。リアルタイムマップ生成モジュール２３１は、加速度情報ＩＦ１およびポイントクラウド情報ＩＦ２を受信し、加速度情報ＩＦ１およびポイントクラウド情報ＩＦ２に基づいてリアルタイムマップＳＭを作成する。本実施形態において、電動歩行補助装置１０が初めてフィールドに入ったときに、リアルタイムマップＳＭを作成することができる。例えば、電動歩行補助装置１０がフィールドに到着したばかりのとき、コントローラ２３０は、フィールド内で移動するように電動歩行補助装置１０を制御することができ、ナビゲーション情報装置２２０は、フィールドの環境をスキャンして、加速度情報ＩＦ１およびポイントクラウド情報ＩＦ２を生成するため、それにより、リアルタイムマップ生成モジュール２３１は、リアルタイムマップＳＭを作成することができる。コントローラ２３０は、パノラマ画像ＰＩＭＧに基づいて使用者を検出し、リアルタイムマップＳＭに基づいて使用者に近づくように電動歩行補助装置１０を制御する。計算モデル２３２は、パノラマ画像ＰＩＭＧに基づいて人物検出および関節点検出を実行する。したがって、コントローラ２３０は、パノラマ画像ＰＩＭＧ内の使用者の位置と使用者の姿勢を把握することができる。本実施形態において、計算モデル２３２は、例えば、ＹＯＬＯ（You only look once）計算モデルおよびＯｐｅｎＰｏｓｅ人間姿勢認識モデルを含むことができるが、本発明はこれに限定されない。また、パノラマ画像ＰＩＭＧ内の使用者の位置を把握した後、コントローラ２３０は、リアルタイムマップＳＭに基づいて使用者に近づくように電動歩行補助装置１０を制御する。リアルタイムマップＳＭに基づいて、コントローラ２３０は、使用者に近づく際に発生する恐れのある障害物を回避することができる。
【0018】
図３および図５を併せて参照すると、図５は、本発明の別の実施形態に係る制御方法のフローチャートである。本実施形態において、図５に示した制御方法は、電動歩行補助装置（例えば、図１に示した電動歩行補助装置１０）に適用可能である。ステップＳ２０１において、ロードされたリアルタイムマップを読み込む。本実施形態において、リアルタイムマップをロードした後に、コントローラ２３０がロードされたリアルタイムマップを読み込む。ステップＳ２０２において、コントローラ２３０は、ロードされたマップに基づいて、フィールドに対応するリアルタイムマップＳＭが既に存在するかどうかを判断する。すなわち、コントローラ２３０は、ロードされたマップがフィールドに対応するリアルタイムマップＳＭを含んでいるかどうかを判断する。本実施形態において、コントローラ２３０がステップＳ２０２においてリアルタイムマップＳＭが存在しないと判断した場合、これは、現在のフィールド内でリアルタイムマップＳＭが作成されていないことを意味する。したがって、ステップＳ２０３において、コントローラ２３０は、フィールドに対応するリアルタイムマップＳＭを作成する。本実施形態において、コントローラ２３０は、フィールド内で移動するように電動歩行補助装置を制御することができ、ナビゲーション情報装置２２０は、ステップＳ２０３においてフィールドの環境をスキャンして、加速度情報ＩＦ１およびポイントクラウド情報ＩＦ２を生成するため、それにより、コントローラ２３０は、フィールドに対応するリアルタイムマップＳＭを作成することができる。次に、ステップＳ２０１において、新たに生成されたフィールドに対応するリアルタイムマップＳＭをコントローラ２３０で読み込む。
【0019】
コントローラ２３０がステップＳ２０２においてフィールドに対応するリアルタイムマップＳＭが存在すると判断した場合、これは、フィールド内でリアルタイムマップＳＭが作成されたことを意味する。したがって、ステップＳ２０４において、パノラマカメラ２１０は、電動歩行補助装置の周囲のパノラマ画像ＰＩＭＧを撮影する。ステップＳ２０５において、コントローラ２３０は、パノラマ画像ＰＩＭＧ内の使用者の位置を検出する。次に、コントローラ２３０は、ステップＳ２０６においてフィールドに対応するリアルタイムマップＳＭを使用して電動歩行補助装置を誘導することにより、電動歩行補助装置が使用者に近づけるようにする。
【0020】
ステップＳ２０７において、デプスカメラ２２２は、コントローラ２３０が電動歩行補助装置を誘導している過程において、ポイントクラウド情報ＩＦ２を連続的に生成する。ステップＳ２０８において、コントローラ２３０は、ポイントクラウド情報ＩＦ２を介して、電動歩行補助装置と使用者の間の距離ＤＩＳを取得する。ステップＳ２０９において、コントローラ２３０は、電動歩行補助装置と使用者の間の距離ＤＩＳを予め設定された距離と比較する。電動歩行補助装置と使用者の間の距離ＤＩＳが予め設定された距離より大きいか、それに等しいとき、制御方法は、ステップＳ２０４に戻る。つまり、フィールドに対応するリアルタイムマップＳＭが存在すると、制御方法は、距離ＤＩＳが予め設定された距離よりも小さくなるまで、ステップＳ２０４～Ｓ２０９を順に繰り返し実行する。本実施形態において、予め設定された距離は、例えば、１メートルまたは数十センチメートルに設定できるが、本発明はこれに限定されない。
【0021】
ステップＳ２０９において、電動歩行補助装置と使用者の間の距離ＤＩＳが予め設定された距離よりも小さいとき、コントローラ２３０は、ステップＳ２１０において使用者の背後の位置を検索する。本実施形態において、コントローラ２３０は、ステップＳ２１０においてパノラマ画像ＰＩＭＧに基づいて使用者の背後の位置を検索する。さらに、ステップＳ２１０において、コントローラ２３０は、パノラマ画像ＰＩＭＧ上の人物検出および関節点検出のうちの少なくとも１つの検出結果に基づいて、使用者の背後の位置を把握する。例えば、ステップＳ２１０において、コントローラ２３０は、例えば、ＯｐｅｎＰｏｓｅ人間姿勢認識モデルを使用してパノラマ画像ＰＩＭＧ上で関節点検出を実行し、関節点検出情報を取得するとともに、ＹＯＬＯ計算モデルを使用してパノラマ画像ＰＩＭＧ上で人物検出を実行し、人物検出情報を取得することができる。コントローラ２３０は、ＥｆｆｉｃｉｅｎｔＮｅｔツールを使用して、使用者の背部の情報を分類する。さらに、コントローラ２３０は、使用者の背部の情報を人物検出情報および関節点検出情報と統合して、使用者の背部の方向または位置を把握する。
【0022】
別の例として、コントローラ２３０は、パノラマ画像ＰＩＭＧ上の人物検出および関節点検出のうちの少なくとも１つの検出結果に基づいて、使用者が向いている、または背を向けている方向を決定する。コントローラ２３０が人物検出および関節点検出のうちの少なくとも１つの検出結果に基づいて使用者が電動歩行補助装置に向いていると判断したとき、コントローラ２３０は、使用者の周りを回って使用者の背部に到達するように電動歩行補助装置を制御する。コントローラ２３０が使用者の背部の後ろの位置を見つけたとき、ステップＳ２１１に進む。
【0023】
ステップＳ２１１において、コントローラ２３０は、使用者の背部に向かって移動するように電動歩行補助装置を制御し、ステップＳ２１２において使用者のしぐさＧＥＳを検出する。本実施形態において、使用者の背部の後ろの位置が確認されると、コントローラ２３０は、ステップＳ２１１において使用者の背部に向かってゆっくりと移動するように電動歩行補助装置を制御し、ステップＳ２１２においてパノラマ画像ＰＩＭＧに基づいて使用者のしぐさＧＥＳを検出する。
【0024】
次に、ステップＳ２１３において、コントローラ２３０は、使用者が電動歩行補助装置に座っているかどうかを判断する。本実施形態において、コントローラは、人物検出および関節点検出のうちの少なくとも１つの検出結果に基づいて、使用者が電動歩行補助装置に座っているかどうかを判断する。使用者が電動歩行補助装置に座っていないと判断したとき、コントローラ２３０は、ステップＳ２１１において使用者の背部に向かって移動するように電動歩行補助装置を制御する。一方、使用者が電動歩行補助装置に座っていると判断したとき、コントローラ２３０は、ステップＳ２１４において移動を停止するように電動歩行補助装置を制御する。
【0025】
本実施形態において、ステップＳ２１４の後、コントローラ２３０は、ナビゲーションを終了し、電動歩行補助装置の制御を使用者に委ねることができる。
【0026】
いくつかの実施形態において、制御システム２００は、パノラマ画像ＰＩＭＧを介して使用者の動作やしぐさを認識し、図５に示した制御方法を起動することができる。例えば、コントローラ２３０は、パノラマ画像ＰＩＭＧ上の人物検出および関節点検出のうちの少なくとも１つの検出結果に基づいて、使用者のしぐさが予め設定されたしぐさと一致すると判断する（本発明はこれに限定されない）。したがって、コントローラ２３０は、予め設定されたしぐさに基づいて、図５に示した制御方法を開始する。
【0027】
以上のように、本発明の制御システムおよび制御方法は、パノラマカメラを使用して電動歩行補助装置の周囲のパノラマ画像を撮影し、ナビゲーション情報デバイスを使用してナビゲーション情報を生成する。本発明の制御システムおよび制御方法は、パノラマ画像に基づいて使用者を検出し、ナビゲーション情報に基づいて使用者に近づくように電動歩行補助装置を制御する。このようにして、使用者に近づくように電動歩行補助装置を制御することができ、電動歩行補助装置の利便性を向上させることができる。
【0028】
本分野において通常の知識を有する者であれば、本発明の範囲または精神から逸脱せずに、開示された実施形態に対して様々な修正および変更が可能であることが理解されよう。これを考慮して、本発明は、以下の特許請求の範囲およびそれらの同等物の範囲内にある修正および変更を包含することが意図されている。
【産業上の利用可能性】
【0029】
本発明の電動歩行補助装置の制御システムおよび制御方法は、積極的に使用者に近づくように電動歩行補助装置を制御することにより、電動歩行補助装置の利便性を向上させるために適用することができる。
【符号の説明】
【0030】
１０ 電動歩行補助装置
１００ 制御システム
１１０ パノラマカメラ
１２０ ナビゲーション情報デバイス
１３０ コントローラ
ＮＭ ナビゲーション情報
ＰＩＭＧ パノラマ画像
ＳＣ 制御信号
ＳＭ リアルタイムマップ
１００ 制御システム
１１０ パノラマカメラ
１２０ ナビゲーション情報デバイス
１３０ コントローラ
ＮＭ ナビゲーション情報
ＰＩＭＧ パノラマ画像
ＳＣ 制御信号
ＳＭ リアルタイムマップ
【図1】
【図2】
【図3】
【図4】
【図5】