▶ ラブラドール システムズ インコーポレイテッドの特許一覧
特許7396691様々な環境照明条件において動作可能なモバイル機器のためのビジュアルナビゲーション
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-04
(45)【発行日】2023-12-12
(54)【発明の名称】様々な環境照明条件において動作可能なモバイル機器のためのビジュアルナビゲーション
(51)【国際特許分類】
G05D 1/02 20200101AFI20231205BHJP
【ＦＩ】
G05D1/02 K
【請求項の数】
13
(21)【出願番号】P 2021501050
(86)(22)【出願日】2019-07-15
(65)【公表番号】
(43)【公表日】2021-11-25
(86)【国際出願番号】 US2019041846
(87)【国際公開番号】W WO2020014706
(87)【国際公開日】2020-01-16
【審査請求日】2022-07-15
(31)【優先権主張番号】62/697,520
(32)【優先日】2018-07-13
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】520158506
【氏名又は名称】ラブラドール システムズ インコーポレイテッド
(74)【代理人】
【識別番号】110000578
【氏名又は名称】名古屋国際弁理士法人
(72)【発明者】
【氏名】ドーリー マイケル
(72)【発明者】
【氏名】ロマノフ ニコライ
(72)【発明者】
【氏名】ケース ジェイムス フィリップ
【審査官】今井 貞雄
(56)【参考文献】
【文献】特表２０１６－５４０１８６（ＪＰ，Ａ）
【文献】特表２０１７－５２７７７７（ＪＰ，Ａ）
【文献】特表２０１３－５４４４４９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０５Ｄ １／０２
(57)【特許請求の範囲】
【請求項1】
モバイル機器のためのビジュアルポジショニングシステムであって、赤外線波長を検出するように構成され、画像による自己位置推定と地図作成の同時実行（ビジュアルＳＬＡＭ）モジュールに画像を供給するように構成される少なくとも１つの第１カメラと、
赤外線波長を検出するように構成され、前記ビジュアルＳＬＡＭモジュールに画像を供給するように構成される少なくとも１つの第２カメラと、
第１照明時間の間に、前記少なくとも１つの第１カメラの視野内の環境に、実質的に非構造化の投光照明を提供するように構成される第１赤外線照明源と、
第２照明時間の間に、前記少なくとも１つの第２カメラの視野内の環境に、構造化赤外線照明パターンを提供するように構成される第２赤外線照明源と、
前記少なくとも１つの第１カメラ、前記少なくとも１つの第２カメラ、前記第１赤外線照明源、及び前記第２赤外線照明源の動作を制御するように構成される少なくとも１つのプロセッサと、
を備え、
前記少なくとも１つの第２カメラの視野の少なくとも一部は、前記少なくとも１つの第１カメラの視野と重なり、
前記少なくとも１つのプロセッサは、前記少なくとも１つの第１カメラの第１露光時間及び前記少なくとも１つの第２カメラの第２露光時間を制御するように構成され、
前記第１露光時間は、前記第１照明時間と少なくとも部分的に重なり、前記第２赤外線照明源は前記第１露光時間の間、非アクティブであり、
前記第２露光時間は、前記第２照明時間と少なくとも部分的に重なり、
前記第２露光時間は、前記第１露光時間と一致しない、
ビジュアルポジショニングシステム。
【請求項2】
モバイル機器のためのビジュアルポジショニングシステムであって、
赤外線波長を検出するように構成され、画像による自己位置推定と地図作成の同時実行（ビジュアルＳＬＡＭ）モジュールに画像を供給するように構成される少なくとも１つの第１カメラと、
赤外線波長を検出するように構成され、前記ビジュアルＳＬＡＭモジュールに画像を供給するように構成される少なくとも１つの第２カメラと、
第１照明時間の間に、前記少なくとも１つの第１カメラの視野内の環境に、実質的に非構造化の投光照明を提供するように構成される第１赤外線照明源と、
第２照明時間の間に、前記少なくとも１つの第２カメラの視野内の環境に、構造化赤外線照明パターンを提供するように構成される第２赤外線照明源と、
前記少なくとも１つの第１カメラ、前記少なくとも１つの第２カメラ、前記第１赤外線照明源、及び前記第２赤外線照明源の動作を制御するように構成される少なくとも１つのプロセッサと、
を備え、
前記少なくとも１つのプロセッサは、前記少なくとも１つの第１カメラの第１露光時間及び前記少なくとも１つの第２カメラの第２露光時間を制御するように構成され、
前記第１露光時間は、前記第１照明時間と少なくとも部分的に重なり、前記第２赤外線照明源は前記第１露光時間の間、非アクティブであり、
前記第２露光時間は、前記第２照明時間と少なくとも部分的に重なり、
前記第２露光時間は、前記第１露光時間と一致せず、
前記少なくとも１つのプロセッサは、（ｉ）前記少なくとも１つの第１カメラ及び前記少なくとも１つの第２カメラによって取得される画像の露光量を評価し、（ｉｉ）前記第１カメラによって取得される画像の露光量の評価に対応して前記少なくとも１つの第１カメラ及び前記少なくとも１つの第２カメラの前記露光時間を変化させるように構成される、
ビジュアルポジショニングシステム。
【請求項3】
前記第１照明時間は、前記第２露光時間と少なくとも部分的に重なる、請求項１または請求項２に記載のビジュアルポジショニングシステム。
【請求項4】
前記第２照明時間は、前記第１露光時間と重ならない、請求項１または請求項２に記載のビジュアルポジショニングシステム。
【請求項5】
前記少なくとも１つの第１カメラ及び前記少なくとも１つの第２カメラを含むステレオ赤外線カメラを含む、請求項１～４の何れか１項に記載のビジュアルポジショニングシステム。
【請求項6】
（ｉ）前記少なくとも１つの第１カメラまたは（ｉｉ）前記少なくとも１つの第２カメラの１つまたは複数は、少なくとも１つの単眼赤外線カメラを含む、請求項１～４の何れか１項に記載のビジュアルポジショニングシステム。
【請求項7】
前記少なくとも１つの第１カメラ及び前記少なくとも１つの第２カメラによって取得される画像の一貫した露光量を提供して様々な環境照明条件にわたって１つのビジュアルＳＬＡＭ地図を用いた前記モバイル機器の位置推定及びナビゲーションを可能とするために、前記少なくとも１つのプロセッサは構成され、前記少なくとも１つの第１カメラと前記少なくとも１つの第２カメラの感度は選択され、前記第１赤外線照明源の出力強度は選択される、請求項１～６の何れか１項に記載のビジュアルポジショニングシステム。
【請求項8】
前記ビジュアルＳＬＡＭモジュールに、前記モバイル機器の方位及び加速度の変化を示す信号を供給するように構成される少なくとも１つの慣性計測装置をさらに備える、請求項１～７の何れか１項に記載のビジュアルポジショニングシステム。
【請求項9】
前記モバイル機器と関連付けられる少なくとも１つのセンサをさらに備え、前記ビジュアルポジショニングシステムは、環境内の前記モバイル機器の手動または自律ナビゲーションの間に、（ｉ）前記少なくとも１つの第１カメラ及び前記少なくとも１つの第２カメラによって取得される映像情報、及び／または画像と、（ｉｉ）前記少なくとも１つのセンサによって提供される知覚情報と、を記録するように構成される、請求項１～７の何れか１項に記載のビジュアルポジショニングシステム。
【請求項10】
前記少なくとも１つのプロセッサは、前記環境のビジュアルＳＬＡＭ地図を作成、且つ／または更新するために、記録された、前記少なくとも１つのカメラによって取得される映像情報、及び／または画像を処理し、前記少なくとも１つのセンサによって提供される知覚情報を処理するように構成される、請求項９に記載のビジュアルポジショニングシステム。
【請求項11】
前記少なくとも１つのプロセッサは、（ｉ）前記少なくとも１つの第１カメラ及び前記少なくとも１つの第２カメラによって取得される画像の露光量を評価し、（ｉｉ）前記第１カメラによって取得される画像の露光量の評価に対応して前記少なくとも１つの第１カメラ及び前記少なくとも１つの第２カメラの前記露光時間を変化させるように構成される、請求項１に記載のビジュアルポジショニングシステム。
【請求項12】
自律または半自律移動走行車と請求項１～１１の何れか１項に記載のビジュアルポジショニングシステムを備えるモバイル機器。
【請求項13】
人間または動物のユーザによって身に着けられるように構成される、請求項１～１１の何れか１項に記載のビジュアルポジショニングシステムを備えるモバイル機器。
【発明の詳細な説明】
【発明の詳細な説明】
【0001】
［関連出願の相互参照］
本出願は、２０１８年７月１３日に出願された米国仮特許出願第６２／６９７，５２０号に基づく優先権を主張し、上記出願の全体の内容は、参照することにより本明細書に援用される。
［技術分野］
本発明は、概して、モバイル機器（自律走行車、移動式配送ロボット、及び、ウェアラブル機器、娯楽機器、移動支援機器などのユーザに位置付けられる機器を含むが、それらに限定されるものではない）のナビゲーションに関し、より詳細には、動的非構造化環境におけるこのような機器のためのナビゲーションに関する。
［背景］
多種多様な無人搬送車（ＡＧＶ）が、数十年の間、製造、及び倉庫の現場で物品を自動搬送するために用いられてきた。これらの環境は、一般的に、（例えば、機械可読な目標の提供によって）ロボットと共に用いられるように構築され、通常は、新たなまたは予期せぬ障害物に関してほとんど動的な変化を伴わず、一般的に一貫した照明条件が与えられる。これらＡＧＶのタイプは、時間と共に、病院、研究所、及び、オフィス環境などの他の現場で、物品を運搬し、配送するための使用に適合されてきた。
本出願は、２０１８年７月１３日に出願された米国仮特許出願第６２／６９７，５２０号に基づく優先権を主張し、上記出願の全体の内容は、参照することにより本明細書に援用される。
［技術分野］
本発明は、概して、モバイル機器（自律走行車、移動式配送ロボット、及び、ウェアラブル機器、娯楽機器、移動支援機器などのユーザに位置付けられる機器を含むが、それらに限定されるものではない）のナビゲーションに関し、より詳細には、動的非構造化環境におけるこのような機器のためのナビゲーションに関する。
［背景］
多種多様な無人搬送車（ＡＧＶ）が、数十年の間、製造、及び倉庫の現場で物品を自動搬送するために用いられてきた。これらの環境は、一般的に、（例えば、機械可読な目標の提供によって）ロボットと共に用いられるように構築され、通常は、新たなまたは予期せぬ障害物に関してほとんど動的な変化を伴わず、一般的に一貫した照明条件が与えられる。これらＡＧＶのタイプは、時間と共に、病院、研究所、及び、オフィス環境などの他の現場で、物品を運搬し、配送するための使用に適合されてきた。
【0002】
ロボット工学において、地図作成及びナビゲーションは、多くの実世界への適用を可能にする最も重要な技術である。地図作成及びナビゲーションにおける開発は、学会及び産業界による研究の盛んな分野である。最も一般的な技術のうちの２つは、レーザによる自己位置推定と地図作成の同時実行（レーザＳＬＡＭ）、及び、ビジュアルＳＬＡＭである。高性能の光による検出と測距（ＬｉＤＡＲ）システムの高いコスト、及び、ＬｉＤＡＲセンサの大きさ、視野、及び、所要電力のため、レーザＳＬＡＭは、産業及び商業的用途に主に用いられる。ビジュアルＳＬＡＭは、カメラを、位置推定のためのより柔軟な代替のセンサとして活用する、レーザＳＬＡＭの代替として開発され、その一方で、ＬｉＤＡＲシステムによって作成され、ナビゲーションに利用される限定された２次元（２Ｄ）地図よりも、より複雑な実世界の環境の地図を作成する可能性も約束する。安価なプロセッサ及びＣＭＯＳ撮像素子の進歩によって支えられ、ビジュアルＳＬＡＭは、構成要素の価格、大きさ、携帯性、及び、消費電力が商業的な実現可能性に対する主要な要因である家電用途において、事実上の選択肢となってきた。
【0003】
ここ数年、ビジュアルＳＬＡＭは、忠実性が高く、低コストで計算効率の良い実装の開発において、驚異的な成長を遂げてきた。その例は、様々な娯楽、情報、及び、実用的な用途のためのモバイル機器に加えて、ウェアラブルヘッドセット用の拡張現実用途、及び、ビジュアルポジショニングシステムを含む。このような実装は、様々な現場においてビジュアル地図を構築するために用いられる視覚的な参照点の豊富度を劇的に向上させ、また、ビジュアルＳＬＡＭシステムの速度及び精度も向上させてきた。最新のＳＬＡＭシステムは、今では、リアルタイムの速度で処理され得る物理的環境の３次元（３Ｄ）モデルとして動作することが多い。
【0004】
ビジュアルＳＬＡＭが拡張現実やモバイル機器のために進歩してきた一方で、この分野は、これらの特定の種類の機器の一般的な製品要求及び所望の特徴集合を除けばこれまで進歩していない。一例として、これらの進歩を消費者向けロボット用途に適合させることには、複数の課題が残る。市販のビジュアルＳＬＡＭシステムは、実際の屋内、及び／または屋外の環境で動作する間にロボットによって日常的に経験される照明条件の変化の下で、動作不良または完全な機能停止を経験する。これらの問題に対処するために、拡張現実ゲームヘッドセットを装着するユーザは、ゲームをするためにユーザの部屋に追加の照明を点けるように指示されるか、またはゲームは、ヘッドセットが新たなビジュアル地図に再調整する間、読み込みを中断し得る。一方、ロボットは、中断または外部からの支援無しで動作する必要があることが多い。また、最新の実装は、ビジュアルＳＬＡＭ地図の寿命の管理を考慮に入れることができず、ロボットの複数年の耐用年数にわたって信頼性のあるナビゲーションの動作を保証することができない。際限の無い地図ファイルの増加や地図の差分更新にかかる非常に高額な計算コストなどの多くの問題が、ビジュアルＳＬＡＭの有用性を制限する。
【0005】
上記の結果として、本技術は、従来のシステム及び方法に関連する制限に対処するために、モバイル機器のための改善されたビジュアルナビゲーションシステム、及び、関連する方法を追求する。
［概要］
本開示の態様は、モバイル機器のためのビジュアルポジショニングシステム及び方法（訓練方法を含む）に関する。本明細書に開示されるビジュアルポジショニングシステムは、少なくとも１つの赤外線照明源に加えて、赤外線波長を検出するように構成される少なくとも１つのカメラも備える。赤外線投光照明源は、モバイル機器の位置推定（例えば、位置の確認）のために環境内の物体を照明するために用いられてもよく、構造化赤外線照明源は、環境内の（静的及び動的の両方の）障害物の検出及びマッピングのために物体を照明するために用いられてもよい。少なくとも１つのカメラ及び照明源の動作は、少なくとも１つのプロセッサによって調整され、赤外線投光照明源が、第１照明時間の間アクティブであり、構造化赤外線照明源が、第２照明時間の間アクティブであるようにされる。少なくとも１つのカメラは、第１照明時間を有する第１カメラ、及び第２照明時間を有する第２（例えば、深度）カメラを含んでもよい。画像による自己位置推定と地図作成の同時実行（ビジュアルＳＬＡＭ）による地図は、第１カメラにて得られる画像を用いて構成されてもよい。カメラ及び照明源の調整、及び、カメラ及び少なくとも赤外線投光照明源の出力強度の選択は、様々な環境照明条件において１つのビジュアルＳＬＡＭ地図を用いて、モバイル機器の位置推定及びナビゲーションを可能とするために、画像の一貫した露光量を提供する。非構造化住宅環境を自律ナビゲートするようにモバイルロボットを高速で訓練するための方法がさらに提供され、この方法は、モバイルロボットと関連付けられるオペレータインターフェースからオペレータ入力信号を受信することを含み、オペレータ入力信号は、異なる組の所望のロボット目的地の間の経路に沿ってモバイルロボットを案内する間に、規定ルートの記録を開始及び停止をするように構成され、規定ルートは、その後の位置特定及びナビゲーション動作の間にモバイルロボットによって用いられることとなるルートを特定する。非構造化住宅環境の少なくとも一部のビジュアルＳＬＡＭ地図は、経路に沿ってモバイルロボットを案内する間に記録される周辺環境の画像から作成される。ビジュアルＳＬＡＭ地図は、モバイルロボットによる非構造化住宅環境の事前の探索なく、且つ、非構造化住宅環境のいかなるビジュアルＳＬＡＭ地図の事前の構築なく作成されてもよい。
［概要］
本開示の態様は、モバイル機器のためのビジュアルポジショニングシステム及び方法（訓練方法を含む）に関する。本明細書に開示されるビジュアルポジショニングシステムは、少なくとも１つの赤外線照明源に加えて、赤外線波長を検出するように構成される少なくとも１つのカメラも備える。赤外線投光照明源は、モバイル機器の位置推定（例えば、位置の確認）のために環境内の物体を照明するために用いられてもよく、構造化赤外線照明源は、環境内の（静的及び動的の両方の）障害物の検出及びマッピングのために物体を照明するために用いられてもよい。少なくとも１つのカメラ及び照明源の動作は、少なくとも１つのプロセッサによって調整され、赤外線投光照明源が、第１照明時間の間アクティブであり、構造化赤外線照明源が、第２照明時間の間アクティブであるようにされる。少なくとも１つのカメラは、第１照明時間を有する第１カメラ、及び第２照明時間を有する第２（例えば、深度）カメラを含んでもよい。画像による自己位置推定と地図作成の同時実行（ビジュアルＳＬＡＭ）による地図は、第１カメラにて得られる画像を用いて構成されてもよい。カメラ及び照明源の調整、及び、カメラ及び少なくとも赤外線投光照明源の出力強度の選択は、様々な環境照明条件において１つのビジュアルＳＬＡＭ地図を用いて、モバイル機器の位置推定及びナビゲーションを可能とするために、画像の一貫した露光量を提供する。非構造化住宅環境を自律ナビゲートするようにモバイルロボットを高速で訓練するための方法がさらに提供され、この方法は、モバイルロボットと関連付けられるオペレータインターフェースからオペレータ入力信号を受信することを含み、オペレータ入力信号は、異なる組の所望のロボット目的地の間の経路に沿ってモバイルロボットを案内する間に、規定ルートの記録を開始及び停止をするように構成され、規定ルートは、その後の位置特定及びナビゲーション動作の間にモバイルロボットによって用いられることとなるルートを特定する。非構造化住宅環境の少なくとも一部のビジュアルＳＬＡＭ地図は、経路に沿ってモバイルロボットを案内する間に記録される周辺環境の画像から作成される。ビジュアルＳＬＡＭ地図は、モバイルロボットによる非構造化住宅環境の事前の探索なく、且つ、非構造化住宅環境のいかなるビジュアルＳＬＡＭ地図の事前の構築なく作成されてもよい。
【0006】
ある態様において、本開示は、モバイル機器のためのビジュアルポジショニングシステムに関し、ビジュアルポジショニングシステムは、第１カメラ、赤外線投光照明源、及び、少なくとも１つのプロセッサを備える。第１カメラは、グローバルシャッタを有し、赤外線波長を検出するように構成され、第１カメラによって取得される画像を、画像による自己位置推定と地図作成の同時実行（ビジュアルＳＬＡＭ）モジュールに供給するように構成される。第１カメラは、露光時間及び非露光時間を有し、第１カメラの露光時間と非露光時間とを自動的に繰り返すように構成される。赤外線投光照明源は、実質的に非構造化の発光を生成し、第１カメラの視野内の環境を周期的に照明するように構成される。少なくとも１つのプロセッサは、第１カメラ及び赤外線投光照明源の動作を制御するように構成される。第１カメラ及び赤外線投光照明源の動作は、赤外線投光照明源が、第１カメラの露光時間の少なくとも一部の間にアクティブとなるように構成され、赤外線投光照明源が、第１カメラの非露光時間の少なくとも一部の間に非アクティブとなるように構成されるよう調整される。さらに、プロセッサは、様々な環境照明条件にわたって、１つのビジュアルＳＬＡＭ地図を用いたモバイル機器の位置推定及びナビゲーションを可能とするために、第１カメラによって得られる画像の一貫した露光量を提供するように、第１カメラの感度及び赤外線投光照明源の出力強度の両方が選択されるように構成される。
【0007】
ある実施形態において、様々な環境照明条件は、自然光源によって生じる任意の昼間及び夜間の照明条件を含む。ある実施形態において、様々な環境照明条件は、自然、及び／または人工光源の発光を含む、任意の通常得られる屋内の住宅用照明条件を含む。ある実施形態において、様々な環境照明条件は、自然、及び／または人工光源の発光を含む、任意の通常得られる屋内の商業用照明条件を含む。ある実施形態において、様々な環境照明条件は、１つ以上の自然または人工光源による照明を有する第１照明条件を含み、さらに、いかなる自然光源及びいかなる人工光源による照明も無い第２条件を含む。
【0008】
ある実施形態において、様々な環境照明条件は、少なくとも１０，０００ルクスにわたるダイナミックレンジを含む。ある実施形態において、様々な環境照明条件は、約０ルクスから約１０，０００ルクスの範囲、または約０ルクスから約５０，０００ルクスの範囲、または本明細書にて指定される別の範囲を含む。
【0009】
ある実施形態において、環境は、住宅用ビル、オフィスビル、または商業用ビルの屋内領域を含む。ある実施形態において、環境は、ビジュアルＳＬＡＭモジュールによって地図作成される領域から２０メートルの距離内に第１カメラで視認可能な少なくとも１つの壁または天井を含む。
【0010】
ある実施形態において、赤外線投光照明源は、第１カメラの複数の露光時間に対して少なくとも５μＷ／ｃｍ２のピーク赤外線照明レベルを、第１カメラの視野内で１０メートルの距離で提供するように構成される。
【0011】
ある実施形態において、ビジュアルポジショニングシステムは、環境から第１カメラへの非赤外線波長の通過を低減するように構成される光学フィルタをさらに備える。ある実施形態において、光学フィルタは、赤外線投光照明源のピーク発光波長の約１０ｎｍの範囲内に中心波長を有する光学バンドパスフィルタを含む。ある実施形態において、光学フィルタは、赤外線投光照明源のピーク発光波長の約５０ｎｍの範囲内にカットオン波長を有する光学ロングパス（ハイパスとも呼ばれ得る）フィルタを含む。
【0012】
ある実施形態において、少なくとも１つのプロセッサは、（ｉ）第１カメラによって取得される画像の露光量を評価し、（ｉｉ）画像の露光量の評価に対応して第１カメラの露光時間を変化させるように構成される。
【0013】
ある実施形態において、少なくとも１つのプロセッサは、（ｉ）第１カメラによって取得される画像の露光量を評価し、（ｉｉ）画像の露光量の評価に対応して赤外線投光照明源によって提供される照明のレベルを変化させるように構成される。ある実施形態において、赤外線投光照明源は、第１カメラの露光時間の間、予め設定された強度レベルで赤外線照明を提供するように構成される。
【0014】
ある実施形態において、ビジュアルポジショニングシステムは、ビジュアルＳＬＡＭモジュールに、モバイル機器の方位及び加速度の変化を示す信号を供給するように構成される少なくとも１つの慣性計測装置をさらに備える。
【0015】
ある実施形態において、赤外線投光照明源は、７８０ｎｍから９８０ｎｍの範囲内にピーク波長を有する発光を生成するように構成される。
【0016】
ある実施形態において、第１カメラは、少なくとも１つの単眼赤外線カメラを含む。ある実施形態において、第１カメラは、少なくとも１つのステレオ赤外線カメラを含む。
【0017】
ある実施形態において、ビジュアルポジショニングシステムは、赤外線波長を検出するように構成される少なくとも１つの第２カメラと、少なくとも１つの第２カメラの視野内の環境を構造化照明時間の間に構造化赤外線照明パターンにて周期的に照明するように構成される構造化赤外線照明源と、をさらに備え、少なくとも１つの第２カメラの視野の少なくとも一部は第１カメラの視野と重なり、少なくとも１つの第２カメラ及び構造化照明源の動作は、少なくとも１つの第２カメラの露光時間が、構造化照明時間の少なくとも一部と重なるように調整され、構造化照明源は、第１カメラの露光時間の間、非アクティブである。ある実施形態において、赤外線投光照明源は、第２カメラの露光時間の間、非アクティブである。
【0018】
ある実施形態において、ビジュアルポジショニングシステムは、モバイル機器と関連付けられ、ビジュアルＳＬＡＭモジュールと通信するように構成されるデータ記憶装置をさらに備える。
【0019】
ある実施形態において、ビジュアルポジショニングシステムは、モバイル機器と関連付けられる少なくとも１つのセンサをさらに備え、ビジュアルポジショニングシステムは、環境内のモバイル機器の手動または自律ナビゲーションの間に、（ｉ）第１カメラによって取得される映像情報、及び／または画像と、（ｉｉ）少なくとも１つのセンサによって提供される知覚情報と、を記録するように構成される。
【0020】
ある実施形態において、少なくとも１つのプロセッサは、環境のビジュアルＳＬＡＭ地図を作成、且つ／または更新するために、記録された、第１カメラによって取得される映像情報、及び／または画像を処理し、少なくとも１つのセンサによって提供される知覚情報を処理するように構成される。ある実施形態において、少なくとも１つのプロセッサは、ビジュアルＳＬＡＭモジュールを実行するようにさらに構成される。
【0021】
ある実施形態において、ビジュアルＳＬＡＭモジュールは、環境のビジュアルＳＬＡＭ地図を作成、且つ／または更新するために、環境内の視覚的特徴の検出及びマッピングを利用するように構成される。
【0022】
別の態様において、本開示は、モバイル機器のためのビジュアルポジショニングシステムに関し、赤外線波長を検出するように構成され、ビジュアルＳＬＡＭモジュールに画像を供給するように構成される少なくとも１つのカメラと、第１赤外線照明源と、第２赤外線照明源と、少なくとも１つのカメラ、第１赤外線照明源、及び第２赤外線照明源の動作を制御するように構成される少なくとも１つのプロセッサと、を備える。第１赤外線照明源は、第１照明時間の間に、少なくとも１つのカメラの視野内の環境に、実質的に非構造化の投光照明を提供するように構成される。第２赤外線照明源は、第２照明時間の間に、少なくとも１つのカメラの視野内の環境内に構造化赤外線照明パターンを提供するように構成される。少なくとも１つのカメラは、第１露光時間及び第２露光時間を有する。第１露光時間は第１照明時間と少なくとも部分的に重なり、第２赤外線照明源は、第１露光時間の間、非アクティブである。第２露光時間は、第２照明時間と少なくとも部分的に重なる。
【0023】
ある実施形態において、赤外線投光照明源は、第２露光時間の間、非アクティブである。
【0024】
ある実施形態において、少なくとも１つのカメラは第１カメラ及び第２カメラを含み、第１赤外線照明源は、第１照明時間の間に、第１カメラの視野内の環境に、実質的に非構造化の投光照明を提供するように構成され、第２赤外線照明源は、第２照明時間の間に第２カメラの視野内の環境に、構造化赤外線照明パターンを提供するように構成され、第１カメラは、第１露光時間を有し、第２カメラは、第２露光時間を有し、第２カメラの視野の少なくとも一部は、第１カメラの視野に重なる。ある実施形態において、赤外線投光照明源は、第２露光時間の間、非アクティブである。
【0025】
ある実施形態において、第１カメラは、グローバルシャッタを有する。
【0026】
ある実施形態において、ビジュアルポジショニングシステムは、環境から第１カメラへの非赤外線波長の通過を低減するように構成される光学フィルタをさらに備える。ある実施形態において、光学フィルタは、赤外線投光照明源のピーク発光波長の約１０ｎｍの範囲内に中心波長を有する光学バンドパスフィルタを含む。ある実施形態において、光学フィルタは、赤外線投光照明源のピーク発光波長の約５０ｎｍの範囲内にカットオン波長を有する光学ロングパスフィルタを含む。
【0027】
ある実施形態において、少なくとも１つのプロセッサは、（ｉ）第１カメラによって取得される画像の露光量を評価し、（ｉｉ）第１カメラによって取得される画像の露光量の評価に対応して第１カメラの露光時間を変化させるように構成される。
【0028】
ある実施形態において、ビジュアルポジショニングシステムは、ビジュアルＳＬＡＭモジュールに、モバイル機器の方位及び加速度の変化を示す信号を供給するように構成される少なくとも１つの慣性計測装置をさらに備える。
【0029】
ある実施形態において、第１赤外線照明源または第２赤外線照明源の少なくとも１つは、７８０ｎｍから９８０ｎｍの範囲内にピーク波長を有する発光を生成するように構成される。
【0030】
ある実施形態において、少なくとも１つのカメラは、少なくとも１つの単眼赤外線カメラを含む。ある実施形態において、少なくとも１つのカメラは、少なくとも１つのステレオ赤外線カメラを含む。
【0031】
ある実施形態において、ビジュアルポジショニングシステムは、モバイル機器と関連付けられ、ビジュアルＳＬＡＭモジュールと通信するように構成されるデータ記憶装置をさらに備える。
【0032】
ある実施形態において、ビジュアルポジショニングシステムは、モバイル機器と関連付けられる少なくとも１つのセンサをさらに備え、ビジュアルポジショニングシステムは、環境内のモバイル機器の手動または自律ナビゲーションの間に、（ｉ）少なくとも１つのカメラによって取得される映像情報、及び／または画像と、（ｉｉ）少なくとも１つのセンサによって提供される知覚情報と、を記録するように構成される。
【0033】
ある実施形態において、少なくとも１つのプロセッサは、環境のビジュアルＳＬＡＭ地図を作成、且つ／または更新するために、記録された、少なくとも１つのカメラによって取得される映像情報、及び／または画像を処理し、少なくとも１つのセンサによって提供される知覚情報を処理するように構成される。
【0034】
ある実施形態において、ビジュアルＳＬＡＭモジュールは、環境のビジュアルＳＬＡＭ地図を作成、且つ／または更新するために、環境内の視覚的特徴の検出及びマッピングを利用するように構成される。
【0035】
ある実施形態は、本明細書にて開示されるビジュアルポジショニングシステムを備えるモバイル機器を対象にする。ある実施形態において、モバイル機器は、自律または半自律移動走行車を含む。ある実施形態において、移動走行車は、複数の能動的に駆動される車輪または回転履帯を備え、それぞれの能動的に駆動される車輪または履帯は、能動的に駆動される車輪または履帯の回転を検知するように構成されるエンコーダを備え、モバイル機器は、それぞれのエンコーダによって検知される車輪または履帯の回転情報を、ビジュアルＳＬＡＭモジュールに供給するように構成される。ある実施形態において、モバイル機器は、住宅用に構成される自律回収、及び／または配送ロボットを含む。ある実施形態において、モバイル機器は、商業または産業用に構成される自律回収、及び／または配送ロボットを含む。ある実施形態において、モバイル機器は、人間または動物のユーザによって身に着けられるように構成されるウェアラブル機器を含む。ある実施形態において、モバイル機器は、人間のユーザによって用いられるように構成される移動支援機器を含む。
【0036】
別の態様において、本開示は、非構造化住宅環境をナビゲートする自律動作のために構成されるモバイルロボットを高速で訓練するための方法に関し、本方法は、非構造化住宅環境内の所望のロボット目的地の集合を特定することであって、所望のロボット目的地の集合は、少なくとも４つ所望のロボット目的地を含む、特定することと、それぞれの異なる組の所望のロボット目的地の間の完全な接続性を構築できるようにするために、所望のロボット目的地の集合の少なくとも最小数の異なる組の所望のロボット目的地の間の経路に沿ってモバイルロボットを案内することと、モバイルロボットに関連付けられるオペレータインターフェースからのオペレータ入力信号を受信することであって、オペレータ入力信号は、モバイルロボットを経路に沿って案内する間に、規定ルートの記録を開始及び停止するように構成され、規定ルートは、その後の位置特定及びナビゲーション動作の間にモバイルロボットによって用いられることとなるルートを特定する、受信することと、モバイルロボットを経路に沿って案内する間に、モバイルロボットによって経験される周辺環境の画像を記録することと、記録された画像から非構造化住宅環境の少なくとも一部のビジュアルＳＬＡＭ地図を作成することと、を含む。
【0037】
ある実施形態において、本方法は、非構造化住宅環境の少なくとも一部のビジュアルＳＬＡＭ地図内に、規定ルート及び所望のロボット目的地の位置をマッピングすること、をさらに含む。
【0038】
ある実施形態において、本方法は、規定ルートの異なるルートに関するビジュアルＳＬＡＭマッピング情報間の重なり、または、交点を特定すること、をさらに含む。
【0039】
ある実施形態において、ビジュアルＳＬＡＭ地図を作成することは、非構造化住宅環境に関するいかなるビジュアルＳＬＡＭ地図の事前の構築なしに実施される。
【0040】
ある実施形態において、ビジュアルＳＬＡＭ地図を作成することは、モバイルロボットによる非構造化住宅環境の事前の探索なしに実施される。
【0041】
ある実施形態において、本方法は、ビジュアルＳＬＡＭ地図を作成、且つ／または更新するために、非構造化住宅環境内の視覚的特徴の検出及びマッピングを利用すること、をさらに含む。
【0042】
ある実施形態において、規定ルートから、予め定められる、またはオペレータが定める距離の外側のモバイルロボットの動作が、モバイルロボットのオペレータによって許可される場合を除いて、規定ルートは、モバイルロボットに、規定ルートから、予め定められる、またはオペレータが定める距離内でのみ動作させる。
【0043】
ある実施形態において、本方法は、新たに特定される、または、予め特定される所望のロボット目的地の少なくとも一組を接続する少なくとも１つの経路に沿ってモバイルロボットを案内するオペレータによって、ビジュアルＳＬＡＭ地図を更新することをさらに含み、少なくとも１つの経路は、事前に規定されたルートと重なるか、または事前に規定されたルートからの、特定の近距離の範囲に入る。
【0044】
ある実施形態において、本方法は、（ｉ）所望のロボット目的地の特定、または（ｉｉ）規定ルートの特定に加え、モバイルロボットの位置の特定、の少なくとも１つを、視覚的なユーザインターフェース上に表示すること、をさらに含む。
【0045】
ある実施形態において、モバイルロボットは、（ｉ）赤外線波長を検出するように構成される少なくとも１つの第１カメラと、（ｉｉ）少なくとも１つの第１カメラの視野内の周辺環境に、実質的に非構造化の投光照明を提供するように構成される第１赤外線照明源と、（ｉｉｉ）少なくとも１つの第１カメラの動作を制御するように構成される少なくとも１つのプロセッサと、を備える。このような実施形態において、モバイルロボットによって経験される周辺環境の画像を記録することは、複数の第１照明時間の間に、少なくとも１つの第１カメラの視野内の物体を照明することと、複数の第１照明時間のそれぞれの照明時間の間に、少なくとも１つの第１カメラを用いて画像を記録することと、を含む。
【0046】
ある実施形態において、モバイルロボットは、赤外線波長を検出するように構成される少なくとも１つの第２カメラと、少なくとも１つの第２カメラの視野内の周辺環境を、構造化照明時間の間に構造化赤外線照明パターンにて周期的に照明するように構成される構造化赤外線照明源と、をさらに備え、少なくとも１つの第２カメラの視野の少なくとも一部は、第１カメラの視野と重なり、少なくとも１つの第２カメラ及び構造化照明源の動作は、少なくとも１つの第２カメラの露光時間が、構造化照明時間の少なくとも一部と重なるように調整され、構造化照明源は、第１カメラの露光時間の間、非アクティブである。このような実施形態において、本方法は、少なくとも１つの第２カメラの視野内の周辺環境を、構造化照明時間の間に構造化赤外線照明パターンにて照明することと、少なくとも１つの第２カメラの視野内の周辺環境の画像を、構造化照明時間の間に取得することと、をさらに含む。ある実施形態において、赤外線投光照明源は、第２カメラの露光時間の間、非アクティブである。
【0047】
ある実施形態において、モバイルロボットは、少なくとも１つのセンサを備え、本方法は、経路に沿ってモバイルロボットを案内する間に、少なくとも１つのセンサによって提供される知覚情報を記録すること、をさらに含む。
【0048】
ある実施形態において、モバイルロボットは、住宅用に構成される自律回収、及び／または配送ロボットを含む。
【0049】
ある実施形態において、本方法は、モバイルロボットに、１つ以上のルートを通過させ、１つ以上のルート上の複数の位置で周辺環境の３６０度画像の代表的な画像を周期的に取得させることと、周期的に取得される画像を処理することと、周期的に取得される画像の処理によって得られる情報を用いて、ビジュアルＳＬＡＭ地図を補完することと、をさらに含む。
【0050】
別の態様において、本明細書にて説明されるような上記の態様、及び／または様々な個別の態様の何れかは、さらなる利点のために組み合わされてもよい。本明細書にて開示されるような様々な特徴及び要素は、本明細書にて別段の指示が無い限り、１つ以上の他の開示される特徴及び要素と組み合わされてもよい。
【0051】
本開示の他の態様、特徴、及び、実施形態は、次の開示及び添付の特許請求の範囲により、さらに十分に明らかとなるであろう。
【図面の簡単な説明】
【0052】
添付図面及び以下の特許請求の範囲は、本開示の主題のさらなる理解をもたらすために記載され、本明細書の一部に援用され、本明細書の一部を構成する。本図面は、本開示の主題の様々な実施形態を示し、この説明と共に本開示の主題の原理及び動作を説明する。
【図1】本開示の一実施形態による、モバイル機器のための例示的なビジュアルポジショニングシステムの様々な構成要素間の相互接続を示す模式図である。
【図2】第１及び第２赤外線照明源、及び視野が重なる第１及び第２赤外線カメラを備える本明細書にて開示されるようなビジュアルポジショニングシステムを備えるモバイルロボットの側面図である。
【図3A】ある実施形態による、第１赤外線カメラ露光時間、赤外線投光照明源時間、第２赤外線カメラ露光時間、及び構造化照明源時間に関する動作時間ウィンドウを提供する。
【図3B】ある実施形態による、第１赤外線カメラ露光時間、赤外線投光照明源時間、第２赤外線カメラ露光時間、及び構造化照明源時間に関する動作時間ウィンドウを提供する。
【図3C】ある実施形態による、赤外線投光照明源時間、赤外線深度カメラ露光時間、及び構造化照明源時間に関する動作時間ウィンドウを提供する。
【図3D】ある実施形態による、赤外線投光照明源時間、赤外線深度カメラ露光時間、及び構造化照明源時間に関する動作時間ウィンドウを提供する。
【図4A】ある実施形態による、モバイルロボットによって利用可能なルート地図の作成、及び／またはモバイルロボットの訓練のための、所望のロボット目的地と、住宅環境内でロボットが取る複数組の所望のロボット目的地の間の個別のルートの識別を重ねた、住宅環境の物理的地図の上面図である。
【図5A】一実施形態による、赤外線カメラ、照明源、及び少なくとも１つのプロセッサを備えるビジュアルポジショニングシステムを組み入れた移動支援機器の概略斜視図である。
【図6】一実施形態による、赤外線カメラ、照明源、及び少なくとも１つのプロセッサなどを利用するバーチャルリアリティヘッドセットを含むウェアラブルモバイル機器の概略正面図である。
【図7】本明細書にて開示されるシステムまたは方法の任意の構成要素に含まれ得るコンピュータシステムの一般化された表現である。
【発明を実施するための形態】
【0053】
［詳細な説明］
モバイル機器のためのビジュアルポジショニングシステム及び関連する方法は、赤外線波長を検出するように構成される少なくとも１つのカメラ（任意に第１及び第２カメラに具体化される）、少なくとも１つの赤外線照明源、及び、少なくとも１つのプロセッサを利用する。赤外線投光照明源は、モバイル機器の位置推定（例えば、位置の確認）のために、環境において物体を照明するために用いられてもよく、構造化赤外線照明源は、環境において（静的及び動的の両方の）障害物の検出及びマッピングのために物体を照明するように用いられてもよい。少なくとも１つの赤外線カメラ及び照明源の動作は、赤外線投光照明源が、第１照明時間の間アクティブであり、構造化赤外線照明源が、第２照明時間の間アクティブであるように、少なくとも１つのプロセッサによって調整される。第１赤外線カメラは、環境内でモバイル機器の位置推定のために、赤外線投光照明源と連動して利用されてもよく、第２赤外線カメラ（例えば、深度カメラ）は、環境において（静的及び動的の両方の）障害物の検出及びマッピングのために物体を照明するように、構造化赤外線照明源と連動して利用されてもよい。第１赤外線カメラによって得られた画像は、モバイル機器の環境の、画像による自己位置推定と地図作成の同時実行（ビジュアルＳＬＡＭ）による地図を作成するために用いられてもよい。カメラと照明源との調整、及び、カメラ及び少なくとも１つの赤外線投光照明源の出力強度の選択は、様々な環境照明条件において、１つのビジュアルＳＬＡＭ地図を用いたモバイル機器の位置推定及びナビゲーションを可能にするために、画像の一貫した露光量を提供する。
モバイル機器のためのビジュアルポジショニングシステム及び関連する方法は、赤外線波長を検出するように構成される少なくとも１つのカメラ（任意に第１及び第２カメラに具体化される）、少なくとも１つの赤外線照明源、及び、少なくとも１つのプロセッサを利用する。赤外線投光照明源は、モバイル機器の位置推定（例えば、位置の確認）のために、環境において物体を照明するために用いられてもよく、構造化赤外線照明源は、環境において（静的及び動的の両方の）障害物の検出及びマッピングのために物体を照明するように用いられてもよい。少なくとも１つの赤外線カメラ及び照明源の動作は、赤外線投光照明源が、第１照明時間の間アクティブであり、構造化赤外線照明源が、第２照明時間の間アクティブであるように、少なくとも１つのプロセッサによって調整される。第１赤外線カメラは、環境内でモバイル機器の位置推定のために、赤外線投光照明源と連動して利用されてもよく、第２赤外線カメラ（例えば、深度カメラ）は、環境において（静的及び動的の両方の）障害物の検出及びマッピングのために物体を照明するように、構造化赤外線照明源と連動して利用されてもよい。第１赤外線カメラによって得られた画像は、モバイル機器の環境の、画像による自己位置推定と地図作成の同時実行（ビジュアルＳＬＡＭ）による地図を作成するために用いられてもよい。カメラと照明源との調整、及び、カメラ及び少なくとも１つの赤外線投光照明源の出力強度の選択は、様々な環境照明条件において、１つのビジュアルＳＬＡＭ地図を用いたモバイル機器の位置推定及びナビゲーションを可能にするために、画像の一貫した露光量を提供する。
【0054】
本明細書にて用いられるような「モバイル機器」という用語は、（それ自身の動力、または、人間または動物によって供給される動力による何れかによって）環境内を通過し、且つ／または環境内で位置特定する対象である機器を広く指す。様々な実施形態によるモバイル機器の限定されない例は、自律走行車、移動式配送、及び／または回収ロボット、及び、ウェアラブル機器、娯楽機器、及び、移動支援機器などのユーザに位置付けられる機器を含む。
【0055】
以下に説明する実施形態は、当業者が、本実施形態を実施することを可能にするために必要な情報を示し、本実施形態を実施する最良の形態を説明する。添付図面を考慮して以下の説明を読むと、当業者は本開示の概念を理解し、本明細書にて特には取り上げられていないこれらの概念の適用例を認識するであろう。これらの概念及び適用例は、本開示及び添付の特許請求の範囲の範囲内に含まれると理解されるべきである。
【0056】
第１、第２などの用語が、様々な要素を説明するために本明細書において使用され得るものの、これらの要素は、これらの用語によって限定されるべきでないことが理解されるであろう。これらの用語は、１つの要素を別の要素と区別するためにのみ使用される。例えば、本開示の範囲から逸脱することなく、第１要素は第２要素と呼ばれる可能性があり、同様に、第２要素は第１要素と呼ばれる可能性がある。本明細書において使用される場合、「及び／または、且つ／または（ａｎｄ／ｏｒ）」という用語は、１つ以上の関連して挙げられる項目の何れか、または、全ての組み合わせを含む。
【0057】
「下の（ｂｅｌｏｗ）」または「上の（ａｂｏｖｅ）」または「上側の（ｕｐｐｅｒ）」、「下側の（ｌｏｗｅｒ）」または「水平な（ｈｏｒｉｚｏｎｔａｌ）」または「垂直な（ｖｅｒｔｉｃａｌ）」などの相対的な用語が、図に示されるような、１つの要素、層、または領域の、別の要素、層、または領域に対する関係を説明するために本明細書にて用いられることがある。これらの用語及び上述された用語は、図に示される方位に加え、装置の異なる方位も包含することを意図していると理解されるであろう。
【0058】
本明細書にて用いられる専門用語は、特定の実施形態を説明する目的のものにすぎず、本開示を限定することを意図していない。本明細書にて用いられる場合、「１つの（ａ）」、「１つの（ａｎ）」、及び「当該、該、上記、前記（ｔｈｅ）」という単数形は、文脈上、そうでないと明確に示されない限り、複数形も含むことを意図している。「備える、含む、有する（ｃｏｍｐｒｉｓｅｓ）」、「備える、含む、有する（ｃｏｍｐｒｉｓｉｎｇ）」、「備える、含む、有する（ｉｎｃｌｕｄｅｓ）」、及び／または「備える、含む（ｉｎｃｌｕｄｉｎｇ）」という用語は、本明細書にて用いられるとき、述べられた特徴、整数、ステップ、動作、要素、及び／または構成要素の存在を特定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／またはそれらのグループの存在または追加を排除するものではないと、さらに理解されるであろう。
【0059】
他に定義されない限り、本明細書にて用いられる全ての用語（専門用語及び科学的な用語を含む）は、本開示が属する当業者によって一般的に理解される意味と同じ意味を有する。本明細書にて用いられる用語は、本明細書及び関連技術の文脈における意味と一致する意味を有すると解釈されるべきであり、本明細書にて明確に定義されない限り、理想化されたまたは過度に正式な意味に解釈されないことがさらに理解されるであろう。
【0060】
低照度、または変化する照明条件下における既存のビジュアルナビゲーションソリューションの性能低下を克服するために、本明細書の実施形態は、赤外線照明源を備えるモバイル機器を含む。赤外線照明源（例えば、赤外線投光照明源）によって提供される照明領域は、モバイル機器と関連付けられる対応するカメラの視野と少なくとも同程度の広さにしてもよい。照明源は、十分な強度を提供するように選択され、カメラは、十分な感度のものが選択され、照明源とカメラとの間の調整は少なくとも１つのプロセッサによって制御され、様々な環境照明条件において、１つのビジュアルＳＬＡＭ地図を用いたモバイル機器の位置推定及びナビゲーションを可能とするために十分な、画像の一貫した露光量を提供するようにする。
【0061】
ある実施形態において、「様々な環境照明条件」という用語は、自然光源によって生じる任意の昼間及び夜間の照明条件を含む。このような様々な環境照明条件は、自然、及び／または人工光源の発光を含む、任意の通常得られる屋内の住宅用、または屋内の商業用照明条件を含んでもよい。ある実施形態において、様々な環境照明条件は、１つ以上の自然または人工光源による照明を有する第１照明条件を含み、さらに、いかなる自然光源及びいかなる人工光源による照明も無い第２条件を含む。ある実施形態において、様々な環境照明条件は、少なくとも１０，０００ルクスにわたるダイナミックレンジを含む。ある実施形態において、様々な環境照明条件は、約０ルクスから約１０，０００ルクスの範囲、または約０ルクスから約５０，０００ルクスの範囲、または本明細書にて特定される別の範囲を含む。
【0062】
ある実施形態において、赤外線投光照明源は、第１カメラの複数の露光時間に関して、少なくとも２、少なくとも５、少なくとも７、または少なくとも１０μＷ／ｃｍ２のピーク赤外線照明レベルを、第１カメラの視野内で１０メートルの距離で提供するように構成される。
【0063】
ある実施形態において、モバイル機器は、モバイル機器の少なくとも１つの赤外線カメラから、少なくとも５メートル、少なくとも８メートル、少なくとも１０メートル、または少なくとも２０メートルまで離れた物体の適切に露光された画像を取得するように構成される。本文脈において、「適切に露光された」とは、ビジュアルＳＬＡＭの選択された実施によって用いられる視覚的特徴の良好な抽出のための十分な光の存在を指す。
【0064】
本明細書にて述べられる赤外線カメラは、ＣＭＯＳまたはＣＣＤイメージセンサを内蔵するデジタルカメラを含んでもよい。ある実施形態において、カメラは、ローリングシャッタ画像スキャン技術の代わりにグローバルシャッタを利用してもよい。ローリングシャッタ技術を採用するイメージセンサは、センサの一方（例えば、上）から他方へライン毎の方法で順次画像をスキャンする。一方、グローバルシャッタ技術を採用するイメージセンサは、画像の全領域を同時にスキャン（または、露光）する。本明細書の実施形態による画像化性能は、グローバルシャッタを用いるカメラを利用して、露光時間に対してのみストロボ照明を許可することによって、大幅に改善され得る。ストロボ照明は、照明源によって用いられるエネルギの量を有益に削減し、目の安全基準の順守を可能にするために、人間が占める環境における赤外線発光の総量の削減にも利用され得る。
【0065】
環境照明が搭載されたモバイル機器を提供することは、環境光源の変化により経験され得るであろう、画像において認識される変化を最小にする上で有用である。ある実施形態において、モバイル機器の照明源によって生じる赤外線照明は、任意の外部光源（例えば、５００ルクスまで、１，０００ルクスまで、２，０００ルクスまで、５，０００ルクスまで、１０，０００ルクスまで、または１００，０００ルクスまでの照明レベルを提供する外部光源）を完全に取り除き、いかなる条件下でも画像を実質的に同一に見えるようにするために十分な照明を提供し得る。ある実施形態において、赤外線照明は、発光ダイオード（ＬＥＤ）、有機発光ダイオードなどのような、１つ以上の固体発光体によって生成されてもよい。
【0066】
ある実施形態において、光学フィルタを用いて、環境から赤外線カメラへの非赤外線波長の通過を削減することで、環境光源を抑制してもよい。ある実施形態において、光学フィルタは、光学バンドパスフィルタ、またはロングパスフィルタを含んでもよい。ある実施形態において、光学フィルタは、赤外線投光照明源のピーク発光波長の約１０ナノメートル（ｎｍ）の範囲内（または、約５ｎｍ、または約２ｎｍの範囲内）に中心波長を有する光学バンドパスフィルタを含んでもよい。ある実施形態において、照明源のピーク波長は、８５０ｎｍまたはその付近の赤外線波長であってもよく、光学バンドパスフィルタは、干渉に基づく光学バンドパスフィルタを含んでもよい。ある実施形態において、光学フィルタは、赤外線投光照明源のピーク発光波長の約５０ｎｍの範囲内（または約３０ｎｍの範囲内、または約２０ｎｍの範囲内）にカットオン波長を有する光学ロングパスフィルタを含んでもよい。
【0067】
ある実施形態において、モバイル機器は、少なくとも１つの慣性計測装置（ＩＭＵ）を備え、これは、通常３軸のジャイロスコープ、３方向の加速度計を用いて、任意に磁力計と連動して、本体の直線及び角運動を（任意に方位と併せて）測定できる電子機器である。ＩＭＵは、モバイル機器の方位及び加速度の変化の情報をビジュアルＳＬＡＭモジュールに提供するために用いられてもよい。ある実施形態において、モバイル機器は、１つ以上のセンサを備える。用いられ得るセンサの例は、（限定されるものではないが）光学センサ、温度センサ、圧力センサ、振動センサ、音センサ、接触センサ、湿度センサ、傾斜センサ、及び、エンコーダを含む（これらは、移動走行車の能動的に駆動される車輪または回転履帯の回転に関連付けられ、検知するために用いられ得る）。ある実施形態において、ＩＭＵ、及び／または１つ以上のセンサからの信号は、ビジュアルＳＬＡＭ地図の作成、及び／またはモバイル機器の位置推定及びナビゲートを支援するために撮像情報と併せて用いられてもよい。
【0068】
ある実施形態において、モバイル機器は、モバイル機器を含む環境の内側、及び／または外側の機器との通信を可能にするために、１つ以上の無線、及び／または有線通信インターフェースを備える。ある実施形態において、モバイル機器の通信インターフェースは、モバイル機器の外部にあるもののモバイル機器を含む環境内に局所的に配置される少なくとも１つの処理装置と（例えば無線で）通信するように構成される。ある実施形態において、環境内に局所的に配置されるもののモバイル機器の外部にある処理装置は、関連するメモリを備え、さらに、モバイル機器と通信するために（例えば、９００ＭＨｚ、２．４ＧＨｚ、５ＧＨｚ、または別の周波数で通信するように構成される）専用の通信インターフェースを備えるか、またはモバイル機器と通信するように構成される無線ルータと連結される。ある実施形態において、モバイル機器の通信インターフェースは、モバイル機器を含む環境から離れて配置される少なくとも１つの処理装置と、少なくとも１つの広域ネットワークまたはインターネットを介して通信するように構成される。ある実施形態において、モバイル機器の外部にある処理装置は、ビジュアルＳＬＡＭ地図の作成、ビジュアルＳＬＡＭ地図の拡張、及び／または更新、トラブルシューディング、及びソフトウェアのアップグレードなどの機能を実施または支援するために用いられてもよい。
【0069】
図１は、本開示の一実施形態によるモバイル機器１２のための例示的なビジュアルポジショニングシステム１０の様々な構成要素の間の相互接続を示す模式図である。モバイル機器１２は、環境１１内に配置され、非構造化住宅環境または非構造化商業的環境にて任意に実施される。モバイル機器１２は、関連するメモリ１６を有するプロセッサ１４（例えば、ソフトウェアなどの機械可読命令を実行するように構成される少なくとも１つのプロセッサ（任意には、複数のプロセッサ））を備える。モバイル機器１２のＩＭＵ１８及び１つ以上のセンサ２０は、プロセッサ１４に信号を供給するように構成されてもよい。プロセッサ１４は、第１及び第２赤外線カメラ２１，２２及び関連する第１及び第２赤外線照明源２３，２４を制御するように構成される。１つ以上の赤外線カメラ２１，２２は、環境１１からの非赤外線波長の通過を削減するために光学フィルタ２５，２６を備えてもよい。ある実施形態において、第１赤外線カメラ２１の視野は、第２カメラ２２の視野と、少なくとも部分的に重なる。ある実施形態において、第１赤外線照明源２３は、実質的に非構造化の赤外線発光パターンを生成するように構成される赤外線投光照明源を含み、第１赤外線カメラ２１の動作は、第１赤外線照明源２３と調整される。ある実施形態において、第２赤外線照明源２４は、構造化赤外線照明パターンを生成するように構成される構造化赤外線照明源を含み、第２赤外線カメラ２２の動作は、第２赤外線照明源２４と調整される。ある実施形態において、第１赤外線カメラ２１は、第１赤外線照明源２３の照明時間（つまり、周期的に繰り返す照明時間）と調整される第１露光時間（つまり、周期的に繰り返す露光時間）を有し、第２赤外線カメラ２２は、第２赤外線照明源２４の照明時間（つまり、周期的に繰り返す照明時間）と調整される第２露光時間（つまり、周期的に繰り返す露光時間）を有する。モバイル機器１２は、通信インターフェース３０をさらに備え、これは、１つ以上の外部機器との無線、及び／または有線通信を提供するために用いられてもよい。
【0070】
処理装置３１は、環境１１内で、モバイル機器１２の外部に配置されてもよい。処理装置３１は、関連するメモリ３６を有する少なくとも１つのプロセッサ３４に加えて、通信インターフェース３８を備えてもよい。通信インターフェース３８は、モバイル機器１２、及び少なくとも１つの遠隔処理装置４１との通信を可能にするような（広域ネットワークまたはインターネットに任意に具体化される）通信ネットワーク４０、との有線、及び／または無線通信を容易にし得る。遠隔処理装置４１は、関連するメモリ４６を有する少なくとも１つのプロセッサ４４に加えて、通信インターフェース４８を備えてもよい。ある実施形態において、モバイル機器１２の外部の処理装置３１，４１は、ビジュアルＳＬＡＭ地図の作成、ビジュアルＳＬＡＭ地図の拡張、及び／または更新、トラブルシューティング、及びソフトウェアの更新などの機能を実施または支援するために用いられてもよい。
【0071】
引き続き図１を参照すると、オペレータインターフェース、または、ユーザ入力要素３７が、ロボット案内のステップの間に用いられる（例えば、ユーザによって設定される所望のロボット目的地の組の間の）規定ルートの記録を開始及び停止するように構成される入力信号を受信するために設けられる。ロボット案内のステップの一部として、モバイルロボットは、所望のロボット目的地の様々な組の間の経路に沿って（例えば、オペレータによって）案内され、ルートは、記録がアクティブである間に撮像された経路に対して設定される。ある実施形態において、ディスプレイ３９（例えば、液晶ディスプレイ、有機ＥＬディスプレイなど）は、モバイルロボットの訓練プロセス中、または動作中の何れかの（ｉ）所望のロボット目的地の特定、または（ｉｉ）規定ルートの特定に加え、モバイルロボットの位置の特定、の少なくとも１つを表示するための視覚的なユーザインターフェースとして機能するよう設けられてもよい。ある実施形態において、ロボットがロボット案内のステップの間に経路に沿って案内される間に、ディスプレイ３９が、１つ以上のルートの作成状況、及び／またはルート間の重なり、をオペレータに通知するために用いられてもよい。
【0072】
図２は、（関連する第１及び第２赤外線照明源（図示なし）をそれぞれ有し）視野が重なる第１及び第２赤外線カメラ１０１，１０２を備える、本明細書にて開示されるようなビジュアルポジショニングシステムを備えるモバイルロボット１００の側面図である。モバイルロボット１００は、電動駆動輪１１０（及び非駆動輪１１２）と、バッテリ（図示なし）とを備え、自身の原動力で、環境内でモバイルロボット１００を移動できる。第１赤外線カメラ１０１は、第１視野１０３を有し、第２赤外線カメラは、重複視野１０５を提供するように第１視野１０３と部分的に重なる第２視野１０４を有する。ある実施形態において、第２赤外線カメラ１０２は深度カメラを含み、任意に複数のカメラを含んでもよい。示されるように、第２赤外線カメラ１０２は、前方下向きに方向付けられてもよく、それにより、第２視野１０４が、（例えば、ナビゲーション中に潜在的な障害物を特定するために）モバイルロボット１００の前面１０８に近接する前方の環境領域を照明するように配置され得る。第１赤外線カメラ１０１は、前方に方向付けられてもよく、それにより、第１視野１０３が、（例えば、モバイルロボット１００の位置の特定を支援するために環境内の特徴を認識するために）モバイルロボット１００の前面１０８の概して前方、そして、さらに遠くの前方の環境領域を照明するように配置され得る。ある実施形態において、第１赤外線カメラ１０１と関連付けられる第１照明源は、実質的に非構造化の赤外線発光を生成し、第１視野１０３内の環境を周期的に照明するように構成される赤外線投光照明源を含み、第２赤外線カメラ１０２と関連付けられる第２照明源は、構造化パターンを有する赤外線発光を生成し、第２視野１０４内の環境を周期的に照明するように構成される構造化赤外線照明源を含む。
【0073】
構造化赤外線発光パターンは、深度カメラと共に使用するのに有益であるが、特に、位置推定に用いられるカメラの視野が、構造化赤外線発光源の照明領域と重なるとき、位置推定に用いられるカメラによる特徴の特定を妨げ得る。ある実施形態において、この問題を緩和するために、（深度カメラの露光時間と調整され得る）構造化赤外線発光源の照明時間は、位置推定カメラの露光時間と同期しないように調整され、その結果、赤外線発光パターンは、位置推定に用いられるカメラにより撮像されることに影響されない。ある実施形態において、位置推定に用いられるカメラは、本明細書において第１カメラと呼ばれ、第１露光時間を有し、障害物の特定に用いられる深度カメラは、第２カメラと呼ばれ、第２露光時間を有する。ある実施形態において、（ステレオカメラを具体化し得る）１つのカメラは、位置推定と障害物検出との両方を提供するために用いられてもよく、実質的に非構造化の照明を提供する赤外線投光照明源によって照明される物体の画像化（検出）は、位置推定のための第１時間の間に実施され、構造化赤外線照明源によって照明される物体の画像化は、第２時間の間に実施されてもよい。
【0074】
ある実施形態において、少なくとも１つのカメラによって提供される第１及び第２露光時間は、赤外線投光（第１）照明源及び構造化赤外線（第２）照明源の第１及び第２照明時間とそれぞれ実質的に同期されてもよく、第１及び第２露光時間は、連続的であってもよく、重複しなくてもよい。このような配列の一例が図３Ａに示され、第１赤外線カメラ露光時間、赤外線投光照明源時間、第２赤外線カメラ露光時間、及び構造化照明源時間のための動作時間ウィンドウが提供される。示されるように、それぞれの第１赤外線カメラ露光時間、及びそれぞれの赤外線投光照明源時間は、第１時間間隔ｉ１と一致し、それぞれの第２赤外線カメラ露光時間、及びそれぞれの構造化赤外線照明源時間は、第２時間間隔ｉ２に一致し、第１及び第２時間間隔ｉ１及びｉ２は、順次繰り返され、重複しない。
【0075】
ある実施形態において、位置推定に用いられるカメラは、深度センサと関連付けられる光源によって投影される赤外線パターンが、ビジュアルＳＬＡＭカメラの視野と重ならないように方向付けられるか、または向けられてもよい。
【0076】
上述したように、ある実施形態において、１つのステレオカメラに基づく深度センサが、障害物の検出及び位置推定（例えば、ビジュアルＳＬＡＭナビゲーション）を提供するために用いられてもよく、実質的に非構造化の照明を提供する赤外線投光照明源によって照明される物体の画像化（検出）が、位置推定のための第１カメラ露光時間の間に実施され、構造化赤外線照明源によって照明される物体の画像化は、第２カメラ露光時間の間に実施されてもよい。このような実施形態において、照明源は、構造化照明源のオンとオフをインターレースする（組み合わせる）ように動作されてもよい。このような実施形態において、赤外線投光照明源は、第１カメラ露光時間の間に用いられ、（例えば、低照度、または、逆光の状況において深度センサステレオカメラを支援するために）（任意に）第２カメラ露光時間中にも用いられる。配列の例示的な実施形態が図３Ｂに図示される。示されるように、それぞれの位置推定カメラ露光時間は、第１時間間隔ｉ１の間に赤外線投光源の照明時間に一致し、それぞれの深度カメラ露光時間は、第２時間間隔ｉ２の間に、赤外線投光照明源及び構造化赤外線照明源のそれぞれの照明時間に一致し、第１及び第２時間間隔ｉ１及びｉ２は、順次繰り返され、重複しない。
【0077】
ある実施形態において、赤外線投光照明源は、構造化赤外線照明源がアクティブである間、深度カメラ（例えば、深度センサのステレオカメラ）の露光時間の間、非アクティブとなるように構成されてもよく、それにより、深度情報の抽出プロセスとの干渉が回避される。ある実施形態において、非アクティブな状態は、停止された状態（オフの状態）、または発光出力が僅かであるか、そうでなければビジュアルＳＬＡＭモジュールの性能を損なわないレベルに落とされた状態と一致し得る。ある実施形態において、赤外線投光照明源は、第１カメラの露光時間の間、及び／または第１カメラの第１露光時間外で、予め設定された強度レベルで赤外線照明を提供するように構成されてもよい。ある実施形態において、赤外線投光照明源の強度レベルは、（例えば、パルス幅変調を用いて駆動されて）変化させられてもよい。
【0078】
ある実施形態において、構造化赤外線照明源がアクティブである期間、及び、構造化赤外線照明源が非アクティブである期間に深度センサのステレオカメラによってフレームが取得される間、赤外線投光照明源がアクティブとなるように構成されてもよい。このような配列が図３Ｃに示され、赤外線投光照明源は、第１及び第２時間間隔ｉ１及びｉ２のそれぞれの間アクティブであり、同一のステレオ赤外線カメラの第１及び第２時間間隔ｉ１及びｉ２のそれぞれに一致する第１及び第２カメラ露光ウィンドウは、位置推定及び深度画像化のためにそれぞれ用いられ、構造化赤外線照明源は、第２カメラ露光時間ｉ２の間にのみ用いられる。深度センサのステレオカメラの露光時間の間の赤外線投光発光源の発光による構造化赤外線照明の増強は、低照度の状況、及び／または、高コントラストまたは逆光の状況において、いくつかの深度センサの深度知覚品質を改善し得る。
【0079】
ある実施形態において、構造化赤外線照明源が非アクティブである間に深度カメラによってフレームが取得される間、赤外線投光照明源がアクティブとなるように構成されてもよい。このような配列が図３Ｄに示され、赤外線投光照明源は、それぞれの第１時間間隔ｉ１の間アクティブであり、同一のステレオ赤外線カメラの第１及び第２時間ｉ１及びｉ２のそれぞれに一致する第１及び第２カメラ露光ウィンドウは、位置推定及び深度画像化のためにそれぞれ用いられ、構造化赤外線照明源は、第２カメラ露光時間ｉ２の間にのみに用いられる。
【0080】
ある実施形態において、赤外線投光照明源のピーク波長は、構造化赤外線照明源のピーク波長と同一または近くなるように構成されてもよい。さらに、ある実施形態において、深度センサのステレオカメラは、両方の赤外線照明源のピーク波長をほぼ一致させる光学フィルタ（例えば、バンドパスまたはハイパスフィルタ）を備えてもよい。
【0081】
ある実施形態において、構造化赤外線照明源が、位置推定に用いられるカメラに干渉することを回避するために、位置推定に用いられるカメラ（例えば、第１カメラ）は、深度カメラと関連付けられる構造化赤外線照明源のピーク波長とは異なるピーク透過波長またはカットオフ波長を有する光学フィルタを備えてもよい。ある実施形態において、位置推定に用いられるカメラ（例えば、第１カメラ）は、そのピーク波長が、構造化赤外線照明源の発光のピーク波長とは異なる赤外線領域にピーク波長を有するバンドパスフィルタと共に構成されてもよい。ある実施形態において、赤外線投光照明源のピーク波長は、位置推定に用いられるカメラの光学バンドパスフィルタの中心波長と一致または重なるように構成されてもよい。
【0082】
モバイル機器上の計算ハードウェアのコストを最小限に抑えるために、ある実施形態において、モバイル機器（例えばロボット）がアイドル状態である間の１回以上の間に、ビジュアルＳＬＡＭ地図を更新する計算の負荷が高いタスクが実行されてもよい。ある実施形態において、このことは、モバイル機器が、環境を通ってナビゲートするか、または、案内される（例えば、押されるかまたは引かれる）たびに、カメラからの映像を全ての必要な知覚データと共に記録することによって実現されてもよい。続いて、記録された情報は、モバイル機器がアイドル状態であるか、そうでなければ、余剰の計算能力を有する１回以上の間に処理されてもよい。このような手順は、地図を更新するという計算上コストの高いタスクを、リアルタイムの動作に制約を課すことなく実行できるようにする。いくつかの適用において、モバイル機器がアイドル状態である間に、記録された情報の全てを処理するために十分な時間は無いかもしれない。ある実施形態において、キュー、先入先出制、スタック、または、類似の方法が、その後の処理のために記録される映像、及び、知覚情報の量を、記録時間に基づいて、可能な記憶容量までに制限するために用いられてもよい。ある実施形態において、処理のために経路を保持する決定は、経路に沿ったビジュアルＳＬＡＭ地図内の視覚的特徴の量または密度及び、「年齢」に基づいて判定されてもよい。経路に沿った視覚的特徴の密度が低い場合、またはその特徴がかなり以前に作成されていた場合、そのとき、その経路は優先的に処理されてもよく、そうでなければ、記録は、新しい記録のために記憶領域が必要とされる場合に削除するためにマーキングされてもよい。
【0083】
視覚的特徴地図のファイルサイズを制限するために、ある実施形態において、特徴の地理的な密度がビジュアルＳＬＡＭ地図において維持され、予め設定された数値によって制限されてもよい。ある実施形態において、それぞれの特徴の作成及び最後の観測の時期もまた、地図において維持されてもよい。ある実施形態において、それぞれの特徴がナビゲーションのために何回用いられたかを記録するために、カウンタが維持されてもよい。上述の情報項目は、その後、どの特徴が保持され、どの特徴が地図から破棄されるべきかを決定するために用いられてもよい。ある実施形態において、モバイル機器は、特徴の地理的な密度を計算するプロセスを周期的に始動させてもよい。密度が予め設定された数値を超える領域において、最古の特徴は、予め設定された密度を維持するために地図から削除されてもよい。ある実施形態において、過剰な密度である領域は、１日を通じたヒストグラムのそれぞれのビンにおける特徴の数、または、１日を通じた経時的な密度に基づいてさらに評価されてもよい。その後、１日を通じて最高の密度または特徴数を有する時間帯における最古の特徴は、破棄されてもよい。ある実施形態において、特徴は、観測され、且つ／またはナビゲーションのために用いられた、それらの頻度または回数に基づいて破棄されてもよく、最も用いられない特徴が最初に破棄されてもよい。ある実施形態において、使用頻度が、年齢、及び／または最後に観測された時間と組み合わされて、何れの特徴が破棄されるべきであるかを決定するために用いられてもよい。特徴が頻繁に用いられるものの、特定の時間帯に用いられない場合には、そのような特徴は、用いられる頻度は低いものの地図にごく最近追加された特徴に先立って破棄されてもよい。
【0084】
信頼性のある地図作成及びナビゲーションは、自律移動式ロボットのようなモバイル機器を利用して、簡潔で満足できるユーザ体験を提供するための鍵である。上記の改善点と結び付けられた本分野の進歩は、環境を１回通過することによる地図の作成が、同じ環境を通る信頼性のあるナビゲーションに足る地図の作成を可能にする。ある実施形態において、ロボットまたは他のモバイル機器は、セットアッププロセスの間に、環境を通る所望の経路に沿って案内され（例えば、押され、または引かれ）てもよく、または遠隔で制御されてもよい。このプロセスの間、ロボットは環境を通る経路を通過する間に映像及び知覚情報を記録し、記録の完了と同時または完了後に、ロボットは地図を構築し経路軌跡をメモリに保存する。この軌跡は、「ルート」と呼ばれ得る。１つのルートは、環境内の２つの点を接続してもよく、ロボットが、ルートの始点から終点または目的地点へナビゲートすることを可能にする。ロボットがナビゲートしなければならない環境内の点の間の十分な数のルートを記録することにより、初期ルート地図が作成される。ある実施形態において、このようなルート地図は、地下鉄の路線図のそれに類似する通過可能な修正ルート地図を構築するために、ルートが交差する、且つ／または重なる全ての点を発見するように処理されてもよい。通過可能な修正ルート地図は、ロボットが、任意の２つの目的地を接続する１つ以上の可能なルートを選択することを可能にする。ある実施形態において、セットアッププロセスの間にそれぞれのルートが記録された後、初期ルート地図が処理され、全ての点の間の接続性グラフが構築される。この接続性グラフは、セットアッププロセスに情報を与えることができ、目的地間の所望の接続性を実現するためにさらなるルートが記録されなければならないか否かを通知することができる。ある実施形態において、ロボットは、所望の目的地への最適ルートを、通過可能な修正ルート地図を用いて発見するように構成されてもよい。ロボットが、選択されたルートに沿ってナビゲートする間に障害物に遭遇し、与えられた制約の範囲内で障害物を避けてナビゲートできない場合、その後ロボットは停止し、経路が空くまで待機してもよい。このような制約の例は、選択されたルートから外れる最大距離に達することを含んでもよい。ある実施形態において、ロボットが障害物に遭遇し、選択されたルートを進み続けられない場合、ロボットは、別のルートを特定するために地下鉄路線図のような地図を参考にしてもよく、別のルートを特定すると、ロボットは自動的に別のルートを利用してもよい。
【0085】
図４Ａは、ある実施形態による、モバイルロボットによって利用可能なルート地図の作成、及び／またはモバイルロボットの訓練のための、所望のロボット目的地１５２と、住宅環境１５０内でロボットが取る複数組の所望のロボット目的地１５２の間の個別のルート１５４の識別を重ねた、住宅環境１５０の物理的地図の上面図である。各所望のロボット目的地１５２は、オペレータによって選択されてもよく、個別のルート１５４は、ロボット案内のステップの間に用いられる規定ルートの記録を開始及び停止するように構成される入力信号をオペレータが与える訓練法の間に構築されてもよく、それにより、モバイルロボットが、様々な組の所望のロボット目的地１５２の間の経路に沿って案内される（例えば、オペレータによって押される）とき、ルート１５４が、記録がアクティブである間に撮像された経路に対して作成される。
【0086】
図４Ｂは、住宅環境１５０の物理的地図を省略する一方で、所望のロボット目的地１５２Ａ～１５２Ｉ（総称して１５２）及びルート１５４Ａ～１５４Ｅ（総称して１５４）のみを含む図４Ａの抜粋である。示されるように、第１ルート１５４Ａは、所望のロボット目的地１５２Ａ～１５２Ｂを接続し、第２ルート１５４Ｂは、所望のロボット目的地１５２Ｃ，１５２Ｄを接続し、第３ルート１５４Ｃは、所望のロボット目的地１５２Ｅ，１５２Ｆを接続し、第４ルート１５４Ｄは、所望のロボット目的地１５２Ｇ，１５２Ｈを接続し、第５ルート１５４Ｅは、所望のロボット目的地１５２Ｄ，１５２Ｉを接続する。
【0087】
図４Ｃは、通過可能な処理された地図を提供し、地図は、図４Ｂの所望のロボット目的地１５２Ａ～１５２Ｉ及びルート１５４Ａ～１５４Ｅに加え、選択されたルート１５２間の重なりを特定する中継点１５６Ａ～１５６Ｆと、２つの近接する所望のロボット目的地１５２Ｆ，１５２Ｇに対応する統合目的地１５８と、をさらに含む。中継点１５６Ａ，１５６Ｆは、異なるルート１５４の間、及び／または異なるルートがそれらの間に障害物の存在が無く互いに十分に近接する領域の間、の重なりによって規定されてもよい。通過可能な、処理された地図は、図４Ａの環境１５０内のその後の位置特定及びナビゲーションの間にモバイルロボットによって用いられ得る。
【0088】
多くの適用において、所望のルートに沿ったロボットの１回の通過の間、または、通過後に、環境の地図を作成し、且つ／または環境を通るルートを記録することは有益であり得る。そのような状況において、ロボットカメラの１つ以上のカメラは、環境の限定される視野にさらされるであろう。その結果、ビジュアルＳＬＡＭ地図は、ルートを通るロボットの通過の間に１つ以上のカメラによって特定されるものに限定される視覚的特徴を有するであろう。さらに地図を改善するために、ある実施形態において、ロボットは、記録されたルートに沿って自律ナビゲートする間に、追加の手順を実行するように構成されて、空間のさらなる視点を取得して、所望のルートに沿ったロボットの最初の「訓練」通過の間にロボットの少なくとも１つのカメラの視野内で取得されなかったさらなる視覚的特徴を地図に追加するようにしてもよい。そのような追加の手順は、限定されるものではないが、所定の位置における任意の間隔での回転、最初の訓練経路から外れた異なる方向へのロボットの探索運動、及び／または回転と探索運動の組み合わせを含んでもよい。追加の手順の頻度、範囲、及び／または種類は、予め設定されてもよく、（環境設定を介して）手動で調整されてもよく、且つ／または環境の一部の通過、及び／または少なくともいくつかの追加の手順の実行において検出される増加分の特徴の数の、ナビゲーションシステムによる計算によって少なくとも部分的に操縦されてもよい。ある実施形態において、ロボットは、環境における人間の活動または他の変化などによって、経時的に変化した可能性がある追加の特徴を取得するために、任意に追加の手順を実行しながら、記録された経路に沿って周期的にナビゲートするように構成されてもよい。
【0089】
本開示の１つの態様は、非構造化住宅環境をナビゲートする自律運転のために構成されるモバイルロボットを高速で訓練する方法に関し、本方法は、複数のステップを含む。第１ステップは、非構造化住宅環境内の所望のロボット目的地の集合を特定することを含み、所望のロボット目的地の集合は、（例えば、所望のロボット目的地の少なくとも２つの組を形成する）少なくとも４つのロボット目的地を含む。そのような特定は、モバイルロボットが人間のユーザを支援できる可能性が高い目的地に一致するように、オペレータによって実施されてもよい。第２ステップは、少なくとも最小数の異なる組の所望のロボット目的地の間の経路に沿ってモバイルロボットを（例えば、オペレータがモバイルロボットを引いたり押したりすることによって）案内して、それぞれの異なる組の所望のロボット目的地の間の完全な接続性の構築を可能にすることを含む。第２ステップと同時に実施されてもよい第３ステップは、モバイルロボットと関連付けられるオペレータインターフェースからのオペレータ入力信号を受信することを含み、オペレータ入力信号は、経路に沿ったモバイルロボットの案内の間に、規定ルートの記録を開始及び停止するように構成され、規定ルートは、その後の位置特定及びナビゲーション動作の間にモバイルロボットによって用いられることとなるルートを特定する。第４ステップは、経路に沿ったモバイルロボットの案内の間に、モバイルロボットによって経験される周辺環境の画像を（例えば、モバイルロボットの少なくとも１つのカメラを用いて）記録することを含む。第５ステップは、モバイルロボットによって記録された画像から非構造化住宅環境の少なくとも一部のビジュアルＳＬＡＭ地図を作成することを含む。ビジュアルＳＬＡＭ地図は、モバイルロボットと関連付けられるメモリに保存されてもよく、モバイルロボットの使用中に得られる画像、及び／または知覚情報に基づいて周期的に更新されてもよい。
【0090】
ある実施形態において、本方法は、規定ルート及び所望のロボット目的地の位置を、非構造化住宅環境の少なくとも一部のビジュアルＳＬＡＭ地図にマッピングすることをさらに含む。
【0091】
ある実施形態において、本方法は、規定ルートの異なるルートに関するビジュアルＳＬＡＭマッピング情報間の、重なりまたは交点を特定することをさらに含む。ある実施形態において、指定される互いに近接する範囲内のルートの提供は、通過可能な、処理された地図を規定するために、重なりを構成してもよい。
【0092】
ある実施形態において、ビジュアルＳＬＡＭ地図を作成することは、非構造化住宅環境に関するいかなるビジュアルＳＬＡＭ地図の事前の構築なしに、且つ／またはモバイルロボットによる非構造化住宅環境の事前の探索なしに実施される。
【0093】
ある実施形態において、本方法は、ビジュアルＳＬＡＭ地図を作成、且つ／または更新するために、非構造化住宅環境内の視覚的特徴の検出及びマッピングを利用することをさらに含む。
【0094】
ある実施形態において、規定ルートからの、予め定められた、またはオペレータが定めた距離の外側におけるモバイルロボットの動作が、モバイルロボットのオペレータによって許可された場合を除いて、規定ルートは、モバイルロボットを、規定ルートからの、予め定められた、または、オペレータが定めた距離内でのみ動作させる。
【0095】
ある実施形態において、本方法は、新たに特定される、または予め特定される所望のロボット目的地の少なくとも１つの組を接続する少なくとも１つの経路に沿ってモバイルロボットを案内するオペレータによってビジュアルＳＬＡＭ地図を更新することをさらに含み、少なくとも１つの経路は、事前に規定されたルートに重なるか、または、事前に規定されたルートからの、特定の近距離の範囲に入る。
【0096】
ある実施形態において、本方法は、（ｉ）所望のロボット目的地の特定、または（ｉｉ）規定ルートの特定に加えたモバイルロボットの位置の特定、の少なくとも１つを、視覚的なユーザインターフェース上に表示することをさらに含む。
【0097】
ある実施形態において、モバイルロボットは、（ｉ）赤外線波長を検出するように構成される少なくとも１つの第１カメラと、（ｉｉ）少なくとも１つの第１カメラの視野内の周辺環境に実質的に非構造化の投光照明を提供するように構成される第１赤外線照明源と、（ｉｉｉ）少なくとも１つの第１カメラの動作を制御するように構成される少なくとも１つのプロセッサと、を備える。このような実施形態において、モバイルロボットによって経験される周辺環境の画像を記録することは、複数の第１照明時間の間に少なくとも１つの第１カメラの視野内の物体を照明することと、少なくとも１つの第１カメラを用いて、複数の第１照明時間のそれぞれの照明時間の間に画像を記録することと、を含む。
【0098】
ある実施形態において、モバイルロボットは、赤外線波長を検出するように構成される少なくとも１つの第２カメラ、及び、少なくとも１つの第２カメラの視野内の周辺環境を、構造化照明時間の間に構造化赤外線照明パターンにて周期的に照明するように構成される構造化赤外線照明源をさらに備え、少なくとも１つの第２カメラの視野の少なくとも一部は、第１カメラの視野と重なり、少なくとも１つの第２カメラ及び構造化赤外線照明源の動作は、少なくとも１つの第２カメラの露光時間が、構造化照明時間の少なくとも一部と重なるように調整され、構造化照明源は、第１カメラの露光時間の間、非アクティブである。このような実施形態において、本方法は、少なくとも１つの第２カメラの視野内の周辺環境を、構造化照明時間の間に構造化赤外線照明パターンにて照明することと、少なくとも１つの第２カメラの視野内の周辺環境の画像を、構造化照明時間の間に取得することと、をさらに含む。ある実施形態において、赤外線投光照明源は、第２カメラの露光時間の間、非アクティブである。
【0099】
ある実施形態において、モバイルロボットは、少なくとも１つのセンサを備え、本方法は、モバイルロボットを経路に沿って案内する間に少なくとも１つのセンサによって提供される知覚情報を記録することをさらに含む。
【0100】
ある実施形態において、本方法は、モバイルロボットに１つ以上のルートを通過させ、１つ以上のルート上の複数の位置で周辺環境の３６０度画像の代表的な画像を周期的に取得させることと、周期的に取得される画像を処理することと、周期的に取得される画像の処理によって得られる情報を用いてビジュアルＳＬＡＭを補完することと、をさらに含む。
【0101】
図５Ａは、本明細書に開示されるようなビジュアルポジショニングシステムを組み入れた移動支援機器２００の概略斜視図であり、図５Ｂは、カメラ及びその照明源の構成要素を備える第１及び第２ハウジング２１０，２１５の拡大図を提供し、図５Ｃは、処理及び電源供給回路のための第３ハウジング２１６の拡大図を提供する。移動支援機器２００は、障害物を含む環境の通過を補助するために、視覚障害のあるユーザによって使用可能なユーザ誘導ローリング歩行具を具体化してもよい。移動支援機器は、ユーザを支持するためのハンドル２０２、フレーム２０４、及び、車輪２０６，２０８を備える。ある実施形態において、全ての車輪２０６，２０８は駆動されないものの、後車輪２０８は、車輪の回転を検知し、車輪の回転情報をビジュアルＳＬＡＭモジュールに供給するように構成されるリニアエンコーダ２０９を備える。ある実施形態において、後車輪２０８は、（例えばモータ（図示なし）を用いて）能動的に駆動されてもよい。移動支援機器２００は、フレーム２０４に取付可能な第１から第３ハウジング２１０，２１５，２１６内に配置される構成要素を利用してもよい。第１ハウジング２１０は、第１及び第２赤外線カメラ２１１，２１２、及び構造化照明パターンを生成するように構成される構造化赤外線照明源２１４を備える。第２ハウジング２１５は、赤外線投光照明源２１３を備える。照明源２１３，２１４のための様々なハウジングの存在は、必要に応じて、照明源が平行でない方向に向けられることを可能にする。第３ハウジング２１６は、１つ以上のプロセッサ、慣性計測装置、１つ以上のセンサ、及びバッテリ（図示なし）などの他の構成要素を備える。様々なハウジング２１０，２１５，２１６は、通信ライン２１８によって接続されてもよい。第１及び第２赤外線カメラ２１１，２１２及び対応する赤外線照明源２１３，２１４は、使用中、環境のビジュアルＳＬＡＭ地図を作成し、その後、ユーザを所望の目的地へ案内することを補助するよう、環境内の障害物をユーザに対して特定するために用いられてもよい。このような特定は、音声、及び／または振動信号を含んでもよい。
【0102】
図６は、本明細書にて開示されるようなビジュアルポジショニングシステムを取り入れた（ユーザの頭に装着されるように構成される）バーチャルリアリティヘッドセットに具体化されるウェアラブルモバイル機器２５０の概略正面図である。ウェアラブルモバイル機器２５０は、ハウジング２５８、及び複数の前向きの赤外線カメラ２５１Ａ－２５１Ｂ，２５２Ａ－２５２Ｂと、赤外線照明源２５３，２５４及び少なくとも１つのセンサ２５６も備える。第１の一組の赤外線カメラ２５１Ａ－２５１Ｂは、赤外線投光照明源２５３と連携するように構成されてもよく、環境内のモバイル機器２５０の位置推定に用いられてもよい。第２の一組の赤外線カメラ２５２Ａ－２５２Ｂは、構造化赤外線照明源２５４と連携するように構成されてもよく、環境内の障害物の検出に用いられてもよい。第１及び第２の各一組の赤外線カメラ２５１Ａ－２５１Ｂ，２５２Ａ－２５２Ｂ、及び対応する赤外線照明源２５３，２５４は、使用中、環境のビジュアルＳＬＡＭ地図を（プロセッサを用いて）作成し、その後、モバイル機器のユーザが参加しているゲームまたは他の娯楽活動において有益となり得るように、環境内でユーザに対する障害物を特定するために用いられてもよい。
【0103】
図７は、本明細書にて開示されるシステムまたは方法の任意の構成要素に含まれ得る（プロセッサ、及び／または計算装置に任意に具体化される）コンピュータシステム３００の一般化された表現の概略図である。これに関して、コンピュータシステム３００は、本明細書にて開示されるこれらの、及び／または何れかの機能または処理を実施するために、コンピュータ可読媒体からの命令を実行するように構成される。これに関して、図７のコンピュータシステム３００は、対応している通信サービスのスケーリングを支援するためにプログラム可能なデジタル信号処理回路をプログラムし、設定するために実行され得る命令の集合を含んでもよい。コンピュータシステム３００は、ローカルエリアネットワーク（ＬＡＮ）、イントラネット、エクストラネット、または、インターネットにおいて他の機械と接続（例えば、ネットワーク化）されてもよい。１つの機器のみが示される一方で、「機器」という用語は、本明細書にて開示される方法論の何れか１つ以上を実施するために、１つの（または、複数の）命令の集合を単独または共同で実行する機器の任意の集合を含むとも考えられるであろう。コンピュータシステム３００は、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックコントローラ、プリント基板（ＰＣＢ）などの電子ボードカード、サーバ、マイクロコントローラ、パーソナルコンピュータ、スマートフォン、または、任意の他の適切な機器に含まれる、１つまたは複数の回路であってもよく、または、１つまたは複数の回路を含んでもよい。
【0104】
ある実施形態において、ビジュアルＳＬＡＭ地図の作業コピーが、コンピュータシステム３００の１つ以上の機器に保存されてもよい。ある実施形態において、ビジュアルＳＬＡＭ地図の作業コピーが、モバイル機器に対してローカルな処理装置３０２上にローカルに保存され、操作されてもよい。ある実施形態において、ビジュアルＳＬＡＭ地図の作業コピーが、モバイル機器から離れ、ネットワーク３２０を介してアクセス可能な少なくとも１つのプロセッサ装置にて（例えば、１つ以上のウェブ接続される機器、及び／またはクラウドコンピューティング機器に任意に具体化されるコンピュータサーバまたは他の機器にて）保存され、操作されてもよい。ある実施形態において、ビジュアルＳＬＡＭ地図の第１部分は、モバイル機器に対してローカルなプロセッサ装置３０２上でクライアント、またはアプリケーションとして保存、且つ／または操作されてもよく、ビジュアルＳＬＡＭ地図の第２部分は、第１部分と第２部分とが互いに連携するように構成されて、（例えば、ネットワーク３２０を介してアクセス可能なコンピュータサーバ、または１つ以上のウェブ接続される機器、及び／またはクラウドコンピューティング機器上に）遠隔で保存され、且つ／または操作されてもよい。
【0105】
図７に示されるコンピュータシステム３００は、処理装置またはプロセッサ３０２、メインメモリ３０４（例えば、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）のようなダイナミックランダムアクセスメモリ（ＤＲＡＭ）など）、及びスタティックメモリ３０６（例えば、フラッシュメモリ、スタティックランダムアクセスメモリ（ＳＲＡＭ）など）を備え、これらは、データバス３０８を介して互いに通信してもよい。あるいは、処理装置３０２は、メインメモリ３０４、及び／またはスタティックメモリ３０６と、直接またはいくつかの他の接続手段を介して接続されてもよい。処理装置３０２は、コントローラであってもよく、メインメモリ３０４またはスタティックメモリ３０６は、任意の種類のメモリであってもよい。
【0106】
処理装置３０２は、マイクロプロセッサ、中央処理装置などの１つ以上の汎用処理装置を示す。より具体的には、処理装置３０２は、複合命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語マイクロプロセッサ（ＶＬＩＷ）、他の命令セットを実行するプロセッサ、または、命令セットの組み合わせを実行する他のプロセッサであってもよい。処理装置３０２は、本明細書にて説明される動作及びステップを実施するための命令内で処理ロジックを実行するように構成される。
【0107】
コンピュータシステム３００は、ネットワークインターフェース機器３１０をさらに備えてもよい。コンピュータシステム３００は、また、命令を実行するときにコンピュータシステム３００に通信される入力及び選択を受信するように構成される入力部３１２を備えてもよく、備えなくてもよい。コンピュータシステム３００はまた、限定するものではないが、ディスプレイ、映像表示装置（例えば、液晶ディスプレイ（ＬＣＤ）またはブラウン管（ＣＲＴ））、英数字入力装置（例えば、キーボード）、及び／またはカーソル制御装置（例えば、マウス）を含む出力部３１４を備えてもよく、備えなくてもよい。
【0108】
コンピュータシステム３００は、コンピュータ可読媒体３１８に保存される命令３１６を含むデータ記憶装置を備えてもよく、備えなくてもよい。命令３１６はまた、それがコンピュータシステム３００によって実行される間、メインメモリ３０４内、及び／または処理装置３０２内に、完全にまたは少なくとも部分的に存在してもよく、メインメモリ３０４及び処理装置３０２はコンピュータ可読媒体も構成する。命令３１６は、さらに、ネットワークインターフェース機器３１０を用いて、ネットワーク３２０を介して送信または受信されてもよい。
【0109】
実施形態において、コンピュータ可読媒体３１８が１つの媒体として示される一方で、「コンピュータ可読媒体」という用語は、１つ以上の命令の集合を記憶する１つの媒体または複数の媒体（例えば、集中型または分散型のデータベース、及び／または関連するキャッシュ及びサーバ）を含むと考えられるべきである。「コンピュータ可読媒体」という用語はまた、処理装置が実行するための命令の集合の記憶、符号化、または、伝送が可能であり、処理装置に対し、本明細書にて開示される実施形態の任意の１つ以上の方法論を実施させる任意の媒体を含むと考えられるであろう。「コンピュータ可読媒体」という用語は、従って、限定されるものではないが、固体メモリ、光媒体、及び磁気媒体を含むと考えられるであろう。
【0110】
本明細書にて開示される実施形態は、様々なステップを含む。本明細書にて開示される実施形態のステップは、ハードウェア構成要素によって実行または実施されるか、または、命令によりプログラムされる汎用または専用プロセッサに、ステップを実施させるために用いられ得る機械実行可能命令によって具体化されてもよい。あるいは、ステップは、ハードウェアとソフトウェアの組み合わせによって実施されてもよい。
【0111】
本明細書にて開示される実施形態は、本明細書にて開示される実施形態によるプロセスを実施するために、コンピュータシステム（または、他の電子機器）をプログラムするために用いられ得る命令を記憶した機械可読媒体（またはコンピュータ可読媒体）を含み得るコンピュータプログラム製品、または、ソフトウェアとして提供されてもよい。機械可読媒体は、機械（例えば、コンピュータ）によって読み取り可能な形式で情報を記憶または送信する任意の構造を備える。例えば、機械可読媒体は、機械可読記憶媒体（例えば、ＲＯＭ、ランダムアクセスメモリ（「ＲＡＭ」）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリ機器など）などを含む。
【0112】
明確に別段の記載がない限り、上の説明から明らかなように、説明を通して、「分析する」、「処理する」、「計算する」、「判断する／決定する」、「表示する」などのような用語を利用する説明は、コンピュータシステムのレジスタ内で物理（電子）量として表現されるデータ及びメモリを処理し、コンピュータシステムメモリまたはレジスタまたは他のそのような情報記憶、送信、または表示装置内で同様に物理量として表現される他のデータに変換する、コンピュータシステム、または類似の電子計算装置の動作及びプロセスについて言及すると理解される。
【0113】
本明細書にて示されるアルゴリズム及び表示は、本質的に、いかなる特定のコンピュータまたは他の装置と関係しない。様々なシステムが、本明細書の教示に従うプログラムと共に用いられてもよく、または、必要とされる方法のステップを実施するために、より特殊化された装置を構築することが便利であると分かるであろう。様々なこれらのシステムのために必要とされる構造が、上述の説明に開示される。さらに、本明細書にて説明される実施形態は、任意の特定のプログラム言語を参照して説明されていない。様々なプログラム言語が、本明細書にて説明されるような実施形態の教示を実施するために用いられてもよいと理解されるであろう。
【0114】
当業者は、本明細書に開示される実施形態に関連して説明される様々な実例となる論理ブロック、モジュール、回路、及びアルゴリズムが、電子的ハードウェア、メモリまたは別のコンピュータ可読媒体に記憶される命令として実施されてもよく、プロセッサ、または他の処理装置、または、両方の組み合わせによって実行されてもよいとさらに理解するであろう。本明細書にて説明されるシステムの構成要素は、例として、任意の回路、ハードウェア構成要素、集積回路（ＩＣ）またはＩＣチップなどにて用いられてもよい。本明細書にて開示されるメモリは、任意の種類及びサイズのメモリであってもよく、任意の種類の所望の情報を記憶するように構成されてもよい。この互換性を明確に示すために、様々な実例となる構成要素、ブロック、モジュール、回路、及びステップが、それらの機能性に関して一般的に上述されてきた。どのようにそのような機能性が実施されるかは、システム全体に課せられる、特定の用途、設計上の選択、及び／または設計上の制約に依存する。当業者は、それぞれの特定の用途に関して様々な方法で説明された機能性を実施してもよく、しかしながら、そのような実施決定は、本実施形態の範囲からの逸脱を引き起こすと解釈されるべきではない。
【0115】
本明細書にて開示される実施形態と関連して説明される様々な実例となる論理ブロック、モジュール及び回路は、本明細書にて説明された機能を実施するように構成された、プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、ＡＳＩＣ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または、他のプログラマブルロジックデバイス、個別のゲートまたはトランジスタ論理回路、個別のハードウェア構成要素、またはそれらの任意の組み合わせにて実現または実施されてもよい。さらに、コントローラはプロセッサであってもよい。プロセッサは、マイクロプロセッサであってもよく、しかしながら代わりに、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または、状態機械であってもよい。プロセッサは、計算装置の組み合わせ（例えば、ＤＳＰと、１つのマイクロプロセッサ、複数のマイクロプロセッサ、ＤＳＰコアに連結される１つ以上のマイクロプロセッサ、または任意の他のこのような構成との組み合わせ）として実施されてもよい。
【0116】
本明細書にて開示される実施形態は、ハードウェア、及び、ハードウェアに記憶される命令に具体化されてもよく、例えば、ＲＡＭ、フラッシュメモリ、ＲＯＭ、電気的プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ－ＲＯＭ、または、当該技術分野において周知の任意の他の形態のコンピュータ可読媒体の中に存在してもよい。記憶媒体は、プロセッサが記憶媒体から情報を読み込み、記憶媒体に情報を書き込むことができるように、プロセッサと結合される。あるいは、記憶媒体は、プロセッサと一体化されてもよい。プロセッサ及び記憶媒体は、ＡＳＩＣの中に存在してもよい。ＡＳＩＣは、遠隔局に存在してもよい。あるいは、プロセッサ及び記憶媒体は、個別の構成要素として、遠隔局、基地局、またはサーバに存在してもよい。
【0117】
なお、本明細書の実施形態の何れかに説明される動作ステップは、例及び考察を提供するために説明されることに留意すべきである。説明される動作は、示される順序の他に多数の異なる順序で実施されてもよい。さらに、１つの動作ステップで説明される動作は、実際には複数の異なるステップにて実施されてもよい。加えて、実施形態において説明される１つ以上の動作ステップは、組み合わせられてもよい。当業者はまた、情報及び信号は、様々なテクノロジー及び技術の何れかを用いて表現され得ることを理解するであろう。例えば、上の説明を通して参照されたであろうデータ、命令、指令、情報、信号、ビット、シンボル、及びチップは、電圧、電流、電磁波、磁場、粒子、光場、または、これらの組み合わせによって表現されてもよい。
【0118】
本開示の精神及び範囲を逸脱することなく、本発明の技術に対して様々な修正及び変形がなされ得ることは当業者にとって明らかであろう。本発明の技術の精神及び本質を取り入れて開示される実施形態の修正、組み合わせ、サブコンビネーション及び変形は当業者に想到され得るので、本発明の技術は、添付の特許請求の範囲、及びそれらの均等の範囲内の全てを含むと解釈されるべきである。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図3D】
【図4A】
【図4B】
【図4C】
【図5A】
【図5B】
【図5C】
【図6】
【図7】