(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-01-31
(45)【発行日】2023-02-08
(54)【発明の名称】地形を意識したステッププランニングシステム
(51)【国際特許分類】
G05D 1/02 20200101AFI20230201BHJP
B25J 5/00 20060101ALI20230201BHJP
【ＦＩ】
G05D1/02 K
B25J5/00 E
【請求項の数】
26
(21)【出願番号】P 2021517959
(86)(22)【出願日】2019-08-15
(65)【公表番号】
(43)【公表日】2022-01-13
(86)【国際出願番号】 US2019046646
(87)【国際公開番号】W WO2020076418
(87)【国際公開日】2020-04-16
【審査請求日】2021-05-25
(31)【優先権主張番号】62/744,954
(32)【優先日】2018-10-12
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/288,205
(32)【優先日】2019-02-28
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】518096722
【氏名又は名称】ボストン ダイナミクス，インコーポレイテッド
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】ホイットマン，エリック
(72)【発明者】
【氏名】フェイ，ジーナ，クリスティーン
【審査官】今井 貞雄
(56)【参考文献】
【文献】特開２００９－２２３６２８（ＪＰ，Ａ）
【文献】特開２００６－２３９８４４（ＪＰ，Ａ）
【文献】特開２００６－０１１８８０（ＪＰ，Ａ）
【文献】特開２０１０－２５３５８５（ＪＰ，Ａ）
【文献】特開２００５－０８８１８９（ＪＰ，Ａ）
【文献】特開２０１４－１５１３７０（ＪＰ，Ａ）
【文献】米国特許第０９５９４３７７（ＵＳ，Ｂ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０５Ｄ １／０２
Ｂ２５Ｊ ５／００
(57)【特許請求の範囲】
【請求項1】
方法（１０００）であって、少なくとも１つの画像センサ（３１）から、ボディ（１１）と脚部（１２）とを備えるロボット（１０）の環境（８）の画像データ（１７）を、前記ロボット（１０）のデータ処理ハードウェア（３６）で受信することと、
前記データ処理ハードウェア（３６）によって、前記画像データ（１７）に基づいて、ボディ障害物を含むボディ－障害物マップ（１１２）、地上高さマップ（１１６）、およびステップ障害物を含むステップ－障害物マップ（１１４）を生成することと、
前記データ処理ハードウェア（３６）によって、前記ステップ－障害物マップを使用せずに、前記ボディ－障害物マップ（１１２）の前記ボディ障害物に基づいて、スタート場所からターゲット場所までの前記ロボット（１０）の前記ボディ（１１）の動きのためのボディ経路（５１０）を生成することと、
前記データ処理ハードウェア（３６）によって、前記ボディ経路（５１０）、前記ボディ－障害物マップ（１１２）、前記地上高さマップ（１１６）、および前記ステップ－障害物マップ（１１４）に基づいて、前記スタート場所から前記ターゲット場所までの前記ロボット（１０）の前記脚部（１２）の動きのためのステップ経路（３５０）を生成することと、を含み、前記ステップ経路は前記ロボットの前記脚部のためのステップを識別して、前記ステップ－障害物マップの前記ステップ障害物を回避する、方法（１０００）。
【請求項2】
前記画像データ（１７）は、３次元体積画像センサによって捕捉された３次元点群データを含む、請求項１に記載の方法（１０００）。
【請求項3】
前記少なくとも１つの画像センサ（３１）は、ステレオカメラ、走査型光検知測距（ＬＩＤＡＲ）センサ、または走査型レーザ検知測距（ＬＡＤＡＲ）センサのうちの１つ以上を含む、請求項１または２に記載の方法（１０００）。
【請求項4】
前記データ処理ハードウェア（３６）によって、前記画像データ（１７）に基づいて、前記環境（８）内の空間の占有を識別することと、前記データ処理ハードウェア（３６）によって、前記環境（８）内の空間の占有の識別に基づいて、３次元空間占有マップ（２００）を生成することと、をさらに含み、
前記画像データ（１７）に基づいて、前記ボディ－障害物マップ（１１２）、前記地上高さマップ（１１６）、および前記ステップ－障害物マップ（１１４）を生成することは、
前記３次元空間占有マップ（２００）に基づいて、前記ボディ－障害物マップ（１１２）を生成することと、
前記３次元空間占有マップ（２００）に基づいて、前記地上高さマップ（１１６）を生成することであって、前記地上高さマップ（１１６）は、前記ロボット（１０）の近くの各場所における地面（９）の高さを識別することと、
前記地上高さマップ（１１６）に基づいて、前記ステップ－障害物マップ（１１４）を生成することであって、前記ステップ－障害物マップ（１１４）は、前記ロボット（１０）が踏むべきでない前記環境（８）におけるステップ不可領域（２１３）を識別することと、を含む、請求項１～３のいずれか一項に記載の方法（１０００）。
【請求項5】
前記ボディ－障害物マップ（１１２）を生成することは、前記３次元空間占有マップ（２００）に基づいて、２次元ボディ－障害物マップ（１１２）を生成することを含む、請求項４に記載の方法（１０００）。
【請求項6】
前記３次元空間占有マップ（２００）は、ボクセル（２１２）を有するボクセルマップ（２００）を含み、各ボクセル（２１２）は、前記環境（８）の３次元空間を表す、請求項４または５に記載の方法（１０００）。
【請求項7】
各ボクセル（２１２）は、地面（９）、障害物、またはその他のいずれかに分類される、請求項６に記載の方法（１０００）。
【請求項8】
前記データ処理ハードウェア（３６）によって、前記３次元空間占有マップ（２００）をフィルタ処理して、前記ボディ－障害物マップ（１１２）を生成することをさらに含む、請求項４～７のいずれか一項に記載の方法（１０００）。
【請求項9】
前記ボディ経路（５１０）を生成することは、前記ボディ－障害物マップ（１１２）において指定されたボディ不可領域に基づく、請求項１～８のいずれか一項に記載の方法（１０００）。
【請求項10】
前記ステップ経路（３５０）を生成することは、前記ロボット（１０）に対する公称歩行の公称ステップパターンおよびステップ制約を調整することに基づく、請求項１～９のいずれか一項に記載の方法（１０００）。
【請求項11】
前記ステップ制約（３４２）は、地面（９）と接触している各脚部（１２）に対する圧力中心オフセットの閾値範囲であって、前記圧力中心オフセットが各ステップにおける各脚部（１２）に対するロボット（１０）の重量配分の許容量を示す、閾値範囲、
前記ステップ経路（３５０）が、前記ステップ－障害物マップ（１１４）のステップ不可領域（２１３）に脚部を踏み込ませるかどうか、
前記ステップ経路（３５０）が、前記ロボット（１０）の前記ボディ（１１）をボディ障害物（５２０）に入らせるかどうか、
前記ステップ経路（３５０）が前記ロボット（１０）の自己衝突を引き起こすかどうか、または
前記ステップ－障害物マップ（１１４）の任意のステップ不可領域（２１３）の周囲の空間のマージン、のうちの少なくとも１つを含む、請求項１０に記載の方法（１０００）。
【請求項12】
前記ステップ制約（３４２）は、ソフト制約またはハード制約を含む、請求項１１に記載の方法（１０００）。
【請求項13】
前記ロボット（１０）の前記脚部（１２）のために前記ステップ経路（３５０）を生成することは、前記生成されたボディ経路（５１０）を改良することを含む、請求項１～１２のいずれか一項に記載の方法（１０００）。
【請求項14】
ロボット（１０）であって、ボディ（１１）と、
前記ボディ（１１）に連結され、前記ロボットの環境（８）の周囲で前記ロボット（１０）を操縦するよう構成されている脚部（１２）と、
前記脚部（１２）と通信しているデータ処理ハードウェア（３６）と、
前記データ処理ハードウェア（３６）と通信しているメモリハードウェア（３８）であって、前記データ処理ハードウェア（３６）上で実行されると、前記データ処理ハードウェア（３６）に動作を実施させる命令を格納するメモリハードウェア（３８）と、を備え、前記動作は、
少なくとも１つの画像センサ（３１）から前記環境（８）の画像データ（１７）を受信することと、
前記画像データ（１７）に基づいて、ボディ障害物を含むボディ－障害物マップ（１１２）、地上高さマップ（１１６）、およびステップ障害物を含むステップ－障害物マップ（１１４）を生成することと、
前記ステップ－障害物マップを使用せずに、前記ボディ－障害物マップ（１１２）の前記ボディ障害物に基づいて、スタート場所からターゲット場所までの前記ロボット（１０）の前記ボディ（１１）の動きのためのボディ経路（５１０）を生成することと、
前記ボディ経路（５１０）、前記ボディ－障害物マップ（１１２）、前記地上高さマップ（１１６）、および前記ステップ－障害物マップ（１１４）に基づいて、前記スタート場所から前記ターゲット場所までの前記ロボット（１０）の前記脚部（１２）の動きのためのステップ経路（３５０）を生成することと、を含み、前記ステップ経路は前記ロボットの前記脚部のためのステップを識別して、前記ステップ－障害物マップの前記ステップ障害物を回避する、ロボット（１０）。
【請求項15】
前記画像データ（１７）は、３次元体積画像センサによって捕捉される３次元点群データを含む、請求項１４に記載のロボット（１０）。
【請求項16】
前記少なくとも１つの画像センサ（３１）は、ステレオカメラ、走査型光検知測距（ＬＩＤＡＲ）センサ、または走査型レーザ検知測距（ＬＡＤＡＲ）センサのうちの１つ以上を含む、請求項１４または１５に記載のロボット（１０）。
【請求項17】
前記動作は、前記画像データ（１７）に基づいて前記環境（８）内の空間の占有を識別することと、
前記環境（８）内の空間の占有の識別に基づいて３次元空間占有マップ（２００）を生成することと、をさらに含み、
前記画像データ（１７）に基づいて、前記ボディ－障害物マップ（１１２）、前記地上高さマップ（１１６）、および前記ステップ－障害物マップ（１１４）を生成することは、
前記３次元空間占有マップ（２００）に基づいて、前記ボディ－障害物マップ（１１２）を生成することと、
前記３次元空間占有マップ（２００）に基づいて、前記地上高さマップ（１１６）を生成することであって、前記地上高さマップ（１１６）が前記ロボット（１０）の近くの各場所において地面（９）の高さを識別することと、
前記地上高さマップ（１１６）に基づいて、前記ステップ－障害物マップ（１１４）を生成することであって、前記ステップ－障害物マップ（１１４）は、前記ロボット（１０）が踏むべきでない前記環境（８）におけるステップ不可領域（２１３）を識別することと、を含む、請求項１４～１６のいずれか一項に記載のロボット（１０）。
【請求項18】
前記ボディ－障害物マップ（１１２）を生成することは、前記３次元空間占有マップ（２００）に基づいて、２次元ボディ－障害物マップ（１１２）を生成することを含む、請求項１７に記載のロボット（１０）。
【請求項19】
前記３次元空間占有マップ（２００）は、ボクセル（２１２）を有するボクセルマップ（２００）を含み、各ボクセル（２１２）は、前記環境（８）の３次元空間を表す、請求項１７～１８のいずれか一項に記載のロボット（１０）。
【請求項20】
各ボクセル（２１２）は、地面（９）、障害物、またはその他のいずれかに分類される、請求項１９に記載のロボット（１０）。
【請求項21】
前記動作は、前記３次元空間占有マップ（２００）をフィルタ処理して、前記ボディ－障害物マップ（１１２）を生成することをさらに含む、請求項１７～２０のいずれか一項に記載のロボット（１０）。
【請求項22】
前記ボディ経路（５１０）を生成することは、前記ボディ－障害物マップ（１１２）において指定されるボディ不可領域に基づく、請求項１４～２１のいずれか一項に記載のロボット（１０）。
【請求項23】
前記ステップ経路（３５０）を生成することは、前記ロボット（１０）に対する公称歩行の公称ステップパターンおよびステップ制約を調整することに基づく、請求項１４～２２のいずれか一項に記載のロボット（１０）。
【請求項24】
前記ステップ制約（３４２）は、地面（９）と接触する各脚部（１２）に対する圧力中心オフセットの閾値範囲であって、前記圧力中心オフセットは、各ステップにおける各脚部（１２）に対するロボット（１０）の重量配分の許容量を示す、閾値範囲、
前記ステップ経路（３５０）が、前記ステップ－障害物マップ（１１４）のステップ不可領域（２１３）に脚部を踏み込ませるかどうか、
前記ステップ経路（３５０）が、前記ロボット（１０）の前記ボディ（１１）をボディ障害物（５２０）に入らせるかどうか、
前記ステップ経路（３５０）が前記ロボット（１０）の自己衝突を引き起こすかどうか、または
前記ステップ－障害物マップ（１１４）の任意のステップ不可領域（２１３）の周囲の空間のマージン、のうちの少なくとも１つを含む、請求項２３に記載のロボット（１０）。
【請求項25】
前記ステップ制約（３４２）は、ソフト制約またはハード制約を含む、請求項２４に記載のロボット（１０）。
【請求項26】
前記ロボット（１０）の前記脚部（１２）のために前記ステップ経路（３５０）を生成することは、前記生成されたボディ経路（５１０）を改良することを含む、請求項１４～２５のいずれか一項に記載のロボット（１０）。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、制約、特に、地形によって課せられる制約がある場合に一連のステップをプランニングすることに関する。
【背景技術】
【0002】
ロボットデバイスは、さまざまなタスクまたは機能を実施するために、制約された環境、または別様に雑然とした環境においてますます使用されている。これらのロボットデバイスは、障害物を踏む、または障害物にぶつかることなく、これらの制約された環境内をナビゲートすることが必要となり得る。これらのロボットデバイスが普及するにつれて、バランスとスピードを維持しながら障害物との接触を回避するリアルタイムなナビゲーションおよびステッププランニングが必要となる。
【発明の概要】
【0003】
本開示の一態様は、制約がある場合に一連のステップをプランニングする方法を提供する。この方法は、ロボットのデータ処理ハードウェアで、少なくとも１つの画像センサからロボットの周囲の環境の画像データを受信することを含む。ロボットはボディと脚部とを含む。この方法はまた、画像データに基づいて、ボディ－障害物マップ、地上高さマップ、およびステップ－障害物マップをデータ処理ハードウェアによって生成することを含む。この方法はさらに、ボディ－障害物マップに基づいて、環境内を移動しているロボットのボディの動きのためのボディ経路をデータ処理ハードウェアによって生成すること、ならびにボディ経路、ボディ－障害物マップ、地上高さマップ、およびステップ－障害物マップに基づいて、環境内を移動しているロボットの脚部のためのステップ経路をデータ処理ハードウェアによって生成することを含む。
【0004】
本開示の実装形態は、以下の任意選択的な機能のうちの１つ以上を含み得る。いくつかの実装形態では、画像データは、３次元体積画像センサによって捕捉された３次元点群データを含む。少なくとも１つの画像センサは、ステレオカメラ、走査型光検知測距（ＬＩＤＡＲ）センサ、または走査型レーザ検知測距（ＬＡＤＡＲ）センサのうちの１つ以上を含み得る。
【0005】
いくつかの例では、この方法は、データ処理ハードウェアによって、画像データに基づいて、環境内の空間の占有を、データ処理ハードウェアによって識別し、環境内の空間の占有の識別に基づいて３次元空間占有マップを生成することを含む。画像データに基づいてボディ－障害物マップ、地上高さマップ、およびステップ－障害物マップを生成することは、３次元空間占有マップに基づいて、ボディ－障害物マップを生成することと、３次元空間占有マップに基づいて地上高さマップを生成することと、地上高さマップに基づいてステップ－障害物マップを生成することと、を含んでもよい。地上高さマップは、ロボットの近くの各場所での地面の高さを識別し、ステップ－障害物マップは、ロボットが踏むべきでない環境内のステップ不可領域を識別する。任意選択的に、ボディ－障害物マップを生成することは、３次元空間占有マップに基づいて、２次元ボディ－障害物マップを生成することを含む。
【0006】
いくつかの例では、３次元空間占有マップは、ボクセルを有するボクセルマップを含み得、各ボクセルは、環境の３次元空間を表す。各ボクセルは、地上、障害物、またはその他のいずれかに分類され得る。加えて、デバイスは、３次元空間占有率マップをデータ処理ハードウェアによってフィルタ処理して、ボディ－障害物マップを生成することをさらに含み得る。いくつかの実装形態では、ボディ経路を生成することは、ボディ－障害物マップにおいて指定されたボディ不可領域に基づく。いくつかの例では、ステップ経路を生成することは、ロボットに対する公称歩行の公称ステップパターンおよびステップ制約を調整することに基づく。ステップ制約は、地上と接触している各脚部の圧力中心オフセットの閾値範囲であって、圧力中心オフセットが、各ステップにおける各脚部に対するロボットの重量配分の許容量を示す、閾値範囲、ステップ経路が、ステップ－障害物マップのステップ不可領域に脚部を踏み込ませるかどうか、ステップ経路が、ロボットのボディをボディ障害物に入らせるかどうか、ステップ経路がロボットの自己衝突を引き起こすかどうか、または、ステップ－障害物マップの任意のステップ不可領域の周囲の空間のマージン、のうちの少なくとも１つを含み得る。加えて、ステップ制約は、ソフト制約またはハード制約を含み得る。いくつかの実装形態では、ロボットの脚部のためにステップ経路を生成することは、生成されたボディ経路を改良することを含む。
【0007】
本開示の別の態様は、ロボットを提供する。ロボットは、ボディと、ボディに連結され、環境の周囲でロボットを操縦するように構成されている脚部と、脚部と通信しているデータ処理ハードウェアと、データ処理ハードウェアと通信しているメモリハードウェアとを含む。メモリハードウェアは、データ処理ハードウェア上で実行されると、データ処理ハードウェアに動作を実行させる命令を格納している。動作は、少なくとも１つの画像センサからロボットの周囲の環境の画像データを受信することを含む。動作は、環境内の空間の占有の識別に基づいて３次元空間占有マップを、および３次元空間占有マップに基づいて２次元ボディ－障害物マップを生成することも含む。動作は、画像データに基づいて、ボディ－障害物マップ、地上高さマップ、およびステップ－障害物マップを生成することも含む。動作は、ボディ－障害物マップに基づいて環境内を移動しているロボットのボディの動きのためのボディ経路を生成すること、およびボディ経路、ボディ－障害物マップ、地上高さマップ、およびステップ－障害物マップに基づいて環境内を移動しているロボットの脚部のためのステップ経路を生成することも含む。
【0008】
本態様は、以下の任意選択的な機能のうちの１つ以上を含んでもよい。いくつかの実装形態では、画像データは、３次元体積画像センサによって捕捉された３次元点群データを含む。いくつかの例では、少なくとも１つの画像センサは、ステレオカメラ、走査型光検知測距（ＬＩＤＡＲ）センサ、または走査型レーザ検知測距（ＬＡＤＡＲ）センサのうちの１つ以上を含む。
【0009】
いくつかの例では、動作は、画像データに基づいて環境内の空間の占有を識別することと、環境内の空間の占有の識別に基づいて３次元空間占有マップを生成することと、を含む。画像データに基づいて、ボディ－障害物マップ、地上高さマップ、およびステップ－障害物マップを生成することは、３次元空間占有マップに基づいてボディ－障害物マップを生成することと、３次元空間占有マップに基づいて地上高さマップを生成することと、地上高さマップに基づいてステップ－障害物マップを生成することと、を含み得る。地上高さマップは、ロボットの近くの各場所における地面の高さを識別し、ステップ－障害物マップは、ロボットが踏むべきでない環境におけるステップ不可領域を識別する。任意選択的に、ボディ－障害物マップを生成することは、３次元空間占有マップに基づいて、２次元ボディ－障害物マップを生成することを含む。
【0010】
３次元空間占有マップは、ボクセルを有するボクセルマップを含み得、各ボクセルは、環境の３次元空間を表す。各ボクセルは、地面、障害物、またはその他のいずれかに分類され得る。いくつかの例において、動作は、３次元空間占有マップをフィルタ処理してボディ－障害物マップを生成することをさらに含む。ボディ経路は、ボディ－障害物マップにおいて指定されるボディ不可領域に基づいてもよく、ステップ経路は、ロボットに対する公称歩行の公称ステップパターンおよびステップ制約を調整することに基づいてもよい。いくつかの実装形態では、ステップ制約は、地面と接触する各脚部の圧力中心オフセットの閾値範囲であって、圧力中心オフセットが各ステップにおける各脚部に対するロボットの重量配分の許容量を示す、閾値範囲、ステップ経路が、ステップ－障害物マップのステップ不可領域に脚部を踏み込ませるかどうか、ステップ経路がロボットのボディをボディ障害物に入らせるかどうか、ステップ経路がロボットの自己衝突を引き起こすかどうか、またはステップ－障害物マップの任意のステップ不可領域の周囲の空間のマージン、のうちの少なくとも１つを含む。ステップ制約は、ソフト制約またはハード制約を含み得る。いくつかの実装形態では、ロボットの脚部のためにステップ経路を生成することは、生成されたボディ経路を改良することを含む。
【0011】
本開示の１つ以上の実装形態の詳細は、添付図面および以下の説明において記述される。他の態様、特徴、および利点は、説明および図面、ならびに特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【0012】
【図1】制約がある場合に一連のステップをプランニングする例示的なシステムの概略図である。
【図2A】ボクセルの体積３次元マップの等角図である。
【図2B】階段を含む環境の斜視図である。
【図4】最終的なステッププランを生成するための例示的な方法のフローチャートである。
【図5】例示的なボディ－障害物マップ上に重ねられた例示的なボディ経路の概略図である。
【図6】例示的なステップ不可マップ上に重ねられたボディ経路をたどるための速いケイデンスに関連付けられるステップ場所の概略図である。
【図7】例示的なステップ不可マップ上に重ねられた遅いケイデンスに関連付けられるステップ場所の概略図である。
【図8】例示的なステップ不可マップ上に重ねられた中間のケイデンスに関連付けられるステップ場所の概略図である。
【図9】例示的なステップ不可マップ上に重ねられた選択された歩行に関連付けられるステップ場所の最終的なステッププランである。
【図10】ステッププランのための地形および制約プランニングの例示的な方法のフローチャートである。
【図11】ステッププランのための地形および制約プランニングの別の例示的な方法のフローチャートである。
【図12】ステッププランのための地形および制約プランニングの別の例示的な方法のフローチャートである。
【図13】本明細書に記載のシステムおよび方法を実装するために使用することができる例示的なコンピューティングデバイスの概略図である。
【0013】
各種図面中の同様の参照記号は、同様の要素を示す。
【発明を実施するための形態】
【0014】
脚型ロボットデバイス（「ロボット」とも称される）が普及するにつれて、多くの点で制約されている環境内をロボットがナビゲートする必要性が高まっている。例えば、ロボットは、床に大小の物体が散らばっている雑然とした部屋を横断する必要がある場合もある。または、別の例として、ロボットは階段を迂回する必要がある場合もある。典型的には、このような種類の環境をナビゲートすることは、遅くて骨の折れるプロセスであり、脚型ロボットが頻繁に停止する、物体と衝突する、および／またはバランスを崩す結果となる。本明細書の実装形態は、リアルタイムでステッププランを生成するための地形および制約プランニングのためのシステムおよび方法を対象としており、それにより、脚型ロボットデバイスは、滑らかさとバランスを維持しながら、迅速かつ効率的に制約された環境内をナビゲートすることが可能となる。
【0015】
図１を参照するに、ロボットまたはロボットデバイス１０は、２本以上の脚部１２を有するボディ１１を含み、ロボット１０が制約された環境８内をナビゲートすることを可能にするためのステッププランニングシステム１００を実行する。各脚部１２は、ボディ１１に連結され、脚関節部１８によって分離されている上部分１４および下部分１６を有し得る。各脚部１２の下部分１６は、足部１９で終端する。各脚部の足部１９は、任意選択的であり、１本以上の脚部１２の下部分の終端部は、車輪に連結されてもよい。ロボット１０は、重力の方向に沿った垂直方向の重力軸Ｖｇと、ロボット１０の分布質量の重み付けされた相対位置が合計してゼロとなる点である質量の中心ＣＭと、を有する。さらに、ロボット１０は、垂直方向の重力軸Ｖｇ（すなわち、重力に対して固定された基準フレーム）に対するＣＭに基づいたポーズＰを有し、ロボット１０によって採られる特定の姿勢またはスタンスを定義する。ロボット１０の姿勢は、空間におけるロボット１０の配向または角度位置によって定義され得る。ボディ１１に対する脚部１２による動きにより、ロボット１０のポーズＰ（すなわち、ロボットのＣＭの位置とロボット１０の姿勢または配向の組み合わせ）が変更される。
【0016】
いくつかの実装形態では、ロボット１０は、ボディ１１上に配置され、かつボディ１１に対して動くように構成された多関節アーム２０などの１つ以上の付属物をさらに含む。多関節アーム２０は、５自由度以上の自由度を有してもよい。さらに、多関節アーム２０は、マニピュレータアームまたは単に付属物と言い換えられてもよい。図示する例では、多関節アーム２０は、互いに対しておよびボディ１１に対しても回転可能な２つの部分２２、２４を含むが、多関節アーム２０は本開示の範囲から逸脱することなくその部分をより多くまたはより少なく含んでもよい。第１の部分２２は、多関節アーム関節部２６によって第２の部分２４から分離されてもよい。マニピュレータヘッド２８と言い換えてもよいエンドエフェクタ２８は、多関節アーム２０の第２の部分２４の遠位端に連結され得、物体を握る／掴むために１つ以上のアクチュエータ２９を含み得る。
【0017】
ロボット１０はまた、少なくとも１つの撮像センサまたはカメラ３１を備えた視覚システム３０を含み、各センサまたはカメラ３１は画角３２および視野３４内でロボット１０を囲む環境８の画像データまたはセンサデータを捕捉する。視覚システム３０は、画角３２を調節することによって視野３４を動かすか、または、カメラ３１をパンおよび／またはチルト（独立してまたはロボット１０を介して）させることで視野３４を任意の方向に動かすように構成されてもよい。代替的に、視覚システム３０は、視覚システム３０がロボット１０の周囲の大体３６０度の視野を捕捉するよう、多数のセンサまたはカメラ３１を含んでもよい。視覚システム３０は、カメラまたはセンサ３１によって捕捉された画像データから導出された画像データまたはセンサデータ１７をロボット１０のデータ処理ハードウェア３６に提供する。データ処理ハードウェア３６は、メモリハードウェア３８とデジタル通信しており、いくつかの実装形態では、リモートシステムでもよい。リモートシステムは、単一のコンピュータ、多数のコンピュータ、または、スケーラブル／エラスティックコンピューティングリソースおよび／もしくはストレージリソースを有する分散型システム（例えば、クラウド環境）でもよい。ロボット１０のステッププランニングシステム１００は、データ処理ハードウェア３６上で実行される。図示される例では、ステッププランニングシステム１００は、視覚システム３０から画像またはセンサデータ１７を受信し、かつ周囲の環境８における障害物を示す１つ以上のマップ１１２、１１４、１１６を生成する知覚システム１１０を含む。ステッププランニングシステム１００はまた、知覚システム１１０によって生成されたマップ１１２、１１４、１１６を受信し、かつボディ経路または軌道５１０（図５）を生成し、かつボディ経路５１０を用いてステップ経路またはステッププラン３５０を生成する制御システム３００を含む。ロボット１０は、ステッププラン３５０を用いて、ステッププラン３５０によって示される場所に足部１９または脚部１２の遠位端を置くことによってステッププラン３５０に従って環境８内を移動する。いくつかの実装形態では、ステッププランニングシステム１００の少なくとも一部分は、ロボット１０と通信しているリモートデバイス上で実行される。例えば、知覚システム１１０はリモートデバイス上で実行されて１つ以上のマップ１１２、１１４、１１６を生成することができ、ロボット１０上で実行される制御システム３００はリモートデバイスからマップ１１２、１１４、１１６を受信することができる。ここで、制御システム３００は、ボディ経路５１０およびステップ経路３５０を生成してもよい。任意選択的に、ステッププランニングシステム１００全体がリモートデバイス上で実行されてもよく、リモートデバイスがボディ経路５１０およびステップ経路３５０に基づいて環境８内を移動するようにロボット１０を制御／指示してもよい。
【0018】
いくつかの実装形態では、視覚システム３０のカメラ（複数可）３１は、１つ以上のステレオカメラ（例えば、１つ以上のＲＧＢＤステレオカメラ）を含む。他の例では、視覚システム３０は、走査型光検知測距（ＬＩＤＡＲ）センサ、または走査型レーザ検知測距（ＬＡＤＡＲ）センサなどの１つ以上のレーダセンサ、光スキャナ、飛行時間センサ、または、任意の他の３次元（３Ｄ）体積画像センサ（またはそのようなセンサの任意の組み合わせ）を含む。いくつかの実装形態では、視覚システム３０は、捕捉された画像またはセンサデータ１７に基づいて、環境８内の空間の占有を識別する。知覚システム１１０は、視覚システム３０によって捕捉された画像データ１７を用いて、３Ｄ点群を生成してもよい。点群とは、ロボット１０の周囲の環境８における物体の表面を表すデータ点のセットである。この点群より、知覚システム１１０は、環境８における以前に識別された空間の占有に基づいて、３Ｄ空間占有マップ２００（図２Ａ）を生成してもよい。いくつかの例では、知覚システム１１０は、ボクセル２１０、２１２の３Ｄ体積マップ２００、２００ａを生成する（図２Ａ）。各ボクセル２１０、２１２（すなわち、立方体）は、環境の３Ｄ空間を表す。各ボクセル２１０、２１２の大きさは、知覚システム１１０の忠実度、ならびに視覚システム３０およびデータ処理ハードウェア３６の処理能力に依存する。例えば、ロボット１０は、ロボット１０の周囲の環境８（例えば、各方向に数メートル）のボクセルマップ２００（すなわち、３Ｄ占有マップ）を生成することができ、このとき、各ボクセル２１０、２１２は３ｃｍの立方体である。知覚システム１１０は、さまざまな統計を各ボクセルについて格納してもよい。
【0019】
いくつかの実装形態では、知覚システム１１０は、物体を含む各ボクセル２１０、２１２を地面９、障害物、またはその他のいずれかとして（例えば、分類アルゴリズム、例えば、線形分類器、決定木、ニューラルネットワーク、専用ロジックなどを用いて）分類する。知覚システム１１０は、ボクセル２１０、２１２が表す点または空間をロボット１０が踏むことができると知覚システム１１０が決定した場合に、ボクセル２１０を地面９として分類する。例えば、ロボット１０は、歩道またはステップの表面を地面９として分類してもよい。知覚システム１１０は、ボクセル２１０、２１２によって表される点または空間をロボット１０が踏むことができないと知覚システム１１０が決定した場合に、ボクセル２１２を障害物として分類する。例えば、知覚システム１１０は、高すぎてロボットの脚部が到達できない物体、または、踏んだ場合にロボット１０が安定性（すなわち、バランス）を失う結果となる物体を障害物として分類する。その他となる第３の分類は、ロボット１０が安全に軽視するまたは無視することができるボクセル２１０、２１２に使用され得る。例えば、知覚システム１１０は、ロボット１０のはるか上方にある物体またはロボット１０から遠く離れている物体をその他として分類する。図２Ａは、地面ボクセル２１０、２１０ａ～ｎの平面および障害物ボクセル２１２、２１２ａ～ｎのグループ（すなわち、椅子）を含む単純なボクセルマップ２００、２００ａの例を示す。
【0020】
分類されたボクセル２１０、２１２を含む体積３Ｄマップ２００を用いて、知覚システム１１０はボディ－障害物マップ１１２を生成する。いくつかの実装形態では、ボディ－障害物マップ１１２は、ロボット１０のボディ１１に対する「立ち入り禁止エリア」または「ボディ不可領域」の注釈を付けるか、または図示する２次元（２Ｄ）マップを表す。つまり、ボディ－障害物マップ１１２は、各場所（すなわち、マップ１１２のピクセルであって、各ピクセルはロボット１０の環境８内の空間の列を表す）を、ロボット１０のボディ１１が進むのに安全な場所、またはロボット１０のボディ１１が進むのに安全でない場所として印を付ける２Ｄマップである。ボディ－障害物マップ１１２は、セル（例えば、ピクセル）のグリッドを含んでもよく、グリッドの各セルはブ－ル値（例えば、ボディが入ってもよい、またはボディが入ってはいけない）を含む。例えば、図２Ｂを参照すると、図２０１は手すりのある階段を含む環境８を示している。ロボット１０が階段を上り下りする場合、手すりはロボット１０のボディ１１にとって障壁となる（すなわち、手すりはボディ１１と接触する高さにある）。図２Ｃは、図２Ｂ（すなわち、階段の平面図）の階段の２Ｄ画像を表すボディ－障害物マップ１１２を示す。図２Ｃにおいて、違法なボディ領域（例えば、障害物ボクセル）２１２（すなわち、立ち入り禁止エリア）は、ロボット１０のボディが入ることができない、または入るべきでない（例えば、階段の手すり、壁、大きい障害物など）エリアを表す。
【0021】
図１および図２Ｄを参照すると、知覚システム１１０はまた、体積３Ｄマップ２００（または、以下により詳細に考察されるように、地上高さマップ１１６）を用いてステップ－障害物マップ１１４を生成する。いくつかの例では、ステップ－障害物マップ１１４は、ロボット１０の脚部１２によるステップに対する立ち入り禁止または「ステップ不可」領域２１３を示す２Ｄ平面マップを表す。つまり、ステップ－障害物マップ１１４は、ボディ－障害物マップ１１２と同様であるが、立ち入り禁止エリア２１３は、ロボット１０のステップ（すなわち、足部１９または脚部１２の遠位端）が「タッチダウン」するべきではないエリアを代わりに表す。つまり、足部１９または脚部１２の遠位端は立ち入り禁止領域２１３を通り越すことはできるが、足部１９は領域２１３内でステップを完了しない場合がある。ステップ－障害物マップ１１４は、セル（例えば、ピクセル）のグリッドを含んでもよく、グリッドの各セルはブ－ル値（例えば、ステップ可またはステップ不可）を含む。
【0022】
異なる考慮事項を使用して、ステップ－障害物マップ１１４対ボディ－障害物マップ１１２を生成してもよく、これにより、いくつかの障害物はボディ障害物、ステップ障害物、ボディおよびステップ障害物、または、いずれでもないに分類され得る。例えば、ロボット１０の脚部１２は、地面９の上のある距離でボディ１１を支持するため、ボディ１１は、地面９の近くにある障害物を安全に回避することができる。ステップ－障害物マップ１１４は、ロボット１０が脚部１２を介してどの高さまで踏むことができるかなどの態様も考慮することができる。さらに、いくつかの例では、ロボット１０の膝（すなわち、脚関節部１８）は、足部１９の前方または後方に突き出し、それにより、足部１９が置かれる場所が制限される（例えば、足部１９が持ち上げられて障害物上に置かれる前に十分に高い障害物に膝がぶつかる場合がある）。したがって、立ち入り禁止エリア２１３は、障害物がないことになっている地面９上のエリアを含むことができるが、ロボット１０のジオメトリおよびポーズにより、ロボット１０が立ち入り禁止エリア２１３を横切るとロボット１０のボディ１１は地面９上の障害物に接触し得る。
【0023】
概して、ボディ障害物として分類される障害物はステップ障害物としても分類されるが、その逆は必ずしも成立せず、ステップ障害物はボディ障害物（例えば、踏むことに関しては問題を生ずる高さであるが、ロボット１０のボディ１１が障害物と接触しない十分に低い障害物）として分類されない場合がある。いくつかの状況では、ボディ障害物はステップ障害物として分類されない場合がある。例えば、テーブルはボディ障害物であり得るが、ロボット１０はテーブルの下を踏む場合もある。知覚システム１１０は、ボディ障害物のすぐ横に足部を置くこと（すなわち、ボディ障害物の大きさを拡大すること）が実行不可能な場合もあるため、ボディ障害物をより大きいステップ障害物として分類してもよい。
【0024】
いくつかの実装形態では、知覚システム１１０は、ステップ障害物の広いエリアをボディ障害物として分類する。例えば、環境８のあるエリアが特に密集した数のステップ障害物を含み、そのエリアを横切ることが困難な場合、知覚システム１１０は、より良い最終的なステッププラン３５０（以下でより詳細に考察される）を得るために、ロボット１０のボディに衝撃を与える高さの障害物でないにも関わらず、エリア全体をボディ障害物として分類してもよい。いくつかの実装形態では、知覚システム１１０は、ロボット１０が物体と衝突する以外の理由であるに入らないことを確実にするために、エリアをボディ障害物として分類する。例えば、ユーザは、ロボット１０をある方向にまたはある経路に沿って方向付けることを望む場合がある。
【0025】
図２Ｄのステップ－障害物マップ１１４は、図２Ｂの階段を表している。図２Ｃのボディ－障害物マップ１１２と同様に、ステップ－障害物マップ１１４は、知覚システム１１０が、ロボット１０が踏むのに安全でないまたは有効でないと決定するエリア２１３、および、安全または有効であると決定するエリア２１０の概形を示している。例えば、階段の前の地面９および各個々のステップは、ステップ－障害物マップ１１４において有効として印が付けられている。
【0026】
図１に戻って参照すると、いくつかの実装形態では、知覚システム１１０はまた、３Ｄ体積マップ２００から地上高さマップ１１６を生成する。地上高さマップ１１６は、ロボット１０の近くの各場所における地面９の高さを識別する。つまり、地上高さマップ１１６は、地形図と同様に、基準点または高さに対する水平面内の各場所での地面９の高さを記録する２Ｄマップである。いくつかの例では、地上高さマップ１１６は、地面９の高さのみを示し、地面９の上方のどの表面も示さない。つまり、地上高さマップ１１６は、テーブルの表面の高さではなく、テーブルの下の地面９の高さをラベル付けすることができる。地上高さマップ１１６は、ステップ－障害物マップ１１４の生成を補助する（例えば、安全に横切るには地面が高すぎるまたは急すぎるため、ステップ障害物として印を付けるべき場合を決定する）ために使用されてもよい。知覚システム１１０は、例えば、３Ｄマップの各列において地面９として分類されたボクセル２１０の高さを決定することで、地上高さマップ１１６を生成する。同様に、ステップ－障害物マップ１１４は、地上高さマップ１１６から生成されてもよい。知覚システムは、任意選択的に、ボディ－障害物マップ１１２およびステップ－障害物マップ１１４の両方を符号付距離フィールドに（すなわち、符号付距離関数を用いて）処理する。
【0027】
ここで、図３を参照すると、ステッププランニングシステム１００の制御システム３００は、知覚システム１１０からマップ（ボディ－障害物マップ１１２、ステップ－障害物マップ１１４、および、地上高さマップ１１６）を受信し、環境８内をナビゲートするためにロボット１０によって使用されるステッププラン３５０（すなわち、ロボット１０が足部１９を置く場所のマップ）を生成する。いくつかの実装形態では、制御システム３００は、ボディ経路生成部３１０および制約されたステッププランナ３２０を含む。
【0028】
ボディ経路生成部３１０は、知覚システム１１０からボディ－障害物マップ１１２、およびロボット１０がナビゲートするべき位置３１１（すなわち、ロボット１０が向かおうとしているところ）を受信する。次に、ボディ経路生成部３１０は、ロボット１０が環境８内を移動する間、ボディ－障害物マップ１１２（図５）に注釈が付けられたボディ障害物５２０（図５）を回避するボディ軌道５１０（すなわち、ロボット１０のボディ１１がたどる経路）を生成する。ボディ経路生成部３１０は、リソースが集中しない方法またアルゴリズム（例えば、ポテンシャルフィールド法、急速に探索するランダムツリー、および／または軌道オプティマイザ）でボディ軌道またはボディ経路５１０を生成する。例えば、ポテンシャルフィールド法を用いて、ロボット１０が横切るおおよその経路５１０を表す平面軌道を迅速に生成するために、ボディ１１の簡略化されたモデルが使用される（例えば、運動量は考慮されず、位置のみを考慮して速度が計画される）。平面軌道は、ＣＭの水平運動およびロボット１０のヨーを含み得る。必ずしも最適ではないが、ボディ軌道５１０は、さらなる経路最適化のための理想的な開始点を提供する経路の良好な近似を迅速に提供する。特に、制御システム３００は、ステップ－障害物マップ１１４を使用せずにボディ軌道５１０を生成するため、ボディ経路５１０はボディ軌道５１０をたどった場合にロボット１０が踏むべき場所を提供しない。
【0029】
図３を引き続き参照すると、制約されたステッププランナ３２０は、ボディ経路生成部３１０からボディ軌道５１０を、最終的な制約されたステップ場所（例えば、ステッププラン）３５０を生成するための開始点として受信する。いくつかの例では、制約されたステッププランナ３２０は、ロボット１０に公称ステップ場所を提供する歩行タイミング３３２を最初に決定する歩行決定部３３０を含む。つまり、歩行決定部３３０は、ステップ－障害物マップ１１４（図６）に提示されたステップ障害物６２０（図６）に対して、どの歩行（例えば、遅い歩き、速い歩き、急ぎ足など）が最適なステップ場所を提供するかを決定する。歩行決定部３３０は、任意選択的に、制約されたステッププランナ３２０から分離している。いくつかの実装形態では、歩行決定部３３０は、決定した歩行タイミング３３２をステップソルバ３４０に提供する。以下により詳細に説明するように、ステップソルバ３４０は、歩行タイミング３３２および１つ以上の制約３４２、３４２ａ～ｎを受け入れる。ステップソルバ３４０は、決定された歩行タイミング３３２の公称ステップ場所に制約３４２を適用し、最適化されたステッププラン３５０を求める。以下により詳細に説明するように、いくつかの実装形態では、制約３４２は、３４２は、圧力中心（ＣｏＰ）オフセット制約３４２ａ、ボディ立ち入り禁止制約３４２ｂ、ステップ立ち入り禁止制約３４２ｃ、自己衝突制約３４２ｄ、立ち入り禁止マージン制約３４２ｅ、およびバランス制約３４２ｆを含む。制約３４２は、制約３４２ａ～３４２ｆのうちの１つ以上に加えて、またはその代わりに１つ以上の他の制約を含み得る。
【0030】
いくつかの実装形態では、制約されたステッププランナ３２０は、さまざまな他の情報を受信する。例えば、制約されたステッププランナ３２０は、ロボット１０のＣＭの現在の位置および速度、足部のタッチダウンおよびリフトオフ情報（例えば、タイミング）、ならびにスイング足部の位置および／または速度を受信してもよい。制約されたステッププランナ３２０は、ボディ－障害物マップ１１２も受信し得る。いくつかの実装形態では、制約されたステッププランナ３２０はボディ経路軌道５１０を調整または改良する。調整が軽微な場合がある。例えば、制約されたステッププランナ３２０は、環境８内を進んで行くボディ１１の揺れを考慮することができる（簡略化されたボディ経路軌道５１０においては考慮されない）。場合によっては、調整が重要な場合もある。例えば、簡略化されたボディ軌道５１０は、一旦歩行タイミング３３２が決定すると、物理的に不可能（例えば、無限の加速度を含む）であり得るか、または解を求めるのが困難となり得る。いくつかの実装形態では、制約されたステッププランナ３２０は、ロボット１０のボディ１１の並進のみを調整して、ヨー軌道を調整せず、他の実装形態では、ボディ１１の並進とヨーの両方を調整する。
【0031】
図４は、ステッププランニングシステム１００のプロセスフローを表す例示的なフローチャート４００を示している。工程４０２において、知覚システム１１０はボディ－障害物マップ１１２を作成し、工程４０４において制御システム３００はボディ－障害物マップ１１２を使用してボディ軌道またはボディ経路５１０を生成する。工程４０６において、知覚システム１１０はまた、ステップ－障害物マップ１１４を作成し、工程４０８において制御システム３００は、制約されたステッププランナ３２０の歩行決定部３３０を介して、平面ボディ経路５１０およびステップ－障害物マップ１１４を使用して歩行タイミング３３２を選択する。４１０において、制約されたステッププランナ３２０のステップソルバ３４０は、選ばれた歩行タイイング３３２、ボディ－障害物マップ１１２、およびステップ－障害物マップ１１４を使用して、最終的なステッププラン３５０（すなわち、ロボット１０がその足部１９を置く場所）の解を求める。
【0032】
図５は、ボディ障害物５２０の周りをナビゲートするためのボディ経路５１０を表す概略図５００を示している。例えば、フローチャート４００は、制御システム３００が、工程４０２で生成されたボディ－障害物マップ１１２を使用して、工程４０４でボディ経路５１０を生成することを表している。例えば、ポテンシャルフィールド法を用いて、制御システム３００のボディ経路生成部３１０は、点Ａから点Ｂまでボディ経路５１０をプロットして、１つ以上のボディ障害物５２０の周りをナビゲートする。ボディ障害物５２０は、ボディ１１がボディ－障害物ゾーン５２０を横切る／入った場合、ロボット１０のボディ１１が１つ以上の障害物と接触するボディ－障害物ゾーン５２０とも称され得る。つまり、ボディ－障害物ゾーン５２０によって画定されるエリアは、それ自体がボディ障害物を示すのではなく、むしろ、ボディ１１が１つ以上の障害物と接触するため、ロボット１０のボディ１１が入ることが許可されていないエリアを示している。ボディ経路生成部３１０は、経路５１０に沿って進むロボット１０のシミュレートされたボディ５３０を生成することでボディ経路５１０の有効性を確実にする。有効な経路は、例えば、シミュレートされたボディ５３０がボディ－障害物ゾーン５２０のいずれにも接触しない場合に結果として得られる。
【0033】
先で考察されるように、知覚システム１１０からステップ－障害物マップ１１４を受信した後、歩行決定部は、歩行を選択して公称ステップ場所を生成する。図６～図８をここで参照すると、いくつかの実装形態では、制約されたステッププランナ３２０の歩行決定部３３０は、いくつかの潜在的な歩行を分析して最適な公称ステップ場所を見つける。図６は、ステップ－障害物マップ１１４上にプロットされたボディ経路５１０をたどるための速いケイデンスと関連付けられるステップ場所６３０を表す概略図６００を示している。例えば、フローチャート４００は、制約されたステッププランナ３２０の歩行決定部３３０を介して、工程４０４において生成された平面ボディ経路５１０および工程４０６において生成されたステップ－障害物マップ１１４を使用して、工程４０８においてステップ場所６３０について速いケイデンスを有する歩行タイミング３３２を選択する、制御システム３００を表す。本明細書で使用する場合、「足部（ｆｅｅｔ）場所（複数可）」、「足部（ｆｏｏｔ）場所（複数可）」、および「ステップ場所（複数可）」という用語は互換的に使用される。
【0034】
歩行決定部３３０は、ステップ－障害物マップ１１４上にプロットされたボディ経路５１０から始まり、選択されたケイデンス（すなわち、ボディ１１がボディ経路５１０をたどり、脚部１２が選択されたケイデンスで動いた場合にロボット１０が踏む場所）に重ねる。図示する例では、ボディ経路５１０は、１つ以上のステップ障害物６２０と交差してもよいが、ボディ障害物５２０（ボディ経路生成部３１０によって以前に確実にされた）と交差しない。各ステップ場所６３０、６３０ａ～ｎがプロットされ、評価される。いくつかの実装形態では、歩行決定部３３０は、現在シミュレートされた歩行タイミングのステップ場所６３０の品質を反映するスコアを生成する。図６の速いケイデンスに対するスコアは、ステップ場所６３０とステップ障害物６２０（例えば、ステップ場所６３０がステップ障害物６２０と重なる場所）との間の軽微な衝突の数により、比較的低くてもよい。スコアは、ステップ障害物６２０との衝突の数、および衝突の激しさによって影響を及ぼされる。歩行決定部３３０は、障害物６２０を回避するためにステップ場所６３０がシフトされなくてはならない距離を強調してもよい。例えば、３つの障害物６２０とわずかに衝突するステップ場所６３０は、単一の障害物６２０と激しく衝突するステップ場所６３０よりも好ましい場合がある。
【0035】
図７は、ステップ－障害物マップ１１４上にプロットされたボディ経路５１０をたどるための遅いケイデンスと関連付けられるステップ場所６３０を表す概略図７００を示している。図６の速いケイデンスと関連付けられたステップ場所６３０と同様に、図７の遅いケイデンスは、非理想的なスコアにつながるステップ障害物６２０内のまたはそれと接触する多数のステップ場所６３０を提示する。他方では、図８の概略図８００は、ステップ－障害物マップ１１４上にプロットされたボディ経路５１０をたどるための中間のケイデンス（すなわち、図６の速いケイデンスよりも遅いが図７の遅いケイデンスよりも速い）とここで関連付けられているステップ場所６３０を表す。中間のケイデンスは、ステップ場所６３０とステップ障害物６２０との間の衝突の数が最も少なく、したがって、遅い、中間、および速いケイデンスのうち最も高いスコアを受信することができる。３つのケイデンスだけが具現化されているが、歩行決定部３３０が特定のケイデンスを選択する前に任意の数の歩行タイミングを評価してもよいことが理解されよう。分析された各歩行タイミングに割り当てられたスコアは、所与の制約を満たすために要求される最適化の量を反映し得る。公称ステップ場所６３０が違反する制約が多いほど（例えば、ステップ障害物６２０と衝突する）、より多くの最適化が必要となり得る。ステップ障害物およびボディ障害物の制約に加えて、スコアは、他の制約（例えば、スピード制約）を反映し得る。例えば、一部のタスクまたは環境では、遅いケイデンスが速いケイデンスよりも重み付けされる場合がある。
【0036】
ここで図９を参照すると、一旦歩行決定部が歩行タイミング３３２および公称ステップ場所６３０を選択すると、制約されたステッププランナ３２０のステップソルバ３４０が最終的なステッププラン３５０について解を求める（例えば、フローチャート４００のステップ４１０）。図９は、障害物マップ１１４上にプロットされたボディ経路５１０をたどるための選択された歩行タイミング３３２（例えば、ケイデンス）と関連付けられる最終的なステップ場所６３０を表す概略図９００を示す。ステップソルバ３４０は、ステップソルバ３４０が解を求める際に考慮するいくつかの制約３４２（すなわち、変数）を受け入れる。いくつかの例では、各制約３４２は「ハード」制約または「ソフト」制約である。ハード制約は、ステップソルバ３４０が違反することができず、それでも成功したステッププラン３５０を有する制約３４２である。例えば、特定のステップ障害物６２０を踏むことが壊滅的な結果（例えば、端から落ちる）につながる場合があるので、ステップ障害物６２０（例えば、落ちる端）を回避することは、ハード制約としてラベル付けされ得る。ソフト制約は、ステップソルバ３４０が満たそうとするが、成功したステッププラン３５０を達成するために、必要に応じて違反する場合がある制約３４２である。例えば、ステップソルバ３４０は、ステップ障害物６２０（すなわち、「マージン」制約３４２ｅ）の閾値距離内に入らないように制約３４２を有してもよい。閾値距離を維持することは理想的であるが、ステップソルバ３４０は、必要に応じて、（例えば、ハード制約への準拠を確実にするために）境界に侵入する場合もある。ソフト制約は、重み付けされてもよい。つまり、各制約３４２には、全ての制約を満たすことができない場合にステップソルバ３４０にどの制約を最初に違反するかを決定させる特定の重みまたは「柔軟さ」を与えてもよい。例えば、ステップソルバ３４０がマージン制約３４２ｅおよびバランス制約３４２ｆ（すなわち、ロボット１０のバランスを維持するための要件）を有する場合、ステップ障害物６２０からマージンを維持するよりもバランスを維持する方がより重要となり得るため、バランス制約３４２ｆがマージン制約３４２ｅよりも多く（例えば、「より厳しく」）重み付けされ得る。そのため、ステップソルバ３４０は、最初にまたはバランス制約３４２ｆよりも大幅にマージン制約３４２ｅを違反することを選んでもよい。
【0037】
制約３４２は、（ハードまたはソフト）等式制約（例えば、ｘ＝５）または不等式制約（例えば、ｘ＜＝５）でもよい。いくつかの実装形態では、ステップソルバ３４０はまた、制約３４２に服従しながら（または服従しようとしながら）コストを最小限にするように努める。コストは、ソフト等式制約と同等でもよい。つまり、場合によっては、ソフト制約は、ソルバ３４０によって最小限にされるべきコストと考えられてもよい。いくつかの制約（例えば、バランス制約３４２ｆ）は、コストまたはソフトな制約として扱われてもよい。例えば、ｘが５よりも大きい制約がない場合、例示的なコストおよび例示的な不等式な制約を追加しても同じ効果（同等の重み付けと想定して）が得られる。しかしながら、ｘが５未満である制約がない場合、コスト（または等式制約）を追加するとｘは５に近くなるが、不等式制約は効果がない。いくつかの実装形態では、ステップソルバ３４０は、コストおよびソフト不等式制約を使用し、ハード制約または等式制約を使用しない。
【0038】
ステップソルバ３４０は、任意の数の制約３４２について解を求めてもよい。先で考察されるように（図３）、ステップソルバ３４０はステップ／ボディ障害物エリアに入らないようにするための制約３４２ｂ、３４２ｃ、ステップ障害物６２０から閾値距離を保つためのマージン制約３４２ｅ、ならびに、バランスおよび／または安定性を維持するためのバランス制約３４２ｆを有してもよい。他の例では、ステップソルバ３４０は、地面９と接触する脚部１２（複数可）の圧力中心オフセットの閾値範囲を含む圧力中心オフセット制約３４２ａを受信してもよい。圧力中心オフセットは、各ステップにおける各脚部１２に対するロボット１０の重量配分（すなわち地面９と接触する脚部１２（複数可）間の重量配分）の許容量を示し得る。つまり、圧力中心オフセット制約３４２ａは、ロボットのステップに適用されるロボット１０の重量の割合が有効であることを確実にする。例えば、地面９と２本の足部が接触しているとき、ステップソルバ３４０は、第１の足部に１２０％（例えば、ロボット１０の全重量よりも２０％多い）、第２の足部に－２０％の垂直力を適用しないよう、制約されてもよく、このような妙技が不可能であるためである。別の例では、ステップソルバ３４０は、自己衝突制約３４２ｄを受信してもよい。つまり、ステップソルバ３４０がロボット１０をそれ自体と衝突させないようにすることを確実にする（例えば、第１の足部１９を第２の足部１９が既に位置する場所に置く）制約３４２ｄである。制約３４２は、ナビゲーションの前に予め決定されてもよい。制約３４２は、また、ナビゲーション中に変更、追加、または削除されてもよい。いくつかの例では、制約３４２が制御システムの外部のソース（例えば、ロボット１０のユーザまたは製造業者）から受信される一方で、他の例では、ステッププランニングシステム１００がロボット１０のセンサから受信したデータに基づいて自主的に制約３４２を生成する。
【0039】
ステップソルバ３４０に割り当てられた制約３４２を満たすよう、ステップソルバ３４０は、各ステップ場所６３０を調整してもよい。図９を引き続き参照すると、ステップ障害物回避制約３４２ｃは、ステップ場所６３０を障害物から「押しのける」か、または別様にそこからは離れるように調整してもよい。例えば、ステップ場所６３０ａは、立ち入り禁止境界６２０（立ち入り禁止制約３４２ｃに応じて生成される）のため、例えば、ステップ場所６３０ｂに動かされる。ステップソルバ３４０が元の公称ステップ場所からステップ場所６３０の場所を変更すると、調整は他のステップ場所６３０に対する変化へとカスケードまたは波及され得る。例えば、図９に例示されるように、ロボット１０がボディ軌道５１０に沿って動く際にバランスを維持するために、ステップソルバ３４０がステップ場所６３０ａを前もって調整することに応じて、ステップ場所６３０ｃがステップ場所６３０ｄに動かされてもよい。ステップソルバ３４０が最終的な制約されたステップ場所プラン３５０を完成すると、ロボット１０は進み始め、決定されたステップ場所６３０に対してその足部を置くことができる。進行中、ロボット１０は知覚システム１１０から受信した最近のマップ１１２、１１４、１１６に基づいて（同じまたは更新された制約３４２で）ステッププラン３５０を継続的に再実行または再生成し、それに応じて、適宜、ステッププラン３５０を適合または変えてもよい。
【0040】
理想的には、ステップソルバ３４０は２次プログラミング法を使用して、リアルタイムでステップソルバ３４０がステッププラン３５０を解くことができるようにしてもよい。２次プログラムは最適化問題を迅速に解くために線形制約を使用する。つまり、いくつかの例では、ステップソルバ３４０は、線形に制約されたいくつかの変数の２次関数を最小化または最大化する。図９を引き続き参照すると、アモルファス形状の障害物領域を線形に制約するために、ステップソルバ３４０は障害物の形状を厳密に近似するよう一連の直線９２０を描いてもよい。いくつかの例では、ステップソルバ３４０は、障害物の関連部分にのみ線形制約を適用する。他の例では、ステップソルバ３４０は、元々、いかなる制約３４２もなくステッププラン３５０の解を求め、次に、ステップソルバ３４０が最適化された最終的なステッププラン３５０を達成するまで、制約３４２を反復的に追加して中間ステッププランを再生成する。
【0041】
ステップソルバ３４０は、凸状制約の解を求めることで開始する場合がある。次に、ソルバ３４０は、凸状制約からの解を用いて、非凸状制約の最良の線形近似を反復的に決定する。例えば、スイングしている足部１９の現在の位置および速度、タッチダウンまでの既知の時間（すなわち、足部１９と地面９との間）、および足部１９の最大加速度に基づいて、ソルバ３４０は足部１９がタッチダウンし得る長方形の領域を決定してもよい。同様に、他の形状が他の領域を近似してもよい。例えば、各脚部１２は最大の長さを有するため、足部１９のタッチダウンは、腰からあまり遠くで起こらない場合がある。このエリアは八角形で表すことができる。足部１９のリフトオフは、足部１９のタッチダウンと同様に近似されてもよいが、長方形（八角形に対して）を代わりに使用してもよい。スタンス脚部１２は、自己衝突から守るために台形状の境界を有してもよい。
【0042】
そのため、ロボット１０のステッププランニングシステム１００は、正確なステッププラン３５０を決定することから、ボディ経路５１０を近似し決定することを切り離す。ボディ軌道５１０を最初に迅速に近似することにより、制御システム３００は、そうでなければ計算的に非効率的となるであろう正確な最終的なステッププラン３５０の迅速な最適化のために使用され得る合理的なファーストパスソリューションを生成する。このため、ステッププラン３５０は、ロボット１０が環境８内を移動する間にリアルタイムナビゲーションを可能にするために高周波数（例えば、３００Ｈｚ）で再生成されてもよい。知覚システム１１０は、制御システムとは異なる周波数で動作してもよい。つまり、制御システム３００がステッププラン３５０を決定するレートとは異なる（例えば、より遅い）レートで新しいマップが制御システム３００に提供されてもよい。制御システム３００による再生成の高周波数により、ロボット１０は、新しい知覚データ（例えば、新たに検知された物体）に迅速に適応し、予期せぬ運動状態（例えば、押されるか、またはぶつけられた後にバランスを維持する）に迅速に反応し、または新しい要件（例えば、スピードの増加または減少）に対応することが可能となる。
【0043】
図１０は、ステッププランのための地形および制約プランニングの例示的な方法１０００のフローチャートである。フローチャートは、動作１００２において、少なくとも１つの画像センサ３１からロボット１０の周囲の環境８の画像データ１７をロボット１０のデータ処理ハードウェア３６において受信することによって開始される。画像センサ３１は、ステレオカメラ、走査型光検知測距（ＬＩＤＡＲ）センサ、または走査型レーザ検知測距（ＬＡＤＡＲ）センサのうちの１つ以上を含んでもよい。いくつかの実装形態では、画像データ１７は、３次元体積画像センサによって捕捉された３次元点群データを含む。ロボット１０は、ボディ１１と、脚部１２と、を含む。工程１００４において、方法１０００は、データ処理ハードウェア３６によって、画像データ１７に基づいてボディ－障害物マップ１１２、ステップ－障害物マップ１１４、および地上高さマップ１１６を生成することを含む。
【0044】
工程１００６において、方法１０００は、データ処理ハードウェア３６によって、ボディ－障害物マップ１１２に基づいて、環境８内を移動しているロボット１０のボディ１１の動きのためのボディ経路５１０を生成することを含む。工程１００８において、方法１０００は、データ処理ハードウェア３６によって、ボディ経路５１０、ボディ－障害物マップ１１２、ステップ－障害物マップ１１４、および地上高さマップ１１６に基づいて、環境８内を移動しているロボット１０の脚部１２のためのステップ経路３５０を生成することを含む。
【0045】
図１１は、ステッププランのための地形および制約プランニングの別の例示的な方法１１００のフローチャートである。フローチャートは、動作１１０２において、少なくとも１つの画像センサ３１からロボット１０の周囲の環境８の画像データ１７をロボット１０のデータ処理ハードウェア３６で受信することによって開始される。画像センサ３１は、ステレオカメラ、走査型光検知測距（ＬＩＤＡＲ）センサ、または走査型レーザ検知測距（ＬＡＤＡＲ）センサのうちの１つ以上を含んでもよいいくつかの実装形態では、画像データ１７は、３次元体積画像センサによって捕捉された３次元点群データを含む。ロボット１０は、ボディ１１と、脚１２と、を含む。工程１１０４において、方法１１００は、データ処理ハードウェア３６によって、画像データ１７に基づいて、環境８内の空間の占有を識別することを含む。工程１１０６において、方法１１００は、データ処理ハードウェア３６によって、環境８内の空間の占有の識別に基づいて、３次元空間占有マップ２００を生成することを含む。いくつかの例では、３次元空間占有マップ２００は、ボクセル２１２を有するボクセルマップ２００、２００ａを含み、各ボクセル２１２は、環境８の３次元空間を表す。各ボクセル２１２は、地面９、障害物、または、その他のいずれかに分類され得る。工程１１０８において、方法１１００は、データ処理ハードウェア３６によって、３次元空間占有マップ２００に基づいて２次元ボディ－障害物マップ１１２を生成することを含む。工程１１１０において、方法１１００は、データ処理ハードウェア３６によって、３次元空間占有マップ２００に基づいて地上高さマップ１１６を生成することを含む。地上高さマップ１１６は、ロボット１０の近くの各場所における地面９の高さを識別する。
【0046】
工程１１１２において、方法１１００は、データ処理ハードウェア３６によって、地上高さマップ１１６に基づいてステップ－障害物マップ１１４を生成することを含み、ステップ－障害物マップ１１４は、ロボット１０が踏むべきでない環境８内のステップ不可領域２１３を識別する。工程１１１４において、方法１１００は、データ処理ハードウェア３６によって、２次元ボディ－障害物マップ１１２に基づいてロボット１０を環境内で移動させる場合に、ロボット１０のボディ１１の動きのためのボディ経路５１０を生成することを含む。いくつかの例では、ボディ経路５１０は、２次元ボディ－障害物１１２において指定されたボディ不可領域に基づく。工程１１１６において、方法１１００は、データ処理ハードウェア３６によって、ボディ経路５１０、ボディ－障害物マップ１１２、ステップ－障害物マップ１１４、および地上高さマップ１１６に基づいて、ロボット１０を環境８内で移動させる場合に、ロボット１０の脚部１２の動きのためのステップ経路３５０を生成することを含む。ステップ経路３５０は、ロボット１０の公称歩行の公称ステップパターンおよびステップ制約３４２に基づいてもよい。いくつかの実装形態では、ロボット１０の脚部１２についてステップ経路３５０を生成することは、生成されたボディ経路５１０を改良することを含む。いくつかの実装形態では、ステップ制約３４２は、以下のうちの少なくとも１つを含む：地面と接触する各脚部１２に対する圧力中心オフセットの閾値範囲であって、圧力中心オフセットは各ステップにおける各脚部１２に対するロボットの重量配分の許容量を示す、閾値範囲、ステップ経路３５０が、ステップ－障害物マップ１１４のステップ不可領域２１３に脚部１２を踏み込ませるかどうか、ステップ経路３５０が、ロボット１０のボディ１１をボディ障害物に入らせるかどうか、ステップ経路３５０が、ロボット１０の自己衝突を引き起こすかどうか、またはステップ－障害物マップ１１４の任意のステップ不可領域２１３の周囲の空間のマージン。任意選択的に、ステップ制約３４２は、ソフト制約または重み付けされた制約を含む。
【0047】
いくつかの実装形態では、方法１１００は、データ処理ハードウェア３６によって、３次元空間占有マップ２００をフィルタ処理して２次元ボディ－障害物マップ１１２を生成することを含む。フィルタ処理は、不完全に観察された障害物の周りの隙間を埋める、および／またはマップ１１２から偽のデータを除去し得る。
【0048】
図１２は、ステッププランのための地形および制約プランニングの別の例示的な方法１２００のフローチャートである。フローチャートは、動作１２０２において、２次元ボディ－障害物マップ１１２、ステップ－障害物マップ１１４、および地上高さマップ１１６をロボット１０のデータ処理ハードウェア３６で受信することによって開始される。ここで、ロボット１０のデータ処理ハードウェア３６は、データ処理ハードウェアと通信するリモートデバイスからマップ１１２、１１４、１１６を取得してもよい。例えば、リモートデバイスは、図１を参照して上で考察されるように、ロボット１０の視覚システム３０（図１）から画像データ１７（図１）を受信し、画像データ１７に基づいてマップ１１２、１１４、１１６を生成してもよい。地上高さマップ１１６は、ロボット１０の近くの各場所における地面９の高さを識別する。ステップ－障害物マップ１１４は、ロボット１０が踏むべきでない環境８内の場所を識別する。工程１２０４において、方法１２００は、データ処理ハードウェア３６によって、２次元ボディ－障害物マップ１１２に基づいて、ロボット１０を環境８内で移動させる場合に、ロボット１０のボディ１１の動きのためのボディ経路５１０を生成することを含む。工程１２０６において、方法１２００は、データ処理ハードウェア３６によって、ボディ経路５１０、ボディ－障害物マップ１１２、地上高さマップ１１６、およびステップ－障害物マップ１１４に基づいて、環境８内でロボット１０を移動させる場合にロボット１０の脚部１２の動きのためのステップ経路３５０を生成することを含む。
【0049】
図１３は、本文献に記載するシステムおよび方法（例えば、データ処理ハードウェア３６およびメモリハードウェア３８）を実装するために使用されてもよい例示的なコンピューティングデバイス１３００の概略図である。ここで図示する構成要素、それらの接続および関係、ならびにそれらの機能は、例示的なものにすぎず、本文献に記載するおよび／または主張する本発明の実装形態を制限することを意図するものではない。
【0050】
コンピューティングデバイス１３００は、プロセッサ１３１０（例えば、データ処理ハードウェア３６）、メモリ１３２０（例えば、メモリハードウェア３８）、ストレージデバイス１３３０、メモリ１３２０および高速拡張ポート１３５０に接続される高速インターフェース／コントローラ１３４０、ならびに低速バス１３７０およびストレージデバイス１３３０に接続される低速インターフェース／コントローラ１３６０を含む。構成要素１３１０、１３２０、１３３０、１３４０、１３５０、および１３６０の各々は、さまざまなバスを用いて相互接続され、共通のマザーボード上、または適宜他の方法で搭載されてもよい。プロセッサ１３１０は、メモリ１３２０またはストレージデバイス１３３０に格納された命令を含む、コンピューティングデバイス１３００内で実行する命令を処理して、高速インターフェース１３４０に連結されたディスプレイ１３８０のような外部入出力デバイス上のグラフィカルユーザインターフェース（ＧＵＩ）にグラフィカル情報を表示することができる。他の実装形態では、多数のメモリおよびメモリの種類と共に、適宜、多数のプロセッサおよび／または多数のバスが使用され得る。また、多数のコンピューティングデバイス１３００が接続されてもよく、各デバイスは、必要な動作の一部（例えば、サーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして）を提供する。
【0051】
メモリ１３２０は、コンピューティングデバイス１３００内に非一時的に情報を格納する。メモリ１３２０は、コンピュータ可読媒体、揮発性メモリユニット（複数可）、または不揮発性メモリユニット（複数可）でもよい。非一時的メモリ１３２０は、コンピューティングデバイス１３００による使用のために、一時的にまたは永続的にプログラム（例えば、命令のシーケンス）またはデータ（例えば、プログラム状態情報）を格納するために使用される物理的なデバイスでもよい。不揮発性メモリの例には、フラッシュメモリおよび読み取り専用メモリ（ＲＯＭ）／プログラマブル読み取り専用メモリ（ＰＲＯＭ）／消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）／電子的に消去可能なプログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）（例えば、通常、ブートプログラムなどのファームウェアに使用される）が含まれるが、これらに限定されない。揮発性メモリの例には、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、相変化メモリ（ＰＣＭ）、ならびにディスクまたはテープが含まれるが、これらに限定されない。
【0052】
ストレージデバイス１３３０は、コンピューティングデバイス１３００に大容量ストレージを提供することができる。いくつかの実装形態では、ストレージデバイス１３３０は、コンピュータ可読媒体である。さまざまな異なる実装形態では、ストレージデバイス１３３０は、フロッピーディスクデバイス、ハードディスクデバイス、光学ディスクデバイス、もしくはテープデバイス、フラッシュメモリもしくは他の同様のソリッドステートメモリデバイス、またはストレージエリアネットワークもしくは他の構成におけるデバイスを含むデバイスのアレイでもよい。追加的な実装形態では、コンピュータプログラム製品は、情報キャリアに有形に具現化される。コンピュータプログラム製品は、実行されると上述のような１つ以上の方法を実施する命令を含む。情報キャリアは、メモリ１３２０、ストレージデバイス１３３０、またはプロセッサ１３１０上のメモリのようなコンピュータまたは機械可読媒体である。
【0053】
高速コントローラ１３４０は、コンピューティングデバイス１３００に対する帯域幅集約型の動作を管理し、一方、低速コントローラ１３６０は、低帯域幅集約型の動作を管理する。このような作業の割り当ては、例示的にすぎない。いくつかの実装形態では、高速コントローラ１３４０は、メモリ１３２０および各種拡張カード（図示せず）を受容し得る高速拡張ポート１３５０に連結される。いくつかの実装形態では、低速コントローラ１３６０は、ストレージデバイス１３３０および低速拡張ポート１３９０に連結される。さまざまな通信ポート（例えば、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ、Ｅｔｈｅｒｎｅｔ、ワイヤレスＥｔｈｅｒｎｅｔ）を含み得る低速拡張ポート１３９０は、キーボード、ポインティングデバイス、スキャナのような１つ以上の入出力デバイス、または例えば、ネットワークアダプタを介してスイッチもしくはルータのようなネットワーキングデバイスに連結されてもよい。
【0054】
本明細書に記載のシステムおよび技術のさまざまな実装形態は、デジタル電子および／もしくは光回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、ならびに／またはそれらの組み合わせで実現することができる。これらのさまざまな実装形態は、ストレージシステム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスからデータおよび命令を受信し、かつ、それらにデータおよび命令を送信するよう連結された専用または汎用であってもよい少なくとも１つのプログラマブルプロセッサを含む、プログラマブルシステム上で実行可能および／または解釈可能な１つ以上のコンピュータプログラムにおける実装形態を含み得る。
【0055】
これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとしても知られている）は、プログラマブルプロセッサ用の機械命令を含み、高レベルの手続き型および／もしくはオブジェクト指向プログラミング言語で、ならびに／またはアセンブリ／機械語で実装することができる。本明細書で使用する場合、「機械可読媒体」および「コンピュータ可読媒体」といった用語は、機械可読信号として機械命令を受信する機械可読媒体を含む、プログラマブルプロセッサに機械命令および／またはデータを提供するよう使用される、任意のコンピュータプログラム製品、非一時的コンピュータ可読媒体、装置、および／またはデバイス（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指す。「機械可読信号」という用語は、プログラマブルプロセッサに機械命令および／またはデータを提供するために使用される任意の信号を指す。
【0056】
本明細書に記載のプロセスおよびロジックフローは、データ処理ハードウェアとも称される１つ以上のプログラマブルコンピュータが１つ以上のコンピュータプログラムを実行して、入力データを演算し、かつ出力を生成することで機能を実行することによって実施され得る。プロセスおよびロジックフローはまた、専用ロジック回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路）によって実施され得る。コンピュータプログラムの実行に好適なプロセッサには、例として、汎用および専用のマイクロプロセッサの両方、ならびに任意の種類のデジタルコンピュータのうちの任意の１つ以上のプロセッサが含まれる。概して、プロセッサは、読み取り専用メモリもしくはランダムアクセスメモリ、またはその両方から命令および／またはデータを受信することになる。コンピュータの必須要素は、命令を実行するためのプロセッサ、ならびに命令およびデータを格納するための１つ以上のメモリデバイスである。概して、コンピュータはまた、データを格納するための１つ以上の大容量ストレージデバイス、例えば、磁気ディスク、光磁気ディスク、もしくは光ディスクを含むか、または大容量ストレージデバイスからデータを受信、もしくはデータを転送、またはその両方を行うように動作可能に結合される。しかしながら、コンピュータは必ずしもそのようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを格納するのに好適なコンピュータ可読媒体は、不揮発性メモリ、媒体、およびメモリデバイスの全ての形態を含み、例として、半導体メモリデバイス、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイス、磁気ディスク、例えば、内蔵ハードディスクまたは取り外し可能ディスク、光磁気ディスク、ならびにＣＤ－ＲＯＭおよびＤＶＤ－ＲＯＭディスクが含まれる。プロセッサおよびメモリは、専用ロジック回路によって補足され、またはそれに組み込まれ得る。
【0057】
いくつかの実装形態が説明された。それにもかかわらず、本開示の精神および範囲から逸脱することなく、さまざまな変更がなされてもよいことが理解されよう。したがって、他の実装形態も以下の特許請求の範囲内にある。
【図1】
【図2A】
【図2B】
【図2C】
【図2D】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
