特許 7366225 自律型移動装置の最適なカバレッジ経路計画のための方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-12

(45)【発行日】2023-10-20

(54)【発明の名称】自律型移動装置の最適なカバレッジ経路計画のための方法及びシステム

(51)【国際特許分類】

   G05D 1/02 20200101AFI20231013BHJP

【ＦＩ】

G05D1/02 P

【請求項の数】 23

(21)【出願番号】P 2022179087

(22)【出願日】2022-11-08

(65)【公開番号】P2023071624

(43)【公開日】2023-05-23

【審査請求日】2022-11-08

(31)【優先権主張番号】63/278,169

(32)【優先日】2021-11-11

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/583,250

(32)【優先日】2022-01-25

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】517175046

【氏名又は名称】Ｒａｐｙｕｔａ Ｒｏｂｏｔｉｃｓ株式会社

(73)【特許権者】

【識別番号】000206211

【氏名又は名称】大成建設株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】アーユッシュ クマール ゴー

(72)【発明者】

【氏名】松崎 重一

(72)【発明者】

【氏名】中谷 晃治

(72)【発明者】

【氏名】樫本 高章

【審査官】今井 貞雄

(56)【参考文献】

【文献】米国特許出願公開第２００２／０１４７５６８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｄ １／０２

(57)【特許請求の範囲】

【請求項1】

方法であって、当該方法は、
プロセッサが、領域内の少なくとも１台のロボットに関連付けられた１つ又は複数のセンサからデータを受信するステップであって、前記データは、前記領域内の複数の視点から複数の姿勢で取り込まれる、ステップと、
前記プロセッサが、対応する視点で取り込んだ前記データ内で検出した１つ又は複数のオブジェクトと、対応する視点内の前記１つ又は複数のセンサによって取り込んだ前記１つ又は複数のオブジェクトの関心領域とに少なくとも基づいて、前記複数の視点の各視点に優先度コストを割り当てるステップと、
前記プロセッサが、１つ又は複数の目的関数を用いて前記複数の視点から最適な１組の視点を特定するステップであって、前記１つ又は複数の目的関数は、前記複数の視点の各視点に関連付けられた前記優先度コストと、対応する各視点のカバレッジ値とに少なくとも基づくものであり、視点の前記カバレッジ値は、前記対応する視点から前記１つ又は複数のセンサによって取り込まれた前記領域の面積を示す、ステップと、
前記プロセッサが、前記最適な１組の視点に少なくとも基づいて、前記少なくとも１台のロボットのカバレッジ経路を生成するステップであって、前記少なくとも１台のロボットは、前記カバレッジ経路を通過するように構成される、ステップと、を含む、
方法。

【請求項2】

前記データには、レーダー画像、ＲＧＢ画像、ライダー画像、及び赤外線画像のうちの少なくとも１つが含まれる、請求項１に記載の方法。

【請求項3】

前記１つ又は複数のセンサによって取り込んだ前記１つ又は複数のオブジェクトの前記関心領域は、前記１つ又は複数のオブジェクトの各オブジェクトの長さ、前記１つ又は複数のオブジェクトの各オブジェクトの幅、前記１つ又は複数のオブジェクトの各オブジェクトの大きさ、前記１つ又は複数のオブジェクトの各オブジェクトの面積、及び前記１つ又は複数のオブジェクトの各オブジェクトの体積のうちの少なくとも１つに対応する、請求項１に記載の方法。

【請求項4】

視点に関する前記カバレッジ値には、前記対応する視点から前記１つ又は複数のセンサによって取り込まれた前記領域内の複数のセルのうちの１つ又は複数のセルのセルインデックスが含まれる、請求項１に記載の方法。

【請求項5】

前記１つ又は複数の目的関数は、可視性マトリクス及び少なくとも１つのしきい値にさらに関連付けられ、
前記可視性マトリクスは、前記複数の視点の各視点に関連付けられた前記カバレッジ値に基づいて構成される、請求項４に記載の方法。

【請求項6】

前記カバレッジ経路を生成するステップは、
前記プロセッサが、前記少なくとも１台のロボットが前記最適な１組の視点を巡回するための通過順序を決定するステップを含む、請求項１に記載の方法。

【請求項7】

前記通過順序を決定するステップは、
前記プロセッサが、前記対応する最適な１組の視点同士の間の距離に基づいて、前記最適な１組の視点から最適な各対をなす視点同士の間の通過コストを決定するステップと、
前記プロセッサが、経路目的関数を用いて、前記少なくとも１台のロボットの前記通過順序を特定するステップと、を含み、
前記経路目的関数は、最適な各対をなす視点に関連付けられた前記通過コストと、前記最適な対をなす視点の少なくとも１つの最適な視点に関連付けられた前記優先度コストに基づいている、請求項６に記載の方法。

【請求項8】

キュービックベジェ曲線を用いた前記通過順序に基づいて、前記最適な１組の視点の第１の視点と第２の視点との間の滑らかな移行を生成する、請求項７に記載の方法。

【請求項9】

前記プロセッサが、通過順序の最適な対をなす視点同士の間を通過する前記少なくとも１台のロボットから受信した制御信号に基づいて、前記カバレッジ経路の再計画を開始するステップであって、前記制御信号は、前記１つ又は複数のセンサによって取り込んだ前記１つ又は複数のオブジェクトの各観察結果の質に基づいて、前記少なくとも１台のロボットによって生成され、前記再計画には、前記通過順序から次の最適な姿勢を選択することが含まれる、ステップと、
前記プロセッサが、前記通過順序の前記次の最適な姿勢に基づいて、前記少なくとも１台のロボットの前記カバレッジ経路を更新するステップと、を含む、請求項１に記載の方法。

【請求項10】

前記プロセッサが、前記カバレッジ経路を通過する際に、前記少なくとも１台のロボットから、前記領域内の前記１つ又は複数のオブジェクトの各オブジェクトの複数のオブジェクト特徴を受信するステップと、
前記プロセッサが、各オブジェクトの前記複数のオブジェクト特徴に基づいて、前記１つ又は複数のオブジェクトの各オブジェクトに関する障害物制約を決定するステップと、
前記プロセッサが、前記障害物制約に基づいて、前記１つ又は複数のオブジェクトの各オブジェクトを前記領域内の移動元位置から移動先位置に移動するためのピックアップ順序を生成するステップと、を含む、請求項１に記載の方法。

【請求項11】

前記プロセッサが、前記少なくとも１台のロボットが前記１つ又は複数のオブジェクトの各オブジェクトを前記移動元位置から前記移動先位置に移動させた後に、障害物制約を再評価するステップと、
前記プロセッサが、前記再評価した障害物制約に基づいて、前記少なくとも１台のロボットの前記ピックアップ順序を更新するステップと、を含む、請求項１０に記載の方法。

【請求項12】

カバレッジ経路計画を最適化するためのシステムであって、当該システムは、
命令を格納するように構成されたメモリと、
前記メモリに格納した命令を実行するように構成されたプロセッサと、を含み、
該プロセッサは、前記命令を実行することにより、当該システムに、
領域内の少なくとも１台のロボットに関連付けられた１つ又は複数のセンサからデータを受信することであって、該データは、前記領域内の複数の視点から複数の姿勢で取り込まれる、こと、
対応する姿勢で取り込まれた前記データ内で検出した１つ又は複数のオブジェクトと、前記対応する姿勢で前記１つ又は複数のセンサによって取り込んだ前記１つ又は複数のオブジェクトの関心領域とに少なくとも基づいて、前記複数の視点の各視点に優先度コストを割り当てること、
１つ又は複数の目的関数を用いて、前記複数の視点から最適な１組の視点を特定することであって、前記１つ又は複数の目的関数は、前記複数の視点の各視点に関連付けられた優先度コストと、対応する各視点のカバレッジ値とに少なくとも基づくものであり、視点の前記カバレッジ値は、前記対応する視点から前記１つ又は複数のセンサによって取り込まれた前記領域の面積を示す、こと、及び
前記最適な１組の視点に少なくとも基づいて、前記少なくとも１台のロボットのカバレッジ経路を生成することであって、前記少なくとも１台のロボットは、前記カバレッジ経路を通過するように構成される、ことを行わせる、
システム。

【請求項13】

前記データには、レーダー画像、ＲＧＢ画像、ライダー画像、赤外線画像のうちの少なくとも１つが含まれる、請求項１２に記載のシステム。

【請求項14】

前記１つ又は複数のセンサによって取り込んだ前記１つ又は複数のオブジェクトの前記関心領域は、前記１つ又は複数のオブジェクトの各オブジェクトの長さ、１つ又は複数のオブジェクトの各オブジェクトの幅、１つ又は複数のオブジェクトの各オブジェクトの大きさ、前記１つ又は複数のオブジェクトの各オブジェクトの面積、及び前記１つ又は複数のオブジェクトの各オブジェクトの体積のうちの少なくとも１つに対応する、請求項１２に記載のシステム。

【請求項15】

視点に関する前記カバレッジ値には、前記対応する視点から前記１つ又は複数のセンサによって取り込まれた前記領域内の複数のセルのうちの１つ又は複数のセルのセルインデックスが含まれる、請求項１２に記載のシステム。

【請求項16】

前記１つ又は複数の目的関数は、可視性マトリクス及び少なくとも１つのしきい値にさらに関連付けられ、
前記可視性マトリクスは、前記複数の視点の各視点に関連付けられた前記カバレッジ値に基づいて構成される、請求項１５に記載のシステム。

【請求項17】

前記カバレッジ経路を生成するために、当該システムは、前記少なくとも１台のロボットが前記最適な１組の視点を巡回するための通過順序を決定することをさらに行う、請求項１２に記載のシステム。

【請求項18】

前記通過順序を決定するために、当該システムは、
対応する最適な対をなす視点同士の間の距離に基づいて、前記最適な１組の視点から最適な各対をなす視点同士の間の通過コストを決定すること、及び
経路目的関数を用いて、前記少なくとも１台のロボットの前記通過順序を特定すること、をさらに行い、
前記経路目的関数は、最適な各対をなす視点に関連付けられた前記通過コストと、前記最適な対をなす視点の少なくとも１つの最適な視点に関連付けられた前記優先度コストとに基づいている、請求項１７に記載のシステム。

【請求項19】

当該システムは、キュービックベジェ曲線を用いた前記通過順序に基づいて、前記最適な１組の視点の第１の視点と第２の視点との間の滑らかな移行を生成すること、をさらに行う、請求項１８に記載のシステム。

【請求項20】

当該システムは、
通過順序の最適な対をなす視点同士の間を通過する前記少なくとも１台のロボットから受信した制御信号に基づいて、前記カバレッジ経路の再計画を開始することであって、前記制御信号は、前記１つ又は複数のセンサによって取り込んだ前記１つ又は複数のオブジェクトの各観察結果の質に基づいて、前記少なくとも１台のロボットによって生成され、前記再計画には、前記通過順序から次の最適な姿勢を選択することが含まれる、こと、及び
前記通過順序の前記次の最適な姿勢に基づいて、前記少なくとも１台のロボットの前記カバレッジ経路を更新すること、をさらに行う、請求項１２に記載のシステム。

【請求項21】

当該システムは、
前記カバレッジ経路を通過する前記少なくとも１台のロボットから、前記領域内の１つ又は複数のオブジェクトの各オブジェクトの複数のオブジェクト特徴を受信すること、
各オブジェクトの前記複数のオブジェクト特徴に基づいて、前記１つ又は複数のオブジェクトの各オブジェクトに関連する障害物制約を決定すること、及び
該障害物制約に基づいて、前記１つ又は複数のオブジェクトの各オブジェクトを前記領域内の移動元位置から移動先位置に移動するためのピックアップ順序を生成すること、をさらに行う、請求項１２に記載のシステム。

【請求項22】

当該システムは、
前記少なくとも１台のロボットが前記１つ又は複数のオブジェクトの各オブジェクトを前記移動元位置から前記移動先位置に移動した後に、障害物制約を再評価すること、及び
該再評価した障害物制約に基づいて、前記少なくとも１台のロボットの前記ピックアップ順序を更新すること、をさらに行う、請求項２１に記載のシステム。

【請求項23】

最適なカバレッジ経路計画のための命令を記憶する非一時的なコンピュータ可読媒体であって、前記命令がプロセッサによって実行されると、システムに、
領域内の少なくとも１台のロボットに関連付けられた１つ又は複数のセンサからデータを受信することであって、該データは、前記領域内の複数の視点から複数の姿勢で取り込まれる、こと、
対応する姿勢で取り込まれた前記データ内で検出した１つ又は複数のオブジェクトと、前記対応する姿勢で前記１つ又は複数のセンサによって取り込んだ前記１つ又は複数のオブジェクトの関心領域とに少なくとも基づいて、前記複数の視点の各視点に優先度コストを割り当てること、
１つ又は複数の目的関数を用いて、前記複数の視点から最適な１組の視点を特定することであって、前記１つ又は複数の目的関数は、前記複数の視点の各視点に関連付けられた優先度コストと、対応する各視点のカバレッジ値とに少なくとも基づくものであり、視点の前記カバレッジ値は、前記対応する視点から前記１つ又は複数のセンサによって取り込まれた前記領域の面積を示す、こと、及び
前記最適な１組の視点に少なくとも基づいて、前記少なくとも１台のロボットのカバレッジ経路を生成することであって、前記少なくとも１台のロボットは前記カバレッジ経路を通過するように構成されること、を含む段階を行わせる、
非一時的なコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本願は、２０２２年１月２５日に出願した米国特許出願第１７／５８３，２５０号の一部継続（CIP）出願であり、この出願は、２０２１年１１月１１日に出願した米国仮出願第６３／２７８，１６９号に対する優先権の利益を主張するものであり、それぞれ出願の内容は、その全体が参照により本明細書に組み込まれる。

【0002】

本開示は、概して、カバレッジ経路計画に関し、より具体的には、自律型移動装置の最適なカバレッジ経路計画に関する。

【背景技術】

【0003】

カバレッジ経路計画には、領域の探索が含まれ、その過程で、領域の完全なカバレッジを保証する、巡回（visit）すべき１組の視点（viewpoints）を特定する。より具体的には、可能性のある障害物を回避しながら、領域をカバーする１組の視点をカプセル化する最良の経路を決定するために、領域が徹底的に解析される。このようなカバレッジ経路計画は、家庭用清掃ロボット、地雷除去ロボット、芝刈り機、農業用自動収穫機、保管及び回収ロボット等として展開される多くのロボットに不可欠である。

【0004】

従来、カバレッジ経路計画アプローチのパフォーマンスは、領域のカバレッジの最適化に基づいて決定されていた。そのため、視点の生成は、カバレッジ経路計画において重要であると考えられている。視点の生成は領域の最大範囲を考慮するが、従来のアプローチを用いて生成された視点は、視点のオブジェクト（object：対象物）の観察結果の質が考慮されていないため、最適ではない。さらに、巡回セールスマン問題（TSP）を使用して、関心領域の最大カバレッジ及び障害物回避のために関心領域をカバーする許容可能な１組の視点を表すカバレッジ経路を生成するが、カバレッジ経路は最適化されていない。これは、ある視点から別の視点への急激な移行によって追加の時間及びエネルギーを消費する可能性があるロボットの運動学的制約が原因で発生する。

【0005】

上記の議論を考慮すると、自律型移動装置のカバレッジ経路計画を最適化する必要がある。

【発明の概要】

【0006】

一実施形態では、方法を開示する。この方法は、プロセッサが、領域内の少なくとも１台のロボットに関連付けられた１つ又は複数のセンサからデータを受信するステップを含む。データは、領域内の複数の視点から複数の姿勢（pose）で取り込まれる。この方法は、プロセッサが、対応する視点で取り込んだデータ内で検出した１つ又は複数のオブジェクトと、対応する視点内の１つ又は複数のセンサによって取り込んだ１つ又は複数のオブジェクトの関心領域とに少なくとも基づいて、複数の視点の各視点に優先度コストを割り当てるステップを含む。この方法は、プロセッサが、１つ又は複数の目的関数を用いて、複数の視点から最適な１組の視点を特定するステップを含む。１つ又は複数の目的関数は、複数の視点の各視点に関連付けられた優先度コストと、対応する各視点のカバレッジ値とに少なくとも基づいている。視点のカバレッジ値は、対応する視点から１つ又は複数のセンサによって取り込まれた領域の面積を示す。この方法は、プロセッサが、最適な１組の視点に少なくとも基づいて、少なくとも１台のロボットのカバレッジ経路を生成するステップを含む。少なくとも１台のロボットは、カバレッジ経路を通過（traverse）するように構成される。

【0007】

別の実施形態では、システムを開示する。このシステムは、メモリ及びプロセッサを含む。メモリは命令を格納するように構成され、プロセッサは、メモリに格納した命令を実行するように構成され、それによりシステムに以下の段階を実行させる。システムは、領域内の少なくとも１台のロボットに関連付けられた１つ又は複数のセンサからデータを受信する。データは、領域内の複数の視点から複数の姿勢で取り込まれる。システムは、対応する視点で取り込んだデータ内で検出した１つ又は複数のオブジェクトと、対応する視点内の１つ又は複数のセンサによって取り込んだ１つ又は複数のオブジェクトの関心領域とに少なくとも基づいて、複数の視点の各視点に優先度コストを割り当てる。システムは、１つ又は複数の目的関数を用いて、複数の視点から最適な１組の視点を特定する。１つ又は複数の目的関数は、複数の視点の各視点に関連付けられた優先度コストと、対応する各視点のカバレッジ値とに少なくとも基づいている。視点のカバレッジ値は、対応する視点から１つ又は複数のセンサによって取り込まれた領域の面積を示す。システムは、最適な１組の視点に少なくとも基づいて、少なくとも１台のロボットのカバレッジ経路を生成するようにされる。少なくとも１台のロボットは、カバレッジ経路を通過するように構成される。

【0008】

さらに別の実施形態では、非一時的なコンピュータ可読媒体を開示する。非一時的なコンピュータ可読媒体は、自律型移動装置のカバレッジ経路計画を最適化するための命令を格納する。命令は、プロセッサによって実行されると、システムに以下の段階を実行させる。この段階は、システムが、領域内の少なくとも１台のロボットに関連付けられた１つ又は複数のセンサからデータを受信することを含む。データは、領域内の複数の視点から複数の姿勢で取り込まれる。この段階は、システムが、対応する視点で取り込んだデータ内で検出した１つ又は複数のオブジェクトと、対応する視点内の１つ又は複数のセンサによって取り込んだ１つ又は複数のオブジェクトの関心領域とに少なくとも基づいて、複数の視点の各視点に優先度コストを割り当てることを含む。この段階は、システムが、１つ又は複数の目的関数を用いて、複数の視点から最適な１組の視点を特定することを含む。１つ又は複数の目的関数は、複数の視点の各視点に関連付けられた優先度コストと、対応する各視点のカバレッジ値とに少なくとも基づいている。視点のカバレッジ値は、対応する視点から１つ又は複数のセンサによって取り込まれた領域の面積を示す。この段階は、システムが、最適な１組の視点に少なくとも基づいて、少なくとも１台のロボットのカバレッジ経路を生成することを含む。少なくとも１台のロボットは、カバレッジ経路を通過するように構成される。

【0009】

前述の概要は説明のみを目的としており、限定することを意図したものではない。上述の例示的な態様、実施形態、及び特徴に加えて、更なる態様、実施形態、及び特徴は、図面及び以下の詳細な説明を参照することによって明らかになろう。

【図面の簡単な説明】

【0010】

本開示に組み込まれ、その一部を構成する添付の図面は、例示的な実施形態を示し、詳細な説明とともに、開示する原理を説明するのに役立つ。同様の特徴及び構成要素を参照するために、図全体で同じ番号を使用する。ここで、本主題の実施形態による装置及び／又は方法のいくつかの実施形態を、単なる例として、添付の図面を参照して説明する。

【図1】本開示のいくつかの実施形態による、自律型移動装置による倉庫内のオブジェクトの自律的な保管及び回収を表す環境を示す。

【図2】本開示の一実施形態による、自律型移動装置のカバレッジ経路計画を最適化するためのシステムを示す。

【図3】本開示の一実施形態による、領域を探索する自律型移動装置のグラフィック表現を示す。

【図4A】本開示の一実施形態による、オブジェクトの関心領域の正規化した面積を決定するための概略図である。

【図4B】本開示の一実施形態による、オブジェクトの関心領域の正規化した体積を決定するための概略図である。

【図5A】本開示の一実施形態による、領域内の最適な１組の視点の例示的な概略図を示す。

【図5B】本開示の一実施形態による、通過順序に基づいてカバレッジ経路を通過する自律型移動装置の概略図を示す。

【図6】本開示の一実施形態による、他のオブジェクトによる障害物制約を表す領域に配置された複数のオブジェクトの概略図を示す。

【図7】本開示の一実施形態による、自律型移動装置のカバレッジ経路を最適化するための方法を示すフローチャートである。

【図8】本開示の一実施形態による、自律型移動装置のカバレッジ経路を最適化するための汎用コンピュータのブロック図を示す。

【発明を実施するための形態】

【0011】

当業者は、本明細書の任意のブロック図が、本主題の原理を具体化する例示的なシステムの概念図を表すことを理解すべきである。同様に、任意のフローチャート、フロー図、状態移行図、疑似コード等は、コンピュータ可読媒体で実質的に表され、コンピュータ又はプロセッサが明示的に示されているか否かにかかわらず、そのようなコンピュータ又はプロセッサによって実行される様々なプロセスを表していることを理解されたい。

【0012】

本書では、「例示的な」という言葉は、「例、事例、又は実例として役立つ」ことを意味するために本明細書で使用する。本明細書で「例示的」として説明する本主題の任意の実施形態又は実施態様は、必ずしも他の実施形態よりも好ましい又は有利であると解釈すべきではない。

【0013】

本開示は、様々な修正及び代替形態が可能であるが、その特定の実施形態は、図面において例として示され、以下で詳細に説明する。しかしながら、本開示を開示する特定の形態に限定することを意図するものではなく、逆に、本開示は、本開示の精神及び範囲内に入る全ての修正、均等物、及び代替物をカバーすることを意図していることを理解されたい。

【0014】

用語「備える、有する、含む（comprises, comprising）」、又はその他のあらゆる活用形は、構成要素又はステップのリストを含むセットアップ、装置、又は方法が、これらの構成要素又はステップだけを含むのではなく、そのようなセットアップ、装置、又は方法に固有の又は明示的にリストされていない他の構成要素又はステップを含む場合がある。換言すると、装置、システム、又は機器における「・・・を含む」で始まる１つ又は複数の要素は、更なる制約なしに、装置、システム、又は機器内の他の要素又は追加の要素の存在を排除するものではない。

【0015】

本開示の実施形態の以下の詳細な説明では、本明細書の一部を形成し、本開示を実施し得る特定の実施形態を例として示す添付の図面を参照する。これらの実施形態は、当業者が本開示を実施できるように十分に詳細に説明しており、他の実施形態を利用することができ、本開示の範囲から逸脱することなく変更を行うことができることを理解されたい。従って、以下の説明は、限定的な意味で解釈すべきではない。

【0016】

本明細書で使用する「姿勢（pose）」という用語は、ロボットがセル内で特定の位置をとることを指す。より具体的には、ロボットを特定の方向／向きに位置付けして、周囲の画像を取り込む。例えば、セル内のロボットは、９０°回転して、ロボットの１つ又は複数のセンサを用いて様々な画像を取り込むために様々な姿勢をとる。一例では、ロボットは、姿勢Ｐ_１をとるためにセルＣ_１内の位置を占有し、次に、ロボットは、セルＣ_１内で姿勢Ｐ_２をとるために同じ位置で９０°だけ回転する。さらに、ロボットは、セルＣ_１内で姿勢Ｐ_３をとるために同じ位置でさらに９０°だけ回転することができる。こうして、セルＣ_１の位置での９０°の回転は、ロボットがセルＣ_１内で姿勢Ｐ_１、Ｐ_２、Ｐ_３、及びＰ_４を取り、領域の複数の画像を取り込むことを保証する。

【0017】

さらに、本明細書で使用する「視点」という用語は、環境及び周囲を評価するための領域内の様々な場所でのロボットの位置及び向き／方向を指す。より具体的には、視点は、領域内の異なる位置又はセルからの特定の透視ビュー（perspective view：視点ビュー）に対応する。例えば、ロボットは、１つ又は複数のセンサを用いて異なる視点で画像を取り込むために、異なるセルの間を移動する。一例では、ロボットは、セルＣ_１内で透視ビュー（すなわち、ある角度での向き）で姿勢を取り、オブジェクトの１つ又は複数の画像を取り込み、次に移動して、セルＣ_２で別の透視ビューで別の姿勢を取り、別の視野角からオブジェクトの１つ又は複数の画像を取り込む。

【0018】

図１は、本開示のいくつかの実施形態による、自律型移動装置によるオブジェクトの自律的な保管及び回収を示す環境１００の例示的な表現を示す。環境１００は、倉庫１０２を例示的に示しており、複数のオブジェクト（図１ではＯ_１、Ｏ_２、Ｏ_３、及びＯ_４として示される）が倉庫１０２の特定の場所に保管されている。環境１００について、例示の目的で倉庫１０２を参照して説明しているが、環境１００は、カバレッジ経路計画を実施し得る任意の他のシナリオであってもよい。１つ又は複数の自律型移動装置のカバレッジ経路計画を実行し得る環境のいくつかの例には、捜索及び救助、芝刈り、地雷除去、及び農業収穫等が含まれるが、これらに限定されない。

【0019】

倉庫１０２は、オブジェクトの自律的な保管及び回収を行う自律型移動装置１０８及び１１０（以下、ロボット１０８、１１０と呼ぶ）等の１つ又は複数の自律型移動装置を含む。ロボット１０８、１１０は、複数の視点から複数の姿勢でデータを取り込むための１つ又は複数のセンサを含む。典型的に、ロボット１０８、１１０の１つ又は複数のセンサは、倉庫１０２内のオブジェクトの解析及び操作のために、倉庫１０２からデータを収集する。倉庫１０２内のオブジェクトに関するデータを収集するロボットの１つ又は複数のセンサのいくつかの例には、オブジェクトを検出するか又はオブジェクトの特徴を特定し、検出したオブジェクトの位置を特定するための、近接センサ（赤外線センサ、超音波距離センサ等）、イメージセンサ（ＲＧＢセンサ）、無線検出及び測距（ＲＡＤＡＲ）センサ、及び光検出及び測距（ＬＩＤＡＲ）センサ等が含まれるが、これらに限定されない。一実施形態では、データには、レーダー（radar）画像、ＲＧＢ画像、ライダー（lidar）画像、及び赤外線画像のうちの少なくとも１つが含まれる。カバレッジ経路計画のための本開示に関連するロボット１０８、１１０のセンサのみが開示されており、ロボット１０８、１１０は、環境要因を検出し、それらの挙動に影響を与えるための力センサ、光センサ、温度センサ、タッチセンサ、及び音センサ等の他のセンサを含み得、これらセンサは、ロボット１０８、１１０内に統合することができることに留意されたい。

【0020】

こうして、オブジェクトＯ_１、Ｏ_２、Ｏ_３、及びＯ_４が倉庫１０２に保管されると、データに基づいてロボット１０８及び１１０に対してカバレッジ経路計画を実行して、ロボット１０８及び１１０が巡回しなければならない１組の視点をカプセル化する実行可能な１組の経路を決定することができる。前述のように、視点からデータを取り込むことで、倉庫１０２と関心のあるオブジェクトＯ_１、Ｏ_２、Ｏ_３、及びＯ_４との完全なスキャン又は調査が保証される。シナリオ例では、オブジェクトＯ_１、Ｏ_２、Ｏ_３、及びＯ_４を識別し、分類して、適切な保管場所に配置する必要がある。例えば、オブジェクトＯ_１及びＯ_３は場所１０４に配置する必要があり、オブジェクトＯ_２及びＯ_４は、倉庫１０２の場所１０６で荷積み及び荷降し（picked and dropped）する必要がある。

【0021】

本開示の様々な実施形態は、倉庫１００内のロボットの最適なカバレッジ経路計画のための方法を実施するシステム１５０を開示する。従って、自律型移動装置の１つ又は複数のセンサからのデータを処理して、ロボットの１つ又は複数のセンサの視野内のオブジェクト及び関連する寸法属性を検出し、これらは、ロボットによってサンプリングした複数の視点の各視点に関連付けられた優先度コストを決定するために使用され得る。その後に、視点毎に決定した優先度コストに基づいて、ロボット１０８、１１０毎に最適な１組の視点を決定する。さらに、システム１５０は、最適な１組の視点に基づいて最適なカバレッジ経路を決定するように構成される。一般に、システム１５０は、最適な１組の視点のデータ駆動型解析を実行して、情報ゲインを最大化するように各ロボットの最適な１組の視点の通過順序を特定する。さらに、ある最適な視点から別の視点へのロボットの滑らかな移行及び通過（traversal）が実行され、ロボットの運動学的制約による急激な移行によって費やされる時間が最適化される。さらに、システム１５０は、受信したデータから障害物制約を識別して、オブジェクトを移動元（source）位置から移動先（destination）位置に移動するための最適なピックアップ順序を決定するように構成される。

【0022】

ロボット１０８、１１０は、通信ネットワーク１２０を介してシステム１５０及びロボット１０８、１１０の間で有効に通信することができることが理解される。ロボット１０８、１１０は、有線ネットワーク、無線ネットワーク、又は有線ネットワークと無線ネットワークとの組合せを用いて通信ネットワーク１２０に接続することができる。有線ネットワークのいくつかの非限定的な例には、イーサネット、ローカルエリアネットワーク（LAN）、光ファイバネットワーク等が含まれ得る。無線ネットワークのいくつかの非限定的な例には、無線ＬＡＮ（ＷＬＡＮ）、セルラーネットワーク、Bluetooth又はZigbeeネットワーク等が含まれ得る。通信ネットワークの一例はインターネットである。次に、最適なカバレッジ経路計画のためのシステム１５０を、図２を参照して詳細に説明する。

【0023】

図２は、本開示の一実施形態による、カバレッジ経路を最適化するためのシステム１５０を示している。本明細書で使用する「カバレッジ経路の最適化」という用語は、ロボットの周囲領域内のオブジェクトに関する情報ゲインを最大化する最適な視点が特定され、最大の情報を含む視点を最初に通過するように最適な視点の通過順序が特定されるマルチフォールド（multi-fold）最適化を指す。カバレッジ経路のそのような最適化は、最適な方法でタスクを実行するために、例えば倉庫１０２等の周囲領域からのデータを照合するのにかかる時間を短縮する。

【0024】

一実施形態では、システム１５０は、倉庫１０２内の自律的な保管及び回収等の環境の操作を管理する集中コントローラである。別の実施形態では、システム１５０は、最適化したカバレッジ経路を生成する環境で動作するロボットに関する情報を受信することができるリモートサーバであり得る。さらに別の実施形態では、システム１５０は、ロボット、例えば、ロボット１０８内に具現化され、本明細書で説明する１つ又は複数の動作を実行することができる。

【0025】

システム１５０は、プロセッサ２０２、メモリ２０４、入力／出力モジュール２０６及び通信インターフェイス２０８を含むように示されている。いくつかの実施形態では、システム１５０は、本明細書に示されるものより多くの又はより少ない構成要素を含んでもよいことに留意されたい。システム１５０の様々な構成要素は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組合せを用いて実現することができる。さらに、システム１５０の様々な構成要素は、互いに動作可能に結合され得る。より具体的には、システム１５０の様々な構成要素は、通信チャネル媒体（バス、相互接続等）を用いて互いに通信することができる。システム１５０の１つ又は複数の構成要素は、互いに離れて配置された複数のサーバ又は単一のサーバで実現され得ることにも留意されたい。

【0026】

一実施形態では、プロセッサ２０２は、マルチコアプロセッサ、シングルコアプロセッサ、或いは１つ又は複数のマルチコアプロセッサと１つ又は複数のシングルコアプロセッサとの組合せとして具現化され得る。例えば、プロセッサ２０２は、コプロセッサ、マイクロプロセッサ、コントローラ、デジタル信号プロセッサ（ＤＳＰ）、付随するＤＳＰを伴う又は伴わない処理回路、或いはマイクロコントローラユニット（ＭＣＵ）、ハードウェアアクセラレータ、又は専用コンピュータチップ等を含む様々な他の処理装置等の、様々な処理装置のうちの１つ又は複数として具現化され得る。プロセッサ２０２は、後で詳細に説明するデータ処理モジュール２１０、視点生成モジュール２１２、通過順序生成モジュール２１４、カバレッジ経路管理モジュール２１６、及びオブジェクト操作モジュール２１８を含む。

【0027】

一実施形態では、メモリ２０４は、本明細書で命令２０５と呼ぶマシン実行可能命令を格納することができる。一実施形態では、プロセッサ２０２は、ソフトウェア命令の実行機として具現化される。こうして、プロセッサ２０２は、メモリ２０４に格納した命令２０５を実行して、本明細書で説明する１つ又は複数の動作を実行することができる。メモリ２０４は、図２～図５を参照して詳細に説明するように、プロセッサ２０２がそれぞれの機能を実行するためにアクセス可能な任意のタイプの記憶装置とすることができる。例えば、メモリ２０４は、１つ又は複数の揮発性又は不揮発性メモリ、又はそれらの組合せを含むことができる。例えば、メモリ２０４は、フラッシュメモリ、マスクＲＯＭ、ＰＲＯＭ（プログラム可能ＲＯＭ）、ＥＰＲＯＭ（消去可能ＰＲＯＭ）、ＲＡＭ（ランダムアクセスメモリ）等の半導体メモリとして具体化してもよい。

【0028】

一実施形態では、プロセッサ２０２は、命令２０５を実行して、（１）１つ又は複数のデータ予測モデルを生成すること、（２）複数の視点の各視点に優先度コストを割り当てること、（３）複数の視点の各視点に関連付けられたカバレッジ値に基づいて可視性（visibility：視界）マトリクスを構成すること、（４）１つ又は複数の目的関数を用いて、複数の視点から最適な１組の視点を特定すること、（５）最適な１組の視点から最適な各対をなす視点同士の間の通過コストを決定すること、及び（６）少なくとも１台のロボットが最適な１組の視点を巡回するための通過順序を特定することを行うように構成される。カバレッジ経路の通過中に、プロセッサ２０２は、命令２０５を実行して、（１）最適な対をなす視点同士の間の滑らかな移行を生成すること、（２）少なくとも１台のロボットから受信した制御信号に基づいてカバレッジ経路の再計画を開始すること、（３）少なくとも１台のロボットのカバレッジ経路を更新すること、（４）各オブジェクトに関連する障害物制約を決定すること、（５）障害物制約に基づいて各オブジェクトを移動元位置から移動先に移動するためのピックアップ順序を生成すること、（６）少なくとも１台のロボットが各オブジェクトを移動させた後に障害物制約を再評価すること、及び（７）再評価した障害物制約に基づいて、少なくとも１台のロボットのピックアップ順序を更新すること、を行うように構成される。

【0029】

一実施形態では、Ｉ／Ｏモジュール２０６は、領域を探索するロボット、オブジェクトをランダムにピックアップして移動するためにカバレッジ経路を通過するロボット、及び／又はシステム１５０のオペレータ等の周辺装置から入力を受信し、周辺装置に出力を提供するように構成されたメカニズムを含むことができる。本明細書で使用する「システム１５０のオペレータ」という用語は、倉庫１０２の管理に直接的又は間接的に関連する１人又は複数の個人を指すことがある。システム１５０から入力を受信し、システム１５０に出力を提供するために、Ｉ／Ｏモジュール２０６は、少なくとも１つの入力インターフェイス及び／又は少なくとも１つの出力インターフェイスを含むことができる。入力インターフェイスの例には、キーボード、マウス、ジョイスティック、キーパッド、タッチスクリーン、ソフトキー、マイク等が含まれるが、これらに限定されない。出力インターフェイスの例には、発光ダイオードディスプレイ、薄膜トランジスタ（ＴＦＴ）ディスプレイ、液晶ディスプレイ、アクティブマトリックス有機発光ダイオード（ＡＭＯＬＥＤ）ディスプレイ等のディスプレイ、マイク、スピーカ、呼び出し音が含まれるが、これらに限定されない。

【0030】

システム１５０は、データベース２２０と有効に通信するように示されている。一実施形態では、データベース２２０は、データから１つ又は複数のオブジェクトを検出するための１つ又は複数のＡＩモデルを格納するように構成される。一例では、木枠、パレット、キャニスタ、人間、障害物（例えば、壁、台車等）、又は他のロボット等の様々なオブジェクトを検出するために、様々なニューラルネットワークモデルを格納することができる。さらに、データベース２２０は、環境内で検出したオブジェクトに関連する詳細、例えば、オブジェクトの特徴（例えば、寸法、テクスチャ、場所、位置、向き等）も格納することができる。一実施形態では、データベース２２０は、ロボットによって更新及び共有される様々なオブジェクトの障害物制約を示すテーブルも維持する。

【0031】

データベース２２０は、ＲＡＩＤ（redundant array of inexpensive disks）構成におけるハードディスク及び／又はソリッドステートディスク等の複数のストレージユニットを含むことができる。いくつかの実施形態では、データベース２２０は、ストレージエリアネットワーク（ＳＡＮ）及び／又はネットワーク接続ストレージ（ＮＡＳ）システムを含み得る。一実施形態では、データベース２２０は分散ストレージシステムに対応することができ、個々のデータベースは、ルーティングポリシー、最適な視点選択ポリシー、ロボット仕様、各ロボットの障害物制約等のカスタム情報を格納するように構成される。

【0032】

いくつかの実施形態では、データベース２２０はシステム１５０内に統合される。例えば、システム１５０は、データベース２２０として１つ又は複数のハードディスクドライブを含むことができる。他の実施形態では、データベース２２０は、システム１５０の外部にあり、ストレージインターフェイス（図２には図示せず）を用いてシステム１５０によってアクセスされ得る。ストレージインターフェイスは、プロセッサ２０２にデータベース２２０へのアクセスを提供することができる任意の構成要素である。ストレージインターフェイスは、例えば、ＡＴＡ（Advanced Technology Attachment）アダプタ、シリアルＡＴＡ（ＳＡＴＡ）アダプタ、ＳＣＳＩ（Small Computer System Interface）アダプタ、ＲＡＩＤコントローラ、ＳＡＮアダプタ、ネットワークアダプタ、及び／又はプロセッサ２０２にデータベース２２０へのアクセスを提供する任意の構成要素を含むことができる。

【0033】

一実施形態では、通信インターフェイス２０８は、環境１００内の他のエンティティと通信するように構成されたメカニズムを含むことができる。換言すると、通信インターフェイス２０８は、プロセッサ２０２による処理のために少なくとも１台のロボットからのデータを照合するように構成される。例えば、通信インターフェイス２０８は、領域内の少なくとも１台のロボットに関連付けられた１つ又は複数のセンサからデータを受信するように構成される。領域は、環境内の関心のある領域、例えば、ロボットがオブジェクトの特徴を判断するために探索する、オブジェクトが典型的に降ろされて配置される倉庫内の特定の領域であり得る。一実施形態では、領域Ｒはグリッド上に表され、そのため、領域は複数のセルＣ_１、Ｃ_２、・・・、Ｃ_ｎとして表される。グリッド上の領域と、その領域を探索するロボットの例示的な表現を、図３を参照して説明する。

【0034】

ここで図３を参照すると、本開示の一実施形態による、領域３００を探索するロボット３１０の概略図が示される。図３に示されるように、領域３００は、ロボット３１０による探索のためのグリッド３０２として表される。グリッド３０２は、領域３００の仮想表現であり、こうして、グリッド３０２は、領域３００を複数のセルに分離する。グリッド３０２のセルは、例示の目的で等しい／均一なサイズの正方形を形成するように分離されており、セルは、実際には、例えば、三角形のセル、六角形のセル、菱形のセル、五角形のセル等、異なる形状及びサイズのセル、等しい又は等しくないサイズのセル等に分離され得ることに留意されたい。さらに、例示の目的で単一のロボット３１０を示しているが、２台以上のロボットを領域３００内に同時に配備し、オブジェクトの探索、ランダムな荷積み（picking：ピッキング）及び荷降し（dropping：ドロッピング）を行うことができる。

【0035】

ロボット３１０は、ロボット３１０に関連付けられた１つ又は複数のセンサを用いて、領域３００に関連するデータを取り込むために領域３００を探索する。１つ又は複数のセンサのいくつかの例には、領域３００に関連するデータを照合するために、近接センサ、熱センサ、超音波センサ、イメージングセンサ、赤外線センサ、レーダーセンサ、ライダーセンサ等が含まれるが、これらに限定されない。こうして、１つ又は複数のセンサから受信したデータには、レーダー画像、ＲＧＢ画像、ライダー画像、赤外線画像、超音波画像等が含まれる。より具体的には、１つ又は複数のセンサが、商品／製品を保管する木枠（crate）、パレット、箱等、領域内のオブジェクトに関連するデータを取り込む。一例では、ロボットは、複数の視点Ｖ_１、Ｖ_２、・・・、Ｖ_ｍから画像Ｉ_１、Ｉ_２、Ｉ_３、・・・、Ｉ_ｎを取り込むことができる。例えば、画像Ｉ_１、Ｉ_２はセルＣ_４内の姿勢Ｐ_１を表す視点Ｖ_１から取り込まれ、画像Ｉ_３はセルＣ_８内の姿勢Ｐ_２を表す視点Ｖ_２から取り込まれ、画像Ｉ_４、Ｉ_５、Ｉ_６はセルＣ_１２内の姿勢Ｐ_１を表す視点Ｖ_３から取り込まれ、以下同様である。一例として、画像Ｉ_１、Ｉ_２はオブジェクトＯ_１を取り込み、画像Ｉ_３は領域３００内のオブジェクトを取り込まず、画像Ｉ_４、Ｉ_５の各々はオブジェクトＯ_２を部分的に取り込み、画像Ｉ_６はオブジェクトＯ_３を取り込む。ロボット３１０は、領域３００の情報を有しておらず、こうして、領域３００を表すグリッド３０２上の異なるセルをランダムにサンプリングすることに留意されたい。

【0036】

１つ又は複数のセンサの各センサは、視野を有しており、センサ視野で各視点から取り込まれた画像を処理して、対応する視点のカバレッジ値を決定することができる。より具体的には、視点のカバレッジ値は、視点から１つ又は複数のセルが見える領域３００の面積を示す。１つ又は複数のセルは、対応する視点から１つ又は複数のセンサの視野（光線３０４を参照）を光線追跡することによって決定される。領域３００がグリッド３０２上に表されるときに、視点のカバレッジ値は、対応する視点から１つ又は複数のセンサによって取り込まれた領域内の複数のセルのうちの１つ又は複数のセルのセルインデックスに関して表される。一例では、セルＣ_１０のロボット３１０は、視点Ｖ_３から画像Ｉ_４を取り込む。従って、画像Ｉ_４は、セルＣ_１０、Ｃ_１４、Ｃ_１１、Ｃ_１５、Ｃ_７、Ｃ_８、Ｃ_１２、Ｃ_１６を取り込むことができ、こうして、セルＣ_１０、Ｃ_１４、Ｃ_１１、Ｃ_１５、Ｃ_７、Ｃ_８、Ｃ_１２、Ｃ_１６のカバレッジ値は、画像Ｉ_４を処理することによって決定することができる。一実施形態では、カバレッジ値は、特定の視点からグリッド３０２上のセルを見る確率値である。従って、画像Ｉ_４を処理して、セルＣ_１０、Ｃ_１４、Ｃ_１１、Ｃ_１５、Ｃ_７、Ｃ_８、Ｃ_１２、Ｃ_１６のカバレッジ値を決定することができる。例えば、セルＣ_１０、Ｃ_１４、Ｃ_１１、Ｃ_１５、Ｃ_７、Ｃ_８、Ｃ_１２、Ｃ_１６のカバレッジ値は、それぞれ０．３、０．０５、０．７２、０．８８、０．４８、０．９７、及び０．４４となり得る。これらのカバレッジ値は、ロボット３１０の１つ又は複数のセンサの視野内の各セルの可視性レベル及び／又は各セル内のオブジェクトの観察結果の質に基づいて決定され得る。

【0037】

一実施形態では、ロボット３１０の１つ又は複数のセンサによって取り込まれた全ての画像又は全ての観察結果を使用して、領域３００のグローバルマップ内に各セルを取り込む確率値を更新し、こうして、ロボット３１０の複数の視点（すなわち、異なる向き及び姿勢／位置）で行われる異なる観察によって、領域３００内の全てのセルのカバレッジ値が改善される。複数のロボットが領域３００内に展開される場合に、これらのロボットのそれぞれのロボットの複数の視点から得られたカバレッジ値を使用して、グローバルマップを動的に更新し、それにより観察結果の質を向上させることができる。さらに、様々な視点からセンサデータを継続的に受信し、グローバルマップを更新するプロセスにより、各視点からのオブジェクトの観察結果の最高品質が保証される。さらに、領域３００を探索するのに費やす時間は、複数のロボットが協調して一緒に動作するときに、大幅に短縮され得る。ロボット３１０の１つ又は複数のセンサによって取り込まれたそのようなデータは、通信インターフェイス２０８によって受信され、プロセッサ２０２に転送され得る。

【0038】

図２に戻ってこの図を参照すると、少なくとも１台のロボットの１つ又は複数のセンサから受信したデータは、プロセッサ２０２のデータ処理モジュール２１０に転送される。以下に説明するように、データ処理モジュール２１０は、メモリ２０４に格納した命令２０５と連携して、プロセッサ２０２の他のモジュールによって使用されるデータを処理するように構成される。より具体的には、データは探索される領域に関して少なくとも１台のロボットから継続的に受信され、データ処理モジュール２１０は、（１）視点で取り込んだデータ内の１つ又は複数のオブジェクトを検出し、（２）データに基づいて各視点に関するグリッド上の各セルのカバレッジ値を決定し、（３）各視点でのカバレッジ値に基づいてグローバルマップを動的に更新し、（４）データに基づいて領域内のオブジェクトのオブジェクト特徴を決定し、（５）１つ又は複数のオブジェクトの関心領域に関連する情報を抽出するように構成される。

【0039】

データ処理モジュール２１０は、視点内の各ロボットの１つ又は複数のセンサによって取り込まれたデータから１つ又は複数のオブジェクトを検出するように構成される。より具体的には、ロボットの１つ又は複数のセンサによって取り込まれた画像を処理して、１つ又は複数のオブジェクトを識別する。例えば、オブジェクトＯ_５（例えば、パレット）が倉庫の領域に位置付けされ、画像Ｉ_２は視点Ｖ_３からオブジェクトＯ_５を取り込む。こうして、画像Ｉ_２は、画像Ｉ_２からオブジェクトＯ_５を部分的に又は全体的に検出するように処理される。一実施形態では、データ処理モジュール２１０は、人工知能（ＡＩ）ベースのモデル、例えば、機械学習モデル及び深層ニューラルネットワーク（例えば、畳み込みニューラルネットワーク、ピラミッドネットワーク等）を利用して、視点で取り込まれた画像からオブジェクトを検出する。オブジェクトのいくつかの例には、木枠、パレット、箱、バレル、ボックス、コンテナ、キャニスタ、パッケージ等が含まれるが、これらに限定されない。

【0040】

既に説明したように、各視点に対するグリッド上の各セルのカバレッジ値は、対応する視点から取り込まれた画像を処理することによって決定することができる。また、領域のグローバルマップと、各視点で決定したカバレッジ値に基づくグローバルマップの動的な適応とについては、図３を参照して説明している。一実施形態では、各視点で取り込んだ画像を処理して、１つ又は複数のオブジェクトの関心領域に関連する情報が抽出される。より具体的には、少なくとも１台のロボットによる環境内のオブジェクトの識別、検出、又は操作を支援し得る最大の情報を提供するオブジェクトの領域が、データから特定される。一実施形態では、１つ又は複数のセンサによって取り込んだ１つ又は複数のオブジェクトの関心領域は、１つ又は複数のオブジェクトの各オブジェクトの長さ、１つ又は複数のオブジェクトの各オブジェクトの幅、１つ又は複数のオブジェクトの各オブジェクトの大きさ、１つ又は複数のオブジェクトの各オブジェクトの面積、及び１つ又は複数のオブジェクトの各オブジェクトの体積のうちの少なくとも１つに対応する。より具体的には、各オブジェクトの寸法属性は、データ処理モジュール２１０によってデータ（すなわち、その視点で取り込んだ画像）から決定され得る。例えば、イメージングセンサは、図１に示されるように、オブジェクトの正面の長さ「ｌ」（つまり、センサの視野内の線分）と、センサの中心軸と線分との間の角度αとを取り込む。他の使用例では、長さ「l」は、オブジェクトの関心領域によってカバーされる面積等、同様のメトリックに置き換えることができる。このようなシナリオでは、関心領域は、関心オブジェクトの境界ボックスであり得るか、あるしきい値距離内の深度マップ内のピクセルである可能性がある。例えば、車両の登録番号に関して、少なくとも１台のロボットが、構造化されていない駐車場でメンテナンス作業のために特定の車両を識別しなければならない場合に、関心領域は車両のナンバープレート／登録プレートに対応する。こうして、関心領域は、センサ視野（ＦｏＶ）内のナンバープレートによってカバーされる向首角（heading angle：ヨー角）及び面積に基づいて決定され得る。さらに、正規化した面積は、関心領域の面積と画像平面の総面積との比として決定され得る。

【0041】

一実施形態では、データ処理モジュール２１０は、データに基づいて領域内の各オブジェクトのオブジェクト特徴を決定するように構成される。オブジェクト特徴のいくつかの例には、サイズ、形状、色、質感等が含まれるが、これらに限定されない。これらのオブジェクト特徴は、オブジェクトを識別及び分類するために、オブジェクト操作モジュール２１８によって利用され得る。より具体的には、オブジェクト特徴を利用して、オブジェクトを配置しなければならない倉庫内の場所を特定することができる。一例では、パレットの色に基づいて、オブジェクト（例えば、木箱）を異なるラック／棚又は倉庫の場所に配置することができる。こうして、オブジェクト特徴の色を使用して、ロボットがパレットを移動させる必要がある場所を特定することができる。さらに、後で詳細に説明するように、オブジェクト特徴を使用して、障害物制約を識別することができる。さらに、データ処理モジュール２１０は、通信インターフェイス２０８を介して少なくとも１台のロボットとオブジェクト特徴を共有することもできる。少なくとも１台のロボットは、オブジェクト特徴に基づいてオブジェクトを操作し、オブジェクトを荷積みし及び／又は指定した場所に移動させることができる。一実施形態では、ある視点で検出した１つ又は複数のオブジェクト、及び対応する視点内の１つ又は複数のオブジェクトの関心領域に関連する情報は、視点生成モジュール２１２に転送される。

【0042】

視点生成モジュール２１２は、メモリ２０４に格納した命令２０５と連携して、サンプリングした複数の視点から最適な１組の視点を決定するように構成される。最適な１組の視点は、少なくとも１台のロボットが最適な１組の視点を巡回するときに、領域内のオブジェクトに関連する情報ゲインを最大化しながら、領域を完全にカバーすることを保証する。換言すれば、最適な１組の視点は、領域の最大情報を提供する可能な領域の最大面積を最適にカバーする。従って、視点生成モジュール２１２は、複数の視点の各視点に優先度コストを割り当てるように構成される。優先度コストは、視点内のオブジェクトに関連する情報量と、その視点内のオブジェクトの観察結果の質を示す尺度である。

【0043】

こうして、各視点の優先度コストは、対応する視点で取り込んだデータ内で検出した１つ又は複数のオブジェクト、及び対応する視点で取り込んだ１つ又は複数のオブジェクトの関心領域に少なくとも基づいている。一般に、このような場合に優先度コストを決定する目的は、領域の情報ゲインを最大化する視点を生成することである。こうして、サンプリングした全ての視点には、少なくとも１台のロボットの１つ又は複数のセンサによる観察結果の質に基づいて、優先度コストが割り当てられる。一例では、データ処理モジュール２１０によって視点に関連付けられたデータからオブジェクトの正面の長さが決定される場合に、次に、その視点の優先度コストは、オブジェクトの正面の長さ「ｌ」（つまり、イメージングセンサの視野内の線分）に基づいており、αはセンサの中心軸と線分との間の角度である。一般に、優先度コストＰは、ロボットのセンサに垂直な（normal to）線分が他の角度の線分よりも高いコストを有するように、投影を最大化することに比例する。換言すると、優先度のより高いコストを有する視点は、操作（例えば、荷積みして別の場所に移動）する予定の領域内のオブジェクトをより適切に推定するのに役立つ可能性が高くなる。オブジェクトの正面の長さ「ｌ」と、センサの軸中心と線分「ｌ」との間の角度αとをデータ処理モジュール２１０から受け取った場合に、視点Ｖ_ｉの優先度コストを決定する例を以下の式（１）によって示す。
優先度コスト（Ｖ_ｉ）＝ｍｉｎ（ｌ＊ｓｉｎα，ｃｏｓｔ_ｍｉｎ）---------式（１）
ｍｉｎは最小を示し、ｃｏｓｔはコストを示す。

【0044】

別の実施形態では、オブジェクトの領域が、図４Ａに示されるようにオブジェクトの関心領域である場合に、各視点に関連付けられた優先度コストは、以下に示す式（２）に基づいて決定される。例えば、構造化されていない駐車場に駐車している車両のナンバープレートを識別することが目的である場合に、次に、優先度コストは、向首角αと、ロボット３００のセンサ視野（ＦｏＶ）内のナンバープレート４０２によってカバーされる領域（面積）４０４に基づいて割り当てられる。このような優先度コストの割り当ては、情報ゲインを増大させる視点を優先する。式（２）に示されるように、正規化した面積は、関心領域４０４の面積と画像平面４０６の総面積との比率である。
優先度コスト（Ｖ_ｉ）＝ｍｉｎ（正規化した面積_占有＊ｃｏｓα，ｃｏｓｔ_ｍｉｎ）------式（２）

【0045】

別の実施形態では、正規化した体積を使用して、複数の視点Ｖ_１、Ｖ_２、・・・、Ｖ_ｍの各視点Ｖ_ｉの優先度コストＰ_ｉを決定することができる。図４Ｂに示されるように、αは、離散化されたセルに対する表面法線に対する平均角度であり、これを掃引体積交差（swept volumetric intersection）と組み合わせて使用して、視点に関連する優先度コストＰ_ｉを推定する。その後に、正規化した体積は、視野（ＦｏＶ）内のセルの体積と円錐台の総体積の比率として決定される。
優先度コスト（Ｖ_ｉ）＝ｍｉｎ（正規化した体積_交差＊ｃｏｓ（α_平均），ｃｏｓｔ_ｍｉｎ）---式（３）

【0046】

複数の視点の各視点に優先度コストが割り当てられた後に、複数の視点に関連付けられた優先度コストが正規化される。こうして、視点に関連する最大優先度コストＰ_ｍａｘは、複数の視点Ｖ_１、Ｖ_２、・・・、Ｖ_ｍに関連する優先度コストから決定される。複数の視点Ｖ_１、Ｖ_２、・・・、Ｖ_ｍの優先度コストＰ１、Ｐ_２、・・・、Ｐ_ｍは、任意の視点の最大優先度コストが１となるように、最大優先度コスト（maximum priority cost）Ｐ_ｍａｘで割られる。

【0047】

一実施形態では、視点生成モジュール２１２は、１つ又は複数の目的関数を用いて、複数の視点Ｖ_１、Ｖ_２、・・・、Ｖ_ｍから最適な１組の視点ｖ_１、ｖ_２、・・・、ｖ_ｘ（ｖ_ｘはＶ_ｉのサブセットである）を識別するように構成される。１つ又は複数の目的関数は、複数の視点Ｖ_１、Ｖ_２、・・・、Ｖ_ｍの各視点に関連付けられた優先度コストＰ１、Ｐ_２、・・・、Ｐ_ｍ、及び対応する各視点のカバレッジ値Ｃｉに少なくとも基づいている。既に説明したように、視点のカバレッジ値は、対応する視点から１つ又は複数のセンサによって取り込まれた領域の面積を示す。例えば、視点Ｖ_２のカバレッジ値ＣＶ_２は、その視点Ｖ_２でロボットのセンサによってカバーされるグリッド上のセル（セルｃ_１２、ｃ_２２、ｃ_２３、ｃ_２４、ｃ_３２、ｃ_３４、ｃ_３５、ｃ_３６等）のセルインデックスを示す。

【0048】

一実施形態では、各視点のカバレッジ値は、可視性マトリクスＭとして表すことができる。より具体的には、可視性マトリクスＭの行は、グリッド内のセルインデックス（ｃ_１、ｃ_２、・・・、ｃ_ｋ）を表し、列は複数の視点Ｖ_１、Ｖ_２、・・・、Ｖ_ｍを表す。候補となる視点毎に、その視点から見える全てのセルが光線追跡を用いて決定される。こうして、ロボットのセンサの視野内の各セルの確率値は、可視性マトリクスＭで更新される。センサの光線によって掃引される範囲及び角度は、ロボットが使用するセンサのプロパティに基づいて決定されることに留意されたい。

【0049】

各視点に関連付けられた優先度コスト、複数の視点でのカバレッジ値を含む可視性マトリクスＭ、及び少なくとも１つのしきい値に基づく目的関数の例を、以下の式（４）に示す。

【数1】

ｔｈｒｅｓｈｏｌｄはしきい値を示し、
ここで、Ｗは繰り返し更新される凸緩和重みであり、
Ｍは、センサのＦｏＶ（視野）によって掃引されるセルに基づいて計算される可視性マトリクスであり、
Ｐは、複数の視点の各視点に関連付けられた優先度コストであり、
カバレッジ値Ｃは、しきい値Ｔ_１に基づいて非バイナリ値を想定する。

【0050】

式（４）の目的関数は、ＮＰ困難最小化問題のサイズを縮小するための緩和線形計画法（relaxed linear program）を用いて解かれ、グリッド３０２のセル（図３参照）等、グリッドの全てのセルが見えるであろう候補視点の縮小セットが取得される。より具体的には、緩和線形計画法を用いて式（４）の目的関数を解くことにより、複数の視点の非ゼロ候補視点が全て抽出される。最初に、全ての凸緩和重みが１に設定され、更新した凸緩和重みＷを用いて、スパース性の最終条件に達するまで反復が実行される。この反復最適化の後に、カバレッジ値Ｃがゼロの全ての要素を破棄することによって、視点のサブセットが候補視点として選択される。一実施形態では、これらの候補視点は「最適な１組の視点」を構成する。別の実施形態では、これらの候補の視点をさらに解析して、緩和整数計画法（relaxed integer program）を用いて最適な１組の視点を生成することができる。より具体的には、視点のサブセット（つまり、視点の候補）を使用して、以下の式（５）に示されるように、バイナリ変数としてＣを用いて最適化の最終ラウンドを実行する。

【数2】

ここで、カバレッジ値Ｃは、しきい値Ｔ_２に基づくバイナリ値を想定している。

【0051】

しきい値Ｔ_２は、カバレッジ値をバイナリ値に変換するために使用される。一般に、式（５）の目的関数を用いた後に得られた候補視点に基づいて、縮小した可視性マトリクスＭ_Ｒが生成され、目的関数を使用して、しきい値Ｔ_２に基づいて最小Ｃ’を決定する。式（５）の目的関数は、緩和整数計画法を使用して、候補視点（式（４）を用いて決定した候補視点）から最適な１組の視点を決定する。最適化後に、非ゼロのカバレッジ値Ｃを有する候補視点は、関連する優先度コストに基づいてオブジェクトの最大情報を含む全てのセルの可視性を保証する最適な１組の視点ｖ_ｘを構成する。複数の視点から決定した最適な１組の視点の例を、図５Ａを参照して示し説明する。こうして、最適な１組の視点は、領域の最大面積を最適にカバーし、少なくとも１台のロボットによって操作する必要がある領域内のオブジェクトに関連する最大の情報を取り込む。最適な１組の視点は、通過順序生成モジュール２１４に提供される。

【0052】

通過順序生成モジュール２１４は、メモリ２０４内の命令と連携して、少なくとも１台のロボットが最適な１組の視点を巡回するための通過順序を決定するように構成される。こうして、通過順序生成モジュール２１４は、対応する最適な対をなす視点同士の間の距離に基づいて、最適な１組の視点ｖ_ｘ（すなわち、ｖ_ｘ＝ｖ_１、ｖ_２、ｖ_３、ｖ_４）から最適な各対をなす視点同士の間の通過コストを決定するように構成される。一例では、１組の視点の各対をなす視点同士の間のユークリッド距離を決定することができる。例えば、視点ｖ_１とｖ_２との間、ｖ_１とｖ_３との間、ｖ_１とｖ_４との間、ｖ_２とｖ_３との間等の距離を決定することができる。一般に、全ての可能な最適な対をなす視点同士の間の距離を示す距離マトリクスＤが生成される。各対をなす視点同士の間の距離を決定する際に、ロボットの運動学的制約も考慮することができることに留意されたい。

【0053】

通過順序生成モジュール２１４は、経路目的関数を用いて少なくとも１台のロボットの通過順序を特定するようにさらに構成される。経路目的関数は、最適な各対をなす視点に関連付けられた通過コストと、最適な対をなす視点の少なくとも１つの最適な視点に関連付けられた優先度コストとに基づいている。換言すれば、経路目的関数は、距離マトリクスＤと、最適な各対をなす視点の少なくとも１つの最適な視点（つまり、最適な１組の視点の移動元視点及び移動先視点）に関連付けられた優先度コストに基づいている。具体的には、移動先視点の優先度コストを使用して、以下の式（６）のように経路目的関数を解く。
ｃｏｓｔ_経路ｊ＝経路長さ（ｖ_ｉ，ｖ_ｊ）＊（１－Ｐ_ｊ）-----------式（６）
ここで、ｖ_ｉは、最適な１組の視点からの移動元視点であり、
ｖ_ｊは、最適な１組の視点からの移動先視点であり、
Ｐ_ｊは、移動先視点に関連付けられた優先度コストである。

【0054】

経路目的関数は、経路長さ（つまり、移動元視点と移動先視点との間の距離）と優先度コストとの間のバランスを提供し、それによって、最適な通過順序を決定する際に、経路長さと視点の優先度コストとの組合せが最小化されるようにする。従って、近くにある情報量の多い望ましい視点が優先される。一般に、経路目的関数は、移動先視点の優先度コストを考慮した巡回セールスマン問題として定式化される。最適な移動先視点に関連付けられた優先度コストの追加により、情報が少ない最適な視点が近くにある場合でも、少なくとも１台のロボットがより多くの情報を有する視点に最初に巡回することが保証される。より具体的には、経路目的関数は、終了基準に到達する前に情報ゲインを最大化するように優先度関数で定式化される。シナリオの一例では、領域を探索する少なくとも１台のロボットの終了基準は、全てのセルが確実にカバーされるようにすることである。全てのセルがカバーされるまで全てのセルを探索すると費用がかかる可能性があるため、通常は時間ベースの終了が指定される。例えば、この領域を４分間探索すると、次に、オブジェクトの操作がトリガーされる可能性がある。別の例示的なシナリオでは、指定した終了基準は、有効なオブジェクトが検出されるまで探索し、オブジェクト検出の直後に操作をトリガーすることであり得る。このようなシナリオでは、領域全体をカバーするのではなく、最適な１組の視点からオブジェクトに関連する最大限の情報を照合することが優先される。こうして、通過順序生成モジュール２１４は、少なくとも１台のロボットに関連するカバレッジ経路の総コストが最小化されるように、最適な１組の視点の通過順序を生成する。最適な１組の視点の通過順序は、カバレッジ経路管理モジュール２１６及び少なくとも１台のロボットと共有される。

【0055】

カバレッジ経路管理モジュール２１６は、メモリ２０４内の命令２０５と連携して、ロボットが辿る経路を管理するように構成される。より具体的には、通過順序に基づく最適な１組の視点の第１の視点と第２の視点との間の滑らかな移行が、キュービックベジェ（cubic Bezier）曲線を用いて生成される。一般に、これらの滑らかな経路は、各最適な視点に正接する制御点にキュービックベジェ曲線をフィッティングすることによって生成される。視点同士の間の滑らかな移行により、非ホロノミックな（non-holonomic）制約を有するロボットが適切な位置合わせで望ましい視点（つまり、移動先視点）に近づくことができ、時間のかかるインプレース（in-place：その場での）回転を実行する必要性を削減する。最適な移動先視点への滑らかな経路がブロックされている場合に、衝突回避プランナー（planner：計画装置）を使用して、衝突のないパスを生成することができる。こうして、カバレッジ経路管理モジュール２１６は、少なくとも１台のロボットの運動学的制約を考慮して、少なくとも１台のロボットが最適な１組の視点を巡回するためのカバレッジ経路の計算を実行し、これによって、ロボットがカバレッジ経路の近くに留まりながら最適な移動先視点に確実に到達するようにする。このアプローチの別の利点は、滑らかな経路の生成プロセス中に、接線方向に基づいてロボットの動作方向を選択できることである。これにより、ロボットは、ｈｉ－ｆｉ（high-fidelity）センサを関心のあるオブジェクトに向けた状態で、最適な１組の視点の最適な移動先視点に近づくことができる。このようなアプローチにより、オブジェクトの早期検出が保証される。

【0056】

一実施形態では、制御信号は、１つ又は複数のセンサによって取り込んだ１つ又は複数のオブジェクトの各観察結果の質に基づいて、少なくとも１台のロボットによって生成される。より具体的には、別の最適な視点から最適な移動先視点に到達する前であってもオブジェクトが高精度且つ明瞭に取り込まれる場合に、少なくとも１台のロボットはカバレッジ経路管理モジュール２１６のための制御信号を生成する。従って、カバレッジ経路管理モジュール２１６は、通過順序の最適な対をなす視点同士の間を通過する少なくとも１台のロボットから受信した制御信号に基づいて、カバレッジ経路の再計画を開始する。こうして、カバレッジ経路管理モジュール２１６は、通過順序から次の最適な姿勢を選択し、通過順序の次の最適な姿勢に基づいて少なくとも１台のロボットのカバレッジ経路を更新するように構成される。一般に、オブジェクトが視点同士の間の滑らかな移行中に早期に検出されるため、ロボットは、最適な移動先視点に到達する前であっても、カバレッジ経路の再計画をトリガーする場合がある。

【0057】

一般に、滑らかな経路移行は、終了基準が、カバレッジだけでなく、関心のあるオブジェクトの有効な検出に依存する場合に特に役立ち、この検出は、少なくとも１台のロボットがｈｉ－ｆｉセンサを関心のあるオブジェクトに向けて滑らかに移行する場合に可能である。上記の例では、オブジェクトの早期検出及びそれによる早期終了（オブジェクトを事前に検出するため）に役立ち得、そのため、少なくとも１台のロボットは最適な移動先視点までずっと進むのではなく、次の最適な視点に切り替える。これは、少なくとも１台のロボットが通過する移動時間と距離との両方を最小化するのに役立ち、指定した期間内の顕著な検出の数を増やす。１組の視点及び少なくとも１台のロボットが辿るカバレッジ経路の通過順序を生成する例が、図５Ａ及び図５Ｂを参照して示し、説明する。

【0058】

ここで、図５Ａ及び図５Ｂを参照すると、本開示の一実施形態による、最適な１組の視点ｖ_１、ｖ_２、及びｖ_３と、最適な１組の視点ｖ_１、ｖ_２、及びｖ_３の通過順序に基づくカバレッジ経路とを示す領域５０２の概略図５００が示される。この表現例５００では、最適な１組の視点ｖ_１、ｖ_２、及びｖ_３は、図２を参照して説明した技術を用いて識別される。さらに、最適な１組の視点の通過順序は、経路目的関数に基づいて決定され、これにより、情報ゲインが最大となる視点が優先的に巡回されることが保証される。こうして、ロボット５１０の通過順序は、ｖ_３、ｖ_１、及びｖ_２である。

【0059】

図５Ｂに示されるように、ロボット５１０は、最適な視点ｖ_３からデータを取り込み、次に通過順序に基づいて最適な視点ｖ_１に移動する。最適な視点ｖ_３とｖ_１との間の移行は、滑らかな曲線５０４として表される。ロボット５１０が視点ｖ_３からｖ_１に移行すると、ロボット５１０のｈｉ－ｆｉセンサ（図５Ａ及び図５Ｂには図示せず）が、移行中及び視点ｖ_１に到達する前であっても、関心のあるオブジェクトＯ_２に向くように整列される。図５Ｂから明らかなように、ロボット５１０は、同じオブジェクトＯ_２のデータを取り込むための視点ｖ_１に到達する前の滑らかな移行中に、位置５０６でオブジェクトＯ_２のデータを取り込む。オブジェクトのそのような早期検出は、（オブジェクトを事前に検出するため）早期終了に役立ち、そのため、少なくとも１台のロボットがカバレッジ経路の再計画を開始し、それにより移動距離と全ての最適な視点を巡回するのにかかる時間とを最小限に抑える。オブジェクトのこれらの検出は、以下に説明するように、オブジェクトを操作するために使用される。

【0060】

ここで図２を参照すると、オブジェクト操作モジュール２１８は、メモリ２０４内の命令と連携して、１つ又は複数のオブジェクトの各オブジェクトを領域内の移動元位置から移動先位置に移動するためのピックアップ順序を決定するように構成される。従って、オブジェクト操作モジュール２１８は、１つ又は複数のオブジェクトの各オブジェクトに関して障害物制約を決定するように構成される。一例では、カバレッジ経路を通過するロボットからのデータは、オブジェクトＯ_１を移動させた後にのみオブジェクトＯ_３を移動させることができることを示し得る。こうして、オブジェクト操作モジュール２１８は、データ処理モジュール２１０から領域内の１つ又は複数のオブジェクトの各オブジェクトの複数のオブジェクト特徴を受信するように構成される。既に説明したように、ロボットはカバレッジ経路を通過し、通過中に、ロボットは、オブジェクトに関連するデータを取り込み、通信インターフェイス２０８を介してデータ処理モジュール２１０にデータを送る。データ処理モジュール２１０は、データの処理に基づいてオブジェクト特徴を決定するように構成される。

【0061】

一実施形態では、１つ又は複数のオブジェクトの各オブジェクトに関する障害物制約は、各オブジェクトの複数のオブジェクト特徴に基づいて決定される。一例では、データから決定されるオブジェクトの寸法及びオブジェクトの場所／位置を使用して、障害物制約を決定することができる。障害物制約を決定する例について、図６を参照して説明する。

【0062】

ここで図６を参照すると、本開示の例示的な実施形態による、他のオブジェクトによる妨害を示す領域６０２に配置されたオブジェクト６０４、６０６、６０８、６１０、６１２、６１４の概略図６００が示されている。既に説明したように、ロボットは最適な１組の視点の通過順序に基づいて領域を探索する。探索中に、ロボットは、オブジェクト６０４、６０６、６０８、６１０、６１２、６１４を識別し、オブジェクト６０４、６０６、６０８、６１０、６１２、６１４のそれぞれのオブジェクト特徴を照合する。より具体的には、ロボットは、それらオブジェクトの操作に関する位置、向き、場所、寸法等に関連するデータを照合する。シナリオ例では、これらのオブジェクトは、他のオブジェクトによってブロック／妨害されているため、操作できない。図６に示されるように、それらが拘束されているオブジェクトと共にオブジェクトのリストが生成され、表１に示される。

【表1】

【0063】

図６から明らかなように、オブジェクトＰ１及びＰ５は、どのオブジェクトにも遮られていない。しかしながら、オブジェクトＰ２はＰ１及びＰ３によって遮られ、オブジェクトＰ３はオブジェクトＰ５によって遮られ、以下同様である。ロボットがオブジェクトＰ２を移動させるためには、ロボットはオブジェクトＰ１及びＰ３を移動させる必要があり、オブジェクトＰ３を移動させるためには、オブジェクトＰ５を移動させる必要がある。こうして、オブジェクト操作モジュール２１８は、各オブジェクトの障害物制約に基づいて表１を縮小（reduce）するように構成される。例えば、オブジェクトＰ２がオブジェクトＰ３に対して制約され、オブジェクトＰ３がオブジェクトＰ５に対して制約されている場合に、次に縮小した制約には全てのサブ制約が含まれる。この場合に、オブジェクトＰ２はオブジェクトＰ３及びＰ５に対して制約される。表現６００のためのそのような縮小した障害物制約テーブルを、表２に示す。

【表2】

【0064】

こうして、オブジェクト操作モジュール２１８は、これらの障害物制約を決定し、それをロボットと動的に共有して、オブジェクト６０４、６０６、６０８、６１０、６１２、６１４を操作する。より具体的には、オブジェクト操作モジュール２１８は、障害物制約に基づいて領域内のオブジェクトのピックアップ順序を決定する。例えば、ロボットのピックアップ順序は、制約のないオブジェクトから始まる。この表現例では、オブジェクトＰ１又はＰ５は、制約がなく、ピックアップ順序で最初に表示される可能性があるため、最初に移動させることができる。このような場合に、複数のオブジェクトに障害物の制約がなく、ヒューリスティック（heuristic）を使用してピックアップ順序を最適化することができる。一例では、ロボットにより近いオブジェクトがピックアップ順序で最初に表示され、他のオブジェクトがその後にリストされる。

【0065】

ここで図２を参照すると、オブジェクト操作モジュール２１８は、少なくとも１台のロボットが１つ又は複数のオブジェクトの各オブジェクトを移動元位置から移動先位置に移動させた後に、障害物制約を再評価するように構成される。より具体的には、オブジェクトを移動させた後にピックアップ順序が変更され得る。つまり、障害物制約は、１つのオブジェクトの移動に基づいて動的に変更され得る。そのため、優先順位の高いオブジェクトを移動させた後で、障害物制約が再評価される。上記の表２の表現例では、オブジェクトＰ１及びＰ５を移動させた後に、オブジェクトＰ２及びＰ３には制約がなく、再評価に基づいて決定されるＰ２又はＰ３のいずれかを移動させることができる。従って、少なくとも１台のロボットのピックアップ順序が、再評価した障害物制約に基づいて更新される。全てのオブジェクトを移動させた後に再評価される障害物制約に基づくオブジェクト６０４、６０６、６０８、６１０、６１２、６１４のピックアップ順序の例は、Ｐ１－＞Ｐ５－＞Ｐ３－＞Ｐ６－＞Ｐ２－＞Ｐ４の通りになり得る。表現６００のピックアップ順序は、例示のみを目的として示され、ピックアップ順序は、オブジェクト同士の間の距離、ロボットと移動対象オブジェクトとの間の距離、オブジェクト移動の複雑さ等の他の制約を考慮に入れることができることに留意されたい。

【0066】

システム１５０について倉庫環境を参照して説明しているが、本開示の様々な実施形態は、本開示の範囲から逸脱することなく、捜索救助任務、ショッピングリスト内のオブジェクトを照合する（collate：順に並べる）ための商業又は産業インフラストラクチャ、構造化されていない駐車場の監視等にも使用できることに留意されたい。さらに、本開示の実施形態は、割り当てられたタスクに基づくカバレッジ経路計画のために同時に展開される複数のロボットに拡張され得る。自律型移動装置のための最適化したカバレッジ経路を生成するための方法について、次に図７を参照して説明する。

【0067】

図７は、本開示の一実施形態による、ロボットのカバレッジ経路を最適化するための方法７００を示すフローチャートである。フロー図に示される方法７００は、例えば、システム１５０によって実行され得る。フロー図の動作、及びフロー図における動作の組合せは、例えば、１つ又は複数のコンピュータプログラム命令を含むソフトウェアの実行に関連付けられたハードウェア、ファームウェア、プロセッサ、回路及び／又は別の装置によって実施され得る。方法７００の動作は、システム１５０の助けを借りて本明細書で説明する。方法７００の動作は、ロボット内に組み込まれたプロセッサ等の、システム１５０以外のシステム／装置の１つ又は複数のプロセッサを用いて説明及び／又は実施することができることに留意されたい。方法７００は動作７０２で開始する。

【0068】

方法７００の動作７０２において、プロセッサが、領域内の少なくとも１台のロボットに関連付けられた１つ又は複数のセンサからデータを受信する。例えば、プロセッサ２０２は、図２を参照して示し説明したシステム１５０等のシステム内で具体化される。既に説明したように、データは、領域内の複数の視点から複数の姿勢で取り込まれる。システム１５０は、例えば倉庫等の環境の動作を制御する集中型サーバ内で具現化することができ、又は分散方式で、領域を探索するロボット内に統合することができる。データには、レーダー画像、ＲＧＢ画像、ライダー画像、及び赤外線画像の少なくとも１つが含まれる。

【0069】

方法７００の動作７０４において、優先度コストが、対応する視点で取り込んだデータ内で検出した１つ又は複数のオブジェクト、及び対応する視点で１つ又は複数のセンサによって取り込んだ１つ又は複数のオブジェクトの関心領域に少なくとも基づいて、複数の視点の各視点に割り当てられる。１つ又は複数のセンサによって取り込んだ１つ又は複数のオブジェクトの関心領域は、１つ又は複数のオブジェクトの各オブジェクトの長さ、１つ又は複数のオブジェクトの各オブジェクトの幅、１つ又は複数のオブジェクトの各オブジェクトの大きさ、１つ又は複数のオブジェクトの各オブジェクトの面積、及び１つ又は複数のオブジェクトの各オブジェクトの体積のうちの少なくとも１つに対応する。視点の優先度コストは、図２、図４Ａ～図４Ｂを参照して説明したように、式（１）、（２）、及び（３）に基づいて決定される。

【0070】

方法７００の動作７０６において、１つ又は複数の目的関数を用いて、複数の視点から最適な１組の視点が特定される。１つ又は複数の目的関数は、複数の視点の各視点に関連付けられた優先度コスト、及び対応する各視点のカバレッジ値に少なくとも基づいている。１つ又は複数の目的関数の例が、式（４）及び（５）によって示される。視点のカバレッジ値は、対応する視点から１つ又は複数のセンサによって取り込まれた領域の面積を示す。１つ又は複数の目的関数に基づいて最適な１組の視点を特定することは、図２を参照して説明しており、簡潔にするために、ここでは説明しない。

【0071】

方法７００の動作７０８において、少なくとも１台のロボットのカバレッジ経路が、最適な１組の視点に少なくとも基づいて生成される。こうして、最適な１組の視点の通過順序は、最大の情報を有する最適な視点が優先的に巡回されることを保証しながら、通過する経路長さ／距離を最小化する経路目的関数を用いて決定される。その後に、最適な視点同士の間での少なくとも１台のロボットの滑らかな経路移行が、キュービックベジェ曲線を用いて保証され、少なくとも１台のロボットがカバレッジ経路を通過するように構成される。

【0072】

方法７００の動作のシーケンスは、それら動作が提示されるのと同じ順序で必ずしも実行する必要はない。さらに１つ又は複数の動作を一緒にしてグループ化し、単一のステップの形で実行してもよく、又は１つの動作に、並行して又は順次実行できるいくつかのサブステップを含めることができる。

【0073】

図１～図７を参照して開示した方法、又はフロー図７００の１つ又は複数の動作は、１つ又は複数のコンピュータ可読媒体（例えば、１つ又は複数の光学式媒体ディスク等の非一時的なコンピュータ可読媒体）、揮発性メモリコンポーネント（例えば、ＤＲＡＭ又はＳＲＡＭ等）、又は不揮発性メモリ又はストレージコンポーネント（例えば、ハードドライブ、又はフラッシュメモリコンポーネント等のソリッドステート不揮発性メモリコンポーネント）に格納したコンピュータ実行可能命令を含むソフトウェアを用いて実装することができ、コンピュータ（例えば、ラップトップコンピュータ、ネットブック、ウェブブック、タブレットコンピューティング装置、スマートフォン、又は他のモバイルコンピューティング装置等の任意の適切なコンピュータ）で実行される。そのようなソフトウェアは、例えば、単一のローカルコンピュータ上で実行され得る。

【0074】

図８は、本開示の一実施形態による、自律型移動装置のカバレッジ経路を最適化するための汎用コンピュータのブロック図を示す。コンピュータシステム８００は、中央処理装置（「ＣＰＵ」又は「プロセッサ」）８０２を含むことができる。プロセッサ８０２は、少なくとも１つのデータプロセッサを含むことができる。プロセッサ８０２は、統合システム（バス）コントローラ、メモリ管理制御ユニット、浮動小数点ユニット、グラフィックス処理装置、デジタル信号処理ユニット等の専用処理ユニットを含むことができる。コンピュータシステム８００は、システム１５０（図２に示される）に類似し得る。

【0075】

プロセッサ８０２は、Ｉ／Ｏインターフェイス８０１を介して１つ又は複数の入出力（Ｉ／Ｏ）装置（図示せず）と通信するように配置され得る。Ｉ／Ｏインターフェイス８０１は、オーディオ、アナログ、デジタル、モノラル、ＲＣＡ、ステレオ、ＩＥＥＥ－１３９４、シリアルバス、ＵＳＢ（Universal Serial Bus）、赤外線、ＰＳ／２、ＢＮＣ、同軸、コンポーネント、コンポジット、ＤＶＩ（digital visual interface）、高解像度マルチメディアインターフェイス（ＨＤＭＩ（登録商標））、無線周波数（ＲＦ）アンテナ、Ｓ－ビデオ、ＶＧＡ、ＩＥＥＥ８０２．ｎ／ｂ／ｇ／ｎ／ｘ、Ｂｌｕｅｔｏｏｔｈ、セルラ（例えば、符号分割多元接続（ＣＤＭＡ）、高速パケットアクセス（ＨＳＰＡ＋）、グローバル移動体通信システム（ＧＳＭ）、ロングタームエボリューション（ＬＴＥ）、ＷｉＭａｘ等であるが、これらに限定されない、通信プロトコル／方法を使用し得る。

【0076】

Ｉ／Ｏインターフェイス８０１を用いて、コンピュータシステム８００は、１つ又は複数のＩ／Ｏ装置と通信することができる。例えば、入力装置８１０は、アンテナ、キーボード、マウス、ジョイスティック、（赤外線）リモコン、カメラ、カードリーダ、ファックス機、ドングル、バイオメトリックリーダ、マイク、タッチスクリーン、タッチパッド、トラックボール、スタイラス、スキャナ、ストレージ装置、トランシーバ、ビデオ装置／ソース等であってもよい。出力装置８１１は、プリンタ、ファックス機、ビデオディスプレイ（例えば、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）等）、プラズマ、プラズマディスプレイパネル（ＰＤＰ）、有機発光ダイオードディスプレイ（ＯＬＥＤ）等）、オーディオスピーカ等であってもよい。

【0077】

いくつかの実施形態では、コンピュータシステム８００は、通信ネットワーク８０９を介してリモート装置８１２に接続される。リモート装置８１２は、ロボットからデータを受信する周辺装置であり得る。プロセッサ８０２は、ネットワークインターフェイス８０３を介して通信ネットワーク８０９と通信するように配置され得る。ネットワークインターフェイス８０３は、通信ネットワーク８０９と通信することができる。ネットワークインターフェイス８０３は、ダイレクトコネクト、イーサネット（例えば、ツイストペア１０／１００／１０００ベースＴ）、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、トークンリング、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ／ｘ等を含むが、これらに限定されない、通信プロトコルを使用することができる。通信ネットワーク８０９は、直接相互接続、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、無線ネットワーク（例えば、無線アプリケーションプロトコルを使用する）、インターネット等を含むことができるが、これらに限定されない。ネットワークインターフェイス８０３及び通信ネットワーク８０９を用いて、コンピュータシステム８００は、リモート装置８１２と通信することができる。ネットワークインターフェイス８０３は、ダイレクトコネクト、イーサネット（例えば、ツイストペア１０／１００／１０００ベースＴ）、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、トークンリング、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ／ｘ等を含むが、これらに限定されない、接続プロトコルを使用することができる。

【0078】

通信ネットワーク８０９は、直接相互接続、電子商取引ネットワーク、ピアツーピア（Ｐ２Ｐ）ネットワーク、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、無線ネットワーク（例えば、無線アプリケーションプロトコルを使用する）、インターネット、Ｗｉ－Ｆｉ、３ＧＰＰ（登録商標）等を含むが、これらに限定されない。第１のネットワーク及び第２のネットワークは、専用ネットワーク又は共有ネットワークのいずれかであり、互いに通信するためのハイパーテキスト転送プロトコル（ＨＴＴＰ）、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、無線アプリケーションプロトコル（ＷＡＰ）等、様々なプロトコルを使用する様々なタイプのネットワークの関連付けを表す。さらに、第１のネットワーク及び第２のネットワークは、ルータ、ブリッジ、サーバ、コンピューティング装置、ストレージ装置等を含む、様々なネットワーク装置を含み得る。

【0079】

いくつかの実施形態では、プロセッサ８０２は、ストレージインターフェイス８０４を介してメモリ８０５（例えば、図８に図示していないＲＡＭ、ＲＯＭ等）と通信するように配置され得る。ストレージインターフェイス８０４は、メモリ８０５に接続してもよく、メモリ８０５は、メモリドライブ、リムーバブルディスクドライブを含むが、これらに限定されず、ＳＡＴＡ（Serial Advanced Technology Attachment）、ＩＤＥ（Integrated Drive Electronics）、ＩＥＥＥ－１３９４、ＵＳＢ（Universal Serial Bus）、ファイバーチャネル、ＳＣＳＩ（Small Computer System Interface）等の接続プロトコルを使用する。メモリドライブは、ドラム、磁気ディスクドライブ、光磁気ドライブ、光ドライブ、ＲＡＩＤ（Redundant Array of Independent Discs）、ソリッドステートメモリ装置、ソリッドステートドライブ等をさらに含み得る。

【0080】

メモリ８０５は、ユーザインターフェイス８０６、オペレーティングシステム８０７、ウェブサーバ８０８等を含むがこれらに限定されない、プログラム又はデータベースコンポーネントのコレクションを格納することができる。いくつかの実施形態では、コンピュータシステム８００は、本開示で説明しているデータ、変数、レコード等のユーザ／アプリケーションデータを格納することができる。このようなデータベースは、Oracle（登録商標）又はSybase（登録商標）等のフォールトトレラントで、リレーショナルで、スケーラブルで、安全なデータベースとして実装することができる。

【0081】

オペレーティングシステム８０７は、コンピュータシステム８００のリソース管理及び操作を容易にすることができる。オペレーティングシステムの例には、APPLE MACINTOSH（登録商標）、OS X、UNIX（登録商標）、UNIX（登録商標）ライクのシステムディストリビューション（例えば、ＢＳＤ（BERKELEY SOFTWARE DISTRIBUTION（登録商標）、FREEBSD（登録商標）、NETBSD（登録商標）、OPENBSD（登録商標）等）、LINUX DISTRIBUTIONS（登録商標）（例えば、RED HAT（登録商標）、UBUNTU（登録商標）、KUBUNTU（登録商標）等）、IBM（登録商標） OS/2、MICROSOFT（登録商標） WINDOWS（登録商標） （XP（登録商標）、 VISTA（登録商標）/7/8, 10等）、APPLE（登録商標） IOS（登録商標）、GOOGLE（登録商標） ANDROID（登録商標）、BLACKBERRY（登録商標） OS等が含まれるが、これらに限定されない。

【0082】

いくつかの実施形態では、コンピュータシステム８００は、ウェブブラウザ８０８に、格納したプログラムコンポーネントを実施させることができる。ウェブブラウザ８０８は、例えば、MICROSOFT（登録商標）INTERNET EXPLORER（登録商標）、GOOGLE（登録商標）CHROME（登録商標）、MOZILLA（登録商標）FIREFOX（登録商標）、APPLE（登録商標）SAFARI（登録商標）等のハイパーテキスト表示アプリケーションであってもよい。安全なウェブブラウジングは、安全なＨＴＴＰＳ（Hypertext Transport Protocol）、ＳＳＬ（Secure Sockets Layer）、ＴＬＳ（Transport Layer Security）等を用いて提供してもよい。ウェブブラウザ８０８は、AJAX（登録商標）、DHTML（登録商標）、ADOBER FLASH（登録商標）、JAVASCRIPT（登録商標）、JAVA（登録商標）、ＡＰＩ（Application Programming Interfaces）等の機能を利用することができる。いくつかの実施形態では、コンピュータシステム８００は、メールサーバに格納したプログラムコンポーネントを実装することができる。メールサーバは、MICROSOFT Exchange等のインターネットメールサーバであってもよい。メールサーバは、ASP（登録商標）、ACTIVEX（登録商標）、ANSI（登録商標） C++/C#、MICROSOFT（登録商標）、.NET（登録商標）、CGI SCRIPTS（登録商標）、JAVA（登録商標）、JAVASCRIPT（登録商標）、PERL（登録商標）、PHP（登録商標）、PYTHON（登録商標）、WEBOBJECTS（登録商標）等の機能を利用することができる。メールサーバは、ＩＭＡＰ（Internet Message Access Protocol）、ＭＡＰＩ（Messaging Application Programming Interface）、MICROSOFT（登録商標）exchange、ＰＯＰ（Post Office Protocol）、ＳＭＴＰ（Simple Mail Transfer Protocol）等の通信プロトコルを利用することができる。いくつかの実施形態では、コンピュータシステム８００は、メールクライアントに格納したプログラムコンポーネントを実装することができる。メールクライアントは、APPLE（登録商標） MAIL（登録商標）、MICROSOFT（登録商標） ENTOURAGE（登録商標）、MICROSOFT（登録商標） OUTLOOK（登録商標）、MOZILLA（登録商標） THUNDERBIRD（登録商標）等のメール閲覧アプリケーションであってもよい。

【0083】

さらに、本開示と一致する実施形態を実施する際に、１つ又は複数のコンピュータ可読記憶媒体を利用することができる。コンピュータ可読記憶媒体とは、プロセッサが読み取り可能な情報又はデータを格納できる任意のタイプの物理メモリを指す。こうして、コンピュータ可読記憶媒体は、本明細書で説明する実施形態と一致するステップ又はステージをプロセッサに実行させるための命令を含む、１つ又は複数のプロセッサによる実行のための命令を格納することができる。「コンピュータ可読媒体」という用語は、有形のアイテムを含み、搬送波及び過渡信号を除外する、すなわち非一時的であると理解すべきである。例には、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、揮発性メモリ、不揮発性メモリ、ハードドライブ、コンパクトディスク（ＣＤ）ＲＯＭ、ＤＶＤ、フラッシュドライブ、ディスク、及び任意の他の既知の物理ストレージメディアが含まれる。

【0084】

本開示の様々な実施形態は、多数の利点を提供する。本開示の実施形態は、自律型移動装置のカバレッジ経路計画のための最適化した方法を提供する。検出したオブジェクトと検出したオブジェクトの関心領域とに基づいて各視点に優先度コストを割り当てることで、最大の情報を有する視点が優先されることが保証される。さらに、各視点に関連付けられた優先度コストに基づいて最適な１組の視点を決定することにより、最大の情報を有する視点が最適な視点として選択されることが保証される。さらに、最適な１組の視点の通過順序を決定するための優先度コストの統合により、経路長と視点の優先度コストとの組合せが最小になるように、近くにある最大情報を有する視点が優先されることが保証される。より具体的には、経路目的関数は、終了基準に到達する前に情報ゲインを最大化する優先度関数で定式化される。さらに、滑らかな経路移行として生成されたカバレッジ経路は、オブジェクトの早期検出及びそれによる早期終了を保証し、それにより少なくとも１台のロボットが通過する移動時間と距離との両方を最小限に抑え、指定した期間内の顕著な検出の数を増やす。

【0085】

一般に、本明細書で使用する用語は、一般に「オープン」な用語として意図していることを当業者は理解するだろう（例えば、「～を含む」という用語は、「～を含むが、これらに限定されない」と解釈すべきであり、「～を有する」という用語は「～を少なくとも有する」と解釈すべきであり、「～を含む」という用語は「～を含むがこれに限定されない」等と解釈すべきである）。例えば、理解を助けるために、詳細な説明には、列挙（recitation）を紹介するための「少なくとも１つ」及び「１つ又は複数」という導入語句の使用を含む場合がある。しかしながら、そのような語句の使用は、「１つ又は複数」又は「少なくとも１つ」という導入句及び「１つの（a, an）」等の不定冠詞（例えば、「a」及び／又は「an」は通常、「少なくとも１つ」又は「１つ又は複数」を意味すると解釈されるべきである。）がそのような列挙に含まれている場合であっても、不定冠詞「１つの（a, an）」による列挙の導入が、そのような導入された記載を含む明細書の特定の部分を、そのような列挙を１つだけ含む発明に限定することを意味すると解釈すべきではない。同じことは、そのような列挙を導入するために使用される定冠詞の使用にも当てはまる。さらに、導入した明細書の列挙の特定の部分が明示的に引用されている場合でも、当業者は、そのような列挙は通常、少なくとも列挙された数を意味すると解釈すべきであることを認識するであろう（例えば、「２つの列挙」の単なる列挙は、他の修飾なしで、典型的に、少なくとも２回の列挙又は２回以上の列挙を意味する）。

【0086】

様々な態様及び実施形態を本明細書に開示しているが、他の態様及び実施形態は当業者には明らかであろう。本明細書に開示する様々な態様及び実施形態は、例示を目的としており、限定を意図するものではなく、真の範囲及び精神は、以下の詳細な説明によって示される。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5A】

【図5B】

【図6】

【図7】

【図8】