特表 2024-542034 飛行ロボットにおける薄い物体の検出及び回避

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-11-13

(54)【発明の名称】飛行ロボットにおける薄い物体の検出及び回避

(51)【国際特許分類】

   G06T 7/70 20170101AFI20241106BHJP

   G06V 10/82 20220101ALI20241106BHJP

   G06T 7/00 20170101ALI20241106BHJP

【ＦＩ】

G06T7/70

G06V10/82

G06T7/00 350C

G06T7/00 650Z

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024525711

(86)(22)【出願日】2022-11-01

(85)【翻訳文提出日】2024-06-28

(86)【国際出願番号】 US2022048500

(87)【国際公開番号】W WO2023076709

(87)【国際公開日】2023-05-04

(31)【優先権主張番号】63/274,450

(32)【優先日】2021-11-01

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．Ｌｉｎｕｘ

２．イーサネット

(71)【出願人】

【識別番号】523008037

【氏名又は名称】ブルックハースト ガレージ インコーポレイテッド

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(74)【代理人】

【識別番号】100132883

【弁理士】

【氏名又は名称】森川 泰司

(74)【代理人】

【識別番号】100148633

【弁理士】

【氏名又は名称】桜田 圭

(74)【代理人】

【識別番号】100147924

【弁理士】

【氏名又は名称】美恵 英樹

(72)【発明者】

【氏名】キム、ユン ジュン

(72)【発明者】

【氏名】リ、キュムアン

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA02

5L096DA02

5L096FA06

5L096FA59

5L096FA66

5L096FA69

5L096HA03

5L096HA11

(57)【要約】

飛行ロボットは、環境の画像をとらえるための画像センサを含む。前記ロボットは、第１の場所においてとらえられた第１の画像を受け取る。前記ロボットは、第１の画像内の１個以上の第１の画素を識別する。第１の画素は、第１の画像において識別される物体のターゲットとなる１個以上の特徴に対応する。前記ロボットは、第２の場所でとらえられた第２の画像を受け取る。前記ロボットは、第１の場所から第２の場所までの前記ロボットの移動を推定する距離データを受け取る。前記ロボットは、第２の画像内の第２の画素を識別する。第２の画素は、第２の画像に現れる前記物体のターゲットとなる特徴に対応する。前記ロボットは、前記距離データによって提供される、前記ロボットの移動に関する第１の画素からの第２の画素の場所の変化に基づいて、前記ロボットと前記物体との推定距離を決定する。
【選択図】図６

【特許請求の範囲】

【請求項1】

飛行ロボットを作動させる方法であって、
前記飛行ロボットによって第１の場所でとらえられた、環境の第１の画像を受け取ること、
前記第１の画像内の物体を識別すること、
前記物体のターゲットとなる１個以上の特徴に対応する、前記第１の画像内の第１の画素の１個以上を識別すること、
前記飛行ロボットによって第２の場所でとらえられた、環境の第２の画像を受け取ること、
前記第１の場所から前記第２の場所までの前記飛行ロボットの移動を推定する、前記飛行ロボットの距離データを受け取ること、
前記物体の前記ターゲットとなる１個以上の特徴に対応する、前記第２の画像内の第２の画素の１個以上を識別すること、及び、
前記距離データによって提供される前記飛行ロボットの移動に関する、前記第１の画素の１個以上からの前記第２の画素の１個以上の場所の変化に基づいて、前記飛行ロボットと前記物体との推定距離を決定すること、
を含む、方法。

【請求項2】

前記物体は畳み込みニューラルネットワークによって識別される、請求項１に記載の方法。

【請求項3】

前記畳み込みニューラルネットワークは拡張畳み込み層を含む、請求項２に記載の方法。

【請求項4】

前記第１の画像内の第１の画素の１個以上を識別することは、
前記物体に対応するように投影された前記第１の画像内の画素にタグ付けをすること、
前記画素をクラスタ化して複数の輪郭（ｃｏｎｔｏｕｒ）を形成すること、
前記輪郭をマージしてマージされた輪郭を形成すること、及び、
前記マージされた輪郭内の画素から前記ターゲットとなる１個以上の特徴を識別すること、
を含む、請求項１に記載の方法。

【請求項5】

マージする前に、サイズに基づいて前記輪郭の１個以上がフィルタリングされる、請求項４に記載の方法。

【請求項6】

前記ターゲットとなる１個以上の特徴は、前記物体の遠端の１個以上である、請求項１に記載の方法。

【請求項7】

前記第２の画像内の第２の画素の１個以上を識別することは、
前記距離データに基づいて、前記第２の画像内の前記第１の画素の１個以上の場所を投影すること、及び、
前記第１の画素の１個以上の投影された場所に基づいて、前記第２の画素の１個以上を識別すること、
を含む、請求項１に記載の方法。

【請求項8】

前記物体は画素１０個未満の幅の薄い物体である、請求項１に記載の方法。

【請求項9】

前記物体はワイヤである、請求項１に記載の方法。

【請求項10】

前記距離データは慣性測定装置（ＩＭＵ）から生成される、請求項１に記載の方法。

【請求項11】

１個以上のプロセッサと、
命令を保存するように構成されたメモリと、
を含む、飛行ロボットであって、
前記命令は、前記１個以上のプロセッサによって実行されるとき、
第１の場所でとらえられた環境の第１の画像を受け取ること、
前記第１の画像内の物体を識別すること、
前記物体のターゲットとなる１個以上の特徴に対応する、前記第１の画像内の第１の画素の１個以上を識別すること、
第２の場所でとらえられた環境の第２の画像を受け取ること、
前記第１の場所から前記第２の場所までの前記飛行ロボットの移動を推定する、前記飛行ロボットの距離データを受け取ること、
前記物体の前記ターゲットとなる１個以上の特徴に対応する、前記第２の画像内の第２の画素の１個以上を識別すること、及び、
前記距離データによって提供される、前記飛行ロボットの移動に関する、前記第１の画素の１個以上からの前記第２の画素の１個以上の場所の変化に基づいて、前記飛行ロボットと前記物体との推定距離を決定すること、
を前記１個以上のプロセッサに実行させる、
飛行ロボット。

【請求項12】

前記物体は畳み込みニューラルネットワークによって識別される、請求項１１に記載の飛行ロボット。

【請求項13】

前記畳み込みニューラルネットワークは拡張畳み込み層を含む、請求項１２に記載の飛行ロボット。

【請求項14】

前記第１の画像内の第１の画素の１個以上を識別するための命令は、
前記物体に対応するように投影された前記第１の画像内の画素にタグ付けをすること、
前記画素をクラスタ化して複数の輪郭を形成すること、
前記輪郭をマージしてマージされた輪郭を形成すること、及び、
前記マージされた輪郭内の画素から前記ターゲットとなる１個以上の特徴を識別すること、
を前記プロセッサに実行させる命令を含む、
請求項１１に記載の飛行ロボット。

【請求項15】

マージする前に、サイズに基づいて前記輪郭の１個以上がフィルタリングされる、請求項１４に記載の飛行ロボット。

【請求項16】

前記ターゲットとなる１個以上の特徴は、前記物体の遠端の１個以上である、請求項１１に記載の飛行ロボット。

【請求項17】

前記第２の画像内の第２の画素の１個以上を識別するための命令は、
前記距離データに基づいて、前記第２の画像内の前記第１の画素の１個以上の場所を投影すること、及び、
前記第１の画素の１個以上の投影された場所に基づいて、前記第２の画素の１個以上を識別すること、
を前記プロセッサに実行させる命令を含む、
請求項１１に記載の飛行ロボット。

【請求項18】

前記物体は画素１０個未満の幅の薄い物体である、請求項１１に記載の飛行ロボット。

【請求項19】

前記物体はワイヤである、請求項１１に記載の飛行ロボット。

【請求項20】

慣性測定装置（ＩＭＵ）をさらに含み、前記距離データは前記ＩＭＵから生成される、請求項１１に記載の飛行ロボット。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
この出願は２０２１年１１月１日に提出された米国仮特許出願番号第６３／２７４，４５０号の利益を主張し、米国仮特許出願番号第６３／２７４，４５０号の全体を参照としてここに取り込む。

【0002】

（技術分野）
本開示は、一般にロボットによる物体の検出に関し、より具体的には、薄い（ｔｈｉｎ）物体を検出及び回避するためにニューラル・ネットワークを使用するロボットに関する。

【背景技術】

【0003】

ドローンのような飛行ロボットが自律的であるためには、飛行ロボットは物体に衝突することなく環境内を航行する必要がある。物体の大きさや形状のために、ある種の物体はロボットのセンサーで検出するのがより困難である。例えば、電線は細すぎて、ロボットが電線の奥行きの測定値を伴う点群データを生成できないことが多いので、最新鋭のロボットでも、電線やケーブルを検出することはできない。飛行ロボットは、手動で制御しなければ、電線に衝突して、物的損害及び潜在的に危険な状態を引き起こすことが多い。

【発明の概要】

【課題を解決するための手段】

【0004】

実施形態は、環境の画像をとらえる画像センサを含む飛行ロボットに関する。飛行ロボットは、第１の場所でとらえられた環境の第１の画像を受け取る。飛行ロボットは、第１の画像内の物体を識別する。物体は薄い物体の場合がある。飛行ロボットは、識別された物体の１個以上の対象となる特徴に対応する、第１の画像内の１個以上の第１の画素を識別する。飛行ロボットは、第２の場所でとらえられた、環境の第２の画像を受け取る。飛行ロボットは、第１の場所から第２の場所への飛行ロボットの移動を推定する距離データを受け取る。飛行ロボットは、第２の画像に現れた物体のターゲットとなる特徴に対応する第２の画像中の１個以上の第２の画素を特定する。飛行ロボットは、距離データによって提供される飛行ロボットの移動に関する第１の画素からの第２の画素の位置の変化に基づいて、飛行ロボットと物体との間の推定距離を決定する。

【図面の簡単な説明】

【0005】

【図1】いくつかの実施例による、例示の保管サイトのシステム環境を示すブロック図である。

【図2】いくつかの実施例による、例示のロボットと、例示のベース・ステーションとの構成要素を示すブロック図である。

【図3】いくつかの実施例による、保管サイトの在庫品を管理する例示の方法を表すフローチャートである。

【図4】いくつかの実施例による、ロボットを備える保管サイトの例示のレイアウトの概念図である。

【図5】いくつかの実施例による、ロボットの例示のナビゲーション方法を表すフローチャートである。

【図6】いくつかの実施例による薄い物体を検出するロボットを示す概念図である。

【図7】いくつかの実施例による、環境における薄い物体を検出するためのロボットの例示の方法を表すフローチャートである。

【図8A】いくつかの実施例による、例示の機械学習モデルを示すブロック図である。

【図8B】いくつかの実施例による、別の例示の機械学習モデルを示すブロック図である。

【図9】いくつかの実施例による、例示のコンピューティング・マシンの構成要素を示すブロック図である。

【0006】

説明の目的のためにのみ、非限定的な様々な実施例を、図は表し、詳細な説明は記載する。

【発明を実施するための形態】

【0007】

図と以下の説明は、実例として好ましい実施例に関するのみである。当業者は、開示されたものの本質を逸脱しない範囲で採用されうる現実的代案として、ここで開示される構造と方法の代わりの実施例を認識する可能性がある。

【0008】

ここで、参照は、いくつかの実施例の詳細においてなされ、参照の例は、添付の図に示される。なお、実行可能な類似した又は同様の参照番号が数字で使用される場合はいつでも、類似した又は同様の参照番号は、類似した又は同様の機能を示す可能性がある。図は、説明目的のためにのみ開示されたシステム（又は方法）の実施例を表す。当業者は、ここに示される構造と方法の代わりの実施例が、ここに記述される本質を逸脱しない範囲で採用されうると、以下の説明からすぐに認めるだろう。

【0009】

実施例は、環境内の薄い物体を識別し、ロボットと識別された薄い物体との間の距離を推定するために、機械学習モデルを使用することによって、環境内を移動する飛行ロボットに関する。ロボットは、薄い物体に対応するピクセルを残りのピクセルから区別する畳み込みニューラルネットワークを使用する薄い物体の検出器を含むことがある。ロボットは、薄い物体の識別可能な特徴を検出し、ロボットの画像センサによってとらえられた異なる画像フレームにわたって、識別された特徴の動きを追跡することがある。ロボットの動きと、状態推定器及び慣性計測ユニットによって生成されることがある姿勢評価に基づき、ロボットは画像に現れた識別された特徴の動きを分析し、ロボットと薄い物体との間の推定距離を決定する。

【0010】

システムの概要
図１は、いくつかの実施例による、例示のロボットに手助けされる又は完全に自律的な保管サイトのシステム環境１００を示すブロック図である。例として、システム環境１００は、保管サイト１１０と、ロボット１２０と、ベース・ステーション１３０と、在庫品管理システム１４０と、コンピュータ・サーバー１５０と、データ・ストア１６０と、ユーザデバイス１７０とを含む。システム環境１００の実在物と構成要素は、ネットワーク１８０を介して互いに通信する。様々な実施例では、システム環境１００は、異なる、又はより少しの、又は追加の構成要素を含んでも良い。また、システム環境１００の各々の構成要素が単数形で記述されている場合も、システム環境１００は、各々の構成要素を１以上含んでも良い。例えば、保管サイト１１０は、１以上のロボット１２０と、１以上のベース・ステーション１３０を含んでも良い。各々のロボット１２０が、対応するベース・ステーション１３０を有していても良いし、又は、複数のロボット１２０がベース・ステーション１３０を共有しても良い。

【0011】

保管サイト１１０は、グッズと商品と食料雑貨と品物とコレクションのような在庫品を、保管する又は売る又は展示する、どのような適当な施設であっても良い。例示の保管サイト１１０は、倉庫と、在庫品用地と、本屋と、靴屋と、アウトレットと、他の小売店と、図書館と、博物館などを含んでも良い。保管サイト１１０は、いくつかの規則正しく形づくられた構造を含んでも良い。規則正しく形作られた構造は、物が、不変的であるか一時的であるか、固定されているか可動であるか、荷重負荷であるか否か、にかかわらず、容易に特定可能な規則正しい形状又は輪郭（ｃｏｎｔｏｕｒ）を有する、保管サイト内の構造、備品、器材、家具、フレーム、シェル、ラック又は他の適当な物であっても良い。規則正しく形づくられた構造は、しばしば、保管サイト１１０で在庫品の保管に使用される。例えば、ラック（金属のラック又はシェル又はフレーム又は他の類似した構造を含む）が、しばしば、倉庫でグッズと商品の保管に使用される。しかし、規則正しく形づくられた構造が、在庫品保管に使用される必要があるとは限らない。保管サイト１１０は、様々なアイテムが置かれて、体系的に保管される特定のレイアウトを含んでも良い。例えば、倉庫内では、ラックはセクション別に分類され、通路で分けられていても良い。各々のラックは、行番号と列番号を使って特定されうる複数のパレット位置を含んでも良い。保管サイトは高いラックと低いラックを含んでも良く、ある場合は、主に地上の近くに大部分の在庫品アイテムを運んでも良い。

【0012】

保管サイト１１０は、保管サイト１１０内の在庫品を追跡し、在庫品を管理するのに使用される１以上のロボット１２０を含んでも良い。参照の容易さのために、例え１台以上のロボット１２０が使用されるとしても、ロボット１２０は単数形で記載される可能性がある。また、いくつかの実施例では、１種類以上のロボット１２０が、保管サイト１１０に存在しうる。例えば、いくつかのロボット１２０は保管サイト１１０で在庫品をスキャンすることに特化する一方で、他のロボット１２０はアイテムを動かすことに特化しても良い。ロボット１２０は、また、自律ロボット、又は在庫品循環棚卸ロボット、又は在庫品調査ロボット、又は在庫品検出ロボット、又は在庫品管理ロボットとも呼ばれても良い。在庫品ロボットは、在庫品アイテムを追跡し、在庫品アイテムを動かし、他の在庫品管理作業を実行するのに使用されても良い。自律の程度は、実施例と実施例の間で変化しても良い。例えば、いくつかの実施例では、ロボット１２０が割り当てられた作業を自動的に実行するように、ロボット１２０は完全自律性であっても良い。他の実施例では、ロボット１２０が最小の人間の命令又は制御で保管サイト１１０を移動可能なように、ロボット１２０は半自律性であっても良い。いくつかの実施例では、ロボット１２０が、どの程度の自律性を有していても、ロボット１２０は遠隔操作されても良く、マニュアルモードに切り替えられても良い。ロボット１２０は、空中無人機、地上ロボット、車両、フォークリフト、モバイル・ピッキングロボットのような様々な種類を採用しても良い。

【0013】

ベース・ステーション１３０は、ロボット１２０が戻るための、空中ロボットが着陸するための、デバイスであっても良い。ベース・ステーション１３０は、１以上の戻り場所を含んでも良い。ベース・ステーション１３０は、ロボット１２０に再度動力を供給するのに使用されても良い。ロボット１２０に再度動力を供給する様々な方法が、様々な実施例で使用されても良い。例えば、いくつかの実施例では、ベース・ステーション１３０は、ロボット１２０が速く務めを再開できるように、ロボットがベース・ステーションに着いた時、ロボット１２０のバッテリーを交換するバッテリー交換ステーションとして役立つ。交換されたバッテリーは、有線又は無線で、ベース・ステーション１３０で充電されても良い。他の実施例では、ベース・ステーション１３０は、ロボット１２０のバッテリーを再充電するのにロボット１２０の充電端子と結合する１以上の充電端子を備える充電ステーションとして役立つ。さらに他の実施例では、ロボット１２０は、動力に燃料を使用しても良く、ベース・ステーション１３０はその燃料タンクを充填することによってロボット１２０に再度動力を供給しても良い。

【0014】

ベース・ステーション１３０は、また、ロボット１２０の通信ステーションとして役立っても良い。例えば、倉庫のような特定の種類の保管サイト１１０では、ネットワークの範囲は存在しないかもしれず、あるいは特定の場所にのみ存在するかもしれない。ベース・ステーション１３０は、Ｗｉ－Ｆｉ又はイーサネット・ケーブルのような無線又は有線の通信チャンネルを使って、システム環境１００内の他の構成要素と通信しても良い。ロボット１２０がベース・ステーション１３０に戻った時、ロボット１２０はベース・ステーション１３０と通信しても良い。ベース・ステーション１３０は、ロボット１２０にコマンドのような入力を送っても良く、ロボット１２０でとらえられたデータをダウンロードしても良い。複数のロボット１２０が使用される実施例では、ベース・ステーション１３０は、ロボット間の動きを調整するための群制御装置又はアルゴリズムを備えていても良い。ベース・ステーション１３０とロボット１２０は、無線周波数、又はブルートゥース（登録商標）、又は近距離無線通信（ｎｅａｒ－ｆｉｅｌｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ（ＮＦＣ））、又は有線通信のような、どのような適当な方法で通信しても良い。いくつかの実施例では、ロボット１２０は主にベース・ステーションと通信する一方、他の実施例では、ロボット１２０は、システム環境１００内の他の構成要素と直接通信する能力を有していても良い。いくつかの実施例では、ベース・ステーション１３０は、ネットワーク１８０と直接通信するロボット１２０用の無線信号増幅器として役立っても良い。

【0015】

在庫品管理システム１４０は、保管サイト１１０を使っているアドミニストレータ（例えば、在庫品を所有する会社、倉庫管理アドミニストレータ、在庫品を売っている小売業者）によって操作されるコンピュータ・システムであっても良い。在庫品管理システム１４０は、在庫品アイテムの位置を管理するのに使用されるシステムであっても良い。在庫品管理システム１４０は、在庫品アイテムと、保管サイト１１０内の量及びメタデータ・タグ及びアセットタイプ・タグ及びバーコード・ラベル及びアイテムの位置座標のようなアイテム関連情報と、に関するデータを格納するデータベースを含んでも良い。在庫品管理システム１４０は、アドミニストレータが、中央データベースと在庫品の評価基準にアクセスして、データを分析し、レポートを作成し、将来の需要を予測し、アイテムが正しく置かれることを確実とするために在庫品アイテムの位置を管理するためのフロントエンドソフトウェアとバックエンドソフトウェアの両方を提供しても良い。アドミニストレータは、アイテムを保管位置からすぐに回収できるように、アイテムが保管サイト１１０に正しく置かれることを確実とするのに、在庫品管理システム１４０のアイテム座標データに依存しても良い。これは、誤って置かれたアイテムが、次に来る在庫品のために取っておいたスペースを占有するのを防いで、そのうえ、アウトバウンド・プロセスでの、紛失しているアイテムの位置を突き止めるための時間を減らす。

【0016】

コンピュータ・サーバー１５０は、ロボット１２０により提供されるデータを分析し、ロボット１２０が様々な在庫品の認識と管理作業を実行するための命令を与える仕事を課されたサーバーであっても良い。ロボット１２０は、コンピュータ・サーバー１５０又はユーザデバイス１７０又は在庫品管理システム１４０により制御されても良い。例えば、コンピュータ・サーバー１５０は、ロボット１２０に、保管サイト１１０の様々な場所に保管されている在庫品の画像をスキャンして、とらえるように指示しても良い。在庫品管理システム１４０によって提供されるデータと、ロボット１２０によりとらえられたグランド・トゥルース・データとに基づいて、コンピュータ・サーバー１５０は、２セットのデータの矛盾を確認し、アイテムが、置き違えられ、又は失われ、又は損なわれた等、様々な理由で、フラグを立てられるべきか否かを決定する。次に、コンピュータ・サーバー１５０は、置き違えられたアイテムを正しい位置へ移動させるといったように、潜在的問題を解決するようロボット１２０に指示しても良い。いくつかの実施例では、コンピュータ・サーバー１５０は、サイトの人員が人手で問題を解決できるように、フラグを立てられたアイテムのレポートを作成しても良い。

【0017】

コンピュータ・サーバー１５０は、様々な場所で動く１以上のコンピュータを含んでも良い。例えば、コンピュータ・サーバー１５０の一部は、保管サイト１１０に存在するローカル・サーバーであっても良い。プロセッサのようなコンピュータ・ハードウェアは、サイトのコンピュータと関連していても良いし、ベース・ステーション１３０に含まれていても良い。コンピュータ・サーバー１５０の他の部分は、地理的に分散されたクラウド・サーバーであっても良い。コンピュータ・サーバー１５０はグランド・コントロール・ステーション（ｇｒｏｕｎｄ ｃｏｎｔｒｏｌ ｓｔａｔｉｏｎ（ＧＣＳ））として役立っても良く、データ処理を提供し、ユーザデバイス１７０で使用されるエンドユーザー・ソフトウェアを維持しても良い。ＧＣＳは、ロボット１２０の制御と監視とメンテナンスを担当しても良い。いくつかの実施例では、ＧＣＳはベース・ステーション１３０の一部としてサイトに存在しても良い。データ処理パイプラインとエンドユーザー・ソフトウェア・サーバーは、遠隔に又はその場に存在しても良い。

【0018】

コンピュータ・サーバー１５０は、ユーザが在庫品とベース・ステーション１３０とロボット１２０を管理するためのソフトウェア・アプリケーションを維持しても良い。コンピュータ・サーバー１５０と在庫品管理システム１４０は、同じ実在物によって操作されてもされなくても良い。いくつかの実施例では、コンピュータ・サーバー１５０は、保管サイトのアドミニストレータから離れた実在物によって操作さても良い。例えば、コンピュータ・サーバー１５０は、保管サイト１１０を現代化して自動化するために、ロボット１２０及び関連のシステムを供給するロボット・サービス・プロバイダによって操作されても良い。コンピュータ・サーバー１５０により提供されるソフトウェア・アプリケーションは、様々な形態を採用しても良い。いくつかの実施例では、ソフトウェア・アプリケーションは、在庫品管理システム１４０と一体でも良いし、在庫品管理システム１４０にアドオンとして統合されても良い。別の実施例では、ソフトウェア・アプリケーションは、在庫品管理システム１４０を補う、又は取って代わる別のアプリケーションであっても良い。いくつかの実施例では、ソフトウェア・アプリケーションは、ロボット１２０を供給するロボット・サービス・プロバイダによって、保管サイト１１０のアドミニストレータへのサービスとしてのソフトウェア（ｓｏｆｔｗａｒｅ ａｓ ａ ａｅｒｖｉｃｅ（ＳａａＳ））として提供されても良い。

【0019】

データ・ストア１６０は、ロボット１２０及び在庫品管理システム１４０によりアップロードされる様々なデータを格納する、非一時的で不揮発性のコンピュータ記憶媒体の形態をとったメモリのような１以上の記憶装置を含む。例えば、データ・ストア１６０に格納されるデータは、ロボット１２０によりとらえられる画像とセンサ・データと他のデータを含んでも良い。データは、在庫品管理システム１４０により維持される在庫品データも含んでも良い。コンピュータで読取り可能な記憶媒体は、伝搬信号又は搬送波のような一時的な媒体を含まない媒体である。データ・ストア１６０は、様々な形態を採用しても良い。いくつかの実施例では、データ・ストア１６０は、ネットワーク１８０により他の構成要素と通信する。この種のデータ・ストア１６０は、クラウド・ストレージ・サーバーと呼ばれても良い。例示のクラウド・ストレージ・サービス・プロバイダは、ＡＷＳ、ＡＺＵＲＥ ＳＴＯＲＡＧＥ、ＧＯＯＧＬＥ ＣＬＯＵＤ ＳＴＯＲＡＧＥなどを含んでも良い。他の実施例では、データ・ストア１６０は、クラウド・ストレージ・サーバーに代わり、コンピュータ・サーバー１５０に制御され接続している記憶装置である。例えば、データ・ストア１６０は、コンピュータ・サーバー１５０により操作されるストレージ・サーバー室の記憶装置のような、コンピュータ・サーバー１５０により使用されるメモリ（例えば、ハードドライブ、フラッシュメモリ、ディスク、ＲＯＭなど）の形態を採用しても良い。

【0020】

ユーザデバイス１７０は、コマンドをロボット１２０に与え、保管サイト１１０の在庫品を管理するために、保管サイト１１０のアドミニストレータによって使用されても良い。例えば、アドミニストレータは、ユーザデバイス１７０を用いて、ロボットが自動的に仕事を完了するためのタスク・コマンドをロボットに与えることができる。１つのケースでは、アドミニストレータは、特定のターゲット位置を指定し、又はロボット１２０がスキャンする保管位置の範囲を指定することができる。アドミニストレータは、ロボット１２０が位置を突き止める、又は配置を確認する特定のアイテムを指定しても良い。ユーザデバイス１７０の例は、パソコン（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒｓ（ＰＣｓ））又はデスクトップ・コンピュータ又はラップトップ・コンピュータ又はタブレット型コンピュータ又はスマートフォン又はスマートウォッチのようなウェアラブル電子装置又は他の適当な電子装置を含む。

【0021】

ユーザデバイス１７０は、グラフィカル・ユーザ・インタフェース（ｇｒａｐｈｉｃａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ（ＧＵＩ））の形態を採用したユーザ・インタフェース１７５を含んでも良い。コンピュータ・サーバー１５０又は在庫品管理システム１４０により提供されるソフトウェア・アプリケーションは、ユーザ・インタフェース１７５として表示されても良い。ユーザ・インタフェース１７５は、異なる形態を採用しても良い。いくつかの実施例では、ユーザ・インタフェース１７５は、ユーザデバイス１７０で表示されるＧＵＩを含むフロントエンドのソフトウェア・アプリケーションの一部である。１つのケースでは、フロントエンドのソフトウェア・アプリケーションは、例えば、ユーザデバイス１７０のアプリケーション・ストア（例えば、Ａｐｐ Ｓｔｏｒｅ）を介してユーザデバイス１７０でダウンロードされ、インストールされうるソフトウェア・アプリケーションである。他のケースでは、ユーザ・インタフェース１７５は、コンピュータ・サーバー１５０のウェブ・インターフェース、又はクライアントがウェブ・ブラウザを介してアクションを実行しうる在庫品管理システム１４０の形態をとる。他の実施例では、ユーザ・インタフェース１７５はグラフィック要素を含まないで、例えばコマンド・ウインドウ又はアプリケーション・プログラム・インタフェース（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍ ｉｎｔｅｒｆａｃｅｓ（ＡＰＩ））のような他の適当な方法によって、コンピュータ・サーバー１５０又は在庫品管理システム１４０と通信する。

【0022】

ロボット１２０とベース・ステーション１３０と在庫品管理システム１４０とコンピュータ・サーバー１５０とデータ・ストア１６０とユーザデバイス１７０の間の通信は、ネットワーク１８０、例えばインターネットを介して送られても良い。いくつかの実施例では、ネットワーク１８０は標準的な通信技術及び／又はプロトコルを使う。このように、ネットワーク１８０は、イーサネット、８０２.１１、ワールドワイド・インターオペラビリティ・フォー・マイクロウェーブ・アクセス（ｗｏｒｌｄｗｉｄｅ ｉｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ ｍｉｃｒｏｗａｖｅ ａｃｃｅｓｓ（ＷｉＭＡＸ））、３Ｇ、４Ｇ、ＬＴＥ、５Ｇ、デジタル加入者回線（ｄｉｇｉｔａｌ ｓｕｂｓｃｒｉｂｅｒ ｌｉｎｅ（ＤＳＬ））、非同期転送モード（ａｓｙｎｃｈｒｏｎｏｕｓ ｔｒａｎｓｆｅｒ ｍｏｄｅ（ＡＴＭ））、インフィニバンド、ＰＣＩ Ｅｘｐｒｅｓｓなどのような技術を使ったリンクを含んでも良い。同様に、ネットワーク１８０上で使われるネットワーク・プロトコルは、マルチプロトコル・ラベル・スイッチング（ｍｕｌｔｉｐｒｏｔｏｃｏｌ ｌａｂｅｌ ｓｗｉｔｃｈｉｎｇ（ＭＰＬＳ））、伝送制御プロトコル／インターネットプロトコル（ｔｒａｎｓｍｉｓｓｉｏｎ ｃｏｎｔｒｏｌ ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ ｐｒｏｔｏｃｏｌ（ＴＣＰ／ＩＰ））、ユーザー・データグラム・プロトコル（ｕｓｅｒ ｄａｔａｇｒａｍ ｐｒｏｔｏｃｏｌ（ＵＤＰ））、ハイパーテキスト・トランスポート・プロトコル（ｈｙｐｅｒｔｅｘｔ ｔｒａｎｓｐｏｒｔ ｐｒｏｔｏｃｏｌ（ＨＴＴＰ））、シンプル・メール転送プロトコル（ｓｉｍｐｌｅ ｍａｉｌ ｔｒａｎｓｆｅｒ ｐｒｏｔｏｃｏｌ（ＳＭＴＰ））、ファイル転送プロトコル（ｆｉｌｅ ｔｒａｎｓｆｅｒ ｐｒｏｔｏｃｏｌ（ＦＴＰ））などを含んでも良い。ネットワーク１８０で交換されるデータは、ハイパーテキスト・マークアップ言語（ｈｙｐｅｒｔｅｘｔ ｍａｒｋｕｐ ｌａｎｇｕａｇｅ（ＨＴＭＬ））、拡張マークアップ言語（ｅｘｔｅｎｓｉｂｌｅ ｍａｒｋｕｐ ｌａｎｇｕａｇｅ（ＸＭＬ））などを含む技術及び／又はフォーマットを用いて表されうる。そのうえ、リンクの全部又は一部は、ＳＳＬ（ｓｅｃｕｒｅ ｓｏｃｋｅｔｓ ｌａｙｅｒ）、トランスポート層セキュリティ（ｔｒａｎｓｐｏｒｔ ｌａｙｅｒ ｓｅｃｕｒｉｔｈｉ（ＴＬＳ））、仮想私設網（ｖｉｒｔｕａｌ ｐｒｉｖａｔｅ ｎｅｔｗｏｒｋｓ（ＶＰＮｓ））、インターネットプロトコル・セキュリティ（Ｉｎｔｅｒｎｅｔ ｐｒｏｔｏｃｏｌ ｓｅｃｕｒｉｔｙ（ＩＰｓｅｃ））などのような従来の暗号化技術を用いて暗号化されうる。ネットワーク１８０は、インターネットのようなネットワークを切り替えるリンクとパケットも含む。いくつかの実施例では、例えばコンピュータ・サーバー１５０と在庫品管理システム１４０のような２台のコンピュータ・サーバーが、ＡＰＩを介して通信しても良い。例えば、コンピュータ・サーバー１５０は、ＡＰＩを介して在庫品管理システム１４０から在庫品データを取り出しても良い。

【0023】

例示のロボットとベース・ステーション
図２は、いくつかの実施例による、例示のロボット１２０と例示のベース・ステーション１３０の構成要素を示すブロック図である。ロボット１２０は、画像センサ２１０と、プロセッサ２１５と、メモリ２２０と、慣性測定装置（ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ（ＩＭＵ））２３０を含むフライト制御装置（ｆｌｉｇｈｔ ｃｏｎｔｒｏｌ ｕｎｉｔ（ＦＣＵ））２２５と、状態推定器２３５と、視覚的参照エンジン２４０と、プランナー２５０と、通信エンジン２５５と、Ｉ／Ｏインターフェース２６０と、動力源２６５とを含んでも良い。ロボット１２０の機能は、後述とは異なる方法で、様々な構成要素に分配されていても良い。様々な実施例では、ロボット１２０は、異なる、及び／又はより少ない、及び／又は追加の構成要素を含んでも良い。また、図２中の構成要素の各々が単数形で記述されている場合も、構成要素は複数含まれても良い。例えば、ロボット１２０は１以上の画像センサ２１０と１以上のプロセッサ２１５を含んでも良い。

【0024】

画像センサ２１０は、移動と、位置特定と、衝突回避と、物体の認識及び識別と、在庫認識との目的のために、保管場所の環境の画像をとらえる。ロボット１２０は、１以上の画像センサ２１０と、１種類以上のそのような画像センサ２１０を含んでも良い。例えば、ロボット１２０は、状態推定器２３５のために、環境の光学画像をとらえるデジタルカメラを含んでも良い。例えば、画像センサ２１０でとらえられるデータは、その位置が既知で固定されているグローバルフレームのような慣性系に関するロボット１２０の位置姿勢向きを特定するためのように、位置特定の目的のために、状態推定器２３５に含まれるＶＩＯユニット２３６に提供されても良い。ロボット１２０は、画像センサ２１０が、立体写真により３次元画像をとらえることができるように、２以上のレンズを含むステレオカメラも含んでも良い。ステレオカメラは、画像フレームごとに、例えば赤・緑・青（ｒｅｄ、ｇｒｅｅｎ、ｂｌｕｅ（ＲＧＢ））のピクセル値と、奥行き情報を含むポイントクラウド・データを生成しても良い。ステレオカメラでとらえられた画像は、物体認識目的のために視覚的参照エンジン２４０に提供されても良い。画像センサ２１０は、光検出測距（ｌｉｇｈｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｒａｎｇｉｎｇ（ＬＩＤＡＲ））センサと赤外線カメラと３６０度奥行きカメラなどの他の種類の画像センサであっても良い。画像センサ２１０は、在庫品循環棚卸目的のために、アイテムのラベル（例えば、バーコード）の画像もとらえても良い。いくつかの実施例では、単一のステレオカメラが、様々な目的に使用されても良い。例えば、ステレオカメラは、物体認識のために、視覚的参照エンジン２４０に画像データを提供しても良い。ステレオカメラは、ラベル（例えば、バーコード）の画像をとらえるのに用いられても良い。いくつかの実施例では、ロボット１２０は、画像センサ２１０を様々な角度に回転させ、画像センサ２１０でとらえられる画像を安定させうる、ジンバルのような回転台を含む。いくつかの実施例では、画像センサ２１０は、保管サイトの地図を作る目的で、経路に沿ってデータをとらえても良い。

【0025】

ロボット１２０は、１以上のプロセッサ２１５と、命令の１以上のセットを記憶する１以上のメモリ２２０を含む。命令の１以上のセットは、１以上のプロセッサに実行された場合、１以上のソフトウェア・エンジンとして実現される方法を、１以上のプロセッサに実行させる。ロボット１２０の、ＦＣＵ２５５と状態推定器２３５のような様々な構成要素は、ソフトウェアとハードウェア（例えば、センサー）の組合せとして実現されても良い。ロボット１２０は、様々なソフトウェア・エンジンを実行するのに単一の一般的なプロセッサを使用しても良いし、異なる機能のために別々のより特殊用途のプロセッサを使用しても良い。いくつかの実施例では、ロボット１２０は、様々な構成要素（例えば、ＦＣＵ２２５、視覚的参照エンジン２４０、状態推定器２３５、プランナー２５０）のために、様々な命令のセットを実行可能な汎用コンピュータ（例えば、ＣＰＵ）を使用しても良い。汎用コンピュータは、ＬＩＮＵＸ、ＡＮＤＲＯＩＤ（登録商標）などのような適切なオペレーティングシステム上で動いても良い。例えば、いくつかの実施例では、ロボット１２０は、ロボットを制御するのに使用されるアプリケーションを含むスマートフォンを携帯しても良い。他の実施例では、ロボット１２０は、異なる機能に特化した複数のプロセッサを含む。例えば、ＦＣＵ２２５と視覚的参照エンジン２４０と状態推定器２３５とプランナー２５０のような機能的な構成要素のいくつかは、モジュール化されても良く、そして、各々は自身のプロセッサとメモリと命令のセットを含む。ロボット１２０は、各々のモジュール化された構成要素と、整合して、通信するために、中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｏｒ ｕｎｉｔ（ＣＰＵ））を含んでも良い。それゆえに、実施例に従い、ロボット１２０は、様々な作業を行うために、シングルプロセッサ又はマルチプロセッサ２１５を含んでも良い。メモリ２２０は、画像センサ２１０でとらえられる画像と動画を記憶しても良い。画像は、周囲の環境をとらえた画像と、バーコードとラベルのような在庫品の画像をとらえた画像とを含んでも良い。

【0026】

フライト制御装置（ＦＣＵ）２２５は、ソフトウェアと、慣性測定装置（ＩＭＵ）２３０と他のセンサのようなハードウェアとの組合せで、ロボット１２０の動きを制御しても良い。地上ロボット１２０には、フライト制御装置２２５は、マイクロコントローラ・ユニット（ｍｉｃｒｏｃｏｎｔｒｏｌｌｅｒ ｕｎｉｔ（ＭＣＵ））と呼ばれても良い。ＦＣＵ２２５は、他の構成要素により提供される情報に依拠して、ロボット１２０の動きを制御する。例えば、プランナー２５０は出発点から目的地までのロボット１２０の経路を決定し、コマンドをＦＣＵ２２５に提供する。ＦＣＵ２２５は、コマンドに基づいて、ロボット１２０の様々な機械部品（例えば、アクチュエータ、モーター、エンジン、ホイール）に、電気信号を発生させ、ロボット１２０の動きを調節する。ロボット１２０の精密な機械部品は、実施例とロボット１２０の種類次第であっても良い。

【0027】

ＩＭＵ２３０はＦＣＵ２２５の一部であっても良いし、又は独立した構成要素であっても良い。ＩＭＵ２３０は、ロボット１２０の力と線形加速と回転の測定値を生み出すために、１以上の加速度計とジャイロスコープと他の適切なセンサを含んでも良い。例えば、加速度計は、ロボット１２０に働く力を計測し、線形加速を感知する。複数の加速度計は、３次元空間でのロボット１２０の加速を感知するために協力しあう。例えば、第１の加速度計はｘ方向の加速を感知し、第２の加速度計はｙ方向の加速を感知し、第３の加速度計はｚ方向の加速を感知する。ジャイロスコープは、ロボット１２０の回転と角加速度を感知する。測定に基づいて、プロセッサ２１５は、時間に関するＩＭＵ２３０の移動及び回転データを集積することによって、ロボット１２０の推定位置を取得しても良い。ＩＭＵ２３０は、ロボット１２０の向きを測定しても良い。例えば、ＩＭＵ２３０のジャイロスコープは、ロボット１２０のピッチ角度と、ロール角と、ヨー角の読み取り値を提供しても良い。

【0028】

状態推定器２３５は、プロセッサ２１５に実行されうる、メモリ２２０に記憶されたソフトウェアの命令のセットに相当しても良い。状態推定器２３５は、ロボット１２０の位置特定情報を生成するのに使用されても良く、ロボット１２０の状態を推定するための様々なサブの構成要素を含んでも良い。例えば、いくつかの実施例では、状態推定器２３５は、視覚慣性オドメトリ（ｖｉｓｕａｌ－ｉｎｅｒｔｉａｌ ｏｄｏｍｅｔｒｙ（ＶＩＯ））ユニット２３６と高度推定器２３８を含んでも良い。他の実施例では、他のモジュールとセンサとアルゴリズムが、状態推定器２３８でロボット１２０の位置を特定するのに使用されても良い。

【0029】

ＶＩＯユニット２３６は、画像センサ２１０（例えば、ステレオカメラ）から画像データを、ＩＭＵ２３０から測定値を受け取り、ロボット１２０の位置及び向きのような位置特定情報を生成する。ＩＭＵ２３０からの加速測定値の二重積分から得られる位置データは、しばしば、ドリフト誤差の傾向がある。ＶＩＯユニット２３６は画像特徴点を抽出し、画像シーケンスの特徴点を追跡して、画像センサ２１０にとらえられた環境内の物体のエッジと境界と表面の移動を表すオプティカルフロー・ベクトルを生成する。フィルタリング（例えば、ウィーナーフィルタ、カルマンフィルタ、帯域通過フィルタ、粒子フィルタ）と最適化のような様々な信号処理技術と、データ／画像変換が、位置特定情報の決定における様々なエラーを減らすのに用いられても良い。ＶＩＯユニット２３６によって生成された位置データは、ロボット１２０のポーズ（ｐｏｓｅ）の推を含むことがあり、これは、ロボット１２０のロール角、ピッチ角及びヨー角に関して表されても良い。

【0030】

高度推定器２３８は、ロボット１２０の絶対高度と相対的な高度（例えば、床上に存在する物体からの距離）を測定するのに用いられる、ソフトウェアとハードウェアの組合せであっても良い。高度推定器２３８は、ロボット１２０の地面に対する高度、又はロボット１２０の下の物体に対する高度を測定する距離センサ２３９を含めても良い。距離センサ２３９は、電磁波式、レーザ式、光学式、音響式、超音波式又はその他の適当な信号に基づくものであっても良い。例えば、距離センサ２３９は、レーザ距離計、ライダー距離計、音響距離計、超音波距離計又はレーダであっても良い。距離計は、又は（例えば赤外線、レーザ、音響等の）信号を放射する１以上のエミッタと、物で反射する信号の往復時間を感知する１以上のセンサとを含んでも良い。いくつかの実施例では、ロボット１２０は、単一のエミッタ距離計を装備しても良い。高度推定器２３８は、ロボット１２０の高度を推定するＶＩＯユニット２３６から、データを受け取っても良いが、通常、距離センサ２３９と比べ、あまり正確でない方法である。ロボット１２０が、床又は他の水平面に置かれた様々な物と在庫品の上を飛ぶ場合、高度推定器２３８は、距離センサ２３９で生成したデータとＶＩＯユニット２３６で生成したデータとを結合するためのソフトウェア・アルゴリズムを含んでも良い。高度推定器２３８で生成したデータは、衝突回避とターゲット位置発見のために使用されても良い。高度推定器２３８は、ロボット１２０が天井にぶつかるのを防ぐために、グローバルな最大高度を設定しても良い。高度推定器２３８は、ロボット１２０がターゲット位置を突き止めるように、ラックの行がいくつロボットの下に存在するかに関する情報も提供する。高度データは、ロボット１２０の垂直レベルを特定するために、ロボット１２０が通り過ぎた行の数と共に使用されても良い。

【0031】

視覚的参照エンジン２４０は、プロセッサ２１５により実行されうる、メモリ２２０に記憶されたソフトウェアの命令のセットに相当しても良い。視覚的参照エンジン２４０は、ロボット１２０の現在位置を特定し、ロボット１２０の近くの環境の物体とエッジと表面を同定し、物体の近くの表面と比較したロボット１２０の推定距離及び向き（例えば、ヨー）を特定するための、様々な画像処理アルゴリズムと位置アルゴリズムを含んでも良い。視覚的参照エンジン２４０は、画像センサ２１０から、連続画像のピクセル・データと、ポイントクラウド・データを受け取っても良い。視覚的参照エンジン２４０により生成された位置情報は、物体からの距離及びヨーと、ターゲット・ポイント（例えば、ターゲット物体の中心点）からの中心のオフセットとを含んでも良い。

【0032】

視覚的参照エンジン２４０は、画像センサ２１０でとらえられる画像から、画像分割を作成するための、１以上のアルゴリズムと機械学習モデルを含んでも良い。画像分割は、他の物体及び環境からとらえられた画像の中に現れている規則的に形づくられた構造の、フレーム（例えば、ラックの垂直バー又は水平バー）又は輪郭を分ける１以上のセグメントを含んでも良い。画像分割に使われるアルゴリズムは、畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ（ＣＮＮ））を含んでも良い。分割を実行する際に、エッジ検出アルゴリズム（例えば、キャニー演算子、ラプラス演算子、ソーベル演算子、プルウィット演算子）とコーナー検出アルゴリズムとハフ変換と他の適切な特徴検出アルゴリズムのような、他の画像分割アルゴリズムが使用されても良い。

【0033】

視覚的参照エンジン２４０は、物体認識（例えば、物体検出と更なる分析）も実行し、連続画像にわたる物体の相対的な動きの経過も管理する。視覚的参照エンジン２４０は、ロボット１２０が通り過ぎた、保管サイト１１０の規則的に形づくられた構造の数を追跡しても良い。例えば、視覚的参照エンジン２４０は、ラックのフレームの参照点（例えば、重心）を特定し、連続画像にわたり、参照点が画像の特定の位置を通過するか否か（例えば、参照点が画像の中心を通過するか否か）を判定しても良い。もしそうならば、視覚的参照エンジン２４０は、ロボット１２０が通り過ぎた、規則的に形づくられた構造の数を増加させる。

【0034】

ロボット１２０は、様々な位置情報（近くの物体に対する位置情報と位置特定情報を含む）を生成するために、様々な構成要素を使用しても良い。例えば、いくつかの実施例では、状態推定器２３５は、ＶＩＯユニット２３６と高度推定器２３８からのデータを処理して、位置特定情報をプランナー２５０に提供しても良い。視覚的参照エンジン２４０は、現在位置を特定するために、ロボット１２０が通り過ぎた規則的に形づくられた構造の数を数えても良い。視覚的参照エンジン２４０は、近くの物体に対する位置情報を生成しても良い。例えば、ロボット１２０がラックのターゲット位置に着いたとき、視覚的参照エンジン２４０は、ラックの表面を再構築するのにポイントクラウド・データを使用しても良く、より正確なヨー及びロボット１２０とラックの間の距離を特定するために、ポイントクラウドから奥行きデータを使用しても良い。視覚的参照エンジン２４０は、ロボット１２０とターゲット位置の中心（例えば、ラックのターゲット位置の中心点）との距離に相当する中心のオフセットを特定しても良い。プランナー２５０は、中心のオフセット情報を使用して、ロボット１２０を制御して、ターゲット位置へ移動させ、ターゲット位置で在庫品の写真を撮らせる。ロボット１２０が方向を変える（例えば、回転、水平運動から垂直運動への移行、垂直運動から水平運動への移行など）とき、中心のオフセット情報は、物体に対するロボット１２０の正確な位置を決定するのに使用されても良い。

【0035】

プランナー２５０は、プロセッサ２１５で実行されうる、メモリ２２０に記憶されたソフトウェアの命令のセットに相当しても良い。プランナー２５０は、ロボットが第１の位置（例えば、開始位置、前回の行程を終えた後のロボット１２０の現在位置）から第２の位置（例えば、ターゲットの位置）まで移動する場合、ロボット１２０の経路を計画するための様々な経路決定アルゴリズムを含んでも良い。ロボット１２０は、ユーザ・コマンドのような入力を受け、特定の位置で特定の行動（例えば、在庫品のスキャン、アイテムの移動、など）を実行しても良い。プランナー２５０は、抜き取り検査と範囲スキャンに相当する、２種類のルートを含んでも良い。抜き取り検査においては、プランナー２５０は、１以上の特定のターゲット位置の座標を含む入力を受け取っても良い。応じて、プランナー２５０は、ロボット１２０がターゲット位置へ移動して行動を実行するために、経路を計画する。範囲スキャンでは、入力は、ターゲット位置の範囲に相当する座標の範囲を含んでも良い。応じて、プランナー２５０は、ロボット１２０がフルスキャン又はターゲット位置の範囲のための行動を実行するために、経路を計画する。

【0036】

プランナー２５０は、視覚的参照エンジン２４０により提供されるデータと状態推定器２３５により提供されるデータとに基づいて、ロボット１２０のルートを計画しても良い。例えば、視覚的参照エンジン２４０は、ロボット１２０が通り過ぎた保管サイト１１０内の規則的に形づくられた構造の数を追跡することによって、ロボット１２０の現在位置を推定する。視覚的参照エンジン２４０により提供される位置情報に基づいて、プランナー２５０はロボット１２０のルートを決定し、ロボット１２０がルートに沿って移動した場合、ロボット１２０の動きを調節しても良い。

【0037】

プランナー２５０は、ロボット１２０の動きが計画からそれた場合のフェイルセーフ機構を含んでも良い。例えば、プランナー２５０が、ロボット１２０がターゲットの通路を通り過ぎ、ターゲットの通路からあまりに遠くを移動していると判定したら、プランナー２５０は経路を正そうとしてＦＣＵ２２５に信号を送っても良い。タイムアウト後又は合理的な距離の範囲内でエラーが修正されない場合、又はプランナー２５０が正確に現在位置を特定できない場合、プランナー２５０は、ＦＣＵに着陸するか、ロボット１２０を停止するように指示しても良い。

【0038】

様々な位置情報に頼って、プランナー２５０は衝突回避目的のためのアルゴリズムも含んでも良い。いくつかの実施例では、プランナー２５０は、距離情報と、ヨー角と、近くの物体に対する中心のオフセット情報とに依拠して、ロボット１２０と近くの物体との間の十分な隙間を提供するためのロボット１２０の動きを計画する。代替的に又は付加的に、ロボット１２０は、ロボット１２０と近くの物体との間の距離データを生成する３６０度の奥行きカメラ・セットのような、１以上の奥行きカメラを含んでも良い。プランナー２５０は、奥行きカメラからの位置情報を使って、衝突回避を実行する。

【0039】

通信エンジン２５５とＩ／Ｏインターフェース２６０は、ロボット１２０がシステム環境１００内の他の構成要素との通信を可能とする通信構成要素である。ロボット１２０は、異なる通信プロトコルを使って、無線又は有線で、ベース・ステーション１３０のような外部部品と通信しても良い。例示の通信プロトコルは、ロボット１２０をベース・ステーション１３０につなげるＷｉ－Ｆｉ、ブルートゥース（登録商標）、ＮＦＣ、ＵＳＢなどを含んでも良い。ロボット１２０は、画像データと、フライト・ログと、位置データと、在庫品データと、ロボット状態情報のような様々なタイプのデータを送っても良い。ロボット１２０は、ロボット１２０が実行する必要がある行動を特定するために、外部ソースから入力を受け取っても良い。コマンドは、自動的に生成されても良いし、アドミニストレータによって手作業で生成されても良い。通信エンジン２５５は、様々な通信方法のために、様々な通信プロトコル及び標準、符号化、復号化、多重化、トラフィック・コントロール、データ暗号化などのためのアルゴリズムを含んでも良い。Ｉ／Ｏインターフェース２６０は、通信のために、ソフトウェアと、ハードウェア・インターフェース、アンテナなどのようなハードウェア構成要素とを含んでも良い。

【0040】

ロボット１２０は、ロボット１２０の様々な構成要素と動作の原動力に用いられる動力源２６５も含む。動力源２６５は、１以上の電池又は燃料タンクであっても良い。例示の電池は、リチウムイオン電池と、リチウム・ポリマー（ｌｉｔｈｉｕｍ ｐｏｌｙｍｅｒ（ＬｉＰｏ））電池と、燃料電池と、他の適切な種類の電池とを含んでも良い。電池は、永久に中に置かれても良いし、簡単に交換されても良い。例えば、ロボット１２０がベース・ステーション１３０に戻ったときに電池が交換されるように、電池は着脱可能であっても良い。

【0041】

図２は、様々な例示の構成要素を示すが、ロボット１２０は追加の構成要素を含んでも良い。例えば、ロボット１２０の機械の特徴と構成要素は、図２に示されていない。ロボット１２０は、様々な仕事を実行するために、その種類に従い、様々な種類のモーター、アクチュエータ、ロボットアーム、リフト、他の可動構成要素、他のセンサを含んでも良い。

【0042】

図２に言及することを続けるが、例示のベース・ステーション１３０は、プロセッサ２７０と、メモリ２７５と、Ｉ／Ｏインターフェース２８０と、リパワリング・ユニット２８５とを含む。様々な実施例では、ベース・ステーション１３０は、異なる、及び／又は、より少しの、及び／又は、追加の構成要素を含んでも良い。

【0043】

ベース・ステーション１３０は、プロセッサ２７０と、１以上のソフトウェア・モジュールとして実行される様々な方法をプロセッサ２７０に実行させる１以上の命令のセットを含む１以上のメモリ２７５とを含む。ベース・ステーション１３０は、入力とコマンドを、様々な在庫品管理作業を実行させるためにロボット１２０に提供しても良い。ベース・ステーション１３０は、複数のロボット１２０間の群制御を実行するための命令のセットを含んでも良い。群制御は、タスク配分、ルーティングと計画、衝突を避けるためのロボットの間の動きの調整などを含んでも良い。ベース・ステーション１３０は、ロボット１２０を調整する中央制御ユニットとして用いられても良い。メモリ２７５は、ロボット１２０からダウンロードされるデータと画像の分析を実行するための、様々な命令のセットも含んでも良い。ベース・ステーション１３０は、生データのフォーマット転換から、在庫品管理に役立つ情報を生成する完全なデータ処理まで、様々な程度のデータ処理を提供しても良い。代替的に又は付加的に、ベース・ステーション１３０は、ロボット１２０からダウンロードされたデータを、データ・ストア１６０のようなデータ・ストアに直接アップロードしても良い。ベース・ステーション１３０は、操作及び運営及び管理コマンドをロボット１２０に提供しても良い。いくつかの実施例では、ベース・ステーション１３０は、ユーザデバイス１７０又はコンピュータ・サーバー１５０又は在庫品管理システム１４０により遠隔的に制御されうる。

【0044】

ベース・ステーション１３０は、ロボット１２０との通信のために、そして、インターネットのために、様々な種類のＩ／Ｏインターフェース２８０を含んでも良い。ベース・ステーション１３０は、Ｗｉ－Ｆｉ又はブルートゥース（登録商標）のような無線プロトコルを使用して、連続的にロボット１２０と通信しても良い。いくつかの実施例では、図２のロボット１２０の１以上の構成要素は、ベース・ステーション内にあっても良く、ベース・ステーションは、動作と移動のために、コマンドをロボット１２０に提供しても良い。代替的に又は付加的に、ロボット１２０が着陸したとき又はベース・ステーション１３０で停止したとき、ベース・ステーション１３０はＮＦＣ又は有線接続のような短距離通信プロトコルを介してロボット１２０と通信しても良い。ベース・ステーション１３０は、インターネットのようなネットワーク１８０に接続していても良い。保管サイト１１０の無線ネットワーク（例えば、ＬＡＮ）には、十分な受信可能範囲がないかもしれない。ベース・ステーション１３０は、イーサネット・ケーブルを介してネットワーク１８０に接続していても良い。

【0045】

リパワリング・ユニット２８５は、ロボット１２０の動力レベルを検出し、ロボット１２０に再度動力を供給するのに用いられる構成要素を含む。再度動力を供給することは、バッテリーを交換すること、バッテリーを再充電すること、燃料タンクを補充することなどによって、なされる。いくつかの実施例では、ベース・ステーション１３０は、ロボット１２０のバッテリーを交換するために、ロボットアームのような機械式アクチュエータを含む。他の実施例では、ベース・ステーション１３０は、有線での充電又は非接触充電によるロボット１２０用の充電ステーションとして用いられても良い。例えば、ベース・ステーション１３０は、ロボット内の誘導コイルによってロボット１２０に無線で充電するために下部に誘導コイルを有する着陸又は静止パッドを含んでも良い。ロボット１２０に再度動力を供給する他の適切な方法も可能である。

【0046】

例示の在庫品管理方法
図３は、いくつかの実施例による、保管サイトの在庫品を管理する例示の方法を表すフローチャートである。方法は、コンピュータによって実行されても良く、コンピュータは、従来の意味の単一作業ユニット（例えば、単一のパソコン）であっても良く、又は、命令のセットを実行するために協力する分散コンピュータのセット（例えば、バーチャル・マシン、分散コンピュータ・システム、クラウド・コンピューティングなど）であっても良い。また、コンピュータが単数形で記述されていても、図３の方法を実行するコンピュータは、コンピュータ・サーバー１５０、又は在庫品管理システム１４０、又はロボット１２０、又はベース・ステーション１３０、又はユーザデバイス１７０と連携する１台以上のコンピュータを含んでも良い。

【0047】

いくつかの実施例によると、コンピュータは保管サイト１１０の構成を受け取る（３１０）。保管サイト１１０は、倉庫又は小売店又は他の適切な場所であっても良い。保管サイト１１０の構成情報は、ロボットが保管サイト１１０を移動するために、ロボット１２０にアップロードされても良い。構成情報は、保管サイト１１０の規則的に形づくられた構造の総数と、規則的に形づくられた構造の寸法情報とを含んでも良い。提供される構成情報は、ＣＡＤ（ｃｏｍｐｕｔｅｒ－ａｉｄｅｄ ｄｅｓｉｇｎ）図面又は他の種類のファイル形式の形をとっても良い。構成は、ラックのレイアウトと他の規則的に形づくられた構造の配置のような、保管サイト１１０のレイアウトを含んでも良い。レイアウトは、二次元のレイアウトであっても良い。コンピュータは、セクションと通路とラックの数と、各ラックの行と列の数とを、ＣＡＤ図面に現れたそれらの数を数えることによって、ＣＡＤ図面から抽出する。コンピュータは、ラックのセルの高さと幅を、ＣＡＤ図面又は他のソースから抽出しても良い。いくつかの実施例では、コンピュータは、ラックの所定の一組の間の正確な距離又は各通路の幅又はラックの全長を抽出する必要はない。その代わりに、ロボット１２０は、奥行きセンサ・データから通路とラックとセルの寸法を計測しても良いし、又は、視覚的参照エンジン２４０とともに、プランナー２５０によって実行される、ロボット１２０が通り過ぎた行と列の数を数えることによって保管サイト１１０を通り過ぎるためのカウント方法を使用しても良い。それゆえに、いくつかの実施例では、ラックの正確な寸法が必要とされなくても良い。

【0048】

いくつかの構成情報は、保管サイト１１０のアドミニストレータによって、手入力されても良い。例えば、アドミニストレータは、セクションの数と、各セクションの通路とラックの数と、ラックのセルの寸法とを提供しても良い。アドミニストレータは、各ラックの行と列の数を入力しても良い。

【0049】

代替的に又は付加的に、構成情報は、飛行前マッピング又はロボット１２０が在庫品管理作業を実行するときに行われるマッピング方法のような、マッピング方法からも取得されても良い。例えば、自動化の管理方法を新しく実行する保管サイト１１０のために、アドミニストレータは、保管サイトの移動可能なスペースのサイズを、保管サイト１１０内のセクションと通路と規則的に形づくられた構造の行と列との数を数えるための１以上のマッピング・ロボットに提供しても良い。また、いくつかの実施例では、マッピング又は構成情報は、保管サイト１１０内のラック又は他の構造の間の正確な距離を計測する必要はない。その代わりに、ロボット１２０は、ターゲット位置を特定するために経路に沿って規則的に形づくられた構造を数えることによって、保管サイト１１０のラフなレイアウトだけで、保管サイト１１０を移動しても良い。ロボット１２０が様々な在庫管理作業を実行し続けるにつれて、ロボット・システムは、マッピング又は様々な構造の規模と位置の推定を徐々に実行しても良い。

【0050】

コンピュータは、保管サイト１１０での在庫品管理作業のために在庫品管理データを受け取る（３２０）。特定の在庫品管理データはアドミニストレータによって手入力される一方、他のデータは在庫品管理システム１４０からダウンロードされても良い。在庫品管理データは、作業の頻度、時間窓などを含む、在庫品管理活動のためのスケジューリングと計画を含んでも良い。例えば、管理データは、保管サイト１１０のラックの各々の位置が、所定の期間ごと（例えば、毎日）スキャンされるべきであるということと、在庫品スキャン方法が、保管サイトが閉められたあと、ロボット１２０により夜に実行されるべきであることとを特定していても良い。在庫品管理システム１４０のデータは、アイテムのバーコードとラベルと、在庫品の正確な座標と、ラックに関する情報と、次に来る在庫品のために空けておく必要がある他の保管スペースなどを提供しても良い。在庫品管理データは、日毎に保管サイト１１０から回収する必要があるアイテム（例えば、出荷される必要がある発注書のアイテム）も含んでも良く、ロボット１２０は、それらのアイテムに集中する必要があっても良い。

【0051】

コンピュータは、在庫品管理を実行するために、計画を作成する（３３０）。例えば、コンピュータは、ロボット１２０に様々なスキャンを実行するように指示するための様々なコマンドを含む自動式の計画を作成しても良い。コマンドは、ロボット１２０がスキャンする必要がある場所の範囲、又は、ロボット１２０が行く必要がある１以上の特定の位置を指定しても良い。コンピュータは、スキャニング・トリップごとの時間を推定しても良く、ロボットでの在庫品管理のために利用できる時間に基づいて、各作業間隔の計画を設計しても良い。例えば、特定の保管サイト１１０では、ロボットでの在庫品管理は、営業時間中は実行されない。

【0052】

コンピュータは、計画と、保管サイト１１０の構成に由来する情報とによって、１以上のロボット１２０が保管サイト１１０を移動するよう操作する様々なコマンドを生成する（３４０）。ロボット１２０は、保管サイト内の規則的に形づくられた構造を少なくとも視覚的に認識し、規則的に形づくられた構造の数を数えることによって、保管サイト１１０を移動しても良い。いくつかの実施例では、ＶＩＯが使用されるような位置特定技術に加えて、ロボット１２０は、ロボット１２０が移動した正確な距離と方向を知ることなく開始位置からターゲット位置までの経路に沿った現在位置を特定するために、ロボット１２０が通り過ぎたラックの数と、行の数と、列の数とを数える。

【0053】

在庫品のスキャン又は他の在庫品管理作業は、ロボット１２０により自律的に実行されても良い。いくつかの実施例では、スキャン作業は、ロボット１２０が保管サイト１１０内のターゲット位置の座標又はターゲット位置の範囲を含む入力を受け取るベース・ステーションで開始される（３４２）。ロボット１２０は、ベース・ステーション１３０を出発する（３４４）。ロボット１２０は、規則的に形づくられた構造を視覚的に認識することによって、保管サイト１１０を移動する（３４６）。例えば、ロボット１２０は、ロボット１２０が通り過ぎた規則的に形づくられた構造の数を追跡する。ロボット１２０は、画像センサ２１０でとらえられて、認識した規則的に形づくられた構造に基づいて、旋回し、並進運動をする。ターゲット位置に到着すると、ロボット１２０は、ターゲット位置の参照点（例えば、中心位置）と自身を整列しても良い。ターゲット位置で、ロボット１２０は、在庫品アイテムと、バーコードと、在庫品アイテムの箱のラベルを含むターゲット位置のデータ（例えば、測定値、写真など）をとらえる（３４８）。ロボット１２０の出発前の最初のコマンドが、複数のターゲット位置又はターゲット位置の範囲を含むならば、ロボット１２０は、スキャン作業を継続するために、次の位置へと上又は下又は横に移動することによって、次のターゲット位置へと継続する。

【0054】

スキャニング・トリップ終了後、ロボット１２０は、逆方向に、ロボットが通り過ぎた規則的に形づくられた構造の数を数えることによって、ベース・ステーション１３０に戻る（３５０）。ロボット１２０は、ロボット１２０がターゲット位置へ移動するときに、ロボットが通り過ぎた構造を潜在的に認識しても良い。あるいは、ロボット１２０は、数えないで、経路を逆にすることによって、ベース・ステーション１２０に戻っても良い。ベース・ステーション１３０は、ロボット１２０に再度動力を供給する。例えば、ロボット１２０が他のスキャニング・トリップのサービスへ速く戻ることができるように、ベース・ステーション１３０はロボット１２０に次のコマンドを提供し、ロボット１２０のバッテリーを交換する（３５２）。使用されたバッテリーは、ベース・ステーション１３０で充電されても良い。ベース・ステーション１３０は、ロボット１２０がとらえたデータと画像をダウンロードし、更なる方法のために、データと画像をデータ・ストア１６０にアップロードしても良い。あるいは、ロボット１２０は、ベース・ステーション１３０に、又は、直接ネットワーク１８０に、そのデータとイメージを送るための無線通信の構成要素を含んでも良い。

【0055】

コンピュータは、ロボット１２０がとらえたデータと画像の分析を実行する（３６０）。例えば、コンピュータは、アイテムが保管サイト１１０内で置き違えられているか又は紛失しているかどうか確認するために、ロボット１２０がとらえた画像の中のバーコード（シリアル番号を含む）を、在庫品管理システム１４０で記憶するデータと比較しても良い。コンピュータは、在庫品の他の状況を判定しても良い。コンピュータは、置き違えられた又は紛失した在庫品のために是正措置をとるために、アドミニストレータのユーザ・インタフェース１７５に表示するためのレポートを作成しても良い。例えば、レポートは、保管サイト１１０の人員が手動で置き違えられたアイテムの位置を特定し動かすように、毎日作成されても良い。代替的に又は付加的に、コンピュータは、ロボット１２０が置き違えられた在庫品を動かすように、自動化の計画を作成しても良い。ロボット１２０がとらえたデータとイメージは、在庫品アイテムの除去又は到着を確かめるために使用されても良い。

【0056】

例示の移動方法
図４は、いくつかの実施例による、ロボット１２０を備えた保管サイト１１０の例示のレイアウトの概念図である。図４は、挿入図４０５で示される例示のラックの拡大図を伴った、保管サイト１１０の二次元レイアウトを示す。保管サイト１１０は、規則的に形づくられた構造に基づき、様々な領域に分割されていても良い。この例では、規則的に形づくられた構造は、ラック４１０である。保管サイト１１０は、セクション４１５と、通路４２０と、行４３０と、列４４０とによって分割されても良い。例えば、セクション４１５は、ラックの集合である。各々の通路は、両面にラックを有しても良い。各々のラック４１０は、１以上の列４４０と複数の行４３０を含んでも良い。ラック４１０の保管ユニットは、セル４５０と呼ばれても良い。各セル４５０は、１以上のパレット４６０を載せていても良い。この特定の例では、２枚のパレット４６０が、各セル４５０に置かれている。保管サイト１１０の在庫品は、パレット４６０で運ばれる。図４に示される分割と呼び方は、例としてのみ使用される。他の実施例の保管サイト１１０は、異なる方法で分割されていても良い。

【0057】

保管サイト１１０の各々の在庫品アイテムは、パレット４６０の上にあっても良い。在庫品アイテムのターゲット位置（例えば、パレット位置）は、座標系を使用して特定されても良い。例えば、パレット４６０上に置かれたアイテムは、通路番号（Ａ）と、ラック番号（Ｋ）と、行番号（Ｒ）と、列番号（Ｃ）を有していても良い。例えば、[Ａ３、Ｋ１、Ｒ４、Ｃ５]のパレット位置座標は、パレット４６０が３本目の通路で北のラックのラック４１０に位置することを意味する。ラック４１０のパレット４６０の位置は、（地面から数えて）４番目の行で５番目の列である。ある場合には、図４に示される特定のレイアウトのように、通路４２０は両側にラック４１０を有しても良い。さらなる座標情報が、通路４２０の北側のラック４１０と通路４２０の南側のラック４１０を識別するのに用いられても良い。あるいは、ラックの上方と下方は、異なる通路番号を有しても良い。抜き取り検査では、ロボット１２０は、１箇所だけならば単一の座標が提供され、１以上の箇所ならば複数の座標が提供されても良い。範囲内のパレット４６０をチェックする範囲スキャンでは、ロボット１２０は、通路番号と、ラック番号と、開始行と、開始列と、終わりの行と、終わりの列のような、座標の範囲を提供されても良い。いくつかの実施例では、パレットの位置座標は、異なる方法で呼ばれても良い。例えば、１つのケースでは、座標系は「通路－ラック－棚－位置」の形式を採用しても良い。棚番号は、行番号に対応しても良く、位置番号は、列番号に対応しても良い。

【0058】

図４と合わせて図５を参照して、図５は、いくつかの実施例によれば、ロボット１２０の例示の移動方法を表すフローチャートである。ロボット１２０は、保管サイト１１０のターゲット位置４７４を受け取る（５１０）。ターゲット位置４７４は、図４に関して上述したように、座標系で表されても良い。ターゲット位置４７４は、ベース・ステーション１３０からの入力コマンドとして受け取られても良い。入力コマンドは、在庫品アイテムのバーコードとラベルをとらえるためにターゲット位置４７４で写真を撮るといったような、ロボット１２０がする必要がある行動も含んでも良い。ロボット１２０は、ＶＩＯユニット２３６と高度推定器２３８に依拠して、位置特定情報を生成しても良い。あるケースでは、ルートの開始位置は、ベース・ステーション１３０である。いくつかのケースでは、ルートの開始位置は、保管サイト１１０のどのような位置であっても良い。例えば、ロボット１２０は、最近仕事を完了して、ベース・ステーション１３０に戻ることなく、他の仕事を開始しても良い。

【0059】

プランナー２５０を実行しているような、ロボット１２０のプロセッサは、経路４７０に沿ってターゲット位置４７４へとロボット１２０を制御する（５２０）。経路４７０は、ターゲット位置４７４の座標に基づいて決定されても良い。画像センサ２１０が規則的に形づくられた構造（例えばラック）に向かいあうように、ロボット１２０は回転しても良い。ターゲット位置４７４へのロボット１２０の動きは、特定の通路への移動と、通路に入るために回転することと、ターゲットの列へと水平に移動することと、ターゲットの行へと垂直に移動することと、パレット４６０上の在庫品アイテムの写真をとるためにターゲット位置４７４に向かいあう正しい角度へと回転することを含んでも良い。

【0060】

ロボット１２０がターゲット位置４７４へ移動するとき、ロボット１２０は画像センサ２１０を用いて保管サイト１１０の画像をとらえる（５３０）。とらえられる画像は、連続画像であっても良い。ロボット１２０は、ロボット１２０が経路４７０に沿って移動するときに画像センサ２１０がとらえた画像を受け取る。画像は、ラックのような規則的に形づくられた構造を含む、環境内の物体をとらえても良い。例えば、ロボット１２０は、規則的に形づくられた構造を視覚的に認識するために、視覚的参照エンジン２４０のアルゴリズムを使用しても良い。

【0061】

ロボット１２０は、画像センサ２１０がとらえた画像を分析して、ロボット１２０が通り過ぎた、保管サイトの規則的に形づくられた構造の数を追跡することによって、経路４７０でのロボット１２０の現在位置を特定する（５４０）。ロボット１２０は、様々な画像処理技術と物体認識技術を使用して、規則的に形づくられた構造を特定し、ロボット１２０が通り過ぎた構造の数を追跡しても良い。図４に示された経路４７０に関して、ロボット１２０は、ラック４１０に対向しつつ、ターニングポイント４７６まで移動しても良い。ロボット１２０は、自身が２つのラック４１０を通り過ぎたので、ターゲット通路に到着したと決定する。応じて、ロボット１２０は、反時計回りに回転して、ターゲットラックに対向してターゲット通路に入る。ロボット１２０は、ターゲットの列に着くまで、自身が通り過ぎた列の数を数える。ターゲットの行に従って、ロボット１２０は上又は下に垂直に移動して、ターゲット位置に到着しても良い。ターゲット位置に到着すると、ロボット１２０は、ターゲット位置で在庫品の写真を撮ることのような、入力コマンドで特定された行動を実行する。

【0062】

例示の薄い物体の検出方法
図６は、いくつかの実施例による薄い物体を検出するロボット６００を示す概念図である。ロボット６００は飛行ロボットであってよく、保管サイト１１０で使用されるロボット１２０の例示である場合がある。図１乃至図５は保管サイト内を移動するロボットに焦点を当てているが、ロボット６００は、薄い物体が一般的な屋外環境や都市環境のような他の設定で使用してもよい。例えば、市街地用に設計されたドローンは、電線、標識、その他の薄い物体との衝突を避けるために、薄い物体を検出する能力を備えることがある。ロボット６００は、図２に示す構成要素の一部又は全部を含むことがある。例えば、いくつかの実施例において、ロボット６００は、少なくとも画像センサ２１０、プロセッサ２１５、メモリ２２０、状態推定器２３５、及びＩＭＵ２３０を含む。ロボット６００の他の適切な構成も可能である。

【0063】

薄い物体は、１以上の次元が薄い物体を指すことがある。薄い物体の例は、電線、水平及び垂直の棒、その他のケーブルなどを含むことがある。保管サイト１１０では、ワイヤ、チェーン、接続ケーブルなどの薄い物体が存在することがある。異なる設定において、様々な薄い物体が存在する。ロボット６００から見て、物体が薄いかどうかは、その物体がロボット６００に対してどの程度離れているかに依存することがある。例えば、ロボット６００から遠い第１の物体は、ロボット６００に近い第２の物体よりも薄く見える。いくつかの実施例において、物体が薄いかどうかは、物体が画像にとらえられるときに、薄い次元において物体によって占有される画素の数に基づいて定義されることがある。例えば、いくつかの実施例では、薄い次元における物体の厚さが１０ピクセル未満である場合、物体は薄いと分類されることがある。いくつかの実施例では、薄い次元における物体の厚さが５ピクセル未満である場合に、物体は薄いと分類されることがある。いくつかの実施例では、物体が薄いかどうかは、画像センサの角度分解能に基づいて定義されることもある。例えば、飛行ロボットに設置された典型的なカメラは、ある角度分解能を有することがある。実施例によっては、物体が占める角度が２度、１．５度、１度などより低い場合、物体は薄い物体として分類されることがある。図６において、薄い物体６１０は、そのスタンド６１２によって支持される水平棒６１０によって表される。なお、図６における設定は説明のためだけのものである。また、細い物体６１０は、水平な薄い物体として示されているが、薄い物体は、垂直又は斜めなど、向きが異なる場合もある。

【0064】

ロボット６００は、環境中の画像をとらえるための１個以上の画像センサを備える。ロボット６００が使用する画像センサは、単一のレンズを備えたモノカメラであっても、複数のレンズを備えたステレオカメラであってもよい。いくつかの実施例において、薄い物体を検出する技術は、モノカメラを備えるロボット６００が様々な薄い物体を検出することを可能にする。ロボット６００は、画像センサを使用して連続的に画像をとらえてもよい。例えば、第１の場所６２０において、画像センサーは第１の画像６３０をとらえる。簡単のため、薄い物体６１０のみが第１の画像６３０に示されているが、第１の画像６３０は、画像センサによってとらえられた様々なものを含んでもよい。

【0065】

ロボット６００は、画像センサによってとらえられた画像中の薄い物体を識別するための薄い物体の検出器を含むことがある。薄い物体の検出器は、メモリ２２０等のメモリに記憶され、画像を分析するためにプロセッサ２１５等の１個以上のプロセッサによって実行されることがあるソフトウェアアルゴリズムであってもよい。薄い物体の検出器は、画像を分析するために使用される１以上の機械学習モデルを含むことがある。機械学習モデルの構造及び訓練は、図８Ａ及び図８Ｂに示される。例えば、図８Ｂは、画像内の薄い物体を識別するために特別に訓練されることがある畳み込みニューラルネットワークの構造例を示す。薄い物体の検出器は、機械学習モデルを使用して、薄い物体に対応すると識別された画像の画素をマークすることがある。薄い物体の検出器は、シーンの残りの部分から薄い物体をセグメント化することがある。

【0066】

ロボット６００はまた、薄い物体６１０に対するロボット６００の姿勢を決定するために使用される状態推定器を含むことがある。ロボット６００の姿勢は、画像センサーの姿勢によって表されることがある。状態推定器は、ロボット６００の位置及び位置特定情報を追跡するために使用されるハードウェアセンサー及びソフトウェアアルゴリズムの組み合わせの場合がある。状態推定器の一例は、図２で説明した状態推定器２３５であってもよい。状態推定器はまた、加速度及び方位データを生成するＩＭＵ２３０を含むことがある。加速度データは距離データに変換されることがある。ロボット６００は、ＩＭＵ２３０及び潜在的にはＶＩＯ２３６からのデータを使用して、薄い物体６１０に対するロボット６００の姿勢を決定する。

【0067】

ロボット６００は、所与の位置におけるロボット６００と薄い物体６１０との間の距離を推定する奥行き推定器を含む。奥行き推定器は、メモリに記憶され、１個以上のプロセッサにより実行され、薄い物体の検出器及び状態推定器からの結果を用いてロボット６００と薄い物体６１０との間の推定距離を決定するソフトウェアアルゴリズムの場合がある。奥行き推定器は、画像にとらえられた薄い物体６１０の画素を比較することにより、異なる位置でとらえられた２個以上の画像に基づいて推定距離を決定する。ロボット６００は、ロボット６００が第１の場所から第２の場所に移動する際に、画像の異なる場所にある薄い物体６１０をとらえる。奥行き推定器は、画素の位置及びＩＭＵ距離データを比較して、ロボット６００と薄い物体６１０との間の距離を推定する。

【0068】

一例として、第１の位置６２０において、薄い物体の検出器は、第１の画像６３０中の薄い物体６１０に対応する画素をマークする。奥行き推定器は、第１の画像６３０内の薄い物体の画素位置を受け取る。奥行き推定器は、薄い物体６１０の１個以上の特定の特徴の画素位置６３２を特定する。特徴は、イメージセンサが薄い物体６１０を異なる視点からとらえる際に連続的に識別可能に映し出される、薄い物体６１０の容易に識別可能な部分又は領域の場合がある。例えば、特徴は、重心、中心、遠端、分位点、識別可能な小部分、又は薄い物体６１０に関連する任意の他の適切な部分の場合がある。第１の画像６３０において、奥行き推定器は、薄い物体６１０の両端を特徴として識別し、遠端に対応する２つの画素位置６３２をマークする。例えば、奥行き推定器は、画素の座標に基づき、特定の次元において最も高い値と最も低い値を有する画素位置を特定し、２つの遠端を決定することがある。

【0069】

奥行き推定器は、ロボット６００が第１の位置６２０から第２の位置６４０まで移動した後に、特徴のある画素位置を比較する。第２の場所６４０において、ロボット６００のイメージセンサは第２の画像６５０をとらえる。第２の画像６５０では、ロボット６００が第２の場所６４０で薄い物体６１０の近くに位置しているため、薄い物体６１０が長く見える。ロボット６００は垂直方向に移動していることがあるので、薄い物体６１０のレベルも変化している可能性がある。薄い物体の検出器は第２の画像６５０を分析し、薄い物体６１０に対応する画素をマークする。奥行き推定器は物体検出器から画素位置を受け取り、薄い物体６１０の特徴を特定する。例えば、奥行き推定器は再び薄い物体６１０の２つの遠端を特定し、２つの遠端に対応する画素位置６５２を決定する。画素位置６５２は、ロボット６００が第２の場所６４０に移動すると、画素位置６３２に対して変更される。

【0070】

奥行き推定器は、画素位置６３２と６５２との間の差に基づき、状態推定器によって提供された距離データ及び姿勢に基づいて、ロボット６００と薄い物体６１０との間の推定距離を決定する。例えば、ＩＭＵによって生成された距離データは、ロボット６００が第１の場所６２０から第２の場所６４０まで移動した距離を推定するために使用されることがある。状態推定器はまた、２つの場所におけるロボット６００の姿勢を提供することがある。ロボット６００と薄い物体６１０との間の距離は、投影、線形変換、幾何学的関係のような数学的演算に基づいて計算しても良い。

【0071】

図７は、いくつかの実施例による、環境中の薄い物体を検出するためのロボットの方法の例を示すフローチャートである。図７に図示された方法は、図６に図示された方法の詳細な例の場合がある。図７に例示される方法は、ロボットの１個以上のプロセッサ（例えば、ＣＰＵ）によって実行可能なコンピュータ命令として記憶されるソフトウェアアルゴリズムを通じて実行される場合がある。命令は、プロセッサによって実行されると、プロセッサに、方法において説明される様々なステップを実行させる。様々な実施例において、方法中の１以上のステップは、スキップされ又は変更されてもよい。方法を実行するロボットは、ロボット６００の場合がある。

【0072】

ロボットは環境の第１の画像を受け取る（７１０）。第１の画像は、第１の位置でとらえられることがある。ロボットは、画像をとらえる画像センサを備える。いくつかの実施例では、画像はモノカメラによってとらえられ、点群又は任意の三次元データを含む必要がないことがある。第１の位置は、ロボットが経路に沿って移動する際のロボットの瞬間的な位置の場合がある。図７に示される方法は、ロボットが異なる場所に移動する際に繰り返し実行される連続的な方法の場合がある。画像は、環境内の様々な物体をとらえていることがある。物体の中には、物体が１個以上の次元の非常に少数の画素にしか対応しないために、従来の画像センサや点群データを用いて検出することが困難な薄い物体もある。薄い物体の位置における奥行きの変化はノイズと区別できないことが多いため、ロボットは薄い物体の奥行きデータを含む従来の点群データを生成できないことが多い。

【0073】

ロボットは第１の画像内の物体を識別する（７２０）。物体は薄い物体の場合がある。ロボットは、特定の標的物体を識別するように訓練された機械学習モデルを実行する薄い物体の検出器を含む場合がある。例えば、機械学習モデルは、１以上の拡張畳み込み層を含む畳み込みニューラルネットワーク（ＣＮＮ）の場合がある。ＣＮＮの構造例を図８Ｂに示す。機械学習モデルは、第１の画像を入力として受け取り、識別された物体に対応する画素を出力としてタグ付けする。例えば、ＣＮＮは特異的に薄い物体を識別するように訓練される場合がある。例えば、ＣＮＮは、異なる標的物体を含む様々な環境の画像の訓練セットを使用して訓練される場合がある。ＣＮＮの訓練は、画像の訓練セットに対する薄い物体の位置の識別における誤差を繰り返し減少させることを含む場合がある。機械学習モデルを訓練する際の詳細な手順については、図８Ａで説明する。

【0074】

薄い物体を識別することを例示として説明するが、図７に描かれた方法は、他のタイプの物体を識別し、ロボットと物体との間の距離を決定するためにも使用される場合がある。

【0075】

ロボットは、第１の画像内の１個以上の第１の画素を識別する（７３０）。１個以上の第１の画素は、識別された物体のターゲットとなる１個以上の特徴に対応する場合がある。第１の画素の識別は、様々なサブステップを含む場合がある。一例として、ロボットは、識別された物体に対応するように投影された第１の画像内の画素にタグ付けする場合がある。ロボットは画素をクラスタ化して複数の輪郭を形成する場合がある。ロボットは輪郭をマージしてマージされた輪郭を形成する場合がある。ロボットは、マージされた輪郭内の画素からターゲットとなる特徴を識別する場合がある。

【0076】

この方法には、識別された物体に対応する画素を背景から分離する様々な画像分割技術及び物体識別技術が含まれる場合がある。画像分割は、任意の適切なアルゴリズムによって実行しても良い。いくつかの実施例では、ロボットは機械学習モデルに画像分割を実行させ、ピクセルにタグを割り当てさせる。いくつかの実施例では、ロボットはまた、一連の画像を機械学習モデルに入力し、機械学習モデルは、一連の画像に連続して現れる物体を考慮して、一連の画像から画像分割を出力する場合がある。ＣＮＮの代わりに、又はＣＮＮに加えて、別のタイプのニューラルネットワーク、クラスタリング、マルコフランダムフィールド（ＭＲＦ）などの他のタイプの機械学習モデルも、画像分割方法に使用する場合がある。機械学習技法を使用する代わりに、又は機械学習技法を使用することに加えて、エッジ検出アルゴリズム（例えば、Ｃａｎｎｙ演算子、ラプラシアン演算子、Ｓｏｂｅｌ演算子、Ｐｒｅｗｉｔｔ演算子）、コーナー検出アルゴリズム、Ｈｏｕｇｈ変換、その他の適切な特徴検出アルゴリズムなどの他の画像分割アルゴリズムを使用することもできる。

【0077】

識別された物体を表す記号がタグ付けされた画素から、ロボットはそれらの画素の領域の輪郭を作成する場合がある。各輪郭は画素クラスタと呼ばれる場合がある。これらの画素のクラスタリングは、画素間の距離、画素の色、画素の強度、及び／又は画素の他の適切な特性に基づく場合がある。ロボットは、（例えば、距離、色、及び／又は強度の点で）類似する近傍の画素をクラスタ化して、識別された物体の領域に対応する可能性が高い輪郭を作成する場合がある。様々なサブ領域に対応する複数のクラスタが、識別された物体（例えば、各ワイヤ又は別のタイプの薄い物体）ごとに作成される場合がある。ロボットは、各輪郭の基準点を決定する場合がある。基準点は、重心、一方向の最も極端な点、又は任意の関連する基準点である場合がある。例えば、ロボットは、重心を決定するために、輪郭内にある画素の画素位置の平均を決定する場合がある。

【0078】

ロボットは、ノイズフィルタリングと、それぞれの基準点に基づいて輪郭をマージする輪郭マージを実行する場合がある。ノイズフィルタリングについては、ロボットは、マージする前に、サイズに基づいて輪郭をフィルタリングする場合がある。例えば、ロボットは、面積が閾値より小さい輪郭（例えば、小さすぎる輪郭）をノイズとみなす場合がある。ロボットは十分に大きい輪郭を維持する。輪郭のマージでは、ある場合には、クラスタリングアルゴリズムは、識別された物体に対応する画素が複数の輪郭（例えば、電線の複数の領域）に分類される結果をもたらす。ロボットは、同じ識別された物体を表している可能性が高い輪郭をマージする。マージは、輪郭の基準点の位置と輪郭の境界に基づく場合がある。例えば、水平なワイヤの場合、ロボットは、同様の垂直レベルに基準点を持つ輪郭を識別し、それらの輪郭をマージする場合がある。場合によっては、２つの輪郭がマージされるとき、より小さいクラスタに属するか、どのクラスタにも識別されないかもしれない２つの輪郭の間の画素も、同じ構造として分類されるかもしれない。マージは、２つの輪郭の２つの基準点間の距離に基づく場合がある。距離が閾値より小さい場合、ロボットは２つの輪郭をマージする場合がある。

【0079】

識別された物体に対応する画素を残りの画素から分離すると、ロボットは物体内の１個以上のターゲットとなる特徴を識別する。ターゲットとなる特徴は、物体の全長に対する、分体の特定の位置の場合がある。例えば、薄い物体の場合、遠端、中心、分位点がターゲットとなる特徴として挙げられる場合がある。他の種類の物体の場合、特定の位置に加えて、又は特定の位置に代えて、ターゲットとなる特徴は、物体の識別可能な部分である場合もある。例えば、保管サイトの設定で、構造物が識別された物体である場合、構造物は、角の位置、ネジの位置、パターンの位置、標識の位置などの識別可能な部分を含む場合がある。ロボットは物体認識技術を使用してこれらの部品を識別する場合がある。ターゲットとなる特徴が物体の全長に対する特定の位置である場合、ロボットは分割された画素の座標値を使用してターゲットとなる特徴位置を決定してもよい。例えば、いくつかの実施例では、ロボットは識別された薄い物体の２つの遠端を追跡し、第１の画像の座標を記憶する。

【0080】

ロボットはシーンの第２の画像を受け取る（７４０）。第２の画像は、第１の場所とは異なる第２の場所でとらえられる。ロボットが移動すると、その画像センサーはシーンの追加画像をとらえ続ける。場合によっては、第２の画像は第１の画像の直後のフレームであることもある。他の場合には、第２の画像は、第１の画像と比較して画像の内容に十分に大きな変化を示す後続のフレームである。図７は２つの画像で図示されるが、いくつかの実施例では、ロボットはまた、ロボットと識別された物体との間の距離の推定の精度を高めるために、一連の複数の画像を分析してもよい。また、ロボットが異なる場所に移動する際に動的に距離を決定するために、この方法を繰り返し実行する場合がある。

【0081】

ロボットは距離データを受け取る（７５０）。距離データは、第１の場所から第２の場所への飛行ロボットの移動を推定する。距離データはＩＭＵによって生成される場合がある。ロボットは、状態推定器を用いて、第１の場所から第２の場所までのロボットの移動距離を決定する。状態推定器はまた、第１の場所及び第２の場所においてそれぞれ識別された物体に対する画像センサの相対的な姿勢を推定する場合がある。

【0082】

ロボットは、第２の画像内の１個以上の第２の画素を識別する（７６０）。１個以上の第２の画素は、物体のターゲットとなる特徴に対応する。第２の画素の識別は、ステップ７３０で説明した第１の画素の識別と同様である。いくつかの実施例では、ロボットは状態推定器によって生成された距離データ及び姿勢データにも依拠して第２の画素を特定する。状態推定器の結果に基づいて、ロボットは移動距離及びロボットの向きの変化を推定する場合がある。ロボットは、距離データ及び姿勢データに基づいて、第２の画像内のターゲットとなる特徴（１個以上の第１の画素の位置）の近傍を投影してもよい。ロボットは投影を利用してターゲットとなる特徴を特定する場合がある。例えば、ロボットは、投影された近傍のターゲットとなる特徴を検索する場合がある。その結果は、ＣＮＮによって生成された物体認識結果と組み合わせて使用される場合がある。

【0083】

ロボットは、距離データによって提供されるロボットの動きに対する１個以上の第１の画素からの１個以上の第２の画素の位置の変化に基づいて、ロボットと物体との間の推定距離を決定する（７７０）。本推定は、ロボットの奥行き推定器によって決定される場合がある。ロボットと識別された物体との間の距離は、投影、線形変換、幾何学的関係などの数学的演算に基づいて計算されても良い。例えば、ロボットの移動が第１の画素と第２の画素との間でｂであり、対応する画素位置の視差がｄである場合、ロボットと物体との間の距離ｚは、ｚ＝ｆ＊ｂ／ｄ（ｆはカメラの焦点距離）によって計算することができる。奥行き推定器は、識別された物体との衝突を回避するようにロボットに指示するために、飛行制御ユニットに距離を送る場合がある。例えば、飛行制御ユニットは物体を避けるためにロボットのルートを変更する場合がある。

【0084】

例示の機械学習モデル
様々な実施例では、幅広い種類の機械学習技術が使用されても良い。例は、決定木と、サポートベクターマシン（ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅｓ（ＳＶＭｓ））と、回帰と、ベイジアン・ネットワークと、遺伝的アルゴリズムのような、教師あり学習と教師なし学習と半教師あり学習の様々な形を含む。畳み込みニューラルネットワーク（ＣＮＮ）と、リカレント・ニューラルネットワーク（ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ（ＲＮＮ））と、長・短期記憶ネットワーク（ｌｏｎｇ ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ ｎｅｔｗｏｒｋｓ（ＬＳＴＭ））とを含む、ニューラルネットワークのようなディープラーニング技術も、使用されても良い。例えば、視覚的参照エンジン２４０によって実施される様々な物体認識と、位置特定と、物体、特に薄い物体の認識と、他の処理は、１以上の機械学習とディープラーニング技術を適用しても良い。

【0085】

様々な実施例では、機械学習モデルの訓練技術は、教師あり又は半教師あり又は教師なしであっても良い。教師あり学習では、機械学習モデルは、ラベルを付けた訓練サンプルのセットで訓練されても良い。例えば、物体を分類するために訓練される機械学習モデルには、訓練サンプルは、物体の種類についてのラベルを付けた物体の様々な写真であっても良い。各々の訓練サンプルのラベルは、バイナリ又はマルチ・クラスであっても良い。画像分割のための機械学習モデルの訓練では、訓練サンプルは、手動で特定された画像の部分を有する、様々な保管サイトの規則的に形づくられた物体の写真であっても良い。場合によっては、教師なし学習技術が使用されても良い。訓練に使われるサンプルは、ラベルを付けられていない。クラスタリングのような様々な教師なし学習技術が使用されても良い。場合によっては、訓練は、ラベルを付けられたサンプルとラベルを付けられていないサンプルの混合を有する訓練セットで、半教師ありとされても良い。

【0086】

機械学習モデルは、訓練方法の目的のゴールを記述する計量値を生成する目的関数と関係していても良い。例えば、訓練は、予測を生成する際の、モデルのエラー率を減じることを意図していても良い。この場合には、目的関数は、機械学習モデルのエラー率を監視しても良い。物体認識（例えば、物体検出及び分類）において、機械学習アルゴリズムの目的関数は、訓練セットの物体を分類する際の訓練エラー率であっても良い。そのような目的関数は、損失関数と呼ばれても良い。特に、ラベルが付けられていないために、エラー率が容易に決定されない教師なし学習モデルのためには、他の形式の目的関数が使用されても良い。画像分割では、目的関数は、モデルが予測したセグメントと、訓練セットに手動で特定されたセグメントとの差と一致していても良い。様々な実施例では、エラー率は、クロス・エントロピー損失、Ｌ１損失（例えば、予測値と実測値との間の絶対値差分の合計）、Ｌ２損失（例えば、二乗距離の合計）として測定されても良い。

【0087】

図８Ａを参照すると、いくつかの実施例による、例示のＣＮＮの構造が示されている。ＣＮＮ８００は入力８１０を受け取り、出力８２０を生成しても良い。ＣＮＮ８００は、畳み込み層８３０とプーリング層８４０とリカレント層８５０と完全接続層８６０とカスタム層８７０のような様々な種類の層を含んでも良い。畳み込み層８３０は、層の入力（例えば画像）と１以上のカーネルとの畳み込みをつくって、カーネルによってフィルタにかけられた様々な種類の画像を生成し、特徴マップを生成する。各々の畳み込み結果は、活性化関数と関連付けられても良い。畳み込み層８３０の後に、カーネル・サイズによってカバーされる入力の部分から最大値（最大プーリング）又は平均値（平均プーリング）を選択するプーリング層８４０が続いても良い。プーリング層８４０は、抽出された特徴の空間サイズを減らす。いくつかの実施例では、一対の畳み込み層８３０とプーリング層８４０の後に、１以上のフィードバック・ループ８５５を含むリカレント層８５０が続いても良い。フィードバック８５５は、画像の特徴の空間的関係又は画像の物体の時間的関係を評価するのに用いられても良い。層８３０、８４０及び８５０の後に、互いに接続したノード（図８Ａの中では正方形で示される）を有する複数の完全接続層８６０が続いても良い。完全接続層８６０は、分類と物体検出に使用されても良い。いくつかの実施例では、１以上のカスタム層８７０が、特定のフォーマットの出力８２０の生成のために存在しても良い。例えば、カスタム層が、様々なセグメント・ラベルを有する画像入力の、ピクセルのラベリングのために、画像分割に使われても良い。

【0088】

図８ＡのＣＮＮ８００の層の順序と層の数とは、例示のみのためである。様々な実施例では、ＣＮＮ８００は、１以上の畳み込み層８３０を含むが、プーリング層８４０又はリカレント層８５０を含んでも含まなくても良い。プーリング層８４０が存在する場合に、全ての畳み込み層８３０の後に、プーリング層８４０がいつも続くとは限らない。リカレント層は、ＣＮＮの他の位置に、異なる配置をされても良い。各々の畳み込み層８３０において、学習されるのを許可されるカーネルのサイズ（例えば３×３、５×５、７×７など）とカーネルの数とは、他の畳み込み層８３０と異なっていても良い。

【0089】

機械学習モデルは、特定の層及び／又はノード及び／又はカーネル及び／又は係数を含んでも良い。ＣＮＮ８００のようなニューラルネットワークの訓練は、順方向伝播と逆伝播を含んでも良い。ニューラルネットワークの各層は、隣の層の他のノードと完全に又は部分的に接続した１以上のノードを含んでも良い。順方向伝播では、ニューラルネットワークは、すぐ前の層の出力に基づいて、順方向での計算を実行する。ノードの作業は、１以上の関数により定義されても良い。ノードの作業を定義する関数は、１以上のカーネルとのデータの畳み込み、プーリング、ＲＮＮでのリカレント・ループ、ＬＳＴＭの様々なゲートなどのような様々な計算作業を含んでも良い。関数は、ノードの出力の重みを調節する活性化関数も含んでも良い。異なる層のノードは、異なる関数と関連していても良い。

【0090】

ニューラルネットワークの関数の各々は、訓練中に調節可能な様々な係数（例えば、重み及びカーネル係数）と関連していても良い。更に、ニューラルネットワークのノードのいくつかは、順方向伝播でのノードの出力の重みを決定する活性化関数と関連していても良い。共通の活性化関数は、ステップ関数と、一次関数と、シグモイド関数と、双曲線正接（ｔａｎｈ）関数と、正規化線形ユニット（ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔ（ＲｅＬＵ）関数を含んでも良い。入力が、ニューラルネットワークに提供されて、順方向にニューラルネットワークを通過した後で、結果が訓練のラベル又は訓練セットの他の値と比較されることによって、ニューラルネットワークのパフォーマンスを判定しても良い。予測方法が、訓練セットの他の画像に対して繰り返されて、特定の訓練ラウンドの目的関数の値を計算しても良い。今度は、ニューラルネットワークが、確率的勾配降下法（ｓｔｏｃｇａｓｔｉｃ ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ（ＳＧＤ））のような勾配降下法によって、逆伝播を実行し、様々な関数の係数を調節して、目的関数の値を改良する。

【0091】

順方向伝播及び逆伝播の複数のラウンドが実行されても良い。目的関数が十分に安定した（例えば、機械学習モデルが収束した）ときに、又は、訓練サンプルの特定のセットに対する所定回数のラウンド後に、訓練を終えても良い。訓練された機械学習モデルは、予測又は物体検出又は画像分割又はモデルがそのために訓練された他の適当なタスクに使用されうる。

【0092】

図８Ｂは、いくつかの実施例によって、薄い物体を識別するように構造化され訓練された例示的なＣＮＮ８８０を示す概念図である。ＣＮＮ８８０はＣＮＮ８００の一例である場合があり、図８Ａで論じた訓練技法もＣＮＮ８８０に使用することができる。ＣＮＮ８８０は、フロントエンド層８８２及びコンテキスト層８８４を含んでも良い。フロントエンド層８８２は、ＣＮＮ８００と同様の畳み込み層８３０とプーリング層８４０を含む。カーネルのサイズ、畳み込み層８３０の数、及びプーリングパラメータは、実施例に応じてカスタマイズされる場合がある。フロントエンド層は、入力画像内のエッジを検出し、画像内の特定の低レベルパターンを識別するために使用される場合がある。

【0093】

コンテキスト層８８４は、出力８９５を生成するために使用される１以上の拡張畳み込み層８９０を含む。各拡張畳み込み層８９０は、拡張係数と関連付けられる場合がある。拡張係数を有するカーネルは、サイズが拡張され、拡張された空間においてゼロで満たされる。例えば、拡張係数２は、行の２つの値の間にゼロを挿入し、元の行の間にゼロを有する行を挿入する。より高い拡張係数は、より多くのゼロを挿入し、カーネルのサイズをさらに拡大する。一般的な拡張係数は２、４、８、１６などの場合がある。拡張された畳み込みは、ＣＮＮ８８０がより大きなパターンをより局所的なパターンから区別することを可能にする場合がある。コンテキスト層８８４は、ワイヤやケーブルのような薄い物体を検出する際のＣＮＮ８８０の性能を向上させる場合がある１以上の拡張畳み込み層８９０を含む。いくつかの実施例では、拡張畳み込み層８９０のいくつかは、大きな拡張係数を有する場合がある。例えば、一連の拡張畳み込み層８９０は、ｄ１－ｄ２－ｄ４－ｄ８の拡張係数を有する場合がある。

【0094】

ＣＮＮ８８０は、様々な薄い物体を含む画像である訓練サンプルのセットを用いて訓練される場合がある。訓練サンプルは、屋内、屋外、又は背景の異なる異なる環境の様々なシーンの実際の画像によって生成される場合がある。より多くの訓練サンプルを生成するために、画像のいくつかは、回転、拡大縮小、傾き、コントラストの調整、画像の色調の調整など、さらに操作される場合がある。画像内の薄い物体を調整して、画像のいくつかに、照明や天候などの異なる様々な条件をシミュレートさせる場合もある。

【0095】

コンピュータ・アーキテクチャ
図９は、コンピュータ読み取り可能な媒体から命令を読み取り、プロセッサ（又はコントローラ）でその命令を実行可能な、例示のコンピューティング・マシンの構成要素を示すブロック図である。ここで述べられるコンピュータは、図９に示された１台のコンピューティング・マシン、又は仮想マシン、又は図９に示されたコンピューティング・マシンの複数のノードを含む分散コンピューティング・システム、コンピューティング・デバイスの他の適切な取り合わせを含んでも良い。

【0096】

例として、図９は、コンピュータ・システム９００の例示の形のコンピューティング・マシンの図表示を示し、ここで述べられる１以上の方法をマシンに実行させるために、コンピュータ読取り可能な媒体に記憶された命令９２４（例えば、ソフトウェア又はプログラム・コード又は機械語）が、コンピューティング・マシン内部で実行されても良い。いくつかの実施例では、コンピューティング・マシンは、スタンドアローンの装置として作業し、又は、他のマシンに接続されて（例えば、ネットワーク化されて）いても良い。ネットワーク配備において、マシンは、サーバー－クライアント・ネットワーク環境で、サーバー・マシン又はクライアント・マシンの性能で作業しても良いし、又は、ピア・ツー・ピア（又は分散）ネットワーク環境で、ピア・マシンとして作業しても良い。

【0097】

図９で述べられるコンピューティング・マシンの構成は、在庫品管理システム１４０と、コンピュータ・サーバー１５０と、データ・ストア１６０と、ユーザデバイス１７０と、図２に示される様々なエンジンとモジュールとインターフェースとターミナルとマシンとを含むがこれに限らない、図１及び図２に示される、どんなソフトウェア構成要素又はハードウェア構成要素又は組合せの構成要素に相当しても良い。図９は、様々なハードウェア要素とソフトウェア要素を示すが、図１及び２の中で記述される構成要素の各々は、追加の又はより少ない要素を含むかもしれない。

【0098】

例として、コンピューティング・マシンは、パーソナル・コンピュータ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ（ＰＣ））、又はタブレットＰＣ、又はセットトップボックス（ｓｅｔ－ｔｏｐ ｂｏｘ）、又は携帯情報端末（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ（ＰＤＡ））、又は携帯電話機、又はスマートフォン、又はウェブ機器、又はネットワーク・ルーター、又はモノのインターネット（ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ（ＩｏＴ））機器、又はスイッチ又はブリッジ、又はマシンがとるべき行動を特定する命令９２４を実行可能な如何なるマシンであっても良い。更に、１台のマシンのみ図示されているが、「マシン」という語は、ここで述べられる１以上の方法論を実行するために、命令９２４を個別で又は共同で実行するマシンの集合も含むと受け取られても良い。

【0099】

例示のコンピュータ・システム９００は、１以上のプロセッサ（一般に、プロセッサ９０２）（例えば、中央演算処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ（ＣＰＵ））、又はグラフィックス処理装置（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ（ＧＰＵ））、又はデジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ（ＤＳＰ））、又は１以上の特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ（ＡＳＩＣ））、又は１以上の無線周波数集積回路（ｒａｄｉｏ－ｆｒｅｑｕｅｎｃｙ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ（ＲＦＩＣ））、又はこれらの組合せ）と、メイン・メモリ９０４と、不揮発性メモリ９０６とを含み、それらはバス９０８を介して互いに通信するように構成されている。コンピュータ・システム９００は、更に、グラフィックス・ディスプレイ装置９１０（例えば、プラズマ・ディスプレイ・パネル（ｐｌａｓｍａ ｄｉｓｐｌａｙ ｐａｎｅｌ（ＰＤＰ））、又は液晶ディスプレイ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ（ＬＣＤ））、又はプロジェクター、又は陰極線管（ｃａｔｈｏｄｅ ｒａｙ ｔｕｂｅ（ＣＲＴ））を含んでも良い。コンピュータ・システム９００は、英数字入力装置９１２（例えば、キーボード）と、カーソル制御装置９１４（例えば、マウス、又はトラックボール、又はジョイスティック、又はモーションセンサ、又は他のポインティング手段）と、記憶装置９１６と、信号生成装置９１８（例えば、スピーカー）と、ネットワーク・インターフェース装置９２０も含んでも良く、それらもバス９０８を介して通信するように構成されている。

【0100】

記憶装置９１６は、１以上の方法論又はここで述べられた関数を具体化した命令９２４が記憶されているコンピュータ読取り可能な媒体９２２を含む。命令９２４は、コンピュータ・システム９００がそれらを実行中は、完全に又は少なくとも部分的に、メイン・メモリ９０４の中、又は、プロセッサ９０２の中（例えば、プロセッサのキャッシュメモリの中）に存在しても良く、メイン・メモリ９０４及びプロセッサ９０２も、コンピュータ読取り可能な媒体を構成している。命令９２４は、ネットワーク・インターフェース装置９２０を介して、ネットワーク９２６で送り又は受け取られても良い。

【0101】

コンピュータ読取り可能な媒体９２２は、例示の実施例で、１つの媒体であると示されているが、「コンピュータ読取り可能な媒体」という語は、命令（例えば、命令９２４）を記憶できる１つの媒体又は複数の媒体（例えば、集中又は分散データベース、又は関連キャッシュ及びサーバー）を含むものと解されるべきである。コンピュータ読取り可能な媒体は、マシンが実行する命令（例えば、命令９２４）を記憶可能で、ここで述べられた１以上の方法論をマシンに実行させる、どんな媒体を含んでも良い。コンピュータ読取り可能な媒体は、ソリッドステートメモリと、光学式媒体と、磁気媒体の形式のデータリポジトリを含むが、これに限定されるものではない。コンピュータ読取り可能な媒体は、信号又は搬送波のような一時的な媒体を含まない。

【0102】

更なる構成上の考察
特定の実施例は、論理回路、又はいくつかの構成要素又はエンジン又はモジュール又はメカニズムを含むものとして、ここで記述されている。エンジンは、ソフトウェア・モジュール（例えば、コンピュータで取り可能な媒体上に具体化されたコード）又はハードウェア・モジュールを構成しても良い。ハードウェア・エンジンは特定の作業を実行可能な実体的な装置であり、特定の方法で構成又は配置されても良い。例示の実施例では、１以上のコンピュータ・システム（例えば、スタンドアロ－ン、クライアント又はサーバコンピュータ・システム）、又はコンピュータ・システム（例えば、プロセッサ又はプロセッサのグループ）の１以上のハードウェア・エンジンは、ここで述べられたような特定の作業を実行するために作業するハードウェア・エンジンとして、ソフトウェア（例えば、アプリケーション又はアプリケーション部分）により構成されても良い。

【0103】

様々な実施例では、ハードウェア・エンジンは、機械的に、又は、電子的に実装されても良い。例えば、ハードウェア・エンジンは、特定の作業を実行するように、（例えば、フィールドプログラマブルゲートアレイ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ（ＦＰＧＡ））又は特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ（ＡＳＩＣ））のような専用プロセッサとして）不変に構成された専用の回路又は論理回路を含んでも良い。ハードウェア・エンジンは、ソフトウェアが特定の作業を実行するように一時的に構成される（例えば、多目的プロセッサ又は他のプログラム可能なプロセッサの中に含まれた）プログラム可能な論理回路又は回路も含んでも良い。機械的に、専用に不変に構成された回路のハードウェア・エンジン、又は一時的に構成された回路（例えば、ソフトウェアで構成される）を実行するという決定が、コストと時間を考慮してなされることはいうまでもない。

【0104】

ここで述べられた例示の方法の様々な作業は、関連の作業を実行するように（例えばソフトウェアによって）一時的に構成された又は不変に構成された、例えばプロセッサ９０２のような１以上のプロセッサによって、少なくとも部分的に実行されても良い。一時的に構成されていようと、不変に構成されていようと、そのようなプロセッサは、１以上の作業又はファンクションを実行するように動くプロセッサ実装エンジンを構成しても良い。ここに言及されるエンジンは、いくつかの例示の実施例で、プロセッサ実装エンジンを含んでも良い。

【0105】

特定の作業のパフォーマンスは、１台のマシン内に存在するだけではなく、いくつかのマシンにわたり配置された１以上のプロセッサに分散されても良い。いくつかの例示の実施例では、１以上のプロセッサ又はプロセッサ実装モジュールは、一つの地理的な位置（例えば、家庭環境内又はオフィス環境内又はサーバー・ファーム内）に存在しても良い。他の例示の実施例では、１以上のプロセッサ又はプロセッサ実装モジュールは、いくつかの地理的な位置にわたって分散していても良い。

【0106】

この開示を読むと、当業者は、ここで明らかにされた原理を通して、類似したシステム又は方法のための、更に追加の代替的な構造的及び機能的な設計を認識する。このように、特定の実施例及びアプリケーションが示され記述される一方で、開示された実施例が、寸分違わない構造と、ここで開示された構成要素とに限らないことを理解すべきである。様々な修正と変更とバリエーションが、添付の請求項で定義された意図及び範囲を逸脱することなく、ここで開示された配置及び作業及び方法の詳細になされる可能性があり、そのことは当業者にとって明らかである。

【0107】

（付記）
（付記１）
飛行ロボットを作動させる方法であって、
前記飛行ロボットによって第１の場所でとらえられた、環境の第１の画像を受け取ること、
前記第１の画像内の物体を識別すること、
前記物体のターゲットとなる１個以上の特徴に対応する、前記第１の画像内の第１の画素の１個以上を識別すること、
前記飛行ロボットによって第２の場所でとらえられた、環境の第２の画像を受け取ること、
前記第１の場所から前記第２の場所までの前記飛行ロボットの移動を推定する、前記飛行ロボットの距離データを受け取ること、
前記物体の前記ターゲットとなる１個以上の特徴に対応する、前記第２の画像内の第２の画素の１個以上を識別すること、及び、
前記距離データによって提供される前記飛行ロボットの移動に関する、前記第１の画素の１個以上からの前記第２の画素の１個以上の場所の変化に基づいて、前記飛行ロボットと前記物体との推定距離を決定すること、
を含む、方法。

【0108】

（付記２）
前記物体は畳み込みニューラルネットワークによって識別される、付記１に記載の方法。

【0109】

（付記３）
前記畳み込みニューラルネットワークは拡張畳み込み層を含む、付記２に記載の方法。

【0110】

（付記４）
前記第１の画像内の第１の画素の１個以上を識別することは、
前記物体に対応するように投影された前記第１の画像内の画素にタグ付けをすること、
前記画素をクラスタ化して複数の輪郭（ｃｏｎｔｏｕｒ）を形成すること、
前記輪郭をマージしてマージされた輪郭を形成すること、及び、
前記マージされた輪郭内の画素から前記ターゲットとなる１個以上の特徴を識別すること、
を含む、付記１に記載の方法。

【0111】

（付記５）
マージする前に、サイズに基づいて前記輪郭の１個以上がフィルタリングされる、付記４に記載の方法。

【0112】

（付記６）
前記ターゲットとなる１個以上の特徴は、前記物体の遠端の１個以上である、付記１に記載の方法。

【0113】

（付記７）
前記第２の画像内の第２の画素の１個以上を識別することは、
前記距離データに基づいて、前記第２の画像内の前記第１の画素の１個以上の場所を投影すること、及び、
前記第１の画素の１個以上の投影された場所に基づいて、前記第２の画素の１個以上を識別すること、
を含む、付記１に記載の方法。

【0114】

（付記８）
前記物体は画素１０個未満の幅の薄い物体である、付記１に記載の方法。

【0115】

（付記９）
前記物体はワイヤである、付記１に記載の方法。

【0116】

（付記１０）
前記距離データは慣性測定装置（ＩＭＵ）から生成される、付記１に記載の方法。

【0117】

（付記１１）
１個以上のプロセッサと、
命令を保存するように構成されたメモリと、
を含む、飛行ロボットであって、
前記命令は、前記１個以上のプロセッサによって実行されるとき、
第１の場所でとらえられた環境の第１の画像を受け取ること、
前記第１の画像内の物体を識別すること、
前記物体のターゲットとなる１個以上の特徴に対応する、前記第１の画像内の第１の画素の１個以上を識別すること、
第２の場所でとらえられた環境の第２の画像を受け取ること、
前記第１の場所から前記第２の場所までの前記飛行ロボットの移動を推定する、前記飛行ロボットの距離データを受け取ること、
前記物体の前記ターゲットとなる１個以上の特徴に対応する、前記第２の画像内の第２の画素の１個以上を識別すること、及び、
前記距離データによって提供される、前記飛行ロボットの移動に関する、前記第１の画素の１個以上からの前記第２の画素の１個以上の場所の変化に基づいて、前記飛行ロボットと前記物体との推定距離を決定すること、
を前記１個以上のプロセッサに実行させる、
飛行ロボット。

【0118】

（付記１２）
前記物体は畳み込みニューラルネットワークによって識別される、付記１１に記載の飛行ロボット。

【0119】

（付記１３）
前記畳み込みニューラルネットワークは拡張畳み込み層を含む、付記１２に記載の飛行ロボット。

【0120】

（付記１４）
前記第１の画像内の第１の画素の１個以上を識別するための命令は、
前記物体に対応するように投影された前記第１の画像内の画素にタグ付けをすること、
前記画素をクラスタ化して複数の輪郭を形成すること、
前記輪郭をマージしてマージされた輪郭を形成すること、及び、
前記マージされた輪郭内の画素から前記ターゲットとなる１個以上の特徴を識別すること、
を前記プロセッサに実行させる命令を含む、
付記１１に記載の飛行ロボット。

【0121】

（付記１５）
マージする前に、サイズに基づいて前記輪郭の１個以上がフィルタリングされる、付記１４に記載の飛行ロボット。

【0122】

（付記１６）
前記ターゲットとなる１個以上の特徴は、前記物体の遠端の１個以上である、付記１１に記載の飛行ロボット。

【0123】

（付記１７）
前記第２の画像内の第２の画素の１個以上を識別するための命令は、
前記距離データに基づいて、前記第２の画像内の前記第１の画素の１個以上の場所を投影すること、及び、
前記第１の画素の１個以上の投影された場所に基づいて、前記第２の画素の１個以上を識別すること、
を前記プロセッサに実行させる命令を含む、
付記１１に記載の飛行ロボット。

【0124】

（付記１８）
前記物体は画素１０個未満の幅の薄い物体である、付記１１に記載の飛行ロボット。

【0125】

（付記１９）
前記物体はワイヤである、付記１１に記載の飛行ロボット。

【0126】

（付記２０）
慣性測定装置（ＩＭＵ）をさらに含み、前記距離データは前記ＩＭＵから生成される、付記１１に記載の飛行ロボット。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9】

【国際調査報告】