知財求人 - 知財ポータルサイト「IP Force」
▶ エスゼット ディージェイアイ テクノロジー カンパニー リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6852851
(24)【登録日】2021年3月15日
(45)【発行日】2021年3月31日
(54)【発明の名称】画像処理方法及び移動体を制御するシステム
(51)【国際特許分類】
H04N 5/232 20060101AFI20210322BHJP
B64D 47/08 20060101ALI20210322BHJP
【ＦＩ】
H04N5/232 290
B64D47/08
【請求項の数】22
【全頁数】44
(21)【出願番号】特願2018-567109(P2018-567109)
(86)(22)【出願日】2016年8月30日
(65)【公表番号】特表2019-531611(P2019-531611A)
(43)【公表日】2019年10月31日
(86)【国際出願番号】CN2016097367
(87)【国際公開番号】WO2018039925
(87)【国際公開日】20180308
【審査請求日】2019年1月15日
(73)【特許権者】
【識別番号】513068816
【氏名又は名称】エスゼット ディージェイアイ テクノロジー カンパニー リミテッド
【氏名又は名称原語表記】ＳＺ ＤＪＩ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ
(74)【代理人】
【識別番号】110000877
【氏名又は名称】龍華国際特許業務法人
(72)【発明者】
【氏名】シェン、シャオジエ
(72)【発明者】
【氏名】ウ、シアンリアン
(72)【発明者】
【氏名】チェン、リアンシェン
【審査官】
高野 美帆子
(56)【参考文献】
【文献】
特開２００７−０６０２７３（ＪＰ，Ａ）
【文献】
特開２０００−１２３１５１（ＪＰ，Ａ）
【文献】
特開２００１−２６４０２７（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｈ０４Ｎ ５／２２２−５／２５７
Ｈ０４Ｎ ７／１８
Ｂ６４Ｄ ４７／０８
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ ７／２０
(57)【特許請求の範囲】
【請求項1】
画像処理方法であって、
移動体により支持され、前記移動体に取り付けられた妨害物によって遮られることのある、撮像デバイスにより１つ又は複数の画像を取得するステップと、
テンプレートを前記１つ又は複数の画像に適用することで、前記１つ又は複数の画像内の前記妨害物の１つ又は複数の投影位置を取得するステップと、
前記１つ又は複数の画像内の前記１つ又は複数の投影位置において前記妨害物の少なくとも一部を検出するステップと、
検出された前記妨害物の少なくとも一部が前記テンプレートにおける予め定められたエリアを覆っていない場合、検出された前記妨害物の少なくとも一部を前記移動体の環境内の障害物または標的の対象から除外すべく、検出された前記妨害物の少なくとも一部に対応する領域におけるピクセルをなくすステップと
を含み、
前記妨害物は、前記移動体の運動を提供するプロペラシステムの翼の少なくとも一部を含む、方法。
移動体により支持され、前記移動体に取り付けられた妨害物によって遮られることのある、撮像デバイスにより１つ又は複数の画像を取得するステップと、
テンプレートを前記１つ又は複数の画像に適用することで、前記１つ又は複数の画像内の前記妨害物の１つ又は複数の投影位置を取得するステップと、
前記１つ又は複数の画像内の前記１つ又は複数の投影位置において前記妨害物の少なくとも一部を検出するステップと、
検出された前記妨害物の少なくとも一部が前記テンプレートにおける予め定められたエリアを覆っていない場合、検出された前記妨害物の少なくとも一部を前記移動体の環境内の障害物または標的の対象から除外すべく、検出された前記妨害物の少なくとも一部に対応する領域におけるピクセルをなくすステップと
を含み、
前記妨害物は、前記移動体の運動を提供するプロペラシステムの翼の少なくとも一部を含む、方法。
【請求項2】
前記翼は、前記撮像デバイスに対向する前記翼の下面に分布する複数のマーカを含む、請求項１に記載の方法。
【請求項3】
前記複数のマーカの各マーカは反射性材料である、請求項２に記載の方法。
【請求項4】
前記移動体に搭載される照明源を使用して前記翼上の前記１つ又は複数のマーカを照明すること
を更に含む、請求項３に記載の方法。
を更に含む、請求項３に記載の方法。
【請求項5】
前記複数のマーカの各マーカは、共通の中心軸を有する複数の同心円の各同心円上の弧ストライプであり、前記翼は、前記中心軸の回りを回転する、請求項２から請求項４の何れか１項に記載の方法。
【請求項6】
前記複数のマーカは、前記翼の外縁部の近くに交互に分布し、異なる幅を有する複数のストライプ群を含む、請求項５に記載の方法。
【請求項7】
前記テンプレートは、前記妨害物の回転運動中の前記妨害物の少なくとも一部の１つ又は複数の投影位置を表すパターンを含む、請求項１から請求項６の何れか１項に記載の方法。
【請求項8】
前記パターンは、前記回転運動中の前記妨害物の前記１つ又は複数の投影位置をそれぞれ表す１つ又は複数の線を含み、各線は対応する投影位置の回転角に関連する、請求項７に記載の方法。
【請求項9】
前記１つ又は複数の画像のうちの第１の画像内の前記１つ又は複数の投影位置において前記妨害物の少なくとも一部を検出するステップは、
前記妨害物の少なくとも一部が前記第１の画像内の前記１つ又は複数の線上にあるか否かを判断すること
を含む、請求項８に記載の方法。
前記妨害物の少なくとも一部が前記第１の画像内の前記１つ又は複数の線上にあるか否かを判断すること
を含む、請求項８に記載の方法。
【請求項10】
前記１つ又は複数の線の各線は、前記妨害物の長手方向対称軸である、請求項８又は請求項９に記載の方法。
【請求項11】
前記テンプレートは、前記１つ又は複数の線上に分布する第１の群のマーカを含み、各線上に分布するマーカは、前記妨害物上のストライプの中心に配置された第１の組のマーカ及び前記妨害物上の２つの隣接するストライプの間隔の中心に配置された第２の組のマーカを含む、請求項８に記載の方法。
【請求項12】
画像処理方法であって、
移動体により支持され、前記移動体に取り付けられた妨害物によって遮られることのある、撮像デバイスにより１つ又は複数の画像を取得するステップと、
テンプレートを前記１つ又は複数の画像に適用することで、前記１つ又は複数の画像内の前記妨害物の１つ又は複数の投影位置を取得するステップと、
前記１つ又は複数の画像内の前記１つ又は複数の投影位置において前記妨害物の少なくとも一部を検出するステップと、
検出された前記妨害物の少なくとも一部が前記テンプレートにおける予め定められたエリアを覆っていない場合、検出された前記妨害物の少なくとも一部を前記移動体の環境内の障害物または標的の対象から除外すべく、検出された前記妨害物の少なくとも一部に対応する領域におけるピクセルをなくすステップと
を含み、
前記テンプレートは、前記妨害物の回転運動中の前記妨害物の少なくとも一部の１つ又は複数の投影位置を表すパターンを含み、
前記パターンは、前記回転運動中の前記妨害物の前記１つ又は複数の投影位置をそれぞれ表す１つ又は複数の線を含み、各線は対応する投影位置の回転角に関連し、
前記テンプレートは、前記１つ又は複数の線上に分布する第１の群のマーカを含み、各線上に分布するマーカは、前記妨害物上のストライプの中心に配置された第１の組のマーカ及び前記妨害物上の２つの隣接するストライプの間隔の中心に配置された第２の組のマーカを含む、方法。
移動体により支持され、前記移動体に取り付けられた妨害物によって遮られることのある、撮像デバイスにより１つ又は複数の画像を取得するステップと、
テンプレートを前記１つ又は複数の画像に適用することで、前記１つ又は複数の画像内の前記妨害物の１つ又は複数の投影位置を取得するステップと、
前記１つ又は複数の画像内の前記１つ又は複数の投影位置において前記妨害物の少なくとも一部を検出するステップと、
検出された前記妨害物の少なくとも一部が前記テンプレートにおける予め定められたエリアを覆っていない場合、検出された前記妨害物の少なくとも一部を前記移動体の環境内の障害物または標的の対象から除外すべく、検出された前記妨害物の少なくとも一部に対応する領域におけるピクセルをなくすステップと
を含み、
前記テンプレートは、前記妨害物の回転運動中の前記妨害物の少なくとも一部の１つ又は複数の投影位置を表すパターンを含み、
前記パターンは、前記回転運動中の前記妨害物の前記１つ又は複数の投影位置をそれぞれ表す１つ又は複数の線を含み、各線は対応する投影位置の回転角に関連し、
前記テンプレートは、前記１つ又は複数の線上に分布する第１の群のマーカを含み、各線上に分布するマーカは、前記妨害物上のストライプの中心に配置された第１の組のマーカ及び前記妨害物上の２つの隣接するストライプの間隔の中心に配置された第２の組のマーカを含む、方法。
【請求項13】
前記テンプレートは、前記妨害物の前記回転運動中の前記妨害物上の前記ストライプの運動経路上に分布する第２の群のマーカを更に含む、請求項１１または１２に記載の方法。
【請求項14】
前記テンプレートにおける前記第１の群のマーカ及び前記第２の群のマーカに対応する前記１つ又は複数の画像のうちの第１の画像のピクセルを収集するステップと、
各線に対応する前記収集されたピクセルのピクセル値が所定の基準を満たすか否かを判断するステップと、
第１の線に対応する前記収集されたピクセルの前記ピクセル値が前記所定の基準を満たすとの判断に従って、前記妨害物が、前記第１の画像において前記第１の線に関連する第１の回転角に存在することを識別するステップと
を更に含む、請求項１３に記載の方法。
各線に対応する前記収集されたピクセルのピクセル値が所定の基準を満たすか否かを判断するステップと、
第１の線に対応する前記収集されたピクセルの前記ピクセル値が前記所定の基準を満たすとの判断に従って、前記妨害物が、前記第１の画像において前記第１の線に関連する第１の回転角に存在することを識別するステップと
を更に含む、請求項１３に記載の方法。
【請求項15】
前記第１の画像における前記収集されたピクセルの前記ピクセル値を前記テンプレート内の対応する参照ピクセルの参照ピクセル値と比較するステップと
を更に含む、請求項１４に記載の方法。
を更に含む、請求項１４に記載の方法。
【請求項16】
前記収集されたピクセルの前記ピクセル値の統計値を計算するステップと、
前記計算された統計値を所定の閾値と比較するステップと
を更に含む、請求項１４に記載の方法。
前記計算された統計値を所定の閾値と比較するステップと
を更に含む、請求項１４に記載の方法。
【請求項17】
前記所定の基準を満たし、前記第１の線上に分布するピクセルの総数が所定の閾値数よりも大きいか否かを判断するステップと、
前記第１の線上に分布するピクセルの総数が前記所定の閾値数よりも大きいとの判断に従って、前記妨害物が、前記第１の画像において前記第１の線に関連する第１の回転角に存在することを識別するステップと
を更に含む、請求項１４に記載の方法。
前記第１の線上に分布するピクセルの総数が前記所定の閾値数よりも大きいとの判断に従って、前記妨害物が、前記第１の画像において前記第１の線に関連する第１の回転角に存在することを識別するステップと
を更に含む、請求項１４に記載の方法。
【請求項18】
前記第１の画像の露出の種類を識別するステップと、
前記識別された露出の種類に従って前記第１の画像を処理するステップと
を更に含む、請求項１４に記載の方法。
前記識別された露出の種類に従って前記第１の画像を処理するステップと
を更に含む、請求項１４に記載の方法。
【請求項19】
前記第１の画像の前記露出の種類を識別するステップは、
前記妨害物が、前記第１の画像内の所定の数の角度よりも多くの角度において存在すると識別されるか否かを判断することにより、検出された前記妨害物の少なくとも一部が前記テンプレートにおいて予め定められたエリアを覆っているか否かを判断するステップ
を含む、
請求項１８に記載の方法。
前記妨害物が、前記第１の画像内の所定の数の角度よりも多くの角度において存在すると識別されるか否かを判断することにより、検出された前記妨害物の少なくとも一部が前記テンプレートにおいて予め定められたエリアを覆っているか否かを判断するステップ
を含む、
請求項１８に記載の方法。
【請求項20】
前記第１の画像を処理するステップは、
検出された前記妨害物の少なくとも一部が前記テンプレートにおける予め定められたエリアを覆っている場合、前記第１の画像における前記妨害物のブラー領域及び鮮鋭領域を識別するステップと、
前記妨害物の前記鮮鋭領域におけるピクセルをなくすステップと、
前記妨害物の前記ブラー領域におけるピクセルを保持するステップと
を含む、請求項１８または１９に記載の方法。
検出された前記妨害物の少なくとも一部が前記テンプレートにおける予め定められたエリアを覆っている場合、前記第１の画像における前記妨害物のブラー領域及び鮮鋭領域を識別するステップと、
前記妨害物の前記鮮鋭領域におけるピクセルをなくすステップと、
前記妨害物の前記ブラー領域におけるピクセルを保持するステップと
を含む、請求項１８または１９に記載の方法。
【請求項21】
移動体を制御するシステムであって、
撮像デバイスに結合される１つ又は複数のプロセッサと、
メモリと、
１つ又は複数のプログラムであって、前記メモリに記憶され、前記１つ又は複数のプロセッサにより実行される１つ又は複数のプログラムと
を備え、
前記１つ又は複数のプログラムは、
移動体により支持され、前記移動体に取り付けられた妨害物によって遮られることのある、撮像デバイスにより１つ又は複数の画像を取得する命令と、
テンプレートを前記１つ又は複数の画像に適用することで、前記１つ又は複数の画像内の前記妨害物の１つ又は複数の投影位置を取得する命令と、
前記１つ又は複数の画像内の前記１つ又は複数の投影位置において前記妨害物の少なくとも一部を検出する命令と、
検出された前記妨害物の少なくとも一部が前記テンプレートにおける予め定められたエリアを覆っていない場合、検出された前記妨害物の少なくとも一部を前記移動体の環境内の障害物または標的の対象から除外すべく、検出された前記妨害物の少なくとも一部に対応する領域におけるピクセルをなくす命令と
を含み、
前記妨害物は、前記移動体の運動を提供するプロペラシステムの翼の少なくとも一部を含む、システム。
撮像デバイスに結合される１つ又は複数のプロセッサと、
メモリと、
１つ又は複数のプログラムであって、前記メモリに記憶され、前記１つ又は複数のプロセッサにより実行される１つ又は複数のプログラムと
を備え、
前記１つ又は複数のプログラムは、
移動体により支持され、前記移動体に取り付けられた妨害物によって遮られることのある、撮像デバイスにより１つ又は複数の画像を取得する命令と、
テンプレートを前記１つ又は複数の画像に適用することで、前記１つ又は複数の画像内の前記妨害物の１つ又は複数の投影位置を取得する命令と、
前記１つ又は複数の画像内の前記１つ又は複数の投影位置において前記妨害物の少なくとも一部を検出する命令と、
検出された前記妨害物の少なくとも一部が前記テンプレートにおける予め定められたエリアを覆っていない場合、検出された前記妨害物の少なくとも一部を前記移動体の環境内の障害物または標的の対象から除外すべく、検出された前記妨害物の少なくとも一部に対応する領域におけるピクセルをなくす命令と
を含み、
前記妨害物は、前記移動体の運動を提供するプロペラシステムの翼の少なくとも一部を含む、システム。
【請求項22】
移動体を制御するシステムであって、
撮像デバイスに結合される１つ又は複数のプロセッサと、
メモリと、
１つ又は複数のプログラムであって、前記メモリに記憶され、前記１つ又は複数のプロセッサにより実行される１つ又は複数のプログラムと
を備え、
前記１つ又は複数のプログラムは、
移動体により支持され、前記移動体に取り付けられた妨害物によって遮られることのある、撮像デバイスにより１つ又は複数の画像を取得する命令と、
テンプレートを前記１つ又は複数の画像に適用することで、前記１つ又は複数の画像内の前記妨害物の１つ又は複数の投影位置を取得する命令と、
前記１つ又は複数の画像内の前記１つ又は複数の投影位置において前記妨害物の少なくとも一部を検出する命令と、
検出された前記妨害物の少なくとも一部が前記テンプレートにおける予め定められたエリアを覆っていない場合、検出された前記妨害物の少なくとも一部を前記移動体の環境内の障害物または標的の対象から除外すべく、検出された前記妨害物の少なくとも一部に対応する領域におけるピクセルをなくす命令と
を含み、
前記テンプレートは、前記妨害物の回転運動中の前記妨害物の少なくとも一部の１つ又は複数の投影位置を表すパターンを含み、
前記パターンは、前記回転運動中の前記妨害物の前記１つ又は複数の投影位置をそれぞれ表す１つ又は複数の線を含み、各線は対応する投影位置の回転角に関連し、
前記テンプレートは、前記１つ又は複数の線上に分布する第１の群のマーカを含み、各線上に分布するマーカは、前記妨害物上のストライプの中心に配置された第１の組のマーカ及び前記妨害物上の２つの隣接するストライプの間隔の中心に配置された第２の組のマーカを含む、システム。
撮像デバイスに結合される１つ又は複数のプロセッサと、
メモリと、
１つ又は複数のプログラムであって、前記メモリに記憶され、前記１つ又は複数のプロセッサにより実行される１つ又は複数のプログラムと
を備え、
前記１つ又は複数のプログラムは、
移動体により支持され、前記移動体に取り付けられた妨害物によって遮られることのある、撮像デバイスにより１つ又は複数の画像を取得する命令と、
テンプレートを前記１つ又は複数の画像に適用することで、前記１つ又は複数の画像内の前記妨害物の１つ又は複数の投影位置を取得する命令と、
前記１つ又は複数の画像内の前記１つ又は複数の投影位置において前記妨害物の少なくとも一部を検出する命令と、
検出された前記妨害物の少なくとも一部が前記テンプレートにおける予め定められたエリアを覆っていない場合、検出された前記妨害物の少なくとも一部を前記移動体の環境内の障害物または標的の対象から除外すべく、検出された前記妨害物の少なくとも一部に対応する領域におけるピクセルをなくす命令と
を含み、
前記テンプレートは、前記妨害物の回転運動中の前記妨害物の少なくとも一部の１つ又は複数の投影位置を表すパターンを含み、
前記パターンは、前記回転運動中の前記妨害物の前記１つ又は複数の投影位置をそれぞれ表す１つ又は複数の線を含み、各線は対応する投影位置の回転角に関連し、
前記テンプレートは、前記１つ又は複数の線上に分布する第１の群のマーカを含み、各線上に分布するマーカは、前記妨害物上のストライプの中心に配置された第１の組のマーカ及び前記妨害物上の２つの隣接するストライプの間隔の中心に配置された第２の組のマーカを含む、システム。
【発明の詳細な説明】
【技術分野】
【0001】
開示される実施形態は、一般的には画像処理に関し、排他的にではないがより詳細には、移動体により取得される画像内の投影位置における妨害物の検出に基づいて画像を処理することに関する。
【背景技術】
【0002】
無人機（ＵＡＶ）等の移動体は、軍事用途及び民間用途で監視、偵察、及び探索の任務を実行するのに使用することができる。移動体は、障害物回避及び／又は標的追尾のために周囲環境の画像を取得する等の特定の機能を実行するように構成された１つ又は複数の撮像デバイスを含み得る。したがって、例えば、周囲環境の妨害物及び／又は標的に対応しない可能性がある画像情報を検出して処理することにより、取得画像における情報を正確に維持することが重要である。
【発明の概要】
【発明が解決しようとする課題】
【0003】
障害物回避、ナビゲーション及び方位特定、画像の取得及び処理、及び／又は標的追尾のために、移動体により支持される１つ又は複数の撮像デバイスにより取得された画像を効率的且つ正確に処理するシステム及び方法が必要とされている。そのようなシステム及び方法は任意選択的に、移動体により取得された画像を処理する従来の方法を補完又は置換する。幾つかの実施形態では、移動体により支持された１つ又は複数の妨害物が、移動体の撮像デバイスを部分的に遮ることがある。テンプレートを使用して、取得画像の投影位置において妨害物を検出し、それに従って画像を処理することにより、本願の幾つかの実施形態は、ナビゲーション及び方位特定、画像の取得及び処理、障害物回避、及び／又は標的追尾での撮像処理の効率及び精度を大幅に改善することができる。さらに、撮像デバイスと妨害物との相対位置の制限を少なくすることにより、移動体の設計の柔軟性を高めることができる。
【課題を解決するための手段】
【0004】
幾つかの実施形態によれば、移動体の画像処理をサポートする方法は、移動体により支持される撮像デバイスにより取得される１つ又は複数の画像を取得することを含む。撮像デバイスは、移動体に取り付けられた妨害物により少なくとも部分的に遮られる。本方法は、テンプレートを１つ又は複数の画像に適用するステップであって、それにより、１つ又は複数の画像内の妨害物の１つ又は複数の投影位置を取得する、適用することを更に含む。本方法は、１つ又は複数の画像内の１つ又は複数の投影位置において妨害物の少なくとも一部を検出するステップも含む。
【0005】
幾つかの実施形態によれば、無人機（ＵＡＶ）は、推進システムと、１つ又は複数のセンサと、撮像デバイスと、推進システム、１つ又は複数のセンサ、及び撮像デバイスに結合される１つ又は複数のプロセッサとを備える。１つ又は複数のプロセッサは、上記方法の動作を実行する。幾つかの実施形態によれば、システムは、１つ又は複数のプロセッサと、メモリと、メモリに記憶され、１つ又は複数のプロセッサにより実行される１つ又は複数のプログラムとを備え得る。上記方法の動作を実行する命令を含む１つ又は複数のプログラム。幾つかの実施形態によれば、非一時的コンピュータ可読記憶媒体は命令を記憶し、命令は、移動体により実行されると、上記方法の動作を移動体に実行させる。
【0006】
幾つかの実施形態によれば、移動体を制御する方法は、移動体により支持される撮像デバイスにより取得される１つ又は複数の画像を取得することを含む。撮像デバイスは、移動体に取り付けられた妨害物により少なくとも部分的に遮られる。本方法は、１つ又は複数の画像において投影される妨害物の少なくとも一部を検出するステップを更に含む。本方法は、投影された妨害物を有する１つ又は複数の画像を処理して、移動体の動作を支援することも含む。
【0007】
幾つかの実施形態によれば、無人機（ＵＡＶ）は、推進システムと、１つ又は複数のセンサと、撮像デバイスと、推進システム、１つ又は複数のセンサ、及び撮像デバイスに結合される１つ又は複数のプロセッサとを備える。１つ又は複数のプロセッサは、上記方法の動作を実行する。幾つかの実施形態によれば、システムは、１つ又は複数のプロセッサと、メモリと、メモリに記憶され、１つ又は複数のプロセッサにより実行される１つ又は複数のプログラムとを備え得る。上記方法の動作を実行する命令を含む１つ又は複数のプログラム。幾つかの実施形態によれば、非一時的コンピュータ可読記憶媒体は命令を記憶し、命令は、移動体により実行されると、上記方法の動作を移動体に実行させる。
【図面の簡単な説明】
【0008】
【図1】幾つかの実施形態による移動体環境を示す。
【図2】幾つかの実施形態による移動体を示す。
【図3】幾つかの実施形態による、妨害物の遮蔽面を示す画像である。
【図5】幾つかの実施形態による、画像処理に使用される動きトレイルテンプレートを準備する方法を示す流れ図である。
【図6】幾つかの実施形態による、画像処理に向けて動きトレイルテンプレートを準備する例示的なプロセスを示す。
【図7】幾つかの実施形態による、画像処理に使用されるテンプレートを準備する方法を示す流れ図である。
【図8】幾つかの実施形態による、画像処理に向けてテンプレートを準備する例示的なプロセスを示す。
【図9】幾つかの実施形態による、移動体の画像処理をサポートする方法を示す流れ図である。
【図10A】幾つかの実施形態による、移動体の画像処理をサポートする方法を示す流れ図である。
【図10B】幾つかの実施形態による、移動体の画像処理をサポートする方法を示す流れ図である。
【図10C】幾つかの実施形態による、移動体の画像処理をサポートする方法を示す流れ図である。
【図10D】幾つかの実施形態による、移動体の画像処理をサポートする方法を示す流れ図である。
【図10E】幾つかの実施形態による、移動体の画像処理をサポートする方法を示す流れ図である。
【図10F】幾つかの実施形態による、移動体の画像処理をサポートする方法を示す流れ図である。
【図11A】幾つかの実施形態による、移動体を制御する方法を示す流れ図である。
【図11B】幾つかの実施形態による、移動体を制御する方法を示す流れ図である。
【図11C】幾つかの実施形態による、移動体を制御する方法を示す流れ図である。
【発明を実施するための形態】
【0009】
これより、例が添付図面に示される実施形態を詳細に参照する。以下の詳細な説明では、記載される様々な実施形態の完全な理解を提供するために、多くの具体的な詳細が記載される。しかしながら、これらの具体的な詳細なしでも、記載される様々な実施形態が実施可能なことが当業者には理解されよう。他の場合、実施形態の態様を不必要に曖昧にしないように、周知の方法、手順、構成要素、回路、及びネットワークについては詳述しなかった。
【0010】
以下の説明では、移動体の例として無人機（ＵＡＶ）を使用する。ＵＡＶは、例えば、ヘリコプター、クワッドコプター、及び他の数及び／又は構成の回転翼を有する航空機等の固定翼機及び回転翼機を含む。他のタイプの移動体が、後述されるＵＡＶに取って代わり得ることが当業者には明らかであろう。
【0011】
本発明は、ナビゲーション及び方位特定、画像の取得及び処理、障害物回避、及び／又は標的追尾のためにＵＡＶにより取得された画像の処理に関連する技法を提供する。テンプレートを使用して画像を処理し、画像における投影位置において妨害物を検出するステップができる。画像処理技法は、障害物回避及び／又は標的追尾に効率及び正確性を提供するとともに、ＵＡＶ設計及び製造に柔軟性を提供することができる。その結果、撮像装置を搭載した移動体の設計及び製造のコストを低減することができる。
【0012】
図１は、幾つかの実施形態による移動体環境１００を示す。移動体環境１００は移動体１０２を含む。幾つかの実施形態では、移動体１０２は支持機構１０４及び／又は搭載物１０６を含む。幾つかの実施形態では、移動体１０２は、周囲環境の画像を取得する１つ又は複数（例えば、一対）の撮像センサ１２０も含む。
【0013】
幾つかの実施形態では、支持機構１０４を使用して、搭載物１０６を移動体１０２に結合する。幾つかの実施形態では、支持機構１０４は、移動体１０２及び／又は運動機構１１４の運動から搭載物１０６を分離する要素（例えば、ジンバル及び／又はダンパー要素）を含む。幾つかの実施形態では、支持機構１０４は、移動体１０２に対して搭載物１０６の運動を制御する要素を含む。
【0014】
幾つかの実施形態では、搭載物１０６は、搭載物１０６が移動体１０２に相対して実質的に静止したままであるように、移動体１０２に結合（例えば、剛性結合）される（例えば、支持機構１０４を介して結合される）。例えば、支持機構１０４は、搭載物が移動体に相対して動かないように搭載物１０６に結合される。幾つかの実施形態では、搭載物１０６は、支持機構１０４を必要とせずに移動体１０２に直接搭載される。幾つかの実施形態では、搭載物１０６は、移動体１０２内に部分的又は完全に配置される。
【0015】
幾つかの実施形態では、撮像センサ１２０は、移動体１０２の外部に搭載されるか、内部に配置されるか、又は他の方法で結合される。幾つかの実施形態では、撮像センサ１２０は移動体１０２に固定して搭載される。例えば、特定の撮像センサ１２０と移動体１０２の静止（又は固定）構成要素との相対位置は一定である。幾つかの実施形態では、撮像センサ１２０は、支持機構検知システム及び／又は搭載物検知システム等の移動体検知システム２１０の構成要素である。撮像センサ１２０は、移動体検知システム１２２の他の構成要素と共に、環境情報を取得し、静的検知データ（例えば、命令の受信に応答して取得された１枚の画像）、及び／又は動的検知データ（例えば、映像等の周期的な率で取得された一連の画像）を生成する。撮像センサ１２０についての更なる詳細について図２を参照して考察する。
【0016】
幾つかの実施形態では、制御ユニット１０８は移動体１０２と通信して、制御命令を移動体１０２に提供し、及び／又は移動体１０２から受信した情報を表示する。制御ユニット１０８は通常、ポータブル（例えば、ハンドヘルド）デバイスであるが、制御ユニット１０８はポータブルである必要はない。幾つかの実施形態では、制御ユニット１０８は、専用制御デバイス（例えば、移動体１０２に専用の）、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、ゲーミングシステム、ウェアラブルデバイス（例えば、眼鏡、手袋、及び／又はヘルメット）、マイクロホン、ポータブル通信デバイス（例えば、携帯電話）、及び／又はそれらの組み合わせである。
【0017】
幾つかの実施形態では、制御ユニット１０８の入力デバイスは、移動体１０２、支持機構１０４、搭載物１０６、及び／又はその構成要素の態様を制御するユーザ入力を受信する。そのような態様は、例えば、方位、位置、向き、速度、加速度、ナビゲーション、及び／又は追尾を含む。例えば、制御ユニット１０８の入力デバイスの位置（例えば、入力デバイスの構成要素の位置）は、移動体１０２を制御する入力に（例えば、所定の入力）に多応する位置にユーザにより手動で設定される。幾つかの実施形態では、ユーザは入力デバイスを操作して、移動体１０２のナビゲーションを制御する制御命令を入力する。幾つかの実施形態では、制御ユニット１０８の入力デバイスを使用して、所定のナビゲーション路に従うオートパイロット又はナビゲーション等の飛行モードを移動体１０２に入力する。
【0018】
幾つかの実施形態では、制御ユニット１０８のディスプレイは、移動体検知システム２１０、メモリ２０４、及び／又は移動体１０２の別のシステムにより生成された情報を表示する。例えば、ディスプレイは、移動体１０２、支持機構１０４、及び／又は搭載物１０６についての情報、例えば、移動体１０２の位置、方位、向き、運動特性、及び／又は移動体１０２と別の物体（例えば、標的及び／又は妨害物）との間の距離を表示する。幾つかの実施形態では、制御ユニット１０８のディスプレイにより表示される情報は、撮像デバイス２１６（図２）により取得された画像、追尾データ（例えば、標的の表現に適用されるグラフィカル追尾インジケータ）、及び／又は移動体１０２に送信された制御データの指示を含む。幾つかの実施形態では、制御ユニット１０８のディスプレイにより表示される情報は、情報が移動体１０２から受信されるとき及び／又は画像取得時に略リアルタイムで表示される。幾つかの実施形態では、制御ユニット１０８のディスプレイはタッチスクリーンディスプレイである。
【0019】
幾つかの実施形態では、移動体環境１００は計算デバイス１１０を含む。計算デバイス１１０は、例えば、サーバコンピュータ、クラウドサーバ、デスクトップコンピュータ、ラップトップコンピュータ、タブレット、又は別のポータブル電子デバイス（例えば、携帯電話）である。幾つかの実施形態では、計算デバイス１１０は、移動体１０２及び／又は制御ユニット１０８と通信する（例えば、無線で）基地局である。幾つかの実施形態では、計算デバイス１１０は、データ記憶動作、データ検索動作、及び／又はデータ処理動作を提供して、例えば、移動体１０２及び／又は制御ユニット１０８の処理電力及び／又はデータ記憶要件を低減する。例えば、計算デバイス１１０はデータベースに通信可能に接続され、及び／又は計算デバイス１１０はデータベースを含む。幾つかの実施形態では、計算デバイス１１０は、制御ユニット１０８の代替又は追加として使用されて、制御ユニット１０８に関して説明された任意の動作を実行する。
【0020】
幾つかの実施形態では、移動体１０２は、例えば、無線通信１１２を介して制御ユニット１０８及び／又は計算デバイス１１０と通信する。幾つかの実施形態では、移動体１０２は、情報を制御ユニット１０８及び／又は計算デバイス１１０から受信する。例えば、移動体１０２により受信される情報は、例えば、移動体１０２を制御する制御命令を含む。幾つかの実施形態では、移動体１０２は、情報を制御ユニット１０８及び／又は計算デバイス１１０に送信する。例えば、移動体１０２により送信される情報は、例えば、移動体１０２により取得された画像及び／又は映像を含む。
【0021】
幾つかの実施形態では、計算デバイス１１０、制御ユニット１０８、及び／又は移動体１０２の間の通信は、ネットワーク（例えば、インターネット１１６）及び／又はセルラ塔１１８等の無線信号伝送機（例えば、長距離無線信号伝送機）を介して伝送される。幾つかの実施形態では、衛星（図示せず）が、インターネット１１６の構成要素であり、及び／又はセルラ塔１１８への追加又は代替として使用される。
【0022】
幾つかの実施形態では、計算デバイス１１０、制御ユニット１０８、及び／又は移動体１０２の間で通信される情報は、制御命令を含む。制御命令は、例えば、移動体１０２のナビゲーションパラメータ、例えば、移動体１０２、支持機構１０４、及び／又は搭載物１０６の位置、方位、向き、及び／又は１つ又は複数の運動特性を制御するナビゲーション命令を含む。幾つかの実施形態では、制御命令は、運動機構１１４の１つ又は複数の運動を支持する命令を含む。例えば、制御命令を使用して、ＵＡＶの飛行を制御する。
【0023】
幾つかの実施形態では、制御命令は、支持機構１０４の動作（例えば、運動）を制御するための情報を含む。例えば、制御命令を使用して、支持機構１０４の作動機構を制御し、移動体１０２に対する搭載物１０６の角運動及び／又は線形運動を生じさせる。幾つかの実施形態では、制御命令は、最高で６つの自由度で移動体１０２に対する支持機構１０４の運動を調整する。
【0024】
幾つかの実施形態では、制御命令を使用して、搭載物１０６の１つ又は複数の動作パラメータを調整する。例えば、制御命令は、光学パラメータ（例えば、撮像デバイス２１６の光学パラメータ）を調整する命令を含む。幾つかの実施形態では、制御命令は、撮像特性及び／又は画像デバイス機能を調整する命令、例えば、画像を取得する命令、映像取得を開始／停止する命令、撮像デバイス２１６の電源をオン又はオフにする命令、撮像モードを調整する命令（例えば、静止画像を取得する命令又は映像を取得する命令）、立体撮像システムの左構成要素と右構成要素との間の距離を調整する命令、並びに／或いは支持機構１０４、搭載物１０６、及び／又は撮像デバイス２１６の位置、方位、及び／又は運動（例えば、パン率、パン距離）を調整する命令を含む。
【0025】
幾つかの実施形態では、制御命令が移動体１０２により受信されると、制御命令は、移動体１０２のパラメータを変更し、及び／又は移動体１０２のメモリ２０４（図２）により記憶される。
【0026】
図２は、幾つかの実施形態による例示的な移動体１０２を示す。移動体１０２は通常、１つ又は複数のプロセッサ２０２、メモリ２０４、通信システム２０６、移動体検知システム２１０、及びこれらの構成要素を相互接続する１つ又は複数の通信バス２０８を含む。
【0027】
幾つかの実施形態では、移動体１０２はＵＡＶであり、飛行及び／又は飛行制御を可能にする構成要素を含む。幾つかの実施形態では、移動体１０２は、１つ又は複数のネットワーク又は他の通信インターフェース（例えば、それを介して飛行制御命令が受信される）との通信システム２０６、１つ又は複数の運動機構１１４、及び／又は１つ又は複数の移動体アクチュエータ２１２（例えば、制御命令の受信に応答して運動機構１１４を運動させる）を含む。移動体１０２は航空機として示されるが、この図は限定を意図せず、任意の適するタイプの移動体が使用可能である。
【0028】
幾つかの実施形態では、移動体１０２は運動機構１１４（例えば、推進機構）を含む。本明細書では、参照の都合上、複数形の用語「運動機構（ｍｏｖｅｍｅｎｔ ｍｅｃｈａｎｉｓｍｓ）」が使用されるが、「運動機構（ｍｏｖｅｍｅｎｔ ｍｅｃｈａｎｉｓｍｓ）１１４」は、単一の運動機構（例えば、単一のプロペラ）又は複数の運動機構（例えば、複数の回転翼）を指す。運動機構１１４は、１つ又は複数の運動機構タイプ、例えば、回転翼、プロペラ、翼、エンジン、モータ、車輪、車軸、磁石、及びノズル等を含む。運動機構１１４は、例えば、上面、下面、正面、裏面、及び／又は側面において移動体１０２に結合される。幾つかの実施形態では、単一の移動体１０２の運動機構１１４は、同じタイプの複数の運動機構を含む。幾つかの実施形態では、単一の移動体１０２の運動機構１１４は、異なる運動機構タイプの複数の運動機構を含む。運動機構１１４は、任意の適する手段、例えば、支持要素（例えば、駆動シャフト）及び／又は他の作動要素（例えば、移動体アクチュエータ２１２）を使用して移動体１０２に結合される。例えば、移動体アクチュエータ２１２は、制御信号をプロセッサ２０２から受信し（例えば、通信バス２０８を介して）、制御信号は、移動体アクチュエータ２１２を作動させて、運動機構１１４の運動を生じさせる。例えば、プロセッサ２０２は電子速度コントローラを含み、電子速度コントローラは制御信号を移動体アクチュエータ２１２に提供する。
【0029】
幾つかの実施形態では、運動機構１１４は、移動体１０２が、移動体１０２のいかなる水平運動も必要とせずに（例えば、滑走路を下って移動せずに）表面から垂直に離陸又は表面に垂直に着陸できるようにする。幾つかの実施形態では、運動機構１１４は、移動体１０２が指定された位置及び／又は向きで空中をホバリングできるようにするように動作可能である。幾つかの実施形態では、運動機構１１４の１つ又は複数は、他の運動機構１１４の１つ又は複数から独立して制御可能である。例えば、移動体１０２がクワッドコプターである場合、クワッドコプターの各回転翼は、クワッドコプターのその他の回転翼から独立して制御可能である。幾つかの実施形態では、複数の運動機構１１４が同時に運動する。
【0030】
幾つかの実施形態では、運動機構１１４は、移動体１０２に揚力及び／又は推進力を提供する複数の回転翼を含む。複数の回転翼は、例えば、垂直離陸能力、垂直着陸能力、及びホバリング能力を移動体１０２に提供するように作動する。幾つかの実施形態では、回転翼の１つ又は複数は時計回り方向に回転し、一方、回転翼の１つ又は複数は反時計回り方向に回転する。例えば、時計回りの回転翼の数は、反時計回りの回転翼の数に等しい。幾つかの実施形態では、各回転翼の回転率は、例えば、各回転翼により生成される揚力及び／又は推進力を制御し、それにより、移動体１０２の空間変位、速度、及び／又は加速度を調整するように独立して変更可能である（例えば、最高で３並進度及び／又は最高で３回転自由度に関して）。
【0031】
幾つかの実施形態では、メモリ２０４は、１つ又は複数の命令、プログラム（例えば、命令セット）、モジュール、制御システム、及び／又はデータ構造を記憶し、本明細書ではこれらはまとめて「要素」と呼ばれる。メモリ２０４に関して説明される１つ又は複数の要素は任意選択的に、制御ユニット１０８、計算デバイス１１０、及び／又は別のデバイスに記憶される。幾つかの実施形態では、撮像デバイス２１６は、メモリ２０４に関して説明される１つ又は複数のパラメータを記憶するメモリを含む。
【0032】
幾つかの実施形態では、メモリ２０４は、１つ又は複数のシステム設定（例えば、製造業者、管理者、及び／又はユーザにより構成される）を含む制御システム構成を記憶する。例えば、移動体１０２についての情報を識別することは、システム構成のシステム設定として記憶される。幾つかの実施形態では、制御システム構成は、撮像デバイス２１６の構成を含む。撮像デバイス２１６の構成は、位置、ズームレベル、及び／又はフォーカスパラメータ（例えば、フォーカス量、オートフォーカス又は手動フォーカスのセントなく、及び／又は画像での標的オートフォーカスの調整）等のパラメータを記憶する。撮像デバイス構成により記憶される撮像特性パラメータとしては、例えば、画像解像度、画像サイズ（例えば、画像の幅及び／又は高さ）、アスペクト比、ピクセルカウント、品質、焦点距離、被写界深度、露出時間、シャッタ速度、及び／又はホワイトバランスが挙げられる。幾つかの実施形態では、撮像デバイス構成により記憶されるパラメータは、制御命令（例えば、プロセッサ２０２により生成され、及び／又は制御ユニット１０８及び／又は計算デバイス１１０から移動体１０２により受信される）に応答して更新される。幾つかの実施形態では、撮像デバイス構成により記憶されるパラメータは、移動体検知システム２１０及び／又は撮像デバイス２１６から受信される情報に応答して更新される。
【0033】
幾つかの実施形態では、制御システムは撮像デバイス調整を実行する。撮像デバイス調整モジュールは、例えば、撮像デバイス２１６の画像センサと光学デバイスとの間の距離を調整する命令、例えば、撮像デバイスアクチュエータを制御する命令を記憶する。幾つかの実施形態では、撮像デバイス調整を実行する１つ又は複数の命令は、メモリ２０４に記憶される。
【0034】
幾つかの実施形態では、制御システムはオートフォーカス動作を実行する。例えば、オートフォーカス動作は、例えば、周期的に、デバイスが画像分析からフォーカスレベルがフォーカスレベル閾値未満に下がっていると判断したとき、移動体１０２及び／又は画像被写体（例えば、標的又は遠隔物体）が閾値距離を超えて動いたとの判断に応答して、及び／又はユーザ入力に応答して、実行される。幾つかの実施形態では、ユーザ入力（例えば、制御ユニット１０８及び／又は計算デバイス１１０において受信される）は、オートフォーカスモードを開始及び／又は調整する。幾つかの実施形態では、ユーザ入力は、オートフォーカス動作に使用されるべき及び／又は優先されるべき１つ又は複数の領域（例えば、制御ユニット１０８及び／又は計算デバイス１１０により表示される画像等の撮像デバイス２１６により取得された画像において）を示す。幾つかの実施形態では、オートフォーカスモジュールは、画像距離特定モジュールにより特定される画像距離値に従って、画像センサに相対して光学デバイスを動かす制御命令を生成する。幾つかの実施形態では、オートフォーカス動作を実行する１つ又は複数の命令は、メモリ２０４に記憶される。
【0035】
幾つかの実施形態では、制御システムは、画像距離特定を実行して、例えば、本明細書に記載される動作に従って物体距離及び／又は画像距離を特定する。例えば、画像距離特定モジュールは、移動体の１つ又は複数の深さセンサ及び１つ又は複数の向きセンサからのセンサデータを使用して、画像距離を特定し、特定された画像距離に従って画像センサに対して光学デバイスを動かす制御命令を生成する。幾つかの実施形態では、画像距離特定を実行する１つ又は複数の命令は、メモリ２０４に記憶される。
【0036】
上記識別された制御システム、モジュール、及び／又はプログラム（例えば、命令セット）は、別個のソフトウェアプログラム、プロシージャ、又はモジュールとして実装される必要はなく、したがって、これらのモジュールの様々なサブセットは、様々な実施形態において組み合わせるか、又は他の方法で再構成し得、メモリ２０４に記憶し得る。幾つかの実施形態では、制御システムは、上記識別されたモジュール及びデータ構造のサブセットを含む。さらに、メモリ２０４は、上述されていない追加のモジュール及びデータ構造を記憶し得る。幾つかの実施形態では、メモリ２０４又はメモリ２０４の非一時的コンピュータ可読記憶媒体に記憶されたプログラム、モジュール、及びデータ構造は、後述する方法における各動作を実施する命令を提供する。幾つかの実施形態では、これらのモジュールの幾つか又は全ては、モジュール機能の一部又は全てを包含する専用ハードウェア回路を用いて実装し得る。上記識別された要素の１つ又は複数は、移動体１０２の１つ又は複数のプロセッサ２０２により実行し得る。幾つかの実施形態では、上記識別されたモジュールの１つ又は複数は、移動体からリモートのデバイスの１つ又は複数の記憶装置（制御ユニット１０８、計算デバイス１１０、及び／又は撮像デバイス２１６のメモリ等）に記憶され、及び／又は移動体１０２からリモートのデバイスの１つ又は複数のプロセッサ（制御ユニット１０８、計算デバイス１１０、及び／又は撮像デバイス２１６のプロセッサ等）により実行される。
【0037】
通信システム２０６は、例えば、無線信号１１２を介した制御ユニット１０８及び／又は計算デバイス１１０との通信を可能にする。通信システム２０６は、例えば、無線通信用の送信機、受信機、及び／又は送受信機を含む。幾つかの実施形態では、通信は、制御ユニット１０８及び／又は計算デバイス１１０から移動体１０２によってのみ受信されるか、又はこの逆であるような単方向通信である。幾つかの実施形態では、通信は、データが移動体１０２と制御ユニット１０８及び／又は計算デバイス１１０との間で両方向に伝送されるような双方向通信である。幾つかの実施形態では、移動体１０２、制御ユニット１０８、及び／又は計算デバイス１１０は、インターネット１１６又は他の電気通信ネットワークに接続され、それにより、例えば、移動体１０２、制御ユニット１０８、及び／又は計算デバイス１１０により生成されたデータは、データ記憶及び／又はデータ検索のため（例えば、ウェブサイトによる表示のため）に、サーバに送信される。
【0038】
幾つかの実施形態では、移動体１０２の検知システム２１０は１つ又は複数のセンサを含む。幾つかの実施形態では、移動体検知システム２１０の１つ又は複数のセンサは、移動体１０２の外部に搭載されるか、内部に配置されるか、又は他の方法で結合される。幾つかの実施形態では、移動体検知システム２１０の１つ又は複数のセンサは、支持機構１０４、搭載物１０６、及び／又は撮像デバイス２１６の構成要素であり、及び／又は支持機構１０４、搭載物１０６、及び／又は撮像デバイス２１６に結合される。本明細書において、検知動作が移動体検知システム２１０により実行されるものとして説明される場合、そのような動作が任意選択的に、移動体検知システム２１０の１つ又は複数のセンサへの追加及び／又は代替として、支持機構１０４、搭載物１０６、及び／又は撮像デバイス２１６の１つ又は複数のセンサにより実行されることが認識されよう。
【0039】
幾つかの実施形態では、移動体検知システム２１０は、１つ又は複数の画像センサ１２０、例えば、画像センサ２１４（例えば、左立体画像センサ）及び／又は画像センサ２１５（例えば、右立体画像センサ）を含む。画像センサ１２０は、例えば、画像、画像ストリーム（例えば、映像）、静止画像、及び／又は立体画像ストリーム（例えば、立体映像）を取得する。画像センサ１２０は、光、例えば、可視光、赤外線光、及び／又は紫外線光を検出する。幾つかの実施形態では、移動体検知システム２１０は、光を１つ又は複数の画像センサ１２０上に集束させるか、又は他の方法で変更する１つ又は複数の光学デバイス（例えば、レンズ）を含む。幾つかの実施形態では、画像センサ１２０は、例えば、半導体電荷結合素子（ＣＣＤ）、相補型金属酸化膜半導体（ＣＭＯＳ）技術若しくはＮ型金属酸化膜半導体（ＮＭＯＳ、ライブＭＯＳ）技術を使用したアクティブピクセルセンサ、又は任意の他のタイプのセンサを含む。撮像センサ１２０は、物体（例えば、妨害物又は標的）の検出、物体の位置情報の検出、深度マップの生成（例えば、立体画像センサ２１４及び２１５を使用した）、妨害物の回避、及び／又は標的の追尾に使用することができる。
【0040】
幾つかの実施形態では、移動体検知システム２１０は、１つ又は複数のオーディオトランスデューサ（例えば、スピーカ、マイクロホン、放物面マイクロホン、ソナーシステム）、１つ又は複数の赤外線センサ、１つ又は複数のセンサ対（例えば、左立体画像センサ２１４及び右立体画像センサ２１５、オーディオ出力トランスデューサ及びオーディオ入力トランスデューサ、及び／又は左赤外線センサ及び右赤外線センサ）、１つ又は複数の全地球測位システム（ＧＰＳ）センサ、運動センサ（例えば、加速度計）、回転センサ（例えば、ジャイロスコープ）、慣性センサ、近接性センサ（例えば、赤外線センサ）、及び／又は天候センサ（例えば、圧力センサ、温度センサ、湿度センサ、及び／又は風センサ）を含む。
【0041】
幾つかの実施形態では、移動体検知システム２１０の１つ又は複数のセンサにより生成された検知データ及び／又は移動体検知システム２１０の１つ又は複数のセンサからの検知データを使用して特定された情報は、制御ユニット１０８に送信される（例えば、通信システム１１２を介して）。幾つかの実施形態では、移動体検知システム２１０の１つ又は複数のセンサ生成されたデータ及び／又は移動体検知システム２１０の１つ又は複数のセンサからの検知データを使用して特定された情報は、メモリ２０４に記憶される。
【0042】
図３は、幾つかの実施形態による、妨害物の遮蔽面を示す画像である。幾つかの実施形態では、妨害物は、妨害物の遮蔽面が撮像センサ（例えば、撮像センサ１２０及び／又は撮像デバイス２１６）を部分的又は完全に遮蔽させる位置において移動体に搭載され得る。幾つかの実施形態では、妨害物は、図３に示されるように、移動体１０２のプロペラ３００（プロペラ翼３００とも呼ばれる）の遮蔽面を含む。幾つかの実施形態では、妨害物の遮蔽面は、プロペラ翼３００の下面、例えば、撮像センサ１２０に対向するプロペラ翼３００の下面を含む。プロペラ翼３００の下面は、移動体１０２に搭載された１つ又は複数の照明源により照明することができる（例えば、図４Ａ及び図４Ｂ）。プロペラ３００は運動機構１１４の構成要素である。例えば、１つ又は複数のプロペラ３００は、１つ又は複数の支持要素（例えば、駆動シャフト）及び／又は１つ又は複数の作動要素（例えば、移動体アクチュエータ２１２）を使用して移動体１０２に結合することができる。プロペラ３００は移動体アクチュエータ２１２により給電されて回転し、移動体１０２を上昇及び／又は推進させることができる。幾つかの実施形態では、妨害物は、移動体１０２の別の構成要素、例えば、移動体のアーム又は移動体の着陸装置を含む。
【0043】
幾つかの実施形態では、プロペラ３００は、プロペラ３００の回転中、プロペラ３００の１つ又は複数の翼、例えば、１つ又は複数の翼の１つ又は複数の遮蔽面のそれぞれに撮像センサ１２０を部分的又は完全に遮蔽させる位置において移動体１０２に搭載される。その結果、撮像センサ１２０により取得された１つ又は複数の画像は、１つ又は複数の画像内の１つ又は複数の位置のそれぞれにおいて、プロペラ翼３００の遮蔽面の少なくとも一部を含み得る。妨害物、例えばプロペラ翼３００が障害物又は標的として誤検出されないように、取得画像内の妨害物の遮蔽面、例えば、プロペラ翼３００の遮蔽面の位置を検出するために、取得画像は、妨害物、例えばプロペラ翼３００に関連する所定のテンプレートを使用して処理されて、プロペラ翼３００の少なくとも一部の画像を検出及び／又は削除する。
【0044】
幾つかの実施形態では、プロペラ翼３００は、翼３００の遮蔽面上に分布する１つ又は複数のマーカ３０２、３０４、３０６、及び３０８を含む。例えば、マーカ３０２〜３０８は、撮像センサ１２０に対向する翼３００の下面に分布する。幾つかの実施形態では、プロペラ３００は、１枚の翼、２枚の翼（図３に示されるような２つの対向する翼等）、３枚の翼、又は任意の他の数の翼を含む。幾つかの実施形態では、マーカは、プロペラ３００（例えば、図３）の１つ又は複数の翼のうちの１枚のみの翼に分布する。幾つかの実施形態では、マーカは、プロペラ３００の２枚以上の翼のうちの２枚以上の翼に分布する。一例では、マーカは、プロペラ３００の２枚以上の翼の各翼に分布する。プロペラ３００の１つ又は複数の翼の各翼は、平坦であり得る。代替的には、プロペラ３００の１つ又は複数の翼の各翼は、翼基部から翼先端部まで変化する翼角度を有し得、したがって、マーカ３０２〜３０８は、撮像センサ１２０又は撮像デバイス２１６に対向する翼の上面及び下面の両方に分布することもできる。幾つかの実施形態では、マーカ３０２〜３０８の各マーカは、反射性材料（例えば、蛍光体）で作られる。幾つかの実施形態では、マーカは、図３に示されるように、１つ又は複数のストライプを含む。例えば、各マーカは、複数の円の各円上の弧ストライプであり、それにより、各弧ストライプは、プロペラ翼３００が回転運動中であるとき、複数の円の各円で運動経路を形成する。例えば、マーカ３０２は、第１の円の一部上の弧ストライプであり、マーカ３０４は、第１の円とは異なる第２の円の一部上の弧ストライプである。幾つかの実施形態では、複数の円は同心円である。一例では、複数の同心円の共通中心軸は、翼３００が回転するように構成された中心軸（中心点３１０を通る）である。幾つかの他の実施形態では、マーカは他の形状、例えば、矩形、正方形、又は他の多角形を有する。
【0045】
幾つかの実施形態では、１つ又は複数のマーカ３０２〜３０８は、異なる幅を有する複数のストライプ群を含む。複数のストライプ群は、遮蔽物上のストライプを、ストライプパターンを有する障害物又は標的等のストライプ形又はストライプパターンを有する環境における他の物体から十分に区別することができるように、翼３００の遮蔽面上に交互に分布し得る。例えば、マーカ（ストライプ）３０２及び３０６は、第１の幅をそれぞれ有する第１のストライプ群に属し、マーカ（ストライプ）３０４及び３０８は、第２の幅をそれぞれ有する第２のストライプ群に属する。第２の幅は第１の幅よりも小さくてよい。幾つかの例では、第１の幅は第２の幅の１〜５倍である。幾つかの好ましい実施形態では、第１の幅は第２の幅の１．５〜２．５倍である。幾つかの実施形態では、各ストライプ群は１〜５本のストライプを含む。幾つかの好ましい実施形態では、各ストライプ群は３〜５本の反射性ストライプを含む。図３に示される幾つかの実施形態では、マーカは、翼３００の外縁部近くに分布し、外縁部は、中心軸又は中心３１０から翼３００の最も離れた端部である。
【0046】
図４Ａ及び図４Ｂは、幾つかの実施形態による、プロペラ翼３００上のマーカを光らせる照明源を有さない移動体（図４Ａ）及び有する移動体（図４Ｂ）を比較する一対の画像を示す。幾つかの実施形態では、照明源は移動体１０２に搭載されて、１つ又は複数のマーカ３０２〜３０８を照明する。幾つかの実施形態では、照明源は、蛍光光源、白熱灯光源、放電光源、ネオン及びアルゴン光源、プラズマ光源、発光ダイオード（ＬＥＤ）光源、有機ＬＥＤ（ＯＬＥＤ）光源、又は任意の他の適する光源を含む。幾つかの実施形態では、照明源は、取り外し可能物体１０２に搭載される１つ又は複数の白色ＬＥＤを含む。図４Ａ及び図４Ｂにおいて比較されるように、照明源が翼３００上のマーカを光らせる場合、マーカエリア３０２〜３０８と翼エリア４０２〜４０８とのコントラストが強調される。これは、撮像センサ１２０により取得される画像において翼３００の位置をマークして検出するのに有益である。更なる詳細について、図５の方法５００、図７の方法７００、及び図９の方法９００を参照して本開示において考察する。
【0047】
図５は、幾つかの実施形態による、画像処理に使用される動きトレイルテンプレートを準備する方法５００を示す流れ図である。動きトレイルテンプレートは、妨害物の回転中の妨害物、例えばプロペラ翼３００又はプロペラ翼３００の遮蔽面の運動及び位置を示す情報を含む。幾つかの実施形態では、方法５００は、電子デバイス、例えば、計算デバイス１１０、制御ユニット１０８、又は移動体１０２（図１）により実行される。幾つかの他の実施形態では、方法５００は、他の電子デバイス、例えば、移動体１０２を動作させる、制御ユニット１０８と対になったモバイルデバイス又は計算デバイスにより実行される。図５において実行される動作は、コンピュータメモリ又は対応するデバイスの他のコンピュータ可読記憶媒体に記憶された命令に対応する。図６は、幾つかの実施形態による、画像処理に向けて動きトレイルテンプレート６４０を準備する例示的なプロセスを示す。方法５００の１つ又は複数のステップにおいて処理される画像は、図６に更に示され、幾つかの実施形態により、妨害物の一例としてプロペラ翼３００を使用する。
【0048】
幾つかの実施形態では、電子デバイスは、複数の画像、例えば、図６における画像６０２、６０４、及び６０６を取得する（５０２）。複数の画像は、撮像デバイス、例えば、移動体１０２により支持される撮像センサ１２０又は撮像デバイス２１６により取得される。複数の画像は、周期的な率で取得された映像の一連の画像フレームであることができる。幾つかの実施形態では、複数の画像の各画像は、例えば、妨害物が比較的ゆっくりと移動する場合に撮影されるか、又は短い露出時間で撮影された場合、短時間露出画像である。幾つかの実施形態では、複数の画像の各画像は、妨害物が比較的高速で移動する場合に撮影されるか、又は長い露出時間で撮影される場合、長時間露出画像である。幾つかの実施形態では、複数の画像の各画像は、１つ又は複数の各位置における妨害物の少なくとも一部を含む。例えば、図６の画像６０２、６０４、及び６０６の各画像は、異なる位置におけるプロペラ翼３００の遮蔽面の一部を含む。
【0049】
動きトレイルテンプレートを準備するプロセスに関して、電子デバイスは、複数の画像から画像６０２（図６）等の特定の画像を選択する（５０４）。選択される画像は、投影位置において妨害物の少なくとも一部を含む。例えば、画像６０２は、特定の位置に配置されたプロペラ翼３００の一部を含む。電子デバイスは、画像６１２に示されるように、選択された画像、例えば、画像６０２において妨害物を含む１つ又は複数の物体のエッジを取得する（５０６）。幾つかの実施形態では、キャニーエッジ検出アルゴリズム等のエッジ検出アルゴリズムが電子デバイスにより使用されて、画像６０２においてエッジ情報を抽出する。アルゴリズムの１つ又は複数の閾値は、明るいマーカエリアと暗い翼エリア（図４Ｂ）とのコントラストが高いエッジを効率的に識別するように選択される。
【0050】
幾つかの実施形態では、電子デバイスは、ステップ５０６において画像６０２において検出されたエッジから、妨害物上のマーカのエッジ及び／又は妨害物のエッジを選択する（５０８）。例えば、電子デバイスは、画像６２２に示されるように、画像６０２においてマーカエッジ及び／又は翼エッジを選択する。ステップ５０８は手動で実行することができる。代替又は追加として、ステップ５０８は、例えば、マーカエッジ及び翼エッジを識別する１つ又は複数の予め設定された参照及び／又はパターンを使用したパターン認識プロセスにより、自動的に実行することができる。幾つかの実施形態では、翼エッジ及びマーカエッジを含む１つ又は複数のエッジは、画像６２２に示されるように、１つ又は複数の囲まれたエリアを形成するように選択される。
【0051】
幾つかの実施形態では、電子デバイスは、ステップ５０８において処理された画像、例えば、画像６２２に対応するマスク、例えば、マスク６３２を取得する（５１０）。マスク６３２は、特定の位置において妨害物、例えば翼３００の少なくとも一部を識別する。幾つかの実施形態では、マスク６３２は、異なるタイプの領域を異なる色で埋めることにより形成される。例えば、画像６２２における翼上のマーカに対応する領域は、白色で埋められ、残りの翼エリア（例えば、囲まれたエリア内の残りのエリア）に対応する領域は黒色で埋められ、画像６２２における残りの領域（例えば、非特定領域）はグレーの色で埋められる。
【0052】
幾つかの実施形態では、方法５００は、現在処理中の画像、例えば画像６０２が、ステップ５０２において取得された複数の画像の内の最後の画像であるか否かの判断（５１２）に進む。換言すれば、ステップ５０２において取得された複数の画像の全ての画像が処理されたか否かが判断される（５１２）。現在処理中の画像が、取得された複数の画像のうちの最後の画像ではないとの判断に従って（５１２−いいえ）、電子デバイスは、複数の画像のうちの次の画像の処理に進む（５１４）。例えば、図６に示されるように、他の画像、例えば、画像６０４及び６０６は、各位置において妨害物（翼３００）の少なくとも一部を含む。画像６０４及び６０６は、エッジ検出アルゴリズムを使用して処理されて、画像における全てのエッジを検出し（５０６）（画像６１４及び６１６にそれぞれ示されるように）、マーカエッジ及び／又は翼エッジを選択し（５０８）（画像６２４及び６２６にそれぞれ示されるように）、対応する領域を異なる色で埋めることによりマスク６３４及び６３６を取得する（５１０）。
【0053】
現在処理中の画像が、取得された複数の画像のうちの最後の画像であるとの判断に従って（５１２−はい）、電子デバイスは、複数の画像からの全てのマスクを統合して、複数の動きトレイルを含む動きトレイルテンプレートを取得する（５１６）。各動きトレイルは、妨害物の回転運動中の妨害物上のマーカの動きを表す。例えば、電子デバイスは、マスク６３２、６３４、及び６３６を含め、全てのマスクを統合して、動きトレイルテンプレート６４０を取得する。動きトレイルテンプレート６４０は、図６におけるストライプ等の複数の動きトレイルを含む。幾つかの実施形態では、各動きトレイル（例えば、動きトレイル６４２、動きトレイル６４４）は、妨害物の回転中の妨害物上のマーカの動きの痕跡を示す。例えば、マーカ３０２（図３及び図４Ｂ）は動きトレイル６４２に対応し、マーカ３０６は動きトレイル６４４に対応する（図３及び図４Ｂ）。
【0054】
幾つかの実施形態では、ステップ５１６における統合プロセス中、全てのマスクにおけるマーカ領域として示される領域のみがマーカ領域として識別される。しかし、第１のマスクにおける特定の領域が、ステップ５１０においてマーカ領域として示され、第２のマスク内の同じ領域が、ステップ５１０において翼領域として示される場合、この特定の領域は、統合ステップ５１２において、動きトレイルテンプレート６４０においてマーカ領域として示されない。
【0055】
幾つかの他の実施形態では、複数のマスクにおいてマーカ領域又は非特定領域（例えば、マーカ領域でもなく、又は翼領域でもない）として示される領域は、マーカ領域として識別することができる。例えば、第１のマスクにおける特定の領域が、ステップ５１０においてマーカ領域として示され、第２のマスクにおける同じ領域が、ステップ５１０において非特定領域として示される場合、この特定の領域は、統合ステップ５１２において、動きトレイルテンプレート６４０においてマーカ領域として識別することができる。
【0056】
同様に、幾つかの実施形態では、ステップ５１６における統合プロセス中、全てのマスクにおいて翼領域として示される領域又は全てのマスクにおいて翼領域若しくは非特定領域として示される領域は、翼領域として識別される。例えば、第１のマスクにおける特定の領域が、ステップ５１０において翼領域として示され、第２のマスクにおける同じ領域が、ステップ５１０においてマーカ領域として示される場合、この特定の領域は、統合ステップ５１２において、動きトレイルテンプレート６４０において翼領域として識別されない。
【0057】
幾つかの実施形態では、マーカの形状変化又はマーカの境界変化、マーカ領域から妨害物領域（例えば、翼領域）への勾配遷移、及び／又は照明効果への変更は、エッジ検出プロセスに誤差又は不確実性をもたらし得る。したがって、動きトレイルテンプレート６４０を更に最適化して、誤差をなくし、妨害物の位置に関連するより正確な動きトレイル情報を提供する。幾つかの実施形態では、マーカ領域の境界及び翼領域の境界は内側に調整されて、処理のために、テンプレートにおけるマーカと妨害物との一致度及び取得画像における対応するマーカと妨害物との一致度を改善する。
【0058】
幾つかの実施形態では、動きトレイルテンプレート６４０は、撮像センサ（例えば、撮像センサ１２０又は撮像デバイス２１６）により取得された長時間露出画像（図示せず）を使用して準備することもできる。長時間露出画像では、第１の位置から第２の位置に動いている妨害物上の１つ又は複数のマーカのトレイルを示すことができる。次に、取得された長時間露出画像を手動でマークすることができる。例えば、マーカの動きに対応するトレイルは、白色でマーカ領域として示され、翼の動きに対応するトレイルは、黒色で翼領域として示される。
【0059】
図７は、幾つかの実施形態による、画像処理に使用されるテンプレートを準備する方法７００を示す流れ図である。テンプレートは、妨害物の回転中の画像内の、妨害物、例えばプロペラ翼３００の投影位置（例えば、可能な位置）を示す情報を含む。幾つかの実施形態では、撮像センサ（例えば、撮像センサ１２０又は撮像デバイス２１６）が妨害物（例えば、翼３００）により部分的に遮られ、撮像センサと妨害物との間の相対位置が一定である（例えば、撮像センサ１２０の場合）か、又は特定可能な場合（例えば、撮像デバイス２１６の場合、撮像デバイス２１６の位置情報を使用して）、撮像センサにより取得された画像の１つ又は複数の投影位置（可能な位置）において翼３００の少なくとも一部を表す情報を含むように、テンプレートを準備することができる。幾つかの実施形態では、テンプレートは、１つ又は複数のマーカ、例えば、ドット、ピクセル、線、又は多角形を含む。幾つかの実施形態、テンプレートは、各マーカの位置情報及び／又はピクセル値を含む。
【0060】
幾つかの実施形態では、方法７００は、電子デバイス、例えば、計算デバイス１１０、制御ユニット１０８、又は移動体１０２（図１）により実行される。幾つかの他の実施形態では、方法７００は、他の電子デバイス、例えば、移動体１０２を動作させる、制御ユニット１０８と対になったモバイルデバイス又は計算デバイスにより実行される。図７において実行される動作は、コンピュータメモリ又は対応するデバイスの他のコンピュータ可読記憶媒体に記憶された命令に対応する。図８は、幾つかの実施形態による、画像処理に向けてテンプレート８５２を準備する例示的なプロセスを示す。画像を処理して、テンプレートを準備することに関する方法７００の１つ又は複数のステップについては、図８に更に示され、幾つかの実施形態により、プロペラ翼３００を妨害物の一例として使用する。
【0061】
幾つかの実施形態では、電子デバイスは、複数の画像、例えば、図８における画像８０２及び８０４を選択する（７０２）。複数の画像は、撮像デバイス、例えば、移動体１０２により支持される撮像センサ１２０又は撮像デバイス２１６により取得される。複数の画像は、周期的な率で取得された映像の一連の画像フレームであることができる。幾つかの実施形態では、複数の画像の各画像は、妨害物が比較的ゆっくりと移動する場合に撮影される場合、短時間露出画像である。幾つかの実施形態では、複数の画像の各画像は、各位置においてプロペラ翼３００等の妨害物の少なくとも一部を含む。
【0062】
次に、電子デバイスは、処理のために、複数の画像から、画像８０２等の特定の画像を選択する（７０４）。選択される画像は、特定の位置において妨害物の少なくとも一部を含む。例えば、画像８０２又は対応する例示的なスケッチ８１２において、特定の位置に配置されたプロペラ翼３００の一部を含む。電子デバイスは、現在処理中の画像における妨害物の一部の位置を表す点の集まり又は線を識別する（７０６）。点の集まり又は線には、妨害物の一部の対応する位置の回転角が関連付けられる。例えば、図８に示されるように、電子デバイスは、画像８１２に示されるように、翼３００の少なくとも一部の投影位置を表す線８２２を識別する。幾つかの実施形態では、線８２２には投影位置の回転角が関連付けられる。幾つかの実施形態では、線８２２は翼３００の長手方向対称軸である。幾つかの実施形態では、複数の各画像の線８２２、８２４、８２６、８２８、及び８３０等の識別された点の集まりは、画像８１２に示されるように均一に分布する。
【0063】
幾つかの実施形態では、電子デバイスは、画像８０２／８１２等の選択された画像における第１のマーカ群を識別する（７０８）。マーカ８３１、８３２、及び８３３等の第１のマーカ群は、線８２２上並びに翼３００上のマーカ領域（例えば、ストライプ）及び翼領域の中心に分布すると識別される。幾つかの実施形態では、第１のマーカ群は、線８２２上並びに翼３００上のマーカ領域及び翼領域の中心に配置される取得画像８０２からのピクセルである。各ピクセルは、取得画像８０２における対応するピクセルの輝度情報及び／又は色情報を含むピクセル値を有する。
【0064】
幾つかの実施形態では、方法７００は、現在処理中の画像、例えば、画像８０２が、ステップ７０２において取得された複数の画像のうちの最後の画像であるか否かを判断すること（７１０）に進む。換言すれば、ステップ７０２において取得された複数の画像の全ての画像が処理されたか否かが判断される（７１０）。現在処理中の画像が、取得された複数の画像のうちの最後の画像ではないとの判断に従って（７１０−いいえ）、電子デバイスは、複数の画像のうちの次の画像の処理（７１２）に進む。例えば、図８に示されるように、他の画像、例えば画像８０４は、各位置に妨害物（翼３００）の少なくとも一部を含む。画像８０４は、対応する例示的なスケッチ８１４に示されるように、画像８０４において線８３０及び第１のマーカ群（例えば、８３４）を識別することにより処理される。他の画像（図示せず）も、対応する画像において各線（例えば、８２４、８２６、及び８２８）及び第１のマーカ群を識別することにより処理される。
【0065】
現在処理中の画像が、取得された複数の画像のうちの最後の画像であるとの判断に従って（７１０−はい）、電子デバイスは、複数の画像から識別された第１のマーカ群を統合して、予備テンプレート８４２（画像８４０に対応する）を取得する（７１４）。予備テンプレート８４２は、回転中の翼３００の投影位置を示す、線８２２、８２４、８２６、８２８、及び８３０等の点の複数の集まりと、各線上に分布する第１のマーカ群とを含む。
【0066】
幾つかの実施形態では、電子デバイスは、第２のマーカ群を予備テンプレート８４２に更に追加して、テンプレート８５２（画像８５０に対応する）を取得する（７１６）。幾つかの実施形態では、第２のマーカ群は、方法５００（図５）を使用して得られた動きトレイルテンプレート６４０（図６）内の１つ又は複数のトレイル（例えば、トレイル８５８、図８）上に分布する。幾つかの実施形態では、第２のマーカ群内の複数のマーカは、動きトレイル８５８上且つ第１のマーカ群からのマーカの間、例えば、線８２２上のマーカ８５４と線８２４上のマーカ８５６との間に追加される。幾つかの実施形態では、動きトレイル８５８等の各動きトレイル上に追加される第２のマーカ群のマーカの総数は、２００〜４００の範囲である。テンプレート８５２は、第１の群のマーカ（ステップ７０８において識別される）及び第２の群のマーカ（ステップ７１６において追加される）を含む。幾つかの実施形態では、テンプレート８５２内の第１のマーカ群及び第２のマーカ群のうちの１つ又は複数のマーカは、各取得画像（例えば、画像８０２、画像８０４等）からの対応するピクセルである。各ピクセルは、対応する取得画像におけるピクセルの輝度情報及び／又は色情報を含むピクセル値を有する。
【0067】
図９は、幾つかの実施形態による、移動体１０２の画像処理をサポートする方法９００を示す流れ図である。幾つかの実施形態では、方法９００は、電子デバイス、例えば、計算デバイス１１０、制御ユニット１０８、又は移動体１０２（図１）により実行される。幾つかの他の実施形態では、方法９００は、他の電子デバイス、例えば、移動体１０２を動作させる、制御ユニット１０８と対になったモバイルデバイス又は計算デバイスにより実行される。図９において実行される動作は、コンピュータメモリ又は対応するデバイスの他のコンピュータ可読記憶媒体に記憶された命令に対応する。
【0068】
幾つかの実施形態では、電子デバイスは、移動体１０２により支持される撮像デバイス（例えば、撮像センサ１２０又は撮像デバイス２１６）により取得された画像を取得する（９０２）。幾つかの実施形態では、撮像デバイスは、妨害物、例えば、図３のプロペラ翼３００の遮蔽面により少なくとも部分的に遮られる。妨害物は、撮像デバイスに対して固定された構成、周期的な構成、又は他の予測可能な構成を有することができる。その結果、画像は、特定の位置において妨害物の少なくとも一部を含む。幾つかの実施形態では、撮像デバイスと妨害物との間の相対位置、例えば、撮像センサ１２０とプロペラ翼３００との間の相対位置は、一定である。幾つかの実施形態では、撮像デバイスと妨害物との間の相対位置、例えば、撮像デバイス２１６とプロペラ翼３００との間の相対位置は、特定又は予測することができる。例えば、撮像デバイスが画像を取得するとき、撮像デバイス２１６の位置情報を支持機構１０４から取得して、撮像デバイス２１６とプロペラ翼３００との間の相対位置を特定することができる。幾つかの実施形態では、取得画像は、処理のために、撮像デバイスからリモートユニット１０８又は計算デバイス１１０に送信される。幾つかの実施形態では、方法９００は、移動体１０２が移動し、画像を取得するにつれてリアルタイムで実行される。
【0069】
幾つかの実施形態では、電子デバイスは、図８のテンプレート８５２において、第１のマーカ群及び第２のマーカ群を含むマーカに対応する取得画像におけるピクセルを収集する（９０４）。次に、電子デバイスは、テンプレート８５２における複数の線の各線上の第１のマーカ群に対応する１つ又は複数の収集されたピクセルのピクセル値が、所定の基準を満たすか否かを判断する（９０６）。
【0070】
幾つかの実施形態では、電子デバイスは、図８のテンプレート８５２における複数の線（例えば、８２２、８２４、８２６、８２８、及び８３０）の各線１つに配置される第１のピクセル群に対応する取得画像内のピクセルを選択し、選択されたピクセル値をテンプレート８５２内の対応するピクセル値と比較する。選択されたピクセル値とテンプレート８５２内の特定の線上のマーカのピクセル値との差が、所定の閾値内である場合、妨害物の少なくとも一部が取得画像内の特定の線上にあると判断される。その他の場合、妨害物は取得画像内のこの線上にないと判断される。
【0071】
幾つかの実施形態では、選択されたピクセル値とテンプレート８５２内の特定の線上の全てのマーカの少なくとも１／３のピクセル値との差が、所定の閾値内である場合、妨害物の少なくとも一部が取得画像内の特定の線上にあると判断される。
【0072】
幾つかの実施形態では、ステップ９０６において、電子デバイスはまず、テンプレート８５２における複数の線上の第１のマーカ群に対応するピクセルを取得画像から選択する。次に、選択されたピクセルごとに、電子デバイスは、選択されたピクセルを中心とした、近傍正方形又は近傍円形等の近傍領域に配置される１つ又は複数の近傍ピクセルを選択し、近傍領域内の選択されたピクセルは、図６の動きトレイルテンプレート６４０内の１つ又は複数のトレイル上にある。例えば、電子デバイスは、１つ又は複数のトレイル上にあるとともに、２１×２１ピクセルの近傍正方形領域内にあるピクセルを選択する。幾つかの実施形態では、電子デバイスは、近傍ピクセルを使用して、線上のピクセルごとに１つ又は複数の統計値を計算する。例えば、電子デバイスは、マーカ領域内にあるピクセルの平均値（ｂｒｉｇｈｔ＿ｍｅａｎ）、翼領域内にあるピクセルの平均値（ｄａｒｋ＿ｍｅａｎ）、マーカ領域内にあるピクセルの変動値（ｂｒｉｇｈｔ＿ｖａｒ）（標準偏差、平均絶対偏差、メジアン絶対偏差、又は最大絶対偏差等）、及び／又は翼領域内にあるピクセルの変動値（ｄａｒｋ＿ｖａｒ）を計算する。幾つかの実施形態では、１つ又は複数の計算された統計値は、対応する所定の閾値と比較される。一例では、特定の線上の特定の選択されたピクセルについて、ｂｒｉｇｈｔ＿ｍｅａｎ値が所定の閾値である１０よりも大きく、ｄａｒｋ＿ｍｅａｎ値が所定の閾値である５０よりも小さく、ｂｒｉｇｈｔ＿ｖａｒ値が所定の閾値である７０よりも小さく、且つｄａｒｋ＿ｖａｒ値が所定の閾値である７０よりも小さい場合、この特定の選択されたピクセルが取得画像において妨害物（例えば、翼３００）上に存在すると判断される。幾つかの実施形態では、特定の線上のピクセルの少なくとも１／３が、各閾値を満たす統計値を有する場合、妨害物（例えば、翼３００）が取得画像においてこの線に対応する位置にあると判断される。
【0073】
テンプレート８５２において複数の線のうちの任意の線上の第１のマーカ群に対応する１つ又は複数の収集されたピクセルのピクセル値が、上述したような所定の基準を満たさないとの判断に従って（９０６−いいえ）、電子デバイスは、取得画像内の妨害物、例えば翼３００の画像を含まないと判断する（９０８）。
【0074】
テンプレート８５２において１つ又は複数の線上の第１のマーカ群に対応する１つ又は複数の収集されたピクセルのピクセル値が、上述したような所定の基準を満たすとの判断に従って（９０６−はい）、電子デバイスは、妨害物、例えば翼３００の少なくとも一部が、取得画像内の１つ又は複数の線のそれぞれに対応する１つ又は複数の位置に現れることを識別する（９１０）。
【0075】
幾つかの実施形態では、電子デバイスは、取得画像が長時間露出画像であるか、それとも短時間露出画像であるかを更に判断する（９１２）。幾つかの実施形態では、電子デバイスは、妨害物、例えば翼３００の少なくとも一部が、テンプレート８５２において所定のエリアを覆っているか否かを判断する。例えば、電子デバイスは、妨害物の一部がテンプレート８５２において全ての線の少なくとも２／３を覆っているか否かを判断する。電子デバイスにより、ステップ９０６の結果から、翼３００の一部が取得画像内の全ての線の２／３未満に存在すると判断される場合、電子デバイスは、取得画像が短時間露出画像であると判断する（９１２−短時間露出）。幾つかの実施形態では、電子デバイスは、１つ又は複数の識別された回転角における妨害物に対応するエリアをなくす（９１４）。例えば、ステップ９０６において１つ又は複数の線上にあると判断された翼３００の部分はなくなり、それにより、翼３００のその部分は、移動体環境内の障害物又は標的として誤検出されない。
【0076】
電子デバイスにより、ステップ９０６の結果から、翼３００の一部が取得画像内の全ての線の２／３以上に存在すると判断される場合、電子デバイスは、取得画像が長時間露出画像であると判断する（９１２−長時間露出）。翼３００のモーションブラーが長時間露出画像において生じ得る。長時間露出画像における幾つかの識別された翼領域は、移動体環境において物体（例えば、障害物又は標的）を妨げないことがある。したがって、識別された翼領域に対応する画像情報の全てをなくす必要があるわけではない。
【0077】
幾つかの実施形態では、電子デバイスは、任意の適する画像処理技法を使用して、長時間露出画像におけるブラー領域及び鮮鋭領域を識別する（９１６）。幾つかの実施形態では、電子デバイスは、識別された鮮鋭領域内のピクセルをなくし（９１８）、識別されたブラー領域内のピクセルを保持する（９１８）。幾つかの代替の実施形態では、電子デバイスは、妨害物上のマーカ（ストライプ）、例えば、翼３００上のストライプに対応するピクセルをなくし、更に画像処理するために、取得された長時間露出画像において残りのピクセルを保持する。
【0078】
幾つかの実施形態では、上述した方法への代替として又は組み合わせて、機械学習の使用を含む他の方法を使用して、画像処理を実行することができる。例えば、１つ又は複数の投影位置における妨害物を含む複数の画像はまず、手動で及び／又は自動的にマークされる。マークされた画像はアルゴリズムに供給されて、機械学習モデルをトレーニングする。トレーニングされたモデルを使用して、入力される取得画像内の妨害物を検出するステップができる。
【0079】
図１０Ａ〜図１０Ｆは、幾つかの実施形態による、移動体１０２の画像処理をサポートする方法１０００を示す流れ図である。方法１０００は、デバイスにおいて、例えば、移動体１０２、撮像センサ１２０、画像デバイス２１６、制御ユニット１０８、及び／又は計算デバイス１１０において実行される。幾つかの実施形態では、妨害物は、移動体のプロペラ３００（例えば、プロペラ翼）、移動体のアーム、移動体の着陸装置、又は撮像センサ１２０及び／又は撮像デバイス２１６を部分的又は完全に遮る可能性がある移動体の任意の他の構成要素を含む。
【0080】
デバイスは、１つ又は複数の画像を取得する（１００２）。１つ又は複数の画像は、移動体１０２により支持される撮像デバイス（例えば、撮像センサ１２０又は撮像デバイス２１６）により取得される。撮像デバイスは、移動体１０２に取り付けられた妨害物（又は妨害物の遮蔽面）、例えば、プロペラ翼３００により少なくとも部分的に遮られる。幾つかの実施形態では、撮像デバイス、例えば撮像センサ１２０は、移動体１０２に固定して取り付けられ（１００８）、したがって、撮像センサ１２０と、特定の位置まで回転するプロペラ翼３００との間の相対位置は、一定である。幾つかの代替の実施形態では、撮像デバイス、例えば撮像デバイス２１６は、支持機構１０４により支持され、支持機構１０４に取り付けられた１つ又は複数のセンサを使用して、撮像デバイス２１６の位置情報を特定することができる。
【0081】
幾つかの実施形態では、妨害物は、移動体１０２の運動を提供するプロペラシステムの翼３００の少なくとも一部を含む（１０１０）。幾つかの実施形態では、妨害物は、移動体１０２の撮像デバイスに対向する妨害物の遮蔽面、例えば、下面に分布する複数のマーカ（例えば、ストライプ３０２、３０４、３０６、及び３０８、図３）を含む（１０１２）。幾つかの実施形態では、複数のマーカの各マーカは、反射性材料で作られる（１０１４）。幾つかの実施形態では、移動体１０２は、図４Ｂに示されるように、翼３００上の１つ又は複数の反射性マーカを照明する（１０１６）ように構成された照明源を含む。
【0082】
図３に示されるように、幾つかの実施形態では、各マーカは、複数の同心円の各同心円上の弧ストライプである（１０１８）。複数の同心円は共通中心軸を有し、翼３００は、共通中心軸の回りを回転する。幾つかの実施形態では、複数のマーカは、異なる幅を有する複数のストライプ群を含む（１０２０）。例えば、第１のストライプ群（例えば、３０４、３０８、図３）の各ストライプは第１の幅を有し、第２のストライプ群（例えば、３０２、３０６、図３）の各ストライプは、第１の幅の１．５〜２．５倍の第２の幅を有する。幾つかの実施形態では、複数のストライプ群は、図３に示されるように、翼３００の外縁部の近くに交互に分布する。幾つかの実施形態では、各ストライプ群は３〜５本のストライプを含む（１０２２）。
【0083】
デバイスは、テンプレート（例えば、方法５００及び７００を使用して特定されるテンプレート８５２）を１つ又は複数の取得画像に適用して、１つ又は複数の取得画像内の妨害物、例えばプロペラ翼３００の１つ又は複数の投影位置を取得する（１００４）。幾つかの実施形態では、テンプレート８５２は、妨害物の回転運動中の妨害物（例えば、プロペラ翼３００）の少なくとも一部の１つ又は複数の投影位置を表すパターンを含む（１０２４）。例えば、テンプレート８５２（図８）は、回転運動中の妨害物（例えば、プロペラ翼３００）の１つ又は複数の投影位置をそれぞれ表す、線（例えば、線８２２、８２４、８２６、８２８、及び８３０、図８）等の点の１つ又は複数の集まりを含む（１０２６）。幾つかの実施形態では、各線には、対応する投影位置の回転各が関連付けられる。幾つかの他の実施形態では、テンプレート８５２は、妨害物の１つ又は複数の投影位置を表す、ドット又は多角形等の他のマーカを含む。
【0084】
幾つかの実施形態では、テンプレート８５２（図８）内の１つ又は複数の線の各線は、プロペラ翼３００等の妨害物の遮蔽面の長手方向対称軸である（１０３０）。幾つかの実施形態では、テンプレート８５２は、１つ又は複数の線上に分布する第１のマーカ群（例えば、マーカ８３１、８３２、８３３、画像８１２、図８）を含む（１０３２）（例えば、線８２２、画像８１２、図８）。幾つかの実施形態では、各線、例えば線８２２上に分布するマーカは、プロペラ翼３００上のストライプの中心にある第１の組のマーカ、例えばマーカ８３２及び８３３を含む（１０３２）。線８２２上に分布するマーカは、プロペラ翼３００上の２つの隣接するストライプ間の間隔、すなわち翼領域の中心にある第２の組のマーカ、例えば、マーカ８３１も含む（１０３２）。
【0085】
幾つかの実施形態では、テンプレート８５２は、動きトレイルテンプレート６４０（図６）からのトレイル（例えば、トレイル８５８、図８）上に分布する第２のマーカ群（例えば、図８のマーカ８６０）を更に含む（１０３４）。動きトレイルテンプレート６４０は、プロペラ翼３００の回転運動中のプロペラ翼３００上のストライプの運動を示すトレイルを含む。幾つかの実施形態では、各トレイル上の第２のマーカ群内のマーカ数は、２００〜４００の範囲である。
【0086】
デバイスは、ステップ１００２において取得される１つ又は複数の画像内の１つ又は複数の投影位置における妨害物（例えば、プロペラ翼３００）の遮蔽面の少なくとも一部を検出する（１００６）。幾つかの実施形態では、デバイスは、プロペラ翼３００の少なくとも一部が特定の画像内の１つ又は複数の線（例えば、線８２２、８２４、８２６、８２８、及び８３０、図８）上にあるか否かを判断する（１０２８）。
【0087】
幾つかの実施形態では、デバイスは、テンプレート８５２における第１のマーカ群及び第２のマーカ群に対応する、取得された特定の画像内のピクセルを収集する（１０３６）。テンプレート８５２を使用することにより、第１のマーカ群及び第２のマーカ群に対応する取得画像内のピクセルのみが考慮されるべきである。これは、取得画像内の各ピクセルを調べる必要がないため、デバイスの計算作業負荷を低減し、画像処理の効率を改善することができる。
【0088】
デバイスは、各線上の第１のマーカ群に対応する収集ピクセルのピクセル値が所定の基準を満たすか否かを判断する（１０３８）。例えば、デバイスは、取得画像内の収集ピクセルのピクセル値を、テンプレート８５２の作成のための画像から得られた対応するピクセル（例えば、参照ピクセル）のピクセル値（例えば、参照ピクセル値）と比較する（１０４２）。デバイスは、差を所定の閾値と比較する。
【0089】
幾つかの実施形態では、特定の線上のピクセルごとに、テンプレート８５２における第２のマーカ群に対応する複数の近傍ピクセルを識別する。デバイスは、収集ピクセルのピクセル値の１つ又は複数の統計値を計算する（１０４４）。例えば、デバイスは、線上の各ピクセルの近傍ピクセルに基づいて１つ又は複数の統計値を計算する。例えば、特定の線上の特定のピクセルについて、ストライプ領域（例えば、明るい色を有する）内の全ての近傍ピクセルの平均値、翼領域（例えば、暗い色を有する）内の全ての近傍ピクセルの平均値、ストライプ領域内の全ての近傍ピクセルの変動値、及び翼領域内の全ての近傍ピクセルの変動値が計算される。デバイスは、１つ又は複数の統計値を１つ又は複数の所定の閾値（図９を参照して方法９００において考察される）と比較する（１０４６）。
【0090】
第１の線に対応する収集ピクセルのピクセル値が所定の基準を満たすとの判断に従って、デバイスは、妨害物（例えば、プロペラ翼３００）が、処理中の取得画像内の第１の線に関連する第１の回転角に存在することを識別する（１０４０）。
【0091】
幾つかの実施形態では、デバイスは、所定の基準を満たし、且つ第１の線上に分布するピクセルの総数が所定の閾値数よりも大きいか否かを更に判断する（１０４８）。例えば、デバイスは、第１の線上の全てのピクセルの１／３超が所定の基準を満たすか否かを判断する。第１の線上に分布するピクセルの総数が所定の閾値数よりも大きいとの判断に従って、デバイスは、プロペラ翼３００が、第１の画像内の第１の線に関連する第１の回転角に存在することを識別する（１０５０）。
【0092】
幾つかの実施形態では、デバイスは、取得された第１の画像の露出の種類を更に識別する（１０５２）。例えば、デバイスは、妨害物（例えば、プロペラ翼３００）の遮蔽面が、第１の画像内で所定数を超える数の角度（線に対応する）に存在すると識別されるか否かを判断する（１０５６）。一例では、デバイスは、プロペラ翼３００の少なくとも一部が、第１の画像内の全ての線の２／３以上に存在すると識別されるか否かを判断する。次に、デバイスは、識別された露出の種類に従って第１の画像を処理する（１０５４）。
【0093】
プロペラ翼３００の少なくとも一部が、第１の画像内の全ての線の２／３未満に存在すると識別される場合、第１の画像は短時間露出画像であると識別される。第１の画像が短時間露出画像であるとの判断に従って、デバイスは、１つ又は複数の識別された回転角（線に対応する）におけるプロペラ翼３００に対応する第１の画像内のエリアをなくす（１０５８）。
【0094】
プロペラ翼３００の少なくとも一部が、第１の画像内の全ての線の２／３以上に存在すると識別される場合、第１の画像は長時間露出画像であると識別される。第１の画像が長時間露出画像であるとの判断に従って、デバイスは、識別された回転角（線に対応する）におけるプロペラ翼３００上のストライプに対応する第１の画像内のエリアをなくす（１０６０）。
【0095】
幾つかの実施形態では、第１の画像が長時間露出画像であるとの判断（１０６２）に従って、デバイスは、第１の画像におけるプロペラ翼３００のブラー領域及び鮮鋭領域を更に識別する（１０６４）。次に、デバイスは、プロペラ翼３００の識別された鮮鋭領域におけるピクセルをなくす（１０６６）。デバイスは、プロペラ翼３００の識別されたブラー領域内のピクセルを保持する（１０６８）。
【0096】
図１１Ａ〜図１１Ｃは、幾つかの実施形態による、移動体１０２を制御する方法１１００を示す流れ図である。方法１１００は、デバイスにおいて、例えば、移動体１０２、撮像センサ１２０、撮像デバイス２１６、制御ユニット１０８、及び／又は計算デバイス１１０において実行される。
【0097】
デバイスは１つ又は複数の画像を取得する（１１０２）。１つ又は複数の画像は、移動体１０２により支持される撮像デバイス（例えば、撮像センサ１２０又は撮像デバイス２１６）により取得される。撮像デバイスは、移動体１０２に取り付けられた妨害物、例えば、プロペラ翼３００により少なくとも部分的に遮られる。幾つかの実施形態では、妨害物は、移動体１０２の運動を提供するプロペラシステムの翼３００の少なくとも一部を含む（１１０８）。幾つかの実施形態では、翼３００は、移動体１０２の撮像デバイスに対向する翼３００の下面に分布する複数の反射性ストライプ（例えば、ストライプ３０２、３０４、３０６、及び３０８、図３）を含む（１１１０）。幾つかの実施形態では、移動体１０２は、図４Ｂに示されるように、翼３００上の１つ又は複数の反射性ストライプを照明するように構成された照明源を含む。
【0098】
デバイスは、取得された１つ又は複数の画像に投影された妨害物（例えば、プロペラ翼３００）の少なくとも一部を検出する（１１０４）。幾つかの実施形態では、デバイスは、テンプレート（例えば、テンプレート８５２、図８）を１つ又は複数の画像に適用して、取得された１つ又は複数の画像内のプロペラ翼３００の１つ又は複数の投影位置を取得する（１１１２）。幾つかの実施形態では、テンプレートは、回転運動中のプロペラ翼３００の１つ又は複数の投影位置をそれぞれ表す１つ又は複数の線（例えば、線８２２、８２４、８２６、８２８、及び８３０、図８）を含む（１１１４）。各線は対応する投影位置の回転角に関連する。幾つかの実施形態では、テンプレートは、１つ又は複数の線（例えば、線８２２、画像８１２、図８）上に分布する第１のマーカ群（例えば、画像８１２のマーカ８３１、８３２、及び８３３、図８）を含む（１１１６）。テンプレートは、動きトレイルテンプレート６４０（図６）から得られる動きトレイル（例えば、トレイル８５８、図８）上に分布する第２のマーカ群（例えば、マーカ８６０、画像８５２、図８）及びを更に含む（１１１６）。動きトレイルテンプレート６４０は、翼３００の回転運動中の翼３００上の反射性ストライプの動きトレイルに対応する複数のトレイル（例えば、トレイル６４２、６４４、図６）を含む。
【0099】
デバイスは、投影された妨害物（例えば、プロペラ翼３００）を有する１つ又は複数の取得画像を処理して、移動体１０２の動作を支援する（１１０６）。幾つかの実施形態では、移動体１０２の動作は、障害物回避、ナビゲーション及び方位特定、画像の取得及び処理、及び／又は標的追尾を含むが、これに限定されない。
【0100】
幾つかの実施形態では、デバイスは、テンプレート８５２内の第１のマーカ群及び第２のマーカ群に対応する特定の取得画像（例えば、第１の画像）内のピクセルを収集する（１１１８）。次に、デバイスは、各線上の第１のマーカ群に対応する、収集されたピクセルのピクセル値が所定の基準を満たすか否かを判断する（１１２０）。例えば、デバイスは、取得画像内の収集ピクセルのピクセル値を、テンプレート８５２を作成するための画像から得られた対応するピクセルのピクセル値と比較する。デバイスは、差を所定の閾値と比較する。別の例では、特定の線上のピクセルごとに、テンプレート８５２内の第２のマーカ群に対応する複数の近傍ピクセルが識別される。デバイスは、収集されたピクセルのピクセル値の１つ又は複数の統計値を計算し、１つ又は複数の統計値を１つ又は複数の所定の閾値と比較する（図９を参照して方法９００において考察したように）。
【0101】
第１の線に対応する収集ピクセルのピクセル値が所定の基準を満たすとの判断に従って、デバイスは、妨害物（例えば、プロペラ翼３００）が第１の画像内の第１の線に関連する第１の回転角に存在することを識別する（１１２２）。
【0102】
幾つかの実施形態では、投影された妨害物を有する１つ又は複数の画像を処理して、移動体の動作を支援すること（例えば、１１０６）は、１つ又は複数の画像に投影された妨害物（例えば、プロペラ翼３００）の少なくとも一部をなくすこと含む（１１２４）。幾つかの実施形態では、デバイスは、取得された第１の画像の露出の種類を識別する（１１２６）。例えば、デバイスは、プロペラ翼３００が第１の画像内の所定数を超える数の角度（線に対応する）に存在すると識別されるか否かを判断する。一例では、デバイスは、プロペラ翼３００の少なくとも一部が、第１の画像内の全ての線の２／３以上に存在すると識別されるか否かを判断する。幾つかの実施形態では、プロペラ翼３００の少なくとも一部が第１の画像内の全ての線の２／３未満に存在すると識別される場合、第１の画像は短時間露出画像であると識別される。他方、プロペラ翼３００の少なくとも一部が第１の画像内の全ての線の２／３以上に存在すると識別される場合、第１の画像は長時間露出画像であると識別される。
【0103】
幾つかの実施形態では、１つ又は複数の画像のうちの第１の画像が短時間露出画像であるとの判断に従って、デバイスは、１つ又は複数の検出位置におけるプロペラ翼３００に対応する第１の画像内のピクセルをなくす（１１２８）。
【0104】
第１の画像が長時間露出画像であるとの判断に従って、デバイスは、検出位置におけるプロペラ翼３００上の反射性ストライプに対応する第１の画像内のエリアをなくす（１１３０）。
【0105】
幾つかの実施形態では、長時間露出画像に関して、デバイスは、第１の画像内のプロペラ翼３００の１つ又は複数のブラー領域及び１つ又は複数の鮮鋭領域を更に識別する。次に、デバイスは、プロペラ翼３００の識別された鮮鋭領域内のピクセルをなくす。デバイスは、プロペラ翼３００の識別されたブラー領域内のピクセルを保持する。
【0106】
本発明の多くの特徴は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせで、これ（ら）を使用して、又はこれ（ら）を用いて実行することができる。したがって、本発明の特徴は処理システムを使用して実装し得る。例示的な処理システム（例えば、プロセッサ２０２）としては、限定ではなく、１つ又は複数の汎用マイクロプロセッサ（例えば、シングルコア又はマルチコアプロセッサ）、特定用途向け集積回路、特定用途向け命令セットプロセッサ、フィールドプログラマブルゲートアレイ、グラフィックスプロセッサ、物理プロセッサ、デジタル信号プロセッサ、コプロセッサ、ネットワークプロセッサ、オーディオプロセッサ、及び暗号プロセッサ等が挙げられる。
【0107】
本発明の特徴は、本明細書に提示される任意の特徴を実行するように処理システムをプログラムするのに使用することができる命令を記憶した、記憶媒体（メディア）又はコンピュータ可読記憶媒体（メディア）等のコンピュータプログラム製品において、コンピュータプログラム製品を使用して、又はコンピュータプログラム製品を用いて実装することができる。ソフトウェア媒体（例えば、メモリ２０４）は、限定ではなく、フロッピーディスク、光ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、マイクロドライブ、磁気光学ディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、ＤＤＲ ＲＡＭ、フラッシュメモリデバイス、磁気若しくは光学カード、ナノシステム（分子メモリＩＣを含む）、又は命令及び／又はデータの記憶に適する任意のタイプの媒体若しくはデバイスを含む任意のタイプのディスクを含むことができる。
【0108】
機械可読媒体（メディア）のいずれか１つに記憶されて、本発明の特徴は、処理システムのハードウェアを制御し、処理システムが本発明の結果を利用して他のメカニズムと対話できるようにするソフトウェア及び／又はファームウェアに組み込むことができる。そのようなソフトウェア又はファームウェアは、アプリケーションコード、デバイスドライバ、オペレーティングシステム、及び実行環境／容器を含み得るが、これに限定されない。
【0109】
本明細書で言及される通信システム（例えば、通信システム２０６）は任意選択的に、有線及び／又は無線通信接続を介して通信する。例えば、通信システムは任意選択的に、電磁信号とも呼ばれるＲＦ信号を送受信する。通信システムのＲＦ回路は、電気信号と電磁信号との変換を行い、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。ＲＦ回路は任意選択的に、アンテナシステム、ＲＦ送受信器、１つ又は複数の増幅器、チューナー、１つ又は複数の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、介入者識別モジュール（ＳＩＭ）カード、及びメモリ等を含むがこれに限定されない、これらの特徴を実行する周知の回路を含む。通信システムは任意選択的に、ワールドワイドウェブ（ＷＷＷ）とも呼ばれるインターネット、イントラネット、及び／又はセルラ電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）、及び／又は大都市圏ネットワーク（ＭＡＮ）等の無線ネットワーク等のネットワークと通信するとともに、無線通信により他のデバイスと通信する。無線通信接続は任意選択的に、移動通信用グローバルシステム（ＧＳＭ（登録商標））、エンハンストデータＧＳＭ環境（ＥＤＧＥ）、高速下りリンクパケットアクセス（ＨＳＤＰＡ）、高速上りリンクパケットアクセス（ＨＳＵＰＡ）、エボリューション、データオンリー（ＥＶ−ＤＯ）、ＨＳＰＡ、ＨＳＰＡ＋、デュアルセルＨＳＰＡ（ＤＣ−ＨＳＰＤＡ）、ロングタームエボリューション（ＬＴＥ）、近距離通信（ＮＦＣ）、広帯域符号分割多元アクセス（Ｗ−ＣＤＭＡ）、符号分割多元アクセス（ＣＤＭＡ）、時分割多元アクセス（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ワイヤレスフィーディリティ（Ｗｉ−Ｆｉ）（例えば、ＩＥＥＥ１０２．１１ａ、ＩＥＥＥ１０２．１１ａｃ、ＩＥＥＥ１０２．１１ａｘ、ＩＥＥＥ１０２．１１ｂ、ＩＥＥＥ１０２．１１ｇ、及び／又はＩＥＥＥ１０２．１１ｎ）、ボイスオーバインターネットプロトコル（ＶｏＩＰ）、Ｗｉ−ＭＡＸ、電子メール用プロトコル（例えば、インターネットメッセージアクセスプロトコル（ＩＭＡＰ）及び／又はポストオフィスプロトコル（ＰＯＰ））、インスタントメッセージング（例えば、拡張可能メッセージング及びプレゼンスプロトコル（ＸＭＰＰ）、拡張を利用したインスタントメッセージング及びプレゼンスのためのＳＩＰ（ＳＩＭＰＬＥ）、インスタントメッセージング及びプレゼンスサービス（ＩＭＰＳ）、及び／又はショートメッセージサービス（ＳＭＳ）、ＦＡＳＳＴ又はＤＥＳＳＴ等の拡散スペクトル技術、又は本文書の出願日時点ではまだ開発されていない通信プログラムを含む任意の他の適する通信プロトコルを含むがこれに限定されない複数の通信規格、プロトコル、及び技術のいずれかを使用する。
【0110】
本発明の様々な実施形態について上述したが、実施形態が限定ではなく例として提示されたことを理解されたい。本発明の趣旨及び範囲から逸脱せずに、形態及び詳細に様々な変更を行うことができることが当業者には明白であろう。
【0111】
本発明について、指定された機能の実行及びその関係を示す機能構築ブロックを用いて上述した。これらの機能構築ブロックの境界は多くの場合、説明の便宜のために本明細書において任意に定義された。指定された機能及びその関係が適宜実行される限り、代替の境界を定義することができる。したがって、任意のそのような代替の境界も本発明の範囲及び趣旨内にある。
【0112】
本明細書に記載される様々な実施形態の説明に使用される用語は、特定の実施形態を説明することのみを目的としており、限定を意図しない。記載される様々な実施形態及び添付の特許請求の範囲の説明に使用される場合、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈により明らかに別のことが示される場合を除き、複数形も同様に含むことが意図される。本明細書において使用される用語「及び／又は」が、関連する列挙された項目のうちの１つ又は複数の可能なありとあらゆる組み合わせを指し、可能なありとあらゆる組み合わせを包含することも理解されよう。「含む」、「含んでいる」、「備える」、及び／又は「備えている」という用語は、本明細書で使用される場合、述べられた特徴、完全体、ステップ、動作、要素、及び／又は構成要素の存在を指定するが、１つ又は複数の他の特徴、完全体、ステップ、動作、要素、構成要素、及び／又はそれらの群の存在又は追加を除外しないことが更に理解されよう。
【0113】
本明細書で使用される場合、「場合」という用語は、状況に応じて、述べられた先行条件が真である「とき」、真である「と」、真であるとの「判断に応答して」、真であるとの「判断に従って」、又は真であることの「検出に応答して」を意味するものと解釈し得る。同様に、「［述べられた先行条件が真である］と判断される場合」、「［述べられた先行条件が真である］場合」、又は「［述べられた先行条件が真である］とき」という語句は、状況に応じて、述べられた先行条件が真であると「判断されると」、真であるとの「判断に応答して」、真であるとの「判断に従って」、真であることが「検出されると」、又は真であることの「検出に応答して」を意味するものとして解釈し得る。
【0114】
本発明の上記説明は、例示及び説明のために提供された。網羅的である、すなわち、開示される厳密な形態に本発明を限定することは意図されない。本発明の幅及び範囲は、上述された例示的な実施形態にいずれによっても限定されるべきではない。当業者は多くの変更及び変形を思い付くであろう。変更及び変形は、開示される特徴のあらゆる妥当な組み合わせを含む。実施形態は、本発明の原理及びその実際用途を最良に説明し、それにより、当業者が様々な実施形態について、及び意図される特定の用途に適する様々な変更を伴って本発明を理解できるように選ばれ説明された。本発明の範囲は、以下の特許請求の範囲及びその均等物により規定されることが意図される。［項目１］
移動体の画像処理をサポートする方法であって、
移動体により支持される撮像デバイスにより取得される１つ又は複数の画像を取得するステップであって、上記撮像デバイスは、上記移動体に取り付けられた妨害物により少なくとも部分的に遮られる、取得ステップと、
テンプレートを上記１つ又は複数の画像に適用するステップであって、それにより、上記１つ又は複数の画像内の上記妨害物の１つ又は複数の投影位置を取得する、適用ステップと、
上記１つ又は複数の画像内の上記１つ又は複数の投影位置において上記妨害物の少なくとも一部を検出ステップと
を含む、方法。
［項目２］
上記妨害物は、上記移動体の運動を提供するプロペラシステムの翼の少なくとも一部を含む、項目１に記載の方法。
［項目３］
上記翼は、上記撮像デバイスに対向する上記翼の下面に分布する複数のマーカを含む、項目２に記載の方法。
［項目４］
上記複数のマーカの各マーカは反射性材料で作られる、項目３に記載の方法。
［項目５］
上記移動体に搭載される照明源を使用して上記翼上の上記１つ又は複数のマーカを照明すること
を更に含む、項目４に記載の方法。
［項目６］
各マーカは、共通の中心軸を有する複数の同心円の各同心円上の弧ストライプであり、上記翼は、上記中心軸の回りを回転する、項目３に記載の方法。
［項目７］
上記複数のマーカは、上記翼の外縁部の近くに交互に分布する、異なる幅を有する複数のストライプ群を含む、項目６に記載の方法。
［項目８］
上記ストライプ群のそれぞれは３〜５本のストライプを含む、項目７に記載の方法。
［項目９］
上記テンプレートは、上記妨害物の回転運動中の上記妨害物の少なくとも一部の１つ又は複数の投影位置を表すパターンを含む、項目１に記載の方法。
［項目１０］
上記パターンは、上記回転運動中の上記妨害物の上記１つ又は複数の投影位置をそれぞれ表す１つ又は複数の線を含み、各線は対応する投影位置の回転角に関連する、項目９に記載の方法。
［項目１１］
上記１つ又は複数の取得画像のうちの第１の画像内の上記１つ又は複数の投影位置において上記妨害物の少なくとも一部を検出するステップは、
上記妨害物の少なくとも一部が上記第１の画像内の上記１つ又は複数の線上にあるか否かを判断すること
を含む、項目１０に記載の方法。
［項目１２］
上記１つ又は複数の線の各線は、上記妨害物の長手方向対称軸である、項目１０に記載の方法。
［項目１３］
上記テンプレートは、上記１つ又は複数の線上に分布する第１の群のマーカを含み、各線上に分布するマーカは、上記妨害物上のストライプの中心に配置された第１の組のマーカ及び上記妨害物上の２つの隣接するストライプの間隔の中心に配置された第２の組のマーカを含む、項目１０に記載の方法。
［項目１４］
上記テンプレートは、上記妨害物の上記回転運動中の上記妨害物上の上記ストライプの運動経路上に分布する第２の群のマーカを更に含む、項目１３に記載の方法。
［項目１５］
上記テンプレートにおける上記第１の群のマーカ及び上記第２の群のマーカに対応する上記第１の画像のピクセルを収集するステップと、
各線に対応する上記収集されたピクセルのピクセル値が所定の基準を満たすか否かを判断するステップと、
第１の線に対応する上記収集ピクセルの上記ピクセル値が上記所定の基準を満たすとの判断に従って、上記妨害物が、上記第１の画像において上記第１の線に関連する第１の回転角に存在することを識別するステップと
を更に含む、項目１４に記載の方法。
［項目１６］
上記第１の画像における上記収集ピクセルのピクセル値を上記テンプレート内の対応する参照ピクセルの参照ピクセル値と比較するステップ
を更に含む、項目１５に記載の方法。
［項目１７］
上記収集ピクセルの上記ピクセル値の統計値を計算するステップと、
上記計算された統計値を所定の閾値と比較するステップと
を更に含む、項目１５に記載の方法。
［項目１８］
上記所定の基準を満たし、上記第１の線上に分布するピクセルの総数が所定の閾値数よりも大きいか否かを判断するステップと、
上記第１の線上に分布するピクセルの総数が上記所定の閾値数よりも大きいとの判断に従って、上記妨害物が、上記第１の画像において上記第１の線に関連する第１の回転角に存在することを識別するステップと
を更に含む、項目１５に記載の方法。
［項目１９］
上記第１の画像の露出の種類を識別するステップと、
上記識別された露出の種類に従って上記第１の画像を処理するステップと
を更に含む、項目１５に記載の方法。
［項目２０］
上記第１の画像の上記露出の種類を識別することは、
上記妨害物が、上記第１の画像内の所定の数の角度よりも多くの角度において存在すると識別されるか否かを判断するステップ
を含む、項目１９に記載の方法。
［項目２１］
上記第１の画像を処理するステップは、
上記第１の画像が短時間露出画像であるとの判断に従って、１つ又は複数の識別された回転角における上記妨害物に対応する第１の画像におけるエリアをなくすこと
を含む、項目１９に記載の方法。
［項目２２］
上記第１の画像を処理するステップは、
上記第１の画像が長時間露出画像であるとの判断に従って、上記識別された回転角における上記妨害物上のストライプに対応する上記第１の画像におけるエリアをなくすこと
を含む、項目１９に記載の方法。
［項目２３］
上記第１の画像を処理するステップは、
上記第１の画像が長時間露出画像であるとの判断に従って、
上記第１の画像における上記妨害物のブラー領域及び鮮鋭領域を識別するステップと、
上記妨害物の上記鮮鋭領域におけるピクセルをなくすステップと、
上記妨害物の上記ブラー領域におけるピクセルを保持するステップと
を含む、項目１９に記載の方法。
［項目２４］
上記撮像デバイスは上記移動体に固定して搭載される、項目１に記載の方法。
［項目２５］
移動体を制御するシステムであって、
上記撮像デバイスに結合される１つ又は複数のプロセッサと、
メモリと、
１つ又は複数のプログラムであって、上記メモリに記憶され、上記１つ又は複数のプロセッサにより実行される１つ又は複数のプログラムと
を備え、
上記１つ又は複数のプログラムは、
移動体により支持される撮像デバイスにより取得される１つ又は複数の画像を取得する命令であって、上記撮像デバイスは、上記移動体に取り付けられた妨害物により少なくとも部分的に遮られる、取得する命令と、
テンプレートを上記１つ又は複数の画像に適用する命令であって、それにより、上記１つ又は複数の画像内の上記妨害物の１つ又は複数の投影位置を取得する、適用する命令と、
上記１つ又は複数の画像内の上記１つ又は複数の投影位置において上記妨害物の少なくとも一部を検出する命令と
を含む、システム。
［項目２６］
上記妨害物は、上記移動体の運動を提供するプロペラシステムの翼の少なくとも一部を含む、項目２５に記載のシステム。
［項目２７］
上記翼は、上記撮像デバイスに対向する上記翼の下面に分布する複数のマーカを含む、項目２６に記載のシステム。
［項目２８］
上記複数のマーカの各マーカは反射性材料で作られる、項目２７に記載のシステム。
［項目２９］
上記１つ又は複数のプログラムは、上記移動体に搭載される照明源を使用して上記翼上の上記１つ又は複数のマーカを照明する命令を更に含む、項目２８に記載のシステム。
［項目３０］
各マーカは、共通の中心軸を有する複数の同心円の各同心円上の弧ストライプであり、上記翼は、上記中心軸の回りを回転する、項目２７に記載のシステム。
［項目３１］
上記複数のマーカは、上記翼の外縁部の近くに交互に分布する、異なる幅を有する複数のストライプ群を含む、項目３０に記載のシステム。
［項目３２］
上記ストライプ群のそれぞれは３〜５本のストライプを含む、項目３１に記載のシステム。
［項目３３］
上記テンプレートは、上記妨害物の回転運動中の上記妨害物の少なくとも一部の１つ又は複数の投影位置を表すパターンを含む、項目２５に記載のシステム。
［項目３４］
上記パターンは、上記回転運動中の上記妨害物の上記１つ又は複数の投影位置をそれぞれ表す１つ又は複数の線を含み、各線は対応する投影位置の回転角に関連する、項目３３に記載のシステム。
［項目３５］
上記１つ又は複数の取得画像のうちの第１の画像内の上記１つ又は複数の投影位置において上記妨害物の少なくとも一部を検出するステップは、
上記妨害物の少なくとも一部が上記第１の画像内の上記１つ又は複数の線上にあるか否かを判断すること
を含む、項目３４に記載のシステム。
［項目３６］
上記１つ又は複数の線の各線は、上記妨害物の長手方向対称軸である、項目３４に記載のシステム。
［項目３７］
上記テンプレートは、上記１つ又は複数の線上に分布する第１の群のマーカを含み、各線上に分布するマーカは、上記妨害物上のストライプの中心に配置された第１の組のマーカ及び上記妨害物上の２つの隣接するストライプの間隔の中心に配置された第２の組のマーカを含む、項目３４に記載のシステム。
［項目３８］
上記テンプレートは、上記妨害物の上記回転運動中の上記妨害物上の上記ストライプの運動経路上に分布する第２の群のマーカを更に含む、項目３７に記載のシステム。
［項目３９］
上記１つ又は複数のプログラムは、
上記テンプレートにおける上記第１の群のマーカ及び上記第２の群のマーカに対応する上記第１の画像のピクセルを収集する命令と、
各線に対応する上記収集されたピクセルのピクセル値が所定の基準を満たすか否かを判断する命令と、
第１の線に対応する上記収集ピクセルの上記ピクセル値が上記所定の基準を満たすとの判断に従って、上記妨害物が、上記第１の画像において上記第１の線に関連する第１の回転角に存在することを識別する命令と
項目３８に記載のシステム。
［項目４０］
上記１つ又は複数のプログラムは、
上記第１の画像における上記収集ピクセルのピクセル値を上記テンプレート内の対応する参照ピクセルの参照ピクセル値と比較する命令
を更に含む、項目３９に記載のシステム。
［項目４１］
上記１つ又は複数のプログラムは、
上記収集ピクセルの上記ピクセル値の統計値を計算する命令と、
上記計算された統計値を所定の閾値と比較する命令と
を更に含む、項目３９に記載のシステム。
［項目４２］
上記１つ又は複数のプログラムは、
上記所定の基準を満たし、上記第１の線上に分布するピクセルの総数が所定の閾値数よりも大きいか否かを判断する命令と、
上記第１の線上に分布するピクセルの総数が上記所定の閾値数よりも大きいとの判断に従って、上記妨害物が、上記第１の画像において上記第１の線に関連する第１の回転角に存在することを識別する命令と
を更に含む、項目３９に記載のシステム。
［項目４３］
上記１つ又は複数のプログラムは、
上記第１の画像の露出の種類を識別する命令と、
上記識別された露出の種類に従って上記第１の画像を処理する命令と
を更に含む、項目３９に記載のシステム。
［項目４４］
上記第１の画像の上記露出の種類を識別することは、
上記妨害物が、上記第１の画像内の所定の数の角度よりも多くの角度において存在すると識別されるか否かを判断すること
を含む、項目４３に記載のシステム。
［項目４５］
上記第１の画像を処理するステップは、
上記第１の画像が短時間露出画像であるとの判断に従って、１つ又は複数の識別された回転角における上記妨害物に対応する第１の画像におけるエリアをなくすこと
を含む、項目４３に記載のシステム。
［項目４６］
上記第１の画像を処理するステップは、
上記第１の画像が長時間露出画像であるとの判断に従って、上記識別された回転角における上記妨害物上のストライプに対応する上記第１の画像におけるエリアをなくすこと
を含む、項目４３に記載のシステム。
［項目４７］
上記第１の画像を処理するステップは、
上記第１の画像が長時間露出画像であるとの判断に従って、
上記第１の画像における上記妨害物のブラー領域及び鮮鋭領域を識別するステップと、
上記妨害物の上記鮮鋭領域におけるピクセルをなくすステップと、
上記妨害物の上記ブラー領域におけるピクセルを保持するステップと
を含む、項目４３に記載のシステム。
［項目４８］
上記撮像デバイスは上記移動体に固定して搭載される、項目２５に記載のシステム。
［項目４９］
無人機（ＵＡＶ）であって、
推進システムと、
１つ又は複数のセンサと、
画像センサ及び光学デバイスを備える撮像デバイスと、
上記推進システム、上記１つ又は複数のセンサ、及び上記撮像デバイスに結合される１つ又は複数のプロセッサと
を備え、
上記１つ又は複数のプロセッサは、
上記ＵＡＶにより支持される上記撮像デバイスにより取得される１つ又は複数の画像を取得するステップであって、上記撮像デバイスは、上記ＵＡＶに取り付けられた妨害物により少なくとも部分的に遮られる、取得ステップと、
テンプレートを上記１つ又は複数の画像に適用するステップであって、それにより、上記１つ又は複数の画像内の上記妨害物の１つ又は複数の投影位置を取得する、適用ステップと、
上記１つ又は複数の画像内の上記１つ又は複数の投影位置において上記妨害物の少なくとも一部を検出ステップと
を行う、ＵＡＶ。
［項目５０］
上記妨害物は、上記ＵＡＶの運動を提供するプロペラシステムの翼の少なくとも一部を含む、項目４９に記載のＵＡＶ。
［項目５１］
上記翼は、上記撮像デバイスに対向する上記翼の下面に分布する複数のマーカを含む、項目５０に記載のＵＡＶ。
［項目５２］
上記複数のマーカの各マーカは反射性材料で作られる、項目５１に記載のＵＡＶ。
［項目５３］
上記１つ又は複数のプロセッサは、
上記ＵＡＶに搭載される照明源を使用して上記翼上の上記１つ又は複数のマーカを照明すること
を行うように更に構成される、項目５２に記載のＵＡＶ。
［項目５４］
各マーカは、共通の中心軸を有する複数の同心円の各同心円上の弧ストライプであり、上記翼は、上記中心軸の回りを回転する、項目５１に記載のＵＡＶ。
［項目５５］
上記複数のマーカは、上記翼の外縁部の近くに交互に分布する、異なる幅を有する複数のストライプ群を含む、項目５４に記載のＵＡＶ。
［項目５６］
上記ストライプ群のそれぞれは３〜５本のストライプを含む、項目５５に記載のＵＡＶ。
［項目５７］
上記テンプレートは、上記妨害物の回転運動中の上記妨害物の少なくとも一部の１つ又は複数の投影位置を表すパターンを含む、項目４９に記載のＵＡＶ。
［項目５８］
上記パターンは、上記回転運動中の上記妨害物の上記１つ又は複数の投影位置をそれぞれ表す１つ又は複数の線を含み、各線は対応する投影位置の回転角に関連する、項目５７に記載のＵＡＶ。
［項目５９］
上記１つ又は複数の取得画像のうちの第１の画像内の上記１つ又は複数の投影位置において上記妨害物の少なくとも一部を検出するステップは、
上記妨害物の少なくとも一部が上記第１の画像内の上記１つ又は複数の線上にあるか否かを判断すること
を含む、項目５８に記載のＵＡＶ。
［項目６０］
上記１つ又は複数の線の各線は、上記妨害物の長手方向対称軸である、項目５８に記載のＵＡＶ。
［項目６１］
上記テンプレートは、上記１つ又は複数の線上に分布する第１の群のマーカを含み、各線上に分布するマーカは、上記妨害物上のストライプの中心に配置された第１の組のマーカ及び上記妨害物上の２つの隣接するストライプの間隔の中心に配置された第２の組のマーカを含む、項目５８に記載のＵＡＶ。
［項目６２］
上記テンプレートは、上記妨害物の上記回転運動中の上記妨害物上の上記ストライプの運動経路上に分布する第２の群のマーカを更に含む、項目６１に記載のＵＡＶ。
［項目６３］
上記１つ又は複数のプロセッサは、
上記テンプレートにおける上記第１の群のマーカ及び上記第２の群のマーカに対応する上記第１の画像のピクセルを収集するステップと、
各線に対応する上記収集されたピクセルのピクセル値が所定の基準を満たすか否かを判断するステップと、
第１の線に対応する上記収集ピクセルの上記ピクセル値が上記所定の基準を満たすとの判断に従って、上記妨害物が、上記第１の画像において上記第１の線に関連する第１の回転角に存在することを識別するステップと
を行うように更に構成される、項目６２に記載のＵＡＶ。
［項目６４］
上記１つ又は複数のプロセッサは、
上記第１の画像における上記収集ピクセルのピクセル値を上記テンプレート内の対応する参照ピクセルの参照ピクセル値と比較する
を行うように更に構成される、項目６３に記載のＵＡＶ。
［項目６５］
上記１つ又は複数のプロセッサは、
上記収集ピクセルの上記ピクセル値の統計値を計算するステップと、
上記計算された統計値を所定の閾値と比較するステップと
を行うように更に構成される、項目６３に記載のＵＡＶ。
［項目６６］
上記１つ又は複数のプロセッサは、
上記所定の基準を満たし、上記第１の線上に分布するピクセルの総数が所定の閾値数よりも大きいか否かを判断するステップと、
上記第１の線上に分布するピクセルの総数が上記所定の閾値数よりも大きいとの判断に従って、上記妨害物が、上記第１の画像において上記第１の線に関連する第１の回転角に存在することを識別するステップと
を行うように更に構成される、項目６３に記載のＵＡＶ。
［項目６７］
上記１つ又は複数のプロセッサは、
上記第１の画像の露出の種類を識別するステップと、
上記識別された露出の種類に従って上記第１の画像を処理するステップと
を行うように更に構成される、項目６３に記載のＵＡＶ。
［項目６８］
上記第１の画像の上記露出の種類を識別することは、
上記妨害物が、上記第１の画像内の所定の数の角度よりも多くの角度において存在すると識別されるか否かを判断すること
を含む、項目６７に記載のＵＡＶ。
［項目６９］
上記第１の画像を処理するステップは、
上記第１の画像が短時間露出画像であるとの判断に従って、１つ又は複数の識別された回転角における上記妨害物に対応する第１の画像におけるエリアをなくすこと
を含む、項目６７に記載のＵＡＶ。
［項目７０］
上記第１の画像を処理するステップは、
上記第１の画像が長時間露出画像であるとの判断に従って、上記識別された回転角における上記妨害物上のストライプに対応する上記第１の画像におけるエリアをなくすこと
を含む、項目６７に記載のＵＡＶ。
［項目７１］
上記第１の画像を処理するステップは、
上記第１の画像が長時間露出画像であるとの判断に従って、
上記第１の画像における上記妨害物のブラー領域及び鮮鋭領域を識別するステップと、
上記妨害物の上記鮮鋭領域におけるピクセルをなくすステップと、
上記妨害物の上記ブラー領域におけるピクセルを保持するステップと
を含む、項目６７に記載のＵＡＶ。
［項目７２］
上記撮像デバイスは上記ＵＡＶに固定して搭載される、項目４９に記載のＵＡＶ。
［項目７３］
１つ又は複数のプログラムを記憶するコンピュータ可読記憶媒体であって、上記１つ又は複数のプログラムは、移動体により実行されると、上記移動体に、
移動体により支持される撮像デバイスにより取得される１つ又は複数の画像を取得するステップであって、上記撮像デバイスは、上記移動体に取り付けられた妨害物により少なくとも部分的に遮られる、取得ステップと、
テンプレートを上記１つ又は複数の画像に適用するステップであって、それにより、上記１つ又は複数の画像内の上記妨害物の１つ又は複数の投影位置を取得する、適用ステップと、
上記１つ又は複数の画像内の上記１つ又は複数の投影位置において上記妨害物の少なくとも一部を検出ステップと
を行わせる、コンピュータ可読記憶媒体。
［項目７４］
移動体を制御する方法であって、
上記移動体により支持される撮像デバイスにより取得される１つ又は複数の画像を取得するステップであって、上記撮像デバイスは、上記移動体に取り付けられた妨害物により少なくとも部分的に遮られる、取得ステップと、
上記１つ又は複数の画像において投影される上記妨害物の少なくとも一部を検出ステップと、
上記投影された妨害物を有する上記１つ又は複数の画像を処理して、上記移動体の動作を支援ステップと
を含む、方法。
［項目７５］
上記妨害物は、上記移動体の運動を提供するプロペラシステムの翼の少なくとも一部を含む、項目７４に記載の方法。
［項目７６］
上記翼は、上記撮像デバイスに対向する上記翼の下面に分布する複数の反射ストライプを含む、項目７５に記載の方法。
［項目７７］
テンプレートを上記１つ又は複数の画像に適用するステップであって、それにより、上記１つ又は複数の画像内の上記妨害物の１つ又は複数の投影位置を取得する、適用すること
を更に含む、項目７４に記載の方法。
［項目７８］
上記テンプレートは、回転運動中の上記妨害物の上記１つ又は複数の投影位置をそれぞれ表す１つ又は複数の線を含み、各線は対応する投影位置の回転角に関連する、項目７７に記載の方法。
［項目７９］
上記テンプレートは、上記１つ又は複数の線上に分布する第１の群のマーカ及び上記回転運動中の上記翼の上記反射ストライプの運動経路上に分布する第２の群のマーカを含む、項目７８に記載の方法。
［項目８０］
上記１つ又は複数の画像の第１の画像において投影される上記妨害物の少なくとも一部を検出するステップは、
上記テンプレートにおける上記第１の群のマーカ及び上記第２の群のマーカに対応する上記第１の画像におけるピクセルを収集するステップと、
上記１つ又は複数の線の各線に対応する上記収集ピクセルのピクセル値が所定の基準を満たすか否かを判断するステップと、
上記第１の線に対応する上記収集ピクセルの上記ピクセル値が上記所定の基準を満たすとの判断に従って、上記妨害物が上記第１の画像における上記第１の線に関連する第１の回転角において存在することを識別するステップと
を含む、項目７９に記載の方法。
［項目８１］
上記投影された妨害物に有する上記１つ又は複数の画像を処理して、上記移動体の動作を支援することは、上記１つ又は複数の画像において投影された上記妨害物の少なくとも一部をなくすことを含む、項目７４に記載の方法。
［項目８２］
上記１つ又は複数の画像の露出の種類を識別することを更に含む、項目８１に記載の方法。
［項目８３］
上記１つ又は複数の画像の第１の画像が短時間露出画像であるとの判断に従って、１つ又は複数の検出位置における上記妨害物に対応する上記第１の画像におけるピクセルをなくすこと
を更に含む、項目８２に記載の方法。
［項目８４］
上記１つ又は複数の画像の第１の画像が長時間露出画像であるとの判断に従って、上記検出位置における上記翼上の上記反射ストライプに対応する上記第１の画像におけるエリアをなくすこと
を更に含む、項目８２に記載の方法。
［項目８５］
移動体を制御するシステムであって、
上記撮像デバイスに結合される１つ又は複数のプロセッサと、
メモリと、
上記メモリに記憶され、上記１つ又は複数のプロセッサにより実行される１つ又は複数のプログラムと
を備え、
上記１つ又は複数のプログラムは、
上記移動体により支持される撮像デバイスにより取得される１つ又は複数の画像を取得する命令であって、上記撮像デバイスは、上記移動体に取り付けられた妨害物により少なくとも部分的に遮られる、取得する命令と、
上記１つ又は複数の画像において投影される上記妨害物の少なくとも一部を検出する命令と、
上記投影された妨害物を有する上記１つ又は複数の画像を処理して、上記移動体の動作を支援する命令と
を含む、システム。
［項目８６］
上記妨害物は、上記移動体の運動を提供するプロペラシステムの翼の少なくとも一部を含む、項目８５に記載のシステム。
［項目８７］
上記翼は、上記撮像デバイスに対向する上記翼の下面に分布する複数の反射ストライプを含む、項目８６に記載のシステム。
［項目８８］
上記１つ又は複数のプログラムは、
テンプレートを上記１つ又は複数の画像に適用する命令であって、それにより、上記１つ又は複数の画像内の上記妨害物の１つ又は複数の投影位置を取得する、適用する命令
を更に含む、項目８５に記載のシステム。
［項目８９］
上記テンプレートは、回転運動中の上記妨害物の上記１つ又は複数の投影位置をそれぞれ表す１つ又は複数の線を含み、各線は対応する投影位置の回転角に関連する、項目８８に記載のシステム。
［項目９０］
上記テンプレートは、上記１つ又は複数の線上に分布する第１の群のマーカ及び上記回転運動中の上記翼の上記反射ストライプの運動経路上に分布する第２の群のマーカを含む、項目８９に記載のシステム。
［項目９１］
上記１つ又は複数の画像の第１の画像において投影される上記妨害物の少なくとも一部を検出するステップは、
上記テンプレートにおける上記第１の群のマーカ及び上記第２の群のマーカに対応する上記第１の画像におけるピクセルを収集するステップと、
上記１つ又は複数の線の各線に対応する上記収集ピクセルのピクセル値が所定の基準を満たすか否かを判断するステップと、
上記第１の線に対応する上記収集ピクセルの上記ピクセル値が上記所定の基準を満たすとの判断に従って、上記妨害物が上記第１の画像における上記第１の線に関連する第１の回転角において存在することを識別するステップと
を含む、項目９０に記載のシステム。
［項目９２］
上記投影された妨害物に有する上記１つ又は複数の画像を処理して、上記移動体の動作を支援することは、上記１つ又は複数の画像において投影された上記妨害物の少なくとも一部をなくすことを含む、項目８５に記載のシステム。
［項目９３］
上記１つ又は複数のプログラムは、
上記１つ又は複数の画像の露出の種類を識別する命令
を更に含む、項目９２に記載のシステム。
［項目９４］
上記１つ又は複数のプログラムは、
上記１つ又は複数の画像の第１の画像が短時間露出画像であるとの判断に従って、１つ又は複数の検出位置における上記妨害物に対応する上記第１の画像におけるピクセルをなくす命令
を更に含む、項目９３に記載のシステム。
［項目９５］
上記１つ又は複数のプログラムは、
上記１つ又は複数の画像の第１の画像が長時間露出画像であるとの判断に従って、上記検出位置における上記翼上の上記反射ストライプに対応する上記第１の画像におけるエリアをなくす命令
を更に含む、項目９３に記載のシステム。
［項目９６］
無人機（ＵＡＶ）であって、
推進システムと、
１つ又は複数のセンサと、
画像センサ及び光学デバイスを備える撮像デバイスと、
上記推進システム、上記１つ又は複数のセンサ、及び上記撮像デバイスに結合される１つ又は複数のプロセッサと
を備え、
上記１つ又は複数のプロセッサは、
上記ＵＡＶにより支持される撮像デバイスにより取得される１つ又は複数の画像を取得するステップであって、上記撮像デバイスは、上記ＵＡＶに取り付けられた妨害物により少なくとも部分的に遮られる、取得ステップと、
上記１つ又は複数の画像において投影される上記妨害物の少なくとも一部を検出ステップと、
上記投影された妨害物を有する上記１つ又は複数の画像を処理して、上記ＵＡＶの動作を支援ステップと
を行う、ＵＡＶ。
［項目９７］
上記妨害物は、上記ＵＡＶの運動を提供するプロペラシステムの翼の少なくとも一部を含む、項目９６に記載のＵＡＶ。
［項目９８］
上記翼は、上記撮像デバイスに対向する上記翼の下面に分布する複数の反射ストライプを含む、項目９７に記載のＵＡＶ。
［項目９９］
上記１つ又は複数のプロセッサは、
テンプレートを上記１つ又は複数の画像に適用するステップであって、それにより、上記１つ又は複数の画像内の上記妨害物の１つ又は複数の投影位置を取得する、適用すること
を行うように更に構成される、項目９６に記載のＵＡＶ。
［項目１００］
上記テンプレートは、回転運動中の上記妨害物の上記１つ又は複数の投影位置をそれぞれ表す１つ又は複数の線を含み、各線は対応する投影位置の回転角に関連する、項目９９に記載のＵＡＶ。
［項目１０１］
上記テンプレートは、上記１つ又は複数の線上に分布する第１の群のマーカ及び上記回転運動中の上記翼の上記反射ストライプの運動経路上に分布する第２の群のマーカを含む、項目１００に記載のＵＡＶ。
［項目１０２］
上記１つ又は複数の画像の第１の画像において投影される上記妨害物の少なくとも一部を検出するステップは、
上記テンプレートにおける上記第１の群のマーカ及び上記第２の群のマーカに対応する上記第１の画像におけるピクセルを収集するステップと、
上記１つ又は複数の線の各線に対応する上記収集ピクセルのピクセル値が所定の基準を満たすか否かを判断するステップと、
上記第１の線に対応する上記収集ピクセルの上記ピクセル値が上記所定の基準を満たすとの判断に従って、上記妨害物が上記第１の画像における上記第１の線に関連する第１の回転角において存在することを識別するステップと
を含む、項目１０１に記載のＵＡＶ。
［項目１０３］
上記投影された妨害物に有する上記１つ又は複数の画像を処理して、上記ＵＡＶの動作を支援することは、
上記１つ又は複数の画像において投影された上記妨害物の少なくとも一部をなくすこと
を含む、項目９６に記載のＵＡＶ。
［項目１０４］
上記１つ又は複数のプロセッサは、
上記１つ又は複数の画像の露出の種類を識別すること
を行うように更に構成される、項目１０３に記載のＵＡＶ。
［項目１０５］
上記１つ又は複数のプロセッサは、
上記１つ又は複数の画像の第１の画像が短時間露出画像であるとの判断に従って、１つ又は複数の検出位置における上記妨害物に対応する上記第１の画像におけるピクセルをなくすこと
を行うように更に構成される、項目１０４に記載のＵＡＶ。
［項目１０６］
上記１つ又は複数のプロセッサは、
上記１つ又は複数の画像の第１の画像が長時間露出画像であるとの判断に従って、上記検出位置における上記翼上の上記反射ストライプに対応する上記第１の画像におけるエリアをなくすこと
を行うように更に構成される、項目１０４に記載のＵＡＶ。
［項目１０７］
１つ又は複数のプログラムを記憶するコンピュータ可読記憶媒体であって、上記１つ又は複数のプログラムは、移動体により実行されると、上記移動体に、
上記移動体により支持される撮像デバイスにより取得される１つ又は複数の画像を取得するステップであって、上記撮像デバイスは、上記移動体に取り付けられた妨害物により少なくとも部分的に遮られる、取得ステップと、
上記１つ又は複数の画像において投影される上記妨害物の少なくとも一部を検出ステップと、
上記投影された妨害物を有する上記１つ又は複数の画像を処理して、上記移動体の動作を支援ステップと
を行わせる、コンピュータ可読記憶媒体。