特許 7527547 マルチスウォームドローンキャプチャのシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-26

(45)【発行日】2024-08-05

(54)【発明の名称】マルチスウォームドローンキャプチャのシステム

(51)【国際特許分類】

   H04N 23/695 20230101AFI20240729BHJP

   G06T 7/70 20170101ALI20240729BHJP

   H04N 23/66 20230101ALI20240729BHJP

   H04N 23/611 20230101ALI20240729BHJP

   H04N 23/60 20230101ALI20240729BHJP

   G05D 1/46 20240101ALI20240729BHJP

【ＦＩ】

H04N23/695

G06T7/70 B

H04N23/66

H04N23/611

H04N23/60 500

G05D1/46

【請求項の数】 18

(21)【出願番号】P 2022579696

(86)(22)【出願日】2021-06-25

(65)【公表番号】

(43)【公表日】2023-07-26

(86)【国際出願番号】 US2021039159

(87)【国際公開番号】W WO2022005903

(87)【国際公開日】2022-01-06

【審査請求日】2022-12-22

(31)【優先権主張番号】16/917,024

(32)【優先日】2020-06-30

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100092093

【弁理士】

【氏名又は名称】辻居 幸一

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(72)【発明者】

【氏名】チェン－イ リウ

【審査官】▲うし▼田 真悟

(56)【参考文献】

【文献】特開２００７－２３５３９９（ＪＰ，Ａ）

【文献】特開２００８－００５２０８（ＪＰ，Ａ）

【文献】国際公開第２０１９／２３９６９４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／４０－２３／７６

Ｇ０６Ｔ ７／００－ ７／９０

(57)【特許請求の範囲】

【請求項1】

対象が移動する環境のマルチビューイメージングのシステムであって、前記システムは、
各々がドローンカメラを有する第１の複数のドローンと、
各々がドローンカメラを有する第２の複数のドローンと、
を備え、
前記第１の複数のドローンは、前記対象の移動を追跡するように移動しながら、前記対象の前方に配置されて、前記第１の複数のドローンのドローンカメラによって前記対象の顔の対応する第１の複数の画像が取り込まれるようにし、
前記対象は、時間可変的な頭部姿勢及び時間可変的な視線によって特徴付けられ、
前記第１の複数のドローンは、
取り込まれた前記第１の複数の画像と、前記第１の複数のドローンカメラの姿勢間の空間的関係とに基づいて、前記対象の頭部姿勢及び視線のリアルタイムの決定を行い、
前記第２の複数のドローンに前記頭部姿勢及び視線の決定を送信し、
前記第２の複数のドローンは、前記対象の移動を追跡するように移動しながら、前記対象に近接して配置され、そのドローンカメラの姿勢は、前記第１の複数のドローンから受け取られる前記頭部姿勢及び視線の決定によって少なくとも部分的に決定されて、前記第２の複数のドローンの前記ドローンカメラが、前記対象の前方の前記環境の部分の第２の複数の画像を取り込むようにし、
前記第２の複数の画像の後処理によって、前記第１の複数の画像の取り込みに対応する時間に前記対象が見る前記環境のビューを表す一人称視点の生成を可能にする、
ことを特徴とするシステム。

【請求項2】

前記第１の複数のドローンカメラの姿勢は、前記頭部姿勢及び視線の決定に従って調整されて、
前記第１の複数のドローンのカメラによって前記対象の顔の第３の複数の画像が取り込まれ、かつ、
前記第１の複数のドローンが、取り込まれた前記第３の複数の画像と、前記第１の複数のドローンカメラの調整された前記姿勢間の空間的関係とに基づいて、前記対象の頭部姿勢及び視線の修正されたリアルタイムの決定を行い、前記第２の複数のドローンに前記修正されたリアルタイムの決定を送信するようにし、
前記第２の複数のドローンは、前記対象の移動を追跡し続けるように移動しながら、前記第１の複数のドローンから受け取られる前記修正されたリアルタイムの頭部姿勢及び視線の決定によって少なくとも部分的に決定される前記第２の複数のドローンのドローンカメラの姿勢を修正して、前記第２の複数のドローンの前記ドローンカメラが、前記対象の前方の前記環境の部分の第４の複数の画像を取り込むようにし、
前記第４の複数の画像の後処理によって、前記第３の複数の画像の取り込みに対応する時間に前記対象が見る前記環境のビューを表す一人称視点の生成を可能にする、
ことを特徴とする、請求項１に記載のシステム。

【請求項3】

前記第１及び第２の複数のドローンは、それぞれ、第１及び第２の基準姿勢によって特徴付けられる第１及び第２の基準ドローンを含み、
前記第１及び第２の基準姿勢は、それぞれ、前記第１及び第２の複数のドローンのための第１及び第２のスウォーム姿勢を特徴付ける、
ことを特徴とする、請求項１に記載のシステム。

【請求項4】

前記第１及び第２の複数のドローンのうちの少なくとも一方の複数のドローン内で、全てのドローンの姿勢が、地上ベースのスウォームコントローラによって少なくとも部分的に決定されることを特徴とする、請求項１に記載のシステム。

【請求項5】

前記第１及び第２の複数のドローンのうちの少なくとも一方の複数のドローンに対して、前記地上ベースのスウォームコントローラは、該複数のドローンの各々に、対応するドローン固有の姿勢コマンドを送信することを特徴とする、請求項４に記載のシステム。

【請求項6】

前記第１及び第２の複数のドローンのうちの少なくとも一方の複数のドローンに対して、前記地上ベースのスウォームコントローラは、該複数のドローン内のリーダドローンに複数の姿勢コマンドを送信し、そのリーダドローンは、該複数のドローンのうちの他の各ドローンと直接又は間接的に通信することによって応答して、該複数のドローンのうちの各ドローンが、対応するドローン固有の姿勢コマンドを受け取るようにすることを特徴とする、請求項４に記載のシステム。

【請求項7】

前記第１の複数のドローンによる頭部姿勢及び視線の決定は、
前記第１の複数の画像における取り込まれた各画像を処理して、顔検出及び眼検出を達成することと、
前記第１の複数の画像における取り込まれた画像の組み合わせを処理して、頭部姿勢及び視線の決定を達成することと、
を含む、
ことを特徴とする、請求項１に記載のシステム。

【請求項8】

前記対象の前方の前記環境の部分の前記第２の複数の画像における画像取り込みを可能にする、前記第２の複数のドローンの前記ドローンカメラのうちの少なくとも１つの視野は、前記対象の予想視野よりも大きいことを特徴とする、請求項１に記載のシステム。

【請求項9】

前記第１及び第２の複数のドローンのうちの少なくとも一方の複数のドローン内で、各ドローンカメラは、対応するドローンに取り付けられるか又はその内部に配置されて、そのドローンを特徴付ける姿勢が、前記ドローンカメラの姿勢を完全に決定するようにすることを特徴とする、請求項１に記載のシステム。

【請求項10】

前記第１の複数のドローンの特性は、小さいサイズ、低重量、及び高い操縦性を含み、
前記第２の複数のドローンの特性は、制御された動きの安定性を含み、
前記第２の複数のドローン内の前記ドローンカメラの特性は、大きい視野にわたる高画質を含む、
ことを特徴とする、請求項１に記載のシステム。

【請求項11】

対象が移動する環境のマルチビューイメージングのための方法であって、前記方法は、
第１の複数のドローン上の第１の複数のドローンカメラを動作させて、前記対象の第１の複数の画像を取り込むステップであって、前記ドローンは、前記第１の複数の画像が前記対象の顔の画像を含むように、前記対象の前方に配置されながら、前記対象の移動を追跡するように移動し、前記対象は、時間可変的な頭部姿勢及び時間可変的な視線によって特徴付けられる、ステップと、
取り込まれた前記第１の複数の画像と、前記第１の複数のドローンカメラの姿勢間の空間的関係とに基づいて、前記対象の頭部姿勢及び視線のリアルタイムの決定を行うステップと、
前記第１の複数のドローンから第２の複数のドローンに前記頭部姿勢及び視線の決定を送信するステップであって、前記第２の複数のドローンは、各々がドローンカメラを有し、前記対象に近接して配置される、ステップと、
前記第２の複数のドローンの姿勢を調整して、必要に応じて、送信された前記頭部姿勢及び視線の決定に応答して、対象の移動を追跡するステップと、
前記第２の複数のドローン上のドローンカメラの姿勢を調整して、前記第２の複数のドローンの前記ドローンカメラを動作させて、前記対象の前方の前記環境の部分の第２の複数の画像を取り込むステップと、
前記第２の複数の画像を後処理して、前記第１の複数の画像の取り込みに対応する時間に前記対象が見る前記環境のビューを表す一人称視点を生成するステップと、
を含むことを特徴とする方法。

【請求項12】

前記第１の複数のドローンによって頭部姿勢及び視線の決定を行った後に、前記決定に従って前記第１の複数のドローン及びドローンカメラの姿勢を調整して、前記第１の複数のドローンカメラを動作させて、
前記第１の複数のドローンのカメラによって前記対象の顔の第３の複数の画像が取り込まれ、
前記第１の複数のドローンによって、取り込まれた前記第３の複数の画像と、前記第１の複数のドローンカメラの調整された姿勢間の空間的関係とに基づいて、前記対象の頭部姿勢及び視線の修正されたリアルタイムの決定を行い、
前記第２の複数のドローンに、前記修正されたリアルタイムの頭部姿勢及び視線の決定を送信するようにする、
ステップを更に含み、
前記第２の複数のドローンは、前記対象の移動を追跡し続けるように移動しながら、前記第１の複数のドローンから受け取られる前記修正されたリアルタイムの頭部姿勢及び視線の決定に少なくとも部分的に従って前記第２の複数のドローンのドローンカメラの姿勢を修正して、前記第２の複数のドローンの前記ドローンカメラが、前記対象の前方の前記環境の部分の第４の複数の画像を取り込むようにし、
前記第４の複数の画像の後処理によって、前記第３の複数の画像の取り込みに対応する時間に前記対象が見る前記環境のビューを表す一人称視点の生成を可能にする、
ことを特徴とする、請求項１１に記載の方法。

【請求項13】

前記第１及び第２の複数のドローンのうちの少なくとも一方の複数のドローン内で、全てのドローンの姿勢が、地上ベースのスウォームコントローラによって少なくとも部分的に決定されることを特徴とする、請求項１１に記載の方法。

【請求項14】

前記第１及び第２の複数のドローンのうちの少なくとも一方の複数のドローンに対して、前記地上ベースのスウォームコントローラは、該複数のドローンのうちの各ドローンに、対応するドローン固有の姿勢コマンドを送信することを特徴とする、請求項１３に記載の方法。

【請求項15】

前記第１及び第２の複数のドローンのうちの少なくとも一方の複数のドローンに対して、前記地上ベースのスウォームコントローラは、該複数のドローン内のリーダドローンに複数の姿勢コマンドを送信し、そのリーダドローンは、該複数のドローンのうちの他の各ドローンと直接又は間接的に通信することによって応答して、該複数のドローンのうちの各ドローンが、対応するドローン固有の姿勢コマンドを受け取るようにすることを特徴とする、請求項１３に記載の方法。

【請求項16】

前記第１の複数のドローンによる頭部姿勢及び視線の決定は、
前記第１の複数の画像における取り込まれた各画像を処理して、顔検出及び眼検出を達成することと、
前記第１の複数の画像における取り込まれた画像の組み合わせを処理して、頭部姿勢及び視線の決定を達成することと、
を含む、
ことを特徴とする、請求項１１に記載の方法。

【請求項17】

前記第１及び第２の複数のドローンのうちの少なくとも一方の複数のドローン内で、各ドローンカメラは、対応するドローンに取り付けられるか又はその内部に配置されて、そのドローンを特徴付ける姿勢が、前記ドローンカメラの姿勢を完全に決定するようにすることを特徴とする、請求項１１に記載の方法。

【請求項18】

前記第１の複数のドローンの特性は、小さいサイズ、低重量、及び高い操縦性を含み、
前記第２の複数のドローンの特性は、制御された動きの安定性を含み、
前記第２の複数のドローン内の前記ドローンカメラの特性は、大きい視野にわたる高画質を含む、
ことを特徴とする、請求項１１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

〔関連出願の相互参照〕
本出願は、２０２０年６月３０日出願の米国仮特許出願番号第１６／９１７，０２４号 「マルチスウォームドローンキャプチャのシステム（ＳＹＳＴＥＭ ＯＦ ＭＵＬＴＩ－ＳＷＡＲＭ ＤＲＯＮＥ ＣＡＰＴＵＲＩＮＧ）」（代理人整理番号０２０６９９－１１６６００ＵＳ）の利益を主張するものであり、この出願は、全ての目的に対してあたかも本出願に全てが示されている如くここに引用により組み込まれる。

【背景技術】

【0002】

[01] 従来のマルチビュー映画撮影法は、固定され良く較正された複数のカメラを使用して、所定のアクションスクリプトに従って移動して、限定された空間内の１又は複数の関心対象を追いながら画像を取り込む。通常、特殊な視覚効果（特に一人称視点）が特に望ましい場合、ムービー全体の中のいくつかの重要なショットのみにこれを行うことが実際的である。このようなビューは、対象とする視聴者にリアルな没入的体験を提供するのに有用であり得る。マルチビュー方式でムービー全体を取り込みたいと望む場合、現在の方法は非現実的である。マルチビューが望ましいムービーの部分が屋外シーン又は大きい空間にわたる高速移動を含む場合、更に困難である。

【0003】

[02] 特に、一人称視点ビデオを取り込むためには、現在の最新技術では、対応するアクターが、彼の眼に近い頭部の周囲にカメラを取り付ける又は装着する必要があり、カメラは、アクターの顔の前面と正確に位置合わせされる必要がある。このことは、以下の理由（ａ）～（ｃ）により、重大な取り込みの制約を課す。（ａ）アクターが行うことができるアクションが、カメラの体積及び重量及びカメラをアクターに取り付ける装置によって、著しく空間的に制約される場合がある。（ｂ）カメラの視野の向きの慎重な制御、又は取り込まれた画像の非常に複雑な後処理のいずれかにおいて、カメラ及び装置が最終画像で見えるのを回避又は除去する必要がある。（ｃ）アクターのパフォーマンスの「自然さ」が、頭部の余分なものを感じて意識することによって影響される可能性が高い。

【0004】

[03] したがって、（１）対象との物理的接触、（２）対象の移動の事前知識、又は（３）全ての個々のカメラの空間分布及び軌道を追跡及び制御するために撮影中に使用されるマスタコントローラ、のいずれも必要とすることなく、複数のカメラを配置及び制御して、カメラが関心対象を追跡することができるようにするより良い（好ましくは自動化された）システムが必要とされている。理想的には、システムは、特に撮影の時間中に、コンピュータ集約的なシーン解析又はオブジェクト認識を必要とせず、撮影中に、異なる対象間を容易に切り替えることができる。現在利用できるドローン及びドローン制御システムの使用は、せいぜい必要事項（１）に対処するぐらいであろう。

【発明の概要】

【発明が解決しようとする課題】

【0005】

[04] 実施形態は、対象（人間又は動物とすることができる）が移動する環境のマルチビューイメージングのためのシステム及び方法に関する。

【課題を解決するための手段】

【0006】

[05] 一実施形態では、システムは、各々がドローンカメラを有する第１の複数のドローンと、各々がドローンカメラを有する第２の複数のドローンとを備える。前記第１の複数のドローンは、前記対象の移動を追跡するように移動しながら、前記対象の前方に配置されて、前記第１の複数のドローンのドローンカメラによって前記対象の顔の対応する第１の複数の画像が取り込まれるようにする。前記第１の複数のドローンは、取り込まれた前記第１の複数の画像と、前記第１の複数のドローンカメラの姿勢間の空間的関係とに基づいて、前記対象の頭部姿勢及び視線のリアルタイムの決定を行い、前記第２の複数のドローンに前記頭部姿勢及び視線の決定を送信する。前記第２の複数のドローンは、前記対象の移動を追跡するように移動しながら、前記対象に近接して配置され、そのドローンカメラの姿勢は、前記第１の複数のドローンから受け取られる前記頭部姿勢及び視線の決定によって少なくとも部分的に決定されて、前記第２の複数のドローンの前記ドローンカメラが、前記対象の前方の前記環境の部分の第２の複数の画像を取り込むようにする。前記第２の複数の画像の後処理によって、前記第１の複数の画像の取り込みに対応する時間に前記対象が見る前記環境のビューを表す一人称視点の生成を可能にする。

【0007】

[06] 別の実施形態では、方法は、第１の複数のドローン上の第１の複数のドローンカメラを動作させて、前記対象の第１の複数の画像を取り込むステップであって、前記ドローンは、前記第１の複数の画像が前記対象の顔の画像を含むように、前記対象の前方に配置されながら、前記対象の移動を追跡するように移動する、ステップと、取り込まれた前記第１の複数の画像と、前記第１の複数のドローンカメラの姿勢間の空間的関係とに基づいて、前記対象の頭部姿勢及び視線のリアルタイムの決定を行うステップと、前記第１の複数のドローンから第２の複数のドローンに前記頭部姿勢及び視線の決定を送信するステップであって、前記第２の複数のドローンは、各々がドローンカメラを有し、前記対象に近接して配置される、ステップと、前記第２の複数のドローンの姿勢を調整して、必要に応じて、送信された前記頭部姿勢及び視線の決定に応答して、対象の移動を追跡するステップと、前記第２の複数のドローン上のドローンカメラの姿勢を調整して、前記第２の複数のドローンの前記ドローンカメラを動作させて、前記対象の前方の前記環境の部分の第２の複数の画像を取り込むステップと、前記第２の複数の画像を後処理して、前記第１の複数の画像の取り込みに対応する時間に前記対象が見る前記環境のビューを表す一人称視点を生成するステップと、を含む。

【0008】

[07] 本明細書の残りの部分及び添付図面の参照により、本明細書に開示する特定的な実施形態の特質及び利点の更なる理解を達成することができる。

【図面の簡単な説明】

【0009】

【図1】いくつかの実施形態による、シーンを撮像するためのシステムの概要を示す図である。

【図2】いくつかの実施形態による、視線決定のための配置を示す図である。

【図3】いくつかの実施形態による、視線決定におけるプロセスステップを示す図である。

【図4】いくつかの実施形態による、動作の方法を概略的に示す図である。

【図5】いくつかの実施形態による、環境のマルチビューイメージングのための方法のフローチャートである。

【発明を実施するための形態】

【0010】

[13] 本開示の目的のために、姿勢を、３次元の位置及び３次元の向きからなる６次元のパラメータとして定義する。たいていの場合、詳細に説明する特定の実施形態の説明では、簡略化のために、所与のドローンの姿勢が、対応するドローンカメラの姿勢を完全に決定すると仮定するが、本発明は、より複雑な場合に実装することができ、この場合、ドローンカメラを、ドローンの向きから独立してある程度方向づけることができると理解されたい。このような場合には、周知の制御可能なモーションデバイス（例えばジンバル）がドローンに設置されて、リモートコントローラから直接的に又はドローンから間接的にコマンドを受け取り、追跡可能な較正された応答を提供することができる。

【0011】

[14] 図１に、いくつかの実施形態による、環境のマルチビューイメージングのためのシステム１００を示す。システム１００は、第１の複数のドローン１０２を含み（簡略化のために２つだけ示すが、より多く存在することができる）、各ドローン１０２はドローンカメラ１０４を備える（簡略化のために１つだけ示す）。第１の複数のドローンにおける各ドローン１０２は、それ自身の軌道に沿って移動して、対象１０６（ここでは人物として示す）の移動を追跡するが、上記のように、対象は、別の種の動物とすることができる。ドローン１０２は、人物が向いている方向に対して、対象（この場合、人物）の前方に配置されて、そのカメラ１０４は、対象の顔の第１の複数の画像を取り込むことができるように方向づけられている。様々な周知の画像処理技術の任意の１つが、ドローンの空間分布に関するデータと組み合わせて、取り込まれた画像に対して使用されて、ドローン１０２内で、又は通信帯域幅が十分である場合はカメラ制御局において、人物の頭部姿勢（対象とする移動方向を示すものとしてみなすことができる）及び視線（３次元の方向パラメータ）のリアルタイムの決定を行うことができる。これらの決定を使用して、ドローン１０２の次の移動及び向きを案内して、これらのドローンが人物の前方に位置を維持することができ、それらのカメラ１０４が必要に応じてその向きを調整して、人物が方向変換、減速又は加速などした場合でも、人物の顔の画像を取り込むことができるようにする。これらの次に取り込まれた画像によって、対応して更新された頭部姿勢及び視線の決定を行って、更なる移動及び画像取り込みなどを案内することができる。

【0012】

[15] システム１００は、また、第２の複数のドローン１０８を含み（図１に３つ示す）、各ドローン１０８はドローンカメラ１１０を備える（簡略化のために１つだけ示す）。これらのドローン１０８の各々は、人物に近接して配置され、そのカメラの向きは、人物が向いている方向に対して、一般に外方又は前方方向に向きながら、人物の顔の真正面の位置を回避する。各ドローンカメラ１１０の姿勢は、そのドローンが第１の複数のドローンから受け取る姿勢の決定によって少なくとも部分的に決定されて、第２の複数のドローンのドローンカメラ１１０が、人物の前方において、人物の視野内の又はそれに隣接する又は重なる環境の部分の第２の複数の画像を取り込むようにする。第２の複数の画像の後処理によって、人物が見る環境のビューを表す一人称視点（以下で説明する図４のビュー４０６がこれの例である）の生成を可能にする。いくつかの場合では、ビューは、対象が実際に見ないが、対象の視野のほんのわずかだけ外側にあるので潜在的に存在し得る環境の部分を含むことができ、劇的な又は情報の目的で含むために有用であり得る。

【0013】

[16] 図１（及び以下で説明する図４）において、ドローンの近くに見える白い「バケツ形」の領域が、それらのドローンの視野を表す。

【0014】

[17] 多くの実施形態では、システムの所望の出力は、単一の一人称視点ではなく、単一のビューを生成するのにかかる時間よりも長い時間間隔にわたって環境を動いている間に対象が見る環境のビューの連続体を表す一人称視点のビデオストリームである。これらの実施形態では、第１及び第２の複数のドローンが上記のように連続的に対象を追跡して画像を取り込み、後処理によって、そのビューの連続体を表す一人称視点のビデオシーケンスを生成するようにすることによって、システムを動作させる。

【0015】

[18] いくつかの実施形態では、「一人称」視点を再構成すべき関心対象は、図１に示すような人間個人ではなく、動物又は第１の複数のドローン１０２によって取り込まれる画像において検出可能な１又は複数の視覚センサを含む他の移動被写体でもよい。「頭部」という用語は、本開示全体を通して従来の用語として使用されて、１又は２以上の視覚的に検出可能な視覚センサが配置される「顔」と呼ばれる表面を有する対象の部分を意味する。本開示の目的のための任意の関心対象は、このような頭部及びこのような顔を本来有することを理解されたい。

【0016】

[19] 頭部姿勢及び視線の測定を提供する第１の複数のドローン１０２は、「視線位置決め」スウォームと呼ぶことができ、一方、対象の前方の環境の画像を提供する第２の複数のドローン１０８は、「一人称視点」スウォームと呼ぶことができる。いくつかの実施形態では、異なる用途に従って別個に又は共同して動作する、いずれかのタイプのスウォーム又は両方のタイプのうちの１よりも多くのドローンが存在することができる。

【0017】

[20] 本発明の重要な特徴は、２つの異なるタイプのドローンスウォーム間の区別である。これによって、ドローン及びドローンカメラを、それらの機能に従って最適化することができる。視線位置決めスウォームの主な機能は、十分な品質の画像を取り込んで、頭部姿勢及び視線の決定を可能にすることである。これを達成するためには、消費者レベルの比較的軽量の小型カメラが適切であり得るが、後方飛行を含むドローンの操縦性への要求が高い場合がある。ドローンが対象の経路内に存在し得る時の安全性が、このスウォームにとって重要な制御の考慮事項である。一人称視点スウォームの主な機能は、対象の頭部を越える環境の高品質で大きい視野の画像を取り込むことである。これは、通常、スタジオ品質の比較的大型で重いカメラを必要とし、飛行及び画像取り込み中のドローンの安定性が、このスウォームにとって重要な制御の考慮事項である。

【0018】

[21] いずれかの複数のドローンにおけるドローンのうちのいくつか又は全ては、複数のカメラを搭載することができる。システム動作及び画像処理について本開示において詳述する教示は、本発明の趣旨及び範囲から逸脱することなく、このような実施形態を包含するように容易に拡張することができると理解されたい。

【0019】

[22] いくつかの用途では、任意のスウォームは、基準姿勢によって特徴付けられる基準ドローンを含むことができ、基準姿勢は、スウォーム全体の姿勢を特徴付けて、別のスウォームの姿勢及び２つのスウォーム間の予想相対姿勢が与えられると、１つのスウォームの姿勢を決定することができるようにする。

【0020】

[23] いくつかの実施形態では、システム１００は、スウォームのうちの少なくとも１つにおけるドローンの姿勢（位置及び向き）の少なくとも部分的な制御を行うように動作可能な地上ベースのスウォームコントローラ１１２を含む。いくつかの場合では、スウォームコントローラが、そのスウォームのうちのドローンの各々に、対応するドローン固有の姿勢コマンドを送信することによって、制御を行うことができる。他の場合では、スウォームコントローラは、そのスウォーム内のリーダドローンに複数の姿勢コマンドを送信することができ、そのリーダドローンは、該スウォームのうちの他の各ドローンと直接又は間接的に通信することによって応答して、該スウォームのうちの各ドローンが、対応するドローン固有の姿勢コマンドを受け取るようにする。

【0021】

[24] スウォーム内のドローン間通信トポロジは、用途に従って、スター、ツリー、メッシュ又は他のパターンとすることができる。

【0022】

[25] 図２に、視線決定を達成するための配置を概略的に示し、図３に、いくつかの実施形態による視線決定の段階を概略的に示す。決定は、第１の複数のドローン１０２によって取り込まれる画像に依存するので、簡略化のために、図２から第２の複数のドローン１０８を省略する。まず、図２の左側の図は、異なる位置及び向きにおける２つのドローンによる画像取り込みを示す。例えば、最新技術のＤＮＮベースの顔検出方法によって、顔検出を実行することができる。この方法は、画像内の顔領域（図２において破線の楕円Ａで示す）を位置特定して、各画像内の頭部回転度数を推定するようにトレーニングされる。次に、様々な周知の技術の任意の１つを使用して、眼検出を実行することができる。この技術は、通常、推定頭部回転を考慮して、各画像内で（以下で説明するように）１対の眼を位置特定する。最後に、視線検出を決定することができ、これは、画像取り込みのときに、対象の視野（図２の右側の図に、線Ｂ－Ｂ’によって限定される２Ｄ指示を示す）に関して定めることができる。

【0023】

[26] 図３に、眼検出及び次の視線決定をどのように達成することができるかの例を示す。まず（図中の上側の２つの図を参照）、２Ｄ眼「関心領域」３０２を定めることができ、関心領域内で、眼球の虹彩３０４及び白目３０６を識別することができる。（例えば）ＤＮＮ回帰スキームにおいて、虹彩及び白目の中心位置の差を使用して、その単一の画像に関連する眼球回転ベクトルの２Ｄ推定を得ることができる。次に（図中の下側の図を参照）、多視点三角測量などの技術を適用して、スウォームにおける複数のカメラからの同期画像を処理することができる。このような技術は、既知のカメラ姿勢を使用して、対象の視野（図３の右下の図において、ベクトルｕ及び角度広がりβによって部分的に定められる）を示す３Ｄ視線決定を最終的に得る。当業者であれば、視線位置決めドローンスウォームによって取り込まれる画像から頭部姿勢及び視線の決定を達成するための他の多くの可能な方法があると理解するであろう。例えば、トレーニングされたエンドツーエンドのリグレッサ（ｒｅｇｒｅｓｓｏｒ）を含む。

【0024】

[27] 図４に、いくつかの実施形態による、マルチビューイメージングの方法４００を概略的に示す。図の最も左側の部分は、図１に関して上記で説明したシステム１００の要素のビュー４０２を示す。図１に関して上記で説明したように、視線位置決めスウォームによって複数の画像を取り込んで処理し、一人称視点スウォームによって他の複数の画像を取り込みながら、視線位置決めスウォームは、任意選択的に一人称視点スウォームと共同して、対象の移動を追跡する。この全ては、方法の撮影段階中に行われ、任意の必要な屋外又は屋内環境において行うことができる。

【0025】

[28] 方法の次の段階は後処理であり、これは、スタジオ又は他の便利な場所、オンライン又はオフラインで行うことができる。簡略化のために、視線位置決めスウォームによって第１の複数の画像を取り込んで、一人称視点スウォームによる第２の複数の画像の取り込みのための適切なドローンカメラの姿勢を可能にした状況について検討する。第２の複数の画像に、周知の画像処理技術を適用して、合成擬似３Ｄ画像４０４を作成することができる。画像４０４は、対象１０６が見るビューを明瞭に含むが、対象の上体の部分も示す。というのは、画像を取り込むドローンカメラが、対象のわずかに後方及び上方に存在して、各画像において対象のビューを取り込まなければならないからである。周知の画像処理技術を使用して、画像４０４から対象を除去して画像４０６を生成し、次に、その画像を所望通りにトリミングして、対象が実際に見るビュー、すなわち、所望の一人称視点４０８をより明瞭に表すことができる。一般に、このようなビューのシーケンスは、かなりの期間及び対象によるアクションにわたって取り込まれる画像から生成されて、視聴者にリアルな没入的ムービー体験を提供する。対象（又はアクター）を示す「従来の」ビューと、その対象（又はアクター）の一人称視点との間で、画像を切り替えることができる。視聴者にインタラクティブな体験を提供して、自由なビューのための時間凍結（ｔｉｍｅ－ｆｒｅｅｚｉｎｇ）のオプションを提供することができる。

【0026】

[29] いくつかの実施形態では、ムービー用途のための一人称視点を提供するのではなく、ゲーム及びコンテンツ開発者のために、４１０に示すような画像を生成することができる。例えば、時間的に順序付けられ被写体の軌道を追う画像４１０の集合は、ゲーム設計者が、被写体のルートに沿って移動し一人称視点において「リアルなシーン」を示すプレイヤを案内できるようにする。コンテンツプロバイダは、ゲーム開発又は撮影を超えて他のＶＲ用途のために画像の集合を使用することもできる。

【0027】

[30] いくつかの実施形態では、方法の後処理段階は、自動的なフレーム間の視線方向の平滑化と、３Ｄ視線方向が与えられる自動的なフレーム毎のＦＰＶ生成と、のいずれか一方又は両方を含むことができる。

【0028】

[31] 図５は、いくつかの実施形態による、マルチビューイメージングのための方法５００のフローチャートである。ブロック５０２において、ＧＰドローン上の第１の複数の視線位置決め（ＧＰ）ドローンカメラが、移動している対象の第１の複数の画像を取り込む。上記のように、各画像が、対象の顔において少なくとも１つの完全な眼を示す眼領域を含むように、カメラを配置して方向づける。ブロック５０４において、上記のような技術を使用して、これらの画像を解析して対象の頭部姿勢及び視線を計算し、一人称視点（ＦＰＶ）ドローンである第２の複数のドローンに、計算の結果を送信する。ブロック５０６において、ＦＰＶドローンが、受け取ったデータに照らして、必要に応じて、その姿勢（位置及び向き）を調整する。ブロック５０８において、ＦＰＶドローン上のカメラが、対象を越える環境の複数の画像を取り込む。一般に、これらの「ＦＰＶ」画像のうちの少なくともいくつかは、対象の部分的なビューを含む。ブロック５１０において、「ＦＰＶ」画像の後処理を実行して、上記のような技術を使用して対象を「除去」して、環境の合成一人称視点を生成する。

【0029】

[32] 図５のフローチャートは、本発明の実施形態を実行するための本質的なステップを示すが、異なる状況及び用途においてわずかに異なる他の多くのステップ、例えば、ステップ５０２の前に２つのドローンスウォームの位置を初期化するためのステップ、スウォームコントローラからの介入命令の有無にかかわらず、映画監督からの指示に応答して姿勢を再調整するか又は他の画像取り込みパラメータを変更するためのステップなどを含むことができると理解されたい。

【0030】

[33] 方法５００は、各ドローンスウォームによって画像セットを１つだけ取り込み、単一の一人称視点を生成する単純な場合を示す。多くの関心実施形態では、当然、多数の画像セットを含む時間シーケンスを含み、静止ワンショットビューのための単一のフレームではなく、「ムービー」体験のための画像フレームのシーケンスを生成する。図示の方法は、本発明の趣旨又は範囲から逸脱することなく、これらの場合を包含するように容易に拡張することができると理解されたい。

【0031】

[34] 同様に、上記の説明は、対象の一人称視点のための単一の対象の追跡に関するが、本発明のシステム及び方法の焦点は、撮影中に異なる対象間を容易に切り替えることができることを理解されたい。これを達成する１つの方法は、地上ベースのスウォームコントローラが、所望通りにかつ所望の時に、少なくとも視線位置決めドローンスウォームに、対象切り替え命令を送信することである。それらのドローンは、必要に応じて、その軌道及び焦点を変更し、上記のようにＦＰＶドローンスウォームにある程度通信して、後者のスウォームによって取り込まれる後続の画像が、第２の対象が見るような環境のビューに関連するようにする。

【0032】

[35] 本明細書で説明する実施形態は、マルチビューイメージングのためのシステム及び方法において様々な利益を提供する。特に、実施形態は、対象の移動経路又はアクションの詳細な事前知識を必要とすることなく、また、カメラ又は関連するハードウェアが対象に装着されること又は対象と接触していることがないので、対象への最小の要求で、移動している対象が見るような環境の一人称視点の生成を可能にする。また、頭部姿勢及び視線を決定する動作を、環境の高品質画像を取り込む動作から分離することによって、ドローン及びドローンリソースの最適化を可能にする。上記の実施形態は、複数のカメラの自動化されたリアルタイム制御に適しており、多くの場合、ドローン自身の間の分散制御を利用する。撮影プロセス中の計算の要求は大きくなく、シーン解析又はオブジェクト認識を必要とすることなく、頭部姿勢及び視線の決定に限定され、最終製品を構成するために使用されるべき画像の処理は、後処理段階のために確保される。

【0033】

[36] 特定の実施形態に関連して説明してきたが、これらの特定の実施形態は単なる例示であり、限定的なものではない。

【0034】

[37] 特定の実施形態のルーチンを実装するために、Ｃ、Ｃ＋＋、Ｊａｖａ、アセンブリ言語等を含む任意の適切なプログラミング言語を使用することができる。手続き型又はオブジェクト指向などの異なるプログラミング技術を使用することができる。ルーチンは、単一の処理デバイス又は複数のプロセッサ上で実行することができる。ステップ、作動、又は計算は、特定の順番で提示することができるが、この順番は、異なる特定の実施形態では変更することができる。いくつかの特定の実施形態では、本明細書で順次示される複数のステップは、同時に実行することができる。

【0035】

[38] 特定の実施形態は、命令実行システム、装置、システム、又はデバイスによって又はこれに関連して使用するためのコンピュータ可読記憶媒体に実装することができる。特定の実施形態は、ソフトウェア又はハードウェア又はこれらの両方の組み合わせにおいて制御ロジックの形態で実装することができる。制御ロジックは、１又は２以上のプロセッサによって実行された時に、特定の実施形態で説明するものを実行するように作動可能とすることができる。

【0036】

[39] 特定の実施形態は、プログラムされた汎用デジタルコンピュータを使用することによって、及び／又は特定用途向け集積回路、プログラマブル論理デバイス、フィールドプログラマブルゲートアレイ、光学、化学、生物学、量子又はナノ工学システム、構成要素及び機構を使用することによって実装することができる。一般に、特定の実施形態の機能は、本技術分野で公知の任意の手段によって達成することができる。分散型、ネットワーク型システム、構成要素、及び／又は回路を使用することができる。データの通信又は転送は、有線、無線、又は他の任意の手段によるものとすることができる。

【0037】

[40] 図面／図に示す要素のうちの１又は２以上は、より分離された又は一体化された方法で、又は特定用途に応じて有用であるような特定の場合には更に取り外されるか又は作動不能にされて実装することもできることも理解されるであろう。上記の方法のいずれかをコンピュータに実行させるために機械可読媒体に記憶することができるプログラム又はコードを実装することも本発明の趣旨及び範囲内である。

【0038】

[41] 「プロセッサ」は、データ、信号、又は他の情報を処理する任意の適切なハードウェア及び／又はソフトウェアシステム、機構又は構成要素を含む。プロセッサは、汎用中央処理装置、複数の処理装置、機能を実現するための専用回路、又は他のシステムを含むことができる。処理は、地理的位置に限定されるか又は時間的制約を有する必要はない。例えば、プロセッサは、「リアルタイム」、「オフライン」、「バッチモード」等で、その機能を実行することができる。処理の一部は、異なる（又は同じ）処理システムによって、異なる時間及び異なる場所で実行することができる。処理システムの例は、サーバ、クライアント、エンドユーザ装置、ルータ、スイッチ、ネットワークストレージ等を含むことができる。コンピュータは、メモリと通信する任意のプロセッサとすることができる。メモリは、プロセッサによって実行するための命令を記憶するのに適した、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、磁気又は光ディスク、又は他の非一時的媒体などの、任意の適切なプロセッサ可読記憶媒体とすることができる。

【0039】

[42] 本明細書の説明及び以下に続く特許請求の範囲で使用される「ａ、ａｎ（英文不定冠詞）」及び「ｔｈｅ（英文定冠詞）」は、文脈によって別途明確に指定しない限り、複数の参照物を含む。また、本明細書の説明及び以下に続く特許請求の範囲で使用される「内（ｉｎ）」の意味は、文脈によって別途明確に指定しない限り、「内（ｉｎ）」及び「上（ｏｎ）」を含む。

【0040】

[43] したがって、本明細書で特定の実施形態を説明したが、修正、様々な変更、及び置換の自由が、以上の開示において意図されており、場合によっては、説明する範囲及び趣旨から逸脱することなく、特定の実施形態のいくつかの特徴は、他の特徴の対応する使用なしに使用されることは理解されるであろう。したがって、特定の状況又は内容を実質的な範囲及び趣旨に適合させるように、多くの修正を行うことができる。

【符号の説明】

【0041】

１００ マルチビューイメージングのためのシステム
１０２ 第１の複数のドローン
１０４ ドローンカメラ
１０６ 対象
１０８ 第２の複数のドローン
１１０ ドローンカメラ
１１２ 地上ベースのスウォームコントローラ
３０２ ２Ｄ眼「関心領域」
３０４ 虹彩
３０６ 白目
４００ マルチビューイメージングの方法
４０２ ビュー
４０４ 合成擬似３Ｄ画像
４０６ 画像
４０８ 一人称視点
４１０ 画像
５００ マルチビューイメージングのための方法
５０２ ＧＰドローンカメラが、移動している対象の「ＧＰ」画像を取り込む
５０４ 「ＧＰ」画像から頭部姿勢及び視線を計算し、ＦＰＶドローンに結果を送信する
５０６ ＦＰＶドローンが、受け取った頭部姿勢及び視線の結果に応答して、姿勢及び向きを調整する
５０８ ＦＰＶドローンカメラが、対象の環境の「ＦＰＶ」画像を取り込む
５１０ 「ＦＰＶ」画像を後処理して、対象を越える及び除く環境の一人称視点を生成する

【図1】

【図2】

【図3】

【図4】

【図5】