特許 7527546 人間関節を用いた無人航空機上のカメラの校正

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-26

(45)【発行日】2024-08-05

(54)【発明の名称】人間関節を用いた無人航空機上のカメラの校正

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240729BHJP

   B64C 39/02 20060101ALI20240729BHJP

   B64D 47/08 20060101ALI20240729BHJP

   G06T 7/00 20170101ALI20240729BHJP

   G06T 7/593 20170101ALI20240729BHJP

   G06T 7/70 20170101ALI20240729BHJP

   G06T 7/80 20170101ALI20240729BHJP

   G06V 10/82 20220101ALI20240729BHJP

【ＦＩ】

H04N23/60

B64C39/02

B64D47/08

G06T7/00 350C

G06T7/00 660B

G06T7/593

G06T7/70 Z

G06T7/80

G06V10/82

【請求項の数】 18

(21)【出願番号】P 2022534839

(86)(22)【出願日】2021-04-23

(65)【公表番号】

(43)【公表日】2023-02-14

(86)【国際出願番号】 US2021028762

(87)【国際公開番号】W WO2021216948

(87)【国際公開日】2021-10-28

【審査請求日】2022-06-08

(31)【優先権主張番号】16/856,511

(32)【優先日】2020-04-23

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニーグループ株式会社

(74)【代理人】

【識別番号】100092093

【弁理士】

【氏名又は名称】辻居 幸一

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(72)【発明者】

【氏名】田原 大資

(72)【発明者】

【氏名】ベレストフ アレクサンダー

【審査官】淀川 滉也

(56)【参考文献】

【文献】特開２０１９－０７９４８７（ＪＰ，Ａ）

【文献】特開２０１９－１０９２００（ＪＰ，Ａ）

【文献】国際公開第２０１８／０８３８４８（ＷＯ，Ａ１）

【文献】特表２０２０－５０７４３６（ＪＰ，Ａ）

【文献】特開２０１９－２０５０６６（ＪＰ，Ａ）

【文献】国際公開第２０２０／０３８７２０（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｂ６４Ｃ ３９／０２

Ｂ６４Ｄ ４７／０８

Ｇ０６Ｔ ７／８０

Ｇ０６Ｔ ７／５９３

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ １０／８２

Ｇ０６Ｔ ７／７０

(57)【特許請求の範囲】

【請求項1】

アンカーカメラ装置の組と、一群の無人航空機（ＵＡＶ）に搭載又は一体化された一群のカメラとに通信可能に結合された回路を備えたシステムであって、前記回路は、
前記アンカーカメラ装置の組から人間被写体のアンカー画像の組を受け取り、
３次元（３Ｄ）空間内の複数の地点において前記人間被写体を追跡するように制御された前記一群のカメラから、３次元（３Ｄ）空間における複数の地点からの前記人間被写体の一群の画像を受け取り、
前記受け取られたアンカー画像の組の各アンカー画像における前記人間被写体について人間関節の第１の２次元（２Ｄ）位置の組を決定し、
前記受け取られた一群の画像の各画像における前記人間被写体について前記人間関節の第２の２Ｄ位置の組を決定し、
前記決定された前記人間関節の第１の２Ｄ位置の組を使用した三角測量に基づいて、３Ｄ空間における前記人間関節の３Ｄ位置を３Ｄキーポイントとして計算し、
前記３Ｄキーポイントと前記決定された第２の２Ｄ位置の組との間の２Ｄ再投影誤差を決定し、
前記決定された２Ｄ再投影誤差を最小化することによって前記一群のカメラの各カメラを校正する、
ように構成され、
前記一群のＵＡＶに搭載又は一体化された一群のカメラの少なくとも１つのカメラは、赤外線（ＩＲ）マーカセンサの機能を有し、ＩＲマーカセンサは、３Ｄ空間内の所定の位置に取り付けられたＩＲ光の光源から放出された光を１又は２以上のＩＲ画像として追跡して取り込み、
前記回路は、前記１又は２以上のＩＲ画像に３Ｄ姿勢推定技術を適用して、ＩＲマーカセンサの機能を有するカメラを備えたＵＡＶの６自由度を含むカメラ校正のための標的パラメータを決定する
ことを特徴とするシステム。

【請求項2】

前記３Ｄ空間は、屋外空間、屋内空間、又はボリュメトリックキャプチャのためのスタジオ環境のうちの１つに関連する、
請求項１に記載のシステム。

【請求項3】

前記回路は、
前記一群のＵＡＶを前記３Ｄ空間における前記複数の地点において動くように制御し、
前記一群のＵＡＶに搭載又は一体化された前記一群のカメラを前記複数の地点から前記人間被写体の前記一群の画像を取得するように制御する、
ようにさらに構成される、請求項１に記載のシステム。

【請求項4】

前記アンカーカメラ装置の組は、前記ＵＡＶに搭載又は一体化されて、前記一群のカメラが固定姿勢に対して動いて前記一群の画像を取得するように制御されている間に前記固定姿勢を維持するように構成された、少なくとも１つのカメラを含む、
請求項３に記載のシステム。

【請求項5】

前記アンカーカメラ装置の組は、前記一群のカメラが前記一群の画像を取得するように制御されている間に前記３Ｄ空間における位置に固定される少なくとも１つの予め校正されたカメラを含む、
請求項３に記載のシステム。

【請求項6】

前記アンカーカメラ装置の組は、遠隔制御式カメラ移動アセンブリに移動可能に結合された少なくとも１つの予め校正されたカメラを含む、
請求項３に記載のシステム。

【請求項7】

前記回路は、前記３Ｄ空間における前記アンカーカメラ装置の組を、前記アンカー画像の組を取得するように制御するようさらに構成される、
請求項１に記載のシステム。

【請求項8】

前記回路は、前記受け取られたアンカー画像の組の各アンカー画像に機械学習（ＭＬ）モデルを適用することによって前記人間関節の前記第１の２Ｄ位置の組を決定するように構成され、ＭＬモデルは、人間関節検出フレームワークとして、２Ｄ人間関節検出タスクに基づいて訓練されたニューラルネットワークを含む、
請求項１に記載のシステム。

【請求項9】

前記回路は、前記受け取られた一群の画像の各画像にＭＬモデルを適用することによって前記人間関節の前記第２の２Ｄ位置の組を決定するように構成され、前記ＭＬモデルは、前記人間関節を検出するフレームワークとして、２Ｄ人間関節検出タスクに基づいて訓練されたニューラルネットワークを含む、
請求項１に記載のシステム。

【請求項10】

前記一群のカメラの各カメラの前記校正は、対応するカメラの３Ｄ姿勢の推定に対応し、
前記３Ｄ姿勢は、前記３Ｄ空間における対応するカメラの３Ｄ位置及び向きを含む、
請求項１に記載のシステム。

【請求項11】

前記回路は、対応するカメラの内部校正パラメータの値にさらに基づいて前記一群のカメラの各カメラを校正するように構成される、
請求項１に記載のシステム。

【請求項12】

アンカーカメラ装置の組から人間被写体のアンカー画像の組を受け取るステップと、
３次元（３Ｄ）空間内の複数の地点において前記人間被写体を追跡するように制御された一群のＵＡＶに搭載又は一体化された一群のカメラから、３次元（３Ｄ）空間における複数の地点からの前記人間被写体の一群の画像を受け取るステップと、
前記受け取られたアンカー画像の組の各アンカー画像における前記人間被写体について人間関節の第１の２次元（２Ｄ）位置の組を決定するステップと、
前記受け取られた一群の画像の各画像における前記人間被写体について前記人間関節の第２の２Ｄ位置の組を決定するステップと、
前記決定された前記人間関節の第１の２Ｄ位置の組を使用した三角測量に基づいて、３Ｄ空間における前記人間関節の３Ｄ位置を３Ｄキーポイントとして計算するステップと、
前記３Ｄキーポイントと前記決定された第２の２Ｄ位置の組との間の２Ｄ再投影誤差を決定するステップと、
前記決定された２Ｄ再投影誤差を最小化することによって前記一群のカメラの各カメラを校正するステップと、
を含み、
前記一群のＵＡＶに搭載又は一体化された一群のカメラの少なくとも１つのカメラは、赤外線（ＩＲ）マーカセンサの機能を有し、ＩＲマーカセンサは、３Ｄ空間内の所定の位置に取り付けられたＩＲ光の光源から放出された光を１又は２以上のＩＲ画像として追跡して取り込み、
前記１又は２以上のＩＲ画像に３Ｄ姿勢推定技術を適用して、ＩＲマーカセンサの機能を有するカメラを備えたＵＡＶの６自由度を含むカメラ校正のための標的パラメータを決定する
ことを特徴とする方法。

【請求項13】

前記一群のＵＡＶを前記３Ｄ空間における前記複数の地点において動くように制御するステップと、
前記一群のＵＡＶに搭載又は一体化された前記一群のカメラを前記複数の地点から前記人間被写体の前記一群の画像を取得するように制御するステップと、
をさらに含む請求項１２に記載の方法。

【請求項14】

前記受け取られたアンカー画像の組の各アンカー画像に機械学習（ＭＬ）モデルを適用することによって前記人間関節の前記第１の２Ｄ位置の組を決定するステップと、
前記受け取られた一群の画像の各画像にＭＬモデルを適用することによって前記人間関節の前記第２の２Ｄ位置の組を決定するステップと、
をさらに含み、ＭＬモデルは、人間関節検出フレームワークとして、２Ｄ人間関節検出タスクに基づいて訓練されたニューラルネットワークを含む、
請求項１２に記載の方法。

【請求項15】

各カメラの前記校正は、対応するＵＡＶの３Ｄ姿勢の推定に対応し、
前記３Ｄ姿勢は、前記３Ｄ空間における対応するＵＡＶの３Ｄ位置及び向きを含む、
請求項１２に記載の方法。

【請求項16】

前記一群のＵＡＶのうちの少なくとも１つのＵＡＶは位置センサを含み、
前記位置センサは、全地球的航法衛星システム（ＧＮＳＳ）受信機、慣性測定装置（ＩＭＵ）、感知カメラ、赤外線マーカセンサ、又はパターンコードスキャナのうちの１つである、
請求項１２に記載の方法。

【請求項17】

対応するカメラ付きＵＡＶの前記位置センサから取得された絶対位置情報にさらに基づいて前記一群のＵＡＶの各ＵＡＶを校正するステップをさらに含む、
請求項１６に記載の方法。

【請求項18】

システム内のコンピュータによって実行された時に前記システムに動作を実行させるコンピュータ実装命令を記憶した非一時的コンピュータ可読媒体であって、前記動作は、
アンカーカメラ装置の組から人間被写体のアンカー画像の組を受け取ることと、
３次元（３Ｄ）空間内の複数の地点において前記人間被写体を追跡するように制御された一群のＵＡＶに搭載又は一体化された一群のカメラから、３次元（３Ｄ）空間における複数の地点からの前記人間被写体の一群の画像を受け取ることと、
前記受け取られたアンカー画像の組の各アンカー画像における前記人間被写体について人間関節の第１の２次元（２Ｄ）位置の組を決定することと、
前記受け取られた一群の画像の各画像における前記人間被写体について前記人間関節の第２の２Ｄ位置の組を決定することと、
前記決定された前記人間関節の第１の２Ｄ位置の組を使用した三角測量に基づいて、３Ｄ空間における前記人間関節の３Ｄ位置を３Ｄキーポイントとして計算することと、
前記３Ｄキーポイントと前記決定された第２の２Ｄ位置の組との間の２Ｄ再投影誤差を決定することと、
前記決定された２Ｄ再投影誤差を最小化することによって前記一群のカメラの各カメラを校正することと、
前記一群のＵＡＶに搭載又は一体化された一群のカメラの少なくとも１つのカメラが有するＩＲマーカセンサが、３Ｄ空間内の所定の位置に取り付けられたＩＲ光の光源から放出された光を１又は２以上のＩＲ画像として追跡して取り込むことと、
前記１又は２以上のＩＲ画像に３Ｄ姿勢推定技術を適用して、前記ＩＲマーカセンサの機能を有するカメラを備えたＵＡＶの６自由度を含むカメラ校正のための標的パラメータを決定することと
を含むことを特徴とする非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

〔関連出願との相互参照／引用による組み入れ〕
なし

【0002】

本開示の様々な実施形態はカメラ校正に関する。具体的には、本開示の様々な実施形態は、無人航空機（ＵＡＶ）に搭載又は一体化されたカメラを人間関節を使用して校正するシステム及び方法に関する。

【背景技術】

【0003】

カメラ校正には、チェッカーボードパターンなどの様々な２次元パターンが使用される。このようなパターンの使用によるカメラ校正は正確な校正結果をもたらすことができるが、これらの技術には時間がかかるとともに、かなり多くの手動労力が必要になることもある。例えば、このようなカメラ校正技術を適用すると、ポイントマッチング問題（ｐｏｉｎｔ－ｍａｔｃｈｉｎｇ ｐｒｏｂｌｅｍ）が生じやすくなる場合もある。

【発明の概要】

【発明が解決しようとする課題】

【0004】

当業者には、説明したシステムと、本出願の残り部分において図面を参照しながら示す本開示のいくつかの態様とを比較することにより、従来の慣習的な手法のさらなる限界及び不利点が明らかになるであろう。

【課題を解決するための手段】

【0005】

実質的に少なくとも１つの図に関連して図示及び／又は説明し、特許請求の範囲にさらに完全に示すような、無人航空機（ＵＡＶ）に搭載又は一体化されたカメラを人間関節を使用して校正するシステム及び方法を提供する。

【0006】

全体を通じて同じ要素を同じ参照符号によって示す添付図面を参照しながら本開示の以下の詳細な説明を検討することにより、本開示のこれらの及びその他の特徴及び利点を理解することができる。

【図面の簡単な説明】

【0007】

【図1】本開示の実施形態による、一群のＵＡＶに搭載又は一体化された一群のカメラを人間関節を使用して校正する例示的なネットワーク環境を示すブロック図である。

【図2】本開示の実施形態による、一群のＵＡＶに搭載又は一体化された一群のカメラを校正する例示的なシステムを示すブロック図である。

【図3】本開示の実施形態による例示的なＵＡＶを示すブロック図である。

【図4】本開示の実施形態による、人間被写体の画像を取得するためのＵＡＶに搭載又は一体化されたカメラ及びアンカーカメラ装置の例示的な実装を説明する図である。

【図5】本開示の実施形態による、人間被写体の画像を取得するためのＵＡＶに搭載又は一体化されたカメラ及びアンカーカメラ装置の例示的な実施態様を示す図である。

【図6】本開示の実施形態による、人間関節に基づいてＵＡＶ上のカメラを校正する例示的な動作を示す図である。

【図7】本開示の実施形態による、ＵＡＶに搭載又は一体化された一群のカメラを校正する例示的な動作を示すフローチャートである。

【発明を実施するための形態】

【0008】

無人航空機（ＵＡＶ）に搭載又は一体化された一群のカメラの人間関節を用いた自動校正のための開示するシステム及び方法では、後述する実装を見出すことができる。本開示の例示的な態様は、３Ｄ空間内で特定の既知の位置及び向きに予め校正して固定できるアンカーカメラの組を提供する。さらに、一群のカメラは、一群のＵＡＶの各ＵＡＶに搭載又は一体化することができる。一群のカメラは、並進パラメータ及び回転パラメータなどの外部カメラパラメータについて予め校正されていないこともある。アンカーカメラの組及び一群のＵＡＶは、３Ｄ空間内で人間被写体を取り囲むことができる。アンカーカメラの組によって取り込まれた人間被写体のアンカー画像の組から、人間関節の第１の２次元（２Ｄ）位置の組を決定することができる。さらに、複数の３次元（３Ｄ）地点から一群のカメラによって取り込まれた人間被写体の一群の画像から、人間関節の第２の２Ｄ位置の組を決定することができる。システムは、決定された第１の２Ｄ位置の組の三角測量に基づいて、人間関節の３Ｄ位置としての３Ｄキーポイントを計算し、３Ｄキーポイントと第２の２Ｄ位置の組との間の２Ｄ再投影誤差を最小化することによってアンカーカメラの組又はゲージに関して一群のカメラの各々（すなわち、外部及び／又は内部パラメータ）を校正することができる。

【0009】

人間関節をカメラ校正に使用することで、チェッカーボードなどの２Ｄパターンを使用する従来の校正方法で典型的に発生するポイントマッチング問題を発生しにくくすることができる。また、人間関節を校正に使用することで、未校正カメラの前にチェッカーボードなどの校正パターンを手動で配置する必要性を排除することもできる。

【0010】

図１は、本開示の実施形態による、一群のＵＡＶに搭載又は一体化された一群のカメラを人間関節を使用して校正する例示的なネットワーク環境を示すブロック図である。図１にはネットワーク環境１００を示す。ネットワーク環境１００は、システム１０２と、システム１０２に含めることができる機械学習（ＭＬ）モデル１０４とを含むことができる。ネットワーク環境１００は、アンカーカメラ装置の組１０６と、一群のＵＡＶ１０８と、通信ネットワーク１１０とをさらに含むことができる。例えば、図示のように、アンカーカメラ装置の組１０６は、第１のアンカーカメラ装置１０６ａ及び第２のアンカーカメラ装置１０６ｂを含むことができる。同様に、一群のＵＡＶ１０８は、第１のＵＡＶ１０８ａ及び第２のＵＡＶ１０８ｂを含むことができ、これらの両方には、第１のＵＡＶ１０８ａのための第１のカメラ１１２ａ及び第２のＵＡＶ１０８ｂのための第２のカメラ１１２ｂなどのカメラを取り付けることができる。第１のカメラ１１２ａ及び第２のカメラ１１２ｂは、集合的に一群のカメラ１１２と呼ぶことができる。システム１０２は、アンカーカメラ装置の組１０６及び一群のＵＡＶ１０８に通信ネットワーク１１０を介して通信可能に結合することができる。

【0011】

さらに、アンカーカメラ装置の組及び一群のＵＡＶ１０８を配置できる３Ｄ環境の一部としての３次元（３Ｄ）空間１１４も示す。３Ｄ空間１１４内には、アンカーカメラ装置の組１０６及び一群のＵＡＶ１０８によって取り囲まれた人間被写体１１６も示す。アンカーカメラ装置の組１０６及び一群のＵＡＶ１０８は、３Ｄ空間１１４内の複数の地点に（例えば、まばらに）配置することができ、人間被写体１１６の身体の少なくとも前側又は後側をカバーできる複合視野（ＦｏＶ）を有するマルチスキャナネットワークを集合的に形成することができる。人間被写体１１６は、他の物体を含むこともできるシーンの前景の一部とすることができ、本開示では簡潔さのためにこれらの物体の詳細及び図については省略する。

【0012】

なお、図１のアンカーカメラ装置の組１０６及び一群のＵＡＶ１０８に関連するカメラの位置、向き、配置及び数は一例として示すものにすぎず、本開示を限定するものとして解釈すべきではない。本開示は、その範囲から逸脱することなく、他の位置、向き、配置、並びにこれより多くの又は少ない数のアンカーカメラ装置及びＵＡＶにも適用可能である。

【0013】

システム１０２は、一群のＵＡＶ１０８のそれぞれのＵＡＶに搭載又は一体化されたそれぞれのカメラを人間被写体１１６の人間関節に関連する情報を使用して校正するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。システム１０２の実装例としては、以下に限定するわけではないが、ビデオ放送システム、拡張現実ベースの装置、ゲーム装置、ビデオ処理装置、ビデオ編集システム、メディア制作システム、コンピュータワークステーション、メインフレームコンピュータ、携帯電話機、スマート家電、ビデオプレーヤ、デジタルカメラ、ビデオカメラ、サーバ、消費者電子（ＣＥ）装置、及び／又は画像処理能力を有する他のいずれかのコンピュータ装置を挙げることができる。

【0014】

ＭＬモデル１０４は、２Ｄ人間関節検出タスクに基づいて訓練できるニューラルネットワークなどの人間関節検出フレームワークに対応することができる。例えば、ＭＬモデル１０４は、人間被写体１１６の画像を受け取ってこの画像から各人間関節について一定の信頼度スコアで人間関節を検出する訓練済みニューラルネットワークを含むことができる。ＭＬモデル１０４は、例えばソフトウェアコンポーネントとして実装されてコードデータベース、ライブラリ、外部スクリプト、或いはシステム１０２などのコンピュータシステムによるＭＬアルゴリズムの実行のためのその他のロジック又は命令に依拠することができる電子データを含むことができる。ＭＬモデル１０４は、システム１０２などのコンピュータシステムが人間被写体１１６の画像から人間関節検出を実行することを可能にするように構成されたコード及びルーチンとして実装することができる。これに加えて又はこれに代えて、ＭＬモデル１０４は、プロセッサ、（例えば、１又は２以上の動作の実行又はその性能の制御を行う）マイクロプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は特定用途向け集積回路（ＡＳＩＣ）を含むハードウェアを使用して実装することもできる。他のいくつかの事例では、ハードウェア及びソフトウェアの両方の組み合わせを使用してＭＬモデル１０４を実装することができる。

【0015】

ある実施形態によれば、ＭＬモデル１０４をニューラルネットワークモデルとすることができる。ニューラルネットワークモデルの例としては、以下に限定するわけではないが、ディープニューラルネットワーク（ＤＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、再帰型ニューラルネットワーク（ＲＮＮ）、ＣＮＮ－再帰型ニューラルネットワーク（ＣＮＮ－ＲＮＮ）、Ｒ－ＣＮＮ、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、人工ニューラルネットワーク（ＡＮＮ）、（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）ＹＯＬＯネットワーク、長・短期記憶（ＬＳＴＭ）ネットワークベースのＲＮＮ、ＣＮＮ＋ＡＮＮ、ＬＳＴＭ＋ＡＮＮ、ゲート付き再帰型ユニット（ＧＲＵ）ベースのＲＮＮ、全結合ニューラルネットワーク、Ｃｏｎｎｅｃｔｉｏｎｉｓｔ Ｔｅｍｐｏｒａｌ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ（ＣＴＣ）ベースのＲＮＮ、ディープベイズニューラルネットワーク、敵対的生成ネットワーク（ＧＡＮ）、及び／又はこれらのネットワークの組み合わせなどを挙げることができる。いくつかの実施形態では、ニューラルネットワークモデルが、複数のディープニューラルネットワーク（ＤＮＮ）のハイブリッドアーキテクチャに基づくことができる。

【0016】

アンカーカメラ装置の組１０６の各々は、人間被写体１１６を含むことができる画像又は複数の画像を取り込むように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。各アンカーカメラ装置は、３Ｄ空間１１４内の一定の位置に固定することができる。例えば、アンカーカメラ装置は、壁又は屋根の所定の位置に固定することができる。アンカーカメラ装置の実装例としては、以下に限定するわけではないが、３Ｄ空間１１４内の予め校正された固定カメラ、３Ｄ空間１１４内の固定姿勢を維持するように構成できる、ＵＡＶに搭載又は一体化された予め校正されたカメラ、又は遠隔制御式カメラ移動アセンブリに移動可能に結合できる予め校正されたカメラなどを挙げることができる。

【0017】

一群のＵＡＶ１０８の各ＵＡＶは、（最初は校正されていない）カメラを取り付けることができるＵＡＶを含むことができる。さらに、各ＵＡＶは、遠隔システムによって制御することも、又は予めプログラムされたルート又は経路に基づいて自律飛行可能なものとすることもできる。少なくとも１つの実施形態では、各ＵＡＶが、３Ｄ空間１１４内で自機を位置合わせして、それぞれのＵＡＶに取り付けられたカメラのＦＯＶ領域内に常に人間被写体１１６が存在するように人間被写体１１６を追跡する人間追跡法を実装することができる。少なくとも１つの実施形態では、各ＵＡＶを、システム１０２の一部とすることができる中央制御ステーションから人間のパイロットが制御することができる。

【0018】

ある実施形態によれば、一群のＵＡＶ１０８の各々（例えば、第１のＵＡＶ１０８ａ及び第２のＵＡＶ１０８ｂ）は、通信ネットワーク１１０を介してシステム１０２から制御命令を受け取ることができる。制御命令は、一群のＵＡＶ１０８のうちの１つ又は２つ以上が３Ｄ空間１１４内で移動できる３Ｄ位置（Ｘ軸、Ｙ軸又はＺ軸）又は３Ｄ経路を含むことができる。いくつかの実施形態では、このような命令が、３Ｄ空間１１４内の各ＵＡＶの３Ｄ姿勢に関連することができる傾斜又は配向情報を含むことができる。一群のＵＡＶ１０８は、システム１０２から受け取られた制御命令に基づいて、自機の傾斜角又は向き、及び垂直配列又は水平配列を制御することができる。ＵＡＶの例としては、以下に限定するわけではないが、カメラドローン、カメラ付きスマートプレーン、又は（システム１０２などによって）予めプログラムされた飛行計画及び／又は自動化システムに基づいて制御できる他の飛行車両を挙げることができる。ＵＡＶの例は、フレームタイプ及びモータの数に基づいて、以下に限定するわけではないが、３つのアーム及び１つのモータを有するトライコプター、４つのアーム及び１つのモータを有するクアッドコプター、６つのアーム及び１つのモータを有するヘキサコプター、６つのアーム及び６つのモータを有するＹ６コプター、８つのアーム及び１つのモータを有するオクトコプター、及び／又は８つのアーム及び８つのモータを有するＸ８コプターなどを含むことができる。

【0019】

第１のカメラ１１２ａ及び第２のカメラ１１２ｂの各々は、人間被写体１１６を含むことができる１又は複数の画像を取り込むように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。第１のカメラ１１２ａ及び第２のカメラ１１２ｂの各々は、ＵＡＶに搭載又は一体化することができる。第１のカメラ１１２ａ及び第２のカメラ１１２ｂの例としては、以下に限定するわけではないが、一眼レフカメラ、デジタル一眼レフカメラ、スタジオ又は放送グレードカメラ、高速カメラ、広角カメラ、アクションカメラ、閉回路テレビ（ＣＣＴＶ）カメラ、カムコーダ、デジタルカメラ、カメラ電話、飛行時間カメラ（ＴｏＦカメラ）、暗視カメラ、及び／又はその他の画像取り込み装置を挙げることができる。

【0020】

通信ネットワーク１１０は、システム１０２、アンカーカメラ装置の組１０６及び一群のＵＡＶ１０８が互いに通信できるようにする通信媒体を含むことができる。通信ネットワーク１１０の例としては、以下に限定するわけではないが、インターネット、クラウドネットワーク、ワイヤレスフィデリティ（Ｗｉ－Ｆｉ）ネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、又はメトロポリタンエリアネットワーク（ＭＡＮ）を挙げることができる。ネットワーク環境１００内の様々な装置は、様々な有線及び無線通信プロトコルに従って通信ネットワーク１１０に接続するように構成することができる。このような有線及び無線通信プロトコルの例としては、以下に限定するわけではないが、伝送制御プロトコル・インターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ファイル転送プロトコル（ＦＴＰ）、Ｚｉｇ Ｂｅｅ、ＥＤＧＥ、ＩＥＥＥ ８０２．１１、ライトフィデリティ（Ｌｉ－Ｆｉ）、８０２．１６、ＩＥＥＥ ８０２．１１ｓ、 ＩＥＥＥ ８０２．１１ｇ、マルチホップ通信、無線アクセスポイント（ＡＰ）、装置間通信、セルラー通信プロトコル、及びＢｌｕｅｔｏｏｔｈ（ＢＴ）通信プロトコルなどを挙げることができる。

【0021】

説明する実施形態では、３Ｄ空間１１４を、人間被写体１１６の画像を複数の地点から取り込むことができる構築環境（例えば、屋内、屋外又はスタジオ空間）又は自然環境とすることができる。

【0022】

システム１０２は、動作時にシステム１０２のユーザインターフェイスを通じてユーザ（人間被写体１１６又は別の人間オペレータなど）からユーザ入力を受け取ることができる。ユーザ入力は、一群のＵＡＶ１０８に搭載又は一体化された（第１のカメラ１１２ａ及び第２のカメラ１１２ｂなどの）各カメラを校正するようにシステム１０２に命令することができる。

【0023】

一群のＵＡＶ１０８上のこのようなカメラの校正プロセスを初期化するために、アンカーカメラ装置の組１０６及び一群のＵＡＶ１０８に搭載又は一体化されたカメラ（第１のカメラ１１２ａ及び第２のカメラ１１２ｂ）から画像を取得することができる。その後、システム１０２は、アンカーカメラ装置の組１０６から人間被写体１１６のアンカー画像の組を受け取ることができる。また、システム１０２は、一群のＵＡＶ１０８に搭載又は一体化されたカメラから人間被写体１１６の一群の画像を受け取ることもできる。受け取られる一群の画像は、３Ｄ空間１１４内の複数の地点から取得することができる。例えば、一群の画像のうちの第１の数の画像を第１のカメラ１１２ａが取り込み、残りの数の画像を第２のカメラ１１２ｂが取り込むことができる。

【0024】

システム１０２は、受け取られたアンカー画像の組の各アンカー画像内の人間被写体１１６の人間関節の第１の２Ｄ位置の組を決定することができる。アンカーカメラ装置の各々は、予め校正して３Ｄ空間１１４内の既知の位置に固定しておくことができるので、アンカーカメラ装置の組１０６によって取り込まれたアンカー画像の組は、物体のキーポイントの正確な位置（例えば、人間関節の２Ｄ位置）を含むことができる。本開示では、人間関節の位置を、３Ｄ空間１１４内の剛直で明確な点（ｒｉｇｉｄ ａｎｄ ａｒｔｉｃｕｌａｔｅ ｐｏｉｎｔｓ）として取り扱うことができる。また、実験結果に基づいて人間関節間の距離を設定することもできる。システム１０２は、受け取られた一群の画像の各画像内の人間被写体１１６の人間関節の第２の２Ｄ位置の組をさらに決定することができる。ある実施形態では、システム１０２が、ＭＬモデル１０４を使用してアンカー画像の組から第１の２Ｄ位置の組を決定し、一群の画像から第２の２Ｄ位置の組を決定することができる。ＭＬモデル１０４の実装例としては、以下に限定するわけではないが、Ｏｐｅｎ Ｐｏｓｅ、Ａｌｐｈａ Ｐｏｓｅ、及びマスク領域－畳み込みニューラルネットワーク（Ｒ－ＣＮＮ）を挙げることができる。

【0025】

システム１０２は、決定された人間関節の第１の２Ｄ位置の組を使用した（例えば、幾何学的三角測量法を使用した）三角測量に基づいて、３Ｄ空間１１４内の人間関節の３Ｄ位置を３Ｄキーポイントとしてさらに計算することができる。さらに、システム１０２は、３Ｄキーポイントと決定された第２の２Ｄ位置の組との間の２Ｄ再投影誤差を決定することができる。システム１０２は、決定された２Ｄ再投影誤差を最小化することによって一群のＵＡＶ１０８のそれぞれのＵＡＶ上の各カメラを校正することができる。例えば、第１のカメラ１１２ａを校正するには、第１のＵＡＶ１０８ａに搭載又は一体化された第１のカメラ１１２ａの画像平面上に３Ｄキーポイントを再投影することができる。その後、各再投影された３Ｄキーポイントと対応する人間関節の２Ｄ位置との間の再投影誤差を決定することができる。再投影誤差を最小化するために、目的関数を定式化して解くことができる。同様に、第２のカメラ１１２ｂについても上述した方法を繰り返すことができる。一群のＵＡＶ１０８の各ＵＡＶ上のカメラは最初に校正されていないことがあるので、カメラの３Ｄキーポイントベースのカメラ校正の結果、一群のＵＡＶ１０８のそれぞれのＵＡＶに取り付けられた各カメラの外部校正パラメータの値（すなわち、３Ｄ姿勢）を推定することができる。

【0026】

ＭＬモデル１０４に基づく人間被写体１１６の人間関節の２Ｄ位置の検出は、誤差が少なく手動入力を必要としないことができる。さらに、システム１０２は、チェッカーボードパターンなどの従来の２Ｄパターンを使用する従来のカメラ校正技術に基づいて計算できるキーポイントの数と比べて多くの３Ｄキーポイントを計算することができる。このようなカメラ校正技術は、数多くの３Ｄキーポイントに対する１又は２以上の統計的手法の使用によって、ポイントミスマッチエラーが存在してもこれが抑制されるため、ポイントミスマッチ問題を発生しにくくすることができる。また、人間関節を校正に使用することで、チェッカーボードなどの校正パターンを手動で配置する必要性を排除することもできる。

【0027】

図２は、本開示の実施形態による、一群のＵＡＶに搭載又は一体化された一群のカメラを校正する例示的なシステムを示すブロック図である。図２の説明は図１の要素に関連して行う。図２にはシステム１０２のブロック図２００を示す。システム１０２は、回路２０２、メモリ２０４、入力／出力（Ｉ／Ｏ）装置２０６、及びネットワークインターフェイス２０８を含むことができる。回路２０２は、メモリ２０４、Ｉ／Ｏ装置２０６及びネットワークインターフェイス２０８に通信可能に結合することができる。また、回路２０２は、通信ネットワーク１１０を通じてアンカーカメラ装置の組１０６、及び一群のＵＡＶ１０８に搭載又は一体化された一群のカメラ１１２に通信可能に結合することができる。図２に示すように、一群のＵＡＶ１０８は、第１のカメラ１１２ａを有することができる第１のＵＡＶ１０８ａと、及び第２のカメラ１１２ｂを有することができる第２のＵＡＶ１０８ｂとを含むことができる。また、図示のアンカーカメラ装置の組１０６は、第１のアンカーカメラ装置１０６ａ及び第２のアンカーカメラ装置１０６ｂを含む。

【0028】

回路２０２は、メモリ２０４に記憶された命令を実行するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。実行される命令は、一群のＵＡＶ１０８に搭載又は一体化された（第１のカメラ１１２ａ及び第２のカメラ１１２ｂなどの）一群のカメラ１１２の各カメラを校正するための一連の制御動作に対応することができる。回路２０２は、当業で周知のプロセッサ技術に基づいて実装することができる。回路２０２の例としては、以下に限定するわけではないが、グラフィックプロセッサユニット（ＧＰＵ）、コプロセッサ、中央処理装置（ＣＰＵ）、ｘ８６ベースのプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピューティング（ＣＩＳＣ）プロセッサ、及びこれらの組み合わせを挙げることができる。

【0029】

メモリ２０４は、回路２０２が実行できる命令を記憶するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。また、メモリ２０４は、アンカー画像の組及び人間被写体１１６の一群の画像を記憶するように構成することができる。メモリ２０４は、アンカー画像の組から人間関節の第１の２Ｄ位置の組を決定し、一群の画像から人間関節の第２の２Ｄ位置の組を決定するために使用できるＭＬモデル１０４を記憶するようにさらに構成することができる。また、メモリ２０４は、計算された３ＤキーポイントのＸ、Ｙ及びＺ座標を記憶することもできる。メモリ２０４の実装例としては、以下に限定するわけではないが、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、電気的に消去可能なプログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、固体ドライブ（ＳＳＤ）、ＣＰＵキャッシュ、及び／又はセキュアデジタル（ＳＤ）カードなどを挙げることができる。

【0030】

Ｉ／Ｏ装置２０６は、ユーザから入力を受け取り、受け取った入力に基づいてユーザに出力を提供するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。Ｉ／Ｏ装置２０６は、回路２０２と通信するように構成できる様々な入力装置及び出力装置を含むことができる。入力装置の例としては、限定するわけではないが、タッチ画面、キーボード及び／又はマウスを挙げることができる。出力装置の例としては、限定するわけではないが、ディスプレイ及びオーディオ装置を挙げることができる。

【0031】

ネットワークインターフェイス２０８は、通信ネットワーク１１０を介してシステム１０２、アンカーカメラ装置の組１０６、一群のカメラ１１２及び一群のＵＡＶ１０８間の通信を確立するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。ネットワークインターフェイス２０８は、システム１０２による通信ネットワーク１１０を介した有線又は無線通信をサポートする様々な既知の技術の使用によって実装することができる。ネットワークインターフェイス２０８は、以下に限定するわけではないが、アンテナ、無線周波数（ＲＦ）トランシーバ、１又は２以上の増幅器、チューナ、１又は２以上の発振器、デジタルシグナルプロセッサ、コーダーデコーダ（ＣＯＤＥＣ）チップセット、加入者アイデンティティモジュール（ＳＩＭ）カード、及び／又はローカルバッファを含むことができる。

【0032】

ネットワークインターフェイス２０８は、インターネット、イントラネット、及び／又は携帯電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）及び／又はメトロポリタンエリアネットワーク（ＭＡＮ）などの無線ネットワークなどのネットワークと無線通信を介して通信することができる。無線通信は、グローバルシステムフォーモバイルコミュニケーションズ（ＧＳＭ）、拡張データＧＳＭ環境（ＥＤＧＥ）、広帯域符号分割多重アクセス（Ｗ－ＣＤＭＡ）、ロングタームエボリューション（ＬＴＥ）、符号分割多重アクセス（ＣＤＭＡ）、時分割多重アクセス（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ、（ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｇ及び／又はＩＥＥＥ８０２．１１ｎなどの）ワイヤレスフィデリティ（ＷｉＦｉ）、ボイスオーバーインターネットプロトコル（ＶｏＩＰ）、ライトフィデリティ（Ｌｉ－Ｆｉ）、Ｗｉ－ＭＡＸ、電子メール、インスタントメッセージング及び／又はショートメッセージサービス（ＳＭＳ）のためのプロトコルなどの複数の通信標準、プロトコル及び技術のうちのいずれかを使用することができる。

【0033】

図１で説明したようなシステム１０２によって実行される機能又は動作は、回路２０２によって実行することができる。回路２０２によって実行される動作については、例えば図４、図５及び図６で詳細に説明する。

【0034】

図３は、本開示の実施形態による例示的なＵＡＶのブロック図である。図３の説明は図１及び図２の要素に関連して行う。図３には、一群のＵＡＶ１０８のうちの１つのＵＡＶとすることができる第１のＵＡＶ１０８ａのブロック図３００を示す。第１のＵＡＶ１０８ａは、回路３０２、メモリ３０４、Ｉ／Ｏ装置３０６、位置センサ３０８、推進システム３１０、及びネットワークインターフェイス３１２を含むことができる。推進システム３１０は、モータ３１４、プロペラ３１６、電子速度コントローラ（ＥＳＣ）３１８、及びバッテリ３２０を含むことができる。当業者であれば、第１のＵＡＶ１０８ａは、本開示の機能及び動作を説明するために本明細書に示すコンポーネント又はシステムに加えて他の好適なコンポーネント又はシステムを含むこともできると理解するであろう。第１のＵＡＶ１０８ａの他のコンポーネント又はシステムに関する詳細な説明については、簡潔さのために本開示からは省略する。

【0035】

第１のＵＡＶ１０８ａ及びシステム１０２は、通信ネットワーク１１０を介して互いに通信可能に結合することができる。第１のカメラ１１２ａは、３Ｄ空間１１４内で６自由度（ＤＯＦ）などの様々なＤＯＦを有することができるように第１のＵＡＶ３０８ａに搭載又は一体化されるように構成することができる。第１のＵＡＶ１０８ａのブロック図３００に示す回路３０２、メモリ３０４、Ｉ／Ｏ装置３０６及びネットワークインターフェイス３１２の機能は、例えば図２で説明した回路２０２メモリ２０４、Ｉ／Ｏ装置２０６及びネットワークインターフェイス２０８の機能と同じものであることができる。従って、回路３０２、メモリ３０４、Ｉ／Ｏ装置３０６及びネットワークインターフェイス３１２の説明については、簡潔さのために本開示からは省略する。

【0036】

位置センサ３０８は、３Ｄ空間１１４内の第１のＵＡＶ１０８ａの現在位置を決定するように構成できる好適なロジック、回路、インターフェイス及び／又はコードを含むことができる。少なくとも１つの実施形態では、位置センサ３０８が、３Ｄ空間１１４内の（ピッチ軸、ロール軸又はヨー軸に沿った）向きを決定することもできる。位置センサ３０８は、第１のＵＡＶ１０８ａの現在の位置及び／又は向きを回路３０２及び／又はシステム１０２に伝えることができる。回路３０２及び／又はシステム１０２は、伝えられた第１のＵＡＶ１０８ａの現在の位置及び／又は向きに基づいて第１のＵＡＶ１０８ａの位置及び／又は向きを制御することができる。位置センサ３０８の例としては、以下に限定するわけではないが、全地球的航法衛星システム（ＧＮＳＳ）受信機、モーションセンサ、チルトセンサ、加速度計、ジャイロセンサ、慣性測定ユニット（ＩＭＵ）又は感知カメラを挙げることができる。

【0037】

ある実施形態では、位置センサ３０８を赤外線（ＩＲ）マーカセンサ又はパターンコードスキャナとして実装することができる。ＩＲマーカセンサの場合には、３Ｄ空間１１４内の所定の位置にＩＲ光の光源を取り付けることができる。光源は、周期的点滅で又は連続的にＩＲ光を放出することができ、第１のＵＡＶ１０８ａに搭載又は一体化された第１のカメラ１１２ａは、放出されたＩＲ光を１又は２以上のＩＲ画像として追跡して取り込むことができる。その後、回路３０２は、１又は２以上のＩＲ画像に３Ｄ姿勢推定技術（例えば、Ｐｏｓｅ ｆｒｏｍ Ｏｒｔｈｏｇｒａｐｈｙ ａｎｄ Ｓｃａｌｉｎｇ ｗｉｔｈ Ｉｔｅｒａｔｉｏｎ（ＰＯＳＩＴ）法）を適用して、ＩＲ光の光源に対する第１のＵＡＶ１０８ａの位置及び／又は向きを決定することができる。いくつかのシナリオでは、予め決定されたＩＲ光の光源の位置が既知であり、これを第１のＵＡＶ１０８ａのメモリ３０４に記憶することができる。このようなシナリオでは、回路３０２が、予め決定されたＩＲ光の光源の位置と、決定された第１のＵＡＶ１０８ａの位置及び／又は向きとに基づいて、第１のＵＡＶ１０８ａの絶対位置及び／又は絶対的な向きを決定することができる。

【0038】

パターンコードスキャナの場合には、３Ｄ空間１１４内の所定の位置にＱＲコードマーカ又はバーコードマーカなどのパターンコードマーカを配置することができる。第１のカメラ１１２ａは、パターンコードマーカを追跡してパターンコードマーカの画像を取り込むことができる。メモリ３０４は、パターンコードマーカの参照画像及びパターンコードマーカの所定の位置を記憶することができる。回路３０２は、取り込まれた画像を参照画像と比較して、パターンコードマーカに対する第１のＵＡＶ１０８ａの位置及び／又は向きを決定することができる。また、回路３０２は、パターンコードマーカの所定の位置と、決定された第１のＵＡＶ１０８ａの位置及び／又は向きとに基づいて、第１のＵＡＶ１０８ａの絶対位置及び／又は絶対的な向きを決定することができる。

【0039】

推進システム３１０は、３Ｄ空間１１４内の２つの位置間で第１のＵＡＶ１０８ａを動かすための揚力及び推力を生成できる機械、電気又は燃料ベースの一連のコンポーネントを含むことができる。推進システム３１０は、回路３０２又はシステム１０２から受け取られた１又は２以上の制御命令に基づいて第１のＵＡＶ１０８ａの動きを制御することができる。推進システム３１０は、モータ３１４、プロペラ３１６、ＥＳＣ３１８及びバッテリ３２０をさらに含むことができる。

【0040】

（回路３０２などの）回路、（メモリ３０４などの）メモリ、（Ｉ／Ｏ装置３０６などの）Ｉ／Ｏ装置、（位置センサ３０８など）の位置センサ、（推進システム３１０などの）推進システム及び（ネットワークインターフェイス３１２などの）ネットワークインターフェイスは、一群のＵＡＶ１０８の他のＵＡＶにも含めることができる。ある実施形態では、第１のＵＡＶ１０８ａがマスターＵＡＶとして機能することができ、他のＵＡＶが、マスターＵＡＶから１又は２以上の制御命令を受け取ることができるスレーブＵＡＶとして機能することができる。

【0041】

図４は、本開示の実施形態による、人間被写体の画像を取得するためのＵＡＶに搭載又は一体化されたカメラ及びアンカーカメラ装置の例示的な実装を説明する図である。図４の説明は図１、図２又は図３の要素に関連して行う。図４には、人間被写体１１６の後面に向くことができる第１のアンカーカメラ４０２ａ及び第２のアンカーカメラ４０２ｂ（集合的にアンカーカメラ４０２の組と呼ぶ）の配置を示す図４００を示す。図４００には、第１のＵＡＶ４０６ａ及び第２のＵＡＶ４０６ｂにそれぞれ搭載又は一体化された第１のカメラ４０４ａ及び第２のカメラ４０４ｂ（集合的に一群のカメラ４０４と呼ぶ）の配置も示す。第１のＵＡＶ４０６ａ及び第２のＵＡＶ４０６ｂは、集合的に一群のＵＡＶ４０６と呼ぶことができ、人間被写体１１６の前面に向くことができる。

【0042】

アンカーカメラ４０２の組の各々は、１つの位置（例えば、天井、床又は壁又は静止構造などの特定の表面）に固定できる予め校正されたカメラに対応することができる。第１のアンカーカメラ４０２ａ及び第２のアンカーカメラ４０２ｂは、人間被写体１１６の第１のアンカー画像及び第２のアンカー画像（集合的にアンカー画像の組と呼ぶ）をそれぞれ取得するように構成することができる。システム１０２は、アンカー画像の組を取得するために、通信ネットワーク１１０を介して共有される制御命令に基づいてアンカーカメラの組４０２を制御することができる。

【0043】

また、システム１０２は、一群のＵＡＶ４０６を３Ｄ空間１１４内の複数の地点において動くように制御するとともに、一群のＵＡＶ４０６に搭載又は一体化された一群のカメラ４０４をこのような地点から人間被写体１１６の一群の画像を取得するように制御することができる。少なくとも１つの実施形態では、システム１０２が、一群のカメラ４０４の各々のＦＯＶ領域が人間被写体１１６の身体の一部を取り込んだ後でここから最低限必要な数の人間関節を検出できるようにこのような地点を選択することができる。アンカーカメラ４０２の組及び一群のＵＡＶ４０６に搭載又は一体化された一群のカメラ４０４は、アンカー画像の組及び人間被写体１１６の一群の画像を取り込むと、これらをそれぞれシステム１０２に送信することができる。アンカー画像の組及び一群の画像に基づく第１のカメラ４０４ａ及び第２のカメラ４０４ｂの校正については、例えば図６において詳細に説明する。

【0044】

図５は、本開示の実施形態による、人間被写体の画像を取得するためのＵＡＶに搭載又は一体化されたカメラ及びアンカーカメラ装置の例示的な実装を示す図である。図５の説明は図１、図２及び図３の要素に関連して行う。図５には、３Ｄ空間１１４内の第１のカメラ５０２ａ、第２のカメラ５０２ｂ及び第３のカメラ５０２ｃを示す図５００を示す。第１のカメラ５０２ａ、第２のカメラ５０２ｂ及び第３のカメラ５０２ｃは、それぞれ第１のＵＡＶ５０４ａ、第２のＵＡＶ５０４ｂ及び第３のＵＡＶ５０４ｃに搭載又は一体化することができる。

【0045】

第１のＵＡＶ５０４ａは、３Ｄ空間１１４内で固定姿勢を維持することができる。本明細書では、固定姿勢が、３Ｄ空間１１４内の第１のＵＡＶ５０４ａの静止位置及び静止配向（ロール、ヨー、ピッチ）に対応することができる。このような事例では、第１のカメラ５０２ａ及び第１のＵＡＶ５０４ａのアセンブリを、固定姿勢を保ちながら第１のカメラ５０２ａを使用して人間被写体１１６のアンカー画像の組を取り込むことができるアンカーカメラ装置として指定することができる。また、第１のカメラ５０２ａは、第１のＵＡＶ５０４ａの固定姿勢に関して予め校正することができる。残りのＵＡＶ（すなわち、第２のＵＡＶ５０４ｂ及び第３のＵＡＶ５０４ｃ、集合的に一群のＵＡＶと呼ぶ）は、固定姿勢に対して動いて複数の地点から人間被写体１１６の一群の画像を取得するように制御することができる。

【0046】

システム１０２は、第２のＵＡＶ５０４ｂ及び第３のＵＡＶ５０４ｃの各々を３Ｄ空間１１４内でこのような地点に移動してこのような地点から一群の画像を取り込むように制御することができる。第１のＵＡＶ５０４ａ又は第１のＵＡＶ５０４ａ上の第１のカメラ５０２ａは、人間被写体１１６のアンカー画像の組を取り込むと、これをシステム１０２に送信することができる。また、一群のカメラ（すなわち、第２のカメラ５０２ｂ及び第３のカメラ５０２ｃ）も、人間被写体１１６の一群の画像をシステム１０２に送信することができる。第２のカメラ５０２ｂ及び第３のカメラ５０２ｃ（集合的に一群のカメラと呼ぶ）の校正は、例えば図６で詳細に説明するようにアンカー画像の組及び一群の画像に基づくことができる。

【0047】

図６は、本開示の実施形態による、人間関節に基づいてＵＡＶ上のカメラを校正する例示的な動作を示す図である。図６の説明は図１、図２、図３、図４又は図５の要素に関連して行う。図６には、第１のＵＡＶ４０６ａに搭載又は一体化された第１のカメラ４０４ａ、及び第２のＵＡＶ４０６ｂに搭載又は一体化された第２のカメラ４０４ｂを校正する例示的な動作６０２～６１０を示す図６００を示す。図６００に示す例示的な動作は６０２から開始することができ、図１のシステム１０２又は図３の回路３０２などのいずれかのコンピュータシステム、装置又はデバイスによって実行することができる。図６００の１又は２以上のブロックに関連する動作については離散ブロックで示しているが、これらは特定の実装に応じてさらなるブロックに分割し、より少ないブロックに結合し、又は削除することもできる。

【0048】

６０２において、データ取得を実行することができる。回路２０２は、データ取得のために、（第１のアンカーカメラ４０２ａ及び第２のアンカーカメラ４０２ｂを含む）アンカーカメラ４０２の組を人間被写体１１６のアンカー画像の組を取り込むように制御することができる。アンカーカメラの組４０２は、アンカー画像の組を取り込むことができる３Ｄ空間１１４内の特定の位置に固定することができる。また、回路２０２は、一群のＵＡＶ４０６を３Ｄ空間１１４内の複数の地点において動くように制御することができる。その後、一群のＵＡＶ４０６に搭載又は一体化された一群のカメラ４０４を、これらの複数の地点から人間被写体１１６の一群の画像を取得するように制御することができる。図６には、一群のカメラ４０４のうちの１つのカメラから取得されたアンカー画像６０２ａ及び画像６０２ｂの例を示す。アンカー画像６０２ａ及び画像６０２ｂは、いずれも人間被写体１１６を含む。回路２０２は、通信ネットワーク１１０を介して、アンカーカメラの組４０２からアンカー画像の組を受け取り、一群のＵＡＶ４０６に搭載又は一体化された一群のカメラ４０４から一群の画像を受け取ることができる。

【0049】

６０４において、アンカー画像の組から人間関節の第１の２Ｄ位置の組を決定することができる。回路２０２は、アンカー画像の組（例えば、アンカー画像６０２ａ）から人間被写体１１６の人間関節の第１の２Ｄ位置の組を決定するように構成することができる。このような決定のために、回路２０２は、アンカー画像の組の（アンカー画像６０２ａなどの）各アンカー画像にＭＬモデル１０４を適用することができる。ＭＬモデル１０４は、人間関節検出タスクに基づいて訓練されたニューラルネットワークを含むことができる人間関節検出フレームワークに対応することができる。人間関節の２Ｄ位置（すなわち、第１の２Ｄ位置の組）は、以下のように与えられる方程式（１）によって表すことができ、

（１）
ここで、

は、ｉ番目の検出された人間関節の２Ｄ位置であり、

は、ｉ番目の検出された人間関節の信頼値であり、

は、ｉ番目の検出された人間関節のタイプ（例えば、左手首、右ひじ）であり、
Ｍは、検出された人間関節の総数である。

【0050】

図示のように、アンカー画像６０２ａは、人間被写体１１６の後方ビューから取り込むことができる。人間関節位置６１２ａ及び６１２ｂは、アンカー画像６０２ａ内の人間被写体１１６の頭部及び頸部にそれぞれ対応することができる。さらに、人間関節位置６１２ｃ、６１２ｄ及び６１２ｅは、アンカー画像６０２ａ内の人体被写体１１６の左肩関節、左肘関節及び左手首関節に対応することができる。人間関節位置６１２ｆ、６１２ｇ及び６１２ｈは、アンカー画像６０２ａ内の人体被写体１１６の右肩関節、右肘関節及び右手首関節に対応することができる。さらに、人間関節位置６１２ｉ、６１２ｊ及び６１２ｋは、アンカー画像６０２ａ内の人体被写体１１６の左腰関節、左膝関節及び左足首関節に対応することができ、人間関節位置６１２ｌ、６１２ｍ及び６１２ｎは、アンカー画像６０２ａ内の人体被写体１１６の右腰関節、右膝関節及び右足首関節に対応することができる。

【0051】

６０６において、一群の画像から人間関節の第２の２Ｄ位置の組を検出することができる。回路２０２は、一群の画像（例えば、画像６０２ｂ）から人間被写体１１６の人間関節の第２の２Ｄ位置の組を検出するように構成することができる。回路２０２は、第２の２Ｄ位置の組を検出するために、一群の画像からの各画像（例えば、画像６０２ｂ）にＭＬモデル１０４を適用することができる。第２の２Ｄ位置の組も方程式（１）によって与えることができる。

【0052】

図示のように、回路２０２は、画像６０２ｂからの人間被写体１１６の人間関節の第２の２Ｄ位置の組を人間関節位置６１４ａ～６１４ｎとして決定することができる。画像６０２ｂは、人間被写体１１６の前方部分から取り込むことができる。人間関節位置６１４ａ及び６１４ｂは、画像６０２ｂ内の人間被写体１１６の頭部及び頸部に対応することができる。さらに、人間関節位置６１４ｃ、６１４ｄ及び６１４ｅは、画像６０２ｂ内の人間被写体１１６の右肩関節、右肘関節及び右手首関節に対応することができる。人間関節位置６１４ｆ、６１４ｇ及び６１４ｈは、画像６０２ｂ内の人体被写体１１６の左肩関節、左肘関節及び左手首関節に対応することができる。さらに、人間関節位置６１４ｉ、６１６ｊ及び６１４ｋは、画像６０２ｂ内の人体被写体１１６の右腰関節、右膝関節及び右足首関節に対応することができ、人間関節位置６１４ｌ、６１４ｍ及び６１４ｎは、画像６０２ｂ内の人体被写体１１６の左腰関節、左膝関節及び左足首関節に対応することができる。

【0053】

６０８において、３Ｄキーポイント６１８を計算することができる。回路２０２は、決定された人間関節の第１の２Ｄ位置の組を使用する三角測量に基づいて人間被写体１１６の人間関節の３Ｄ位置を計算することができる。回路２０２は、３Ｄ座標系６２０に関する計算された人間被写体１１６の人間関節の３Ｄ位置として３Ｄキーポイント６１８を指定することができる。３Ｄキーポイント６１８の計算については本明細書において説明する。人間関節位置値を２Ｄ画像平面から３Ｄ実空間に変換するには、単純な透視カメラモデルを採用することができる。このようなシナリオでは、所定の内部カメラパラメータと、３次元における特殊ユークリッド群（すなわち、ｓｅ（３）パラメータ）とを使用することによって、検出された各人間関節点の（重み及びラベルを有する）透視投影射線（ｅｒｓｐｅｃｔｉｖｅ ｐｒｏｊｅｃｔｉｏｎ－ｒａｙｓ）を取得することができる。上記シナリオによる透視カメラモデルは以下のように表すことができ、

（２）
ここで、

は、３Ｄ内のｎ番目のカメラからのｉ番目の人間関節の正規化方向ベクトルであり、

は、３Ｄ内のｎ番目のカメラ位置である。

【0054】

回路２０２は、校正されたカメラ（例えば、第１のアンカーカメラ４０２ａ）の既知の又は校正された光学中心を使用することにより、３Ｄ線（すなわち、線束（ｒａｙ））に沿った人間関節の第１の２Ｄ位置の組を使用して三角測量を実行することができる。校正された光学中心を通る３Ｄ線に沿った特定の人間関節の（第１の２Ｄ位置の組からの）２Ｄ位置に関連する正規化された３Ｄ方向ベクトルを「ｅ」とみなす。「ｅ」は、校正されたカメラからの３Ｄ線に沿った特定の人間関節の正規化された３Ｄ方向ベクトルを表すことができる。さらに、この校正された光学中心を通る３Ｄ線上の３Ｄ点を「ａ」とみなす。本明細書では、３Ｄ線上の３Ｄ点「ａ」が、既知の姿勢の内部的に校正されたカメラ（例えば、第１のアンカーカメラ４０２ａ）のカメラ位置を表すことができる。３Ｄ線と３Ｄ点との間の距離は、以下のような方程式（３．１）及び（３．２）によって与えることができ、

（３．１）

（３．２）
ここで、
θは、正規化された３Ｄベクトルｅと３Ｄ線との間の角度を表すことができ、
ｘは、３Ｄベクトル「ｅ」に垂線を落とすことができる３Ｄ線上の点を表すことができ、
ｌは、３Ｄ点「ａ」と点「ｘ」との間の距離を表すことができる。

【0055】

１つの実施形態では、回路２０２が、（第１のアンカーカメラ４０２ａなどの）アンカーカメラの異なる位置についての人間関節の複数の３Ｄ線とそれぞれの複数の正規化された３Ｄベクトル「ｅⁿ」との重み付き最小二乗を決定することができる。本明細書では、これら複数の３Ｄ線の各々が、アンカーカメラの異なる位置を表す複数の３Ｄ点「ａⁿ」のそれぞれの３Ｄ点を通過する。重み付き最小二乗は、以下のような方程式（４．１）及び（４．２）で表され、

（４．１）

（４．２）
ここで、
ｗ_nは、ｎ番目の３Ｄ線の重みを表し、
ｄ_nは、３Ｄ点「ａⁿ」とｎ番目の３Ｄ線との間の距離を表すことができる。

【0056】

方程式（４．２）は、３Ｄ線に沿った３Ｄ点のｘ軸座標について展開することができる。方程式（４．２）の展開式は、以下のような方程式（５）によって与えられ、

（５）
ここで、ｉは、３Ｄ線に沿った３Ｄ点のｘ軸座標のインデックスを表すことができる。

【0057】

回路２０２は、方程式（５）に対して偏微分演算を適用して以下のような方程式（６）を得ることができ、

（６）
ここで、ｊは、３Ｄ線に沿った３Ｄ点のｙ軸座標のインデックスを表すことができる。静止状態：

を仮定すると、以下のような方程式（７．１）及び（７．２）を得ることができる。

（７．１）

（７．２）
方程式（７．２）から、線形システムＡｘ＝Ｂを得ることができる。線形システムＡｘ＝Ｂのための線形方程式（８．１）、（８．２）が以下のように与えられる。

（８．１）

（８．２）

【0058】

回路２０２は、方程式（８．１）及び（８．２）の線形方程式の解｛ｘ_i｝に基づいて３Ｄキーポイント６１８の第１の３Ｄキーポイントを計算することができる。第１の３Ｄキーポイントは、人間関節のうちの１つに関連することができる。同様に、回路２０２は、上述した方法に従って決定された第１の２Ｄ位置の組からのそれぞれの２Ｄ位置を使用して、残りの人間関節に関連する残りの３Ｄキーポイントを計算することができる。

【0059】

６１０において、一群のＵＡＶ４０６に搭載又は一体化された一群のカメラ４０４を校正することができる。回路２０２は、第１のカメラ４０４ａ及び第２のカメラ４０４ｂの各々の３Ｄ姿勢（位置及び向き）を推定することによって第１のカメラ４０４ａ及び第２のカメラ４０４ｂを校正することができる。複数のカメラ（例えば、第１のカメラ４０４ａ及び第２のカメラ４０４ｂ）のカメラ位置及び向き、６自由度（ＤｏＦ）を含むカメラ校正のための標的パラメータを推定するために、方程式９のような特殊ユークリッドｓｅ（３）のリー代数的なパラメータ化（Ｓｐｅｃｉａｌ Ｅｕｃｌｉｄｅａｎ ｓｅ（３） Ｌｉｅ ａｌｇｅｂｒａｉｃ ｐａｒａｍｅｔｅｒｉｚａｔｉｏｎ）を使用することができ、

（９）
ここで、
Ｎはカメラの総数である。

【0060】

特殊ユークリッドリー代数ｓｅ（３）は、６つの要素を有することができる。最初の３つの要素：

は、特殊直交リー代数（すなわち、ｓｏ（３））を表すことができ、後の３つの要素：

は、それぞれ３Ｄ空間における変換要素Ｔ（３）∈Ｒ³を表すことができる。実作業では、行列表現を得るために指数写像ｓｅ（３）→ＳＥ（３）を採用することができる。

【0061】

ある実施形態では、（第１のアンカーカメラ４０２ａ、第２のアンカーカメラ４０２ｂ、第１のカメラ４０４ａ及び第２のカメラ４０４ｂを含む）複数のカメラの各々の内部校正パラメータの値を予め決定し、又は与えることができる。

【0062】

ある実施形態では、回路２０２を、各カメラ（例えば、第１のカメラ４０４ａ及び第２のカメラ４０４ｂ）の３Ｄ姿勢を推定するためのグローバルゲージ（ｇｌｏｂａｌ ｇａｕｇｅ）を設定するように構成することができる。回路２０２は、グローバルゲージを設定するために、０番目のカメラ（例えば、第１のアンカーカメラ４０２ａ）の位置及び向きを所定の３Ｄ点及び方向として設定して以下のように表すことができる。

（１０）

【0063】

回路２０２は、０番目のカメラ（例えば、第１のアンカーカメラ４０２ａ）と１番目のカメラ（例えば、第２のアンカーカメラ４０２ｂ）との間の相対的なｘ－距離を以下のように設定することができる。

（１１）
回路２０２は、方程式（１０）及び（１１）を使用することにより、バンドル調整ベースの技術における「トリビアルゲージ固定（ｔｒｉｖｉａｌ ｇａｕｇｅ ｆｉｘｉｎｇ）」を使用して、一群のカメラ４０４（例えば、第１のカメラ４０４ａ及び第２のカメラ４０４ｂ）を校正するためのグローバルゲージを設定することができる。

【0064】

回路２０２は、一群のカメラ４０４の各カメラの３Ｄ姿勢（すなわち、位置（すなわち、並進パラメータ）及び向き（すなわち、回転パラメータ）などの外部カメラパラメータ）の推定によって一群のカメラ４０４（例えば、第１のカメラ４０４ａ及び第２のカメラ４０４ｂ）を校正するように構成することができる。このようなカメラ校正のために、２Ｄ再投影誤差に関する最適化問題を定式化することができる。回路２０２は、３Ｄキーポイント６１８と決定された人間関節の第２の２Ｄ位置の組との間の２Ｄ再投影誤差を決定することができる。その後、定式化された最適化問題を使用して、決定された２Ｄ再投影誤差を最小化することによって校正を実行することができる。

【0065】

例えば、第１のカメラ４０４ａの校正では、３Ｄキーポイント６１８を第１のカメラ４０４ａの画像平面上に再投影することができる。その後、再投影された各３Ｄキーポイントと対応する人間関節の２Ｄ位置との間の再投影誤差を決定することができる。再投影誤差を最小化するために、最適化問題の目的関数を定式化して解くことができる。同様に、第２のカメラ４０４ｂについても上述した方法を繰り返すことができる。一群のＵＡＶ４０６の各ＵＡＶ上のカメラは最初に校正されていないことがあるので、カメラの３Ｄキーポイントベースのカメラ校正の結果、一群のＵＡＶ１０８のそれぞれのＵＡＶに取り付けられた各カメラの外部校正パラメータの値（すなわち、３Ｄ姿勢）を推定することができる。２Ｄ再投影誤差は、透視カメラモデルビューに基づいて投影された点と、３Ｄ座標系６２０における点の測定位置との間の幾何学的誤差に対応することができる。２Ｄ再投影誤差は、点の作用投影（ａｃｔｉｏｎ ｐｒｏｊｅｃｔｉｏｎ）（例えば、決定された人間関節の第２の２Ｄ位置の組）に対する３Ｄキーポイントの推定値の近接度を定量化することができる。

【0066】

例えば、人間関節の３Ｄキーポイント（目標点）が３Ｄ座標系６２０の座標（Ｘ、Ｙ、Ｚ）によって表されると考える。３Ｄキーポイントは、（一群のカメラ４０４のうちの１つなどの）カメラの光学中心に関連する画像平面上の２Ｄ点として再投影することができる。２Ｄ点は、（ｘ_p／ｚ_p，ｙ_p／ｚ_p）によって表すことができる。ここで、ｘ_p、ｙ_p、ｚ_pは、それぞれ画像平面上に再投影された３Ｄ点の透視投影のｘ軸、ｙ軸及びｚ軸座標とすることができる。一群のカメラ４０４によって取得された一群の画像内の人間関節の第２の２Ｄ位置の組から、カメラの画像平面上の人間関節の２Ｄ位置を２Ｄ点（ｘ_d，ｙ_d）によって表すことができる。２Ｄ点（ｘ_p／ｚ_p，ｙ_p／ｚ_p）と２Ｄ点（ｘ_d，ｙ_d）との間の２Ｄ再投影誤差δは、以下のような方程式（１２）によって表すことができ、

（１２）
ここで、ｘｐ、ｙｐ及びｚｐは以下のような方程式（１３）によって与えられ、

（１３）
ここで、Ｍは、カメラの内部パラメータを含む４×４のカメラ投影行列である。

【0067】

上述した一群のカメラ４０４の校正のための技術は、フレーム毎の校正技術と呼ぶことができる。このようなプロセスは、複数の電子装置、又はコンピュータ装置の複数のプロセッサ上で処理されるように並列化することができる。本開示は、時間蓄積ベースのカメラ校正法などの、一群のカメラ４０４の校正のための他の技術にも適用可能である。

【0068】

ある実施形態では、一群のＵＡＶ４０６のうちの少なくとも１つのＵＡＶ（例えば、第１のＵＡＶ４０６ａ）が位置センサを含むことができる。位置センサは、全地球航法衛星システム（ＧＮＳＳ）受信機、慣性測定ユニット（ＩＭＵ）、感知カメラ、赤外線マーカセンサ又はパターンコードスキャナのうちの１つとすることができる。ある実施形態では、システム１０２の回路２０２又は（第１のＵＡＶ４０６ａの）回路３０２を、対応するＵＡＶ（例えば、第１のＵＡＶ４０６ａ）の位置センサから取得された絶対位置情報にさらに基づいて、一群のＵＡＶ４０６の残りのＵＡＶ（例えば、第２のＵＡＶ４０６ｂ）に搭載又は一体化された各カメラを校正するように構成することができる。

【0069】

別の実施形態では、一群のカメラ４０４の各カメラ（例えば、第１のカメラ４０４ａ及び第２のカメラ４０４ｂ）を、一群のＵＡＶ４０６に搭載又は一体化された一群のカメラ４０４の内部校正パラメータの値にさらに基づいて校正することができる。このような内部校正パラメータの例としては、以下に限定するわけでないが、視野角（すなわち、カメラに関連する焦点距離及び画面サイズ）、アスペクト比、及び歪みパラメータを挙げることができる。

【0070】

図７は、本開示の実施形態による、一群のＵＡＶに搭載又は一体化された一群のカメラを校正する例示的な動作を示すフローチャートである。図７にはフローチャート７００を示す。フローチャート７００の説明は図１、図２、図３、図４、図５及び図６に関連して行う。７０２～７１６の方法は、図１のシステム１０２又は図３の回路３０２などのいずれかのコンピュータシステムによって実行することができる。フローチャート７００の動作は７０２から開始して７０４に進むことができる。

【0071】

７０４において、アンカーカメラ装置の組１０６から人間被写体１１６のアンカー画像の組を受け取ることができる。少なくとも１つの実施形態では、回路２０２を、アンカーカメラ装置の組１０６からアンカー画像の組を受け取るように構成することができる。

【0072】

７０６において、一群のＵＡＶ１０８に搭載又は一体化された一群のカメラ１１２から、３Ｄ空間１１４内の複数の地点からの人間被写体１１６の一群の画像を受け取ることができる。少なくとも１つの実施形態では、回路２０２を、一群のカメラから一群の画像を受け取るように構成することができる。

【0073】

７０８において、受け取られたアンカー画像の組の各アンカー画像内の人間被写体１１６について人間関節の第１の２Ｄ位置の組を決定することができる。少なくとも１つの実施形態では、回路２０２が、アンカー画像の組の各アンカー画像内の人間被写体１１６の人間関節の第１の２Ｄ位置の組を決定することができる。

【0074】

７１０において、受け取られた一群の画像の各画像内の人間被写体１１６について人間関節の第２の２Ｄ位置の組を決定することができる。少なくとも１つの実施形態では、回路２０２が、一群の画像の各画像内の人間被写体１１６の人間関節の第２の２Ｄ位置の組を決定することができる。

【0075】

７１２において、決定された人間関節の第１の２Ｄ位置の組を使用する三角測量に基づいて、３Ｄ空間（例えば、３Ｄ空間１１４）内の人間関節の３Ｄ位置を３Ｄキーポイントとして計算することができる。少なくとも１つの実施形態では、回路２０２が、決定された人間関節の第１の２Ｄ位置の組を使用することによる三角測量に基づいて、３Ｄ空間１１４内の人間関節の３Ｄ位置を３Ｄキーポイントとして計算することができる。

【0076】

７１４において、３Ｄキーポイントと決定された第２の２Ｄ位置の組との間の２Ｄ再投影誤差を決定することができる。少なくとも１つの実施形態では、回路２０２が、３Ｄキーポイントと決定された第２の２Ｄ位置の組との間の２Ｄ再投影誤差を決定することができる。

【0077】

７１６において、決定された２Ｄ再投影誤差を最小化することによって一群のカメラ１１２の各カメラを校正することができる。少なくとも１つの実施形態では、回路２０２が、決定された２Ｄ再投影誤差を最小化することによって一群のカメラ１１２の各カメラを校正することができる。制御は終了に進むことができる。

【0078】

フローチャート７００については、７０４、７０６、７０８、７１０、７１２、７１４及び７１６などの離散的な動作として示しているが、いくつかの実施形態では、開示する実施形態の本質を損なうことなく、特定の実装に応じてこのような離散的動作をさらなる動作にさらに分割し、より少ない動作に結合し、又は削除することもできる。

【0079】

本開示の様々な実施形態は、１又は２以上の回路を含む機械及び／又はコンピュータによって実行可能な命令セットを記憶した非一時的コンピュータ可読媒体及び／又は記憶媒体、及び／又は非一時的機械可読媒体及び／又は記憶媒体を提供することができる。命令セットは、機械及び／又はコンピュータによって、アンカーカメラ装置の組から人間被写体のアンカー画像の組を受け取ることを含む動作を実行するように実行可能とすることができる。動作は、一群のＵＡＶに搭載又は一体化された一群のカメラから、３次元（３Ｄ）空間内の複数の地点からの人間被写体の一群の画像を受け取ることをさらに含む。さらに、動作は、受け取られたアンカー画像の組の各アンカー画像内の人間被写体について人間関節の第１の２次元（２Ｄ）位置の組を決定することを含む。動作は、受け取られた一群の画像の各画像内の人間被写体について人間関節の第２の２Ｄ位置の組を決定することをさらに含む。動作は、決定された人間関節の第１の２Ｄ位置の組を使用した三角測量に基づいて、人間関節の３Ｄ位置を３Ｄ空間内の３Ｄキーポイントとして計算することをさらに含む。動作は、３Ｄキーポイントと決定された第２の２Ｄ位置の組との間の２Ｄ再投影誤差を決定し、決定された２Ｄ再投影誤差を最小化することによって一群のカメラの各カメラを校正することをさらに含む。

【0080】

本開示のいくつかの実施形態は、ＵＡＶに搭載又は一体化されたカメラの校正のためのシステム及び方法において見出すことができる。本開示の様々な実施形態は、（回路２０２（図２）などの）回路を含むことができる（システム１０２（図１）などの）システムを提供することができる。回路２０２は、（アンカーカメラ装置の組１０６（図１）などの）アンカーカメラ装置の組から人間被写体（例えば、人間被写体１１６（図１））のアンカー画像の組を受け取るように構成することができる。さらに、回路２０２は、（一群のＵＡＶ１０８（図１）などの）一群のＵＡＶ上の一群のカメラ（例えば、第１のカメラ１１２ａ及び第２のカメラ１１２ｂ（図１））から、３Ｄ空間（例えば、３Ｄ空間１１４（図１））内の複数の地点からの人間被写体１１６の一群の画像を受け取るように構成することができる。回路２０２は、受け取られたアンカー画像の組の各アンカー画像内の人間被写体１１６について人間関節の第１の２Ｄ位置の組を決定することができる。さらに、回路２０２は、受け取られた一群の画像の各画像内の人間被写体１１６について人間関節の第２の２Ｄ位置の組を決定することができる。また、回路２０２は、決定された人間関節の第１の２Ｄ位置の組を使用した三角測量に基づいて、３Ｄ空間内の人間関節の３Ｄ位置を３Ｄキーポイントとして計算することができる。回路２０２は、３Ｄキーポイントと決定された第２の２Ｄ位置の組との間の２Ｄ再投影誤差を決定することができる。さらに、回路２０２は、決定された２Ｄ再投影誤差を最小化することによって一群のカメラの各カメラ（例えば、第１のカメラ１１２ａ及び第２のカメラ１１２ｂ）を校正することができる。

【0081】

ある実施形態では、３Ｄ空間１１４が、屋外空間、屋内空間、又はボリュメトリックキャプチャのためのスタジオ環境のうちの１つに関連することができる。回路２０２は、一群のＵＡＶ１０８を３Ｄ空間１１４内の複数の地点において動くように制御するようさらに構成することができる。回路２０２は、一群のカメラ（例えば、第１のカメラ１１２ａ及び第２のカメラ１１２ｂ）を複数の地点から人間被写体１１６の一群の画像を取得するようにさらに制御することができる。ある実施形態では、アンカーカメラ装置の組が、（第１のＵＡＶ５０４ａ（図５）などの）ＵＡＶに搭載又は一体化されて、（第２のＵＡＶ５０４ｂ及び第３のＵＡＶ５０４ｃ（図５）を含むことができる一群のＵＡＶなどの）一群のＵＡＶが固定姿勢に対して動いて一群の画像を取得するように制御されている間に固定姿勢を維持するように構成できる、少なくとも１つのカメラ（例えば、第１のカメラ５０２ａ（図５））を含むことができる。

【0082】

ある実施形態では、アンカーカメラ装置の組が、一群のＵＡＶ（例えば、第１のＵＡＶ４０６ａ及び第２のＵＡＶ４０６ｂを含む一群のＵＡＶ）が一群の画像を取得するように制御されている間に３Ｄ空間１１４内の位置に固定できる少なくとも１つの予め校正された（第１のアンカーカメラ４０２ａ（図４）などの）カメラを含むことができる。アンカーカメラ装置の組は、遠隔制御式カメラ移動アセンブリに移動可能に結合された少なくとも１つの予め校正されたカメラを含むことができる。回路２０２は、３Ｄ空間１１４内のアンカーカメラ装置の組をアンカー画像の組を取得するように制御するようさらに構成することができる。

【0083】

回路２０２は、受け取られたアンカー画像の組の各アンカー画像に機械学習（ＭＬ）モデル（例えば、ＭＬモデル１０４（図１））を適用することによって人間関節の第１の２Ｄ位置の組を決定するように構成することができる。ＭＬモデル１０４は、人間関節検出フレームワークとして、２Ｄ人間関節検出タスクに基づいて訓練されたニューラルネットワークを含むことができる。回路２０２は、受け取られた一群の画像の各画像にＭＬモデル１０４を適用することによって人間関節の第２の２Ｄ位置の組を決定するようにさらに構成することができる。

【0084】

ある実施形態では、各ＵＡＶ（例えば、第１のＵＡＶ４０６ａ及び第２のＵＡＶ４０６ｂ）の校正が、対応するカメラ（例えば、第１のカメラ４０４ａ及び第２のカメラ４０４ｂ）の３Ｄ姿勢の推定に対応することができる。３Ｄ姿勢は、３Ｄ空間１１４内の対応するカメラの３Ｄ位置及び向きを含むことができる。

【0085】

ある実施形態では、一群のＵＡＶ４０６のうちの少なくとも１つのＵＡＶ（例えば、第１のＵＡＶ４０６ａ（図４））が位置センサを含むことができる。位置センサの例としては、以下に限定するわけではないが、全地球航法衛星システム（ＧＮＳＳ）受信機、慣性測定ユニット（ＩＭＵ）、感知カメラ、赤外線マーカセンサ、又はパターンコードスキャナを挙げることができる。回路２０２は、対応するＵＡＶ（例えば、第１のＵＡＶ４０６ａ）の位置センサから取得された絶対位置情報にさらに基づいて一群のカメラの各カメラ（例えば、図４の第２のカメラ４０４ｂ）を校正するように構成することができる。ある実施形態では、回路２０２を、対応するカメラの内部校正パラメータの値にさらに基づいて一群のカメラの各カメラ（例えば、第１のカメラ４０４ａ及び第２のカメラ４０４ｂ）を校正するように構成することができる。

【0086】

本開示は、ハードウェアで実現することも、又はハードウェアとソフトウェアの組み合わせで実現することもできる。本開示は、少なくとも１つのコンピュータシステム内で集中方式で実現することも、又は異なる要素を複数の相互接続されたコンピュータシステムにわたって分散できる分散方式で実現することもできる。本明細書で説明した方法を実行するように適合されたコンピュータシステム又はその他の装置が適することができる。ハードウェアとソフトウェアとの組み合わせは、ロードされて実行された時に本明細書で説明した方法を実行するようにコンピュータシステムを制御することができるコンピュータプログラムを含む汎用コンピュータシステムとすることができる。本開示は、他の機能も実行する集積回路の一部を含むハードウェアで実現することができる。

【0087】

本開示は、本明細書で説明した方法の実装を可能にする全ての特徴を含み、コンピュータシステムにロードされた時にこれらの方法を実行できるコンピュータプログラム製品に組み込むこともできる。本文脈におけるコンピュータプログラムは、情報処理能力を有するシステムに特定の機能を直接的に、或いはａ）別の言語、コード又は表記法への変換、ｂ）異なる内容形態での複製、のいずれか又は両方を行った後に実行させるように意図された命令セットの、いずれかの言語、コード又は表記法におけるいずれかの表現を意味する。

【0088】

いくつかの実施形態を参照しながら本開示を説明したが、当業者であれば、本開示の範囲から逸脱することなく様々な変更を行うことができ、同等物を代用することもできると理解するであろう。また、本開示の範囲から逸脱することなく、特定の状況又は内容を本開示の教示に適合させるように多くの修正を行うこともできる。従って、本開示は、開示した特定の実施形態に限定されるものではなく、添付の特許請求の範囲内に収まる全ての実施形態を含むように意図される。

【符号の説明】

【0089】

１０２ システム
１０４ ＭＬモデル
１０６ アンカーカメラ装置の組
１０６ａ 第１のアンカーカメラ装置
１０６ｂ 第２のアンカーカメラ装置
１０８ 一群のＵＡＶ
１０８ａ 第１のＵＡＶ
１０８ｂ 第２のＵＡＶ
１１０ 通信ネットワーク
１１２ 一群のカメラ
１１２ａ 第１のカメラ
１１２ｂ 第２のカメラ
１１４ ３Ｄ空間
１１６ 人間被写体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】