特許 7603331 複数カメラの外部パラメータのキャリブレーション装置及び方法、記憶媒体、電子装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-12

(45)【発行日】2024-12-20

(54)【発明の名称】複数カメラの外部パラメータのキャリブレーション装置及び方法、記憶媒体、電子装置

(51)【国際特許分類】

   H04N 23/60 20230101AFI20241213BHJP

   H04N 17/00 20060101ALI20241213BHJP

【ＦＩ】

H04N23/60

H04N17/00 200

【請求項の数】 9

(21)【出願番号】P 2022564660

(86)(22)【出願日】2022-01-29

(65)【公表番号】

(43)【公表日】2023-08-10

(86)【国際出願番号】 CN2022075099

(87)【国際公開番号】W WO2022267481

(87)【国際公開日】2022-12-29

【審査請求日】2022-10-24

(31)【優先権主張番号】202110700660.0

(32)【優先日】2021-06-23

(33)【優先権主張国・地域又は機関】CN

【前置審査】

(73)【特許権者】

【識別番号】522373769

【氏名又は名称】地平▲線▼征程（杭州）科技有限公司

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】ユー、レイ

【審査官】村山 絢子

(56)【参考文献】

【文献】中国実用新案第２１０５７１２９８（ＣＮ，Ｕ）

【文献】特開２０１６－１１１４７４（ＪＰ，Ａ）

【文献】特開２００８－１３１１７７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ １７／００

Ｂ６０Ｒ １／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

設定空間内に設けられた、複数のカメラが搭載されている移動キャリア上のすべての前記カメラの外部パラメータのキャリブレーションを完了するための複数の移動キャリブレーションプレートであって、各前記移動キャリブレーションプレートはそれぞれスライドレールに設けられ、前記スライドレールは前記設定空間内の壁面に設けられる、複数の移動キャリブレーションプレートと、
前記複数の移動キャリブレーションプレートのうちの各前記移動キャリブレーションプレートを前記移動キャリブレーションプレートに対応する前記スライドレールに沿ってスライドするように制御するための制御装置と、を含み、
前記制御装置はさらに、各前記移動キャリブレーションプレートの、接続関係を有する複数の前記スライドレールの間のスライドを制御することにより、各前記移動キャリブレーションプレートを所在する壁面に対応する平面上で上、下、左、右へスライドするように制御することを実現するために用いられる、複数カメラの外部パラメータのキャリブレーション装置。

【請求項2】

前記制御装置は前記移動キャリブレーションプレートを対応するスライドレールに沿ってスライドするように制御して、設定単位移動、設定長さ移動及び連続移動のうち少なくとも１つの移動モードを実現し、
前記制御装置に復帰ボタンが設けられており、
前記制御装置はさらに、前記復帰ボタンにより前記複数の移動キャリブレーションプレートを初期位置に復帰するように制御するために用いられる請求項１に記載の装置。

【請求項3】

各前記移動キャリブレーションプレートには、停電時に前記移動キャリブレーションプレートの位置をロックするためのロック装置がさらに設けられている請求項１に記載の装置。

【請求項4】

前記設定空間のサイズは前記移動キャリアのサイズに応じて設定される請求項１～３のいずれか一項に記載の装置。

【請求項5】

前記設定空間の地面に設けられ、前記移動キャリアの前記設定空間内における位置を制限するための位置制限ガイドレールをさらに含む請求項４に記載の装置。

【請求項6】

複数のカメラが搭載されている移動キャリアが設定空間に入ることに応答するステップであって、前記設定空間内には複数の移動キャリブレーションプレートが含まれるステップと、
前記複数の移動キャリブレーションプレートを前記複数のカメラのうちの各カメラに対応する位置まで移動するように制御するステップと、
前記複数の移動キャリブレーションプレートに基づいて前記複数のカメラの外部パラメータのキャリブレーションを実現するステップとを含み、
前記複数の移動キャリブレーションプレートを前記複数のカメラのうちの各カメラに対応する位置まで移動するように制御するステップは、
前記複数の移動キャリブレーションプレートのうちの各前記移動キャリブレーションプレートを前記設定空間内の壁面に設けられた接続関係を有する複数のスライドレール上で所在する壁面に対応する平面上で上、下、左、右へスライドするように制御し、各前記移動キャリブレーションプレートを前記複数のカメラのうちの各カメラに対応する位置まで移動させるステップを含む、複数カメラの外部パラメータのキャリブレーション方法。

【請求項7】

前記複数カメラの外部パラメータのキャリブレーションの完了に応答し、前記複数の移動キャリブレーションプレートが初期位置に自動的に戻るステップをさらに含む請求項６に記載の方法。

【請求項8】

コンピュータ可読記憶媒体であって、前記記憶媒体にはコンピュータプログラムが記憶されており、
前記コンピュータプログラムが実行されると、請求項６または７に記載の複数カメラの外部パラメータのキャリブレーション方法を実現するコンピュータ可読記憶媒体。

【請求項9】

プロセッサと、
前記プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、
前記プロセッサは、前記メモリから前記実行可能な命令を読み取り、前記命令を実行して請求項６または７に記載の複数カメラの外部パラメータのキャリブレーション方法を実現するために用いられる電子装置。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本願は、２０２１年６月２３日に中国国家知識産権局に提出された、出願番号２０２１１０７００６６０．０、発明の名称「複数カメラの外部パラメータのキャリブレーション装置及び方法、記憶媒体、電子装置」の中国特許出願の優先権を主張し、その内容のすべてが参照によって本願に組み込まれる。

【0002】

本開示は外部パラメータのキャリブレーションの技術分野に関し、特に複数カメラの外部パラメータのキャリブレーション装置及び方法、記憶媒体、電子装置に関する。

【背景技術】

【0003】

交通安全は常に人々が関心を持つ重要な問題の１つであり、高速道路において毎年多くの交通事故が発生し、深刻な死傷と巨大な経済的損失を引き起こし、そのため、先進的な運転支援システムを開発することは重要な意味を有する。撮像モジュールは運転支援システムの眼として機能し、周囲環境を測定し、外部の周囲環境に基づいて運転判断を行うために用いられ、カメラ画像の測定過程において、空間物体表面のある点の三次元幾何位置と画像におけるその対応点との間の相互関係を確定するために、カメラ画像形成の幾何モデルを確立する必要があり、これらの幾何モデルにおけるモデルパラメータはカメラパラメータとすることができる。

【0004】

大部分の条件では、カメラパラメータは必ず実験と計算によってはじめて得られるべきであり、このパラメータを求めるプロセスがカメラキャリブレーションと呼ばれる。画像測定においても、マシンビジョンの用途においても、カメラキャリブレーションは非常に重要な部分であり、そのキャリブレーション結果の精度及びアルゴリズムの安定性はカメラ動作による結果の正確性に直接影響する。したがって、カメラキャリブレーションをきちんと行うことは後続する動作をきちんと行う前提であり、キャリブレーション精度を向上させることは科学研究の重点となる。

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記技術問題を解決するために、本開示が提案される。本開示の実施例は複数カメラの外部パラメータのキャリブレーション装置及び方法、記憶媒体、電子装置を提供する。

【課題を解決するための手段】

【0006】

本開示の実施例の一態様によれば、
設定空間内に設けられた、複数のカメラが搭載されている移動キャリア上のすべての前記カメラの外部パラメータのキャリブレーションを完了するための複数の移動キャリブレーションプレートであって、各前記移動キャリブレーションプレートはそれぞれスライドレールに設けられ、前記スライドレールは前記設定空間内の壁面に設けられる複数の移動キャリブレーションプレートと、前記複数の移動キャリブレーションプレートのうちの各前記移動キャリブレーションプレートを前記移動キャリブレーションプレートに対応する前記スライドレールに沿ってスライドするように制御するための制御装置と、を含む複数カメラの外部パラメータのキャリブレーション装置が提供される。

【0007】

本開示の実施例の別の態様によれば、
複数のカメラが搭載されている移動キャリアが設定空間に入ることに応答するステップと、前記設定空間内の複数の移動キャリブレーションプレートを前記複数のカメラのうちの各カメラに対応する位置まで移動するように制御するステップと、前記複数の移動キャリブレーションプレートに基づいて前記複数のカメラの外部パラメータのキャリブレーションを実現するステップとを含む複数カメラの外部パラメータのキャリブレーション方法が提供される。

【0008】

本開示の実施例の別の態様によれば、
移動キャリアに設けられた複数のカメラのうちの各カメラに基づいて対応するキャリブレーションプレートに対して画像収集を行い、複数枚の画像を得るステップであって、各前記カメラは１枚の画像に対応するステップと、前記複数枚の画像のうちの各画像及び前記複数のカメラのうちの各前記カメラの内部パラメータ情報に基づいて、前記複数のカメラのうちの各前記カメラの目標外部パラメータ情報を確定するステップとを含む複数カメラの外部パラメータのキャリブレーション方法が提供される。

【0009】

本開示の実施例のさらに別の態様によれば、コンピュータ可読記憶媒体であって、前記記憶媒体には、上記実施例のいずれかに記載の複数カメラの外部パラメータのキャリブレーション方法を実行するためのコンピュータプログラムが記憶されているコンピュータ可読記憶媒体が提供される。

【0010】

本開示の実施例のさらに別の態様によれば、
プロセッサと、前記プロセッサにより実行可能な命令を記憶するためのメモリと、を含み、
前記プロセッサは、前記メモリから前記実行可能な命令を読み取り、前記命令を実行して上記実施例のいずれかに記載の複数カメラの外部パラメータのキャリブレーション方法を実現するために用いられる、電子装置が提供される。

【発明の効果】

【0011】

本開示の上記実施例にて提供される複数カメラの外部パラメータのキャリブレーション装置及び方法、記憶媒体、電子装置に基づいて、設定空間内に複数の移動キャリブレーションプレートを設けることにより、移動キャリアに設けられた複数のカメラの外部パラメータの同時キャリブレーションを実現し、外部パラメータのキャリブレーションのノイズ抵抗及び干渉抵抗の能力を向上させ、比較的高いロバスト性を有し、キャリブレーション結果の精度及びキャリブレーション効率を効果的に向上させるとともに、キャリブレーションのコスト及び時間を節約する。

【図面の簡単な説明】

【0012】

【図1a】本開示が適用される量産キャリブレーションサイトのシーンを示す図である。

【図1b】図１ａに示す量産キャリブレーションサイトの平面図である。

【図2】本開示が適用される量産キャリブレーションサイト内の機械的移動可能式位置制限ガイドレールの構造を示す図である。

【図3】本開示の例示的な一実施例にて提供される複数カメラの外部パラメータのキャリブレーション装置の構造を示す図である。

【図4】本開示の例示的な一実施例にて提供される複数カメラの外部パラメータのキャリブレーション方法のフローチャートである。

【図5】本開示の別の例示的な実施例にて提供される複数カメラの外部パラメータのキャリブレーション方法のフローチャートである。

【図6】本開示の図５に示す実施例におけるステップ５０２の１つのフローチャートである。

【図7】本開示の例示的な一実施例にて提供される電子装置の構造図である。

【発明を実施するための形態】

【0013】

本開示の上記及びその他の目的、特徴及び利点は、図面を参照しながら本開示の実施例をより詳細に説明することにより、より明らかになるであろう。図面は、本開示の実施例をさらに理解するために用いられ、明細書の一部として構成され、本開示の実施例とともに本開示を解釈するためのものであり、本開示を限定するものではない。図面において、同様の参照記号は、通常、同様の部材やステップを表す。
以下、図面を参照しながら、本開示による例示的な実施例について詳細に説明する。明らかに、記載される実施例は本開示の実施例の一部に過ぎず、本開示のすべての実施例ではなく、本開示は本明細書に記載される例示的な実施例に限定されるものではないことを理解されたい。

【0014】

なお、別の具体的な説明がない限り、これらの実施例に記載される部材及びステップの相対的な配置、数式及び数値は本開示の範囲を制限するものではない。

【0015】

当業者であれば理解できるように、本開示の実施例における「第１」、「第２」などの用語は異なるステップ、装置又はモジュールなどを区別するためのものに過ぎず、いかなる特定の技術的意味を表すこともなく、それらの間の必然的な論理的順序を表すこともない。

【0016】

また、本開示の実施形態において、「複数」は２つ以上を意味することができ、「少なくとも１つ」は１つ、２つ、或いは２つ以上を意味することができることを理解されたい。

【0017】

また、本開示の実施例において言及される部材、データ又は構造のいずれか１つは、明示的に限定されていない場合、又は文脈からそうでないことが示唆されていない場合に、一般的に１つ或いは複数であると理解されるべきである。

【0018】

また、本開示における用語の「及び／又は」は、関連対象の関連関係を記載するためのものに過ぎず、３つの関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａのみが存在し、ＡとＢが同時に存在し、Ｂのみが存在するという３つのケースを示すことができる。また、本開示における文字の「／」は、一般的に前後の関連対象が「又は」の関係にあることを示す。

【0019】

また、本開示における各実施例に対する説明は特に各実施例の間の相違点について強調し、その同一又は類似の点は相互に参照することができ、簡潔化のために、再び説明しないことを理解されたい。

【0020】

また、説明の便宜上、図面に示される各部分の寸法は実際の比例関係に基づいて描かれるものではないことを理解されたい。

【0021】

以下、少なくとも１つの例示的な実施例に対する説明は、実際に解釈的なものに過ぎず、決して本開示及びその用途又は使用を限定するものではない。

【0022】

関連技術の当業者に知られている技術、方法及び装置について、詳細に議論しなくてもよいが、適切な場合に、前記技術、方法及び装置は本明細書の一部と見なされるべきである。

【0023】

なお、以下の図面において、同様の記号及び文字は同様の項目を表し、したがって、ある項目が１つの図面で定義されると、以降の図面ではこれ以上説明する必要はない。

【0024】

本開示の実施例は、多くの他の汎用又は専用コンピューティングシステム環境や構成とともに動作可能な端末装置、コンピュータシステム、サーバなどの電子装置に適用することができる。端末装置、コンピュータシステム又はサーバなどの電子装置とともに使用することに適する周知の端末装置、コンピューティングシステム、環境及び／又は構成の例は、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、ファットクライアント、ハンドヘルド又はラップトップデバイス、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能な家庭用電化製品、ネットワークパーソナルコンピュータ、小型コンピュータシステム、大型コンピュータシステム及び上記のいずれかのシステムを含む分散クラウドコンピューティング技術環境などを含むが、これらに限定されない。

【0025】

端末装置、コンピュータシステム、サーバなどの電子装置は、コンピュータシステムによって実行されるコンピュータシステム実行可能命令（例えば、プログラムモジュール）の一般的なコンテクストで説明することができる。一般的に、プログラムモジュールは、特定のタスクを実行したり、特定の抽象データ型を実現したりするルーチン、プログラム、オブジェクトプログラム、コンポーネント、論理、データ構造などを含んでよい。コンピュータシステム／サーバは、分散クラウドコンピューティング環境で実装することができ、分散クラウドコンピューティング環境では、タスクは、通信ネットワークを介してリンクされる遠隔処理装置によって実行されるものである。分散クラウドコンピューティング環境では、プログラムモジュールは記憶装置を含むローカル又は遠隔コンピューティングシステムの記憶媒体に位置することができる。

【0026】

出願の概要
本開示を実現する過程において、出願人は、従来技術における一般的なキャリブレーション方法に少なくとも、プロセスが複雑で、ノイズ抵抗及び干渉抵抗の能力が強くなく、キャリブレーション効率が低いという問題が存在することを発現した。

【0027】

例示的なシステム
静的キャリブレーション方法は既知サイズのキャリブレーション物体を使用する必要があり、キャリブレーション物体の座標点とその画像点との間の対応を確立することにより、一定のアルゴリズムによりカメラモデルの内外部パラメータを取得する。キャリブレーション物体によって三次元キャリブレーション物体と平面型キャリブレーション物体に分けることができる。三次元キャリブレーション物体は単一画像によってキャリブレーションを行うことができ、キャリブレーション精度が比較的高く、大部分が車両工場におけるカメラモジュールによる量産キャリブレーションに適用される。

【0028】

そのうち、静的量産キャリブレーションサイトはキャリブレーション結果の信頼性及び正確性を高めることができ、キャリブレーションの時間コストを大幅に短縮する。

【0029】

図１ａは本開示が適用される量産キャリブレーションサイトのシーンを示す図である。本実施例において、量産車種に基づいて固定的キャリブレーションサイトの仕様を計算し、地面２Ｄチェスボードパターン（固定キャリブレーションプレート）１０１及び３Ｄ壁面チェスボードパターン（移動キャリブレーションプレート）１０２をそれぞれ配置し、図１ｂは図１ａに示す量産キャリブレーションサイトの平面図であり、当該平面図において２Ｄチェスボードパターン１０１及び３Ｄ壁面チェスボードパターン１０２の量産キャリブレーションサイトにおける分布をより直観的に理解することができる。

【0030】

キャリブレーションサイトは異なる車種に適応でき、異なるカメラ取り付け手段を車載カメラモジュールに用いてキャリブレーションを行う。

【0031】

３Ｄ壁面チェスボードパターン１０２はＰＬＣ制御スライドレール１０３に設けられ、必要に応じてコントローラによって３Ｄ壁面チェスボードパターン１０２をカメラモジュールの可視範囲内まで上、下、左、右へ平行移動してキャリブレーションを行うことを実現できる。

【0032】

３Ｄ壁面チェスボードパターン１０２は比較的高い移動精度を有し、例えば、移動精度は０．１ｍｍであり、コントローラによるインチング、長押し又はパラメータ設定などの制御動作を実現することができる。

【0033】

３Ｄ壁面チェスボードパターン１０２はワンクリック（ｏｎｅｃｌｉｃｋ）自動原点復帰機能を実現することができ、また、設定パラメータに従ってパラメータを読み取ってチェスボードパターン１０２を指定位置に移動させることができる。キャリブレーションサイトのコントローラはパラメータの作成、読み込み、削除、保存機能などの機能を実現することができる。

【0034】

それぞれの３Ｄ壁面チェスボード１０２パターンはいずれも停電セルフロック機能を有し、３Ｄ壁面チェスボードパターン１０２の滑落を防止する。

【0035】

キャリブレーションサイト内の地面に機械的移動可能式位置制限ガイドレール１０４が配置され、１つの選択的な実施例において、図２は本開示が適用される量産キャリブレーションサイト内の機械的移動可能式位置制限ガイドレールの構造を示す図である。図２に示すように、機械的移動可能式位置制限ガイドレールは車種のタイヤ仕様に応じて幅を調整することができ、車両のキャリブレーションサイト内における位置を制限することにより、車両に設けられたカメラモジュールとキャリブレーションプレートとの間の位置距離を制御するために用いられる。ただし、前記キャリブレーションプレートは２Ｄチェスボードパターン１０１及び３Ｄ壁面チェスボードパターン１０２のうちの少なくとも１種又は複数種を含んでよい。

【0036】

本開示の実施例は、機械的移動可能式位置制限ガイドレールに基づいてキャリブレーションサイト内の車両の位置を限定し、機械的移動可能式位置制限ガイドレールの位置により車両のキャリブレーションサイト内における位置を正確に確定することができ、それにより目標キャリブレーションプレートとカメラモジュールの位置との間の距離を取得し、キャリブレーション結果の正確性を向上させ、キャリブレーションのコスト時間を節約する。

【0037】

例示的な装置
図３は本開示の例示的な一実施例にて提供される複数カメラの外部パラメータのキャリブレーション装置の構造を示す図である。図３に示すように、本実施例にて提供される装置は複数の移動キャリブレーションプレート３０１と制御装置３０２とを含む。

【0038】

複数の移動キャリブレーションプレート３０１は設定空間内に設置された、複数のカメラが搭載されている移動キャリア上のすべてのカメラの外部パラメータのキャリブレーションを完了するために用いられる。

【0039】

そのうち、各移動キャリブレーションプレートはスライドレールにそれぞれ設けられ、スライドレールは設定空間内の壁面に設けられる。

【0040】

任意選択的に、本実施例における移動キャリブレーションプレートは図１ａに示す実施例における３Ｄ壁面チェスボードパターン１０２を参照しながら理解することができ、本実施例におけるスライドレールは図１ａに示す実施例におけるＰＬＣ制御スライドレール１０３を参照しながら理解することができる。当然のことながら、実際に利用する際に、移動キャリブレーションプレートのサイズ、形状及び内部格子のサイズなどの情報は具体的な適用シーンに応じて自由に設定することができ、例えばスライドレールの方向、数などの情報を含み、且つこれらの情報の設定過程は図１ａに提供される実施例に限定されない。

【0041】

制御装置３０２は複数の移動キャリブレーションプレート３０１のうちの各移動キャリブレーションプレートを移動キャリブレーションプレート３０１に対応するスライドレールに沿ってスライドするように制御するために用いられる。

【0042】

本実施例における制御装置３０２は任意のコントローラであってよく、インチング、長押し又はパラメータ設定など、複数の移動キャリブレーションプレート３０１に対する制御動作を実現するために用いられ、本実施例は制御装置３０２の高精度な位置制御により、カメラに対して外部パラメータのキャリブレーションを行うキャリブレーション結果の精度を向上させる。

【0043】

本実施例は複数カメラの外部パラメータのキャリブレーション装置を提供し、設定空間内に複数の移動キャリブレーションプレートを設けることにより、移動キャリア上に設けられた複数のカメラの外部パラメータへの同時キャリブレーションを実現し、本実施例は設定空間内で外部パラメータのキャリブレーションを完了し、外部からのノイズなどの干渉を大幅に減少させるため、外部パラメータのキャリブレーションのノイズ抵抗及び干渉抵抗の能力を向上させ、比較的高いロバスト性を有し、キャリブレーション結果の精度及びキャリブレーション効率を効果的に向上させるとともに、キャリブレーションのコスト及び時間を節約する。

【0044】

いくつかの選択的な実施例において、制御装置３０２はさらに、接続関係を有する複数のスライドレールの間のスライドを制御することにより、移動キャリブレーションプレート３０１を所在する壁面に対応する平面上で上、下、左、右の各方向に沿ってスライドするように制御することを実現するために用いられる。

【0045】

本実施例において、図１ａに示す実施例を参照すると、３Ｄ壁面チェスボードパターン１０２は垂直スライドレールを介して壁面に設けられ、且つ当該３Ｄ壁面チェスボードパターン１０２は当該垂直スライドレールをスライドすることにより壁面が所在する平面の座標系におけるｙ軸方向上の移動キャリブレーションプレートの移動（上下移動）を実現する。

【0046】

任意選択的に、垂直スライドレールを横方向に設けられた横方向スライドレールに可動的に接続し、垂直ガイドレールが横方向スライドレール上をスライドすることにより、壁面が所在する平面の座標系におけるｘ軸方向上の移動キャリブレーションプレート３０１の移動（左右移動）を実現し、本実施例は横方向スライドレールと垂直スライドレールとを結合する設置により、移動キャリブレーションプレート３０１の所在する壁面に対応する平面における各方向への任意のスライドを実現し、さらに外部パラメータのキャリブレーションの精度を向上させる。

【0047】

任意選択的に、制御装置３０２の制御により、移動キャリブレーションプレート３０１は以下の少なくとも１つの移動モードのスライドを実現することができる。前記少なくとも１つの移動モードは、設定単位移動、設定長さ移動及び連続移動を含む。

【0048】

また、制御装置３０２には復帰ボタンがさらに設けられており、複数の移動キャリブレーションプレート３０１は復帰ボタンの制御に基づいて初期位置に復帰することができる。

【0049】

本実施例において、設定単位の大きさは実際のシーンに応じて設定することができ、設定した設定単位が小さければ小さいほど、達成可能な移動精度が高い。例えば、設定単位を１ｍｍにすると、当該設定単位移動により、距離が小さく且つ精度が高い移動を実現する。しかし大幅に移動する必要がある場合、設定単位移動により速度が遅くなる可能性があり、したがって、本実施例は設定長さ移動及び連続移動の方法をさらに提供する。

【0050】

そのうち、設定長さ移動は制御装置中に直接設定された移動キャリブレーションプレート３０１の上記任意の方向における移動距離設定により、設けられたモータに基づいて前記移動キャリブレーションプレート３０１を対応する位置に直接移動させることができ、対応する位置が正確でない場合、さらに設定単位移動と合わせて微調整することができ、連続移動は制御装置の長押しなどの操作により、指定された移動キャリブレーションプレートが指定方向へ継続的に移動し、指定位置に到達すると停止するように制御することを実現する。到達位置と目標位置とに小さい偏差がある場合、同様に設定単位移動により微調整を行うことができる。

【0051】

本実施例の制御装置には、すべての移動キャリブレーションプレート３０１のワンクリック復帰を制御するための復帰ボタンがさらに設けられていることで、次回再び移動キャリブレーションプレートを移動させる必要がある場合、初期位置から移動できるようになり、移動の正確率及び効率を向上させる。

【0052】

任意選択的に、各移動キャリブレーションプレート３０１には、停電時にチェスボードキャリブレーションプレートの位置をロックするロック装置が設けられている。

【0053】

本実施例にて提供されるロック装置は移動キャリブレーションプレートの停電セルフロック機能を実現し、スライドレールの使用中に突然の停電により移動キャリブレーションプレートが滑落するという問題を効果的に避け、装置の安全性を向上させる。

【0054】

いくつかの選択的な実施例において、設定空間のサイズは移動キャリアのサイズに応じて設定される。

【0055】

本実施例における設定空間は図１ａに示すキャリブレーションサイトを参照しながら理解することができ、設定空間は、例えば車両のような移動キャリアを収容し、移動キャリアに設けられた複数のカメラに対して外部パラメータのキャリブレーションを行うために用いることができる。ここで、設定空間のサイズは移動キャリアのサイズとマッチングし、例えば、図１ａに示す実施例におけるキャリブレーションサイトとキャリブレーションサイト内の車両とのマッチング関係が挙げられる。

【0056】

いくつかの選択的な実施例において、本実施例にて提供される装置は位置制限ガイドレールをさらに含み、当該位置制限ガイドレールは設定空間の地面に設けられてよく、位置制限ガイドレールの幅は移動キャリアに応じて設定され、移動キャリアの設定空間内における位置を制限するために用いられる。

【0057】

本実施例において、位置制限ガイドレールにより移動キャリアの設定空間内における位置が限定される。

【0058】

任意選択的に、図１ａに示す実施例が参照されるように、キャリブレーションサイト内の地面に配置された機械的移動可能式位置制限ガイドレール１０４による位置制限ガイドレールに対する作用が示され、位置制限ガイドレールの構造については図２に示す実施例を参照してよく、幅が調整可能な位置制限ガイドレールにより複数種の移動キャリアに適用する固定が実現され、装置の使用範囲が大きくなる。

【0059】

いくつかの選択的な実施例において、本実施例にて提供される装置は複数の固定キャリブレーションプレートをさらに含む。前記複数の固定キャリブレーションプレートは設定空間の地面に設けられ、且つ設定空間内の位置制限ガイドレールの周囲に周設される。

【0060】

本実施例における複数の固定キャリブレーションプレートは図１ａに示す実施例における地面に配置された２Ｄチェスボードパターン１０１を参照しながら理解することができ、また、固定キャリブレーションプレートの分布は図１ｂに示す平面図を参照しながら理解することができ、位置制限ガイドレールの周囲を取り囲んで分布することにより移動キャリアを取り囲んだ設置が実現されることで、移動キャリアに設けられた地面画像を収集可能なカメラに対して外部パラメータのキャリブレーションを行うことが容易になり、移動キャリアにおける多方位のカメラの外部パラメータへの同時キャリブレーションが実現される。

【0061】

例示的な方法
図４は本開示の例示的な一実施例にて提供される複数カメラの外部パラメータのキャリブレーション方法のフローチャートである。本実施例にて提供される方法は電子装置に適用することができ、図４に示すように、方法は以下のステップ４０１～４０３を含む。

【0062】

ステップ４０１において、複数のカメラが搭載されている移動キャリアが設定空間に入ることに応答する。

【0063】

本実施例において、移動キャリアは車両など、複数のカメラを設けることが可能な移動可能キャリアであってよく、設定空間は図１ａに示す実施例にて提供されるキャリブレーションサイトであってよい。

【0064】

ステップ４０２において、設定空間内の複数の移動キャリブレーションプレートを複数のカメラのうちの各カメラに対応する位置まで移動するように制御する。

【0065】

一実施例において、カメラの移動キャリアにおける位置が固定され、移動キャリアの位置が固定されると、各カメラの設定空間内における対応する位置が確定され、制御装置は複数の移動キャリブレーションプレートのうちの各移動キャリブレーションプレートを制御し、各移動キャリブレーションプレートを１つのカメラに対応させるために用いられる。

【0066】

ステップ４０３において、複数の移動キャリブレーションプレートに基づいて複数のカメラの外部パラメータのキャリブレーションを実現する。

【0067】

具体的には、カメラの外部パラメータはカメラの空間内における座標位置及びカメラの姿勢情報を含んでよい。そのうち、前記座標位置はキャリブレーション座標系におけるｘ軸、ｙ軸、ｚ軸の座標であり、前記姿勢情報はピッチ角（ｐｉｔｃｈ）、ヨー角（ｙａｗ）及びロール角（ｒｏｌｌ）などを含んでよい。前記キャリブレーション座標系は世界座標系であってもよく、又は任意の１点を原点とする座標系であってもよく、例えば、前記任意の１点はカメラを原点とする点である。

【0068】

本実施例にて提供される複数カメラの外部パラメータのキャリブレーション装置は、設定空間内に複数の移動キャリブレーションプレートを設けることにより、移動キャリアに設けられた複数のカメラの外部パラメータへの同時キャリブレーションを実現し、且つ設定空間内でこれらの外部パラメータのキャリブレーションを完了し、外部からのノイズなどの干渉を大幅に減少させ、外部パラメータのキャリブレーションのノイズ抵抗及び干渉抵抗の能力を向上させ、比較的高いロバスト性を有し、キャリブレーション結果の精度及びキャリブレーション効率を効果的に向上させるとともに、キャリブレーションのコスト及び時間を節約する。

【0069】

任意選択的に、上記実施例に基づいて、ステップ４０２は、
複数の移動キャリブレーションプレートのうちの各移動キャリブレーションプレートを少なくとも１つのスライドレール上でスライドするように制御し、移動キャリブレーションプレートを複数のカメラのうちの各カメラに対応する位置まで移動させるステップを含んでよい。

【0070】

本実施例において、移動キャリブレーションプレートとスライドレールとの関係は図１ａに提供された実施例における３Ｄ壁面チェスボードパターン１０２とＰＬＣ制御スライドレール１０３との関係を参照することができ、各移動キャリブレーションプレートはスライドレール上にそれぞれ設けられ、スライドレールは設定空間内の壁面に設けられる。３Ｄ壁面チェスボードパターン１０２は当該垂直スライドレール上を移動することにより、移動キャリブレーションプレートの、壁面が所在する平面の座標系におけるｙ軸方向上の移動（上下移動）を実現する。

【0071】

任意選択的に、垂直スライドレールを横方向に設けられた横方向スライドレールに可動的に接続し、垂直ガイドレールが横方向スライドレール上をスライドすることにより、移動キャリブレーションプレートの、壁面が所在する平面の座標系におけるｘ軸方向の移動（左右移動）を実現し、本実施例は横方向スライドレール及び垂直スライドレールを設置することにより、移動キャリブレーションプレート３０１の、所在する壁面に対応する平面における上、下、左、右の各方向への任意のスライドを実現し、外部パラメータのキャリブレーションの精度を向上させる。

【0072】

任意選択的に、複数の移動キャリブレーションプレートのうちの各移動キャリブレーションプレートを複数のスライドレール上でスライドするように制御するステップは、複数の移動キャリブレーションプレートのうちの各移動キャリブレーションプレートを少なくとも１つの移動モードで複数のスライドレール上でスライドするように制御するステップを含む。ここで、前記少なくとも１つの移動モードは、設定単位移動、設定長さ移動及び連続移動を含む。

【0073】

本実施例において、設定単位の大きさは実際のシーンに応じて設定することができ、設定した設定単位が小さければ小さいほど、達成可能な移動精度が高い。例えば、設定単位を１ｍｍにすると、当該設定単位移動により、距離が小さく且つ精度が高い移動を実現する。しかし大幅に移動する必要がある場合、設定単位移動により速度が遅くなる可能性があり、したがって、本実施例は設定長さ移動及び連続移動の方法をさらに提供する。

【0074】

そのうち、設定長さ移動は制御装置中に直接設定された移動キャリブレーションプレート３０１の任意の方向における移動距離設定により、設けられたモータに基づいて前記移動キャリブレーションプレート３０１を対応する位置に直接移動させることができ、対応する位置が正確でない場合、さらに設定単位移動と合わせて微調整することができ、連続移動は制御装置の長押しなどの操作により、指定方向へ継続的に移動し、指定位置に到達すると停止するように指定された移動キャリブレーションプレートを制御することを実現し、到達位置と目標位置とに小さい偏差がある場合、同様に設定単位移動により微調整を行うことができる。

【0075】

任意選択的に、本実施例にて提供される方法は、複数のカメラの外部パラメータのキャリブレーションの完了に応答して、複数の移動キャリブレーションプレートがスライドレールに沿って初期位置に戻るステップをさらに含む。

【0076】

任意選択的に、各移動キャリブレーションプレートが初期位置に戻るプロセスは、当該移動キャリブレーションプレートの現在所在する位置の座標と初期位置の座標との間の距離に基づいて、当該移動キャリブレーションプレートの少なくとも１つの方向における移動距離を確定し、少なくとも１つの方向における移動距離に基づいて当該移動キャリブレーションプレートを初期位置に戻すステップを含んでよい。本実施例は復帰ボタンにより、すべての移動キャリブレーションプレートのワンクリック復帰を制御することができることで、次回移動キャリブレーションプレートを移動させる必要がある場合、初期位置から移動できるようになり、移動の正確率及び効率を向上させる。

【0077】

図５は本開示の別の例示的な実施例にて提供される複数カメラの外部パラメータのキャリブレーション方法のフローチャートである。当該方法は電子装置に適用することができ、図５に示すように、前記方法は以下のステップ５０１～５０２を含む。

【0078】

ステップ５０１において、移動キャリアに設けられた複数のカメラのうちの各カメラに基づいて、対応するキャリブレーションプレートに対して画像収集を行い、複数枚の画像を得る。

【0079】

ここで、各カメラは１つのキャリブレーションプレートに対応し、各キャリブレーションプレートは１枚の画像を収集し、したがって、複数のカメラは複数枚の画像を収集する。

【0080】

任意選択的に、本実施例における各カメラは少なくとも１つのキャリブレーションプレートに対応し、キャリブレーションプレートは移動キャリブレーションプレート及び／又は固定キャリブレーションプレートを含んでよい。カメラは一般的なカメラ、魚眼カメラ、３Ｄカメラなどを含んでよいがこれらに限定されず、画像収集機能を実現可能な装置であれば、いずれも本開示に記載のカメラの範囲内に属する。

【0081】

ステップ５０２において、複数枚の画像のうちの各画像、及び複数のカメラのうちの各カメラの内部パラメータ情報に基づいて、複数のカメラのうちの各カメラの目標外部パラメータ情報を確定する。

【0082】

そのうち、カメラの内部パラメータ情報はカメラの歪み値、中心点、焦点距離などの情報を含み、これらの内部パラメータ情報は各カメラに固有のものであり、当該装置の出荷時に既に固定され、各カメラの既知情報である。本実施例において、収集した画像における画像座標と現実空間における座標との対応関係により、当該カメラの目標外部パラメータ情報を確定することができる。

【0083】

本開示の実施例にて提供される複数カメラの外部パラメータのキャリブレーション方法は、複数のカメラを同時に用いて画像収集及びキャリブレーションを行うことにより、移動キャリアにおける複数のカメラの外部パラメータに対する同時キャリブレーションを実現するとともに、同じ移動キャリア（例えば、車両等）に対して量産キャリブレーションを実現し、比較的高い適用性を有し、複数種の異なる移動キャリアの量産キャリブレーションに適用することができ、キャリブレーション結果の精度を効果的に向上させ、キャリブレーション効率を向上させる。例えば、１回に４つの魚眼カメラからなるパノラマカメラモジュールの外部パラメータのキャリブレーションを実現し、パノラマ継ぎ合わせを形成し、４つの魚眼カメラからなる車載カメラモジュールのキャリブレーションプレートは地面（図１ａに示す２Ｄチェスボードパターン）に位置し、量産車種に応じてサイトのサイズが確定され、また、１回に８つの狭角カメラからなるカメラモジュールの外部パラメータのキャリブレーションを実現することができる。

【0084】

図６に示すように、上記図５に示す実施例に基づいて、ステップ５０２は以下のステップ５０２１～５０２２を含んでよい。

【0085】

ステップ５０２１において、複数のカメラのうちの各カメラに対して、カメラに対応する画像及びカメラの内部パラメータ情報に基づいて、カメラの第１座標系における第１外部パラメータ情報を確定する。

【0086】

本実施例において、画像中のある点の世界座標系における座標と、画像中の当該点の画素座標との対応関係、及び当該画像を収集するカメラの内部パラメータ情報を取得すると、当該カメラの第１座標系における第１外部パラメータ情報を確定することができ、当該第１座標系は当該カメラを原点とする座標系であってよい。

【0087】

ステップ５０２２において、カメラの第１外部パラメータ情報に対して座標系変換を行い、カメラの第２座標系における目標外部パラメータ情報を得る。

【0088】

本実施例において、第１座標系がそれぞれ各カメラに対応する装置座標系である場合、得られた複数組の第１外部パラメータ情報の間は座標系が異なるため、カメラモジュール全体への関係確定を実現することができず、この問題を解消するために、各カメラに対応する第１外部パラメータ情報をそれに対応する第１座標系からすべてのカメラが統一的に対応する第２座標系に変換し、前記第２座標系はカメラの座標系であり、このときすべてのカメラの外部パラメータ情報は同一の座標系にあり、さらに、移動キャリアに設けられたカメラモジュールの外部パラメータ情報全体の注記を実現する。

【0089】

いくつかの選択的な実施例において、前記複数のカメラは複数の第１カメラと複数の第２カメラとを含み、前記キャリブレーションプレートは固定キャリブレーションプレートと移動キャリブレーションプレートとを含む。各第１カメラが収集した第１画像は複数の固定キャリブレーションプレートに対応し、各第２カメラが収集した第２画像は１つの移動キャリブレーションプレートに対応する。

【0090】

上記実施例におけるステップ５０２１は、第１画像及び第１カメラの内部パラメータ情報に基づいて、第１カメラの、第１座標系における第１外部パラメータ情報を確定するステップと、第２画像及び第２カメラの内部パラメータ情報に基づいて、第２カメラの、第１座標系における第１外部パラメータ情報を確定するステップとを含んでよい。

【0091】

任意選択的に、本実施例において、２種類のカメラが含まれ、例えば第１カメラ及び第２カメラが挙げられる。さらに、前記第１カメラは魚眼カメラであり、前記第２カメラは一般的なカメラである。異なるカメラは異なるタイプのキャリブレーションプレートに対応でき、魚眼カメラは固定キャリブレーションプレートに対応でき、一般的なカメラは移動キャリブレーションプレートに対応し、異なる種類のカメラが収集した画像は異なる可能性があり、例えば、魚眼カメラは視野角範囲が大きく、視野角が一般的に２２０°又は２３０°に達することができることで、近距離で広範囲の景物を撮影するために条件を作り出し、魚眼カメラは被写体に接近して撮影する時に非常に強い透視効果をもたらすことができ、被写体の距離に応じる大きさの変化によるコントラストを強調することにより、撮影された画面は人心を揺さぶる迫力があり、魚眼カメラはかなり深い被写界深度を有し、写真の深い被写界深度による効果を表現することに役立つ。

【0092】

本実施例は異なる種類のカメラに異なるタイプのキャリブレーションプレートを提供し、取得した第１外部パラメータ情報の正確性を向上させる。

【0093】

任意選択的に、上記実施例における、第１画像及び第１カメラの内部パラメータ情報に基づいて、第１カメラの第１座標系における第１外部パラメータ情報を確定するステップは、複数の第１カメラのうちの各対の第１カメラに対応する画像間の重畳領域、及び各前記第１カメラの内部パラメータ情報に基づいて、固定キャリブレーションプレート中の、世界座標系における第１設定ポイントと第１画像に対応する画像座標系における第１設定ポイントとのマッピング関係を確定するステップを含む。

【0094】

ここで、各対の前記第１カメラは位置が隣接する２つの第１カメラである。

【0095】

例えば、移動キャリアが車両であり、第１カメラが魚眼カメラである場合、当該車両に４つの魚眼カメラを設け、それぞれ車の前、車の後及び車体の両側に設け、４つの魚眼カメラの内部パラメータ情報、及び４つの魚眼カメラの２つずつの間の画像の重畳領域に基づいて、車両表面上のいずれか１点から地面の２Ｄ点へのマッピング関係を計算するとしてよい。魚眼カメラを前記第１カメラとする利点は以下のとおりである。魚眼カメラの視野角が大きく、車体の４つの方向（各方向は１８０度に対応する）にそれぞれ４つの魚眼カメラを設ける場合、魚眼カメラの視野角は２２０°又は２３０°に達することができるため、２つずつの隣接する魚眼カメラが取得した２つの画像の間に必ず重畳領域が存在し、さらに当該重畳領域に基づいて空間立体物体表面の１点を地面２Ｄ点にマッピングするマッピング関係を計算する。

【0096】

世界座標系における第１設定ポイントと画像座標系における第１設定ポイントとのマッピング関係に基づいて、１対の第１カメラのうちの各第１カメラの第１座標系における外部パラメータ情報を確定する。

【0097】

本実施例において、魚眼カメラの、歪み値、中心点及び焦点距離情報などを含むカメラの内部パラメータ情報が分かっていることを前提で、当該カメラの内部パラメータ情報に基づいて、世界座標系空間の１点と画像画素座標との対応関係、すなわち実際空間内の１点（本実施例では固定キャリブレーションプレート上の１点）と当該点のカメラによって収集された画像における画素座標との対応関係を見つけ、第１カメラに基づいて固定キャリブレーションプレート内のコーナーポイントを認識することにより第１カメラの世界座標系における空間姿勢を計算することを実現する。

【0098】

例えば、それぞれ４つのカメラからなるカメラモジュールが位置する車体の位置に対して世界キャリブレーション座標系を確立することに基づいて、キャリブレーション座標系における対応する各組のチェスボードパターンの左上隅のコーナーポイント距離情報を取得し、例えば、レーザ水平器、巻き尺によって複数のカメラのうちの各カメラに対応する各チェスボードパターンの左上内コーナーポイントの対応するキャリブレーション座標系における空間位置距離を測定し、各第１カメラと対応するキャリブレーションプレート中の第１設定ポイントとの世界座標系における距離、及び当該第１カメラの内部パラメータ情報、並びに世界座標系における第１設定ポイントと画像座標系における第１設定ポイントとのマッピング関係を取得する場合、当該第１カメラの第１外部パラメータ情報を取得することができ、このときの第１座標系は当該第１カメラを原点とするカメラ座標系であり、本実施例は地面に設けられた固定キャリブレーションプレートによって４つの魚眼カメラの同時キャリブレーションを実現し、カメラのキャリブレーション速度を向上させる。

【0099】

任意選択的に、上記実施例における、第２画像及び前記第２カメラの内部パラメータ情報に基づいて、第２カメラの第１座標系における第１外部パラメータ情報を確定するステップは、第２画像及び第２カメラの内部パラメータ情報に基づいて、移動キャリブレーションプレート中の、世界座標系における第２設定ポイントと第２画像に対応する画像座標系における第２設定ポイントとのマッピング関係を確定するステップを含む。

【0100】

任意選択的に、当該第２設定ポイントは移動キャリブレーションプレート中の１つのコーナーポイントであってよい。例えば、移動キャリブレーションプレートの左上隅に位置するコーナーポイントが挙げられる。

【0101】

世界座標系における第２設定ポイントと画像座標系における第２設定ポイントとのマッピング関係に基づいて、カメラの第１座標系における第１外部パラメータ情報を確定する。

【0102】

本実施例から少なくとも８つの狭角カメラに対するキャリブレーションが分かり、例えば、移動キャリアが車両である場合、車頭、車尾、車の左前ドアの近傍、車の右前ドアの近傍、車の左後輪の近傍、車の右後輪の近傍、車頭の左隅及び車頭の右隅にそれぞれ８つの狭角カメラを設置し、８つの狭角カメラの可視範囲内に対応する壁面チェスボードパターンに基づいてチェスボードパターン内のコーナーポイント認識を行って画素座標を抽出し、収集された画像中のコーナーポイントの画素座標及び計算関係に基づいて、当該コーナーポイントの理想的な座標を計算する。

【0103】

ここで、計算関係はカメラと当該画像に対応する移動キャリブレーションプレート上のコーナーポイントとの距離（例えば、実際の測定により当該距離を確定する）及びカメラの内部パラメータ情報を含み、当該コーナーポイントの理想的な座標を計算し、前記理想的な座標は当該カメラの姿勢にいずれのずれも存在しない場合に得られた画素座標を表す。

【0104】

具体的には、収集された画像中のコーナーポイントの画素座標に基づいて、当該像点の実際の像高を確定するステップと、当該コーナーポイントの実際の像高及び計算関係に基づいて、当該コーナーポイントの理想的な像高を算出するステップと、当該コーナーポイントの理想的な像高に基づいて、当該コーナーポイントの理想的な座標を確定するステップと、当該コーナーポイントの画像中における画素座標と理想的な座標との間の関係に基づいて当該カメラの姿勢情報を確定するステップとを含んでよく、本実施例は複数カメラに対する外部パラメータの同時キャリブレーションを実現し、車両などの移動キャリアに設けられた複数の一般的なカメラの外部パラメータのキャリブレーション効率を向上させ、量産キャリブレーションの技術的効果を実現する。

【0105】

上記図６に示す実施例に基づいて、ステップ５０２２は、
第１座標系の原点と第２座標系の原点との間の位置関係に基づいて、変換パラメータを確定するステップと、
変換パラメータに基づいて第１外部パラメータ情報に対して並進及び回転を行い、カメラの、第２座標系における目標外部パラメータ情報を得るステップとを含んでよい。

【0106】

任意選択的に、１つのカメラについて、第１座標系は当該カメラを原点とする撮影座標系であってよい。ここで、当該座標系において、カメラが指向する方向はｘ軸であり、ｘ軸に垂直で左に向く方向はｙ軸であり、ｘ軸に垂直で上に向く方向はｚ軸であり、すなわち座標系が確定された場合、当該座標系の原点が知られている。第２座標系が当該カメラから地面までの垂線の足を原点とする座標系である場合、当該変換パラメータは世界座標系におけるｚ軸方向の距離情報のみを含み、当然のことながら、第２座標系の原点が他の位置である場合、さらにｘ軸及び／又はｙ軸上の距離情報を含む可能性もある。

【0107】

変換パラメータによって第１外部パラメータ情報に対して対応する並進及び回転を実行すると、カメラの第２座標系における目標外部パラメータ情報を得ることができ、したがって、本実施例は外部パラメータ情報の迅速な取得を実現するだけでなく、さらに座標系変換によってすべてのカメラの外部パラメータ情報を同一の座標系に統一することができ、移動キャリア全体を処理しやすく、本実施例の適用範囲及びシーンを増加する。

【0108】

本開示の実施例にて提供されるいずれかの複数カメラの外部パラメータのキャリブレーション方法は、データ処理能力を有する任意の適切な装置により実行することができ、端末装置及びサーバなどを含むがこれらに限定されない。

【0109】

例示的な電子装置
図７は本開示の実施例による電子装置のブロック図を示す。図７に示すように、当該電子装置７０は、少なくとも１つのプロセッサ７１と、少なくとも１つのメモリ７２とを含む。

【0110】

そのうち、各プロセッサ７１は、中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＣＰＵ）又はデータ処理能力及び／又は命令実行能力を有する他の形態の処理装置とすることができ、また、所望の機能を実行するように電子装置７０内の他のコンポーネントを制御することができる。

【0111】

メモリ７２は１つ以上のコンピュータプログラム製品を含んでよく、前記コンピュータプログラム製品は、例えば揮発性メモリ及び／又は不揮発性メモリなど、様々な形態のコンピュータ可読記憶媒体を含んでよい。前記揮発性メモリは、例えば、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）及び／又はキャッシュメモリ（ｃａｃｈｅ）などを含んでよい。前記不揮発性メモリは、例えば、リードオンリーメモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ハードディスク及びフラッシュメモリなどを含んでよい。

【0112】

前記コンピュータ可読記憶媒体は１つ以上のコンピュータプログラム命令を記憶することができ、プロセッサ７１は、上記の本開示の各実施例に係る複数カメラの外部パラメータのキャリブレーション方法及び／又は他の所望の機能を実現するように、前記プログラム命令を実行することができる。前記コンピュータ可読記憶媒体は他の情報をさらに記憶してもよく、例えば入力信号、信号成分、ノイズ成分など、様々なコンテンツが挙げられる。

【0113】

一例として、電子装置７０は入力装置７３と出力装置７４とをさらに含んでもよく、これらのコンポーネントはバスシステム及び／又は他の形態の接続機構（図示せず）を介して相互に接続される。

【0114】

任意選択的に、当該入力装置７３は上記マイクロフォン又はマイクロフォンアレイであってよく、音源の入力信号を捕捉するために用いられる。当該電子装置がスタンドアロンデバイスである場合、当該入力装置７３は通信ネットワークコネクタであってよく、収集された入力信号を受信するために用いられる。

【0115】

任意選択的に、当該入力装置７３は、例えば、キーボードやマウスなどをさらに含んでもよい。当該出力装置７４は、確定された距離情報、方向情報などを含む様々な情報を外部に出力することができる。当該出力装置７４は、例えば、ディスプレイ、スピーカ、プリンタ、並びに通信ネットワーク及びそれに接続された遠隔出力装置などを含んでよい。

【0116】

当然のことながら、簡略化のために、図７は、当該電子装置７０における、本開示に関連するコンポーネントの一部のみを示し、バス、入力／出力インタフェースなどのコンポーネントを省略する。これに加えて、電子装置７０は、特定の用途に応じて、任意の他の適切なコンポーネントをさらに含んでもよい。

【0117】

例示的なコンピュータプログラム製品及びコンピュータ可読記憶媒体
上記方法及び装置に加えて、本開示の実施例はコンピュータプログラム命令を含むコンピュータプログラム製品とすることができ、前記コンピュータプログラム命令はプロセッサによって実行されると、前記プロセッサに本明細書の上記「例示的な方法」の部分に記載された本開示の様々な実施例による複数カメラの外部パラメータのキャリブレーション方法におけるステップを実行させる。

【0118】

前記コンピュータプログラム製品は１つ以上のプログラミング言語の任意の組み合わせで本開示の実施例の動作を実行するためのプログラムコードを作成することができ、前記プログラミング言語は、例えばＪａｖａ（登録商標）、Ｃ＋＋などオブジェクト指向プログラミング言語を含み、さらに、例えば「Ｃ」言語又は類似のプログラミング言語のような通常のプロセス指向プログラミング言語を含む。プログラムコードは、ユーザのコンピューティング装置で完全に実行し、部分的に実行し、スタンドアロンソフトウェアパッケージとして実行し、部分的にユーザのコンピューティング装置で且つ部分的に遠隔コンピューティング装置で実行し、又は完全に遠隔コンピューティング装置若しくはサーバで実行することができる。

【0119】

さらに、本開示の実施例はコンピュータプログラム命令が記憶されているコンピュータ可読記憶媒体とすることができ、前記コンピュータプログラム命令はプロセッサによって実行されると、前記プロセッサに本明細書の上記「例示的な方法」の部分に記載された本開示の様々な実施例による複数カメラの外部パラメータのキャリブレーション方法におけるステップを実行させる。

【0120】

前記コンピュータ可読記憶媒体は１つ以上の可読媒体の任意の組み合わせを用いることができる。可読媒体は可読信号媒体又は可読記憶媒体とすることができる。可読媒体は電気的、磁気的、光学的、電磁的、赤外線、若しくは半導体のシステム、装置若しくはデバイス、又は以上の任意の組み合わせを含んでよいが、これらに限定されるものではない。可読記憶媒体のより具体的な例（非網羅的列挙）は１つ以上のリードを有する電気的接続、ポータブルディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学記憶素子、磁気記憶素子、又は上記の任意の適切な組み合わせを含む。

【0121】

以上、具体的な実施例を参照しながら本開示の基本的な原理を説明したが、本開示において言及した利点、優位性、効果などは限定されるものではなく、単なる例示的なものであり、これらの利点、優位性及び効果などは本開示の各実施例が必ず備えるものとして考えることができない。さらに、以上開示した具体的な詳細は限定するためのものではなく、例示し理解を容易にするためのものに過ぎず、上記詳細は必ず上記具体的な詳細により本開示を実現することを限定するものではない。

【0122】

本明細書における各実施例はいずれも累加の方式を用いて説明し、各実施例は他の実施例との相違点を中心として説明し、各実施例間の同一や類似の部分は相互に参照すればよい。システムの実施例については、方法の実施例に基本的に対応するため、簡単に説明され、関連部分は方法の実施例の部分的な説明を参照すればよい。

【0123】

本開示に係る素子、装置、デバイス、システムのブロック図は、単なる例示的な例とし、必ずしもブロック図に示すように接続し、配置し、構成することを要求又は示唆するものではない。当業者であれば理解できるように、これらの素子、装置、デバイス及びシステムは、任意の方式により接続し、配置し、構成することができる。「含む」、「包含する」、「有する」などの用語は開放的な言葉であり、「…を含むが、これらに限定されるものではない」を意味し、且つそれと交換して使用することができる。本明細書で使用した言葉の「又は」及び「及び」は、文脈からそうでないことが明示されない限り、言葉の「及び／又は」を意味し、且つそれと置き換えて使用することができる。本明細書で使用した言葉の「例えば」は連語の「…を例とするが、これらに限定されない」を意味し、且つそれと置き換えて交換して使用することができる。

【0124】

本開示の方法及び装置は、多くの形態で実現することが可能である。例えば、本開示の方法及び装置は、ソフトウェア、ハードウェア、ファームウェア、又はソフトウェア、ハードウェア、ファームウェアの任意の組み合わせによって実現することができる。別段の説明がない限り、前記方法に用いるステップの上記順序は説明するためのものに過ぎず、本開示の方法のステップは、以上具体的に記載した順序に限定されるものではない。さらに、いくつかの実施例では、本開示は、本開示による方法を実現するための機械可読命令を含む、記録媒体に記録されたプログラムとして実施することができる。したがって、本開示は、本開示による方法を実行するためのプログラムを記憶した記録媒体もカバーする。
なお、本開示の装置、デバイス及び方法では、各コンポーネント又は各ステップは、分解及び／又は再結合が可能である。これらの分解及び／又は再結合は、本開示の同等物と見なされるべきである。

【0125】

当業者が本開示を作製又は使用することを可能にするために、開示された態様の上記説明が提供される。これらの態様に対する様々な修正は、当業者には明らかであり、本明細書で定義された一般的な原理は、本開示の範囲から逸脱することなく、他の態様に適用することができる。したがって、本開示は、本明細書に示された態様に限定されることを意図するものではなく、本明細書に開示された原理及び新規の特徴と一致する最も広い範囲に従うものである。

【0126】

上記の説明は、例示及び説明のために提示されている。さらに、この説明は、本開示の実施例を本開示の形態に限定することを意図するものではない。以上、複数の例示的な態様及び実施例を検討したが、当業者であれば、何らかの変形、修正、変更、追加及びサブコンビネーションを想到し得るであろう。

【図1a】

【図1b】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】