(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-28
(54)【発明の名称】水中調査のための乾式較正
(51)【国際特許分類】
G01B 11/00 20060101AFI20241018BHJP
【FI】
G01B11/00 H
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024525526
(86)(22)【出願日】2022-10-25
(85)【翻訳文提出日】2024-05-08
(86)【国際出願番号】 GB2022052715
(87)【国際公開番号】W WO2023073360
(87)【国際公開日】2023-05-04
(32)【優先日】2021-10-27
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】522118001
【氏名又は名称】ロブコ リミテッド
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】テルザキス,ジョージ
(72)【発明者】
【氏名】ヒル,リンドン
【テーマコード(参考)】
2F065
【Fターム(参考)】
2F065AA53
2F065DD03
2F065DD06
2F065FF04
2F065FF05
2F065JJ05
2F065JJ19
2F065JJ26
2F065LL04
2F065QQ23
2F065QQ24
(57)【要約】
水中使用のためのカメラ・システムを較正するためのシステム及び方法が開示されている。この方法は、直線的に隣接する第1、第2、及び第3の媒質を定義することを包含し、各媒質は、他の媒質と異なる屈折率を有する。カメラ・レンズの仮想表現が第1の媒質内に設置される。カメラ・レンズの仮想表現に関連して、それの正面の異なる位置又は向きに配設された複数の仮想平面パターンが第3の媒質内に生成され、各仮想平面パターン上において複数の点が特定される。第1、第2、及び第3の媒質の各屈折率及びカメラ・システムに関連付けられた物理的な較正パラメータのセットを使用して複数のベクトル投影が生成される。生成される各ベクトル投影は、カメラ・レンズのうちの1つと特定された複数の点のうちの対応する1つの間で最良適合した屈折経路に対応する。生成された複数のベクトル投影を用いてカメラ・システムの較正が実行される。
【選択図】
図4
【特許請求の範囲】
【請求項1】
カメラ・システムを較正する方法であって、前記方法は、
複数の直線的に隣接する媒質を包含する3次元仮想環境を定義することであって、前記直線的に隣接する媒質は第1、第2、および第3の媒質を包含する、定義することと、
前記第1、第2、および第3の媒質のそれぞれがほかの媒質と異なる屈折率を有するとともに、前記第1の媒質内に少なくとも1つのカメラ・レンズの仮想表現が設置され、
前記少なくとも1つのカメラ・レンズの前記仮想表現に関連して、それの正面において異なる位置または向きで配設された複数の仮想平面パターンを生成することであって、前記複数の仮想平面パターンは、前記第3の媒質内に設置される、生成することと、
前記仮想平面パターンのそれぞれの上の複数の点を特定することと、
前記第1、第2、および第3の媒質のそれぞれの前記屈折率および前記カメラ・システムに関連付けられた物理的な較正パラメータのセットを使用して複数のベクトル投影を生成することと、
生成される各ベクトル投影は、前記少なくとも1つのカメラ・レンズのうちの1つと前記特定された複数の点のうちの対応する1つの間で最良適合した屈折経路に対応し、
前記生成された複数のベクトル投影を使用して前記カメラ・システムの較正を実行することと、
を包含する、カメラ・システムを較正する方法。
【請求項2】
各ベクトル投影を生成することは、前記少なくとも1つのカメラ・レンズの前記仮想表現の30度の範囲内において複数の候補方向ベクトルを生成することを包含し、前記範囲の中心を前記特定された複数の点のうちの前記対応する1つに対する線形投影とする、請求項1に記載のカメラ・システムを較正する方法。
【請求項3】
前記物理的な較正パラメータのセットは、空気中での前記カメラ・システムの物理的な較正を実行することによって取得される、請求項1または2に記載のカメラ・システムを較正する方法。
【請求項4】
前記カメラ・システムは、ステレオ・カメラ・システムであり、前記少なくとも1つのカメラ・レンズは、2つのカメラ・レンズを包含し、前記2つのカメラ・レンズのそれぞれは、前記ステレオ・カメラ・システムのカメラに対応する、先行するいずれかの請求項に記載のカメラ・システムを較正する方法。
【請求項5】
前記第1の媒質は、空気であり、前記第2の媒質は、透明材料であり、前記第3の媒質は、水である、先行するいずれかの請求項に記載のカメラ・システムを較正する方法。
【請求項6】
前記第2の媒質は、前記カメラ・システムのビューポートを表し、
前記複数のベクトル投影は、追加として前記カメラ・システムの前記ビューポートの厚さのための測定済みの値、および前記ビューポートから前記カメラ・システムの前記少なくとも1つのカメラ・レンズの各カメラ・レンズの中心までの距離を使用して生成される、
先行するいずれかの請求項に記載のカメラ・システムを較正する方法。
【請求項7】
前記第2の媒質は、前記カメラ・システムのビューポートを表し、
前記複数のベクトル投影は、追加として物理的な較正パラメータのさらなるセットを使用して生成され、前記物理的な較正パラメータのさらなるセットは、前記ビューポートを取り除き、空気中での前記カメラ・システムの物理的な較正を実行することによって決定される、
先行するいずれかの請求項に記載のカメラ・システムを較正する方法。
【請求項8】
前記第2の媒質は、前記カメラ・システムのビューポートを表し、
前記複数のベクトル投影は、追加として前記ビューポートのためのスケーリング・パラメータを使用して生成され、
前記ビューポートのための前記スケーリング・パラメータは、さらなる複数の仮想平面パターンおよび、前記第1の媒質および前記第3の媒質の前記屈折率がそれぞれ空気のそれである前記3次元仮想環境内において、関連付けられた複数のベクトル投影を生成することによって決定される、
先行するいずれかの請求項に記載のカメラ・システムを較正する方法。
【請求項9】
さらに、
前記カメラ・システムを使用して水中の複数の画像を収集することと、
複数のパラメータのうちの少なくとも1つのパラメータを摂動させることであって、前記複数のパラメータは、
前記複数の領域のうちの少なくとも1つの前記屈折率と、
前記第2の媒質の法線軸に関する前記少なくとも1つのカメラ・レンズの整列と、
前記少なくとも1つのカメラ・レンズの前記第2の媒質からの距離と、を包含し、
前記摂動させたパラメータおよび物理的な較正パラメータの前記セットを使用して前記複数のベクトル投影を再生成することと、
前記収集した複数の画像および前記再生成した複数のベクトル投影を使用して前記カメラ・システムのさらなる較正を実行することと、
を包含する、先行するいずれかの請求項に記載のカメラ・システムを較正する方法。
【請求項10】
電子デバイスであって、
1つまたは複数のプロセッサと、
非一時的メモリと、
1つまたは複数のプログラムと、
を包含し、前記1つまたは複数のプログラムは、前記非一時的メモリ内に記憶され、前記1つまたは複数のプロセッサによって実行されるように構成され、前記1つまたは複数のプログラムは、請求項1乃至9の方法のいずれかを行うための命令を含む、
電子デバイス。
【請求項11】
1つまたは複数のプロセッサを伴う電子デバイスによって実行されると、前記電子デバイスに請求項1乃至9の方法のいずれかを行わせる命令を包含する1つまたは複数のプログラムを記憶している非一時的コンピュータ可読ストレージ媒体。
【発明の詳細な説明】
【技術分野】
【0001】
ここに記載される実施態様は、概してカメラ・システムを較正する方法に関する。
【背景技術】
【0002】
水中カメラ・システム(または、カメラ・モジュール)は、有人または無人航走体(たとえば、遠隔操作航走体、またはROV)を使用して撮像することを可能にする。その種のシステムは、単眼(すなわち、単一カメラ)またはステレオ(すなわち、互いに隣接して位置決めされる2台のカメラ)とすることができる。その種のカメラ・システムは、取り込んだ画像内の歪みを補償するために較正が必要である。このことは、水中カメラ・システムを較正する従来方法が、カメラ・システムの使用時における歪みを正確に反映させるために、現場かつ水中で実行しなければならないことを意味する。
【発明の概要】
【発明が解決しようとする課題】
【0003】
しかしながら、従来の水中カメラ較正手順は、荒天、水中航走体を操作するための限られた空間、乏しい自然光等の事実の結果として時間を要するものとなり、しかも正確な達成が困難である。その結果、水中で較正手順を実行する必要なしに水中用途のためのカメラ・システムを正確に較正することが可能であれば有益となる。
【課題を解決するための手段】
【0004】
本発明の第1の態様によれば、カメラ・システムを較正する方法が提供され、当該方法は、
複数の直線的に隣接する媒質を包含する3次元仮想環境を定義することであって、前記直線的に隣接する媒質が第1、第2、および第3の媒質を包含する、定義することと、
前記第1、第2、および第3の媒質のそれぞれがほかの媒質と異なる屈折率を有するとともに、前記第1の媒質内に少なくとも1つのカメラ・レンズの仮想表現が設置され、
前記少なくとも1つのカメラ・レンズの仮想表現に関連して、それの正面において異なる位置または向きで配設された複数の仮想平面パターンであって、前記第3の媒質内に設置される複数の仮想平面パターンを生成することと、
前記仮想平面パターンのそれぞれの上の複数の点を特定することと、
前記第1、第2、および第3の媒質のそれぞれの屈折率および前記カメラ・システムに関連付けられた物理的な較正パラメータのセットを使用して複数のベクトル投影を生成することと、
生成される各ベクトル投影は、前記少なくとも1つのカメラ・レンズのうちの1つと前記特定された複数の点のうちの対応する1つの間で最良適合した屈折経路に対応し、
前記生成された複数のベクトル投影を使用して前記カメラ・システムの較正を実行することと、
を包含する。上記から分かるように、この方法は、コンピュータ実装することが可能である。
【0005】
ここで、前記複数の媒質は、直線的に配設され、互いに隣接する。第2の媒質は、第1と第3の媒質の間に配設される。
【0006】
前記生成される複数の仮想平面パターンは、前記少なくとも1つのカメラ・レンズの視野内に配設される。
【0007】
各ベクトル投影は、前記少なくとも1つのカメラ・レンズ(または、前記少なくとも1つのカメラ・レンズの焦点)と前記特定された複数の点のうちの明確に区別される点の間の経路である。言い換えると、特定された複数の点のそれぞれは、対応する生成済みベクトル投影によって前記少なくとも1つのカメラ・レンズと結合される。
【0008】
したがって、本出願は、水中用途のためのカメラ・システムを較正する方法を提供し、この方法は、現場に置かれた前記カメラ・システムを前もって実行することが可能であり、水中における較正の実行を必要としない(すなわち、この較正方法は完全に『乾式』である)。この方法は、したがって、水中カメラ・システムを較正する従来方法より容易、より高速、かつより効率的であり、かつ高い正確度の水中における歪み効果の補償を提供する。さらにまた、この方法の正確さから、カメラ・システムにドーム型ビューポートを採用する必要がなく、設計の柔軟性が増加する。追加の利点としては、この方法を採用するときに任意の既製の標準的なカメラ較正アルゴリズムおよび較正パターンを使用することができる。
【0009】
この文脈における『水』または『水中』への言及は、海水および真水の両方を含むことが意図されることが理解されよう。
【0010】
各ベクトル投影を生成することは、前記少なくとも1つのカメラ・レンズの仮想表現の30度の範囲内において複数の候補方向ベクトルを生成することを包含することができ、その範囲の中心を前記特定された複数の点のうちの対応する1つに対する線形投影とする。
【0011】
物理的な較正パラメータのセットは、空気中でのカメラ・システムの物理的な較正を実行することによって取得することができる。
【0012】
カメラ・システムは、ステレオ・カメラ・システムとすることができ、前記少なくとも1つのカメラ・レンズは、2つのカメラ・レンズを包含することができ、前記2つのカメラ・レンズのそれぞれは、前記ステレオ・カメラ・システムのカメラに対応する。
【0013】
前記第1の媒質は、空気とすることができ、前記第2の媒質は、ガラス、またはプラスチック等の透明材料とすることができ、前記第3の媒質は、水とすることができる。
【0014】
前記第2の媒質は、前記カメラ・システムのビューポートを表すことができ、前記複数のベクトル投影は、追加として前記カメラ・システムの前記ビューポートの厚さのための測定済みの値、および前記ビューポートから前記カメラ・システムの前記少なくとも1つのカメラ・レンズの各カメラ・レンズの中心までの距離を使用して生成することができる。
【0015】
前記第2の媒質が前記カメラ・システムのビューポートを表すときは、前記複数のベクトル投影を、追加として物理的な較正パラメータのさらなるセットを使用して生成することができ、前記物理的な較正パラメータのさらなるセットは、前記ビューポートを取り除き、空気中での前記カメラ・システムの物理的な較正を実行することによって決定される。
【0016】
前記第2の媒質が前記カメラ・システムのビューポートを表すときは、前記複数のベクトル投影を、追加として前記ビューポートのためのスケーリング・パラメータを使用して生成することができる。前記ビューポートのための前記スケーリング・パラメータは、さらなる複数の仮想平面パターンおよび、前記第3の媒質が空気となる3次元仮想環境内において、関連付けられた複数のベクトル投影を生成することによって決定することができる。
【0017】
この方法は、さらに、水中で前記カメラ・システムを使用して複数の画像を収集することと、複数のパラメータ(複数のパラメータは、複数の領域のうちの少なくとも1つの屈折率、前記第2の媒質の法線軸に関する前記少なくとも1つのカメラ・レンズの整列、および前記第2の媒質からの前記少なくとも1つのカメラ・レンズの距離を包含する)のうちの少なくとものパラメータ1つを摂動させることと、前記摂動させたパラメータおよび物理的な較正パラメータのセットを使用して前記複数のベクトル投影を再生成することと、を包含することができる。前記カメラ・システムのさらなる較正を、その後、前記収集した複数の画像および前記再生成した複数のベクトル投影を使用して実行することができる。
【0018】
本発明の第2の態様によれば、電子デバイスが、1つまたは複数のプロセッサと、非一時的メモリと、1つまたは複数のプログラムと、を包含することができ、それにおいて前記1つまたは複数のプログラムは、前記非一時的メモリ内に記憶され、前記1つまたは複数のプロセッサによって実行されるように構成されている。ここで、前記1つまたは複数のプログラムは、上述の本発明の第1の態様の方法のうちのいずれかを行うための命令を含む。
【0019】
本発明の第3の態様によれば、非一時的コンピュータ可読ストレージ媒体が1つまたは複数のプログラムを記憶している。前記1つまたは複数のプログラムは、1つまたは複数のプロセッサを伴う電子デバイスによって実行されると、本発明の第1の態様の方法のうちのいずれかを前記電子デバイスに行わせる命令を包含する。
【0020】
以下おいては、下に列挙する図面を参照して実施態様を説明する。
【図面の簡単な説明】
【0021】
【
図1A】この出願の方法を使用して較正することができる単一のカメラ・システムを、当該カメラ・システムのビューポート側端部における断面の挿入図とともに示した斜視図である。
【
図1B】この出願の方法を使用して較正することができるステレオ・カメラ・システムを示した斜視図である。
【
図2】オプションの手順を含めて、この出願の方法を使用してカメラ・システムを較正するためのステップおよび手順を用いて示したブロック図である。
【
図3】この出願の方法に採用することができる仮想平面パターンの例を示した説明図である。
【
図4】仮想3次元環境内におけるステレオ・カメラ・システムのカメラ・レンズの仮想表現の正面に生成された平面パターンのランダム配置の表現を示した説明図である。
【
図5】仮想3次元環境内におけるカメラ・レンズから平面パターン上の選択した点までの屈折率の異なる複数の媒質を通過するベクトル投影の表現を示した説明図である。
【
図6】この出願の較正手順において行われるステップを示したフローチャートである。
【発明を実施するための形態】
【0022】
図1Aは、内部空間を有する水密ハウジングを画定するケーシング11を包含するカメラ・モジュール10を示している。ケーシング11の一端は、透明窓またはビューポート12aを含む。内部空間内にはカメラ12がマウントされ、ビューポート12aを通して外部環境の画像を取り込むべくそれが配設されている。カメラ12は、ビューポート12aに面するカメラ・レンズ15を包含する。ケーシング11の内部空間へは、Oリング・シール付きフランジを介してケーシング11の本体と着脱可能に結合されるケーシング・エンド・キャップ11aを取り外すことによってアクセス可能である。オプションのシール13が、ケーシング・エンド・キャップ11aとケーシングの本体の間に備えられており、水の浸入を阻止する。
【0023】
【0024】
図1Bは、ステレオ・カメラ・モジュール20(または、ステレオ・カメラ・システム)のための等価システムを示している。ここで、ステレオ・カメラ・モジュール20の各カメラ12は、
図1Aの単一カメラ・モジュール10と同じ構成要素のすべてを包含する。
【0025】
ステレオ・カメラ・システム20において、ステレオ・カメラ・システム20の各カメラ12をそれ自身のケーシング11の内側に収容してもよく(
図1Bに示されているとおり)、または両方のカメラ12を同一のケーシング11の内側に収容することもできる。
【0026】
ケーシング11は、外側に複数のポートP1-P5を有することができ、ケーシング11の内部空間内に設置される内部機器とそれの外側に設置される機器の間のワイヤ接続を可能にする。
図1Aにおいて、5つのポートP1-P5が存在しているが、ほかの実施態様においては、より少ないかまたはより多いポートが存在することが可能であり、場合によってはポートがまったく存在しない。
図1Bに示されているステレオ・カメラ・システムのポートP1-P5は、明瞭性のために示されていない。
【0027】
図1Aに示されるカメラ・モジュール10によって設計が限定されることはなく、代替の適切なカメラ・モジュール設計を採用することができることが分かるであろう。たとえば、ビューポート12aは、ドーム形状を有することもでき、あるいは平坦なものとすることができる。
【0028】
ドーム型ビューポート12aの場合は、カメラを充分にドームの曲率中心に位置させることができないことがあるため、しばしば何らかの較正が必要とされるが、ドーム形状は、いくつかの屈折の効果を無効化することができる。それに加えて、製造公差または瑕疵に起因する誤りの補正に較正が必要となることがある。
【0029】
カメラの較正とは、カメラの動きおよびシーンの3次元構造の推定を取り込んだ画像から確実かつ正確に実施可能であるように、カメラ・システムの物理的特性を充分に記述するモデルのパラメータを導出するプロセスを言う。
【0030】
カメラ・システムが、水等の媒質内において使用されるとき、そのカメラ・システムによって取り込まれる画像は、異なる媒質を通過する(たとえば、水からビューポートのガラスを通り、シールされた水中カメラの筐体の内側の環境内への)光の伝達における屈折効果によって影響を受ける。その結果、線形カメラ・モデルを使用して従来は空気中で実行していた較正が、水中の屈折効果と比較した空気中の屈折効果間の違いを考えるともはや適合しないものとなる。
【0031】
その結果、適切なカメラ較正を実行するために、水中において、しばしば画像を収集すべき現場において(たとえば、水中調査の間に)較正手順を実施することが従来的である。その種の水中カメラ較正は、一般に、カメラの視野内に既知のパターンを伴った較正チャートを置き、取り込まれた画像内において知覚された歪みを補正することを必要とする。これは、最小許容可能レベルのカメラ較正を達成するために異なる角度から多数回にわたって反復しなければならない。
【0032】
結果として、従来の水中カメラ較正手順は時間を要し、しかも必要とされる拡散したデータ・ポイントの取得に求められる多様な異なる角度からの較正チャートの画像の取り込みの試行においてカメラ・システムを収容している水中航走体の操作にかなりの努力を必要とすることになる。
【0033】
それに加えて、カメラ較正の質の確保に、カメラに関連した向き、深度、および位置の点で較正チャートのカメラ視野(または、ステレオ・カメラ・システムの場合には複数の視野)を変更することを必要とする。実際には、現場および水中でこれを達成することは、荒天、水中航走体を操作するための限られた空間、乏しい自然光等の不測の周囲状況に起因して困難なものとなり得る。これは、結果として較正の質、およびそれに続く画像の歪みを補正する再構成の質における低下をもたらす。
【0034】
さらに、ボートまたは沖合プラットフォームからカメラ・システムが外洋中に降ろされるときには、水中較正がまったく可能でないこともある。これらの場合は、現場に持ち出す前の異なる時間に、たとえばドック内において較正プロセスを行わなければならない。しかしながら、現場への輸送時にカメラ・システムが開けられるか、または強打することがあれば、設定済みの較正が無効となることがありそうで、水中においてこの手順を反復しなければならない。これは、上述のとおり、現場において不可能ではないとしても達成が困難となる可能性がある。
【0035】
これに比べると、現場活動前の任意の都合のよいときに空気中の環境においてユーザが手を用いて較正チャートを操作することはより容易である。したがって、水中においてカメラ・システムを物理的に較正することを必要とせずに較正手順を実行できる能力は、時間を節約し、かつ上述の不都合を回避するものとなる。
【0036】
本出願においては、『乾式』カメラ較正が仮想的に実行される。カメラ・システムを較正する本方法は、この方法が水中条件におけるカメラ・システムのための画像形成のエンド・トゥ・エンド・プロセスを正確にモデリングすることができるように、筐体の内側における画像形成を左右する較正パラメータに依拠する。較正パラメータは、カメラ・システムの空気中における物理的な較正を実行することによって計算することができる。これは、その後、手順の一部を現場および水中において実行する必要性を回避し、それによって現場操作運用の間における時間および実質的な努力を節約し、較正手順をより効率的にする。
【0037】
この乾式較正方法の正確さから、ドーム型ビューポートを採用する必要性がなく、それによってカメラ・レンズとドームの曲率中心を慎重に心合わせする必要条件が回避される。それどころか、平坦なビューポートを使用することができ、製造がより容易かつクリーニングがより容易であり、よりかさばらず、より安価となる。ドーム型ビューポートの使用は、設計の不完全性およびカメラの軽微な心ずれに影響されやすく、したがって、この方法がビューポートの設計に依存せず、複数のタイプの材料のために一般化が可能であるという事実は、さらなる利点を提供する。
【0038】
加えて、本方法を採用するときには、空気中較正のための任意の既製の標準的なカメラ較正アルゴリズムおよび較正パターンを使用することができる。
【0039】
同様に、任意の既製最適化パッケージ、較正モデルおよびパターンを使用して水中パラメータを導出することが可能である。
【0040】
図2は、較正手順の異なる態様を示している。この較正手順に含めることができるオプションのステップおよび手順が、
図2で破線を使用して示されている。
【0041】
概括的に、このカメラ・システムを較正するための手順は、複数の媒質によって占められる3次元仮想空間を数学的に定義することを包含する。ここで、複数の媒質は、直線的に隣接するとして定義される。言い換えると、各媒質は、別の近隣の媒質と隣接するとして定義され、複数の媒質は、概して、3次元仮想空間内において単一の方向に整列するとして定義される。さらに、各媒質は、直近の隣接する媒質とは異なる屈折率を有するとして定義される。カメラ・レンズの少なくとも1つの仮想表現が、仮想3次元環境の1つの媒質内に設置されるとして定義される。カメラ・レンズの少なくとも1つの仮想表現は、直線的に隣接する複数の媒質の端の媒質内に設置されるとして定義することができる。
【0042】
複数の仮想平面パターンが、3次元仮想空間内に設置されるとして生成(または定義)される。複数の仮想平面パターンのそれぞれは、少なくとも1つのカメラ・レンズの仮想表現に関連して、それの正面の異なる位置または向きに配設される。複数の仮想平面パターンは、少なくとも1つのカメラ・レンズの仮想表現が設置される媒質ではない、複数の媒質のうちの単一の媒質内に排他的に設置されるとして定義することができる。
【0043】
複数の仮想平面パターンのそれぞれの上の複数の点が特定され、複数の媒質のそれぞれの屈折率およびカメラ・システムと関連付けられた物理的な較正パラメータのセットを使用して複数のベクトル投影が生成される(または決定、または計算される)。ここで、それぞれの生成されたベクトル投影は、少なくとも1つのカメラ・レンズのうちの1つと、特定された複数の点のうちの対応する1つの間で最良適合した屈折経路に対応する。
【0044】
その後、複数の仮想平面パターンのそれぞれのための複数のベクトル投影は、複数の仮想平面パターンとともに使用され、現場使用(たとえば、水中使用)のためのカメラ・システムの較正が行われる。
【0045】
較正パラメータは、カメラ・システムの較正プロセスを空気中において実行することによって導出することができる(
図2のプロセス100)。これは、たとえば、較正チャートを使用し、当該チャートをカメラ・システムの視野内に配置し、カメラ・システムによって取り込まれた画像内の歪みを補正する従来の空気中較正方法を実行することを包含してもよい。較正チャートは、較正プロセスのために特定の点が特定できるパターンを包含する。ここで、単純な『チェスボード』パターンを採用する較正チャートを考察するが、較正チャートには多くの多様なパターン(たとえば、『ChArUco』パターン)を使用することができる。
【0046】
カメラ・システムの空気中較正は、筐体の内側における画像形成のプロセスの実際のモデルのパラメータを推定することを可能にする。したがって、カメラ・システムの空気中較正は、水に基づいた屈折効果を伴うことのないカメラ・システム自体の基本的なジオメトリに関係する。ここで、物理的な較正パラメータは、カメラの固有パラメータ(たとえば、これに限定されないが、焦点長、アスペクト比、各ピクセルのための光軸の画像位置、および放射状歪み係数等)およびステレオ・カメラ・システムの場合は潜在的な外因的パラメータ(たとえば、これに限定されないが、ベースライン長、すなわち2つのカメラの間の離隔、および左右のカメラ平面の向きのマトリクス等)を指してもよい。本方法によって与えられる水中較正は、同一セットのパラメータを包含するが、値を調整して屈折によって招かれる歪み効果を計算に入れる。
【0047】
カメラ・システムがステレオ・カメラ・システムである場合、空気中較正が実行され、ステレオ・カメラ・システムの両方のカメラのための関連パラメータを提供し、追加として2つのカメラの間の相対位置および向きを計算に入れる。
【0048】
それに代えて、所与のカメラ・システムのためのカメラの固有パラメータおよび歪み係数が既知であれば、物理的な空気中較正ステップを実行する必要はない。その既知のカメラの固有パラメータおよび歪み係数は、以下に述べるように、その後、仮想較正に適用することが可能である。
【0049】
オプションとして、カメラ・システムの追加の(または、代替の)空気中較正はビューポート12a(1つまたは複数)を取り外して実行することができ(
図2のプロセス180)、それで、ビューポート材料からの屈折効果はなくなる。そして、このビューポート12a(1つまたは複数)が無い空気中較正を仮想較正プロセスに含めて、仮想較正中に使用される探索空間を小さくすることが可能である。
【0050】
仮想較正手順(
図2のプロセス120)は、コンピュータ・システムを使用して仮想3次元環境200を定義することを包含する。ここで、仮想3次元環境200は、カメラ・レンズ15(または、ステレオ・カメラ・システム20の場合には各カメラ・レンズ15aおよび15b)の仮想表現を含む。
【0051】
仮想3次元環境200は、それぞれが異なる媒質によって占められているとして定義される複数の別々の領域を含む。具体的には、カメラ・レンズ15の仮想表現直前(すなわち、カメラ・レンズ15の視野内)の領域が、第1の媒質N1によって占められているとして定義される(
図5に示されている)。ステレオ・カメラ・システム20の場合は、第1の媒質N1が各カメラ・レンズ15aおよび15bの仮想表現直前(すなわち、各カメラ・レンズ15aおよび15bの視野内)の空間を占める。第2の媒質N2(
図5に示されている)が、第1の媒質N1によって占められる領域と隣接する領域内にあり、かつカメラ・レンズ15の視野内(または、ステレオ・カメラ・システム20の場合は各カメラ・レンズ15aおよび15bの視野内)に位置するとして定義される。さらに、第3の媒質N3(
図5に示されている)が、第2の媒質N2によって占められる領域と隣接する領域内にあり、かつカメラ・レンズ15の視野内(または、ステレオ・カメラ・システム20の場合は各カメラ・レンズ15aおよび15bの視野内)に位置するとして定義される。
【0052】
【0053】
【0054】
この実施態様においては、仮想3次元環境200が、3つの異なる媒質N1、N2、およびN3を包含するが、異なる媒質を伴う、より多くの、またはより少ない領域が採用できることは理解されよう。
【0055】
この方法は、仮想3次元環境200がそっくりそのままシミュレーションされることを必要としないことは理解されよう。それに代えて、適切な座標空間のみを定義することができ、同様にその座標空間内のカメラ・レンズ15および3つの異なる媒質N1、N2、およびN3の仮想表現を数学的に定義することができる。その結果として、仮想較正手順(
図2のプロセス120)を実行するために必要なハードウエア資源を最小化することが可能である。
【0056】
第3の媒質N3によって占められているとして定義される仮想3次元環境200の領域内において、その後、複数の仮想平面パターン210がランダムに定義される。
【0057】
仮想平面パターン210の一例を
図3に示す。ここで、仮想平面パターン210が『チェスボード』の形態をとるが、それに代えて多様なそのほかの適切な設計を選択することもできる。仮想平面パターン210は、従来の物理的な空気中または水中における較正方法に使用される較正チャートの仮想等価物である。
【0058】
各仮想平面パターン210においては、各仮想平面パターン210の方形のサイズが既知であることから、コーナの座標(
図3の方形の間の交差部に円Cを用いて示されている)もまた局所的座標フレームに関して既知である。これらのコーナは、画像内において容易にかつ正確に特定することが可能である。各仮想平面パターン210の局所的座標フレーム内のコーナおよびそれらの対応する点の既知のユークリッド座標は、仮想カメラによって撮像されるときに、その仮想画像を生み出した仮想カメラ・モデルのパラメータの推定に使用することが可能である。
【0059】
パラメータの適切に正確な推定を得るために、仮想平面パターン210の多様な向きにおよび位置における複数の画像が必要とされる。たとえば、仮想カメラ15(または、ステレオ・カメラ・システム20の場合はカメラ15aおよび15b)に関連する種々の向きおよび位置であり、かつカメラ15(または、ステレオ・カメラ・システム20の場合はカメラ15aおよび15b)の視野内において、30乃至40個またはそれより多くの別々の仮想平面パターン210をランダムに生成することができる。ステレオ・カメラ・システム20の仮想カメラ15aおよび15bに関連して配設されるその種の仮想平面パターン210のランダムな分布の一例が
図4に示されている。
【0060】
また、生成された仮想平面パターン210を多様に定義された深度に位置決めすることもできる。たとえば、仮想平面パターン210を、0.5~6メートル間の定義済み深度で生成することができる。
【0061】
複数の仮想平面パターン210の各仮想平面パターン210上の方形の間の交差部における各コーナCが、その後、仮想3次元環境200内の3次元点Mとして特定され、仮想3次元環境200内の3次元点Mのセットを形成する。3次元点Mごとに、その後、仮想カメラ・レンズ15と3次元点Mの間でベクトル投影υが生成される。各ベクトル投影υは、3次元点Mとカメラ・レンズ15(または、ステレオ・カメラ・システム20の場合には各カメラ・レンズ15aおよび15b)の間に介在する第1、第2、および第3の媒質N1、N2、およびN3を通過する。
【0062】
各ベクトル投影υは、カメラの焦点(投影中心とも言う)に当たる光線の方向を特定する方位ベクトルである。
【0063】
【0064】
以下の考察は、ステレオ・カメラ・システム20を参照するが、単一カメラ・システムに関しても等価のアプローチをとることが可能である。ここで、ベクトル投影υを生成する問題は、次に以下の関数を最適化することによって解決する:
【0065】
【0066】
【0067】
上に述べられるとおり、上記の関数は、較正が単一カメラ・システムのためである場合には単純化して適用することが可能である。
【0068】
ステレオ・カメラ・システム較正の復元および点Mごとのベクトル投影υの生成は、次に示す最適化として計算することが可能である:
【0069】
【0070】
空気中で動作するカメラ・システムのためのその種の関数の最小化は、それがカメラ・レンズ15(または、ステレオ・カメラ・システム20の場合には各カメラ・レンズ15aおよび15b)に対する直線に沿った3次元点Mの単純なユークリッド投影に帰するので明快である。
【0071】
【0072】
関数f(M;θ)自体は、次のとおり、スネルの法則を使用して組み立てることが可能な別の関数の解である:
【0073】
【0074】
【0075】
【0076】
【0077】
【0078】
【0079】
【0080】
【0081】
【0082】
【0083】
【0084】
物理的な空気中較正手順のコンピュータ・モデルを採用するときには、画像形成を左右する物理特性と正確に整合するモデルを採用することが可能である。しかしながら、物理的な水中較正のコンピュータ・モデルを採用するときには(現在の場合のように)、モデルが水中の画像形成を左右する真の物理特性を単に近似するに過ぎない。それにもかかわらず、この近似は、カメラの焦点からビューポートの内部表面までの距離が小さいとき(すなわち、8mm +/- 2mm)、より高い正確度を有する。
【0085】
【0086】
【0087】
【0088】
【0089】
【0090】
【0091】
ステレオ・カメラ・システム20の較正時においては、プロセスが、各カメラの単眼の較正に加えて2つのカメラの間の相対的な位置および向きを計算に入れることを含む。そのため、この手順は、2つの別々の単眼の較正(すなわち、各カメラのために1つ)を実行するより詳細である。2つの別々の単眼の較正に加えて、ステレオ・カメラ・システム20の相対的な向きおよびベースラインの較正、またオプションとして各カメラの固有および歪みパラメータの再較正が必要である。実際においては、これが、適切なパターンの補助を伴う物理的な較正を行う(この場合は、物理的な較正を回避する利点が無効になる)か、または上に考察した仮想点生成方法に従うかのいずれかを必要とする。
【0092】
図6は、この出願の較正方法を実行するときにとられるステップを要約したフローチャートを示している。
【0093】
ステップ490においては、オプションとして空気中でカメラ・システムを較正することができる(このステップがオプションであることを示すために
図6においては破線を用いて示されている)。これは、対象のカメラ・システムの物理的なジオメトリ較正パラメータを、その後に続く仮想較正手順において使用するために導出することを可能にする。対象のカメラ・システムの物理的な較正パラメータがすでに既知である場合には、このステップは不要である。
【0094】
次に、仮想較正手順500が実施される。これは、コンピュータ・システムまたは類似の演算資源、または1つまたは複数のプロセッサおよび仮想較正手順500を実行するように構成された1つまたは複数のプログラムを記憶している非一時的メモリを包含する電子デバイスを使用して行うことができる。同様に、非一時的コンピュータ可読ストレージ媒体が、実行されたときに仮想較正手順500を実行する命令を包含する1つまたは複数のプログラムを記憶することもできる。
【0095】
【0096】
手順500のステップ520においては、それぞれがランダムな位置および向きを伴い、カメラ・レンズ15(または、ステレオ・カメラ・システム20の場合であればカメラ・レンズ15aおよび15b)の視野内に位置する複数の仮想平面パターン210が仮想3次元環境200内に定義されて第3の媒質N3内に設置される。
【0097】
手順500のステップ530においては、仮想平面パターン210のそれぞれの上において複数の点が特定され、仮想3次元環境200内に設置される3次元点Mのセットが生成される。
【0098】
手順500のステップ540においては、複数のベクトル投影υが生成され、それにおいて各ベクトル投影υは、仮想3次元環境200内のカメラ・レンズ15(または、ステレオ・カメラ・システム20の場合であればカメラ・レンズ15aおよび15bのうちの1つ)と3次元点Mの間の第1、第2、および第3の媒質N1、N2、およびN3を通る経路を追随する。各ベクトル投影υは、最良適合した屈折軌跡を表す。ベクトル投影υの生成においては、対象のカメラ・システムの物理的な較正パラメータが使用される。
【0099】
手順500のステップ550においては、複数のベクトル投影υがグループに分けられ、それにおいては、各ベクトル投影υが同一の仮想平面パターン210からの3次元点Mと関連付けされたほかのベクトル投影υとともにグループ化される。続いてカメラ・システム(または、ステレオ・カメラ・システム20)上のそれぞれのその種の仮想平面パターン210の画像投影が計算される。
【0100】
その後、ステップ560において仮想平面パターン210の画像投影が使用されて、対象のカメラ・システム(またはステレオ・カメラ・システム20)が較正される。この最終ステップは、任意の適切な既製のソフトウエア・パッケージ(たとえば、OpenCV)を使用して達成することができる。
【0101】
【0102】
空気中較正の正確度は、充分に正確であると考えられており、かつ改良を加えることは可能でない。しかしながら、残り3つの要因は、較正の推定に軽微な効果を有する可能性があり、したがって、これらの要因が改良可能である場合には、乾式較正の推定をさらに改良することが可能である。
【0103】
【0104】
【0105】
これは、対象のパラメータの各摂動についてステップ510から550までを(すなわち、仮想平面パターン210の生成)反復し、最小再構成誤りを提供するパラメータを見つけ出すことによって達成される。ここで、初期の仮想較正において使用されたものと同じ空気中較正パラメータを、精緻化仮想較正において再び使用することができる。
【0106】
最小平均再構成誤りをもたらすパラメータ値の組み合わせが見つかった後は、精緻化後の上記のパラメータを新しい仮想較正において使用して特定の現場環境のためにカメラ・システムの較正を更新する。
【0107】
上に考察したカメラ・システムの較正方法は、水中使用のためのカメラ・システムに関係する。しかしながら、媒質の屈折特性が結果として画像の歪みをもたらす任意の媒質におけるカメラ・システムの動作にこの方法が適用できることは理解されよう。たとえば、この方法を、濃度が高いガスまたは産業用流体(たとえば、エタノールまたはイソプロピルアルコール)を包含する環境において動作するカメラ・システムに適用することができる。
【0108】
以上、特定の実施態様について述べてきたが、これらの実施態様は、例としてのみ示されたものであり、この出願の範囲を限定することは意図されていない。実際、この中に述べられている新規の装置および方法は、多様なそのほかの形式で具体化することができる;さらにまた、この出願の範囲からの逸脱を伴うことなく、この中に述べられている装置、方法、および生成物の形式における多様な省略、代用、および変更を行うことができる。用語『包含する』は、『含む』または『・・からなる』を意味することが可能であり、したがって、いずれかの請求項または明細書全体の中にリストされているよりほかの要素またはステップの存在を排除しない。相互に異なる従属請求項の中で特定の手段が列挙されているという単なる事実は、これらの手段の組み合わせがより効果的に使用可能でないことを示してはいない。付随する請求項およびそれらの均等は、その種の形式または修正がこの出願の範囲内に含まれることになるとしてそれらを保護することを意図している。
【符号の説明】
【0109】
10 カメラ・モジュール
11 ケーシング
11a ケーシング・エンド・キャップ
12 カメラ
12a ビューポート
13 オプションのシール
15 カメラ、仮想カメラ、カメラ・レンズ、仮想カメラ・レンズ
15a カメラ・レンズ
20 ステレオ・カメラ・モジュール、ステレオ・カメラ・システム
200 仮想3次元環境
210 仮想平面パターン
500 手順
15aおよび15b カメラ・レンズ、カメラ、仮想カメラ
M 3次元点
N1 第1の媒質
N1、N2、およびN3 第1、第2、および第3の媒質
N2 第2の媒質
N3 第3の媒質
P1-P5 ポート
υ ベクトル投影、方向ベクトル
【手続補正書】
【提出日】2024-09-18
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
カメラ・システムを較正する方法であって、前記方法は、
複数の直線的に隣接する媒質を包含する3次元仮想環境を定義することであって、前記直線的に隣接する媒質は第1、第2、および第3の媒質を包含する、定義することと、
前記第1、第2、および第3の媒質のそれぞれがほかの媒質と異なる屈折率を有するとともに、前記第1の媒質内に少なくとも1つのカメラ・レンズの仮想表現が設置され、
前記少なくとも1つのカメラ・レンズの前記仮想表現に関連して、それの正面において異なる位置または向きで配設された複数の仮想平面パターンを生成することであって、前記複数の仮想平面パターンは、前記第3の媒質内に設置される、生成することと、
前記仮想平面パターンのそれぞれの上の複数の点を特定することと、
前記第1、第2、および第3の媒質のそれぞれの前記屈折率および前記カメラ・システムに関連付けられた物理的な較正パラメータのセットを使用して複数のベクトル投影を生成することと、
生成される各ベクトル投影は、前記少なくとも1つのカメラ・レンズのうちの1つと前記特定された複数の点のうちの対応する1つの間で最良適合した屈折経路に対応し、
前記生成された複数のベクトル投影を使用して前記カメラ・システムの較正を実行することと、
を包含する、カメラ・システムを較正する方法。
【請求項2】
各ベクトル投影を生成することは、前記少なくとも1つのカメラ・レンズの前記仮想表現の30度の範囲内において複数の候補方向ベクトルを生成することを包含し、前記範囲の中心を前記特定された複数の点のうちの前記対応する1つに対する線形投影とする、請求項1に記載のカメラ・システムを較正する方法。
【請求項3】
前記物理的な較正パラメータのセットは、空気中での前記カメラ・システムの物理的な較正を実行することによって取得される、請求項
1に記載のカメラ・システムを較正する方法。
【請求項4】
前記カメラ・システムは、ステレオ・カメラ・システムであり、前記少なくとも1つのカメラ・レンズは、2つのカメラ・レンズを包含し、前記2つのカメラ・レンズのそれぞれは、前記ステレオ・カメラ・システムのカメラに対応する、
請求項1に記載のカメラ・システムを較正する方法。
【請求項5】
前記第1の媒質は、空気であり、前記第2の媒質は、透明材料であり、前記第3の媒質は、水である、
請求項1に記載のカメラ・システムを較正する方法。
【請求項6】
前記第2の媒質は、前記カメラ・システムのビューポートを表し、
前記複数のベクトル投影は、追加として前記カメラ・システムの前記ビューポートの厚さのための測定済みの値、および前記ビューポートから前記カメラ・システムの前記少なくとも1つのカメラ・レンズの各カメラ・レンズの中心までの距離を使用して生成される、
請求項1に記載のカメラ・システムを較正する方法。
【請求項7】
前記第2の媒質は、前記カメラ・システムのビューポートを表し、
前記複数のベクトル投影は、追加として物理的な較正パラメータのさらなるセットを使用して生成され、前記物理的な較正パラメータのさらなるセットは、前記ビューポートを取り除き、空気中での前記カメラ・システムの物理的な較正を実行することによって決定される、
請求項1に記載のカメラ・システムを較正する方法。
【請求項8】
前記第2の媒質は、前記カメラ・システムのビューポートを表し、
前記複数のベクトル投影は、追加として前記ビューポートのためのスケーリング・パラメータを使用して生成され、
前記ビューポートのための前記スケーリング・パラメータは、さらなる複数の仮想平面パターンおよび、前記第1の媒質および前記第3の媒質の前記屈折率がそれぞれ空気のそれである前記3次元仮想環境内において、関連付けられた複数のベクトル投影を生成することによって決定される、
請求項1に記載のカメラ・システムを較正する方法。
【請求項9】
さらに、
前記カメラ・システムを使用して水中の複数の画像を収集することと、
複数のパラメータのうちの少なくとも1つのパラメータを摂動させることであって、前記複数のパラメータは
、
複数の領域のうちの少なくとも1つの前記屈折率と、
前記第2の媒質の法線軸に関する前記少なくとも1つのカメラ・レンズの整列と、
前記少なくとも1つのカメラ・レンズの前記第2の媒質からの距離と、を包含し、
前記摂動させたパラメータおよび物理的な較正パラメータの前記セットを使用して前記複数のベクトル投影を再生成することと、
前記収集した複数の画像および前記再生成した複数のベクトル投影を使用して前記カメラ・システムのさらなる較正を実行することと、
を包含する、
請求項1に記載のカメラ・システムを較正する方法。
【請求項10】
電子デバイスであって、
1つまたは複数のプロセッサと、
非一時的メモリと、
1つまたは複数のプログラムと、
を包含し、前記1つまたは複数のプログラムは、前記非一時的メモリ内に記憶され、前記1つまたは複数のプロセッサによって実行されるように構成され、前記1つまたは複数のプログラムは、請求項1乃至9
のいずれか一項に記載の方法を行うための命令を含む、
電子デバイス。
【請求項11】
1つまたは複数のプロセッサを伴う電子デバイスによって実行されると、前記電子デバイスに請求項1乃至9の
いずれか一項に記載の方
法を行わせる命令を包含する1つまたは複数のプログラムを記憶している非一時的コンピュータ可読ストレージ媒体。
【国際調査報告】