特開 2022-19593 水中３次元復元装置および水中３次元復元方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022019593

(43)【公開日】2022-01-27

(54)【発明の名称】水中３次元復元装置および水中３次元復元方法

(51)【国際特許分類】

   G01B 11/00 20060101AFI20220120BHJP

【ＦＩ】

G01B11/00 H

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2021111765

(22)【出願日】2021-07-05

(31)【優先権主張番号】20186341.2

(32)【優先日】2020-07-16

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】21150369.3

(32)【優先日】2021-01-06

(33)【優先権主張国・地域又は機関】EP

(71)【出願人】

【識別番号】000166247

【氏名又は名称】古野電気株式会社

(74)【代理人】

【識別番号】100204825

【弁理士】

【氏名又は名称】渡辺 健一

(72)【発明者】

【氏名】池上 温史

【テーマコード（参考）】

2F065

【Ｆターム（参考）】

2F065AA04

2F065AA06

2F065CC16

2F065DD03

2F065EE08

2F065FF05

2F065QQ31

(57)【要約】

【課題】水中でステレオカメラを用いて物標の画像を正確に３次元復元する装置を提供する。
【解決手段】水中環境で物標の一対の画像を撮影する第１カメラと第２カメラを含むステレオカメラ１０５，１１０と、ステレオカメラを異なる距離においてモデリングする複数のパラメータセットを記憶する情報記憶部１３０と、一対の画像上の物標の２次元位置と、複数のパラメータセットから選択されたパラメータセットとに基づいて、物標の３次元位置を計算する３次元復元部１５０とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

水中環境で物標の一対の画像を撮影する第１カメラと第２カメラを含むステレオカメラと、
前記ステレオカメラを異なる距離においてモデリングする複数のパラメータセットを記憶する情報記憶部と、
前記一対の画像上の前記物標の２次元位置と、前記複数のパラメータセットから選択されたパラメータセットとに基づいて、前記物標の３次元位置を計算する３次元復元部と、を備える、
ことを特徴とする水中３次元復元装置。

【請求項2】

請求項１に記載の水中３次元復元装置において、
前記一対の画像上の前記物標の２次元位置に基づいて、前記物標と前記ステレオカメラとの間の距離を計算する距離計算部と、
前記距離に基づいて前記パラメータセットを選択するセット選択部と、を備える、
ことを特徴とする水中３次元復元装置。

【請求項3】

請求項２に記載の水中３次元復元装置において、
前記セット選択部は、前記複数のパラメータセットの中から、前記距離に最も近い距離のパラメータセットを選択する、
ことを特徴とする水中３次元復元装置。

【請求項4】

請求項２に記載の水中３次元復元装置において、
前記セット選択部は、前記複数のパラメータセットの中から、前記距離の両側で、それぞれ前記距離に最も近い距離の第１セットと第２セットを選択する、
ことを特徴とする水中３次元復元装置。

【請求項5】

請求項４に記載の水中３次元復元装置において、
前記３次元復元部は、前記第１セットおよび前記第２セットから補間セットを計算し、該補間セットに基づいて前記物標の３次元位置を計算する、
ことを特徴とする水中３次元復元装置。

【請求項6】

請求項２ないし５の何れか一項に記載の水中３次元復元装置において、
前記距離計算部は、前記複数のパラメータセットのうちの一つを用いて前記距離を計算する、
ことを特徴とする水中３次元復元装置。

【請求項7】

請求項２ないし５の何れか一項に記載の水中３次元復元装置において、
前記距離計算部は、前記ステレオカメラの焦点距離と空気に対する水の屈折率とを用いて前記距離を算出する、
ことを特徴とする水中３次元復元装置。

【請求項8】

請求項１ないし７の何れか一項に記載の水中３次元復元装置において、
前記複数のパラメータセットの各々は、該セットが得られるべき距離の近傍に置かれた水中物標を用いて前記ステレオカメラを校正することによって得られる、
ことを特徴とする水中３次元復元装置。

【請求項9】

請求項１ないし８の何れか一項に記載の水中３次元復元装置において、
前記複数のパラメータセットのパラメータは、ピンホールカメラモデルのパラメータを含む、
ことを特徴とする水中３次元復元装置。

【請求項10】

請求項９に記載の水中３次元復元装置において、
前記複数のパラメータセットのパラメータは、レンズ歪み係数をさらに含む、
ことを特徴とする水中３次元復元装置。

【請求項11】

請求項１ないし１０の何れか一項に記載の水中３次元復元装置において、
空気と前記ステレオカメラとを封入し、前記ステレオカメラが前記物標を撮影するための透光性材料を含む防水ケースを備える、
ことを特徴とする水中３次元復元装置。

【請求項12】

請求項１ないし１１の何れか一項に記載の水中３次元復元装置において、
前記第１カメラは、前記第１カメラ内の固定位置に配置された一つ以上のレンズ素子を備え、
前記第２カメラは、前記第２カメラ内の固定位置に配置された一つ以上のレンズ素子を備える、
ことを特徴とする水中３次元復元装置。

【請求項13】

請求項１ないし１２の何れか一項に記載の水中３次元復元装置において、
前記ステレオカメラは、複数の異なる媒質を介して前記物標の画像を撮影し、前記複数の異なる媒質によって引き起こされる屈折を補償するために前記複数のパラメータセットが決定される、
ことを特徴とする水中３次元復元装置。

【請求項14】

ステレオカメラで水中環境の物標の一対の画像を撮影し、
前記ステレオカメラを異なる距離においてモデリングする複数のパラメータセットを記憶し、
前記一対の画像上の前記物標の２次元位置と、前記複数のパラメータセットから選択されたパラメータセットとに基づいて、前記物標の３次元位置を計算する、
ことを特徴とする水中３次元復元方法。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書に記載する発明は、魚の部位の３次元位置を画像より復元する技術分野に関する。本発明は、特に、ステレオカメラ及びカメラ校正に基づく魚体長計測装置に関する。

【背景技術】

【0002】

背景説明は、本発明を理解するのに有用な情報を含む。本明細書で提供される情報のいずれかが先行技術であるか、または現在特許請求の範囲に記載されている発明に関連していること、または、特定的にまたは暗黙的に参照される刊行物が先行技術であることは認められない。

【0003】

水産物は人類の蛋白質需要を満たすのに重要な役割を果たす。水産資源を効率よく持続的に管理するためには、漁業者が適切に漁獲し、有意義な情報を得る必要がある。小型魚や低品質魚は経済的に持続不可能な操業につながる可能性があるため、漁獲操業中には魚の大きさに関する予備知識が重要である。生物学的試料採取なしに魚の大きさの推定を得るため、表面および水中カメラ装置のような自律的プラットフォームにも関心が持たれている。

【0004】

正確な魚の大きさの推定は、資源状態を評価し、水産養殖産業の経済的利益を増加させるための重要なパラメータとなる。魚の養殖では、最適な時期に資源を収穫するためには、魚の成長を記述し管理するための魚体長情報を収集する必要がある。魚の大きさは、個体群レベルの特性の範囲を予測し、飼育活動のための資源を評価するために使用できる。市場用途に応じた魚の大きさを決めるためには、収穫後に魚の大きさで選別して価値を見積もる必要がある。このステップは、異なる価格を設定し、市場経済を管理するために必要である。同時に、魚体長情報は食品産業における品質を監視するために使用でき、これは水産養殖産業が価格を評価するのに役立つ。魚体長情報はまた、魚のバイオマスや形態を測定するのに役立ち、例えば、体積や脂肪含有量の推定にさえ役立つ。従って、魚の大きさは水産養殖業に必要な重要なパラメータである。

【0005】

従来の方法は、水中ステレオカメラおよび３次元復元技術を用いて魚体長を計算することを開示している。

【0006】

魚体長測定を実行する際、カメラは複数の媒質（空気、水、透明窓）内にあり、屈折が発生する。いくつかの既知のカメラ校正技術は屈折条件を打ち消す。カメラ校正技術は、カメラのレンズとイメージセンサのパラメータを推定する。これらのパラメータを使用して、レンズの歪みを補正したり、物体のサイズをワールド座標系で測定したり、撮影領域内の物体の位置を決定したりする。パラメータは、内部パラメータ、外部パラメータ、および歪み係数を含み得る。カメラパラメータを推定するためには、ワールド座標とそれに対応する画像平面座標が必要である。これらの対応は、校正パターンの複数の画像を用いて得られる。これらの対応を用いて、カメラパラメータが解かれる。

【0007】

他の既知の技術では、ピンホールカメラが、体長を決定するためにデバイス内で使用される。ピンホールカメラモデルでは屈折は考慮されない。ピンホールカメラモデルは単一焦点距離モデルであるが、水中のカメラは、上述の特殊な例を除いて屈折により焦点距離と歪係数は一定ではない。

【0008】

ピンホールカメラモデルは、多くの場合、
ｓ［ｘｙ１］^Ｔ＝Ａ［Ｒｔ］［ＸＹＺ１］^Ｔ ・・・ （１）
という方程式で表される。
ここで、
ｘ，ｙ：ピクセル座標での２次元点の位置
Ｘ，Ｙ，Ｚ：ワールド座標の３次元位置
ｓ：スケール係数
内部パラメータの行列は、５つの内部パラメータからなる行列Ａであり、

【数1】

となる。は、αとβは画素単位の焦点距離を表す。
外部パラメータ［Ｒｔ］は、ワールド座標系をカメラ座標系に関連付ける回転と移動である。

【0009】

カメラモデルには、放射方向および接線方向のレンズ歪みを含むレンズ歪みも含まれる。
放射方向歪みパラメータは、放射方向の歪みを次のようにモデリングする。
ｘ_{ｄｉｓｔｏｒｔｅｄ}＝ｘ（１＋ｋ１＊ｒ^２＋ｋ２＊ｒ^４＋ｋ３＊ｒ^６）
ｙ_{ｄｉｓｔｏｒｔｅｄ}＝ｙ（１＋ｋ１＊ｒ^２＋ｋ２＊ｒ^４＋ｋ３＊ｒ^６）
接線方向歪みパラメータは、接線方向の歪みを次のようにモデリングする。
ｘ_{ｄｉｓｔｏｒｔｅｄ}＝ｘ＋｛２＊ｐ１＊ｘ＊ｙ＋ｐ２＊（ｒ^２＋２＊ｘ^２）｝
ｙ_{ｄｉｓｔｏｒｔｅｄ}＝ｙ＋｛ｐ１＊（ｒ^２＋２＊ｙ^２）＋２＊ｐ２＊ｘ＊ｙ｝
ここで、
ｘ，ｙ：歪みのないピクセル位置
ｘ_{ｄｉｓｔｏｒｔｅｄ}，ｙ_{ｄｉｓｔｏｒｔｅｄ}：歪みのある点
ｋ１，ｋ２，ｋ３：レンズの放射方向の歪み係数
ｐ１，ｐ２：レンズの接線方向の歪み係数
ｒ^２＝ｘ^２＋ｙ^２

【0010】

これらの内部パラメータ、外部パラメータ、歪み係数を用いて３次元復元を行うことにより、水中の魚などの物体の大きさが計算される。これらのパラメータおよび係数は、校正によって推定することができる。Ｚｈａｎｇの方法、Ｔｓａｉの方法など多くの校正方法がある。

【先行技術文献】

【特許文献】

【0011】

【特許文献1】国際公開第２０１９／１８８５０６号公報

【発明の概要】

【発明が解決しようとする課題】

【0012】

本発明が解決しようとする課題は、３次元復元を用いて魚の大きさを測定するカメラを水中環境に設置した場合、屈折が生じ、焦点距離や、歪み係数が一定に保たれないことである。このような環境は、３次元復元を不正確にし、魚体長計測の誤差につながる。既存の手法に基づいたカメラはレンズの前に透明な窓がある防水ケースに入れられる。水中の物標（例えば魚）で反射してカメラに入る光線は、水・透過窓・空気といった様々な媒質を通過し、屈折の原因となる。屈折により、カメラのパラメータは対象物標とカメラの間の距離に応じて変化する。その結果、水中の物標の大きさを正確に計算できない。

【0013】

従来技術で検討されている既存の対策がいくつかある。従来技術では、屈折を除去するためにカメラのレンズに専用の防水ハウジングを取り付ける装置が提示されている。このようなデバイスは構造が複雑で、使いにくい。

【0014】

従来技術である特許文献１は、魚体長計測装置を開示している。従来技術は、カメラに基づく魚体長計測システムを開示している。カメラの校正はＤＬＴなどの従来の方法で行われ、魚とカメラの距離に応じて、この校正されたシステムで魚体長を計算する際に生じる誤差を知り、誤差を補正する。この方法には欠点があり、魚がカメラに垂直でカメラと交差する軸上にある場合には正しい物標サイズ情報を算出する場合もあるが、魚がその軸から離れている場合には、この方法は誤った値を算出する。

【0015】

本発明は、３次元復元を正確に行い、すなわち、ステレオカメラおよび校正技術を用いて水中の物標サイズを正確に計算することによって、この問題に対処する。本発明のステレオカメラは、複数の距離における歪み係数を含む内部パラメータと外部パラメータのセットを得るように構成される。校正後、３次元復元が実行され、正しい魚の大きさが提供される。

【課題を解決するための手段】

【0016】

既存の発明の１つまたは複数の欠点に対する解決策、および追加の利点が本開示において提供される。さらなる特徴および利点は、本開示の技術的特徴によって実現される。本開示の他の実施形態および態様は、本明細書に詳細に記載され、請求項に係る開示の一部であると考えられる。

【0017】

本開示は、ステレオカメラと、情報記憶部と、３次元復元部とを含む水中３次元復元装置に関する。ステレオカメラは、水中環境で物標の一対の画像を撮影する第１カメラと第２カメラとを含む。情報記憶部は、ステレオカメラを異なる距離においてモデリングする複数のパラメータセットを記憶する。３次元復元部は、一対の画像上の物標の２次元位置と、複数のパラメータセットから選択されたパラメータセットとに基づいて、物標の３次元位置を計算する。

【0018】

一態様では、距離計算部は、一対の画像上の物標の２次元位置に基づいて、物標とステレオカメラとの間の距離を計算する。セット選択部は、計算された距離に基づいてパラメータセットを選択する。

【0019】

好ましくは、セット選択部は、複数のパラメータセットの中から、計算された距離に最も近いものを選択する。

【0020】

本発明の別の態様では、セット選択部は、複数のパラメータセットの中から、計算された距離の両側で、それぞれ計算された距離に最も近い距離の第１セットおよび第２セットを選択する。３次元復元部は、第１セットおよび第２セットから補間セットを計算し、補間セットに基づいて物標の３次元位置を計算する。

【0021】

本発明の別の態様では、距離計算部は、複数のパラメータセットのうちの1つを使用して距離を計算する。

【0022】

本発明のさらに別の態様では、距離計算部は、ステレオカメラの焦点距離および空気に対する水の屈折率を使用して距離を計算する。

【0023】

本開示の一態様では、複数のパラメータセットの各々は、そのセットが得られるべき距離の近傍に配置された水中物標を用いてステレオカメラを校正することによって得られる。

【0024】

好ましくは、複数のパラメータセットのパラメータは、ピンホールカメラモデルのパラメータを含む。

【0025】

好ましくは、複数のパラメータセットのパラメータは、レンズ歪み係数をさらに含む。

【0026】

本発明の一態様では、空気およびステレオカメラを封入し、ステレオカメラが物標を撮影するための透光性材料を含む防水ケースが提供される。

【0027】

本発明の一態様では、第１カメラは、第１カメラ内の固定位置に配置された1つ以上のレンズ素子を含み、第２カメラは、第２カメラ内の固定位置に配置された1つ以上のレンズ素子を含む。

【0028】

本発明の一態様では、ステレオカメラは、複数の異なる媒質を介して物標を撮影し、複数の異なる媒質によって引き起こされる屈折を補償するために複数のパラメータセットが決定される。

【0029】

本発明の別の態様は水中３次元復元方法に関する。この態様に係る水中３次元復元方法は、ステレオカメラで水中環境の物標の一対の画像を撮影し、ステレオカメラを異なる距離においてモデリングする複数のパラメータセットを記憶し、一対の画像上の物標の２次元位置と複数のパラメータセットから選択されたパラメータセットとに基づいて物標の３次元位置を計算する。

【0030】

上記の記載は、例示のみであり、いかなる点においてもこれに限定されることを意図していない。上述の例示的な態様、実施形態、および特徴に加えて、さらなる態様、実施形態、および特徴は、図面および以下の詳細な説明を参照することによって明らかになるであろう。

【発明の効果】

【0031】

本発明は、水中でステレオカメラを用いて物標の画像を正確に３次元復元する装置を提供する。従来のピンホールカメラモデルと同様に、従来の校正手法を用いることで、複数の媒質を考慮した特殊モデルや、屈折を排除した特殊カメラ（専用の防水ハウジング）を必要としない。

【図面の簡単な説明】

【0032】

添付の図面は、本主題の典型的な実施形態のみを示しており、したがって、権利範囲を限定するために考慮されるべきではないことに留意されたい。詳細な説明については、添付図面を参照して説明する。図において、参照番号は、最初に現れる参照番号と同じである。似た特徴や構成要素などを表すために、図面全体で同じ番号が使用されている。本主題の実施形態によるシステムまたは方法または構造のいくつかの実施形態を、一例として、添付の図面を参照して説明する。

【図1】本発明の構造的特徴を示すブロック図である。

【図2】水中状態に置かれた本装置を示す。

【図3】本発明による物標の３次元画像を復元する手順の一例を示すフローチャートである。

【図4】本発明による校正を実施する手順の一例を示すフローチャートである。

【図5】第１カメラと第２カメラの簡略構造を示す。

【0033】

図面は、例示のみを目的として、本主題の実施形態を示す。当業者は、本明細書に記載された開示の原理から逸脱することなく、本明細書に図示された構造および方法の代替的な実施形態が使用され得ることを、以下の説明から容易に認識するであろう。

【発明を実施するための形態】

【0034】

本発明の実施形態は、魚の大きさを測定するためにステレオカメラシステムを使用する。原則として、カメラは校正が必要である。しかし、カメラを防水ケースに入れて水環境に置いた場合、屈折が生じるため、測定対象 (魚) とカメラとの距離に応じて校正パラメータが変化することに本願の発明者は気付いた。この問題を解決するために、本発明の実施形態では、ステレオカメラから複数の距離で校正を行う。このようにして作成された複数セットの校正パラメータは、予め情報記憶部に記憶されている。そして、ステレオカメラで魚を検出すると、魚までの大まかな距離を算出する。算出された大まかな距離に基づいて、情報記憶部に記憶された複数のセットの中から校正パラメータのセットが選択される。次に、選択された校正パラメータのセットを用いて、三角測量によって魚の大きさが計算される。

【0035】

図１および図３は、物標、好ましくは魚の３次元復元を行うための装置１００を示す。一実施形態によると、装置１００は、第１カメラ１０５，３０５および第２カメラ１１０，３１０を含むステレオカメラと、物標検出部３１２と、ペアリング部３１３と、距離計算部１２０，３２０と、セット選択部１４０，３４０と、情報記憶部１３０と、３次元復元部１５０，３５０とを含む。

【0036】

図５に第１カメラ１０５，３０５と第２カメラ１１０，３１０の概略構成を示す。第１カメラおよび第２カメラは、イメージセンサ５１、ピンホール５２、およびレンズ５３を含む。レンズ５３は、一つ以上のレンズ素子５３１からなる。撮影領域からの光５４は、レンズ５３、ピンホール５２を通ってイメージセンサ ５１に投影される。本発明の実施形態では、イメージセンサ５１とレンズ５３との間の距離が固定され、ピンホール５２とレンズ５３との間の距離が固定される。レンズ５３が複数のレンズ素子５３１からなる場合には、レンズ素子５３１間の間隔も固定される。その結果、第１カメラは、第１カメラ内の固定位置に配置された一つ以上のレンズ素子５３１を有し、第２カメラは、第２カメラ内の固定位置に配置された一つ以上のレンズ素子５３１を有する。

【0037】

本発明の一実施形態では、装置１００で３次元復元を実行する前に、事前校正ステップが実行される。図２を参照すると、屈折が生じる複数の媒質に囲まれた環境において、ピンホールカメラモデルのパラメータおよび歪み係数は、ステレオカメラ２０５，２１０に対する物標２５５の位置に応じて変化する。このため、ステレオカメラは、図４を参照して、以下のように校正される。
ａ）校正は媒質中、好ましくは水中２６０で実施され、ステレオカメラ２０５，２１０から複数の距離にてＺｈａｎｇの校正方法およびこの方法に類似した従来の校正方法を同様に使用して実施される。ステレオカメラは、空気２６５を封入した防水ケース２０１内に配置され、チェックボードなどの物標の画像を撮るための透光性材料２０２を含む。複数の距離で校正を行うために、それぞれ距離の近傍にチェックボードを配置する（Ｓ４１）。
ｂ）これにより、複数のパラメータセットが作成される。各セットは、ピンホールカメラモデルの内部パラメータおよび外部パラメータを含む。各セットはまた、放射方向および接線方向のレンズ歪み係数を含むことが好ましい。これらのセットは、校正が行われた複数の距離のそれぞれについて得られる。たとえば、距離１でセット１、・・・、距離ｎでセットｎが得られる。情報記憶部１３０は、複数のパラメータセットを記憶するように構成される（Ｓ４２）。複数のパラメータセットの各セットは、校正が実行されたステレオカメラからの距離で水中物標の画像を生成するステレオカメラをモデリングする。複数のパラメータセットからのセットは、異なる距離でステレオカメラをモデリングする。
ｃ）上記の手順を使用して事前に校正を一度実行すると、次の３次元復元を実行できる。

【0038】

図２を参照すると、ステレオカメラ１０５，２０５，１１０，２１０は、空気２６５を囲み且つステレオカメラが物標２５５の画像を撮るための透光性材料２０２を含む防水ケース２０１内に配置される。

【0039】

ステレオカメラ１０５，３０５，１１０，３１０は、カメラ同期部を用いて一対の画像３１１を撮影するように構成される。ステレオカメラ１０５，３０５，１１０，３１０は、例えば汎用入出力（ＧＰＩＯ）同期、バス・タイムスタンプ同期、音声信号同期などの方法を用いて従来行われてきた同期を用いて、同じまたはほぼ同じタイミングで一対の画像３１１を撮影するように構成されている。

【0040】

物標検出部３１２は、各画像３１１上で魚を検出するタスクを実行するように構成される。魚上の点は、検出された魚の存在を示すために示される。代わりに、検出された魚の存在を示すために、点の代わりに、充填された領域または長方形のボックスも一般的に使用される。このプロセスは、従来、プロセッサ回路およびいくつかのカメラによって実行される。機械学習、特徴点検出、エッジ検出技術のような魚を検出するタスクを実行するために、既存の一般的な特徴点検出手法を利用する。

【0041】

ペアリング部３１３は、各一対の画像３１１上で魚をペアリングするように構成される。一対の画像に対応する魚を対にする。ブロックマッチングのような、機械学習機能を伴うまたは伴わない、使用可能ないくつかの従来のペアリング方法があることは明らかである。

【0042】

距離計算部１２０，３２０は、物標とステレオカメラとの間の距離の概略推定を計算するように構成される。距離の計算は、一対の画像上の物標の２次元位置に基づいて行われる。

【0043】

本発明の一つの特徴は、距離算出部１２０，３２０が、以下の方法を用いて距離を算出するように構成されていることである。
ａ）メーカーのカメラ仕様書に記載されているピンホールカメラモデルのパラメータと歪み係数を取得する。これらのパラメータは、通常、メーカーから設計仕様書で提供される設計パラメータであり、実際には、カメラの製造後にメーカーによって測定されることはない。
ｂ）空気中でカメラを使用するためにメーカーの仕様が作成されていると仮定し、焦点距離に関するパラメータ（すなわちαとβ）に空気に対する水の屈折率、すなわち１．３３を乗算する。
ｃ）仕様に記載されていないパラメータおよび係数には、デフォルト値を使用する。
ｄ）これらのパラメータ、係数、および一対の画像３１１上の物標の２次元位置を用いて、ステップ３１２で検出される物標の距離を、例えば三角測量の原理を用いて計算する。

【0044】

本発明の別の特徴では、距離計算部１２０，３２０は、以下の方法を用いて距離を計算するように構成される。
ａ）ステレオカメラ１０５，１１０，３０５，３１０が空気中で予め校正されていると仮定して、ピンホールカメラモデルのパラメータおよび歪み係数を取得する。このようにして、これらのパラメータは、情報記憶部１３０に記憶される。
ｂ）焦点距離に関連するパラメータ（すなわちαとβ）に、空気に対する水の屈折率１．３３を掛ける。
ｃ）これらのパラメータ、係数、及び一対の画像上の物標の２次元位置を用い、例えば三角測量の原理を用いて、ステップ３１２で検出された物標の距離を計算する。

【0045】

本発明の好ましい特徴において、距離計算部１２０，３２０は、以下の方法を用いて距離を計算するように構成される。
ａ）水中での事前校正時に取得したパラメータセットのいずれかを情報記憶部１３０から取得する。パラメータのセットから任意のセットを選択できる。
ｂ）ステップ３１２で検出された物標の距離を、選択されたパラメータのセットおよび一対の画像上の物標の２次元位置を用いて、例えば三角測量の原理によって計算する。

【0046】

セット選択部１４０，３４０は、事前校正時に得られた複数のセットと、距離算出部１２０，３２０により算出された物標とカメラとの大まかな距離とに基づいて、内部パラメータおよび外部パラメータと歪み係数とからなるセットを算出するように構成されている。好ましい実施形態では、事前校正中に得られた複数のセット、距離１のセット１、・・・、距離ｎのセットｎ、の中から、例えば、ステップ３２０で取得した大まかな距離に最も近いセットを選択することによって、セットのうちの１つを選択する。例えば、０．３ｍ，０．５ｍ，１ｍ，２ｍ，５ｍのセットがあり、ステップ３２０で取得した大まかな距離が３ｍである場合、セット選択部１４０，３４０は、２ｍのセットを最も近いセットとして選択してもよい。なお、複数のセットは、情報記憶部１３０に記憶されており、セット選択部１４０，３４０は、セットを選択するように構成されている。物標の３次元復元は、選択されたセットに基づいて、３次元復元部１５０，３５０によって計算されてもよい。

【0047】

他の実施形態では、セット選択部１４０，３４０は、ステップ３２０で取得した大まかな距離に最も近い距離の複数のセットの中から、第１セットと第２セット（すなわち２セット）とを選択するように構成される。例えば、０．３ｍ，０．５ｍ，１ｍ，２ｍ，５ｍのセットがあり、ステップ３２０で取得した大まかな距離が３ｍである場合、セット選択部１４０，３４０は、２ｍのセットを第１セット、５ｍのセットを第２セットとして、最も近い二つのセットを選択してもよい。その後、セット選択部１４０，３４０は、第１セットおよび第２セットから補間セットを計算する。補間セットは、例えば、ステレオカメラから第１距離および第２距離でそれぞれ取得された第１セットおよび第２セットに関する物標の相対位置に基づいて、第１セットおよび第２セットに重みを設定することによって、第１セットおよび第２セットから補間されてもよい。物標が第１距離と第２距離との間にある場合、重み付き補間を実行する際に、第１セットの第１距離からの距離ｎ１および第２セットの第２距離からの距離ｎ２において、重みｎ２／（ｎ１＋ｎ２）が第１セットに設定され、重みｎ１／（ｎ１＋ｎ２）が第２セットに設定される。物標の３次元復元は、補間セットに基づいて、３次元復元部１５０，３５０によって計算されてもよい。

【0048】

３次元復元部１５０，３５０は、セット選択部１４０，３４０によって計算されたパラメータのセットを使用して、一対の画像上の検出された物標の２次元位置を３次元位置に変換するように構成される。２次元から３次元への形状変換のためのいくつかの従来の変換方法があり、本発明は、本発明で使用することができる形状変換のタイプに制限を加えることなく、三角測量を使用するように構成される。検出された物標の２次元位置から３次元位置への変換は、式（１）に基づいて行われる。式（１）は、セット選択部１４０，３４０によって計算されたパラメータセット（Ａ，Ｒ，ｔ）を使用する。

【0049】

次に、装置１００は、検出された一対の画像上の物標上の任意の２次元位置を３次元復元部１５０，３５０によって３次元位置に変換することができるので、物標上の二つの位置間の距離を計算することによって物標の大きさを計算することができる。例えば、一対の画像における魚の頭部の２次元位置と尾部の２次元位置とを３次元位置に変換し、魚の頭部と尾部との３次元位置間の距離を算出することにより、魚の体長を算出してもよい。

【0050】

次に、本発明の実施形態の技術的効果について説明する。従来、ステレオカメラを用いた水中３次元復元は、一セットの校正パラメータを用いて行われてきた。ただし、水中で３次元復元を行う場合、ステレオカメラは複数の媒質（空気、水、透明窓）に囲まれた環境にあるため、屈折が発生する。その結果、ステレオカメラの校正パラメータは、ステレオカメラとの距離に応じて変化する。

【0051】

この問題を解決するために、本開示の実施形態では、ステレオカメラは、ステレオカメラから複数の距離で校正される。物標の３次元復元を実行する場合、物標は、物標の距離に近い距離で得られた校正パラメータを使用して復元される。その結果、より正確な３次元復元が達成できる。

【符号の説明】

【0052】

１００ 装置
２０１ 防水ケース
２０２ 透光性材料
１０５，２０５，３０５ 第１カメラ（ステレオカメラ）
１１０，２１０，３１０ 第２カメラ（ステレオカメラ）
３１１ 画像
３１２ 物標検出部
３１３ ペアリング部
１２０，３２０ 距離計算部
１３０ 情報記憶部
１４０，３４０ セット選択部
１５０，３５０ ３次元復元部
２５５ 物標
２６０ 水中
２６５ 空気
５１ イメージセンサ
５２ ピンホール
５３ レンズ
５３１ レンズ素子
５４ 光

【図1】

【図2】

【図3】

【図4】

【図5】