特許 6163358 水上水中撮像装置、及び水上水中撮像方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6163358

(24)【登録日】2017年6月23日

(45)【発行日】2017年7月12日

(54)【発明の名称】水上水中撮像装置、及び水上水中撮像方法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20170703BHJP

   G03B 15/00 20060101ALI20170703BHJP

【ＦＩ】

   H04N5/232 960

   H04N5/232 990

   H04N5/232 290

   G03B15/00 F

   G03B15/00 H

   G03B15/00 U

【請求項の数】6

【全頁数】14

(21)【出願番号】特願2013-116211(P2013-116211)

(22)【出願日】2013年5月31日

(65)【公開番号】特開2014-236341(P2014-236341A)

(43)【公開日】2014年12月15日

【審査請求日】2016年3月28日

【権利譲渡・実施許諾】特許権者において、実施許諾の用意がある。

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】荻野 達矢

(72)【発明者】

【氏名】沢田 智

(72)【発明者】

【氏名】仲野 良

(72)【発明者】

【氏名】中西 紀雄

【審査官】 佐藤 直樹

(56)【参考文献】

【文献】 特開２０００−２２４５７６（ＪＰ，Ａ）

【文献】 特開２０１１−１０９２６７（ＪＰ，Ａ）

【文献】 特開平８−７５９８１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−５／２５７

Ｇ０３Ｂ １５／００−１５／０３５

Ｇ０３Ｂ １５／０６−１５／１６

(57)【特許請求の範囲】

【請求項1】

水上カメラが撮像した水上映像と、水中カメラが撮像した水中映像とを、水面を境にして合成することによって、１つの映像を提供する水上水中撮像装置であって、
画角の指示に応答して、第１の規則を適用して、前記水上カメラの画角及び前記水中カメラの画角を決定する画角決定部と、
前記１つの映像に対する前記水上映像の画面割合の指示に応答して、第２の規則に基づいて前記水上カメラのチルト角度、及び前記水中カメラのチルト角度を決定する、チルト角度決定部と、
前記画面割合に基づいて、前記１つの映像を生成するために、前記水上映像と、前記水中映像とを合成する、映像合成部と、
を有する水上水中撮像装置。

【請求項2】

前記第１の規則は、前記水上カメラの画角と前記水中カメラの水中での画角とが同じとなるように、前記水中カメラの画角を算出する規則であり、
前記第２の規則は、前記水上カメラのチルト角度及び水中カメラのチルト角度を、前記画面割合及び前記水上カメラの画角を用いて算出する規則である、
請求項１記載の水上水中撮像装置。

【請求項3】

前記第２の規則は、更に、前記水上カメラの水面からの高さと被写体までの距離とを用いて前記水上カメラのチルト角度を算出する規則であり、かつ前記水中カメラの水面からの深さと前記被写体までの距離とを用いて前記水中カメラのチルト角度を算出する規則である、
請求項２記載の水上水中撮像装置。

【請求項4】

水上カメラが撮像した水上映像と、水中カメラが撮像した水中映像とを、水面を境にして合成することによって、１つの映像を提供する水上水中撮像装置であって、
前記水上カメラ及び前記水中カメラの一方の画角及びチルト角度から、第３の規則に基づいて、他方の画角及びチルト角度を決定する画角・チルト角度決定部と、
前記一方の画角及びチルト角度に対応する映像上の水面位置に基づいて、前記１つの映像を生成するために、前記水上映像と、前記水中映像とを合成する、映像合成部と、
を有する水上水中撮像装置。

【請求項5】

水上カメラが撮像した水上映像と、水中カメラが撮像した水中映像とを、水面を境にして合成することによって、１つの映像を提供する水上水中撮像方法であって、
画角の指示に応答して、第１の規則を適用して、前記水上カメラの画角及び前記水中カメラの画角を決定する画角決定ステップと、
前記１つの映像に対する前記水上映像の画面割合の指示に応答して、第２の規則に基づいて前記水上カメラのチルト角度、及び前記水中カメラのチルト角度を決定する、チルト角度決定ステップと、
前記画面割合に基づいて、前記１つの映像を生成するために、前記水上映像と、前記水中映像とを合成する、映像合成ステップと、
を有する水上水中撮像方法。

【請求項6】

水上カメラが撮像した水上映像と、水中カメラが撮像した水中映像とを、水面を境にして合成することによって、１つの映像を提供する水上水中撮像方法であって、
前記水上カメラ及び前記水中カメラの一方の画角及びチルト角度から、第３の規則に基づいて、他方の画角及びチルト角度を決定する画角・チルト角度決定ステップと、
前記一方の画角及びチルト角度に対応する映像上の水面位置に基づいて、前記１つの映像を生成するために、前記水上映像と、前記水中映像とを合成する、映像合成ステップと、
を有する水上水中撮像方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、水上と水中の映像を撮像する装置、及び水上と水中の映像を撮像する方法に関する。

【背景技術】

【0002】

シンクロナイズドスイミング、水中エアロビクス、競泳、水球、飛び込みなどの水泳競技、水中歩行訓練などに対して、水上の映像と、水中の映像とを１つの画面に合成した映像のビデオ撮影が行われることがある。水上における身体の動きと、水中における身体の動きが１つの画面において観察できるようにすることで、身体の全体の動きを、容易に把握することができる。

【0003】

図１は、水上のカメラからの映像と、水中のカメラからの映像とを、水面を境にして単純に合成した映像を示している。図１に示されるように、同一の焦点距離を持つ水上のカメラからの映像と、水中のカメラからの映像とを、水面を境にして単純に合成しただけでは、水上部分の身体映像１１１と、水中部分の身体映像１１２とが、水面部分で不連続となってしまう。この原因は、平行平面を持つ水中カメラのレンズで水中の映像を撮影することによって発生する。これは、空気の屈折率が約１．００であり、水の屈折率が約１．３３であることに起因する。

【0004】

例えば、水中カメラと水上カメラとで撮影対象の水中部と水上部とを同期撮影して、撮影された水中像と水上像とを二画面合成器により水中像が下、水上像が上になるように画面合成し、水中像と水上像が一体化された映像を提供する技術が存在する。この技術では、水中カメラと水上カメラとの同期撮影に際して、両者の光学系を水と空気の光の屈折率差で撮像の大きさが変らないように、例えば、手動で適切に調整することが行われている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０００−２２４５７６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上述の従来技術においても、撮像の大きさをそろえるために、手作業による微調整を必要としていた。そこで、本発明の一側面では、水上カメラと水中カメラとを適切に制御することにより、簡便に水上映像と水中映像とをより滑らかに合成できる水上水中撮像装置、及び水上水中撮像方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

一実施形態では、水上カメラが撮像した水上映像と、水中カメラが撮像した水中映像とを、水面を境にして合成することによって、１つの映像を提供する水上水中撮像装置であって、画角の指示に応答して、第１の規則を適用して、前記水上カメラの画角及び前記水中カメラの画角を決定する画角決定部と、前記１つの映像に対する前記水上映像の画面割合の指示に応答して、第２の規則に基づいて前記水上カメラのチルト角度、及び前記水中カメラのチルト角度を決定する、チルト角度決定部と、前記画面割合に基づいて、前記１つの映像を生成するために、前記水上映像と、前記水中映像とを合成する、映像合成部と、を有する水上水中撮像装置が提供される。

【0008】

また、前記第１の規則は、前記水上カメラの画角と前記水中カメラの水中での画角とが同じとなるように、前記水中カメラの画角を算出する規則であり、前記第２の規則は、前記水上カメラのチルト角度及び水中カメラのチルト角度を、前記画面割合及び前記水上カメラの画角を用いて算出する規則であってもよい。

【0009】

また、前記第２の規則は、更に、前記水上カメラの水面からの高さと被写体までの距離とを用いて前記水上カメラのチルト角度を算出する規則であり、かつ前記水中カメラの水面からの深さと前記被写体までの距離とを用いて前記水中カメラのチルト角度を算出する規則であってもよい。

【0010】

また、他の実施形態では、水上カメラが撮像した水上映像と、水中カメラが撮像した水中映像とを、水面を境にして合成することによって、１つの映像を提供する水上水中撮像装置であって、前記水上カメラ及び前記水中カメラの一方の画角及びチルト角度から、第３の規則に基づいて、他方の画角及びチルト角度を決定する画角・チルト角度決定部と、前記一方の画角及びチルト角度に対応する映像上の水面位置に基づいて、前記１つの映像を生成するために、前記水上映像と、前記水中映像とを合成する、映像合成部と、を有する水上水中撮像装置が提供される。

【0011】

また、他の実施形態では、水上カメラが撮像した水上映像と、水中カメラが撮像した水中映像とを、水面を境にして合成することによって、１つの映像を提供する水上水中撮像方法であって、画角の指示に応答して、第１の規則を適用して、前記水上カメラの画角及び前記水中カメラの画角を決定する画角決定ステップと、前記１つの映像に対する前記水上映像の画面割合の指示に応答して、第２の規則に基づいて前記水上カメラのチルト角度、及び前記水中カメラのチルト角度を決定する、チルト角度決定ステップと、前記画面割合に基づいて、前記１つの映像を生成するために、前記水上映像と、前記水中映像とを合成する、映像合成ステップと、を有する水上水中撮像方法が提供される。

【0012】

また、他の実施形態では、水上カメラが撮像した水上映像と、水中カメラが撮像した水中映像とを、水面を境にして合成することによって、１つの映像を提供する水上水中撮像方法であって、前記水上カメラ及び前記水中カメラの一方の画角及びチルト角度から、第３の規則に基づいて、他方の画角及びチルト角度を決定する画角・チルト角度決定ステップと、前記一方の画角及びチルト角度に対応する映像上の水面位置に基づいて、前記１つの映像を生成するために、前記水上映像と、前記水中映像とを合成する、映像合成ステップと、を有する水上水中撮像方法が提供される。

【発明の効果】

【0013】

本発明によれば、水上カメラと水中カメラとを適切に制御することにより、簡便に水上映像と水中映像とをより滑らかに合成できる水上水中撮像装置、及び水上水中撮像方法を提供することができる。

【図面の簡単な説明】

【0014】

【図1】水上カメラの映像と水中カメラの映像の合成映像を示す図である。

【図2】一実施形態のハードウエア構成を示す図である。

【図3】一実施形態の原理を模式的に示した図である。

【図4】水上映像と水中映像を適切に合成した場合の例を示した図である。

【図5】カメラを下方にワイプした場合の原理の概略を示す図である。

【図6】ガラス壁を介して水中を撮像した場合についての実施形態を示す図である。

【図7】一実施形態の機能ブロック図である。

【図8】他の実施形態の機能ブロック図である。

【図9】一実施形態の動作を示すフローチャートである。

【図10】他の実施形態の動作を示すフローチャートである。

【発明を実施するための形態】

【0015】

以下図面を参照しながら、本発明の実施形態を説明する。なお、本明細書においては、水面での光の屈折、反射などは実施形態において水面を通過する光を利用しないため省略している。また、水中から水面を通過して水上に至る光を直線で表示し、実施形態において水面を通過する光を利用しないため水面での光の屈折を無視している。また、水上から水中に入射する光についても、水面を通過する光を直線で表示し、光の屈折を無視している。そのほかにも、本実施形態を説明するために、簡略化を行い、かつ特定の条件を与えている場合がある。これらは、いずれも、本実施形態の原理を容易に理解するためのものであることに留意すべきである。したがって、本実施形態を、実際にインプリメントする場合には、当業者は、必要に応じて、本明細書において簡約化された部分及び特定の条件を付された部分について、必要に応じてインプリメンテーションの状況に即して、微修正を加えることができる点に留意すべきである。

【0016】

また、本明細書では、説明を分かりやすくするために、空気の屈折率を１と仮定し、水の屈折率をｎとして説明する。したがって、空気の屈折率と水の屈折率の比もｎとして扱う。また、本明細書で、「焦点距離」とは、無限遠からの平行光線がレンズに入射した際の、レンズの焦点距離を意味する。

【0017】

図２は、一実施形態のハードウエア構成を示す図である。

【0018】

水上カメラ２１１及び水中カメラ２１２が、オブジェクト２００（被写体）を撮像している。そして、水上カメラ２１１によって得られた水上の映像２２１と、水中カメラ２１２によって得られた水中の映像２２２とを、映像合成部２３０が１つの映像２６０として合成する。合成された１つの映像２６０が、ディスプレイ２７０に表示されている。１つの映像２６０は、水面２５０を境にして、水面２５０の上側に水上の映像２２１が示されており、水面２５０の下側に水中の映像２２２が示されている。そして、水上の映像２２１には、オブジェクト２００の水上部分２５１が表示され、水中の映像２２２には、オブジェクト２００の水中部分２５２が表示されている。そして、実施形態においては、オブジェクト２００の水上部分２５１と、オブジェクト２００の水中部分２５２が、滑らかに接続して表示される。

【0019】

図３は、一実施形態の原理を模式的に示した図である。

【0020】

図３（Ａ）は、オブジェクトＯｂ３５０が、水面３４０を境として、水上部分Ｏｂ３５１とＯｂ３５２に分かれている状態を示している。そして、水上カメラの視点Ｐ３０１から画角θｚｕにより、オブジェクトＯｂ３５０を撮像し、その撮像領域がＡｕからＢｕまでであることを示している。また、水中カメラの視点Ｐ３０２から、画角θｚｓ１により、オブジェクトＯｂ３５０を撮像し、その撮像領域がＡｓ１からＢｓ１までであることを示している。なお、水上カメラは、水面から高さｈの位置にある。水上カメラの視点３０１は、水面からｈだけ上方に位置する水平線３４１上に位置している。また、水中カメラは、水面から深さｈの位置にある。水中カメラの視点Ｐ３０２は、水面からｈだけ下方（水中）に位置する水平線３４２上に位置している。そして、カメラからオブジェクトＯｂ３５０までの距離をＬとする。

【0021】

なお、図３（Ａ）では、説明を分かりやすくするため、水中カメラから見えるオブジェクトＯｂ３５０の距離をＬとして示している。現実には、同じ焦点距離を持つ水上カメラと水中カメラを用いた場合、水中カメラから見えるオブジェクトＯｂ３５０の位置は、水中カメラから略Ｌ／ｎの位置に存在しているように見える点に留意する必要がある。

【0022】

なお、Ｌがｈに比して非常に大きい場合には、ｈは無視し得る。以下の説明では、説明を簡単にするために、Ｌに比してｈは非常に小さいとして、三角形Ａｕ，ｐ３０１，Ｂｕ、及び三角形Ａｓ１，Ｐ３０２，Ｂｓ１は、共に二等辺三角形であると仮定して説明する。

【0023】

上述の例において、同じ焦点距離のカメラを用いた場合、空気の屈折率を１とし、水の屈折率をｎと置くと、スネルの法則により、
Ｓｉｎ（θｚｕ／２）＝ｎ×Ｓｉｎ（（θｚｓ１）／２）
が成り立つ。
ズームレンズの焦点距離と、その画角との間には、レンズ固有の関係が存在する。水中カメラにおける水中での画角を、水上カメラの画角と同じにするためには、水上カメラの焦点距離をαとすると、水中カメラの焦点距離βは、以下のように設定すればよい。
β＝α／ｎ （１）
水上カメラの焦点距離αを式（１）に与えることによって、水中カメラの焦点距離βが決定され、さらに水中カメラの画角が決定される。式（１）は、第1の規則の一例である。

【0024】

水上カメラの撮像領域ＡｕからＢｕまでの長さは、ｍ３８０である。また、水中カメラの撮像領域Ａｓ１からＢｓ１までの長さは、ｍ３９０である。両者には、以下の式が成り立つ。
ｍ３８０＝ｎ×ｍ３９０
したがって、水中カメラの映像（オブジェクトＯｂ３５２）の大きさは、水上カメラの映像（オブジェクトＯｂ３５１）の大きさの約ｎ倍となる。このため、既に図１で示したように、同じ焦点距離の水上カメラの映像と水中カメラの映像とを、水面を境に単純につなぎ合わせた場合には、オブジェクトの境が滑らかに接続されないのである。通常、空気の屈折率は約１．００であり、水の屈折率は、約１．３３であるから、水中のオブジェクトの映像（オブジェクトＯｂ３５２）は、水上のオブジェクトの映像（オブジェクトＯｂ３５１）の約１．３３倍の大きさの映像となる。

【0025】

なお、オブジェクトＯｂ３５０に対する水中カメラのフォーカス設定値については、空気と水との間の光の屈折を考慮し、水上カメラのフォーカス設定値（距離）を１／ｎ倍した値にする必要がある。

【0026】

図３Ｂは、式（１）を用いて、水中カメラの画角θｚｓ２を水上カメラの画角θｚｕと等しくした図である。すなわち、以下のように水中カメラの画角θｚｓ２を設定する
θｚｓ２＝θｚｕ
この場合には、水中カメラの撮像領域Ａｓ２からＢｓ２が、水上カメラの撮像領域ＡｕからＢｕまでと一致する。このようにすることによって、水中カメラによるオブジェクトＯｂ３５０の映像の大きさが、水上カメラによるオブジェクトＯｂ３５０の映像の大きさと略一致することになる。

【0027】

なお、カメラのズームレンズでは、一般に焦点距離が用いられている。既に述べたように、画角と焦点距離とは、レンズによって固有の関係が存在する。水中カメラの焦点距離の設定については、既に述べたとおりである。

【0028】

なお、レンズ毎に、所定の焦点距離を変化させるための制御量は異なる。このため、例えば水上カメラの焦点距離に応じて、水中カメラの焦点距離を自動的に制御するために、使用レンズに対応した制御用のパラメータ（ズームリング回転角と焦点距離との関係等）を、記憶部（不図示）に予め記憶させておいてもよい。

【0029】

図４（Ａ）は、図３（Ｂ）の設定を行って、水上映像と水中映像を適切に合成した映像４００の例を示している。すなわち、水上におけるオブジェクトの映像４０１と、水中におけるオブジェクトの映像４０２とが、水面４２０において、滑らかにつながっている。なお、図４（Ａ）の場合、水面４２０の位置は画面の略中央に位置している。したがって、映像４００の縦の長さｍ４８０は、水上の映像の縦の長さｍ４８１の約２倍である。

【0030】

図４（Ｂ）は、画面を下方にワイプした場合の映像を示している。映像４３０では、水面４２１が、映像４００の水面４２０よりも、画面の上方に位置している。この映像を撮るには、水上カメラ及び水中カメラを下方にチルトする必要がある。

【0031】

図５は、カメラを下方にチルトした場合の原理の概略を示す図である。

【0032】

ワイプとは、例えば、カメラを下方又は上方にチルトして、水面部分を画面の上部に、又は下部に位置させる操作を意味する。

【0033】

図５（Ａ）は、水上カメラの視点Ｐ１が、水面５４０の上方の高さｈの位置５４１に置かれていることを示している。そして、説明の便宜上、三角形Ｐ１，Ａ１，Ｂ１は、二等辺三角形とする。視点Ｐ１から水面におけるオブジェクトＯｂ５５１までの水平方向の距離がＬ１である。また、Ａ１からＢ１が水上カメラの視点Ｐ１からの撮像領域である。また、オブジェクトＯｂ５５１の水面における位置が点Ｓ１である。そして、水上カメラのレンズの中心軸Ｃ５７１が下方にチルトしている。水上カメラの画角がθｚ１、水上カメラの下方チルト角度がθｔ１である。視点Ｐ１と点Ｓ１とを結ぶ直線と、水上カメラのレンズの中心軸Ｃ５７１とのなす角度がθｓ１である。撮像領域Ａ１からＢ１までの長さがｍ５６０であり、撮像領域の上端Ａ１から水面の点Ｓ１までの長さがｍ５６１である。ここで、ワイプ比Ｒ（画面割合）を以下のように定義する。
Ｒ＝ｍ５６１／ｍ５６０
図５（Ａ）の場合、ワイプ比Ｒは、次のように表せる。
Ｒ＝（θｚ１／２−θｓ１）／θｚ１
ここで、近似的に
θｓ１＝θｔ１−ｔａｎ^−１（ｈ／Ｌ１）
と表すことができるから、ワイプ比Ｒは、
Ｒ＝（θｚ１／２−θｔ１＋ｔａｎ^−１（ｈ／Ｌ１））／θｚ１
＝０．５−（θｔ１−ｔａｎ^−１（ｈ／Ｌ１））／θｚ１ （２）
となる。式（２）を用いることによって、水上カメラのチルト角度から、ワイプ比Ｒを求めることができる。

【0034】

あるいは、ワイプ比Ｒを外部から与える場合には、チルト角度θｔ１は、以下のように求まる。
θｔ１＝（０．５−Ｒ）θｚ１＋ｔａｎ^−１（ｈ／Ｌ１） （３）
図５（Ｂ）は、水中カメラにおける状況を示している。

【0035】

なお、既に述べたように、水中カメラの水中での画角は、水上カメラの画角と同じになるように水中カメラの画角を設定する必要がある。このためには、水中カメラの焦点距離は、水上カメラ自体の焦点距離の１／ｎ倍とすることが必要である。

【0036】

水中カメラの視点Ｐ２が、水面５４０の下方の水深ｈの位置５４２に置かれていることを示している。そして、説明の便宜上、三角形Ｐ２，Ａ１，Ｂ１は、二等辺三角形とする。視点Ｐ２からオブジェクトＯｂ５５１までの距離が、同様にＬ１であり、Ａ１からＢ１が水中カメラの撮像領域である。また、オブジェクトの水面における位置が点Ｓ１である。そして、水中カメラの画角がθｚ１、水中カメラの下方チルト角度がθｔ２である。視点Ｐ２と点Ｓ１とを結ぶ直線と、水中カメラのレンズの中心軸Ｃ５７２とのなす角度がθｓ２である。撮像領域Ａ１からＢ１までの長さがｍ５８０であり、撮像領域の上端Ａ１から水面の点Ｓ１までの長さがｍ５８１である。ここで、ワイプ比は、水上カメラと同じワイプ比Ｒであるから、以下のようになる。
Ｒ＝ｍ５８１／ｍ５８０＝ｍ５６１／ｍ５６０
図５（Ｂ）の場合、ワイプ比Ｒは、次のように表せる。
Ｒ＝（θｚ１／２−θｓ２）／θｚ１
ここで、近似的に
θｓ２＝θｔ２＋ｔａｎ^−１（ｈ／Ｌ１）
と表すことができるから、ワイプ比Ｒは、
Ｒ＝（θｚ１／２−θｔ２−ｔａｎ^−１（ｈ／Ｌ１））／θｚ１
＝０．５−（θｔ２＋ｔａｎ^−１（ｈ／Ｌ１））／θｚ１ （４）
となる。上式を用いることによって、水中カメラのチルト角度から、ワイプ比Ｒを求めることができる。

【0037】

あるいは、ワイプ比Ｒを外部から与える場合には、チルト角度θｔ２は、以下のように求まる。
θｔ２＝（０．５−Ｒ）θｚ１−ｔａｎ^−１（ｈ／Ｌ１） （５）
以上のようにして、式（３）及び式（５）を用いることにより、ワイプ比Ｒを与えることにより、水上カメラのチルト角度θｔ１と、水中カメラのチルト角度θｔ２とが決定される。これらのチルト角度を用いて、水上カメラ、及び水中カメラをチルトさせれば、所望のワイプ比Ｒの映像が得られる。そして、ワイプ比Ｒから、画面上の水面位置が求まる。この水面位置を用いて、水上カメラの映像と水中カメラの映像を合成して、１つの映像にすることにより、オブジェクトＯｂ５５１の映像が滑らかにつながった映像が得られる。式（３）及び式（５）は、第２の規則の一例である。

【0038】

以上のようにして、ワイプ比Ｒを与えて、水上カメラと水中カメラの適切なチルト角度を求めることができる。

【0039】

また、水上カメラに対して水中カメラが追従するようにして、水中カメラの各種のパラメータを決定してもよい。式（１）、式（２）及び式（５）は、第３の規則の一例である。

【0040】

なお、ズームレンズの焦点距離は、レンズによって微妙に異なる場合がある。また、水の屈折率は、水の成分や水温によっても変化する。空気の屈折率も、同様に気温等によって１．００からずれる場合がある。また、レンズを通して観測される屈折率の値はレンズの個体特性によって変化するため、実際に利用する前に、水上レンズと水中レンズを用いて、ワイプ比Ｒと、水上カメラのチルト角度θｔ１と、水中カメラのチルト角度θｔ２との関係をキャリブレーションしておくことが望ましい。

【0041】

また、複数のレンズを交換して用いる場合には、このキャリブレーションの値を、レンズに対応付けて保存しておくことにより、レンズ交換を行った際においても、装着されたレンズの過去のキャリブレーション値を読み出すことによって、再度キャリブレーションを行うことを省略してもよい。

【0042】

以上の説明においては、水中カメラは、カメラ自体を水没させた場合について述べたものである。すなわち、水中カメラの先端が平面であり、かつ、その平面が水没するカメラを用いた場合について述べたものである。

【0043】

図６は、例えばガラスなどの透明なガラス壁６９０を介して撮像を行った場合についての実施形態を示している。図６は、水上を撮像するカメラ６１０と水中を撮像するカメラ６２０が、いずれもガラス壁６９０を隔てているため、空気中に存在している。この場合には、水中を撮像するカメラ６２０をチルトさせても、水から空気への屈折がガラス壁６９０において固定的に行われる。このため、水中における映像については、図６に示した原理とは、屈折の関係が異なる。なぜなら、図５のようにカメラを水没させる場合には、カメラをチルトさせることにより、カメラのレンズ先端の平面も角度が変化するのに対して、図６の場合には、水中用のカメラをチルトさせても、水と空気の間の屈折は、既にガラス壁６９０においてなされているからである。

【0044】

しかしながら、チルト角度が小さい場合には、図５との差異は微少であると判断される。このため、図６の実施形態においても、図５で説明した原理を適用できる。

【0045】

なお、図５の場合には、水中カメラのレンズ先端と、レンズ先端の前側で水と接している平面（保護フィルタ面）との距離は、水と接している平面（保護フィルタ面）からオブジェクトまでの距離に比して非常に短いと仮定している。図６の場合において、水中用のカメラ６２０からガラス壁６９０までの距離が、ガラス壁からオブジェクトまでの距離と比して相対的に長くなるにつれて、図５に示した原理との乖離が発生する。これは、主として水中用のカメラ６２０の画角の設定に影響を与える。このような状況においては、例えば、予めｎの値をキャリブレーションして、式（１）を用いて、水中用のカメラの焦点距離を適切な値に修正することが望ましい（フォーカス制御についても同様の修正をすることが望ましい）。

【0046】

図７は、一実施形態の機能ブロック図を示している。

【0047】

水上水中撮像装置８００は、画角決定部８２２と、チルト角度決定部８２４と、距離情報取得・フォーカス制御部８２６と、カメラ高さ・水深記憶部８２８と、水上カメラ制御部８３１と、水中カメラ制御部８３２と、映像合成部８３０と、水上カメラ８４１と、水中カメラ８４２と、表示装置８５０とを有する。

【0048】

画角決定部８２２は、画角指示８０４を受信して、水中カメラの画角を決定する。画角指示８０４の値は、水上カメラに対して直接与えられる。したがって、画角指示の値によって、水上カメラの画角が決定される。そして、水上カメラの画角と同じ画角になるよう、水中カメラの焦点距離を決定する。既に述べたように、水中カメラの焦点距離は、水上カメラの焦点距離の１／ｎにすればよい。なお、水温、空気の屈折率、カメラの個体差等を勘案し、適切な焦点距離が設定できるよう、ｎの値のキャリブレーションを予め行っておくことが望ましい。

【0049】

チルト角度決定部８２４は、画面割合指示８０６と、カメラ高さ・水深記憶部８２８からの情報と、画角指示８０４と、距離情報取得・フォーカス制御部から得られたオブジェクトまでの距離とを用いて、水上カメラのチルト角度と、水中カメラのチルト角度を決定する。この決定においては、式（３）及び式（５）が用いられる。

【0050】

距離情報取得・フォーカス制御部８２６は、例えば水上カメラのフォーカス情報から、オブジェクトまでの距離情報を取得する。この距離情報を用いて、水中カメラ８４２のフォーカス制御情報を、水中カメラ制御部８３２に送る。水中カメラのフォーカスは、オブジェクトまでの距離を１／ｎ倍した値とすることが望ましい。

【0051】

水上カメラ制御部８３１は、水上カメラ８４１のフォーカス指示８０２に基づきフォーカスを制御する。水上カメラ制御部８３１は、水上カメラ８４１の画角、及びチルト角度を制御する。

【0052】

水中カメラ制御部８３２は、水中カメラ８４２のフォーカス、画角、及びチルト角度を制御する。

【0053】

映像合成部８３０は、画面割合指示８０６を用いて、水上カメラ８４１及び水中カメラ８４２からの映像を、水面を境として合成する。

【0054】

表示装置８５０は合成された映像を表示する。映像合成部８３０は、合成された映像を、その他の機器に出力してもよい。

【0055】

以上のようにして、水上水中撮像装置８００が適切に機能する。

【0056】

図８は、他の実施形態の機能ブロック図を示している。図７と同様の構成については、同じ符号が付されている。図８においては、図７において入力された画面割合指示８０６の代わりに、水上カメラ８４１のためのチルト角度指示９０６が与えられる。

【0057】

水上カメラ制御部８３１には、フォーカス指示８０２、画角指示８０４、チルト角度指示９０６が与えられる。水上カメラ制御部８３１は、これらの情報を基に、水上カメラ８４１を制御する。

【0058】

画角・チルト角度決定部９１２は、水上カメラ８４１のための画角指示８０４及びチルト角度指示９０６、カメラ高さ・水深記憶部８２８からのカメラの水深距離と、距離情報取得・フォーカス制御部８２６からのオブジェクトまでの距離情報とを基にして、水中カメラの画角とチルト角度とを決定し、水中カメラ制御部８３２に伝える。

【0059】

映像合成部８３０は、画角指示８０４及びチルト角度指示９０６を基にして、式（２）を用いて、ワイプ比Ｒを求め、水上映像及び水中映像を合成し、出力する。

【0060】

以上のようにして、図８に示す実施形態では、水上カメラの制御情報を基にして、水中カメラの制御を行う。

【0061】

図９は、一実施形態の動作を示すフローチャートである。

【0062】

ステップＳ１０１０で、画角決定部８２２は、水上カメラ及び水中カメラの画角を決定する。

【0063】

ステップＳ１０２０で、チルト角度決定部８２４は、画面割合指示８０６から、水上カメラ及び水中カメラのチルト角度を決定する。

【0064】

ステップＳ１０３０で、映像合成部８３０は、水上映像と水中映像とを、画面割合に基づいて合成する。

【0065】

ステップＳ１０４０で、映像合成部８３０は、表示装置８５０などに合成した映像を出力する。

【0066】

図１０は、他の実施形態の動作を示すフローチャートである。

【0067】

ステップＳ１１１０で、水上カメラ制御部８３１は、水上カメラの画角及びチルト角度の設定値を取得し、水上カメラ８４１を制御する。

【0068】

ステップＳ１１２０で、画角・チルト角度決定部９１２は、水上カメラの画角及びチルト角度の設定値から、水中カメラの画角及びチルト角度を決定する。そして、画角・チルト角度決定部９１２は、これらの情報を水中カメラ制御部８３２に渡す。

【0069】

ステップＳ１１３０で、映像合成部８３０は、水上映像と水中映像とを、画面割合に基づいて合成する。

【0070】

ステップＳ１１４０で、映像合成部８３０は、表示装置８５０などに合成した映像を出力する。

【0071】

以上のようにして、水上映像と水中映像が、よりスムーズに結合された映像が生成される。

【符号の説明】

【0072】

８００、９００ 水上水中撮像装置
８０２ フォーカス指示
８０４ 画角指示
８０６ 画面割合指示
８２２ 画角決定部
８２４ チルト角度決定部
８２６ 距離情報取得・フォーカス制御部
８２８ カメラ高さ・水深記憶部
８３０ 映像合成部
８３１ 水上カメラ制御部
８３２ 水中カメラ制御部
８４１ 水上カメラ
８４２ 水中カメラ
８５０ 表示装置
９０６ チルト角度指示
９１２ 画角・チルト角度決定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】