特許 7317531 船舶の撮影システムおよびそれを備えた船舶、ならびに船舶の撮影システムの較正方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-21

(45)【発行日】2023-07-31

(54)【発明の名称】船舶の撮影システムおよびそれを備えた船舶、ならびに船舶の撮影システムの較正方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20230724BHJP

   B63B 49/00 20060101ALI20230724BHJP

   B60R 1/27 20220101ALI20230724BHJP

【ＦＩ】

H04N7/18 J

B63B49/00 Z

B60R1/27

【請求項の数】 7

(21)【出願番号】P 2019047546

(22)【出願日】2019-03-14

(65)【公開番号】P2020150459

(43)【公開日】2020-09-17

【審査請求日】2022-02-24

(73)【特許権者】

【識別番号】000010076

【氏名又は名称】ヤマハ発動機株式会社

(74)【代理人】

【識別番号】100104433

【弁理士】

【氏名又は名称】宮園 博一

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】黒川 光章

(72)【発明者】

【氏名】福本 晋平

(72)【発明者】

【氏名】寺田 宏平

(72)【発明者】

【氏名】安間 寛文

(72)【発明者】

【氏名】木下 嘉理

【審査官】佐野 潤一

(56)【参考文献】

【文献】特開２０１９－０９２００２（ＪＰ，Ａ）

【文献】特開２０１０－０４１５３０（ＪＰ，Ａ）

【文献】特開２０１５－１１９３７２（ＪＰ，Ａ）

【文献】特開２０１０－０９３６０５（ＪＰ，Ａ）

【文献】特開２０１５－１０６７８５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ２３／６０

Ｂ６３Ｂ ４９／００

Ｂ６０Ｒ １／００

Ｇ０６Ｔ １／００－３／００

(57)【特許請求の範囲】

【請求項1】

互いに所定の間隔をあけて船舶に設置される複数のカメラと、
前記複数のカメラそれぞれの撮影によって取得された前記船舶の周辺画像を組み合わせて合成画像を作成する制御装置と、を備える船舶の撮影システムであって、
前記複数のカメラのうち隣り合う前記カメラは、当該各カメラの撮影によって取得される前記周辺画像に前記船舶の一部が共通に写り込む位置および角度に設置され、
前記船舶の前記一部が前記周辺画像に共通に写り込む位置に配置された較正用指標を備え、
前記較正用指標自体は、前記船舶の前記一部を利用したパターンまたは形状として形成され、
前記制御装置は、前記周辺画像に共通に写り込む前記較正用指標に基づいて、前記周辺画像における前記合成画像に用いる範囲を調整する較正処理を行う
ことを特徴とする船舶の撮影システム。

【請求項2】

請求項１に記載された船舶の撮影システムにおいて、
前記制御装置は、個々の前記カメラの撮影によって取得された前記船舶の周辺画像を、当該カメラの設置位置から前記船舶の喫水線までの距離と当該カメラの設置角度とに基づいて、上方から見下ろしたような画像に変換した後に、前記較正処理により調整された範囲で組み合わせて前記合成画像を作成する
ことを特徴とする船舶の撮影システム。

【請求項3】

請求項１または２に記載された船舶の撮影システムにおいて、
前記各カメラは、前記船舶の外周部分に向けてそれぞれ設置され、
前記制御装置は、前記船舶の外周部分に設けられた前記較正用指標に基づいて、前記較正処理を行う
ことを特徴とする船舶の撮影システム。

【請求項4】

請求項１～３のいずれか１項に記載された船舶の撮影システムにおいて、
隣り合う前記カメラの撮影範囲は、前記船舶の周辺について一部重複しており、
前記制御装置は、前記合成画像において隣り合う前記カメラの共通の撮影範囲が重複して現れないように、前記周辺画像を繋ぎ合わせることで前記合成画像を作成する
ことを特徴とする船舶の撮影システム。

【請求項5】

請求項４に記載された船舶の撮影システムにおいて、
前記制御装置は、前記合成画像において隣り合う前記カメラの共通の撮影範囲が重複して現れないように、前記周辺画像のうち前記合成画像に用いる範囲が決定される
ことを特徴とする船舶の撮影システム。

【請求項6】

請求項１～５のいずれか１項に記載された船舶の撮影システムを備える
ことを特徴とする船舶。

【請求項7】

互いに所定の間隔をあけて船舶に設置される複数のカメラによって撮影し、該各カメラの撮影によって取得された船舶の周辺画像を組み合わせて合成画像を作成する船舶の撮影システムにおいて、前記周辺画像における前記合成画像に用いる範囲を調整する較正方法であって、
前記複数のカメラのうち隣り合う前記カメラにより前記船舶の一部が共通に写り込むように前記周辺画像を撮影する撮影ステップと、
前記撮影ステップで撮影した前記周辺画像に共通に写り込む位置に配置され、前記船舶の前記一部を利用したパターンまたは形状として形成された較正用指標自体に基づいて、前記周辺画像における前記合成画像に用いる範囲を調整する較正ステップと、を含む
ことを特徴とする船舶の撮影システムの較正方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の技術は、船舶の撮影システムおよびそれを備えた船舶、ならびに船舶の撮影システムの較正方法に関する。

【背景技術】

【0002】

従来から、船舶の操縦を支援するために、船体の周囲に設置された複数のカメラによって撮影される周辺画像を組み合わせることにより、船舶を上方から見下ろしたかのような疑似の鳥瞰画像を合成画像として作成し、船舶に搭載された表示装置に表示させることが知られている。このような鳥瞰画像の表示を行う操船支援システム（操縦支援装置）は、例えば特許文献１に開示されている。

【0003】

複数のカメラによって撮影された周辺画像を組み合わせる場合には、隣り合うカメラの撮影によって取得された周辺画像における鳥瞰画像に用いる範囲を、撮影範囲の重複や消失がないように位置合せするために、個々のカメラの設置位置や設置角度などの設置状態に応じて調整するキャリブレーションと呼ばれる撮影システムの較正処理を行う必要がある。

【0004】

そうした撮影システムの較正処理は、鳥瞰画像の表示を行う自動車の運転支援システムにおいて行われている。自動車の運転システムに用いられる撮影システムの較正処理は、例えば、カメラの設置状態を判断するための基準となる較正用指標を路上や床面に複数設置し、隣り合うカメラで共通の較正用指標を撮影することで行われる。このような撮影システムの較正方法については、例えば特許文献２に開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１０－０９３６０５号公報

【文献】特開２０１４－１８３５４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

もっとも、水上にある船舶の撮影システムでは、較正用指標を水面に浮かせて設置すると、較正用指標が水の動きにより流されてしまい、較正用指標を適切な位置に設置することが困難である。このことから、本願出願人は、係留施設に較正用指標を設置し、その較正用指標を用いて較正処理を行う撮影システムの較正方法を提案している（特願２０１８－０７８７９４号）。しかしながら、当該撮影システムの較正方法では、較正処理を行える場所が係留施設に限られるため、較正処理を行うタイミングの自由度が制限される。

【0007】

本開示の技術は、斯かる点に鑑みてなされたものであり、その目的とするところは、複数のカメラにより撮影した船舶の周辺画像を組み合わせて合成画像を作成する船舶の撮影システムにおいて、船舶の周辺画像における合成画像に用いる範囲を調整する較正処理を船舶が何処にあっても行えるようにすることにある。

【課題を解決するための手段】

【0008】

上記の目的を達成するために、本開示の技術では、船舶の一部に設けられた較正用指標を用いて較正処理を行うようにした。

【0009】

具体的には、本開示の技術は、互いに所定の間隔をあけて船舶に設置される複数のカメラと、複数のカメラそれぞれの撮影によって取得される船舶の周辺画像を組み合わせて合成画像を作成する制御装置とを備える船舶の撮影システムを対象とする。

【0010】

本開示の技術に係る船舶の撮影システムでは、複数のカメラのうち隣り合うカメラは、当該各カメラの撮影によって取得される周辺画像に船舶の一部が共通に写り込む位置および角度に設置される。船舶の一部が周辺画像に共通に写り込む位置に配置された較正用指標を備え、較正用指標自体は、船舶の一部を利用したパターンまたは形状として形成される。そして、制御装置は、周辺画像に共通に映り込む較正用指標に基づいて、周辺画像における合成画像に用いる範囲を調整する較正処理を行う。ここで、「較正用指標」について「船舶の一部に設けられた」とは、較正用指標が船舶の構成部分とは別体に設けられている場合の他、船舶の一部自体が較正用指標を構成している場合も含む。

【0011】

この構成によると、隣り合うカメラにより船舶の一部を共通に撮影し、共通に撮影される船舶の一部に設けられた較正用指標を用いて船舶の周辺画像における合成画像に用いる範囲を調整する較正処理を行うようにしたので、船舶とは別に較正用指標を設置するための施設を必要とせず、船舶の一部を利用して較正処理を行うことができる。これにより、船舶が何処にあっても較正処理を行えるようにすることができる。

【0012】

上記船舶の撮影システムにおいて、制御装置は、個々のカメラの撮影によって取得された船舶の周辺画像を、当該カメラの設置位置から船舶の喫水線までの距離と当該カメラの設置角度とに基づいて、上方から見下ろしたような画像に変換した後に、較正処理により調整された範囲で組み合わせて合成画像を作成することが好ましい。

【0013】

船舶に設置される各カメラは、船舶の周辺に向かって斜め下方に臨む姿勢とされ、船舶の周辺を真上からではなく斜め上から下方に傾斜した向きで撮影する。このように各カメラで斜め上から撮影された船舶の周辺画像を、カメラの設置位置から船舶の喫水線までの距離とカメラの設置角度とに基づいて船舶の上方から見下ろしたような画像に変換することにより、合成画像として一体感のある疑似の鳥瞰画像を作成することができる。当該合成画像の作成においては、船舶の周辺画像が較正処理により調整された範囲で組み合わせられるので、本開示の技術が有効である。

【0014】

また、各カメラは、船舶の外周部分に向けてそれぞれ設置されていてもよい。この場合、制御装置は、船舶の外周部分に設けられた較正用指標に基づいて、較正処理を行うことが好ましい。

【0015】

この構成によると、各カメラを較正用指標がなるべく周辺画像の中央側に写るように設置するようにしたので、それら各カメラのレンズの歪み（広角歪みなど）による較正処理への悪影響を抑えて、較正処理の精度を高めることができる。

【0016】

上記船舶の撮影システムにおいて、隣り合うカメラの撮影範囲は、船舶の周辺について一部重複している。そして、制御装置は、合成画像において隣り合うカメラの共通の撮影範囲が重複して現れないように、船舶の周辺画像を繋ぎ合わせることで合成画像を作成してもよい。この場合、制御装置は、合成画像において隣り合うカメラの共通の撮影範囲が重複して現れないように、船舶の周辺画像のうち合成画像に用いる領域を決定するようになっていてもよい。

【0017】

また、本開示の技術は、船舶の周辺を撮影する撮影システムを備えた船舶を対象とする。本開示の技術に係る船舶は、上述した船舶の撮影システムを備える。

【0018】

また、本開示の技術は、互いに所定の間隔をあけて船舶に設置される複数のカメラによって撮影し、それら各カメラの撮影によって取得される船舶の周辺画像を組み合わせて合成画像を作成する船舶の撮影システムにおいて、船舶の周辺画像における合成画像に用いる範囲を調整する較正方法を対象とする。

【0019】

本開示の技術に係る船舶の撮影システムの較正方法は、複数のカメラのうち隣り合うカメラにより船舶の一部が共通に映り込むように周辺画像を撮影する撮影ステップと、撮影ステップで撮影した周辺画像に共通に写り込む位置に配置され、船舶の一部を利用したパターンまたは形状として形成された較正用指標自体に基づいて、船舶の周辺画像における合成画像に用いる範囲を調整する較正ステップとを含む。

【0020】

この構成によると、隣り合うカメラにより船舶の一部を共通に撮影し、共通に撮影された船舶の一部に設けられた較正用指標を用いて船舶の周辺画像における合成画像に用いる範囲を調整する較正処理を行うようにしたので、船舶とは別に較正用指標を設置するための施設を必要とせずに、船舶の一部を利用して較正処理を行うことができる。これにより、船舶が何処にあっても較正処理を行えるようにすることができる。

【発明の効果】

【0021】

本開示の技術に係る船舶の撮影システムおよびそれを備えた船舶、ならびに船舶の撮影システムの較正方法によれば、船舶の周辺画像における合成画像に用いる範囲を調整する較正処理を船舶が何処にあっても行えるようにすることができる。その結果、船舶の撮影システムのユーザビリティを向上させることができる。

【図面の簡単な説明】

【0022】

【図1】図１は、実施形態に係る周辺確認システムが搭載された船舶の平面図である。

【図2】図２は、実施形態に係る周辺確認システムが搭載された船舶の側面図である。

【図3】図３は、実施形態に係る周辺確認システムが搭載された船舶の正面図である。

【図4】図４は、実施形態に係る周辺確認システムの構成を示すブロック図である。

【図5】図５は、半天球カメラの撮影によって取得される画像の模式図である。

【図6】図６は、実施形態に係る周辺確認システムにおいてモニタに表示される鳥瞰画像の模式図である。

【発明を実施するための形態】

【0023】

以下、例示的な実施形態を図面に基づいて詳細に説明する。

【0024】

この実施形態では、本開示の技術に係る船舶の撮影システムおよびその較正方法について、船舶に搭載された周辺確認システムを構成する場合を例に挙げて説明する。船舶の周辺確認システムは、例えば船舶の着岸時などの操船作業において、船舶の周辺の状況を映像によって確認するためのシステムである。

【0025】

この船舶の周辺確認システムの構成について、図１～図４を参照しながら説明する。図１は、周辺確認システム１１が搭載された船舶１０１の平面図である。図２は、周辺確認システム１１が搭載された船舶１０１の側面図である。図３は、周辺確認システム１１が搭載された船舶１０１の正面図である。また、図４は、船舶１０１の周辺確認システム１１の構成を示すブロック図である。なお、図１では、周辺確認システム１１が備える複数のカメラ１３ｆ，１３ｂ，１３ｌ，１３ｒについて、それらの姿勢等まで厳密には図示していない。

【0026】

船舶１０１の周辺確認システム１１は、図１～図４に示すように、互いに所定の間隔をあけて船舶１０１に設置された複数のカメラ１３ｆ，１３ｂ，１３ｌ，１３ｒと、船室１０３内およびフライングデッキ１０４に設置された表示装置としてのモニタ１５と、船舶１０１の姿勢を検出するための各種センサ１７，１９と、当該システム１１を総合的に制御する制御装置２１とを備えている。複数のカメラ１３ｆ，１３ｂ，１３ｌ，１３ｒと制御装置２１とは、船舶１０１の周辺を撮影して合成画像である疑似の鳥瞰画像を作成する撮影システム２２を構成している。

【0027】

複数のカメラ１３ｆ，１３ｂ，１３ｌ，１３ｒは、船首側のバウデッキ１０５に設置されたフロントカメラ１３ｆと、船尾側のスターンデッキ１０７に設置されたバックカメラ１３ｂと、船舶１０１の長さ方向における中央部分である船央の左側に設置されたレフトカメラ１３ｌと、船央の右側に設置されたライトカメラ１３ｒとである。これら４台のカメラ１３ｆ，１３ｂ，１３ｌ，１３ｒは、船舶１０１の外周部分を含めて船舶１０１周辺を撮影するようにそれぞれ設置されている。

【0028】

フロントカメラ１３ｆは、バウデッキ１０５の左右方向における中央位置に立てられた支柱１０９に、前方斜め下方に臨む姿勢でレンズの光軸を船首（船舶１０１の外周部分）側に向けて取り付けられている。このフロントカメラ１３ｆは、船舶１０１の前方における所定範囲Ｒｆの風景を動画または静止画で撮影して、周辺画像として前方画像Ｐｆを取得する。

【0029】

バックカメラ１３ｂは、スターンデッキ１０７の左右方向における中央位置に立てられた支柱１１０に、後方斜め下方に臨む姿勢でレンズの光軸を船舶１０１の船尾（船舶１０１の外周部分）側に向けて取り付けられている。このバックカメラ１３ｂは、船舶１０１の後方における所定範囲Ｒｂの風景を動画または静止画で撮影して、周辺画像として後方画像Ｐｂを取得する。

【0030】

レフトカメラ１３ｌは、船室１０３の左側面に、左方斜め下方に臨む姿勢でレンズの光軸を左舷のガンネル１１１（船舶１０１の外周部分）側に向けて取り付けられている。このレフトカメラ１３ｌは、船舶１０１の左方における所定範囲Ｒｌの風景を動画または静止画で撮影して、周辺画像として左方画像Ｐｌを取得する。

【0031】

ライトカメラ１３ｒは、船室１０３の左側面に、右方斜め下方に臨む姿勢でレンズの光軸を右舷のガンネル１１２（船舶１０１の外周部分）側に向けて取り付けられている。このライトカメラ１３ｒは、船舶１０１の右方における所定範囲Ｒｒの風景を動画または静止画で撮影して、周辺画像として右方画像Ｐｒを取得する。

【0032】

フロントカメラ１３ｆの撮影範囲Ｒｆとレフトカメラ１３ｌの撮影範囲Ｒｌとは、互いに重複する共通の撮影範囲ＲＣｆｌ（図１で紙面左上の斜線を付した範囲）を含んでいる。フロントカメラ１３ｆとレフトカメラ１３ｌとは、当該各カメラ１３ｒ，１３ｌの撮影によって取得される周辺画像Ｐｆ，Ｐｌに、船舶１０１のバウデッキ１０５の外周部分に設置された手すり１１３の左側部分が共通に写り込む位置および角度に設置される。そのことで、フロントカメラ１３ｆとレフトカメラ１３ｌとの共通の撮影範囲ＲＣｆｌは、当該手すり１１３の左側部分を含む範囲に設定される。

【0033】

フロントカメラ１３ｆおよびレフトカメラ１３ｌの撮影によって取得される周辺画像Ｐｆ，Ｐｌに共通に写り込む手すり１１３の一部には、テープを巻き付けたり塗装を施したりすることで白と黒の縞模様が付されており、その縞模様からなる第１の較正用指標１１５が設けられている。この第１の較正用指標１１５は、フロントカメラ１３ｆおよびレフトカメラ１３ｌの撮影によって取得される周辺画像Ｐｆ，Ｐｌの鳥瞰画像３０１に用いる範囲を調整するのに、後述する較正処理で用いられる。

【0034】

フロントカメラ１３ｆの撮影範囲Ｒｆとライトカメラ１３ｒの撮影範囲Ｒｒとは、互いに重複する共通の撮影範囲ＲＣｆｒ（図１で紙面右上の斜線を付した範囲）を含んでいる。フロントカメラ１３ｆとライトカメラ１３ｒとは、当該各カメラ１３ｆ，１３ｒの撮影によって取得される周辺画像Ｐｆ，Ｐｒに、船舶１０１のバウデッキ１０５の外周部分に設置された手すり１１３の右側部分が共通に写り込む位置および角度に設置される。そのことで、フロントカメラ１３ｆとライトカメラ１３ｒとの共通の撮影範囲ＲＣｆｒは、当該手すり１１３の右側部分を含む範囲に設定される。

【0035】

フロントカメラ１３ｆおよびライトカメラ１３ｒの撮影によって取得される周辺画像Ｐｆ，Ｐｒに共通に写り込む手すり１１３の一部には、テープを巻き付けたり塗装を施したりすることで白と黒の縞模様が付されており、その縞模様からなる第２の較正用指標１１７が設けられている。この第２の較正用指標１１７は、フロントカメラ１３ｆおよびライトカメラ１３ｒの撮影によって取得される周辺画像Ｐｆ，Ｐｒの鳥瞰画像３０１に用いる範囲を調整するのに、後述する較正処理で用いられる。

【0036】

バックカメラ１３ｂの撮影範囲Ｒｂとレフトカメラ１３ｌの撮影範囲Ｒｌとは、互いに重複する共通の撮影範囲ＲＣｂｌ（図１で紙面左下の斜線を付した範囲）を含んでいる。バックカメラ１３ｂとレフトカメラ１３ｌとは、当該各カメラ１３ｂ，１３ｌの撮影によって取得される周辺画像Ｐｂ，Ｐｌに、船舶１０１のスターンデッキ１０７左側に設置されたクリート１１９が共通に写り込む位置および角度に設置される。そのことで、バックカメラ１３ｂとレフトカメラ１３ｌとの共通の撮影範囲ＲＣｂｌは、船舶１０１の左側を係留する際に用いる当該クリート１１９を含む範囲に設定される。

【0037】

バックカメラ１３ｂおよびレフトカメラ１３ｌの撮影によって取得される周辺画像Ｐｂ，Ｐｌに共通に写り込むクリート１１９は、例えば、船体が白色である場合には塗装が施されるなどして黒色の表面を有し、第３の較正用指標１２１を構成している。この第３の較正用指標１２１は、バックカメラ１３ｂおよびレフトカメラ１３ｌの撮影によって取得される周辺画像Ｐｂ，Ｐｌの鳥瞰画像３０１に用いる範囲を調整するのに、後述する較正処理で用いられる。

【0038】

バックカメラ１３ｂの撮影範囲Ｒｂとライトカメラ１３ｒの撮影範囲Ｒｒとは、互いに重複する共通の撮影範囲ＲＣｂｒ（図１で紙面右下の斜線を付した範囲）を含んでいる。バックカメラ１３ｂとライトカメラ１３ｒとは、当該各カメラ１３ｂ，１３ｒの撮影によって取得される周辺画像に、船舶１０１のスターンデッキ１０７右側に設置されたクリート１２３が共通に写り込む位置および角度に設置される。そのことで、バックカメラ１３ｂとライトカメラ１３ｒとの共通の撮影範囲ＲＣｂｒは、船舶１０１の右側を係留する際に用いる当該クリート１２３を含む範囲に設定される。

【0039】

バックカメラ１３ｂおよびライトカメラ１３ｒの撮影によって取得される周辺画像Ｐｂ，Ｐｒに共通に写り込むクリート１２３は、例えば、船体が白色である場合には、塗装が施されるなどして黒色の表面を有し、第４の較正用指標１２５を構成している。この第４の較正用指標１２５は、バックカメラ１３ｂおよびライトカメラ１３ｒの撮影によって取得される周辺画像Ｐｂ，Ｐｒの鳥瞰画像３０１に用いる範囲を調整するのに、後述する較正処理で用いられる。

【0040】

この実施形態において、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒの設置位置から船舶１０１の喫水線１３１までの距離である水上高さＨは、同じに高さに設定されている。フロントカメラ１３ｆの設置角度α１と、バックカメラ１３ｂの設置角度α２と、レフトカメラ１３ｌおよびライトカメラ１３ｒの設置角度α３，α４とは、互いに異なる角度に設定されている。レフトカメラ１３ｌの設置角度α３とライトカメラ１３ｒの設置角度α４とは、同じ角度に設定されている。

【0041】

なお、各カメラ１３ｆ，１３ｂ，１３ｌ，１３ｒの設置角度は、任意に設定することができる。すなわち、フロントカメラ１３ｆの設置角度α１と、バックカメラ１３ｂの設置角度α２と、レフトカメラ１３ｌおよびライトカメラ１３ｒの設置角度α３，α４とは、互いに同じ角度であってもよいし、レフトカメラ１３ｌおよびライトカメラ１３ｒの設置角度α３，α４は、互いに異なる角度であってもよい。

【0042】

また、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒは、いずれも防水および防塵の仕様とされている。また、これら各カメラ１３ｆ，１３ｂ，１３ｌ，１３ｒは、それぞれ船舶１０１に着脱可能に取り付けられるようになっており、例えば、船舶１０１を使用するときに船体に取り付けるが船舶１０１の使用後には取り外したり、不具合が生じたときに取り替えたりすることができるようになっている。

【0043】

また、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒは、それぞれ標準レンズよりも画角の広い広角レンズ２３を備えた広角カメラである。広角レンズ２３には、例えば１８０度以上の画角を有するレンズが用いられる。具体的には、この実施形態でのフロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌ、ライトカメラ１３ｒは、それぞれ広角レンズ２３を有する広域撮影カメラ、いわゆる半天球カメラである。

【0044】

図５に、半天球カメラの撮影によって取得される画像２０１の概念図を示す。フロントカメラ１３ｆの撮影によって取得される前方画像Ｐｆ、バックカメラ１３ｂの撮影によって取得される後方画像Ｐｂ、レフトカメラ１３ｌの撮影によって取得される左方画像Ｐｌ、およびライトカメラ１３ｒの撮影によって取得される右方画像Ｐｒは、図５に示すように、広角レンズ２３の光軸Ａを中心として周囲３６０度を見渡したような円形状の画像２０１である。この円形状の画像２０１は、広角レンズ２３の外面に投影された立体の光学像を光軸Ａに沿って平面像に射影変換した像に相当する。

【0045】

このような円形状の画像２０１である前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒは、広角歪みを含む。ここでいう「広角歪み」とは、立体の光学像を平面に射影する際に広角側で画像が被写界と相似にならず縮むように湾曲を伴って変形した歪みのことである。この広角歪みは、魚眼レンズ以外の広角レンズ２３では樽型の歪曲収差として知られるレンズの収差の１つであって、画像中心からの距離に応じて歪みの程度が大きくなり、特に画像周辺で顕著になる。

【0046】

モニタ１５は、船室１０３内の操舵席１２７の前方と、フライングデッキ１０４の操舵席１２７の周辺とにおいて、操舵席１２７に着席した操船者から操船中に見える位置に配置されている。このモニタ１５には、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒによって取得される前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒに基づいて作成された、船舶１０１を上方から見下ろしたかのような疑似の鳥瞰画像が表示される。

【0047】

図６に、モニタ１５に表示される鳥瞰画像３０１の模式図を示す。鳥瞰画像３０１は、図６に示すように、前方鳥瞰画像ＢＥＶｆ、後方鳥瞰画像ＢＥＶｂ、左方鳥瞰画像ＢＥＶｌおよび右方鳥瞰画像ＢＥＶｒの４つの部分鳥瞰画像３０１ｐが組み合わされてなる合成画像である。例えば、鳥瞰画像３０１は、４つの部分鳥瞰画像３０１ｐが共通の撮影範囲ＲＣｆｌ，ＲＣｆｒ，ＲＣｂｌ，ＲＣｂｒでシームレスに繋ぎ合わされて一体化されたり、または別々のデータとして並べて表示されたりして構成される。この鳥瞰画像３０１では、船舶１０１の上面を表す船舶画像１０１ｇが中心位置に示される。船舶画像１０１ｇは、例えば、イラストでもよいし、写真であってもよい。

【0048】

また、モニタ１５は、タッチパネル機能を有する液晶表示パネルなどによって構成されている。このモニタ１５は、表示される鳥瞰画像３０１の範囲を切り換えたり、鳥瞰画像３０１に代えて個別の周辺画像（前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌ、右方画像Ｐｒ）を表示したりするなどの表示設定の他、後述する撮影システム２２の較正処理の実行などを指示するための操作部２５を兼ねている。当該モニタ１５には、そうした較正処理の実行などに用いるメニュー画面も表示されるようになっている。操船者などの撮影システム２２のユーザは、メニュー画面に従い操作部２５を操作することによって、較正処理の実行を行える。

【0049】

各種センサ１７，１９としては、ジャイロセンサ１７および加速度センサ１９が設けられている。ジャイロセンサ１７および加速度センサ１９は、船舶１０１の揺れに応じて変化するフロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌ、ライトカメラ１３ｒの傾きを検出する傾きセンサ４０を構成している。

【0050】

ジャイロセンサ１７は、船舶１０１が傾いたときに、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒがどれだけの速さで回転しているのかを検出する。加速度センサ１９は、船舶１０１が傾いたときに、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒがどのような向きに回転しているのかを検出する。

【0051】

ジャイロセンサ１７および加速度センサ１９は、例えば、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌ、ライトカメラ１３ｒ、制御装置２１のうち少なくとも１つに内蔵されている。なお、これらジャイロセンサ１７および加速度センサ１９は、各カメラ１３ｆ，１３ｂ，１３ｌ，１３ｒおよび制御装置２１とは別に船舶１０１に設置されていてもよい。

【0052】

制御装置２１は、周知のマイクロコンピュータをベースとするコントローラである。この制御装置２１は、例えば、船室１０３内に設置されており、船舶１０１のバッテリから電源供給を受けて、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌ、ライトカメラ１３ｒ、モニタ１５などに対して電力を分配供給すると共に、それら各カメラ１３ｆ，１３ｂ，１３ｌ，１３ｒ、各モニタ１５および各種センサ１７，１９とデータのやり取りをするようになっている。

【0053】

具体的には、制御装置２１は、図４に示すように、画像データに所定の処理を施す信号処理部２９と、プログラムやデータを一時的に記憶する主メモリ３１と、主メモリ３１に対するプログラムおよびデータの書き込みや読み出しを制御するメモリ制御部３３と、主メモリ３１に読み出されたプログラムを実行するＣＰＵ（Central Processing Unit）３５と、各種プログラムおよびデータを記憶する補助メモリ３７と、モニタ１５を動作させるモニタ用ドライバ３９とを備えている。

【0054】

信号処理部２９およびＣＰＵ３５は、典型的にはＩＣ（Integrated Circuit）やＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integration Circuit
）などによって実現される。主メモリ３１は、典型的にはＤＲＡＭ（Dynamic Random Access Memory）やＳＤＲＡＭ（Synchronous DRAM）などの揮発性メモリによって実現される。補助メモリ３７は、典型的にはフラッシュメモリなどの不揮発性メモリによって実現される。

【0055】

信号処理部２９は、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒから出力された前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒについての各フレームの画像データを次々と取得し、取得した各周辺画像Ｐｆ，Ｐｂ，Ｐｌ，Ｐｒについての画像データに基づいて部分鳥瞰画像３０１ｐを４枚作成し、それら４枚の部分鳥瞰画像３０１ｐ（ＢＥＶｆ，ＢＥＶｂ，ＢＥＶｌ，ＢＥＶｒ）を組み合わせて合成することにより１枚の鳥瞰画像３０１を作成する。

【0056】

補助メモリ３７には、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒの外部パラメータと、それらフロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒの内部パラメータとが記憶されている。ここで「外部パラメータ」とは、カメラの設置位置や設置角度などの設置状態を示す数値である。また、「内部パラメータ」とは、カメラの光軸位置や焦点距離、広角歪みなどの歪みに関する情報といった、カメラに固有の光学的性質を表す数値である。

【0057】

また、補助メモリ３７には、前方画像Ｐｆにおける鳥瞰画像３０１に用いる切り出し範囲、後方画像Ｐｂにおける鳥瞰画像３０１に用いる切り出し範囲、左方画像Ｐｌにおける鳥瞰画像３０１に用いる切り出し範囲、および右方画像Ｐｒにおける鳥瞰画像３０１に用いる切り出し範囲についての各設定値（較正処理を行う前は共に初期値）と、較正処理に用いられる較正用指標１１５，１１７，１２１，１２５の位置情報とが記憶されている。

【0058】

前方画像Ｐｆにおいて鳥瞰画像３０１に用いる切り出し範囲の部分画像は、鳥瞰画像３０１のうち前方鳥瞰画像ＢＥＶｆを構成する。前方画像Ｐｆのうち鳥瞰画像３０１に用いる切り出し範囲、つまり前方鳥瞰画像ＢＥＶｆとする範囲は、第１の較正用指標１１５および第２の較正用指標１１７に基づいて、前方鳥瞰画像ＢＥＶｆと左方鳥瞰画像ＢＥＶｌおよび右方鳥瞰画像ＢＥＶｒとで重複した範囲が鳥瞰画像３０１に現れないように、且つ前方鳥瞰画像ＢＥＶｆと左方鳥瞰画像ＢＥＶｌおよび右方鳥瞰画像ＢＥＶｒとの間に消失した範囲が存在しないように決定される。

【0059】

後方画像Ｐｂにおいて鳥瞰画像３０１に用いる切り出し範囲の部分画像は、鳥瞰画像３０１のうち後方鳥瞰画像ＢＥＶｂを構成する。後方画像Ｐｂのうち鳥瞰画像３０１に用いる切り出し範囲、つまり後方鳥瞰画像ＢＥＶｂとする範囲は、第３の較正用指標１２１および第４の較正用指標１２５に基づいて、後方鳥瞰画像ＢＥＶｂと左方鳥瞰画像ＢＥＶｌおよび右方鳥瞰画像ＢＥＶｒとで重複した範囲が鳥瞰画像３０１に現れないように、且つ後方鳥瞰画像ＢＥＶｂと左方鳥瞰画像ＢＥＶｌおよび右方鳥瞰画像ＢＥＶｒとの間に消失した範囲が存在しないように決定される。

【0060】

左方画像Ｐｌにおいて鳥瞰画像３０１に用いる切り出し範囲の部分画像は、鳥瞰画像３０１のうち左方鳥瞰画像ＢＥＶｌを構成する。左方画像Ｐｌのうち鳥瞰画像３０１に用いる切り出し範囲、つまり左方鳥瞰画像ＢＥＶｌとする範囲は、第１の較正用指標１１５および第３の較正用指標１２１に基づいて、左方鳥瞰画像ＢＥＶｌと前方鳥瞰画像ＢＥＶｆおよび後方鳥瞰画像ＢＥＶｂとで重複した範囲が鳥瞰画像３０１に現れないように、且つ左方鳥瞰画像ＢＥＶｌと前方鳥瞰画像ＢＥＶｆおよび後方鳥瞰画像ＢＥＶｂとの間に消失した範囲が存在しないように決定される。

【0061】

右方画像Ｐｒにおいて鳥瞰画像３０１に用いる切り出し範囲の部分画像は、鳥瞰画像３０１のうち右方鳥瞰画像ＢＥＶｒを構成する。右方画像Ｐｒのうち鳥瞰画像３０１に用いる切り出し範囲、つまり後方鳥瞰画像ＢＥＶｒとする範囲は、第２の較正用指標１１７および第４の較正用指標１２５に基づいて、右方鳥瞰画像ＢＥＶｒと前方鳥瞰画像ＢＥＶｆおよび後方鳥瞰画像ＢＥＶｂとで重複した範囲が鳥瞰画像３０１に現れないように、且つ右方鳥瞰画像ＢＥＶｒと前方鳥瞰画像ＢＥＶｆおよび後方鳥瞰画像ＢＥＶｂとの間に消失した範囲が存在しないように決定される。

【0062】

信号処理部２９は、前処理部４１と、画像補正部４３と、切り出し処理部４５と、画像合成部４７とを備えている。これら前処理部４１、画像補正部４３、切り出し処理部４５および画像合成部４７は、マイクロコンピュータなどのハードウェアと、ハードウェア上で実行されるプログラムなどのソフトウェアとの協働によって実現される機能部である。

【0063】

メモリ制御部３３は、前処理部４１、画像補正部４３、切り出し処理部４５および画像合成部４７で、前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒについての画像データに所定の処理を行う際に主メモリ３１から当該画像データを読み出し、且つ、前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒについての画像データに当該所定の処理を行った後に当該画像データを主メモリ３１に書き込む。

【0064】

前処理部４１は、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒからそれぞれ取得される前方画像Ｐｆ、後方画像Ｐｂ、左方画像 Ｐｌおよび右方画像Ｐｒについての画像データに対し、前処理として、デジタルクランプ、画素欠陥補正、ゲイン制御などの調整処理を施す。

【0065】

画像補正部４３は、補助メモリ３７に記憶されたフロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒの内部パラメータおよび外部パラメータを、メモリ制御部３３を介して主メモリ３１に読み出す。

【0066】

そして、画像補正部４３は、前方画像Ｐｆについての画像データに対し、フロントカメラ１３ｆの内部パラメータに基づき、広角歪みなどの歪みのない画像となるように変換する歪み補正を施す。画像補正部４３は、後方画像Ｐｂについての画像データに対しても、バックカメラ１３ｂの内部パラメータに基づき、同様な歪み補正を施す。画像補正部４３は、左方画像Ｐｌについての画像データに対しても、レフトカメラ１３ｌの内部パラメータに基づき、同様な歪み補正を施す。画像補正部４３は、右方画像Ｐｒについての画像データに対しても、ライトカメラ１３ｒの内部パラメータに基づき、同様な歪み補正を施す。

【0067】

また、画像補正部４３は、前方画像Ｐｆについての画像データに対し、フロントカメラ１３ｆの内部パラメータおよび外部パラメータに基づき、上方から見下ろしたような画像に変換する視点変換処理を施す。画像補正部４３は、後方画像Ｐｂについての画像データに対しても、バックカメラ１３ｂの内部パラメータおよび外部パラメータに基づき、同様な視点変換処理を施す。画像補正部４３は、左方画像Ｐｌについての画像データに対しても、レフトカメラ１３ｌの内部パラメータおよび外部パラメータに基づき、同様な視点変換処理を施す。画像補正部４３は、右方画像Ｐｒについての画像データに対しても、ライトカメラ１３ｒの内部パラメータおよび外部パラメータに基づき、同様な視点変換処理を施す。

【0068】

切り出し処理部４５は、補助メモリ３７に記憶された、前方画像Ｐｆの鳥瞰画像３０１に用いる切り出し範囲、後方画像Ｐｂの鳥瞰画像３０１に用いる切り出し範囲、左方画像Ｐｌの鳥瞰画像３０１に用いる切り出し範囲、および右方画像Ｐｒの鳥瞰画像３０１に用いる切り出し範囲についての各設定値を、メモリ制御部３３を介して主メモリ３１に読み出す。

【0069】

そして、切り出し処理部４５は、これら周辺画像Ｐｆ，Ｐｂ，Ｐｌ，Ｐｒにおける切り出し範囲の設定値に従って、上述の歪み補正および視点変換処理が施された後の前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒについての画像データをそれぞれ部分的に切り出すことにより、前方鳥瞰画像ＢＥＶｆ、後方鳥瞰画像ＢＥＶｂ、左方鳥瞰画像ＢＥＶｌおよび右方鳥瞰画像ＢＥＶｒについての部分鳥瞰画像データを作成する。

【0070】

信号処理部２９は、そのような画像データの切り出し処理を行う際に、傾きセンサ４０によって検出されるフロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒの傾きに基づき、前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒについての画像データの傾きと、部分鳥瞰画像３０１ｐ（前方鳥瞰画像ＢＥＶｆ、後方鳥瞰画像ＢＥＶｂ、左方鳥瞰画像ＢＥＶｌおよび右方鳥瞰画像ＢＥＶｒ）の切り出し位置とを補正する。こうした補正は、電子ジンバルと呼ばれ、カメラの姿勢の動的な変化に起因した撮影画像の回転方向への変位をキャンセルする技術である。

【0071】

部分鳥瞰画像３０１ｐは、船体が波で揺れることによるカメラ１３ｆ，１３ｂ，１３ｌ，１３ｒの向きの変化に伴って傾く。このような部分鳥瞰画像３０１ｐの傾きは、上述した視点変換処理を施している関係上、当該部分鳥瞰画像３０１ｐにおいて船体から離れるほど大きく見える。

【0072】

これに対し、本実施形態では、上述の如く、鳥瞰画像３０１の作成において電子ジンバルを効かせているので、船舶１０１が揺れて傾いても、船舶１０１の姿勢に倣ったフロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおおびライトカメラ１３ｒの傾き度合に合わせて、各部分鳥瞰画像３０１ｐの傾きが補正される。それによって、船体が波で揺れることに起因した部分鳥瞰画像３０１ｐの傾きを低減することができる。このことは、鳥瞰画像３０１をリアルタイムで表示したときの同画像３０１の揺れを軽減するのに有効である。このようにして作成された部分鳥瞰画像データは、メモリ制御部３３によって主メモリ３１に書き込まれる。

【0073】

画像合成部４７は、主メモリ３１に書き込まれた前方鳥瞰画像ＢＥＶｆ、後方鳥瞰画像ＢＥＶｂ、左方鳥瞰画像ＢＥＶｌおよび右方鳥瞰画像ＢＥＶｒについての４枚分の部分鳥瞰画像データをフレーム毎にメモリ制御部３３によって読み出し、読み出された部分鳥瞰画像データを組み合わせると共に、船舶画像１０１ｇの画像データを画像中心に位置するように合成することにより、鳥瞰画像３０１についての鳥瞰画像データを作成する。そうして作成された鳥瞰画像データは、メモリ制御部３３によって主メモリ３１に書き込まれる。

【0074】

主メモリ３１に書き込まれた各フレームの鳥瞰画像データは、ＣＰＵ３５からの指令を受けてメモリ制御部３３により読み出され、モニタ用ドライバ３９に受け渡される。モニタ用ドライバ３９は、主メモリ３１から読み出された鳥瞰画像データに基づいてモニタ１５を駆動する。これにより、モニタ１５には、その鳥瞰画像データに基づく鳥瞰画像３０１がリアルタイム画像（ライブビュー）として表示される。

【0075】

制御装置２１は、前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒにおいて鳥瞰画像３０１に用いる範囲、つまり画像データの切り出し範囲を調整するキャリブレーションと呼ばれる撮影システム２２の較正処理を行う機能を有している。

【0076】

制御装置２１は、そうした較正処理を行う較正処理部５１を備えている。較正処理部５１は、操船者による操作部の操作により、較正処理が実行されると、各カメラ１３ｆ，１３ｂ，１３ｌ，１３ｒの設置位置から船舶１０１の喫水線１３１までの距離である水上高さＨと、それら各カメラ１３ｆ，１３ｂ，１３ｌ，１３ｒの設置角度α１，α２，α３，α４と、第１～第４の較正用指標１１５，１１７，１２１，１２５の位置との入力を求める画面をモニタ１５に表示し、それらの情報の入力をユーザ（操船者など）に求める。このとき、入力された各カメラ１３ｆ，１３ｂ，１３ｌ，１３ｒの水上高さＨおよび設置角度α１，α２，α３，α４は、メモリ制御部３３によって主メモリ３１に書き込まれる。

【0077】

較正処理部５１は、第１～第４の較正用指標１１５，１１７，１２１，１２５を検出する指標検出部５５と、指標検出部５５により検出された第１～第４の較正用指標１１５，１１７，１２１，１２５に基づいて較正処理のための演算を行う較正演算部５７とを備えている。

【0078】

指標検出部５５は、前方画像Ｐｆおよび左方画像Ｐｌにおいて、第１の較正用指標１１５の特徴をそれぞれ検出する。また、指標検出部５５は、前方画像Ｐｆおよび右方画像Ｐｒにおいて、第２の較正用指標１１７の特徴をそれぞれ検出する。第１の較正用指標１１５および第２の較正用指標１１７の特徴は、例えば、白色と黒色の縞模様の境界からなる部分直線である。このような部分直線のパターンは、公知のエッジ検出アルゴリズムや直線検出アルゴリズムを利用して検出することができる。

【0079】

また、指標検出部５５は、後方画像Ｐｂおよび左方画像Ｐｌにおいて、第３の較正用指標１２１の特徴をそれぞれ検出する。また、指標検出部５５は、後方画像Ｐｂおよび右方画像Ｐｒにおいて、第４の較正用指標１２５の特徴をそれぞれ検出する。第３の較正用指標１２１および第４の較正用指標１２５の特徴は、例えば、船体の白色とクリート１１９，１２３の黒色の境界部分からなる部分直線や、その部分直線同士の交点である。これら部分直線や交点のパターンは、公知のエッジ検出アルゴリズムや直線検出アルゴリズムを利用して検出することができる。

【0080】

前方画像Ｐｆにおいて検出される第１の較正用指標１１５の特徴は、前方画像Ｐｆにおける第１の較正用指標１１５の座標（位置）を示している。前方画像Ｐｆにおいて検出される第２の較正用指標１１７の特徴は、前方画像Ｐｆにおける第２の較正用指標１１７の座標（位置）を示している。後方画像Ｐｂにおいて検出される第３の較正用指標１２１の特徴は、後方画像Ｐｂにおける第３の較正用指標１２１の座標（位置）を示している。後方画像Ｐｂにおいて検出される第４の較正用指標１２５の特徴は、後方画像Ｐｂにおける第４の較正用指標１２５の座標（位置）を示している。

【0081】

左方画像Ｐｌにおいて検出される第１の較正用指標１１５の特徴は、左方画像Ｐｌにおける第１の較正用指標１１５の座標（位置）を示している。左方画像Ｐｂにおいて検出される第３の較正用指標１２１の特徴は、左方画像Ｐｌにおける第３の較正用指標１２１の座標（位置）を示している。右方画像Ｐｒにおいて検出される第２の較正用指標１１７の特徴は、右方画像Ｐｒにおける第２の較正用指標１１７の座標（位置）を示している。右方画像Ｐｒにおいて検出される第４の較正用指標１２５の特徴は、右方画像Ｐｒにおける第４の較正用指標１２５の座標（位置）を示している。

【0082】

較正演算部５７は、前方画像Ｐｆにおける第１の較正用指標１１５の座標と第２の較正用指標１１７の座標とに基づいて、前方画像Ｐｆの切り出し範囲を、それら第１の較正用指標１１５および第２の較正用指標１１７が当該切り出し範囲上で所定の位置になるように調整する。また、較正演算部５７は、後方画像Ｐｂにおける第３の較正用指標１２１の座標と第４の較正用指標１２５の座標とに基づいて、後方画像Ｐｂの切り出し範囲を、それら第１の較正用指標１１５および第２の較正用指標１１７が当該切り出し範囲上で所定の位置になるように調整する。

【0083】

構成演算部５７は、左方画像Ｐｌにおける第１の較正用指標１１５の座標と第３の較正用指標１２１の座標とに基づいて、左方画像Ｐｌの切り出し範囲を、それら第１の較正用指標１１５および第３の較正用指標１２１が当該切り出し範囲上で所定の位置になるように調整する。また、較正演算部５７は、右方画像Ｐｌにおける第２の較正用指標１１７の座標と第４の較正用指標１２５の座標とに基づいて、右方画像Ｐｌの切り出し範囲を、それら第２の較正用指標１１７および第４の較正用指標１２５が当該切り出し範囲上で所定の位置になるように調整する。

【0084】

このようにして、前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒにおける切り出し範囲についての各設定値が調整される。そのことで、鳥瞰画像３０１を作成する際、前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒそれぞれの切り出し範囲が、前方鳥瞰画像ＢＥＶｆと左方鳥瞰画像ＢＥＶｌとの間、前方鳥瞰画像ＢＥＶｆと右方鳥瞰画像ＢＥＶｒとの間、後方鳥瞰画像ＢＥＶｂと左方鳥瞰画像ＢＥＶｌとの間、および後方鳥瞰画像ＢＥＶｂと右方鳥瞰画像ＢＥＶｒとの間に、それぞれ表示範囲の重複や消失がないように決定される。

【0085】

なお、補助メモリ３７に記憶されている、前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒの鳥瞰画像３０１に用いる切り出し範囲についての各設定値は、当該設定値が調整される毎にメモリ制御部３３を介して更新される。

【0086】

上記構成の船舶の撮影システム２２において、前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒの鳥瞰画像３０１に用いる切り出し範囲を調整する較正方法は、前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒを撮影する撮影ステップと、撮影された前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒに基づいてそれら前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒの切り出し範囲をそれぞれ調整する較正ステップと、を含んでいる。

【0087】

具体的には、船舶の撮影システム２２における較正方法では、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒを船舶１０１の所定位置に設置した後に、ユーザによる操作部２５の操作を以て較正処理の実行がされ、各カメラ１３ｆ，１３ｂ，１３ｌ，１３ｒの水上高さＨおよび設置角度α１，α２，α３，α４の情報と、第１～第４の較正用指標１１５，１１７，１２１，１２５の位置情報とが操作部２５にて入力されると、各カメラ１３ｆ，１３ｂ，１３ｌ，１３ｒにより船舶１０１の外周部分を含む周辺を撮影する撮影ステップが行われる。

【0088】

撮影ステップでは、フロントカメラ１３ｆおよびレフトカメラ１３ｌにより、船舶１０１のバウデッキ１０５の手すり１１３左側に設けられた第１の較正用指標１１５が共通に写り込む前方画像Ｐｆおよび左方画像Ｐｌが撮影される。また、当該撮影ステップでは、フロントカメラ１３ｆとライトカメラ１３ｒにより、船舶１０１のバウデッキ１０５の手すり１１３右側に設けられた第２の較正用指標１１７が共通に写り込む前方画像Ｐｆおよび右方画像Ｐｒが撮影される。

【0089】

また、当該撮影ステップでは、バックカメラ１３ｂとレフトカメラ１３ｌにより、船舶１０１のスターンデッキ１０７左側に設けられた第３の較正用指標１２１が共通に写り込む後方画像Ｐｂおよび左方画像Ｐｌが撮影される。また、当該撮影ステップでは、バックカメラ１３ｂとライトカメラ１３ｒにより、船舶１０１のスターンデッキ１０７右側に設けられた第４の較正用指標１２５が共通に写り込む後方画像Ｐｂおよび右方画像Ｐｒが撮影される。

【0090】

次いで行う較正ステップでは、撮影ステップで撮影した前方画像Ｐｆに写り込んだ、手すり１１３左側の第１の較正用指標１１５と、手すり１１３右側に設けられた第２の較正用指標１１７とに基づいて、前方画像Ｐｆの切り出し範囲を調整する。また、当該較正ステップでは、撮影ステップで撮影した後方画像Ｐｂに写り込んだ、スターンデッキ１０７左側のクリート１１９が構成する第３の較正用指標１２１と、スターンデッキ１０７右側のクリート１２３が構成する第４の較正用指標１２５とに基づいて、後方画像Ｐｂの切り出し範囲を調整する。

【0091】

また、当該較正ステップでは、撮影ステップで撮影した左方画像Ｐｌに写り込んだ、手すり１１３左側の第１の較正用指標１１５と、スターンデッキ１０７左側のクリート１１９が構成する第３の較正用指標１２１とに基づいて、左方画像Ｐｌの切り出し範囲を調整する。また、当該較正ステップでは、撮影ステップで撮影した右方画像Ｐｒに写り込んだ、手すり１１４右側の第２の較正用指標１１７と、スターンデッキ１０７右側のクリート１２３が構成する第３の較正用指標１２５とに基づいて、右方画像Ｐｒの切り出し範囲を調整する。

【0092】

このように、船舶の撮影システム２２において、前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒの切り出し範囲を調整する較正処理が、船舶１０１の一部に設けられた第１～第４の較正用指標１１５，１１７，１２３，１２５を用いて行われる。

【0093】

この実施形態に係る船舶の撮影システム２２およびその較正方法によると、フロントカメラ１３ｆとレフトカメラ１３ｌ、フロントカメラ１３ｆとライトカメラ１３ｒ、バックカメラ１３ｂとレフトカメラ１３ｌ、バックカメラ１３ｂとライトカメラ１３ｒにより、それぞれ船舶１０１の一部を共通に撮影し、共通に撮影された船舶１０１の一部に設けられた第１～第４の較正用指標１１５，１１７，１２１，１２５を用いて、前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒの鳥瞰画像３０１に用いる切り出し範囲をそれぞれ調整する較正処理を行うようにしたので、船舶１０１とは別に較正用指標を設置するための施設を必要とせず、船舶１０１の一部を利用して較正処理を行うことができる。これにより、船舶１０１が何処にあっても較正処理を行えるようにすることができる。その結果、船舶の撮影システム２２のユーザビリティを向上させることができる。

【0094】

以上のように、本開示の技術の例示として、好ましい実施形態について説明した。しかし、本開示の技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、添付図面および詳細な説明に記載された構成要素の中には、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須でない構成要素が添付図面や詳細な説明に記載されていることを以て、直ちにそれらの必須でない構成要素が必須であるとの認定をするべきではない。

【0095】

例えば、上記実施形態について、以下のような構成としてもよい。

【0096】

上記実施形態では、船舶の撮影システム２２がフロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒの４台のカメラを備えるとしたが、本開示の技術はこれに限らない。船舶の撮影システム２２が備えるカメラの台数は、３台以下であっても５台以上であってもよく、鳥瞰画像３０１などの合成画像が作成できれば、任意の台数のカメラを採用することができる。

【0097】

上記実施形態では、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒは半天球カメラであるとしたが、本開示の技術はこれに限らない。半天球カメラは、カメラの一例に過ぎず、標準レンズよりも画角の広い広角レンズ（魚眼レンズを含む概念）を備え、比較的広い視野を撮影可能なカメラであれば、任意のカメラを採用することが可能である。

【0098】

上記実施形態では、船舶の撮影システム２２は、船舶１０１を上方から見下ろしたかのような鳥瞰画像３０１を作成するとしたが、本開示の技術はこれに限らない。船舶の撮影システム２２は、船舶１０１周囲の景色をパノラマ状に表示するパノラマ画像を合成画像として作成するようになっていてもよく、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒなどの船舶１０１の周囲に設置された複数のカメラの撮影によって取得される船舶１０１の周辺画像を組み合わせて作成される合成画像であれば、如何なる画像を作成するものであっても構わない。

【0099】

上記実施形態では、第１の較正用指標１１５および第２の較正用指標１１７として、手すり１１３に設けられた縞模様のパターンを例に挙げ、第３の較正用指標１２１および第４の較正用指標１２５として船体に対してコントラストの大きな色としたクリートを例に挙げて説明したが、本開示の技術はこれに限らない。第１～第４の較正用指標１１５，１１７，１２１，１２５は、船舶１０１のデッキに埋め込まれた白色と黒色の正方形パターンからなる市松模様をなすタイルであってもよいし、手すり１１３自体の形状など、船舶１０１の一部の形状であってもよく、船舶１０１とは別体の指標であって手すりに取り付けたりデッキに設置したりして使用するものであっても構わず、画像処理による特徴の検出が行えるものであれば、任意の指標を採用することが可能である。

【0100】

上記実施形態では、船舶の撮影システム２２によって作成される鳥瞰画像３０１の例として、図６に、前方鳥瞰画像ＢＥＶｆ、後方鳥瞰画像ＢＥＶｂ、左方鳥瞰画像ＢＥＶｌおよび右方鳥瞰画像ＢＥＶｒを、相互の境界線が紙面に向かって４５度程度の角度をなすような態様で組み合わせた場合を示したが、本開示の技術はこれに限らない。船舶の撮影システム２２により作成される鳥瞰画像３０１において、隣り合う部分鳥瞰画像３０１ｐ同士の境界線は、隣り合うカメラによって撮影される共通の撮影領域内であれば任意の位置に設定することが可能である。

【産業上の利用可能性】

【0101】

以上説明したように、本開示の技術は、船舶の撮影システムおよびその較正方法について有用である。

【符号の説明】

【0102】

Ａ … 光軸
ＢＥＶｆ … 前方鳥瞰画像
ＢＥＶｂ … 後方鳥瞰画像
ＢＥＶｌ … 左方鳥瞰画像
ＢＥＶｒ … 右方鳥瞰画像
Ｐｆ … 前方画像（周辺画像）
Ｐｂ … 後方画像（周辺画像）
Ｐｌ … 左方画像（周辺画像）
Ｐｒ … 右方画像（周辺画像）
Ｒｆ，Ｒｂ，Ｒｌ，Ｒｒ … 撮影範囲
１１ … 船舶の周辺確認システム
１３ｆ … フロントカメラ
１３ｂ … バックカメラ
１３ｌ … レフトカメラ
１３ｒ … ライトカメラ
１５ … モニタ
１７ … ジャイロセンサ
１９ … 加速度センサ
２１ … 制御装置
２２ … 撮影システム
２３ … 広角レンズ
２５ … 操作部
２９ … 信号処理部
３１ … 主メモリ
３３ … メモリ制御部
３５ … ＣＰＵ
３７ … 補助メモリ
３９ … モニタ用ドライバ
４０ … 傾きセンサ
４１ … 前処理部
４３ … 画像補正部
４５ … 切り出し処理部
４７ … 画像合成部
５１ … 較正処理部
５５ … 指標検出部
５７ … 較正演算部
１０１ … 船舶
１０１ｇ … 船舶画像
１０３ … 船室
１０４ … フライングデッキ
１０５ … バウデッキ
１０７ … スターンデッキ
１０９，１１０ … 支柱
１１１ … 左舷のガンネル
１１２ … 右舷のガンネル
１１３ … 手すり（船舶の一部）
１１５ … 第１の較正用指標
１１７ … 第２の較正用指標
１１９ … クリート（船舶の一部）
１２１ … 第３の較正用指標
１２３ … クリート（船舶の一部）
１２５ … 第４の較正用指標
１２７ … 操舵席
１３１ … 喫水線
２０１ … 画像
３０１ … 鳥瞰画像
３０１ｐ … 部分鳥瞰画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】