(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-02-21
(45)【発行日】2023-03-02
(54)【発明の名称】船舶用の表示装置、船舶および船舶用の画像表示方法
(51)【国際特許分類】
H04N 7/18 20060101AFI20230222BHJP
B63B 49/00 20060101ALI20230222BHJP
B60R 1/00 20220101ALI20230222BHJP
G08G 3/02 20060101ALI20230222BHJP
【FI】
H04N7/18 J
B63B49/00 Z
B60R1/00
H04N7/18 V
G08G3/02 A
(21)【出願番号】P 2019051654
(22)【出願日】2019-03-19
【審査請求日】2022-02-16
(73)【特許権者】
【識別番号】000010076
【氏名又は名称】ヤマハ発動機株式会社
(74)【代理人】
【識別番号】100104433
【氏名又は名称】宮園 博一
(72)【発明者】
【氏名】寺田 宏平
(72)【発明者】
【氏名】安間 寛文
(72)【発明者】
【氏名】木下 嘉理
(72)【発明者】
【氏名】福本 晋平
(72)【発明者】
【氏名】黒川 光章
【審査官】秦野 孝一郎
(56)【参考文献】
【文献】特開2016-80698(JP,A)
【文献】特開2018-188043(JP,A)
【文献】特開2010-93605(JP,A)
【文献】特開2010-41530(JP,A)
【文献】特開2007-286725(JP,A)
【文献】特開2006-321419(JP,A)
【文献】特開2011-205513(JP,A)
【文献】特開2010-95255(JP,A)
【文献】特開2017-225062(JP,A)
【文献】国際公開第00/64175(WO,A1)
【文献】米国特許出願公開第2012/0224063(US,A1)
【文献】米国特許第9569671(US,B1)
【文献】米国特許出願公開第2016/0092056(US,A1)
【文献】独国特許出願公開第102008046214(DE,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
B63B 49/00
B60R 1/00
G08G 3/02
(57)【特許請求の範囲】
【請求項1】
船体の周辺を撮像する撮像部と、
前記撮像部により撮像された画像に基づいて、鳥瞰画像を生成する画像処理部と、
前記船体に配置され、前記鳥瞰画像を表示する表示部と、
前記船体と前記船体の外部に位置する対象物との距離が所定の距離以下となったこと、および、前記対象物を検出したことのうちの少なくとも一方の情報である対象物情報に基づいて、前記表示部に表示される画像を、前記鳥瞰画像から、前記船体から前記対象物の方向を撮像した画像である対象物画像に切り替える制御を行う制御部とを備える、船舶用の表示装置。
【請求項2】
前記撮像部は、前記船体のうちの着岸方向の舷および前記着岸方向の舷の周辺を撮像するように構成されており、
前記対象物画像は、前記着岸方向の舷および前記着岸方向の舷の周辺の画像を含む、請求項1に記載の船舶用の表示装置。
【請求項3】
前記撮像部は、前記船体から前記船体の外部への複数の方向の各々に対応する画像を撮像するように構成されており、
前記制御部は、前記対象物情報に基づいて、前記表示部に表示される画像を、前記鳥瞰画像から、前記複数の方向の各々に対応する画像のうちの前記船体と前記対象物との距離が前記所定の距離以下となる方向に対応する画像である前記対象物画像、または、前記複数の方向の各々に対応する画像のうちの前記対象物が検出された方向に対応する画像である前記対象物画像に切り替える制御を行うように構成されている、請求項1または2に記載の船舶用の表示装置。
【請求項4】
前記制御部は、前記船体と前記対象物との距離が前記所定の距離以下となる方向の数が複数となる場合、または、前記対象物が検出された方向の数が複数となる場合に、前記表示部に表示される画像を、前記鳥瞰画像から、複数となる前記方向の各々に対応する前記対象物画像に切り替える制御を行うように構成されており、
前記表示部は、前記複数となる方向の各々に対応する対象物画像を、同一画面上に表示するように構成されている、請求項3に記載の船舶用の表示装置。
【請求項5】
前記撮像部は、前記鳥瞰画像を生成するための前記船体および前記船体の周辺の画像を撮像する鳥瞰画像撮像部が、前記対象物画像を撮像する対象物画像撮像部を兼ねるように構成されており、
前記画像処理部は、前記撮像部により撮像された前記船体および前記船体の周辺の画像に基づいて、前記鳥瞰画像を生成するとともに、前記撮像部により撮像された前記船体の周辺の画像のうちの一部の前記画像と前記対象物情報とに基づいて、前記対象物画像を生成するように構成されている、請求項1~4のいずれか1項に記載の船舶用の表示装置。
【請求項6】
前記撮像部は、前記鳥瞰画像を生成するための前記船体および前記船体の周辺の画像を撮像する鳥瞰画像撮像部として構成されており、
前記対象物画像を撮像する対象物画像撮像部をさらに備え、
前記鳥瞰画像撮像部と前記対象物画像撮像部とは、別個に構成されており、
前記画像処理部は、前記鳥瞰画像撮像部により撮像された前記船体および前記船体の周辺の画像に基づいて、前記鳥瞰画像を生成するとともに、
前記制御部は、前記対象物情報に基づいて、前記表示部に表示される画像を、前記鳥瞰画像から前記対象物画像撮像部により撮像された前記対象物画像に切り替える制御を行うように構成されている、請求項1~4のいずれか1項に記載の船舶用の表示装置。
【請求項7】
前記船体と前記対象物との距離を検出する距離検出部をさらに備え、
前記制御部は、前記距離検出部により検出された前記船体と前記対象物との距離が前記所定の距離以下となったことに基づいて、前記表示部に表示される画像を、前記鳥瞰画像から前記対象物画像に切り替える制御を行うように構成されている、請求項1~6のいずれか1項に記載の船舶用の表示装置。
【請求項8】
前記制御部は、前記撮像部により撮像された画像における前記対象物の画像に基づいて、前記船体と前記対象物との距離を取得して、取得した前記船体と前記対象物との距離が前記所定の距離以下となったことに基づいて、前記表示部に表示される画像を、前記鳥瞰画像から前記対象物画像に切り替える制御を行うように構成されている、請求項1~6のいずれか1項に記載の船舶用の表示装置。
【請求項9】
前記制御部は、前記船体と前記対象物との距離が、前記船体の前後方向または左右方向の寸法に対する一定の割合の大きさ以下であるような前記所定の距離以下となる場合に、前記表示部に表示される画像を、前記鳥瞰画像から、前記対象物画像に切り替える制御を行うように構成されている、請求項1~8のいずれか1項に記載の船舶用の表示装置。
【請求項10】
前記船体の船速を検出する船速検出部をさらに備え、
前記制御部は、前記船速検出部により検出された前記船速が大きい程、前記所定の距離を大きい距離に設定する制御を行うように構成されている、請求項1~9のいずれか1項に記載の船舶用の表示装置。
【請求項11】
前記制御部は、前記撮像部により撮像された画像において、前記対象物の画像が検出されたことに基づいて、前記表示部に表示される画像を、前記鳥瞰画像から前記対象物画像に切り替える制御を行うように構成されている、請求項1~6のいずれか1項に記載の船舶用の表示装置。
【請求項12】
前記対象物の画像は、桟橋または他の船舶の特徴点画像を含み、
前記画像処理部は、前記撮像部により撮像された画像において、前記桟橋または他の船舶の特徴点画像を抽出するように構成されている、請求項8または11に記載の船舶用の表示装置。
【請求項13】
前記鳥瞰画像および前記対象物画像を表示する前記表示部は、前記船体内の操船席近傍に配置されている、請求項1~12のいずれか1項に記載の船舶用の表示装置。
【請求項14】
船体と、
前記船体の周辺を撮像する撮像部と、
前記撮像部により撮像された画像に基づいて、鳥瞰画像を生成する画像処理部と、
前記船体に配置され、前記鳥瞰画像を表示する表示部と、
前記船体と前記船体の外部に位置する対象物との距離が所定の距離以下となったこと、および、前記対象物を検出したことのうちの少なくとも一方の情報である対象物情報に基づいて、前記表示部に表示される画像を、前記鳥瞰画像から、前記船体から前記対象物の方向を撮像した画像である対象物画像に切り替える制御を行う制御部とを備える、船舶。
【請求項15】
船体の周辺を撮像し、
撮像された前記船体の周辺の画像に基づいて、鳥瞰画像を生成し、
前記鳥瞰画像を表示し、
前記船体と前記船体の外部に位置する対象物との距離が所定の距離以下となったこと、および、前記対象物を検出したことのうちの少なくとも一方の情報である対象物情報に基づいて、表示される画像を、前記鳥瞰画像から、前記船体から前記対象物の方向を撮像した画像である対象物画像に切り替える、船舶用の画像表示方法。
【請求項16】
前記船体の周辺を撮像することは、前記船体のうちの着岸方向の舷および前記着岸方向の舷の周辺を撮像することを含み、
前記表示される画像を切り替えることは、前記対象物情報に基づいて、前記表示される画像を、前記鳥瞰画像から、前記着岸方向の舷および前記着岸方向の舷の周辺の画像を含む前記対象物画像に切り替えることを含む、請求項15に記載の船舶用の画像表示方法。
【請求項17】
前記船体の周辺を撮像することは、前記船体から前記船体の外部への複数の方向の各々に対応する画像を撮像することを含み、
前記表示される画像を切り替えることは、前記対象物情報に基づいて、前記表示される画像を、前記鳥瞰画像から、前記複数の方向の各々に対応する画像のうちの前記船体と前記対象物との距離が前記所定の距離以下となる方向に対応する画像である前記対象物画像、または、前記複数の方向の各々に対応する画像のうちの前記対象物が検出された方向に対応する画像である前記対象物画像に切り替えることを含む、請求項15または16に記載の船舶用の画像表示方法。
【請求項18】
前記表示される画像を切り替えることは、前記船体と前記対象物との距離が前記所定の距離以下となる方向の数が複数となる場合、または、前記対象物が検出された方向の数が複数となる場合に、前記表示される画像を、前記鳥瞰画像から、複数となる前記方向の各々に対応する前記対象物画像に切り替えるとともに、前記複数となる方向の各々に対応する対象物画像を、表示部の同一画面上に表示することを含む、請求項17に記載の船舶用の画像表示方法。
【請求項19】
前記船体の周辺を撮像することは、前記鳥瞰画像を生成するための前記船体および前記船体の周辺の画像を撮像するとともに、前記対象物画像を撮像することを含み、
撮像された前記船体の周辺の画像のうちの一部の前記画像と前記対象物情報とに基づいて、前記対象物画像を生成することをさらに備える、請求項15~18のいずれか1項に記載の船舶用の画像表示方法。
【請求項20】
前記船体の周辺を撮像することは、鳥瞰画像撮像部により、前記鳥瞰画像を生成するための前記船体および前記船体の周辺の画像を撮像し、前記鳥瞰画像撮像部とは別個に構成された対象物画像撮像部により、前記対象物画像を撮像することを含み、
前記鳥瞰画像を生成することは、前記鳥瞰画像撮像部により撮像された前記船体および前記船体の周辺の画像に基づいて、前記鳥瞰画像を生成することを含み、
前記表示される画像を切り替えることは、前記対象物情報に基づいて、前記表示される画像を、前記鳥瞰画像から前記対象物画像撮像部により撮像された前記対象物画像に切り替えることを含む、請求項15~18のいずれか1項に記載の船舶用の画像表示方法。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、船舶用の表示装置、船舶および船舶用の画像表示方法に関する。
【背景技術】
【0002】
従来、鳥瞰画像を表示する表示部を備える表示装置が知られている(例えば、特許文献1参照)。
【0003】
上記特許文献1には、全周鳥瞰図画像を表示する表示装置を備える操縦支援装置が開示されている。この操縦支援装置は、複数のカメラと、画像処理回路とを備える。複数のカメラは、船体の側面に下向き姿勢で配置され、船舶の周辺を撮像するように構成されている。そして、画像処理回路は、複数のカメラが撮像した画像に基づいて、船舶の周辺を鳥瞰的に表す全周鳥瞰図画像を生成するように構成されている。そして、画像処理回路は、鳥瞰された船舶の少なくとも外延を表すグラフィック画像を全周鳥瞰図画像に透過させるように合成する処理を行う。そして、表示装置には、グラフィック画像と全周鳥瞰図画像とが合成された画像である操船支援画像が表示される。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
ここで、上記特許文献1には記載されていないが、操船者が船舶を着岸させようとする際に、上記特許文献1に記載の操縦支援装置を使用することが考えられる。すなわち、上記特許文献1に記載の表示装置に表示された全周鳥瞰図画像を操船者に視認させながら、船舶を対象物(岸)に近づけることが考えられる。この場合、全周鳥瞰図画像は、船舶の周辺の全周を撮像した画像であるため、表示装置には、対象物を撮像した画像が比較的小さく表示されると考えられる。そこで、対象物を撮像した画像の視認性を向上させるために、全周鳥瞰図画像を比較的大型な表示装置に表示させることが考えられる。しかしながら、操船席の近傍の寸法が制限された配置位置に、比較的大型な表示装置を配置するのは容易ではないと考えられる。したがって、表示装置が大型化するのを抑制しながら、対象物を撮像した画像の視認性を向上させることが可能な表示装置が望まれている。
【0006】
この発明は、上記のような課題を解決するためになされたものであり、この発明の1つの目的は、表示装置が大型化するのを抑制しながら、対象物を撮像した画像の視認性を向上させることが可能な船舶用の表示装置、船舶および船舶用の画像表示方法を提供することである。
【課題を解決するための手段】
【0007】
上記の課題を解決するために、この発明の第1の局面による船舶用の表示装置は、船体の周辺を撮像する撮像部と、撮像部により撮像された画像に基づいて、鳥瞰画像を生成する画像処理部と、船体に配置され、鳥瞰画像を表示する表示部と、船体と船体の外部に位置する対象物との距離が所定の距離以下となったこと、および、対象物を検出したことのうちの少なくとも一方の情報である対象物情報に基づいて、表示部に表示される画像を、鳥瞰画像から、船体から対象物の方向を撮像した画像である対象物画像に切り替える制御を行う制御部とを備える。
【0008】
この発明の第1の局面による船舶用の表示装置では、上記のように、制御部を、船体と対象物との距離が所定の距離以下となったこと、および、対象物を検出したことのうちの少なくとも一方の情報である対象物情報に基づいて、表示部に表示される画像を、鳥瞰画像から船体から対象物の方向を撮像した画像である対象物画像に切り替える制御を行うように構成する。ここで、鳥瞰画像は、船舶の周辺の全周を撮像した画像であるため、表示部には、対象物を撮像した画像が比較的小さく表示されると考えられる。これに対して、本発明では、表示部に鳥瞰画像が表示されている場合でも、対象物に船舶が近づいた際に、鳥瞰画像に替わって対象物画像を表示させることができる。このため、表示部を大型化することなく、表示部に、鳥瞰画像中の対象物の画像よりも大きく表示された対象物画像を自動的に表示させることができる。この結果、表示装置が大型化するのを抑制しながら、操船者に対する対象物画像の視認性を向上させることができる。
【0009】
上記第1の局面による船舶用の表示装置において、好ましくは、撮像部は、船体のうちの着岸方向の舷および着岸方向の舷の周辺を撮像するように構成されており、対象物画像は、着岸方向の舷および着岸方向の舷の周辺の画像を含む。このように構成すれば、船舶を着岸しようとしている操船者に対して、着岸方向の舷および着岸方向の舷の周辺の画像を含む対象物画像の視認性を向上させることができる。この結果、操船者に対して、着岸時の操船を効果的に支援することができる。
【0010】
上記第1の局面による船舶用の表示装置において、好ましくは、撮像部は、船体から船体の外部への複数の方向の各々に対応する画像を撮像するように構成されており、制御部は、対象物情報に基づいて、表示部に表示される画像を、鳥瞰画像から、複数の方向の各々に対応する画像のうちの船体と対象物との距離が所定の距離以下となる方向に対応する画像である対象物画像、または、複数の方向の各々に対応する画像のうちの対象物が検出された方向に対応する画像である対象物画像に切り替える制御を行うように構成されている。このように構成すれば、船舶が複数の方向のうちのいずれの方向に対象物に対して近づいた場合でも、鳥瞰画像から適切な対象物画像に切り替えることができる。
【0011】
この場合、好ましくは、制御部は、船体と対象物との距離が所定の距離以下となる方向の数が複数となる場合、または、対象物が検出された方向の数が複数となる場合に、表示部に表示される画像を、鳥瞰画像から、複数となる方向の各々に対応する対象物画像に切り替える制御を行うように構成されており、表示部は、複数となる方向の各々に対応する対象物画像を、同一画面上に表示するように構成されている。このように構成すれば、船体が複数の方向のそれぞれに配置された対象物に、同時または順次に船舶が近づいた場合でも、複数の方向にそれぞれ配置された対象物の画像を同一画面上に表示させることができる。その結果、複数の方向のそれぞれに配置された対象物に船舶が近づいた場合でも、複数の対象物の画像の視認性を向上させることができる。
【0012】
上記第1の局面による船舶用の表示装置において、好ましくは、撮像部は、鳥瞰画像を生成するための船体および船体の周辺の画像を撮像する鳥瞰画像撮像部が、対象物画像を撮像する対象物画像撮像部を兼ねるように構成されており、画像処理部は、撮像部により撮像された船体および船体の周辺の画像に基づいて、鳥瞰画像を生成するとともに、撮像部により撮像された船体の周辺の画像のうちの一部の画像と対象物情報とに基づいて、対象物画像を生成するように構成されている。このように構成すれば、専用の対象物画像撮像部を設ける必要がない分、船舶用の表示装置の部品点数が増加するのを抑制することができる。
【0013】
上記第1の局面による船舶用の表示装置において、好ましくは、撮像部は、鳥瞰画像を生成するための船体および船体の周辺の画像を撮像する鳥瞰画像撮像部として構成されており、対象物画像を撮像する対象物画像撮像部をさらに備え、鳥瞰画像撮像部と対象物画像撮像部とは、別個に構成されており、画像処理部は、鳥瞰画像撮像部により撮像された船体および船体の周辺の画像に基づいて、鳥瞰画像を生成するとともに、制御部は、対象物情報に基づいて、表示部に表示される画像を、鳥瞰画像から対象物画像撮像部により撮像された対象物画像に切り替える制御を行うように構成されている。このように構成すれば、鳥瞰画像撮像部とは別個に、対象物を撮像するために適した対象物画像撮像部を構成することができる。この結果、対象物画像撮像部により撮像されたより適した対象物画像を、操船者に視認させることができる。
【0014】
上記第1の局面による船舶用の表示装置において、好ましくは、船体と対象物との距離を検出する距離検出部をさらに備え、制御部は、距離検出部により検出された船体と対象物との距離が所定の距離以下となったことに基づいて、表示部に表示される画像を、鳥瞰画像から対象物画像に切り替える制御を行うように構成されている。このように構成すれば、距離検出部を使用することにより、船体と対象物との距離を容易に検出することができる。この結果、距離検出部による検出結果に基づいて、表示部に表示される画像を、鳥瞰画像から対象物画像に切り替える制御を容易に行うことができる。
【0015】
上記第1の局面による船舶用の表示装置において、好ましくは、制御部は、撮像部により撮像された画像における対象物の画像に基づいて、船体と対象物との距離を取得して、取得した船体と対象物との距離が所定の距離以下となったことに基づいて、表示部に表示される画像を、鳥瞰画像から対象物画像に切り替える制御を行うように構成されている。このように構成すれば、距離検出部を設けることなく、制御部により、船体と対象物との距離を取得することができる。この結果、船舶用の表示装置の構成部品の種類が増加するのを抑制することができる。
【0016】
上記第1の局面による船舶用の表示装置において、好ましくは、制御部は、船体と対象物との距離が、船体の前後方向または左右方向の寸法に対する一定の割合の大きさ以下であるような所定の距離以下となる場合に、表示部に表示される画像を、鳥瞰画像から、対象物画像に切り替える制御を行うように構成されている。このように構成すれば、船体の寸法が考慮された状態で、所定の距離が設定されるので、所定の距離をより適切な大きさに設定することができる。この結果、より適切な時点に(タイミングで)、鳥瞰画像から対象物画像に切り替えることができる。
【0017】
上記第1の局面による船舶用の表示装置において、好ましくは、船体の船速を検出する船速検出部をさらに備え、制御部は、船速検出部により検出された船速が大きい程、所定の距離を大きい距離に設定する制御を行うように構成されている。このように構成すれば、船速が比較的大きいことにより、船体と対象物との距離が比較的速く小さくなる場合でも、適切な時点に、鳥瞰画像から対象物画像に切り替えることができる。
【0018】
上記第1の局面による船舶用の表示装置において、好ましくは、制御部は、撮像部により撮像された画像において、対象物の画像が検出されたことに基づいて、表示部に表示される画像を、鳥瞰画像から対象物画像に切り替える制御を行うように構成されている。このように構成すれば、船体と対象物との距離と、所定の距離との比較を行う処理を行うことなく、表示部に表示される画像を、鳥瞰画像から対象物画像に切り替えることができる。
【0019】
上記撮像部により撮像された画像に基づいて船体と対象物との距離を取得する制御を行うか、撮像部により撮像された画像において、対象物の画像が検出されたことに基づいて、鳥瞰画像から対象物画像に切り替える制御を行う船舶用の表示装置において、好ましくは、対象物の画像は、桟橋または他の船舶の特徴点画像を含み、画像処理部は、撮像部により撮像された画像において、桟橋または他の船舶の特徴点画像を抽出するように構成されている。このように構成すれば、撮像された画像のうちから容易に対象物の画像(桟橋または他の船舶の特徴点画像)を検出することができるので、撮像された画像に基づいて、船体と対象物との距離を容易に取得することができるか、または、対象物の検出を容易に行うことができる。
【0020】
上記第1の局面による船舶用の表示装置において、好ましくは、鳥瞰画像および対象物画像を表示する表示部は、船体内の操船席近傍に配置されている。このように構成すれば、操船席に位置する操船者に、表示部に表示される鳥瞰画像および対象物画像を容易に視認させることができる。
【0021】
この発明の第2の局面による船舶は、船体と、船体の周辺を撮像する撮像部と、撮像部により撮像された画像に基づいて、鳥瞰画像を生成する画像処理部と、船体に配置され、鳥瞰画像を表示する表示部と、船体と船体の外部に位置する対象物との距離が所定の距離以下となったこと、および、対象物を検出したことのうちの少なくとも一方の情報である対象物情報に基づいて、表示部に表示される画像を、鳥瞰画像から、船体から対象物の方向を撮像した画像である対象物画像に切り替える制御を行う制御部とを備える。
【0022】
この発明の第2の局面による船舶では、上記のように構成することにより、上記第1の局面による船舶用の表示装置と同様に、表示装置が大型化するのを抑制しながら、対象物を撮像した画像の視認性を向上させることが可能な船舶を提供することができる。
【0023】
この発明の第3の局面による船舶用の画像表示方法は、船体の周辺を撮像し、撮像された船体の周辺の画像に基づいて、鳥瞰画像を生成し、鳥瞰画像を表示し、船体と船体の外部に位置する対象物との距離が所定の距離以下となったこと、および、対象物を検出したことのうちの少なくとも一方の情報である対象物情報に基づいて、表示される画像を、鳥瞰画像から、船体から対象物の方向を撮像した画像である対象物画像に切り替える。
【0024】
この発明の第3の局面による船舶用の画像表示方法では、上記のように構成することにより、上記第1の局面による船舶用の表示装置と同様に、表示装置が大型化するのを抑制しながら、対象物を撮像した画像の視認性を向上させることが可能な船舶用の画像表示方法を提供することができる。
【0025】
上記第3の局面による船舶用の画像表示方法において、好ましくは、船体の周辺を撮像することは、船体のうちの着岸方向の舷および着岸方向の舷の周辺を撮像することを含み、表示される画像を切り替えることは、対象物情報に基づいて、表示される画像を、鳥瞰画像から、着岸方向の舷および着岸方向の舷の周辺の画像を含む対象物画像に切り替えることを含む。このように構成すれば、船舶を着岸しようとしている操船者に対して、着岸方向の舷および着岸方向の舷の周辺の画像を含む対象物画像の視認性を向上させることができる。この結果、操船者に対して、着岸時の操船を効果的に支援することができる。
【0026】
上記第3の局面による船舶用の画像表示方法において、好ましくは、船体の周辺を撮像することは、船体から船体の外部への複数の方向の各々に対応する画像を撮像することを含み、表示される画像を切り替えることは、対象物情報に基づいて、表示される画像を、鳥瞰画像から、複数の方向の各々に対応する画像のうちの船体と対象物との距離が所定の距離以下となる方向に対応する画像である対象物画像、または、複数の方向の各々に対応する画像のうちの対象物が検出された方向に対応する画像である対象物画像に切り替えることを含む。このように構成すれば、船舶が複数の方向のうちのいずれの方向に対象物に対して近づいた場合でも、鳥瞰画像から適切な対象物画像に切り替えることができる。
【0027】
この場合、好ましくは、表示される画像を切り替えることは、船体と対象物との距離が所定の距離以下となる方向の数が複数となる場合、または、対象物が検出された方向の数が複数となる場合に、表示される画像を、鳥瞰画像から、複数となる方向の各々に対応する対象物画像に切り替えるとともに、複数となる方向の各々に対応する対象物画像を、表示部の同一画面上に表示することを含む。このように構成すれば、船体が複数の方向のそれぞれに配置された対象物に、同時または順次に船舶が近づいた場合でも、複数の方向のそれぞれに配置された対象物の画像を同一画面上に表示させることができる。その結果、複数の方向のそれぞれに配置された対象物に船舶が近づいた場合でも、複数の対象物の画像の視認性を向上させることができる。
【0028】
上記第3の局面による船舶用の画像表示方法において、好ましくは、船体の周辺を撮像することは、鳥瞰画像を生成するための船体および船体の周辺の画像を撮像するとともに、対象物画像を撮像することを含み、鳥瞰画像を生成することは、撮像された船体および船体の周辺の画像に基づいて、鳥瞰画像を生成するとともに、撮像された船体の周辺の画像のうちの一部の画像と対象物情報とに基づいて、対象物画像を生成することを含む。このように構成すれば、鳥瞰画像を撮像するための撮像部に加えて、対象物画像を撮像するための専用の撮像部を設ける必要がないので、船舶用の表示装置の部品点数が増加するのを抑制することができる。
【0029】
上記第3の局面による船舶用の画像表示方法において、好ましくは、船体の周辺を撮像することは、鳥瞰画像撮像部により、鳥瞰画像を生成するための船体および船体の周辺の画像を撮像し、鳥瞰画像撮像部とは別個に構成された対象物画像撮像部により、対象物画像を撮像することを含み、鳥瞰画像を生成することは、鳥瞰画像撮像部により撮像された船体および船体の周辺の画像に基づいて、鳥瞰画像を生成することを含み、表示される画像を切り替えることは、対象物情報に基づいて、表示される画像を、鳥瞰画像から対象物画像撮像部により撮像された対象物画像に切り替えることを含む。このように構成すれば、鳥瞰画像撮像部とは別個に、対象物を撮像するために適した対象物画像撮像部により対象物画像を撮像することができる。
【発明の効果】
【0030】
本発明によれば、上記のように、表示装置が大型化するのを抑制しながら、対象物を撮像した画像の視認性を向上させることができる。
【図面の簡単な説明】
【0031】
【
図1】第1実施形態による船舶の構成を示した側面図である。
【
図2】第1実施形態による船舶の構成を示した平面図である。
【
図3】第1実施形態による表示装置の構成を示したブロック図である。
【
図4】第1実施形態による船舶の左舷を着岸させる際の船舶の状態を説明するための図である。
【
図5】第1実施形態による鳥瞰画像を説明するための図である。
【
図6】第1実施形態による対象物画像を説明するための図である。
【
図7】第1実施形態による合成画像を説明するための図である。
【
図8】第1実施形態による画像表示方法を説明するためのフロー図である。
【
図9】第2および第3実施形態による表示装置の構成を示したブロック図である。
【
図10】第2実施形態による距離の取得を説明するための図である。
【
図11】第2実施形態による画像表示方法を説明するためのフロー図である。
【
図12】第3実施形態による対象物の画像の検出を説明するための図である。
【
図13】第3実施形態による画像表示方法を説明するためのフロー図である。
【
図14】第4実施形態による表示装置の構成を示したブロック図である。
【
図15】第4実施形態による対象物画像用カメラの配置位置を示した平面図である。
【
図16】第4実施形態による画像表示方法を説明するためのフロー図である。
【発明を実施するための形態】
【0032】
以下、本発明を具体化した実施形態を図面に基づいて説明する。
【0033】
[第1実施形態]
図1~
図7を参照して、第1実施形態による船舶100の構成について説明する。船舶100は、たとえば、小型船舶として構成されている。
【0034】
(船舶の構成)
図1に示すように、第1実施形態による船舶100は、船体1と、推進器2aおよび2bと、サイドスラスター2cと、表示装置3とを含む。船体1には、上部に船室11、および、船室11のさらに上部に船橋12が設けられている。
図2に示すように、船室11内には、操船席4aと、操船席4aの近傍に設けられた船舶操作部5aとが設けられている。船橋12には、操船席4bと、操船席4bの近傍に設けられた船舶操作部5bとが設けられている。なお、操船席4aと操船席4bとは同様に構成されている。また、船舶操作部5aと船舶操作部5bとは同様に構成されている。
【0035】
ここで、本願明細書では、「前方」とは、図中の「FWD」により示す方向であり、かつ、船舶100の前進方向(船体1の船首1a側)である。「後方」とは、図中の「BWD」により示す方向であり、かつ、船舶100の後進方向(船体1の船尾1b側)である。また、「左方」とは、図中の「L」により示す方向であり、かつ、船体1の左舷1c側(ポートサイド)方向である。また、「右方」とは、図中の「R」により示す方向であり、かつ、船体1の右舷1d(スターボード)方向である。また、「鉛直方向」とは、
図1中の「Z」により示す方向である。また、「上方」とは、
図1中の「Z1」に示す方向であり、「下方」とは、
図1中の「Z2」に示す方向である。
【0036】
推進器2aおよび2bは、たとえば、船外機である。推進器2aは、
図2に示すように、船尾1bの左方部分に取り付けられている。推進器2bは、船尾1bの右方部分に取り付けられている。サイドスラスター2cは、たとえば、船体1のハル1eの鉛直方向の下方部分(
図1参照)に取り付けられている。そして、船舶100は、推進器2aおよび2bと、サイドスラスター2cとの推進力により、前方、後方、左方、および、右方のそれぞれの方向に移動可能に構成されている。
【0037】
船舶操作部5aおよび5bの各々には、たとえば、ステアリング操作部と、リモートコントローラと、ジョイスティックとが設けられている。そして、船舶操作部5aおよび5bは、操船者による操作に基づいて、推進器2aおよび2bの向きおよび推進力の変更、および、サイドスラスター2cの推進力発生方向および推進力の変更を行うように構成されている。
【0038】
(船舶用の表示装置の構成)
表示装置3は、たとえば、操船者の操船を支援する装置として構成されている。すなわち、表示装置3は、操船者が操船席4a(4b)に位置しながら船舶操作部5a(5b)を操作(操船)する際に、表示部40a(40b)(
図2参照)に画像を表示させることにより、操船者の視野(死角)を補完するための装置である。
【0039】
図3に示すように、表示装置3は、カメラ21、22、23および24と、画像処理部30と、表示部40aおよび40bと、距離検出部51、52、53、および、54と、速度検出部60と、制御部70とを備える。なお、表示部40aおよび40bは、互いに同様に構成されており、以下の記載においては、表示部40aおよび40bを区別しない場合、「表示部40」として説明する。
【0040】
カメラ21、22、23および24は、船体1の周辺を撮像するように構成されている。なお、カメラ21~24は、特許請求の範囲の「撮像部」、「鳥瞰画像撮像部」および「対象物画像撮像部」の一例である。
【0041】
図2に示すように、カメラ21は、船体1の前方部分に配置されている。そして、カメラ21は、船体1の船首1aの一部および船体1よりも前方の領域A1を撮像するように構成されている。また、カメラ22は、船体1の後方部分に配置されている。そして、カメラ22は、船体1の船尾1bの一部および船体1よりも後方の領域A2を撮像するように構成されている。また、カメラ23は、船体1の左方部分に配置されている。そして、カメラ23は、船体1の左舷1cの一部および船体1よりも左方の領域A3を撮像するように構成されている。また、カメラ24は、船体1の右方部分に配置されている。そして、カメラ24は、船体1の右舷1dの一部および船体1よりも右方の領域A4を撮像するように構成されている。すなわち、カメラ21、22、23および24により、船体1から船体1の外部への4つの方向の各々に対応する画像(P1~P4)が撮像される。なお、
図2では、船舶100の上方から見て、領域A1~A4が互いに一部重なるように図示しているが、領域A1~A4が互いに重ならないように、カメラ21~24の撮影範囲を設定してもよい。
【0042】
ここで、
図4に示すように、船体1の左舷1c側の岸に着岸する場合には、カメラ23により着岸方向の左舷1cおよび左舷1cの周辺の領域A3の対象物Qを撮像するように構成されている。そして、船体1の右舷1d側の岸に着岸する場合には、左舷1c側の岸に着岸する際と同様に、カメラ24により着岸方向の右舷1dおよび右舷1dの周辺の対象物Qを撮像するように構成されている。なお、対象物Qは、たとえば、桟橋、岸壁、または、他の船舶である。
【0043】
また、カメラ21、22、23および24は、
図5に示すように、鳥瞰画像BVを生成するための船体1および船体1の周辺の画像を撮像するとともに、
図6に示すように、対象物画像P10を撮像するように構成されている。すなわち、第1実施形態では、カメラ21、22、23および24は、鳥瞰画像BVを撮像するための撮像部(鳥瞰画像撮像部)であるとともに、対象物画像P10を撮像するための撮像部(対象物画像撮像部)を兼ねている。
【0044】
画像処理部30は、
図3に示すように、カメラ21により撮像された画像P1、カメラ22により撮像された画像P2、カメラ23により撮像された画像P3、および、カメラ24により撮像された画像P4を取得するように構成されている。また、画像処理部30は、メモリ31を含む。そして、画像処理部30は、取得した画像P1~P4を、メモリ31に記憶するように構成されている。
【0045】
また、画像処理部30は、画像P1~P4を合成することにより、鳥瞰画像BVを生成するように構成されている。鳥瞰画像BVとは、船舶100の上方から下方に向かって仮想的に見下ろすように船体1の周辺の全周を示す画像であり、かつ、画像P1~P4が合成された画像である。そして、画像処理部30は、生成した鳥瞰画像BVをメモリ31に記憶するように構成されている。そして、画像処理部30は、メモリ31に記憶された画像P1~P4(対象物画像P10)、および、鳥瞰画像BVのうちから、制御部70の指令に基づく画像を、表示部40に出力するように構成されている。言い換えると、第1実施形態では、画像処理部30は、画像P1~P4に基づいて、鳥瞰画像BVを生成するとともに、画像P1~P4と、後述する対象物情報Eに基づく制御部70の指令とに基づいて、対象物画像P10を生成するように構成されている。
【0046】
表示部40は、たとえば、液晶ディスプレイ、または、有機ELディスプレイである。また、表示部40a(40b)は、操船席4a(4b)および船舶操作部5a(5b)の近傍で、かつ、操船席4a(4b)の前方に配置されている。すなわち、表示部40a(40b)は、操船席4a(4b)に位置する操船者により視認可能な位置で、かつ、操船者が船舶操作部5a(5b)を操作しながら、視認可能な位置に配置されている。また、表示部40aおよび40bは、それぞれ、画像処理部30から出力された画像(鳥瞰画像BVおよび対象物画像P10)を表示するように構成されている。
【0047】
距離検出部51~54は、それぞれ、たとえば、ソナー(SONAR:Sound Navigation and Ranging)、ライダー(LIDER:Light Detection and Ranging)、または、レーダー(RADAR:Radio Detecting and Ranging)を含む。たとえば、
図4に示すように、距離検出部53は、船体1(距離検出部53)から左方に配置された対象物Qまでの距離D3を検出するように構成されている。
【0048】
また、距離検出部51は、船体1(距離検出部51)から前方に配置された対象物Qまでの距離D1を検出するように構成されている。また、距離検出部52は、船体1(距離検出部52)から後方に配置された対象物Qまでの距離D2を検出するように構成されている。また、距離検出部54は、船体1(距離検出部54)から右方に配置された対象物Qまでの距離D4を検出するように構成されている。そして、
図3に示すように、距離検出部51~54は、それぞれ、検出した距離(D1~D4)の情報(信号)を制御部70に伝達するように構成されている。以下の記載では、距離D1~D4を互いに区別しない場合には、単に「距離D」として記載し、距離検出部51~54を互いに区別しない場合には、単に「距離検出部50」として記載する。
【0049】
速度検出部60は、船舶100の対地速度である船速Vを検出するように構成されている。そして、速度検出部60は、制御部70に船速Vの情報を伝達するように構成されている。速度検出部60は、たとえば、GPS(Global Positioning System)を含む。また、速度検出部60は、たとえば、エンジン回転数、旋回角速度、風向、風速、および、潮流速度を検出するように構成されている。なお、速度検出部60は、特許請求の範囲の「船速検出部」の一例である。
【0050】
(制御部の構成)
制御部70は、たとえば、CPU(Central Processing Unit)およびメモリを含む制御処理回路である。そして、
図5および
図6に示すように、制御部70は、対象物情報Eに基づいて、表示部40に表示される画像を、鳥瞰画像BVから対象物画像P10に切り替える制御を行うように構成されている。言い換えると、制御部70は、対象物情報Eに基づいて、画像処理部30が表示部40に出力する画像を、鳥瞰画像BVから対象物画像P10に切り替える制御を行うように構成されている。また、対象物情報Eは、船体1と船体1の外部に位置する対象物Qとの距離Dが閾値距離Dt以下となったことを示す情報である。
【0051】
閾値距離Dtは、閾値距離Dt1、Dt2、Dt3、および、Dt4を含む。ここで、第1実施形態では、制御部70は、速度検出部60により検出された船速Vが大きい程、閾値距離Dtを大きい距離に設定する制御を行うように構成されている。すなわち、制御部70は、速度検出部60により検出された船速Vが小さい程、閾値距離Dtを小さい距離に設定する制御を行うように構成されている。また、制御部70は、速度検出部60により検出されたエンジン回転数、旋回角速度、風向、風速、および、潮流速度に基づいて、閾値距離Dtを補正する制御を行うように構成されている。
【0052】
また、閾値距離Dt1およびDt2は、船体1(
図2参照)の前後方向の長さL1(寸法)に対する所定の割合r1の大きさ以下に設定されている。r1は、たとえば、1未満の大きさである。そして、閾値距離Dt3およびDt4は、船体1(
図2参照)の左右方向の長さL2(寸法)に対する所定の割合r2の大きさ以下に設定されている。
【0053】
そして、制御部70は、距離D1と閾値距離Dt1とを比較する処理を行い、距離D2と閾値距離Dt2とを比較する処理を行い、距離D3と閾値距離Dt3とを比較する処理を行い、距離D4と閾値距離Dt4とを比較する処理を行う。
【0054】
そして、
図5に示すように、制御部70は、距離D1が閾値距離Dt1よりも大きく、かつ、距離D2が閾値距離Dt2よりも大きく、かつ、距離D3が閾値距離Dt3よりも大きく、かつ、距離D4が閾値距離Dt4よりも大きい場合に、表示部40に鳥瞰画像BVを表示させるように構成されている。また、鳥瞰画像BVには、たとえば、船体1の画像P11と、対象物Q(
図5では、桟橋および他の船舶)の画像PQとが含まれている。
【0055】
そして、
図6に示すように、制御部70は、距離D1が閾値距離Dt1以下となるか、距離D2が閾値距離Dt2以下となるか、距離D3が閾値距離Dt3以下となるか、または、距離D4が閾値距離Dt4以下となった場合に、表示部40に表示される画像を、鳥瞰画像BVから、距離Dか閾値距離Dt以下となった方向に対応する対象物画像P10に切り替える制御を行うように構成されている。なお、
図6では、距離D3が閾値距離Dt3以下となった例の対象物画像P10を示している。
【0056】
詳細には、対象物画像P10は、左舷1cおよび右舷1dのうちの着岸方向の舷、および、着岸方向の舷の周辺の領域A3の画像P3または領域A4の画像P4を含む。たとえば、
図6に示すように、制御部70は、船舶100が船体1に対して左方に位置する対象物Qである桟橋に接近しようとする際に、距離D3が閾値距離Dt3以下になったことに基づいて、表示部40に表示される画像を、鳥瞰画像BVから、対象物Qである桟橋の画像PQを含む対象物画像P10に切り替える制御を行うように構成されている。この場合、対象物画像P10は、画像P3である。画像P3には、左舷1cの画像P11が含まれている。
【0057】
図7に示すように、第1実施形態では、制御部70は、距離Dのうち閾値距離Dt以下となる距離(方向)が複数となる場合、表示部40に表示される画像を、鳥瞰画像BVから、閾値距離Dt以下となる距離Dの各々に対応する対象物画像P10に切り替える制御を行う。具体的には、表示部40は、閾値距離Dt以下のとなる距離Dの各々に対応する対象物画像P10を、同一画面上に表示するように構成されている。
【0058】
たとえば、
図5に示すように、鉛直上方から見て、L字状を有する対象物Qである桟橋に対して、船舶100の左方に対象物Qが接近し、その後、船舶100の後方に対象物Qが接近する例を示す。この場合、制御部70は、距離Dのうち距離D3が閾値距離Dt3以下となったことに基づいて、表示部40に表示される画像を、鳥瞰画像BVから、
図6に示すように、対象物Qの画像PQを含む対象物画像P10(P3)に切り替える制御を行う。
【0059】
その後、制御部70は、距離Dのうち距離D3が閾値距離Dt3以下であり、かつ、距離D2が閾値距離Dt2以下となったことに基づいて、
図7に示すように、表示部40に表示される画像を、対象物画像P10から、画像P2および画像P3が合成された合成画像P20に切り替えられる。たとえば、画像処理部30は、制御部70の指令に基づいて、画像P2と画像P3と合成して合成画像P20を生成し、合成画像P20を表示部40に出力する。たとえば、合成画像P20は、表示部40の左方部分41に表示される画像P3(対象物Qの画像および左舷1cの画像P11を含む画像)を表示させるものであり、表示部40の右方部分42に画像P2(対象物Qおよび船尾1bの画像P12を含む画像)を表示させるものである。
【0060】
(第1実施形態の画像表示方法)
次に、第1実施形態による船舶100の表示装置3による画像表示方法について説明する。なお、表示装置3による制御処理は、制御部70により実行される。そして、
図8には、画像表示方法に関する処理フローが示されている。
【0061】
ステップS1において、カメラ21により船体1の周辺の領域A1が撮像され、カメラ22により船体1の周辺の領域A2が撮像され、カメラ23により船体1の周辺の領域A3が撮像され、カメラ24により船体1の周辺の領域A4が撮像される。すなわち、船体1から船体1の外部への複数の方向の各々に対応する画像P1~P4が撮像される。また、船舶100が左舷1c側または右舷1d側を着岸させる場合には、船体1のうちの左舷1cの一部および左舷1cの周辺の領域A3、および、船体1のうちの右舷1dの一部および右舷1dの周辺の領域A4のうちの着岸方向の舷および領域が撮像される。
【0062】
そして、このステップにおいては、鳥瞰画像BVを生成するための船体1および船体1の周辺の領域A1~A4の画像P1~A4が撮像されるとともに、対象物画像P10が撮像される。
【0063】
ステップS2において、鳥瞰画像BVが画像処理部30により生成される。具体的には、ステップS1において撮像された画像P1~P4に基づいて、鳥瞰画像BVが生成される。その後、ステップS3に進む。
【0064】
ステップS3において、距離Dが取得される。具体的には、距離検出部50により、距離D1~D4が検出される。その後、ステップS4に進む。
【0065】
ステップS4において、距離Dと閾値距離Dtとが比較される。すなわち、距離D1と閾値距離Dt1とが比較され、距離D2と閾値距離Dt2とが比較され、距離D3と閾値距離Dt3とが比較され、距離D4と閾値距離Dt4とが比較される。そして、制御部70は、距離D1が閾値距離Dt1よりも大きく、かつ、距離D2が閾値距離Dt2よりも大きく、かつ、距離D3が閾値距離Dt3よりも大きく、かつ、距離D4が閾値距離Dt4よりも大きい場合に、ステップS5に進む。また、距離D1が閾値距離Dt1以下であるか、距離D2が閾値距離Dt2以下であるか、距離D3が閾値距離Dt3以下であるか、または、距離D4が閾値距離Dt4以下である場合に、ステップS6に進む。
【0066】
ステップS5において、表示部40に鳥瞰画像BVが表示される。その後、ステップS1に戻る。すなわち、距離Dが閾値距離Dt以下となるまで、表示部40に鳥瞰画像BVが表示される。
【0067】
ステップS6において、距離Dのうちの閾値距離Dt以下となる距離(方向)が複数となるか否かが判断される。距離Dのうちの閾値距離Dt以下となる距離が複数でない(1つとなる)場合、ステップS7に進み、距離Dのうちの閾値距離Dt以下となる距離が複数となる場合、ステップS8に進む。
【0068】
ステップS7において、距離Dのうちの閾値距離Dt以下となった距離(方向)に対応する対象物画像P10が表示部40に表示される。その後、ステップS1に戻る。すなわち、このステップS7において、距離Dが閾値距離Dt以下となったこと(対象物情報E)に基づいて、表示部40が表示される画像が、鳥瞰画像BVから、船体1から対象物Qの方向を撮像した画像である対象物画像P10に切り替えられる。そして、船舶100が左舷1c側または右舷1d側を着岸させる場合には、表示部40に表示される画像が、鳥瞰画像BVから、左舷1cおよび右舷1dのうちの着岸方向の舷および領域A3および領域A4のうちの着岸方向の領域を含む画像(P3またはP4)を含む対象物画像P10に切り替えられる。
【0069】
すなわち、対象物情報Eに基づいて、表示部40に表示される画像が、鳥瞰画像BVから、複数の方向の各々に対応する画像P1~P4のうちの距離Dが閾値距離Dt以下となる方向に対応する画像である対象物画像P10に切り替えられる。
【0070】
ステップS8において、合成画像P20が生成される。すなわち、距離Dのうちの閾値距離Dt以下となった距離(方向)に対応する対象物画像P10同士が合成された合成画像P20が生成される。その後、ステップS9に進む。
【0071】
ステップS9において、表示部40に合成画像P20が表示される。すなわち、距離Dが閾値距離Dt以下となる方向の数が複数となる場合、表示部40に表示される画像が、鳥瞰画像BVから、距離Dが閾値距離Dt以下となる方向に対応する複数の対象物画像P10が、表示部40の同一画面上に表示される。その後、ステップS1に戻る。
【0072】
[第1実施形態の効果]
第1実施形態では、以下のような効果を得ることができる。
【0073】
第1実施形態では、上記のように、制御部70を、距離Dが閾値距離Dt以下となったことを示す情報である対象物情報Eに基づいて、表示部40に表示される画像を、鳥瞰画像BVから船体1から対象物Qの方向を撮像した画像である対象物画像P10に切り替える制御を行うように構成する。これにより、表示部40に鳥瞰画像BVが表示されている場合でも、対象物Qに船舶100が近づいた際に、鳥瞰画像BVに替わって対象物画像P10を表示させることができる。このため、表示部40を大型化することなく、表示部40に、鳥瞰画像BV中の対象物Qの画像よりも大きく表示された対象物画像P10を自動的に表示させることができる。この結果、表示装置3が大型化するのを抑制しながら、船舶100を対象物Qに近づけることを所望している操船者に対して、対象物画像P10の視認性を向上させることができる。
【0074】
また、第1実施形態では、上記のように、カメラ21~24を、船体1の左舷1cおよび右舷1dのうちの着岸方向の舷および領域A3およびA4のうちの着岸方向の領域を撮像するように構成する。そして、対象物画像P10は、船体1の左舷1cおよび右舷1dのうちの着岸方向の舷および領域A3およびA4のうちの着岸方向の領域の画像を含む。これにより、船舶100を着岸しようとしている操船者に対して、船体1の左舷1cおよび右舷1dのうちの着岸方向の舷および領域A3およびA4のうちの着岸方向の領域の画像を含む対象物画像P10の視認性を向上させることができる。この結果、操船者に対して、着岸時の操船を効果的に支援することができる。
【0075】
また、第1実施形態では、上記のように、カメラ21~24を、船体1から船体1の外部への複数の方向の各々に対応する画像である画像P1~P4を撮像するように構成する。そして、制御部70を、対象物情報Eに基づいて、表示部40に表示される画像を、鳥瞰画像BVから、複数の方向の各々に対応する画像のうちの距離Dが閾値距離Dt以下となる方向に対応する画像である対象物画像P10に切り替える制御を行うように構成する。これにより、船舶100が複数の方向のうちのいずれの方向に対象物Qに対して近づいた場合でも、鳥瞰画像BVから適切な対象物画像P10に切り替えることができる。
【0076】
また、第1実施形態では、上記のように、制御部70を、距離Dが閾値距離Dt以下となる方向の数が複数となる場合に、表示部40に表示される画像を、鳥瞰画像BVから、複数となる方向の各々に対応する対象物画像P10に切り替える制御を行うように構成する。そして、表示部40を、複数となる方向の各々に対応する対象物画像P10を、同一画面上に表示するように構成する。これにより、船体1が複数の方向のそれぞれに配置された対象物Qに、同時または順次に船舶100が近づいた場合でも、複数の方向のそれぞれに配置された対象物Qの画像を表示部40の同一画面上に表示させることができる。その結果、複数の方向のそれぞれに配置された対象物Qに船舶100が近づいた場合でも、複数の対象物の画像PQの視認性を向上させることができる。
【0077】
また、第1実施形態では、上記のように、カメラ21~24を、鳥瞰画像BVを生成するための船体1および船体1の周辺の画像を撮像するように構成するとともに、対象物画像P10を撮像するように構成する。そして、画像処理部30は、カメラ21~24により撮像された船体1および船体1の周辺の画像に基づいて、鳥瞰画像BVを生成するとともに、カメラ21~24により撮像された船体1の周辺の画像のうちの一部の画像と対象物情報Eとに基づいて、対象物画像P10を生成するように構成されている。このように構成すれば、専用の対象物画像撮像部を設ける必要がない分、船舶100用の表示装置3の部品点数が増加するのを抑制することができる。
【0078】
また、第1実施形態では、上記のように、距離Dを検出する距離検出部50をさらに備え、制御部70は、距離検出部50により検出された距離Dが閾値距離Dt以下となったことに基づいて、表示部40に表示される画像を、鳥瞰画像BVから対象物画像P10に切り替える制御を行うように構成されている。このように構成すれば、距離検出部50を使用することにより、距離Dを容易に検出することができる。この結果、距離検出部50による検出結果に基づいて、表示部40に表示される画像を、鳥瞰画像BVから対象物画像P10に切り替える制御を容易に行うことができる。
【0079】
また、第1実施形態では、上記のように、制御部70を、距離D1(D2)が、船体1の前後方向の寸法L1に対する一定の割合r1の大きさ以下であるような閾値距離Dt1(Dt2)以下となる場合に、表示部40に表示される画像を、鳥瞰画像BVから、対象物画像P10に切り替える制御を行うように構成する。そして、制御部70を、距離D3(D4)が、船体1の左右方向の寸法L2に対する一定の割合r2の大きさ以下であるような閾値距離Dt3(Dt4)以下となる場合に、表示部40に表示される画像を、鳥瞰画像BVから、対象物画像P10に切り替える制御を行うように構成する。これにより、船体1の寸法L1(L2)が考慮された状態で、閾値距離Dtが設定されるので、閾値距離Dtをより適切な大きさに設定することができる。この結果、より適切な時点に(タイミングで)、鳥瞰画像BVから対象物画像P10に切り替えることができる。
【0080】
また、第1実施形態では、上記のように、船舶100に、船体1の船速Vを検出する速度検出部60を設ける。そして、制御部70を、速度検出部60により検出された船速Vが大きい程、閾値距離Dtを大きい距離に設定する制御を行うように構成する。これにより、船速Vが比較的大きいことにより、距離Dが比較的速く小さくなる場合でも、適切な時点に、鳥瞰画像BVから対象物画像P10に切り替えることができる。
【0081】
[第2実施形態]
次に、
図9および
図10を参照して、本発明の第2実施形態による船舶200の構成について説明する。距離検出部50により船体1と対象物Qとの距離Dが検出されていた第1実施形態とは異なり、第2実施形態では、カメラ21~24により撮像された画像P1~P4に基づいて、距離Dを取得するように構成されている。なお、上記第1実施形態と同様の構成については、同一の符号を付して、説明を省略する。
【0082】
(第2実施形態による船舶の構成)
第2実施形態では、
図9および
図10に示すように、船舶200は、表示装置203を備える。表示装置203は、画像処理部230と、制御部270とを含む。そして、
図10に示すように、画像処理部230は、カメラ21~24により撮像された画像P1~P4のうちから対象物Qの画像(特徴点画像P30)を抽出する処理を行うように構成されている。たとえば、画像処理部230は、予めメモリ31に記憶された桟橋または他の船舶の特徴点画像P30と、画像P1~P4の各々とを照合(たとえば、パターンマッチング)することにより、画像P1~P4内における特徴点画像P30を抽出するように構成されている。また、画像P1~P4には、船体1の画像P11が含まれている。なお、
図10では、桟橋の画像を特徴点画像P30とする例を示しているが、他の船舶の画像を特徴点画像P30としてもよい。
【0083】
そして、制御部270は、画像P1~P4内における特徴点画像P30の座標位置に基づいて、船体1と対象物Qとの距離Dを取得(算出)するように構成されている。なお、船体1と対象物Qとの距離Dは、特徴点画像P30の座標位置と船体1の画像P11の座標位置との距離に対応する。そして、制御部270は、取得した距離Dが閾値距離Dt以下となったことに基づいて、表示部40に表示される画像を、鳥瞰画像BVから対象物画像P10に切り替える制御を行うように構成されている。なお、その他の構成は、第1実施形態の構成と同様である。
【0084】
(第2実施形態による画像表示方法)
次に、
図11を参照して、第2実施形態による船舶200の表示装置203の画像表示方法について説明する。第2実施形態では、上記第1実施形態における画像表示方法におけるステップS3に代わって、ステップS103aおよびS103bが実行される。
【0085】
ステップS103aにおいて、カメラ21~24により撮像された画像P1~P4のうちから対象物Qの画像(特徴点画像P30)が抽出される。その後、ステップS103bにおいて、特徴点画像P30の座標位置に基づいて、距離Dが取得(算出)される。その他のステップにおいては、上記第1実施形態と同様に処理が実行される。
【0086】
[第2実施形態の効果]
第2実施形態では、以下のような効果を得ることができる。
【0087】
第2実施形態では、上記のように、制御部270を、カメラ21~24により撮像された画像P1~P4における対象物Qの画像(特徴点画像P30)に基づいて、距離Dを取得して、取得した距離Dが閾値距離Dt以下となったことに基づいて、表示部40に表示される画像を、鳥瞰画像BVから対象物画像P10に切り替える制御を行うように構成する。これにより、第1実施形態のような距離検出部50を設けることなく、制御部270により、距離Dを取得することができる。この結果、船舶200用の表示装置203の構成部品の種類が増加するのを抑制することができる。
【0088】
また、第2実施形態では、上記のように、対象物Qの画像は、桟橋または他の船舶の特徴点画像P30を含む。そして、画像処理部230を、カメラ21~24により撮像された画像P1~P4において、桟橋または他の船舶の特徴点画像P30を抽出するように構成する。これにより、撮像された画像P1~P4のうちから容易に対象物Qの画像(桟橋または他の船舶の特徴点画像P30)を検出することができるので、撮像された画像P1~P4に基づいて、距離Dを容易に取得することができるか、または、対象物Qの検出を容易に行うことができる。なお、第2実施形態のその他の効果は、上記第1実施形態と同様である。
【0089】
[第3実施形態]
次に、
図9および
図12を参照して、本発明の第3実施形態による船舶300の構成について説明する。距離Dが閾値距離Dt以下となったことに基づいて、表示部40に表示される画像が、鳥瞰画像BVから対象物画像P10または合成画像P20に切り替えられる第1実施形態とは異なり、第2実施形態では、画像P1~P4のうちから対象物Qの画像が検出されたことに基づいて、表示部40に表示される画像が、鳥瞰画像BVから対象物画像P10または合成画像P20に切り替えられる。なお、上記第1および第2実施形態と同様の構成については、同一の符号を付して、説明を省略する。
【0090】
(第3実施形態による船舶の構成)
第3実施形態では、
図9に示すように、船舶300は、表示装置303を備える。表示装置303は、画像処理部330と、制御部370とを含む。そして、
図12に示すように、画像処理部330は、カメラ21~24により撮像された画像P1~P4のうちから対象物Qの画像(特徴点画像P30:
図12では他の船舶の画像)を抽出する処理を行うように構成されている。
【0091】
そして、制御部370は、対象物情報Eaに基づいて、表示部40に表示される画像を、鳥瞰画像BVから対象物画像P10に切り替える制御を行うように構成されている。第3実施形態では、対象物情報Eaは、画像P1~P4内に特徴点画像P30が抽出されたことを示す情報である。また、制御部370は、画像P1~P4のうちの複数の画像に、特徴点画像P30が抽出された場合、画像処理部330に特徴点画像P30が抽出された画像に対応する画像P1~P4同士を合成して合成画像P20を生成させるように構成されている。そして、制御部370は、表示部40に、合成画像P20を表示させるように構成されている。なお、第3実施形態によるその他の構成は、第1実施形態の構成と同様である。
【0092】
(第3実施形態による画像表示方法)
次に、第3実施形態による船舶300の表示装置303の画像表示方法について説明する。第3実施形態では、上記第1実施形態における画像表示方法におけるステップS3~S9に代わって、ステップS203~S209が実行される。
【0093】
ステップS203において、カメラ21~24により撮像された画像P1~P4のうちから対象物Qの画像(特徴点画像P30)が抽出される。その後、ステップS204に進む。
【0094】
ステップS204において、画像P1~P4のうちから特徴点画像P30が抽出されたか否かが判断される。画像P1~P4のうちから特徴点画像P30が抽出されていない場合(対象物Qが検出されていない場合)、ステップS205に進む。また、画像P1~P4のうちから特徴点画像P30が抽出された場合(対象物Qが検出された場合)、ステップS206に進む。
【0095】
ステップS205において、表示部40に鳥瞰画像BVが表示される。その後、ステップS1に戻る。すなわち、画像P1~P4のうちから特徴点画像P30が抽出されるまで、表示部40に鳥瞰画像BVが表示される。
【0096】
ステップS206において、画像P1~P4のうち、特徴点画像P30が抽出された方向(画像)が複数あるか否かが判断される。特徴点画像P30が抽出された方向(画像)が複数でない(1つとなる)場合、ステップS207に進み、特徴点画像P30が抽出された方向(画像)が複数となる場合、ステップS208に進む。
【0097】
ステップS207において、画像P1~P4のうち、特徴点画像P30が抽出された画像に対応する対象物画像P10が表示部40に表示される。その後、ステップS1に戻る。すなわち、対象物情報Eに基づいて、表示部40に表示される画像が、鳥瞰画像BVから、画像P1~P4のうちの対象物Qが検出された方向に対応する画像である対象物画像P10に切り替えられる。
【0098】
ステップS208において、合成画像P20が生成される。すなわち、特徴点画像P30が抽出された画像に対応する対象物画像P10同士が合成された合成画像P20が生成される。その後、ステップS209に進む。
【0099】
ステップS209において、表示部40に合成画像P20が表示される。その後、ステップS1に戻る。その他のステップにおいては、上記第1実施形態と同様に処理が実行される。
【0100】
[第3実施形態の効果]
第3実施形態では、以下のような効果を得ることができる。
【0101】
第3実施形態では、上記のように、制御部370を、カメラ21~24により撮像された画像において、対象物Qの画像が検出されたことに基づいて、表示部40に表示される画像を、鳥瞰画像BVから対象物画像P10に切り替える制御を行うように構成する。これにより、距離Dと、閾値距離Dtとの比較を行う処理を行うことなく、表示部40に表示される画像を、鳥瞰画像BVから対象物画像P10に切り替えることができる。なお、第3実施形態のその他の効果は、上記第1実施形態と同様である。
【0102】
[第4実施形態]
次に、
図14~
図16を参照して、本発明の第4実施形態による船舶400の構成について説明する。カメラ21~24により撮像された画像P1~P4に基づいて鳥瞰画像BV、対象物画像P10および合成画像P20が生成されていた第1実施形態とは異なり、第4実施形態では、対象物画像用カメラ421、422、423、および、424により撮像された画像により対象物画像P110および合成画像P120が生成される。なお、上記第1~第3実施形態と同様の構成については、同一の符号を付して、説明を省略する。
【0103】
(第4実施形態による船舶の構成)
第4実施形態では、
図14に示すように、船舶400は、表示装置403を備える。表示装置403は、カメラ21~24に加えて、カメラ21~24とは別個に構成された対象物画像用カメラ421、422、423、および、424を備える。また、表示装置403は、画像処理部430と、制御部470とを含む。なお、対象物画像用カメラ421~424は、特許請求の範囲の「対象物画像撮像部」の一例である。
【0104】
図15に示すように、対象物画像用カメラ421は、たとえば、船体1においてカメラ21よりも前方の部分に取り付けられており、船体1よりも前方の周辺の領域A11(画像P101)を撮像するように構成されている。また、対象物画像用カメラ422は、たとえば、船体1においてカメラ22よりも後方の部分に取り付けられており、船体1よりも後方の周辺の領域A12(画像P102)を撮像するように構成されている。また、対象物画像用カメラ423は、たとえば、船体1においてカメラ23よりも左方の部分に取り付けられており、船体1よりも左方の周辺の領域A13(画像P103)を撮像するように構成されている。また、対象物画像用カメラ424は、たとえば、船体1においてカメラ24よりも右方の部分に取り付けられており、船体1よりも右方の周辺の領域A14(画像P104)を撮像するように構成されている。
【0105】
画像処理部430は、カメラ21~24により撮像された画像P1~P4に基づいて、鳥瞰画像BVを生成するとともに、対象物画像用カメラ421~424により撮像されたP101~P104に基づいて、対象物画像P110および合成画像P120を生成するように構成されている。
【0106】
制御部470は、対象物情報Eに基づいて、表示部40に表示される画像を、鳥瞰画像BVから対象物画像用カメラ421~424により撮像された対象物画像P110または合成画像P120に切り替える制御を行うように構成されている。なお、その他の構成は、第1実施形態の構成と同様である。
【0107】
(第4実施形態による画像表示方法)
次に、第4実施形態による船舶400の表示装置403の画像表示方法について説明する。第4実施形態では、上記第1実施形態における画像表示方法におけるS1、S7、S8およびS9に代わって、ステップS301、S307、S308およびS309が実行される。
【0108】
ステップS301において、カメラ21~24により領域A1~A4が撮像されるとともに、対象物画像用カメラ421~424により領域A11~A14が撮像される。
【0109】
ステップS307において、距離Dのうちの閾値距離Dt以下となった距離(方向)に対応する対象物画像P110が表示部40に表示される。その後、ステップS1に戻る。すなわち、このステップS307において、距離Dが閾値距離Dt以下となったこと(対象物情報E)に基づいて、表示部40が表示される画像が、鳥瞰画像BVから、船体1から対象物Qの方向を撮像した画像である対象物画像P110に切り替えられる。
【0110】
すなわち、対象物情報Eに基づいて、表示部40に表示される画像が、鳥瞰画像BVから、複数の方向の各々に対応する画像P101~P104のうちの距離Dが閾値距離Dt以下となる方向に対応する画像である対象物画像P110に切り替えられる。
【0111】
ステップS308において、合成画像P20が生成される。すなわち、距離Dのうちの閾値距離Dt以下となった距離(方向)に対応する対象物画像P110同士が合成された合成画像P120が生成される。
【0112】
ステップS309において、表示部40に合成画像P120が表示される。その他のステップは、第1実施形態による画像表示方法と同様に実行される。
【0113】
[第4実施形態の効果]
第4実施形態では、以下のような効果を得ることができる。
【0114】
第4実施形態では、上記のように、カメラ21~24を、鳥瞰画像BVを生成するための船体1および船体1の周辺の領域A1~A4の画像P1~P4を撮像するように構成する。そして、対象物画像用カメラ421~424を、カメラ21~24と別個に構成するとともに、対象物画像P110を撮像するように構成する。そして、画像処理部430を、カメラ21~24により撮像された船体1および船体1の周辺の画像P1~4に基づいて、鳥瞰画像BVを生成するように構成する。そして、制御部470を、対象物情報Eに基づいて、表示部40に表示される画像を、鳥瞰画像BVから対象物画像用カメラ421~424により撮像された対象物画像P110に切り替える制御を行うように構成する。これにより、カメラ21~24とは別個に、対象物Qを撮像するために適した対象物画像用カメラ421~424を構成することができる。この結果、対象物画像用カメラ421~424により撮像されたより適した対象物画像P110を、操船者に視認させることができる。なお、第4実施形態のその他の効果は、上記第1実施形態と同様である。
【0115】
[変形例]
今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更(変形例)が含まれる。
【0116】
たとえば、上記第1~第4実施形態では、船舶に、船外機を設ける構成する例を示したが、本発明はこれに限られない。たとえば、船舶に、船内機または船内外機を設けてもよいし、船舶に、ジェット推進器を設けてもよい。
【0117】
また、上記第1~第4実施形態では、カメラを、船体の一部と船体よりも外方の領域との両方を撮像するように構成(配置)する例を示したが、本発明はこれに限られない。たとえば、カメラを、船体よりも外方の領域のみを撮像するように構成(配置)してもよい。
【0118】
また、上記第1および第2実施形態では、前方、後方、左方、および、右方の4つの方向において、距離Dの取得を行う例を示したが、本発明はこれに限られない。すなわち、4つ以外の方向の距離Dを取得してもよい。たとえば、前方と左方との間の方向、前方と右方との間の方向、後方と左方との間の方向、および、後方と右方との間の方向にも距離Dを取得して、取得した距離Dに基づいて、鳥瞰画像から対象物画像に表示部の画像を切り替えてもよい。
【0119】
また、上記第1および第2実施形態では、4方向の各々に、閾値距離Dt(Dt1~Dt4)を設ける例を示したが、本発明はこれに限られない。たとえば、4方向の共通の単一の閾値距離Dtを設けてもよい。
【0120】
また、上記第1および第2実施形態では、閾値距離Dtを船体1の寸法に対する一定の割合に設定する例を示したが、本発明はこれに限られない。たとえば、閾値距離Dtを操船者により任意の値に設定されるように、制御部が構成されていてもよい。
【0121】
また、上記第1~第4実施形態では、2つの画像を合成することにより、合成画像を生成する例を示したが、本発明はこれに限られない。たとえば、2つの画像を合成することにより、合成画像を生成してもよい。
【符号の説明】
【0122】
1 船体、1c 左舷(着岸方向の舷)、1d 右舷(着岸方向の舷)、3 203 303 403 表示装置、4a 4b 操船席、21~24 カメラ(撮像部、鳥瞰画像撮像部、対象物画像撮像部)、30 230 330 430 画像処理部、40 40a 40b 表示部、50~54 距離検出部、60 速度検出部(船速検出部)、70 270 370 470 制御部、100 200 300 400 船舶、421~424 対象物画像用カメラ(対象物画像撮像部)