特表 2025-501871 人工知能技術を適用した画像処理に基づく喫水計測システム及び喫水計測方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-01-24

(54)【発明の名称】人工知能技術を適用した画像処理に基づく喫水計測システム及び喫水計測方法

(51)【国際特許分類】

   B63B 79/10 20200101AFI20250117BHJP

   G06T 7/12 20170101ALI20250117BHJP

   G06T 7/70 20170101ALI20250117BHJP

   G06V 10/74 20220101ALI20250117BHJP

   G06T 7/00 20170101ALI20250117BHJP

   G06T 7/60 20170101ALI20250117BHJP

   G06T 7/13 20170101ALI20250117BHJP

   G06V 10/82 20220101ALN20250117BHJP

   G06T 7/11 20170101ALN20250117BHJP

【ＦＩ】

B63B79/10

G06T7/12

G06T7/70 A

G06V10/74

G06T7/00 350C

G06T7/60 180B

G06T7/13

G06T7/60 200G

G06V10/82

G06T7/11

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024534030

(86)(22)【出願日】2023-12-19

(85)【翻訳文提出日】2024-06-06

(86)【国際出願番号】 KR2023020986

(87)【国際公開番号】W WO2024136404

(87)【国際公開日】2024-06-27

(31)【優先権主張番号】10-2022-0178522

(32)【優先日】2022-12-19

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2023-0175883

(32)【優先日】2023-12-06

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】517430897

【氏名又は名称】ハンファ オーシャン カンパニー リミテッド

(74)【代理人】

【識別番号】110000305

【氏名又は名称】弁理士法人青莪

(72)【発明者】

【氏名】キム，ヤン ヒョン

(72)【発明者】

【氏名】リー，ヨン ウ

(72)【発明者】

【氏名】ペ，ウォン ソク

(72)【発明者】

【氏名】リー，ドン ニョン

(72)【発明者】

【氏名】キム，タイ ゴン

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA08

5L096CA04

5L096DA02

5L096FA10

5L096FA19

5L096FA26

5L096FA39

5L096FA66

5L096FA67

5L096FA69

5L096GA51

5L096HA11

5L096KA04

(57)【要約】

本発明は、データから抽出した画像に人工知能技術を適用し、撮影角度、画質、船体表面の汚染状態等によって発生する画像処理エラーを防止して、喫水計測の精度を向上させ、ドラフトマークのエッジの検出や水線面の識別に必要なセグメンテーションを行うためのディープラーニングモデルや、基準となる喫水点の指定及び歪曲補正アルゴリズム等の技術を使用して、リアルタイムで撮影した映像データを基に喫水の値を確認できる、人工知能技術を適用した画像処理に基づくの喫水計測システム及び喫水計測方法を提案する。

【特許請求の範囲】

【請求項1】

船舶の側面外側に標示された数字を含むドラフトマークと水線面とを撮影する、ドローン及び映像撮影装置のうちの少なくとも一方；と、
前記ドローン及び映像撮影装置のうちの少なくとも一方で撮影された映像を受信して、喫水を算出する喫水計測システム；とを備え、
前記喫水計測システムは、
受信した映像を基準フレーム単位の画像に変換する前処理部；と、
前記前処理部で基準フレーム単位に変換された画像から、ドラフトマークを識別するドラフトマーク識別部；と、
前記前処理部で基準フレーム単位に変換された画像から、喫水線を検出する喫水線検出部；と、
前記ドラフトマーク識別部で識別されたドラフトマークと前記喫水線検出部で検出された喫水線との画素距離を測定する測定部；と、
前記測定部で測定された測定データのＸ軸方向の歪曲とＹ軸方向の歪曲とを補正する歪曲補正部；と、
前記歪曲補正部で補正された補正データ値を基に、喫水を算出する算出部とを備えることを特徴とする、
人工知能技術を適用した画像処理に基づく喫水計測システム。

【請求項2】

前記喫水線検出部は、
前記前処理部で基準フレーム単位に変換された画像から、喫水線のエッジを検出するエッジ検出部をさらに備え、
前記エッジ検出部で検出された喫水線のエッジに基づくセグメンテーションにより水線面を識別することを特徴とする、
請求項１記載の人工知能技術を適用した画像処理に基づく喫水計測システム。

【請求項3】

前記測定部は、
前記ドラフトマーク識別部で識別されたドラフトマークと喫水線上方のドラフトマークとの画素距離を測定する第１測定部；と、
前記ドラフトマーク識別部で識別されたドラフトマークと喫水線との画素距離を測定する第２測定部とを備えることを特徴とする、
請求項１記載の人工知能技術を適用した画像処理に基づく喫水計測システム。

【請求項4】

前記歪曲補正部は、
ドラフトマークが付された船舶の表面を平面とみなす透視変換を行い、
この透視変換で補正された映像から、喫水線の高さを測定して、Ｘ軸方向の歪曲を補正し、
前記Ｘ軸方向の歪曲の補正によりＹ軸方向の値を予測して、Ｙ軸方向の歪曲を補正することを特徴とする、
請求項１記載の人工知能技術を適用した画像処理に基づく喫水計測システム。

【請求項5】

前記算出部で算出された喫水の値をモニタリングするために、喫水の値を、リアルタイムで表示させる及び記憶させるうちの少なくとも一方を行うモニタリングサーバーをさらに備えることを特徴とする、
請求項１記載の人工知能技術を適用した画像処理に基づく喫水計測システム。

【請求項6】

船舶の側面外側に標示された数字を含むドラフトマークと水線面とを撮影する、ドローン及び映像撮影装置のうちの少なくとも一方；と、
前記ドローン及び映像撮影装置のうちの少なくとも一方で撮影された映像を受信して、喫水を算出する喫水計測システム；とを備え、
前記喫水計測システムは、
受信した映像を基準フレーム単位の画像に変換する前処理部；と、
前記前処理部で基準フレーム単位に変換された画像から、ドラフトマークをオブジェクトとして検出し、その位置を特定するオブジェクト識別部；と、
前記前処理部で基準フレーム単位に変換された画像から、喫水線を検出して、喫水計測の基準点を定義する喫水計測基準点定義部；と、
前記オブジェクト識別部で識別されたドラフトマークの歪曲と、喫水計測基準点定義部で定義された喫水計測基準点の歪曲とを補正する歪曲補正部；と、
前記歪曲補正部で歪曲が補正されたドラフトマークと前記歪曲補正部で歪曲が補正された喫水計測基準点との距離を測定する測定部；と、
前記測定部で測定された測定データ値を基に、喫水を算出する算出部；とを備えることを特徴とする、
人工知能技術を適用した画像処理に基づく喫水計測システム。

【請求項7】

ドローン及び映像撮影装置のうちの少なくとも一方によって、船舶の側面外側に標示された数字を含むドラフトマークと水線面とを撮影する映像撮影ステップ；と、
前記映像撮影ステップで撮影された映像を喫水計測システムで受信し、受信した映像を基準フレーム単位の画像に変換する前処理ステップ；と、
前記前処理ステップで基準フレーム単位に変換された画像から、ドラフトマークを識別するドラフトマーク識別ステップ；と、
前記前処理ステップで基準フレーム単位に変換された画像から、喫水線を検出する喫水線検出ステップ；と、
前記ドラフトマーク識別ステップで識別されたドラフトマークと前記喫水線検出ステップで検出された喫水線との画素距離を測定する測定ステップ；と、
前記測定ステップで測定された測定データのＸ軸方向の歪曲とＹ軸方向の歪曲とを補正する歪曲補正ステップ；と、
前記歪曲補正ステップで補正された補正データを基に、喫水を算出する算出ステップ；とを含むことを特徴とする、
人工知能技術を適用した画像処理に基づく喫水計測方法。

【請求項8】

前記喫水線検出ステップは、
喫水線を検出するために、喫水線のエッジを検出するエッジ検出ステップと、検出された喫水線のエッジに基づくセグメンテーションにより水線面を識別するステップとを含むことを特徴とする、
請求項７記載の人工知能技術を適用した画像処理に基づく喫水計測方法。

【請求項9】

前記測定ステップは、
前記ドラフトマーク識別ステップで識別されたドラフトマークと喫水線上方のドラフトマークとの画素距離を測定する第１測定ステップ；と、
前記ドラフトマーク識別ステップで識別されたドラフトマークと喫水線との画素距離を測定する第２測定ステップ；とを含むことを特徴とする、
請求項７記載の人工知能技術を適用した画像処理に基づく喫水計測方法。

【請求項10】

前記歪曲補正ステップは、
ドラフトマークが付された船舶の表面を平面とみなす透視変換ステップ；と、
前記透視変換ステップで補正された映像から、喫水線の高さを測定して、Ｘ軸方向の歪曲を補正するステップ；と、
前記Ｘ軸方向の歪曲を補正するステップでのＸ軸方向の歪曲の補正により、Ｙ軸方向の値を予測して、Ｙ軸方向の歪曲を補正するステップ；とを含むことを特徴とする、
請求項７記載の人工知能技術を適用した画像処理に基づく喫水計測方法。

【請求項11】

前記算出ステップで算出された喫水の値をモニタリングするために、喫水の値を、モニタリングサーバーに送信して、リアルタイムで表示させる及び記憶させるうちの少なくとも一方を行うモニタリングステップをさらに含むことを特徴とする、
請求項７記載の人工知能技術を適用した画像処理に基づく喫水計測方法。

【請求項12】

映像撮影装置により、船舶の側面外側に標示された数字を含むドラフトマークと水線面とを撮影する、映像撮影ステップ；と、
前記映像撮影ステップで撮影された映像を喫水計測システムで受信し、受信した映像を基準フレーム単位の画像に変換する、前処理ステップ；と、
前記前処理ステップで基準フレーム単位に変換された画像から、ドラフトマークをオブジェクトとして検出して、その位置を特定する、オブジェクト識別ステップ；と、
前記前処理ステップで基準フレーム単位に変換された画像から、喫水線を検出して、喫水計測の基準点を定義する、喫水計測基準点定義ステップ；と、
前記オブジェクト識別ステップで識別されたドラフトマークの歪曲と、前記喫水計測基準点定義ステップで定義された喫水計測基準点の歪曲とを補正する、歪曲補正ステップ；と、
前記歪曲補正ステップで歪曲が補正されたドラフトマークと前記歪曲補正ステップで歪曲が補正された喫水計測基準点との距離を測定する、測定ステップ；と、
前記測定ステップで測定されたデータ値から、異常値を除去する異常値除去ステップ；と
前記異常値除去ステップで異常値が除去されたデータを基に、喫水を算出する、算出ステップ；とを含むことを特徴とする、
人工知能技術を適用した画像処理に基づく喫水計測方法。

【請求項13】

前記オブジェクト識別ステップは、
Ｍａｓｋ Ｒ－ＣＮＮモデルを適用して、基準フレーム単位に変換された画像から、ドラフトマークをオブジェクトとして検出し、その位置を特定することを特徴とする、
請求項１２記載の人工知能技術を適用した画像処理に基づく喫水計測方法。

【請求項14】

前記喫水計測基準点定義ステップは、
喫水線を検出するために、Ｕ－Ｎｅｔを含む人工知能モデルを適用して、喫水線のエッジの位置を特定するためのセマンティックセグメンテーションを行い、
前記オブジェクト識別ステップで検出されたオブジェクトとセマンティックセグメンテーションされた喫水線とに基づいて投票アルゴリズムを適用して選択された直線と、セマンティックセグメンテーションされた喫水線との交点により、喫水計測基準点を定義することを特徴とする、
請求項１２記載の人工知能技術を適用した画像処理に基づく喫水計測方法。

【請求項15】

前記歪曲補正ステップは、
スケーリングアルゴリズムを適用して、撮影位置によるドラフトマークのサイズの歪曲を補正し、
前記スケーリングアルゴリズムは、フレーム単位の画像全体に亘るドラフトマークのサイズの比例変化を基に、ドラフトマークの高さを推定して、歪曲を補正することを特徴とする、
請求項１２記載の人工知能技術を適用した画像処理に基づく喫水計測方法。

【請求項16】

前記異常値除去ステップは、
標準スコアまたは四分位範囲の統計的単変量データに基づいて、フレーム単位の各画像を分析した結果のうち、異常値を検出して異常値を除去し、算術平均として喫水の値を導出することを特徴とする、
請求項１２記載の人工知能技術を適用した画像処理に基づく喫水計測方法。

【請求項17】

前記算出ステップで算出された喫水の値をモニタリングするために、喫水の値を、モニタリングサーバーに送信して、リアルタイムで表示させる及び記憶させるうちの少なくとも一方を行うモニタリングステップをさらに含むことを特徴とする、
請求項１２記載の人工知能技術を適用した画像処理に基づく喫水計測方法。

【請求項18】

請求項７～１７のいずれか１項に記載の人工知能技術を適用した画像処理に基づく喫水計測方法をコンピュータに実行させるためのコンピュータプログラムが記録された、コンピュータで読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像データから抽出した画像に人工知能技術を適用し、撮影角度、画質、船体表面の汚染状態等によって発生する画像処理エラーを防止して、喫水計測の精度を向上させ、ドラフトマークのエッジの検出や水線面の識別に必要なセグメンテーションを行うためのディープラーニングモデルや、水線面を検出するためのエッジ検出アルゴリズム及び歪曲補正アルゴリズム等の技術を使用して、リアルタイムで撮影した映像データを基に喫水の値を確認できる、人工知能技術を適用した画像処理に基づく喫水計測システム及び喫水計測方法に関する。

【背景技術】

【0002】

通常、船舶は、建造中及び建造完了後の進水段階で、傾斜試験や載貨重量試験(Dead-weight measurement)が実施される。この時、船舶の喫水線より下方の排水量を計算するために、船舶の喫水計測が必要となる。喫水計測は、従来、訓練を受けた測定者が作業船に搭乗し、船舶の側面で船首部、中央部及び船尾部の夫々の位置に標示されたドラフトマーク(喫水標)に接近して、喫水計を用いた目視計測により行われる。然し、このような計測作業は、測定者の姿勢が不安定となることから、挫傷、溺水、筋骨格の外傷等の事故が発生する虞があり、また、風、波、うねり等の環境条件や測定者の熟練度によって、計測値が異なってしまうという問題があった。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明の目的は、映像データから抽出した画像に人工知能技術を適用し、撮影角度、画質、船体表面の汚染状態等によって発生する画像処理エラーを防止して、喫水計測の精度を向上させ、ドラフトマークのエッジの検出や水線面の識別に必要なセグメンテーションを行うためのディープラーニングモデルや、水線面を検出するためのエッジ検出アルゴリズム及び歪曲補正アルゴリズム並びに、ドローン及び小型ビデオカメラ、映像受信／送信及びストリーミング技術を使用して、リアルタイムで撮影した映像データを基に喫水の値を確認できる、人工知能技術を適用した画像処理に基づく喫水計測システム及び喫水計測方法の提供を目的とする。

【0004】

また、本発明の他の目的は、映像データから抽出した画像に人工知能技術を適用し、撮影角度、画質、船体表面の汚染状態等によって発生する画像処理エラーを防止して、喫水計測の精度を向上させ、ドラフトマークのエッジの検出や水線面の識別に必要なセグメンテーションを行うためのディープラーニングモデルや、基準となる喫水点の指定及び歪曲補正アルゴリズム等の技術を使用して、喫水の値を確認できる、人工知能技術を適用した画像処理に基づく喫水計測システム及び喫水計測方法の提供を目的とする。

【課題を解決するための手段】

【0005】

上記課題を解決するため、本発明の実施形態の人工知能技術を適用した画像処理に基づく喫水計測システムは、船舶の側面外側に標示された数字を含むドラフトマークと水線面とを撮影する、ドローン及び映像撮影装置のうちの少なくとも一方と、前記ドローン及び映像撮影装置のうちの少なくとも一方で撮影された映像を受信して、喫水を算出する喫水計測システムとを備え、前記喫水計測システムは、受信した映像を基準フレーム単位の画像に変換する前処理部と、前記前処理部で基準フレーム単位に変換された画像から、ドラフトマークを識別するドラフトマーク識別部と、前記前処理部で基準フレーム単位に変換された画像から、喫水線を検出する喫水線検出部と、前記ドラフトマーク識別部で識別されたドラフトマークと前記喫水線検出部で検出された喫水線との画素距離を測定する測定部と、前記測定部で測定された測定データのＸ軸方向の歪曲とＹ軸方向の歪曲とを補正する歪曲補正部と、前記歪曲補正部で補正された補正データ値を基に、喫水を算出する算出部とを備えることを特徴とする。

【0006】

また、本発明の実施形態の喫水計測システムの喫水線探知部は、前記前処理部で基準フレーム単位に変換された画像から、喫水線のエッジを検出するエッジ検出部をさらに備え、前記エッジ検出部で検出された喫水線のエッジに基づくセグメンテーションにより水線面を識別することを特徴とする。

【0007】

また、本発明の実施形態の喫水計測システムの測定部は、前記ドラフトマーク識別部で識別されたドラフトマークと喫水線上方のドラフトマークとの画素距離を測定する第１測定部と、前記ドラフトマーク識別部で識別されたドラフトマークと喫水線との画素距離を測定する第２測定部とを備えることを特徴とする。

【0008】

また、本発明の実施形態の喫水計測システムの歪曲補正部は、ドラフトマークが付された船舶の表面を平面とみなす透視変換を行い、この透視変換で補正された映像から、喫水線の高さを測定して、Ｘ軸方向の歪曲を補正し、前記Ｘ軸方向の歪曲の補正によりＹ軸方向の値を予測して、Ｙ軸方向の歪曲を補正することを特徴とする。

【0009】

また、本発明の実施形態の喫水計測システムは、前記算出部で算出された喫水の値をモニタリングするために、喫水の値を、リアルタイムで表示させる及び記憶させるうちの少なくとも一方を行うモニタリングサーバーをさらに備えることを特徴とする。

【0010】

また、本発明の実施形態の人工知能技術を適用した画像処理に基づく喫水計測システムは、船舶の側面外側に標示された数字を含むドラフトマークと水線面とを撮影する、ドローン及び映像撮影装置のうちの少なくとも一方と、前記ドローン及び映像撮影装置のうちの少なくとも一方で撮影された映像を受信して、喫水を算出する喫水計測システムとを備え、前記喫水計測システムは、受信した映像を基準フレーム単位の画像に変換する前処理部と、前記前処理部で基準フレーム単位に変換された画像から、ドラフトマークをオブジェクトとして検出し、その位置を特定するオブジェクト識別部と、前記前処理部で基準フレーム単位に変換された画像から、喫水線を検出して、喫水計測の基準点を定義する喫水計測基準点定義部と、前記オブジェクト識別部で識別されたドラフトマークの歪曲と、喫水計測基準点定義部で定義された喫水計測基準点の歪曲とを補正する歪曲補正部と、前記歪曲補正部で歪曲が補正されたドラフトマークと前記歪曲補正部で歪曲が補正された喫水計測基準点との距離を測定する測定部と、前記測定部で測定された測定データ値を基に、喫水を算出する算出部とを備えることを特徴とする。

【0011】

また、本発明の実施形態の人工知能技術を適用した画像処理に基づく喫水計測方法は、ドローン及び映像撮影装置のうちの少なくとも一方によって、船舶の側面外側に標示された数字を含むドラフトマークと水線面とを撮影する映像撮影ステップと、前記映像撮影ステップで撮影された映像を喫水計測システムで受信し、受信した映像を基準フレーム単位の画像に変換する前処理ステップと、前記前処理ステップで基準フレーム単位に変換された画像から、ドラフトマークを識別するドラフトマーク識別ステップと、前記前処理ステップで基準フレーム単位に変換された画像から、喫水線を検出する喫水線検出ステップと、前記ドラフトマーク識別ステップで識別されたドラフトマークと前記喫水線検出ステップで検出された喫水線との画素距離を測定する測定ステップと、前記測定ステップで測定された測定データのＸ軸方向の歪曲とＹ軸方向の歪曲とを補正する歪曲補正ステップと、前記歪曲補正ステップで補正された補正データを基に、喫水を算出する算出ステップとを含むことを特徴とする。

【0012】

また、本発明の実施形態の喫水計測方法の喫水線検出ステップは、喫水線を検出するために、喫水線のエッジを検出するエッジ検出ステップと、検出された喫水線のエッジに基づくセグメンテーションにより水線面を識別するステップとを含むことを特徴とする。

【0013】

また、本発明の実施形態の喫水計測方法の測定ステップは、前記ドラフトマーク識別ステップで識別されたドラフトマークと喫水線上方のドラフトマークとの画素距離を測定する第１測定ステップと、前記ドラフトマーク識別ステップで識別されたドラフトマークと喫水線との画素距離を測定する第２測定ステップとを含むことを特徴とする。

【0014】

また、本発明の実施形態の喫水計測方法の歪曲補正ステップは、ドラフトマークが付された船舶の表面を平面とみなす透視変換ステップと、前記透視変換ステップで補正された映像から、喫水線の高さを測定して、Ｘ軸方向の歪曲を補正するステップと、前記Ｘ軸方向の歪曲を補正するステップでのＸ軸方向の歪曲の補正により、Ｙ軸方向の値を予測して、Ｙ軸方向の歪曲を補正するステップとを含むことを特徴とする。

【0015】

また、本発明の実施形態の喫水計測方法は、前記算出ステップで算出された喫水の値をモニタリングするために、喫水の値を、モニタリングサーバーに送信して、リアルタイムで表示させる及び記憶させるうちの少なくとも一方を行うモニタリングステップをさらに含むことを特徴とする。

【0016】

また、本発明の実施形態の人工知能技術を適用した画像処理に基づく喫水計測方法は、映像撮影装置により、船舶の側面外側に標示された数字を含むドラフトマークと水線面とを撮影する、映像撮影ステップと、前記映像撮影ステップで撮影された映像を喫水計測システムで受信し、受信した映像を基準フレーム単位の画像に変換する、前処理ステップと、前記前処理ステップで基準フレーム単位に変換された画像から、ドラフトマークをオブジェクトとして検出して、その位置を特定する、オブジェクト識別ステップと、前記前処理ステップで基準フレーム単位に変換された画像から、喫水線を検出して、喫水計測の基準点を定義する、喫水計測基準点定義ステップと、前記オブジェクト識別ステップで識別されたドラフトマークの歪曲と、前記喫水計測基準点定義ステップで定義された喫水計測基準点の歪曲とを補正する、歪曲補正ステップと、前記歪曲補正ステップで歪曲が補正されたドラフトマークと前記歪曲補正ステップで歪曲が補正された喫水計測基準点との距離を測定する、測定ステップと、前記測定ステップで測定されたデータ値から、異常値を除去する異常値除去ステップと前記異常値除去ステップで異常値が除去されたデータを基に、喫水を算出する、算出ステップとを含むことを特徴とする。

【0017】

また、本発明の実施形態の喫水計測方法のオブジェクト識別ステップは、Ｍａｓｋ Ｒ－ＣＮＮモデルを適用して、基準フレーム単位に変換された画像から、ドラフトマークをオブジェクトとして検出し、その位置を特定することを特徴とする。

【0018】

また、本発明の実施形態の喫水計測方法の喫水計測基準点定義ステップは、喫水線を検出するために、Ｕ－Ｎｅｔを含む人工知能モデルを適用して、喫水線のエッジの位置を特定するためのセマンティックセグメンテーションを行い、前記オブジェクト識別ステップで検出されたオブジェクトとセマンティックセグメンテーションされた喫水線とに基づいて投票アルゴリズムを適用して選択された直線と、セマンティックセグメンテーションされた喫水線との交点を、喫水計測の基準点として定義することを特徴とする。

【0019】

また、本発明の実施形態の喫水計測方法の歪曲補正ステップは、スケーリングアルゴリズムを適用して、撮影位置によるドラフトマークのサイズの歪曲を補正し、前記スケーリングアルゴリズムは、フレーム単位の画像全体に亘るドラフトマークのサイズの比例変化を基に、ドラフトマークの高さを推定して、歪曲を補正することを特徴とする。

【0020】

また、本発明の実施形態の喫水計測方法の異常値除去ステップは、標準スコアまたは四分位範囲の統計的単変量データに基づいて、フレーム単位の各画像を分析した結果のうち、異常値を検出して異常値を除去し、算術平均として喫水の値を導出することを特徴とする。

【0021】

また、本発明の実施形態の喫水計測方法は、前記算出ステップで算出された喫水の値をモニタリングするために、喫水の値を、モニタリングサーバーに送信して、リアルタイムで表示させる及び記憶させるうちの少なくとも一方を行うモニタリングステップをさらに含むことを特徴とする。

【0022】

さらに、上記課題を解決するため、本発明の実施形態のコンピュータで読み取り可能な記録媒体には、前記喫水計測方法をコンピュータに実行させるためのコンピュータプログラムが記録される。

【発明の効果】

【0023】

本発明は、映像データから抽出した画像に人工知能技術を適用し、撮影角度、画質、船体表面の汚染状態等によって発生する画像処理エラーを防止して、喫水計測の精度を向上させることができる。

【0024】

また、本発明は、ドラフトマークのエッジの検出や水線面の識別に必要なセグメンテーションを行うためのディープラーニングモデルや、水線面を検出するためのエッジ検出アルゴリズム及び歪曲補正アルゴリズム並びに、ドローン及び小型ビデオカメラ、映像受信／送信及びストリーミング技術を使用して、リアルタイムで撮影した映像データを基に喫水の値を確認できる。

【0025】

また、本発明は、喫水計測時に発生する虞がある挫傷、溺水、筋骨格の外傷等の事故を防止することができ、また、目視計測と比べて信頼性が高く、より正確な計測値を得ることができる。

【図面の簡単な説明】

【0026】

【図1】本発明の第１実施形態の喫水計測システムの構成を示す図である。

【図2】本発明の第１実施形態の喫水計測方法のフローチャートを示す図である。

【図3】本発明の第１実施形態の喫水計測方法の映像撮影ステップを説明する図である。

【図4】本発明の第１実施形態の喫水計測方法の抽出工程を説明する図である。

【図5】本発明の第１実施形態の喫水計測方法の喫水線検出ステップを説明する図である。

【図6】本発明の第１実施形態の喫水計測方法のエッジ検出及びセグメンテーションによる喫水線検出を説明する概念図である。

【図7】本発明の第１実施形態の喫水計測方法のエッジ検出及びセグメンテーションによる喫水線検出を説明する概念図である。

【図8】本発明の第１実施形態の喫水計測方法の歪曲補正及び喫水線の算出過程を説明する図である。

【図9】本発明の第１実施形態の喫水計測方法のドラフトマークの文字識別及び後処理工程を説明する図である。

【図10】本発明の第２実施形態の喫水計測方法のフローチャートを示す図である。

【図11】本発明の第２実施形態の喫水計測システムを用いた喫水算出アルゴルズムによる画像識別及び算出過程を説明する図である。

【図12】本発明の第２実施形態の喫水計測システムを用いた喫水算出アルゴルズムのうち、基準点の位置を推定するアルゴリズムを説明する図である。

【図13】本発明の第２実施形態の喫水計測システムを用いた喫水算出アルゴルズムのち、投票アルゴリズムを適用した結果を示す図である。

【図14】本発明の第２実施形態の喫水計測システムを用いた喫水算出アルゴルズムのうち、スケーリングアルゴリズムを説明する図である。

【図15】本発明の第２実施形態の喫水計測システムを用いた喫水算出アルゴルズムのうち、スケーリングアルゴリズムを説明する図である。

【図16】本発明の第２実施形態の喫水計測システムを用いた喫水算出アルゴルズムのうち、文字の高さを推定するアルゴリズムを説明する図である。

【図17】本発明の第２実施形態の喫水計測システムを用いた喫水算出アルゴルズムのうち、最終的な喫水の値を導出する異常値基準適用アルゴリズムを説明する図である。

【発明を実施するための形態】

【0027】

本発明の目的、技術的構成、それによる作用と効果に関する詳細は、本発明の明細書に添付した図面に基づく詳細な説明によって、より明確に理解される。

【0028】

本明細書で使用される用語は、特定の実施形態を説明するために使用され、本発明を限定する意図ではない。例えば、本明細書で使用される「構成される」または「備える」や「含む」等の用語は、本発明に記載された複数の構成要素または複数のステップを必ず全て含むと解されず、そのうち一部の構成要素または一部のステップを含まないか、または追加の構成要素またはステップをさらに含むことができると解釈される。さらに、本明細書で使用される単数の表現は、文脈上において明らかな意味がない限り、複数の表現を含む。

【0029】

以下、添付の図面を参照して、本発明の実施形態を例に本発明を詳細に説明する。以下で説明する実施形態は、本発明の技術思想を当業者が容易に理解できるように例示するものであり、本発明は実施形態に限定されない。本発明の実施形態は、当該技術分野の当業者に様々な応用ができることは当然である。

【0030】

図１～図９を参照して、本発明の第１実施形態の人工知能技術を適用した画像処理に基づく喫水計測システムは、図１に示すように、水線面及び船舶の両側面の外側に標示された数字を含むドラフトマークを、動画で撮影するドローン１００やカムコーダ等の映像撮影装置１１０と、ドローン１００やカムコーダ等の映像撮影装置１１０により撮影された映像(動画)を受信して、その映像を基に喫水を算出する喫水計測システム２００とを備える。

【0031】

本実施形態の喫水計測システム２００は、受信した映像を基準フレーム単位の画像に変換する前処理部２１０と、前処理部２１０で基準フレーム単位に変換された画像からドラフトマークを識別するドラフトマーク識別部２２０と、前処理部２１０で基準フレーム単位に変換された画像から喫水線を検出する喫水線検出部２４０と、ドラフトマーク識別部２２０で識別されたドラフトマークから喫水線検出部２４０で検出された喫水線までの画素距離(Distance in pixels)を測定する測定部２５０と、測定部２５０で測定された測定データのＸ軸方向及びＹ軸方向の歪曲を補正する歪曲補正部２６０と、歪曲補正部２６０で補正された補正データを基に、喫水の値を算出する算出部２７０とを備える。

【0032】

また、本実施形態では、喫水線検出部２４０が、基準フレーム単位に変換された画像から喫水線のエッジを検出する(Edge Detection)エッジ検出部２３０をさらに備える。エッジ検出部２３０は、検出された喫水線のエッジ(Edge)に基づくセグメンテーション(Segmentation)により、水線面を識別する。

【0033】

また、本実施形態では、測定部２５０が、ドラフトマーク識別部２２０で識別されたドラフトマークから喫水線上方のドラフトマークまでの画素距離を測定する第１測定部２５１と、ドラフトマーク識別部２２０で識別されたドラフトマークから喫水線までの画素距離を測定する第２測定部２５２とを備えている。

【0034】

また、本実施形態では、歪曲補正部２６０が、ドラフトマークが付された船舶の表面を平面とみなす透視変換(Perspective transform)を行い、透視変換により補正された映像から、喫水線の高さを測定することで、Ｘ軸方向の歪曲を補正し、また、Ｘ軸方向の歪曲補正によりＹ軸方向の値を予測することでＹ軸方向の歪曲を補正する。

【0035】

また、本実施形態では、算出部２７０で算出された喫水の値をモニタリングするために、算出された喫水の値を、リアルタイムで表示し、または記憶するモニタリングサーバー３００を備える。

【0036】

すなわち、モニタリングサーバー３００は、リアルタイムでモニタリングできるよう、算出された喫水の値を記憶するストレージ部３１０と、算出された喫水の値を表示するディスプレイ部３２０とを備える。

【0037】

また、図２も参照して、本実施形態の喫水計測方法は、ドローン１００やカムコーダ等の映像撮影装置１１０により、船舶の側面の外側に標示された数字を含むドラフトマーク及び水線面を撮影する映像撮影ステップＳ１００と、映像撮影ステップＳ１００でドローン１００やカムコーダ等の映像撮影装置１１０により撮影された映像を受信し、喫水計測システム２００の前処理部２１０で、受信した映像を基準フレーム単位の画像に変換する前処理ステップＳ１１０と、喫水計測システム２００により、前処理ステップＳ１１０で基準フレーム単位に変換された画像から、ドラフトマークを識別するドラフトマーク識別ステップＳ１２０と、喫水計測システム２００により、前処理ステップＳ１１０で基準フレーム単位に変換された画像から喫水線を検出する喫水線検出ステップＳ１４０と、ドラフトマーク識別ステップＳ１２０で識別されたドラフトマークから喫水線検出ステップＳ１４０で検出された喫水線までの画素距離を測定する測定ステップＳ１５０と、喫水計測システム２００により、測定ステップＳ１５０で測定された測定データのＸ軸方向及びＹ軸方向の歪曲を補正する歪曲補正ステップＳ１６０と、喫水計測システム２００により、歪曲補正ステップＳ１６０で補正された補正データを基に、喫水の値を算出する算出ステップＳ１７０とを含む。

【0038】

また、本実施形態の喫水計測方法では、喫水線検出ステップＳ１４０は、喫水計測システム２００により、喫水線検出のために喫水線のエッジを検出するエッジ検出ステップＳ１３０をさらに含む。エッジ検出ステップＳ１３０で検出された喫水線のエッジに基づくセグメンテーションにより、水線面を識別する。

【0039】

また、本実施形態の喫水計測方法では、測定ステップＳ１５０が、喫水計測システム２００のディープラーニングモデル部で、ドラフトマーク識別ステップＳ１２０で識別されたドラフトマークから喫水線上方のドラフトマークまでの画素距離を測定する第１測定ステップＳ１５１と、喫水計測システム２００のディープラーニングモデル部で、ドラフトマーク識別ステップＳ１２０で識別されたドラフトマークから喫水線までの画素距離を測定する第２測定ステップＳ１５２とを含む。

【0040】

また、本実施形態の喫水計測方法では、歪曲補正ステップＳ１６０が、ドラフトマークが付された船舶の表面を平面とみなす透視変換ステップＳ１６１と、透視変換ステップＳ１６１で補正された映像から喫水線の高さを測定して、Ｘ軸方向の歪曲を補正するＸ軸方向歪曲補正ステップＳ１６２と、Ｘ軸方向歪曲補正ステップＳ１６１によりＹ軸方向の値を予測して、Ｙ軸方向の歪曲を補正するＹ軸方向歪曲補正ステップＳ１６３とを含む。

【0041】

また、本実施形態の喫水計測方法は、算出ステップＳ１７０で算出された喫水の値を、モニタリングするためにモニタリングサーバー３００に送信して、喫水の値をリアルタイムで表示または記憶させるモニタリングステップＳ１８０をさらに含む。

【0042】

図３は、本実施形態の喫水計測方法の映像撮影ステップＳ１００を説明する図であり、ドローン１００の飛行を制御して、ドローン１００により、船舶の側面の外側に標示された数字を含むドラフトマーク及び水線面を撮影する状態を示す。

【0043】

または、カムコーダ等の映像撮影装置１１０を用いて、船舶の側面の外側に標示された数字を含むドラフトマーク及び水線面を撮影してもよい。

【0044】

このとき、ドローン１００や映像撮影装置１１０で撮影された映像は、ネットワーク５０を介して映像(動画)データとして喫水計測システム２００に送信され、喫水計測システム２００が、受信した映像(動画)データを基に喫水計測を実行する。

【0045】

本実施形態の喫水計測システム２００は、映像データを受信すると、映像マルチストリーミングを実行する。この時、受信した映像データを、直ちにモニタリングサーバー３００に送信してもよく、または喫水計測後に映像データをモニタリングサーバー３００に送信するようにしてもよい。

【0046】

図４は、本実施形態の喫水計測方法の抽出ステップを説明する図である。図４(ａ)は、前処理ステップＳ１１０で基準フレーム単位に変換された画像から、喫水線を抽出するプロセスを示す。また、図４(ｂ)は、前処理ステップＳ１１０で基準フレーム単位に変換された画像から、ドラフトマーク(draft mark)の文字領域及び幾何学的情報を抽出するプロセスを示す。

【0047】

図４(ｃ)は、抽出された情報を集約して関心領域を抽出するプロセスを示す。

【0048】

すなわち、基準となるドラフトマークから喫水線上方のドラフトマークまでの画素距離を測定し、基準となるドラフトマークから喫水線までの画素距離を測定することで、喫水線の正確な値を取得できる。

【0049】

また、喫水線の読み取り(Reading)は、Mask R-ＣＮＮモデルを用いて、読み取り用の基準となるマークＭ領域を識別し、この基準となるマークとその周辺の数字マークとの距離比率を基に読み取ると共に、海面位置を識別することで行われる。

【0050】

すなわち、基準となるドラフトマークから喫水線上方のドラフトマークまでの画素距離を測定し、基準となるドラフトマークから喫水線までの画素距離を測定することで、喫水線の正確な値を取得できる。

【0051】

より具体的には、ドラフトマークを抽出する際、ドラフトマークの数字領域に第１ラベルを割り当てることで、第１ラベル画像を形成し、さらに、この第１ラベル画像のドラフトマークの数字と数字との間の領域に、第２ラベルを割り当てることで第２ラベル画像を形成してもよい。

【0052】

また、第１ラベル画像を形成する際、ドラフトマークの数字領域を識別すると共に、これに対応する数字の画像を識別した後、この領域に予め既定したサイズの第１マークとして、第１ラベルを割り当てて、第１ラベル画像を形成してもよい。また、第２ラベル画像を形成する際、第１ラベル画像に表示された数字と数字との間の領域を識別し、これらの数字と数字との間に存在する中間値に対応する数字の画像を識別した後、この領域に予め既定したサイズの第２マークとして、第２ラベルを割り当てて、第２ラベル画像を形成してもよい。

【0053】

また、喫水計測システム２００は、第１ラベル画像を形成する際、ドラフトマークの数字領域とこれに対応する数字の画像との識別を実行してもよい。また、喫水計測システム２００は、第２ラベル画像を形成する際、数字と数字との間の領域とこれらの数字と数字の間に存在する中間値に対応する数字の算出を実行してもよい。

【0054】

また、喫水計測システム２００は、ドラフトマークを抽出する際、ドラフトマークの標準サイズを基に、喫水線に隣接する第１ラベルと、第１ラベルに隣接する第２ラベルとの数値的比率を用いて喫水を算出してもよい。または、ドラフトマークの標準サイズを基に、喫水線に隣接する第２ラベルと、第２ラベルに隣接する第１ラベルとの数値的比率を用いてドラフトマークを抽出してもよい。

【0055】

図５は、本実施形態の喫水計測方法の喫水線検出ステップを説明する図である。図５(ａ)に、ドローン１００やカムコーダ等の映像撮影装置１１０で撮影された映像データから変換された、元の画像を示す。図５(ｂ)に、喫水計測システムの人工知能モデルを適用して喫水線を検出する工程を示す。図５(ｃ)に、喫水線のセグメンテーション(segmentation)により水線面を識別した状態を示す。

【0056】

すなわち、喫水計測システム２００は、Ｕ－Ｎｅｔアルゴリズムを適用して、喫水線のセグメンテーションにより水線面を識別することができる。

【0057】

図６及び図７は、本実施形態の喫水計測方法のエッジ検出ステップ及びセグメンテーションによる喫水線の検出ステップを説明する概念図である。図６(ａ)に元の画像、図６(ｂ)にエッジ検出画像、図６(ｃ)に推論結果を示す。

【0058】

また、図７(ａ)に元の画像、図７(ｂ)にセグメンテーション画像、図７(ｃ)に検出結果を示す。

【0059】

これにより、喫水線のエッジを検出することができ、検出された喫水線のエッジを基に喫水線を検出することができる。

【0060】

図８は、本実施形態の喫水計測方法の歪曲補正及び喫水線の導出過程を説明する図である。文字領域情報を用いた透視変換により、ドラフトマークが付された船舶の表面を平面とみなし、透視変換により補正された映像のＸ軸方向の歪曲補正により、喫水線の高さを測定し、また、Ｙ軸方向の歪曲補正により、喫水線の値を算出することができる。

【0061】

これにより、目視計測と比べて、正確且つ迅速に喫水線を測定することができる。

【0062】

図９は、本実施形態の喫水計測方法のドラフトマークの文字識別及び後処理工程を説明する図である。図９に、ドラフトマークの文字を識別して、Ｘ軸方向の歪曲とＹ軸方向の歪曲とを補正する後処理によりドラフトマークを抽出し、抽出されたドラフトマークから喫水線までの画素距離を測定するプロセスを示す。

【0063】

次に、図１０～１７を参照して、本発明の第２実施形態の人工知能技術を適用した画像処理に基づく喫水計測システム及び、この喫水計測システムを用いた喫水計測方法を説明する。本実施形態の喫水計測システムは、上記第１実施形態と同様に、水線面及び船舶の両側面の外側に標示された数字を含むドラフトマークを、動画で撮影するドローン１００やカムコーダ等の映像撮影装置１１０と、ドローン１００やカムコーダ等の映像撮影装置１１０により撮影された映像(動画)を受信して、その映像を基に喫水を算出する喫水計測システム２００とを備える。

【0064】

本実施形態の喫水計測システム２００は、受信した映像を基準フレーム単位の画像に変換する前処理部２１０と、前処理部２１０で基準フレーム単位に変換された画像から、ドラフトマークをオブジェクトとして検出して、その位置を特定(識別)するオブジェクト識別部２２０と、前処理部２１０で基準フレーム単位に変換された画像から、喫水線を検出して、喫水計測の基準点を定義する喫水計測基準点定義部２４０と、オブジェクト識別部２２０で識別されたドラフトマークの歪曲及び喫水計測基準点定義部２４０で定義された喫水計測基準点の歪曲を補正する歪曲補正部２５０と、歪曲補正部２５０で歪曲補正されたドラフトマークから、歪曲補正部２５０で歪曲補正された喫水計測基準点までの距離を測定する測定部２６０と、測定部２６０で測定された測定データを基に、喫水の値を算出する算出部２７０とを備える。

【0065】

また、本実施形態では、喫水計測基準点定義部２４０が、基準フレーム単位に変換された画像から喫水線のエッジを検出する(Edge Detection)エッジ検出部２３０をさらに備える。エッジ検出部２３０は、検出された喫水線のエッジ(Edge)に基づくセマンティックセグメンテーション(Semantic Segmentation、分割)により、水線面を識別する。

【0066】

また、本実施形態では、測定部２６０が、オブジェクト識別部２２０で識別されたドラフトマークから喫水線上方のドラフトマークまでの画素距離を測定する第１測定部２６１と、オブジェクト識別部２２０で識別されたドラフトマークから喫水線までの画素距離を測定する第２測定部２６２とを備えている。

【0067】

また、ドローン１００やカムコーダ等の映像撮影装置１１０が、船舶の側面の外側に標示された数字を含むドラフトマーク及び水線面を撮影する。

【0068】

このとき、ドローン１００や映像撮影装置１１０で撮影された映像は、ネットワーク５０を介して映像(動画)データとして喫水計測システム２００に送信され、喫水計測システム２００が、受信した映像(動画)データを基に喫水計測を実行する。

【0069】

本実施形態の喫水計測システム２００は、映像データを受信すると、映像マルチストリーミングを実行する。この時、受信した映像データを直ちにモニタリングサーバー３００に送信してもよく、または喫水計測後に映像データをモニタリングサーバー３００に送信するようにしてもよい。

【0070】

また、本実施形態の喫水計測システム２００では、オブジェクト識別部２２０が、Ｍａｓｋ Ｒ－ＣＮＮを含む人工知能モデルを適用して、オブジェクトを識別する。

【0071】

また、喫水線の読み取り(Reading)は、Ｍａｓｋ Ｒ－ＣＮＮモデルを用いて、読み取り用の基準となるマークＭ領域を識別し、この基準となるマークとその周辺の数字マークとの距離比率を基に読み取ると共に、海面位置を識別することで行われる。

【0072】

すなわち、基準となるドラフトマークから喫水線上方のドラフトマークまでの画素距離を測定し、基準となるドラフトマークから喫水線までの画素距離を測定することで、喫水線の正確な値を取得できる。

【0073】

より具体的には、ドラフトマークを抽出する際、ドラフトマークの数字領域に第１ラベルを割り当てることで、第１ラベル画像を形成し、さらに、この第１ラベル画像のドラフトマークの数字と数字との間の領域に、第２ラベルを割り当てることで第２ラベル画像を形成してもよい。

【0074】

また、第１ラベル画像を形成する際、ドラフトマークの数字領域を識別すると共に、これに対応する数字の画像を識別した後、この領域に予め既定したサイズの第１マークとして、第１ラベルを割り当てて、第１ラベル画像を形成してもよい。また、第２ラベル画像を形成する際、第１ラベル画像に表示された数字と数字との間の領域を識別し、これらの数字と数字との間に存在する中間値に対応する数字の画像を識別した後、この領域に予め既定したサイズの第２マークとして、第２ラベルを割り当てて、第２ラベル画像を形成してもよい。

【0075】

また、喫水計測システム２００は、第１ラベル画像を形成する際、ドラフトマークの数字領域とこれに対応する数字の画像との識別を実行してもよい。また、喫水計測システム２００は、第２ラベル画像を形成する際、数字と数字との間の領域とこれらの数字と数字の間に存在する中間値に対応する数字の算出を実行してもよい。

【0076】

また、喫水計測システム２００は、ドラフトマークを抽出する際、ドラフトマークの標準サイズを基に、喫水線に隣接する第１ラベルと、第１ラベルに隣接する第２ラベルとの数値的比率を用いて喫水を算出してもよい。または、ドラフトマークの標準サイズを基に、喫水線に隣接する第２ラベルと、第２ラベルに隣接する第１ラベルとの数値的比率を用いてドラフトマークを抽出してもよい。

【0077】

ここで、Ｍａｓｋ Ｒ－ＣＮＮは、オブジェクトのクラス(class)を予測する分類ブランチ(classification branch)と、バウンディングボックス回帰(bbox regression)を行うバウンディングボックス回帰ブランチ(bbox regression branch)と並行して、セグメンテーションマスク(segmentation mask)を予測するマスクブランチ(mask branch)とが、Ｆａｓｔｅｒ Ｒ－ＣＮＮのＲＰＮから取得されたＲｏＩ(Region of Interest)に追加された構成を有している。

【0078】

また、マスクブランチ(mask branch)は、各ＲｏＩに小サイズのＦＣＮ(Fully Convolutional Network)が追加された構成である。セグメンテーションタスク(segmentation task)をより効果的に実行するため、RoIAlignレイヤ(Layer)を追加して、オブジェクトの空間的位置(spatial location)を保存することができる。

【0079】

ここで、セグメンテーションマスク(segmentation mask)とは、クラス(class)ごとに画像をセグメンテーションした結果得られる画像セグメントを意味し、マスク(mask)は、画像内のオブジェクトの空間情報を効果的にエンコード(encode)することができる。

【0080】

また、RoIAlignレイヤは、特徴(feature)とＲｏＩ(Region of Interest、関心領域)との間の位置ずれ(misalignment)を解決するために使用することもできる。

【0081】

これにより、撮影角度、画質、船体表面の汚染状態等によって発生する画像処理エラーを防止して、喫水計測の精度を向上させることができる。

【0082】

本実施形態の喫水計測システム２００では、喫水計測基準点定義部２４０が、喫水線を検出するために、Ｕ－Ｎｅｔを含む人工知能モデルを適用して、喫水線のエッジの位置を特定するためにセマンティックセグメンテーションを実行して、オブジェクト識別部２２０で検出されたオブジェクトとセグメンテーションされた喫水線とに基づいて投票アルゴリズム(Voting algorithm)を適用して選択された直線と、セグメンテーションされた喫水線との交点により、喫水計測の基準点が定義される。

【0083】

すなわち、映像から抽出された各画像からのオブジェクト(ドラフトマーク)の検出及び位置の特定には、Ｍａｓｋ Ｒ－ＣＮＮを含む人工知能(AI)モデルが適用される。また、喫水線のエッジの位置を特定するためのセマンティックセグメンテーション(Semantic Segmentation)には、Ｕ－Ｎｅｔを含む人工知能(AI)モデルが適用される。また、人工知能(AI)認識技術により検出したオブジェクト(ドラフトマーク)とセグメンテーションされた喫水線から、画像画素を基に喫水を計算するためには、基準となる喫水点(Draft point)が必要である。そこで、対応するドラフトマークが位置するラインに沿って、基準となる喫水点を指定するために、投票アルゴリズム(Voting algorithm)が適用され、投票アルゴリズムにより選択された直線と、喫水線の真上に位置し、オブジェクトとして認識されたｎ個のマークを囲むバウンディングボックス(bounding box)の中央下方部で、セグメンテーションされた喫水線との交点が、喫水計算のための基準点として定義される。

【0084】

また、本実施形態の喫水計測システム２００では、歪曲補正部２５０が、スケーリングアルゴリズム(Scale algorithm)を適用して、撮影位置よるドラフトマークのサイズの歪曲を補正する。

【0085】

ここで、スケーリングアルゴリズム(Scale algorithm)とは、フレーム単位に変換された画像のフレーム全体に亘るマークのサイズの比例変化に基づいてマークの高さを推定して、歪曲を補正するアルゴリズムを意味する。

【0086】

より具体的には、スケーリングアルゴリズムは、フレーム単位に変換された画像のフレーム全体に亘るマークのサイズ(ピクセル単位)の比例変化をＹ軸方向(高さ方向)の関数としてモデル化し、それに基づいてＹ軸方向のマークの高さ(ピクセル単位)を推定するように構成される。

【0087】

また、本実施形態では、歪曲補正部２５０が、ドラフトマークが付された船舶の表面を平面とみなす透視変換(Perspective transform)を行い、透視変換により補正された映像から喫水線の高さを測定することで、Ｘ軸方向の歪曲を補正し、また、Ｘ軸方向の歪曲補正によりＹ軸方向の値を予測することで、Ｙ軸方向の歪曲を補正する。

【0088】

また、本実施形態では、算出部２７０で算出された喫水の値をモニタリングするために、算出された喫水の値を、リアルタイムで表示し、または記憶するモニタリングサーバー３００を備える。

【0089】

すなわち、モニタリングサーバー３００は、リアルタイムでモニタリングできるよう、算出された喫水の値を記憶するストレージ部３１０と、算出された喫水の値を表示するディスプレイ部３２０とを備える。

【0090】

また、図１０を参照して、本実施形態の喫水計測方法は、映像撮影装置１１０により、船舶の側面の外側に標示された数字を含むドラフトマーク及び水線面を撮影する映像撮影ステップＳ２００と、映像撮影ステップＳ２００で映像撮影装置１１０により撮影された映像を受信し、喫水計測システム２００の前処理部２１０で、受信した映像を基準フレーム単位の画像に変換する前処理ステップＳ２１０と、喫水計測システム２００により、前処理ステップＳ２１０で基準フレーム単位に変換された画像から、ドラフトマークをオブジェクトとして検出して、その位置を特定(識別)するオブジェクト識別ステップＳ２２０と、喫水計測システム２００により、前処理ステップＳ２１０で基準フレーム単位に変換された画像から喫水線を検出し、喫水計測の基準点を定義する喫水計測基準点定義ステップＳ２３０と、オブジェクト認識ステップＳ２２０で認識されたドラフトマークの歪曲と喫水計測基準点定義ステップＳ２３０で定義された基準点の歪曲とを補正する歪曲補正ステップＳ２４０と、喫水計測システム２００により、歪曲補正ステップＳ２４０で補正されたドラフトマークから歪曲補正ステップＳ２４０で補正された喫水計測基準点までの距離を測定する測定ステップＳ２５０と、喫水計測システム２００により、測定ステップＳ２５０で測定された測定データから、異常値を除去する異常値除去ステップＳ２６０と、喫水計測システム２００により、異常値除去ステップＳ２６０で異常値が除去されたデータを基に、喫水の値を算出する算出ステップＳ２７０とを含む。

【0091】

また、本実施形態の喫水計測システム２００による本実施形態の喫水計測方法のオブジェクト認識ステップＳ２２０は、Ｍａｓｋ Ｒ－ＣＮＮモデルを用いて、基準フレーム単位に変換された画像からドラフトマークをオブジェクトとして検出し、その位置を特定する。

【0092】

また、本実施形態の喫水計測システム２００による本実施形態の喫水計測方法の喫水計測基準点定義ステップＳ２３０は、喫水計測システム２００により喫水線を検出するために、Ｕ－Ｎｅｔを含む人工知能モデルを適用して、喫水線のエッジの位置を特定するためにセマンティックセグメンテーションを実行するセグメンテーションステップＳ２３１を含む。この場合、オブジェクト識別ステップＳ２２０で検出されたオブジェクトと、セグメンテーションステップＳ２３１でセグメンテーションされた喫水線とに基づいて、投票アルゴリズム(Voting algorithm)を適用して選択された直線とセグメンテーションされた喫水線との交点により、喫水計測の基準点が定義される。

【0093】

図１２も参照して、喫水計測の基準点は、直線に沿って、喫水点(Draft Point)の位置を推定するために使用される。また、喫水点の位置を推定するために、喫水計測の基準点は、喫水線の真上に位置し、オブジェクトとして認識されたｎ個のマークを囲むバウンディングボックス(bounding box)の中央下方部で、投票アルゴリズムにより選択された直線と、セグメンテーションされた喫水線との交点が、喫水計算のための基準点として定義される。

【0094】

ここで、投票アルゴリズムは、多数決投票と同様の概念を採用している。図１２(ａ)のグラフ中、２つの点を結ぶ直線は多数あり、それらの中で最も多くの票を獲得した直線が存在し、そのような直線が推定用直線として選択される。

【0095】

したがって、映像の撮影位置によって、基準フレーム単位に変換された画像内のドラフトマークの位置が変わっても、喫水計測システム２００は、投票アルゴリズムを用いて、喫水を算出するための基準となる喫水点を正確に定義することができる。

【0096】

図１３は、本実施形態の喫水計測方法に投票アルゴリズムを適用した結果を示す。

【0097】

図１３(ａ)は、オブジェクト識別ステップでドラフトマークが識別された状態を示す。図１３(ｂ)は、投票アルゴリズムにより下桁５文字が採用された状態を示す。

【0098】

また、図１３(ｃ)及び図１３(ｄ)は、投票アルゴリズムを適用したドラフトマーク及び基準となる喫水点の結果を示す図である。

【0099】

また、本実施形態の喫水計算方法の歪曲補正ステップＳ２４０では、スケーリングアルゴリズムを適用して、撮影位置によるドラフトマークのサイズの歪曲を補正する。スケーリングアルゴリズムは、フレーム単位に変換された画像のフレーム全体に亘るマークのサイズの比例変化に基づいてマークの高さを推定して、歪曲を補正する。

【0100】

ここで、図１４は、平面上にドラフトマークを施工するための基準を示す図であり、図１５は、曲面上にドラフトマークを施工するための基準を示す図である。

【0101】

また、図１６(ａ)は、遠近の歪みによる文字サイズの変化を示す図であり、図１６(ｂ)は、映像のｙ軸方向の値の関数としての文字の高さ(ピクセル単位)を推定するモデル化を示す図である。

【0102】

したがって、スケーリングアルゴリズムは、喫水測定システムによる喫水計算過程で、ドラフトマークを船舶の曲面上に施工するか、または平面上に施工するかによる設置位置等のドラフトマークのサイズの変化や、ユーザーの撮影位置による画像フレーム間で識別されるドラフトマークのサイズの変化等の歪曲を補正して、喫水を計算するために適用される。

【0103】

すなわち、スケーリングアルゴリズムは、フレーム単位に変換された画像のフレーム全体に亘るマークのサイズ(ピクセル単位)の比例変化をＹ軸方向(高さ方向)の関数としてモデル化し、それに基づいて、任意のＹ軸方向のマークの高さ(ピクセル単位)を推定するように構成される。

【0104】

また、図１７を参照して、本実施形態の喫水計算方法の異常値除去ステップＳ２６０は、最終的な喫水の値を算出するために各画像フレームを分析した結果から、標準化スコアや四分位範囲等の統計的単変量データに基づいて、異常値を除去し、算術平均として最終的な喫水の値を導出する。

【0105】

すなわち、異常値除去ステップＳ２６０は、最終的な喫水の値を算出するために各画像フレームを分析した結果に、異常値(Outlier)の基準を適用して、この分析した結果から異常値(Outlier)を除去することで、算術平均として信頼性の高い最終的な喫水の値を導出することができる。

【0106】

また、一次分析値の異常値の検出及びその基準としては、標準スコアや四分位範囲等の統計的単変量データに基づいて、異常値を検出することができる。

【0107】

また、本実施形態の喫水計算方法は、算出ステップＳ２７０で算出された喫水の値を、モニタリングするためにモニタリングサーバー３００に送信して、喫水の値をリアルタイムで表示または記憶するモニタリングステップをさらに含む。

【0108】

本実施形態の喫水計算方法によれば、目視計測と比べて、正確且つ迅速に喫水線を測定することができる。

【0109】

以上、本実施形態の喫水測定システム及び喫水測定方法によれば、映像データから抽出した画像に人工知能技術を適用し、撮影角度、画質、船体表面の汚染状態等によって発生する画像処理エラーを防止して、喫水計測の精度を向上させることができる。

【0110】

また、本実施形態の喫水測定システム及び喫水測定方法によれば、ドラフトマークのエッジの検出や水線面の識別に必要なセグメンテーションを行うためのディープラーニングモデルや、水線面を検出するためのエッジ検出アルゴリズム及び歪曲補正アルゴリズム並びに、ドローン及び小型ビデオカメラ、映像受信／送信及びストリーミング技術を使用して、リアルタイムで撮影した映像データを基に喫水の値を確認することができる。

【0111】

また、本実施形態の喫水測定システム及び喫水測定方法によれば、喫水計測時に発生する虞がある挫傷、溺水、筋骨格の外傷等の事故を防止することができ、また、目視計測と比べて信頼性が高く、より正確な計測値を得ることができる。

【0112】

上記実施形態は、様々なコンピュータ構成要素により実行することができ、プログラム命令の形態で実施され、コンピュータ可読記録媒体に記録することができる。コンピュータ可読記録媒体には、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて保存することができる。また、コンピュータ可読記録媒体に記録されるプログラム命令は、本発明のために特別に設計及び構築されたものを利用してもよく、またはコンピュータソフトウェア分野の当業者に公知のものを利用してもよい。また、コンピュータ可読記録媒体としては、例えばハードディスク、フロッピーディスクや磁気テープ等の磁気記録媒体、ＣＤ－ＲＯＭやＤＶＤ等の光記録媒体、フロプティカルディスク(Floptical disk)等の磁気光学媒体(Magneto-optical medium)や、ＲＯＭ、ＲＡＭ、フラッシュメモリ等のプログラム命令が保存されて実行するように構築された特別なハードウェア装置が含まれる。プログラム命令の言語としては、例えばコンパイラにより作成される機械語コードだけでなく、インタプリタ等を使用してコンピュータ上で実行可能な高級言語コードも含まれる。また、ハードウェア装置は、本発明による処理を実行するために１つ以上のソフトウェアモジュールに変更することができ、また、その逆も同様に可能である。

【0113】

以上、説明した実施形態は、本発明の技術思想を当業者が容易に理解できるように提供され、これにより本発明を限定解釈してはならない。本発明の実施形態は、本発明の思想及び範囲を超えない範囲内で様々に変更及び変形ができることは、当該技術分野において通常の知識を有する者に当然である。したがって、そのような変更または変形は、本発明の特許請求の範囲に属すべきである。

【符号の説明】

【0114】

５０：ネットワーク
１００：ドローン
１１０：カムコーダなどの映像撮影装置
２００：喫水線計測システム
２１０：前処理部
２２０：ドラフトマーク識別部、オブジェクト識別部
２３０：抽出部、検出部
２４０：喫水線検出部、喫水計測基準点定義部
２５０：測定部、歪曲補正部
２６０：歪曲補正部、測定部
２７０：算出部
３００：モニタリングサーバー
３１０：ストレージ部
３２０：ディスプレイ部

【図1】

【図2】

【図3】

【図4(a)】

【図4(b)】

【図4(c)】

【図5】

【図6(a)】

【図6(b)】

【図6(c)】

【図7(a)】

【図7(b)】

【図7(c)】

【図8】

【図9】

【図10】

【図11】

【図12(a)】

【図12(b)】

【図13】

【図14】

【図15】

【図16(a)】

【図16(b)】

【図17】

【手続補正書】

【提出日】2024-06-06

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】００５０

【補正方法】削除

【補正の内容】

【国際調査報告】