知財求人 - 知財ポータルサイト「IP Force」
特許7623060マルチモーダル融合ネットワークに基づく海上安全情報の知能意思決定支援方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2025-01-20
(45)【発行日】2025-01-28
(54)【発明の名称】マルチモーダル融合ネットワークに基づく海上安全情報の知能意思決定支援方法
(51)【国際特許分類】
B63B 79/20 20200101AFI20250121BHJP
G06F 40/216 20200101ALI20250121BHJP
G06N 3/0442 20230101ALI20250121BHJP
G06N 3/045 20230101ALI20250121BHJP
G06N 3/0464 20230101ALI20250121BHJP
G06N 3/0475 20230101ALI20250121BHJP
G06Q 50/40 20240101ALI20250121BHJP
G06T 7/00 20170101ALI20250121BHJP
G08G 3/00 20060101ALI20250121BHJP
【ＦＩ】
B63B79/20
G06F40/216
G06N3/0442
G06N3/045
G06N3/0464
G06N3/0475
G06Q50/40
G06T7/00 350C
G08G3/00 A
【請求項の数】
1
(21)【出願番号】P 2024173240
(22)【出願日】2024-10-02
【審査請求日】2024-10-02
(31)【優先権主張番号】202410429241.1
(32)【優先日】2024-04-10
(33)【優先権主張国・地域又は機関】CN
【早期審査対象出願】
(73)【特許権者】
【識別番号】515352847
【氏名又は名称】大連海事大学
(74)【代理人】
【識別番号】100095407
【弁理士】
【氏名又は名称】木村 満
(74)【代理人】
【識別番号】100132883
【弁理士】
【氏名又は名称】森川 泰司
(74)【代理人】
【識別番号】100148633
【弁理士】
【氏名又は名称】桜田 圭
(74)【代理人】
【識別番号】100147924
【弁理士】
【氏名又は名称】美恵 英樹
(72)【発明者】
【氏名】左 毅
(72)【発明者】
【氏名】李 心宇
(72)【発明者】
【氏名】▲トン▼ 紹成
(72)【発明者】
【氏名】李 鉄山
(72)【発明者】
【氏名】陳 俊龍
【審査官】三宅 龍平
(56)【参考文献】
【文献】特開２０２４－００９０７３（ＪＰ，Ａ）
【文献】特表２０２４－５００８１８（ＪＰ，Ａ）
【文献】特表２０２３－５４２９１４（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１６／０１２５７３９（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ６３Ｂ １／００ ― ８５／００
Ｇ０６Ｖ １０／８０
Ｇ０６Ｆ ４０／２１６
Ｇ０６Ｎ ３／０４４２
Ｇ０６Ｎ ３／０４５
Ｇ０６Ｎ ３／０４６４
Ｇ０６Ｎ ３／０４７５
Ｇ０６Ｑ ５０／４０
Ｇ０６Ｔ ７／００
Ｇ０８Ｇ ３／００ ― ３／０２
(57)【特許請求の範囲】
【請求項1】
マルチモーダルデータ入力を受け取るマルチモーダル融合ネットワークを構築する工程Ｓ１と、複数モードのマルチモーダル結果を表示する工程Ｓ２と、
意思決定を支援する工程Ｓ３と、を含み、
Ｓ１が、
Ｓ１１、マルチモーダルネットワークを構築するステップと、
Ｓ１２、マルチモーダルデータを前処理するステップと、
Ｓ１３、マルチモーダルデータを入力するステップと、
Ｓ１４、マルチモーダル並列ネットワークの特徴に対して整列と融合を行うステップと、を含み、
Ｓ１１が、
Ｓ１１１、時系列ネットワークＴＳＮを構築するサブステップと、
Ｓ１１２、テキスト畳み込みネットワークＴ－ＣＮＮを構築するサブステップと、
Ｓ１１３、画像畳み込みネットワークＩ－ＣＮＮを構築するサブステップと、
Ｓ１１４、時系列画像畳み込みネットワークＴＩＣＮを構築するサブステップと、を含み、
Ｓ１１１において、次の式に従って、長短期記憶のゲートニューラルネットワークを用いて時系列特性を備える航跡ＡＩＳデータＩＡＩＳと、電子海図表示及び情報システム、即ちＥＣＤＩＳデータＩＥＣＤＩＳ中のベクトル情報ＶｅｃｔｏｒデータＩＶｅｃｔｏｒを処理し、
ＯＴＳＮ＝ＴＳＮ（ＩＡＩＳ，ＩＶｅｃｔｏｒ）
ここで、ＯＴＳＮはＴＳＮの出力を表し、ＩＡＩＳとＩＶｅｃｔｏｒはＴＳＮの入力を表し、ＴＳＮは長短期記憶ゲートニューラルネットワーク構造に基づく関数を表し、
Ｓ１１２において、次の式に従って、テキストベクトル化の畳み込みニューラルネットワークを用いて文脈依存関係を備えるＮＡＶＴＥＸメッセージデータＩＮＡＶＴＥＸを処理し、
ＯＴ－ＣＮＮ＝Ｔ－ＣＮＮ（ＩＮＡＶＴＥＸ）
ここで、ＯＴ－ＣＮＮはＴ－ＣＮＮの出力を表し、ＩＮＡＶＴＥＸはＴ－ＣＮＮの入力を表し、Ｔ－ＣＮＮはテキスト畳み込みネットワーク構造に基づく関数を表し、
Ｓ１１３において、次の式に従って、画像数値化の畳み込みニューラルネットワークを用いて、ビデオ画像即ちＩｍａｇｅデータＩＩｍａｇｅ中の画素ＲＧＢデータＩＲＧＢと、ＥＣＤＩＳデータＩＥＣＤＩＳ中で画像特徴を備えるラスターＲａｓｔｅｒデータＩＲａｓｔｅｒを処理し、
ＯＩ－ＣＮＮ＝Ｉ－ＣＮＮ（ＩＲＧＢ，ＩＲａｓｔｅｒ）
ここで、ＯＩ－ＣＮＮはＩ－ＣＮＮの出力を表し、ＩＲＧＢとＩＲａｓｔｅｒはＩ－ＣＮＮの入力を表し、Ｉ－ＣＮＮは画像畳み込みネットワーク構造に基づく関数を表し、
Ｓ１１４において、次の式に従って、時空融合の畳み込みニューラルネットワークを用いて、ＩｍａｇｅデータＩＩｍａｇｅ中で時空間相関性を備える勾配方向ヒストグラムＨＯＧデータＩＨＯＧを処理し、
ＯＴＩＣＮ＝ＴＩＣＮ（ＩＨＯＧ）
ここで、ＯＴＩＣＮはＴＩＣＮの出力を表し、ＩＨＯＧはＴＩＣＮの入力を表し、ＴＩＣＮは時系列畳み込みネットワーク構造に基づく関数を表し、
Ｓ１２において、前記マルチモーダルデータがＡＩＳデータＩＡＩＳとＮＡＶＴＥＸメッセージデータＩＮＡＶＴＥＸと電子海図データＩＥＣＤＩＳとビデオ画像データＩＩｍａｇｅとを含み、
Ｓ１２が、
Ｓ１２１、ＡＩＳデータＩＡＩＳを前処理するサブステップと、
Ｓ１２２、ＮＡＶＴＥＸメッセージデータＩＮＡＶＴＥＸを前処理するサブステップと、
Ｓ１２３、電子海図データＩＥＣＤＩＳを前処理するサブステップと、
Ｓ１２４、ビデオ画像データＩＩｍａｇｅを前処理するサブステップと、を含み、
Ｓ１２１において、前記ＡＩＳデータＩＡＩＳが船舶航行の経度ｌｏｎｇｉｔｕｄｅと緯度ｌａｔｉｔｕｄｅと航行速度ｓｐｅｅｄと航行方向ｃｏｕｒｓｅとを含み、４元群ＩＡＩＳ（ｋ）＝（ｌｏｎｇｉｔｕｄｅ（ｋ），ｌａｔｉｔｕｄｅ（ｋ），ｓｐｅｅｄ（ｋ），ｃｏｕｒｓｅ（ｋ））を構築することで時系列ネットワークＴＳＮの入力ＩＡＩＳ＝｛ＩＡＩＳ（１），ＩＡＩＳ（２），．．．，ＩＡＩＳ（ｋ），．．．，ＩＡＩＳ（ｔ）｝を取得し、
ここで、ＩＡＩＳ（ｋ）はＩＡＩＳ中で時刻ｋに対応するＡＩＳデータを表し、ｔはＩＡＩＳの前処理後のデータ全長を表し、
Ｓ１２２において、前記ＮＡＶＴＥＸメッセージデータＩＮＡＶＴＥＸをテキスト形式で記憶し、ＩＮＡＶＴＥＸがＴ－ＣＮＮによって利用されるようにテキストのベクトル化を採用し、次の式に従って、ＩＮＡＶＴＥＸをテキスト畳み込みネットワークＴ－ＣＮＮへの入力としてベクトル化データに変換し、
ＩＮＡＶＴＥＸ＝｛Ｗｏｒｄ１，Ｗｏｒｄ２，．．．，Ｗｏｒｄｉ，．．．，ＷｏｒｄＬ｝
ここで、ＬはＩＮＡＶＴＥＸの前処理後の単語数を示し、Ｗｏｒｄｉは、ＮＡＶＴＥＸメッセージ中でｉ番目のワードのワンホットエンコーディングを表し、
Ｓ１２３において、前記電子海図データＩＥＣＤＩＳをベクトルデータＩＶｅｃｔｏｒとラスターデータＩＲａｓｔｅｒの形式で記憶し、それぞれ時系列ネットワークＴＳＮの入力ＩＶｅｃｔｏｒと画像畳み込みネットワークＩ－ＣＮＮの入力ＩＲａｓｔｅｒとし、その式は以下の通りであり、
ＩＶｅｃｔｏｒ＝｛ＩＶｅｃｔｏｒ（１），ＩＶｅｃｔｏｒ（２），．．．，ＩＶｅｃｔｏｒ（ｋ），．．．，ＩＶｅｃｔｏｒ（ｔ）｝
ＩＲａｓｔｅｒ＝｛ＩＲａｓｔｅｒ（１），ＩＲａｓｔｅｒ（２），．．．，ＩＲａｓｔｅｒ（ｊ），．．．，ＩＲａｓｔｅｒ（ｍ）｝
ここで、ＩＶｅｃｔｏｒ（ｋ）はＩＶｅｃｔｏｒ中の時刻ｋに対応するベクトルデータを表し、ｔはＩＶｅｃｔｏｒの前処理後のデータ全長を表し、ＩＲａｓｔｅｒ（ｊ）はＩＲａｓｔｅｒ中のｊ番目のラスターデータを表し、ｍはＩＲａｓｔｅｒの前処理後のラスター画像の数を表し、
Ｓ１２４において、前記ビデオ画像データＩＩｍａｇｅをＲＧＢデータＩＲＧＢとＨＯＧデータＩＨＯＧの形式で記憶し、それぞれ画像畳み込みネットワークＩ－ＣＮＮの入力ＩＲＧＢと時系列画像ネットワークＴＩＣＮの入力ＩＨＯＧとし、その式は以下の通りであり、
ＩＲＧＢ＝｛ＩＲＧＢ（１），ＩＲＧＢ（２），．．．，ＩＲＧＢ（ｊ），．．．，ＩＲＧＢ（ｍ）｝
ＩＨＯＧ＝｛ＩＨＯＧ（１），ＩＨＯＧ（２），．．．，ＩＨＯＧ（ｑ），．．．，ＩＨＯＧ（ｎ）｝
ここで、ＩＲＧＢ（ｊ）は、ＩＲＧＢ中のｊ番目のＲＧＢ画像データを表し、ｍはＩＲＧＢの前処理後のＲＧＢ画像の数を表し、ＩＨＯＧ（ｑ）は、ＩＨＯＧ中のｑ番目のＨＯＧ画像データを表し、ｎはＩＨＯＧの前処理後のＨＯＧ画像の数を表し、
Ｓ１３において、前処理されたマルチモーダルデータを、それぞれ対応する並列ネットワークＴＳＮ、Ｔ－ＣＮＮ、Ｉ－ＣＮＮ及びＴＩＣＮに入力して訓練学習を行い、
Ｓ１４において、多重注意力機制ＭＨＡに基づいて並列ネットワークＴＳＮ、Ｔ－ＣＮＮ、Ｉ－ＣＮＮ及びＴＩＣＮに対応するＯＴＳＮ、ＯＴ―ＣＮＮ、ＯＩ－ＣＮＮ及びＯＴＩＣＮに対してＣｏｎｃａｔ融合を行い、マルチモーダル融合ネットワークの最終出力ＯＦｉｎａｌ＝Ｃｏｎｔａｃｔ（ＭＨＡ（ＯＴＳＮ），ＭＨＡ（ＯＴ－ＣＮＮ），ＭＨＡ（ＯＩ－ＣＮＮ），ＭＨＡ（ＯＴＩＣＮ））を取得し、
Ｓ２が、
Ｓ２１、大量データのフィードバック訓練により、生成型予備訓練モデル、即ちＧＰＴモデルを取得するステップと、
Ｓ２２、複数モードを出力するステップと、
Ｓ２３、結果を表示するステップと、を含み、
Ｓ２１において、ＧＰＴモデルの出力ＯＧＰＴは以下の式で表され、
ＯＧＰＴ＝ＧＰＴ（ＯＦｉｎａｌ）＝｛ＯＧＰＴ（ＴＳＮ），ＯＧＰＴ（Ｔ－ＣＮＮ），ＯＧＰＴ（Ｉ－ＣＮＮ），ＯＧＰＴ（ＴＩＣＮ）｝
ここで、ＯＧＰＴ（ＴＳＮ）、ＯＧＰＴ（Ｔ―ＣＮＮ）、ＯＧＰＴ（Ｉ－ＣＮＮ）及びＯＧＰＴ（ＴＩＣＮ）はそれぞれＧＰＴモデルで訓練されたＯＴＳＮ、ＯＴ―ＣＮＮ、ＯＩ－ＣＮＮ及びＯＴＩＣＮに対応する出力を表し、
Ｓ２２が、
Ｓ２２１、航跡ＯＮａｖｉを出力するサブステップと、
Ｓ２２２、テキストＯＴｅｘｔを出力するサブステップと、
Ｓ２２３、画像ＯＩｍａｇｅを出力するサブステップと、を含み、
Ｓ２２１において、入力されたマルチモーダルデータに基づき、次の式に従って、プリセット情景の航跡記述を生成し、
【数1】
【数2】
【数3】
Ｓ３において、マルチモーダル融合により得られた航跡とテキストと画像の複数モードの出力を表示することで、船員がマルチモーダル海上安全情報を理解し易く、意思決定を迅速に下すようにする、
ことを特徴とするマルチモーダル融合ネットワークに基づく海上安全情報の知能意思決定支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、海上安全情報の技術分野に関し、特にマルチモーダル融合ネットワークに基づく海上安全情報の知能意思決定支援方法に関する。
【背景技術】
【0002】
海上輸送の過程では、航行の安全を確保するために、船舶のいずれもに航行ＡＩＳの経度・緯度情報やＮＡＶＴＥＸのテキスト情報や電子海図のベクトル情報及びラスター情報やビデオ画像のＲＧＢ情報やＨＯＧ情報等を含めるマルチモーダル海上安全情報、即ち航行支援情報を収集する多くのセンサーが取り付けられている。従って、マルチモーダル海上安全情報を完全に抽出して有効的に融合させ、そして航行に知能意思決定支援を提供することは非常に重要である。しかし、マルチモーダル情報特徴を単一モデルで抽出し、それらを簡単に合併して特徴融合を行うという現行方法は、信頼性やデータ整合性等の問題があるため、実時間の航法支援情報を全面且つ正確に利用できる程度を達成しない。そのため、相応な航行支援装置が取り付けられているにもかかわらず、船員への依存は緩和されていない。船員は、収集したマルチモーダル海上安全情報を手動で抽出することで船舶の航行状況の不確実性を判断し、最終的に航行の安全を確保するように相応な意思決定を下す必要がある。
【0003】
特許文献１にはＢＬＳに基づくＮＡＶＴＥＸメッセージの意味自動分類方法が開示され、マルチモーダル海上安全情報の特徴抽出において、単一モデルのみを用いて収集したテキストデータに対して低い粒度の抽出を行っているが、各情報の特徴点と組み合わせて適切なモデルに基づいて並列ネットワークを用いてより深刻な情報抽出を行っていなく、注意力機制によりより有効的な特徴融合を行っていない。その上、結果出力モードが単一で、複数モードの出力を形成しないため、船員が容易に理解して意思決定を迅速に下すようにできない。そのため、マルチモーダル海上安全情報を完全に抽出且つ有効的に融合して、船員にインテリジェントな航行意思決定支援を提供する方法が必要となり、このような方法により、作業効率を向上させる上に船舶の航行安全性をさらに高めて航行支援機能を多様化させることができる。
【先行技術文献】
【特許文献】
【0004】
【文献】中国特許出願公開第１１６７１９９３３号明細書
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記従来技術に存在する課題を解決するために、本発明は、マルチモーダルデータ特徴の完全な抽出や有効的な融合や出力形態の多様化等の意思決定支援に適応した問題を解決するのに用いられる、マルチモーダル融合ネットワークに基づく海上安全情報の知能意思決定支援方法を提案することを目的とする。該方法により、船員にインテリジェントな航行意思決定支援を提供でき、これにより船員の作業強度を有効的に低めて作業効率を向上させることができ、船舶の航行安全性をさらに高め、航行支援機能を多様化することができる。
【課題を解決するための手段】
【0006】
上記目的を達成するために、本発明の解決手段は以下のとおりである。
【0007】
本発明の一形態であるマルチモーダル融合ネットワークに基づく海上安全情報の知能意思決定支援方法は、以下のＳ１～Ｓ３の工程を含み、
Ｓ１、マルチモーダルデータ入力を受け取るマルチモーダル融合ネットワークを構築する工程、
Ｓ２、複数モードのマルチモーダル結果を表示する工程、及び
Ｓ３、意思決定を支援する工程。
Ｓ１、マルチモーダルデータ入力を受け取るマルチモーダル融合ネットワークを構築する工程、
Ｓ２、複数モードのマルチモーダル結果を表示する工程、及び
Ｓ３、意思決定を支援する工程。
【0008】
Ｓ１が、
Ｓ１１、マルチモーダルネットワークを構築するステップと、
Ｓ１２、マルチモーダルデータを前処理するステップと、
Ｓ１３、マルチモーダルデータを入力するステップと、
Ｓ１４、マルチモーダル並列ネットワークの特徴に対して整列と融合を行うステップと、を含む。
Ｓ１１、マルチモーダルネットワークを構築するステップと、
Ｓ１２、マルチモーダルデータを前処理するステップと、
Ｓ１３、マルチモーダルデータを入力するステップと、
Ｓ１４、マルチモーダル並列ネットワークの特徴に対して整列と融合を行うステップと、を含む。
【0009】
Ｓ１１が、
Ｓ１１１、時系列ネットワークＴＳＮを構築するサブステップと、
Ｓ１１２、テキスト畳み込みネットワークＴ－ＣＮＮを構築するサブステップと、
Ｓ１１３、画像畳み込みネットワークＩ－ＣＮＮを構築するサブステップと、
Ｓ１１４、時系列画像畳み込みネットワークＴＩＣＮを構築するサブステップと、を含む。
Ｓ１１１、時系列ネットワークＴＳＮを構築するサブステップと、
Ｓ１１２、テキスト畳み込みネットワークＴ－ＣＮＮを構築するサブステップと、
Ｓ１１３、画像畳み込みネットワークＩ－ＣＮＮを構築するサブステップと、
Ｓ１１４、時系列画像畳み込みネットワークＴＩＣＮを構築するサブステップと、を含む。
【0010】
Ｓ１１１において、次の式に従って、長短期記憶のゲートニューラルネットワークを用いて時系列特性を備える航跡ＡＩＳデータＩＡＩＳと、電子海図表示及び情報システム、即ちＥＣＤＩＳデータＩＥＣＤＩＳ中のベクトル情報ＶｅｃｔｏｒデータＩＶｅｃｔｏｒを処理し、
ＯＴＳＮ＝ＴＳＮ（ＩＡＩＳ，ＩＶｅｃｔｏｒ）
ここで、ＯＴＳＮはＴＳＮの出力を表し、ＩＡＩＳとＩＶｅｃｔｏｒはＴＳＮの入力を表し、ＴＳＮは長短期記憶ゲートニューラルネットワーク構造に基づく関数を表す。
ＯＴＳＮ＝ＴＳＮ（ＩＡＩＳ，ＩＶｅｃｔｏｒ）
ここで、ＯＴＳＮはＴＳＮの出力を表し、ＩＡＩＳとＩＶｅｃｔｏｒはＴＳＮの入力を表し、ＴＳＮは長短期記憶ゲートニューラルネットワーク構造に基づく関数を表す。
【0011】
Ｓ１１２において、次の式に従って、テキストベクトル化の畳み込みニューラルネットワークを用いて文脈依存関係を備えるＮＡＶＴＥＸメッセージデータＩＮＡＶＴＥＸを処理し、
ＯＴ－ＣＮＮ＝Ｔ－ＣＮＮ（ＩＮＡＶＴＥＸ）
ここで、ＯＴ－ＣＮＮはＴ－ＣＮＮの出力を表し、ＩＮＡＶＴＥＸはＴ－ＣＮＮの入力を表し、Ｔ－ＣＮＮはテキスト畳み込みネットワーク構造に基づく関数を表す。
ＯＴ－ＣＮＮ＝Ｔ－ＣＮＮ（ＩＮＡＶＴＥＸ）
ここで、ＯＴ－ＣＮＮはＴ－ＣＮＮの出力を表し、ＩＮＡＶＴＥＸはＴ－ＣＮＮの入力を表し、Ｔ－ＣＮＮはテキスト畳み込みネットワーク構造に基づく関数を表す。
【0012】
Ｓ１１３において、次の式に従って、画像数値化の畳み込みニューラルネットワークを用いて、ビデオ画像即ちＩｍａｇｅデータＩＩｍａｇｅ中の画素ＲＧＢデータＩＲＧＢと、ＥＣＤＩＳデータＩＥＣＤＩＳ中で画像特徴を備えるラスターＲａｓｔｅｒデータＩＲａｓｔｅｒを処理し、
ＯＩ－ＣＮＮ＝Ｉ－ＣＮＮ（ＩＲＧＢ，ＩＲａｓｔｅｒ）
ここで、ＯＩ－ＣＮＮはＩ－ＣＮＮの出力を表し、ＩＲＧＢとＩＲａｓｔｅｒはＩ－ＣＮＮの入力を表し、Ｉ－ＣＮＮは画像畳み込みネットワーク構造に基づく関数を表す。
ＯＩ－ＣＮＮ＝Ｉ－ＣＮＮ（ＩＲＧＢ，ＩＲａｓｔｅｒ）
ここで、ＯＩ－ＣＮＮはＩ－ＣＮＮの出力を表し、ＩＲＧＢとＩＲａｓｔｅｒはＩ－ＣＮＮの入力を表し、Ｉ－ＣＮＮは画像畳み込みネットワーク構造に基づく関数を表す。
【0013】
Ｓ１１４において、次の式に従って、時空融合の畳み込みニューラルネットワークを用いて、ＩｍａｇｅデータＩＩｍａｇｅ中で時空間相関性を備える勾配方向ヒストグラムＨＯＧデータＩＨＯＧを処理し、
ＯＴＩＣＮ＝ＴＩＣＮ（ＩＨＯＧ）
ここで、ＯＴＩＣＮはＴＩＣＮの出力を表し、ＩＨＯＧはＴＩＣＮの入力を表し、ＴＩＣＮは時系列畳み込みネットワーク構造に基づく関数を表す。
ＯＴＩＣＮ＝ＴＩＣＮ（ＩＨＯＧ）
ここで、ＯＴＩＣＮはＴＩＣＮの出力を表し、ＩＨＯＧはＴＩＣＮの入力を表し、ＴＩＣＮは時系列畳み込みネットワーク構造に基づく関数を表す。
【0014】
Ｓ１２において、前記マルチモーダルデータがＡＩＳデータＩＡＩＳとＮＡＶＴＥＸメッセージデータＩＮＡＶＴＥＸと電子海図データＩＥＣＤＩＳとビデオ画像データＩＩｍａｇｅとを含む。
【0015】
Ｓ１２が、
Ｓ１２１、ＡＩＳデータＩＡＩＳを前処理するサブステップと、
Ｓ１２２、ＮＡＶＴＥＸメッセージデータＩＮＡＶＴＥＸを前処理するサブステップと、
Ｓ１２３、電子海図データＩＥＣＤＩＳを前処理するサブステップと、
Ｓ１２４、ビデオ画像データＩＩｍａｇｅを前処理するサブステップと、を含む。
Ｓ１２１、ＡＩＳデータＩＡＩＳを前処理するサブステップと、
Ｓ１２２、ＮＡＶＴＥＸメッセージデータＩＮＡＶＴＥＸを前処理するサブステップと、
Ｓ１２３、電子海図データＩＥＣＤＩＳを前処理するサブステップと、
Ｓ１２４、ビデオ画像データＩＩｍａｇｅを前処理するサブステップと、を含む。
【0016】
Ｓ１２１において、前記ＡＩＳデータＩＡＩＳが船舶航行の経度ｌｏｎｇｉｔｕｄｅと緯度ｌａｔｉｔｕｄｅと航行速度ｓｐｅｅｄと航行方向ｃｏｕｒｓｅとを含み、４元群ＩＡＩＳ（ｋ）＝（ｌｏｎｇｉｔｕｄｅ（ｋ），ｌａｔｉｔｕｄｅ（ｋ），ｓｐｅｅｄ（ｋ），ｃｏｕｒｓｅ（ｋ））を構築することで時系列ネットワークＴＳＮの入力ＩＡＩＳ＝｛ＩＡＩＳ（１），ＩＡＩＳ（２），．．．，ＩＡＩＳ（ｋ），．．．，ＩＡＩＳ（ｔ）｝を取得し、
ここで、ＩＡＩＳ（ｋ）はＩＡＩＳ中で時刻ｋに対応するＡＩＳデータを表し、ｔはＩＡＩＳの前処理後のデータ全長を表す。
ここで、ＩＡＩＳ（ｋ）はＩＡＩＳ中で時刻ｋに対応するＡＩＳデータを表し、ｔはＩＡＩＳの前処理後のデータ全長を表す。
【0017】
Ｓ１２２において、前記ＮＡＶＴＥＸメッセージデータＩＮＡＶＴＥＸをテキスト形式で記憶し、ＩＮＡＶＴＥＸがＴ－ＣＮＮによって利用されるようにテキストのベクトル化を採用し、次の式に従って、ＩＮＡＶＴＥＸをテキスト畳み込みネットワークＴ－ＣＮＮへの入力としてベクトル化データに変換し、
ＩＮＡＶＴＥＸ＝｛Ｗｏｒｄ１，Ｗｏｒｄ２，．．．，Ｗｏｒｄｉ，．．．，ＷｏｒｄＬ｝
ここで、ＬはＩＮＡＶＴＥＸの前処理後の単語数を示し、Ｗｏｒｄｉは、ＮＡＶＴＥＸメッセージ中でｉ番目のワードのワンホットエンコーディングを表す。
ＩＮＡＶＴＥＸ＝｛Ｗｏｒｄ１，Ｗｏｒｄ２，．．．，Ｗｏｒｄｉ，．．．，ＷｏｒｄＬ｝
ここで、ＬはＩＮＡＶＴＥＸの前処理後の単語数を示し、Ｗｏｒｄｉは、ＮＡＶＴＥＸメッセージ中でｉ番目のワードのワンホットエンコーディングを表す。
【0018】
Ｓ１２３において、前記電子海図データＩＥＣＤＩＳをベクトルデータＩＶｅｃｔｏｒとラスターデータＩＲａｓｔｅｒの形式で記憶し、それぞれ時系列ネットワークＴＳＮの入力ＩＶｅｃｔｏｒと画像畳み込みネットワークＩ－ＣＮＮの入力ＩＲａｓｔｅｒとし、その式は以下の通りであり、
ＩＶｅｃｔｏｒ＝｛ＩＶｅｃｔｏｒ（１），ＩＶｅｃｔｏｒ（２），．．．，ＩＶｅｃｔｏｒ（ｋ），．．．，ＩＶｅｃｔｏｒ（ｔ）｝
ＩＲａｓｔｅｒ＝｛ＩＲａｓｔｅｒ（１），ＩＲａｓｔｅｒ（２），．．．，ＩＲａｓｔｅｒ（ｊ），．．．，ＩＲａｓｔｅｒ（ｍ）｝
ここで、ＩＶｅｃｔｏｒ（ｋ）はＩＶｅｃｔｏｒ中の時刻ｋに対応するベクトルデータを表し、ｔはＩＶｅｃｔｏｒの前処理後のデータ全長を表し、ＩＲａｓｔｅｒ（ｊ）はＩＲａｓｔｅｒ中のｊ番目のラスターデータを表し、ｍはＩＲａｓｔｅｒの前処理後のラスター画像の数を表す。
ＩＶｅｃｔｏｒ＝｛ＩＶｅｃｔｏｒ（１），ＩＶｅｃｔｏｒ（２），．．．，ＩＶｅｃｔｏｒ（ｋ），．．．，ＩＶｅｃｔｏｒ（ｔ）｝
ＩＲａｓｔｅｒ＝｛ＩＲａｓｔｅｒ（１），ＩＲａｓｔｅｒ（２），．．．，ＩＲａｓｔｅｒ（ｊ），．．．，ＩＲａｓｔｅｒ（ｍ）｝
ここで、ＩＶｅｃｔｏｒ（ｋ）はＩＶｅｃｔｏｒ中の時刻ｋに対応するベクトルデータを表し、ｔはＩＶｅｃｔｏｒの前処理後のデータ全長を表し、ＩＲａｓｔｅｒ（ｊ）はＩＲａｓｔｅｒ中のｊ番目のラスターデータを表し、ｍはＩＲａｓｔｅｒの前処理後のラスター画像の数を表す。
【0019】
Ｓ１２４において、ビデオ画像データＩＩｍａｇｅをＲＧＢデータＩＲＧＢとＨＯＧデータＩＨＯＧの形式で記憶し、それぞれ画像畳み込みネットワークＩ－ＣＮＮの入力ＩＲＧＢと時系列画像ネットワークＴＩＣＮの入力ＩＨＯＧとし、その式は以下の通りであり、
ＩＲＧＢ＝｛ＩＲＧＢ（１），ＩＲＧＢ（２），．．．，ＩＲＧＢ（ｊ），．．．，ＩＲＧＢ（ｍ）｝
ＩＨＯＧ＝｛ＩＨＯＧ（１），ＩＨＯＧ（２），．．．，ＩＨＯＧ（ｑ），．．．，ＩＨＯＧ（ｎ）｝
ここで、ＩＲＧＢ（ｊ）は、ＩＲＧＢ中のｊ番目のＲＧＢ画像データを表し、ｍはＩＲＧＢの前処理後のＲＧＢ画像の数を表し、ＩＨＯＧ（ｑ）は、ＩＨＯＧ中のｑ番目のＨＯＧ画像データを表し、ｎはＩＨＯＧの前処理後のＨＯＧ画像の数を表す。
ＩＲＧＢ＝｛ＩＲＧＢ（１），ＩＲＧＢ（２），．．．，ＩＲＧＢ（ｊ），．．．，ＩＲＧＢ（ｍ）｝
ＩＨＯＧ＝｛ＩＨＯＧ（１），ＩＨＯＧ（２），．．．，ＩＨＯＧ（ｑ），．．．，ＩＨＯＧ（ｎ）｝
ここで、ＩＲＧＢ（ｊ）は、ＩＲＧＢ中のｊ番目のＲＧＢ画像データを表し、ｍはＩＲＧＢの前処理後のＲＧＢ画像の数を表し、ＩＨＯＧ（ｑ）は、ＩＨＯＧ中のｑ番目のＨＯＧ画像データを表し、ｎはＩＨＯＧの前処理後のＨＯＧ画像の数を表す。
【0020】
Ｓ１３において、前処理されたマルチモーダルデータを、それぞれ対応する並列ネットワークＴＳＮ、Ｔ－ＣＮＮ、Ｉ－ＣＮＮ及びＴＩＣＮに入力して訓練学習を行う。
【0021】
Ｓ１４において、多重注意力機制ＭＨＡに基づいて並列ネットワークＴＳＮ、Ｔ－ＣＮＮ、Ｉ－ＣＮＮ及びＴＩＣＮに対応するＯＴＳＮ、ＯＴ―ＣＮＮ、ＯＩ－ＣＮＮ及びＯＴＩＣＮに対してＣｏｎｃａｔ融合を行い、マルチモーダル融合ネットワークの最終出力ＯＦｉｎａｌ＝Ｃｏｎｔａｃｔ（ＭＨＡ（ＯＴＳＮ），ＭＨＡ（ＯＴ－ＣＮＮ），ＭＨＡ（ＯＩ－ＣＮＮ），ＭＨＡ（ＯＴＩＣＮ））を取得する。
【0022】
Ｓ２が、
Ｓ２１、大量データのフィードバック訓練により、生成型予備訓練モデル、即ちＧＰＴモデルを取得するステップと、
Ｓ２２、複数モードを出力するステップと、
Ｓ２３、結果を表示するステップと、を含み、
Ｓ２１において、ＧＰＴモデルの出力ＯＧＰＴは以下の式で表され、
ＯＧＰＴ＝ＧＰＴ（ＯＦｉｎａｌ）＝｛ＯＧＰＴ（ＴＳＮ），ＯＧＰＴ（Ｔ－ＣＮＮ），ＯＧＰＴ（Ｉ－ＣＮＮ），ＯＧＰＴ（ＴＩＣＮ）｝
ここで、ＯＧＰＴ（ＴＳＮ）、ＯＧＰＴ（Ｔ―ＣＮＮ）、ＯＧＰＴ（Ｉ－ＣＮＮ）及びＯＧＰＴ（ＴＩＣＮ）はそれぞれＧＰＴモデルで訓練されたＯＴＳＮ、ＯＴ―ＣＮＮ、ＯＩ－ＣＮＮ及びＯＴＩＣＮに対応する出力を表す。
Ｓ２１、大量データのフィードバック訓練により、生成型予備訓練モデル、即ちＧＰＴモデルを取得するステップと、
Ｓ２２、複数モードを出力するステップと、
Ｓ２３、結果を表示するステップと、を含み、
Ｓ２１において、ＧＰＴモデルの出力ＯＧＰＴは以下の式で表され、
ＯＧＰＴ＝ＧＰＴ（ＯＦｉｎａｌ）＝｛ＯＧＰＴ（ＴＳＮ），ＯＧＰＴ（Ｔ－ＣＮＮ），ＯＧＰＴ（Ｉ－ＣＮＮ），ＯＧＰＴ（ＴＩＣＮ）｝
ここで、ＯＧＰＴ（ＴＳＮ）、ＯＧＰＴ（Ｔ―ＣＮＮ）、ＯＧＰＴ（Ｉ－ＣＮＮ）及びＯＧＰＴ（ＴＩＣＮ）はそれぞれＧＰＴモデルで訓練されたＯＴＳＮ、ＯＴ―ＣＮＮ、ＯＩ－ＣＮＮ及びＯＴＩＣＮに対応する出力を表す。
【0023】
Ｓ２２が、
Ｓ２２１、航跡ＯＮａｖｉを出力するサブステップと、
Ｓ２２２、テキストＯＴｅｘｔを出力するサブステップと、
Ｓ２２３、画像ＯＩｍａｇｅを出力するサブステップと、を含み、
Ｓ２２１において、入力されたマルチモーダルデータに基づき、次の式に従って、プリセット情景の航跡記述を生成し、
Ｓ２２２において、入力されたマルチモーダルデータに基づき、次の式に従って、プリセット情景の文字記述を生成し、
Ｓ２２３において、入力されたマルチモーダルデータに基づき、次の式に従って、プリセット情景の画像記述を生成する。
Ｓ２２１、航跡ＯＮａｖｉを出力するサブステップと、
Ｓ２２２、テキストＯＴｅｘｔを出力するサブステップと、
Ｓ２２３、画像ＯＩｍａｇｅを出力するサブステップと、を含み、
Ｓ２２１において、入力されたマルチモーダルデータに基づき、次の式に従って、プリセット情景の航跡記述を生成し、
【数1】
【数2】
【数3】
【0024】
Ｓ２３において、読み取り、観察及び監視に便利な情景表示を複数モードで提供する。
【0025】
Ｓ３において、マルチモーダル融合により得られた航跡とテキストと画像の複数モードの出力を表示することで、船員がマルチモーダル海上安全情報を理解し易く、意思決定を迅速に下すようにする。
【発明の効果】
【0026】
本発明は、従来技術に比べて次の有益な効果を有する。
１、本発明は、ＴＳＮを構築していたため、ＡＩＳデータとＥＣＤＩＳデータの時間特性に対する整列を成し遂げる。
２、本発明は、Ｔ－ＣＮＮを構築していたため、ＮＡＶＴＥＸデータのテキスト特徴符号化を成し遂げる。
３、本発明は、Ｉ－ＣＮＮを構築していたため、ＥＣＤＩＳデータとビデオ画像データに対する空間特徴融合を成し遂げる。
４、本発明は、ＴＩＣＮを構築していたため、ビデオ画像データの時空間特徴融合を成し遂げる。
５、本発明は、ＭＨＡに基づく融合構造を構築していたため、並列ネットワークが有効的なマルチモーダル融合を行うことを保証する。
６、本発明は、マルチモーダル海上安全情報のＧＰＴモデルを構築していたため、読み取り、観察及び監視に便利な情景表示を確保して意思決定支援を提供するように複数モードの出力を成し遂げる。
１、本発明は、ＴＳＮを構築していたため、ＡＩＳデータとＥＣＤＩＳデータの時間特性に対する整列を成し遂げる。
２、本発明は、Ｔ－ＣＮＮを構築していたため、ＮＡＶＴＥＸデータのテキスト特徴符号化を成し遂げる。
３、本発明は、Ｉ－ＣＮＮを構築していたため、ＥＣＤＩＳデータとビデオ画像データに対する空間特徴融合を成し遂げる。
４、本発明は、ＴＩＣＮを構築していたため、ビデオ画像データの時空間特徴融合を成し遂げる。
５、本発明は、ＭＨＡに基づく融合構造を構築していたため、並列ネットワークが有効的なマルチモーダル融合を行うことを保証する。
６、本発明は、マルチモーダル海上安全情報のＧＰＴモデルを構築していたため、読み取り、観察及び監視に便利な情景表示を確保して意思決定支援を提供するように複数モードの出力を成し遂げる。
【図面の簡単な説明】
【0027】
【図1】本発明によるマルチモーダル融合ネットワークに基づく海上安全情報の知能意思決定支援方法全体の流れ図である。
【図2】本発明においてＴＳＮを構築することでＡＩＳデータとＥＣＤＩＳデータの時間特性に対する整列を行うことを示す概略図である。
【図3】本発明においてＴ－ＣＮＮを構築することでＮＡＶＴＥＸデータのテキスト特徴符号化を行うことを示す概略図である。
【図4】本発明においてＩ－ＣＮＮを構築することでＥＣＤＩＳデータとビデオ画像データに対する空間特徴融合を行うことを示す概略図である。
【図5】本発明においてＴＩＣＮを構築することでビデオ画像データの時空間特徴融合を行うことを示す概略図である。
【図6】本発明においてＭＨＡとＣｏｎｃａｔと組み合わせることで並列ネットワークに対してマルチモーダル融合を行うことを示す概略図である。
【図7】本発明においてマルチモーダル海上安全情報のＧＰＴモデルを構築することで複数モードの出力を生成することを示す概略図である。
【発明を実施するための形態】
【0028】
本発明の実施例の目的、技術手段及びメリットをより明らかにするために、以下、本発明の実施例における図面を参照しながら、本発明の実施例における技術的手段を明らか且つ完全に説明し、説明される実施例が全ての実施例ではなく、本発明の一部の実施例に過ぎないことはいうまでもない。当業者が本発明における実施例に基づいて創造的労動を行うことなく得た他の実施例は、全て本発明が保護する範囲に含まれるものとする。
【0029】
図１に示すように、マルチモーダル融合ネットワークに基づく海上安全情報の知能意思決定支援方法は、次の工程を備える。
【0030】
Ｓ１、マルチモーダルデータ入力を受け取るマルチモーダル融合ネットワークを構築する。
【0031】
Ｓ１１、マルチモーダルネットワークを構築する。図２に示すように、まず、時系列ネットワークＴＳＮを構築することで、時系列特性を備える航跡ＡＩＳデータＩＡＩＳと、電子海図表示及び情報システム、即ちＥＣＤＩＳデータＩＥＣＤＩＳ中のベクトル情報ＶｅｃｔｏｒデータＩＶｅｃｔｏｒを処理し、ＴＳＮモデルの出力ＯＴＳＮ＝ＴＳＮ（ＩＡＩＳ，ＩＶｅｃｔｏｒ）を取得する。図３に示すように、次にテキスト畳み込みネットワークＴ－ＣＮＮを構築することで、文脈依存関係を備えるＮＡＶＴＥＸメッセージデータＩＮＡＶＴＥＸを処理し、Ｔ－ＣＮＮモデルの出力ＯＴ－ＣＮＮ＝Ｔ－ＣＮＮ（ＩＮＡＶＴＥＸ）を取得する。図４に示すように、その次に画像畳み込みネットワークＩ－ＣＮＮを構築することで、ビデオ画像即ちＩｍａｇｅデータ中の画素ＲＧＢデータＩＲＧＢと、ＥＣＤＩＳデータ中で画像特徴を備えるラスターＲａｓｔｅｒデータＩＲａｓｔｅｒを処理し、Ｉ－ＣＮＮモデルの出力ＯＩ－ＣＮＮ＝Ｉ－ＣＮＮ（ＩＲＧＢ，ＩＲａｓｔｅｒ）を取得する。図５に示すように、最後に時系列画像畳み込みネットワークＴＩＣＮを構築することでＩｍａｇｅデータ中で時空間相関性を備える勾配方向ヒストグラムＨＯＧデータＩＨＯＧを処理し、ＴＩＣＮモデルの出力ＯＴＩＣＮ＝ＴＩＣＮ（ＩＨＯＧ）を取得する。
【0032】
Ｓ１２、マルチモーダルデータを前処理する。まず、ＡＩＳデータＩＡＩＳを前処理し、４元群ＩＡＩＳ（ｋ）＝（ｌｏｎｇｉｔｕｄｅ（ｋ），ｌａｔｉｔｕｄｅ（ｋ），ｓｐｅｅｄ（ｋ），ｃｏｕｒｓｅ（ｋ））を構築することで時系列ネットワークＴＳＮの入力ＩＡＩＳ＝｛ＩＡＩＳ（１），ＩＡＩＳ（２），．．．，ＩＡＩＳ（ｋ），．．．，ＩＡＩＳ（ｔ）｝を取得する。次にＮＡＶＴＥＸメッセージデータＩＮＡＶＴＥＸを前処理し、テキストのベクトル化に経由してテキスト畳み込みネットワークＴ－ＣＮＮの入力ＩＮＡＶＴＥＸ＝｛Ｗｏｒｄ１，Ｗｏｒｄ２，．．．，Ｗｏｒｄｉ，．．．，ＷｏｒｄＬ｝を取得する。その次に、電子海図データＩＥＣＤＩＳを前処理し、それぞれ時系列ネットワークＴＳＮのベクトルデータの入力ＩＶｅｃｔｏｒ＝｛ＩＶｅｃｔｏｒ（１），ＩＶｅｃｔｏｒ（２），．．．，ＩＶｅｃｔｏｒ（ｋ），．．．，ＩＶｅｃｔｏｒ（ｔ）｝と、画像畳み込みネットワークＩ－ＣＮＮのラスターデータの入力ＩＲａｓｔｅｒ＝｛ＩＲａｓｔｅｒ（１），ＩＲａｓｔｅｒ（２），．．．，ＩＲａｓｔｅｒ（ｊ），．．．，ＩＲａｓｔｅｒ（ｍ）｝を取得する。最後にビデオ画像データ（ＩＩｍａｇｅ）を前処理し、それぞれ画像畳み込みネットワークＩ－ＣＮＮのＲＧＢデータ入力ＩＲＧＢ＝｛ＩＲＧＢ（１），ＩＲＧＢ（２），．．．，ＩＲＧＢ（ｊ），．．．，ＩＲＧＢ（ｍ）｝と、時系列画像ネットワークＴＩＣＮのＨＯＧデータ入力ＩＨＯＧ＝｛ＩＨＯＧ（１），ＩＨＯＧ（２），．．．，ＩＨＯＧ（ｑ），．．．，ＩＨＯＧ（ｎ）｝を取得する。
【0033】
Ｓ１３、マルチモーダルデータを入力する。前処理された上記マルチモーダルデータを、それぞれ対応する並列ネットワークＴＳＮ、Ｔ－ＣＮＮ、Ｉ－ＣＮＮ及びＴＩＣＮに入力して訓練学習を行う。
【0034】
Ｓ１４、マルチモーダル並列ネットワークの特徴に対して整列と融合を行う。図６に示すように、多重注意力機制ＭＨＡに基づいて並列ネットワークＴＳＮ、Ｔ－ＣＮＮ、Ｉ－ＣＮＮ及びＴＩＣＮに対応するＯＴＳＮ、ＯＴ―ＣＮＮ、ＯＩ－ＣＮＮ及びＯＴＩＣＮに対してＣｏｎｃａｔ融合を行い、マルチモーダル融合ネットワークの最終出力ＯＦｉｎａｌ＝Ｃｏｎｔａｃｔ（ＭＨＡ（ＯＴＳＮ），ＭＨＡ（ＯＴ－ＣＮＮ），ＭＨＡ（ＯＩ－ＣＮＮ），ＭＨＡ（ＯＴＩＣＮ））を取得する。
【0035】
Ｓ２、複数モードのマルチモーダル結果を表示する。図７に示すように、訓練済みの生成型予備訓練モデルＴｒａｎｓｆｏｒｍｅｒ（Ｇｅｎｅｒａｔｅ Ｐｒｅ－ｔｒａｉｎｅｄ Ｔｒａｎｓｆｏｒｍｅｒ，ＧＰＴ）に基づいて、出力ＯＧＰＴ＝ＧＰＴ（ＯＦｉｎａｌ）＝｛ＯＧＰＴ（ＴＳＮ），ＯＧＰＴ（Ｔ－ＣＮＮ），ＯＧＰＴ（Ｉ－ＣＮＮ），ＯＧＰＴ（ＴＩＣＮ）｝を取得する。従って、複数モードの出力を、それぞれ生成されたプリセット情景の航跡記述
と、プリセット情景の文字記述
と、プリセット情景の画像記述
とに表示する。最終出力のマルチモーダル結果を、読み取り、観察及び監視に便利な情景のために複数モードで表示する。
【数4】
【数5】
【数6】
【0036】
Ｓ３、意思決定を支援する。このシステムは、マルチモーダル融合により得られた航跡やテキストや画像等の複数モードの出力を表示することで、船員がマルチモーダル海上安全情報を理解し易く、意思決定を迅速に下すようにする。
【0037】
最後に以下のことを説明すべきである。以上の各実施例は本発明の技術的手段を説明するためのものに過ぎず、それを限定するものではなく、上述した各実施例を参照して本発明を詳細に説明したが、上述した各実施例に記載の技術的手段を修正するか、その術的特徴の一部又は全部に同等な取り替えを実施することも可能であり、これらの修正や取り替えによって、対応する技術的手段の本質が本発明の各実施例の技術的手段の範囲から逸脱しないことは当業者に自明である。
【0038】
（付記）
（付記１）
マルチモーダルデータ入力を受け取るマルチモーダル融合ネットワークを構築する工程Ｓ１と、
複数モードのマルチモーダル結果を表示する工程Ｓ２と、
意思決定を支援する工程Ｓ３と、を含み、
Ｓ１が、
Ｓ１１、マルチモーダルネットワークを構築するステップと、
Ｓ１２、マルチモーダルデータを前処理するステップと、
Ｓ１３、マルチモーダルデータを入力するステップと、
Ｓ１４、マルチモーダル並列ネットワークの特徴に対して整列と融合を行うステップと、を含み、
Ｓ１１が、
Ｓ１１１、時系列ネットワークＴＳＮを構築するサブステップと、
Ｓ１１２、テキスト畳み込みネットワークＴ－ＣＮＮを構築するサブステップと、
Ｓ１１３、画像畳み込みネットワークＩ－ＣＮＮを構築するサブステップと、
Ｓ１１４、時系列画像畳み込みネットワークＴＩＣＮを構築するサブステップと、を含み、
Ｓ１１１において、次の式に従って、長短期記憶のゲートニューラルネットワークを用いて時系列特性を備える航跡ＡＩＳデータＩＡＩＳと、電子海図表示及び情報システム、即ちＥＣＤＩＳデータＩＥＣＤＩＳ中のベクトル情報ＶｅｃｔｏｒデータＩＶｅｃｔｏｒを処理し、
ＯＴＳＮ＝ＴＳＮ（ＩＡＩＳ，ＩＶｅｃｔｏｒ）
ここで、ＯＴＳＮはＴＳＮの出力を表し、ＩＡＩＳとＩＶｅｃｔｏｒはＴＳＮの入力を表し、ＴＳＮは長短期記憶ゲートニューラルネットワーク構造に基づく関数を表し、
Ｓ１１２において、次の式に従って、テキストベクトル化の畳み込みニューラルネットワークを用いて文脈依存関係を備えるＮＡＶＴＥＸメッセージデータＩＮＡＶＴＥＸを処理し、
ＯＴ－ＣＮＮ＝Ｔ－ＣＮＮ（ＩＮＡＶＴＥＸ）
ここで、ＯＴ－ＣＮＮはＴ－ＣＮＮの出力を表し、ＩＮＡＶＴＥＸはＴ－ＣＮＮの入力を表し、Ｔ－ＣＮＮはテキスト畳み込みネットワーク構造に基づく関数を表し、
Ｓ１１３において、次の式に従って、画像数値化の畳み込みニューラルネットワークを用いて、ビデオ画像即ちＩｍａｇｅデータＩＩｍａｇｅ中の画素ＲＧＢデータＩＲＧＢと、ＥＣＤＩＳデータＩＥＣＤＩＳ中で画像特徴を備えるラスターＲａｓｔｅｒデータＩＲａｓｔｅｒを処理し、
ＯＩ－ＣＮＮ＝Ｉ－ＣＮＮ（ＩＲＧＢ，ＩＲａｓｔｅｒ）
ここで、ＯＩ－ＣＮＮはＩ－ＣＮＮの出力を表し、ＩＲＧＢとＩＲａｓｔｅｒはＩ－ＣＮＮの入力を表し、Ｉ－ＣＮＮは画像畳み込みネットワーク構造に基づく関数を表し、
Ｓ１１４において、次の式に従って、時空融合の畳み込みニューラルネットワークを用いて、ＩｍａｇｅデータＩＩｍａｇｅ中で時空間相関性を備える勾配方向ヒストグラムＨＯＧデータＩＨＯＧを処理し、
ＯＴＩＣＮ＝ＴＩＣＮ（ＩＨＯＧ）
ここで、ＯＴＩＣＮはＴＩＣＮの出力を表し、ＩＨＯＧはＴＩＣＮの入力を表し、ＴＩＣＮは時系列畳み込みネットワーク構造に基づく関数を表し、
Ｓ１２において、前記マルチモーダルデータがＡＩＳデータＩＡＩＳとＮＡＶＴＥＸメッセージデータＩＮＡＶＴＥＸと電子海図データＩＥＣＤＩＳとビデオ画像データＩＩｍａｇｅとを含み、
Ｓ１２が、
Ｓ１２１、ＡＩＳデータＩＡＩＳを前処理するサブステップと、
Ｓ１２２、ＮＡＶＴＥＸメッセージデータＩＮＡＶＴＥＸを前処理するサブステップと、
Ｓ１２３、電子海図データＩＥＣＤＩＳを前処理するサブステップと、
Ｓ１２４、ビデオ画像データＩＩｍａｇｅを前処理するサブステップと、を含み、
Ｓ１２１において、前記ＡＩＳデータＩＡＩＳが船舶航行の経度ｌｏｎｇｉｔｕｄｅと緯度ｌａｔｉｔｕｄｅと航行速度ｓｐｅｅｄと航行方向ｃｏｕｒｓｅとを含み、４元群ＩＡＩＳ（ｋ）＝（ｌｏｎｇｉｔｕｄｅ（ｋ），ｌａｔｉｔｕｄｅ（ｋ），ｓｐｅｅｄ（ｋ），ｃｏｕｒｓｅ（ｋ））を構築することで時系列ネットワークＴＳＮの入力ＩＡＩＳ＝｛ＩＡＩＳ（１），ＩＡＩＳ（２），．．．，ＩＡＩＳ（ｋ），．．．，ＩＡＩＳ（ｔ）｝を取得し、
ここで、ＩＡＩＳ（ｋ）はＩＡＩＳ中で時刻ｋに対応するＡＩＳデータを表し、ｔはＩＡＩＳの前処理後のデータ全長を表し、
Ｓ１２２において、前記ＮＡＶＴＥＸメッセージデータＩＮＡＶＴＥＸをテキスト形式で記憶し、ＩＮＡＶＴＥＸがＴ－ＣＮＮによって利用されるようにテキストのベクトル化を採用し、次の式に従って、ＩＮＡＶＴＥＸをテキスト畳み込みネットワークＴ－ＣＮＮへの入力としてベクトル化データに変換し、
ＩＮＡＶＴＥＸ＝｛Ｗｏｒｄ１，Ｗｏｒｄ２，．．．，Ｗｏｒｄｉ，．．．，ＷｏｒｄＬ｝
ここで、ＬはＩＮＡＶＴＥＸの前処理後の単語数を示し、Ｗｏｒｄｉは、ＮＡＶＴＥＸメッセージ中でｉ番目のワードのワンホットエンコーディングを表し、
Ｓ１２３において、前記電子海図データＩＥＣＤＩＳをベクトルデータＩＶｅｃｔｏｒとラスターデータＩＲａｓｔｅｒの形式で記憶し、それぞれ時系列ネットワークＴＳＮの入力ＩＶｅｃｔｏｒと画像畳み込みネットワークＩ－ＣＮＮの入力ＩＲａｓｔｅｒとし、その式は以下の通りであり、
ＩＶｅｃｔｏｒ＝｛ＩＶｅｃｔｏｒ（１），ＩＶｅｃｔｏｒ（２），．．．，ＩＶｅｃｔｏｒ（ｋ），．．．，ＩＶｅｃｔｏｒ（ｔ）｝
ＩＲａｓｔｅｒ＝｛ＩＲａｓｔｅｒ（１），ＩＲａｓｔｅｒ（２），．．．，ＩＲａｓｔｅｒ（ｊ），．．．，ＩＲａｓｔｅｒ（ｍ）｝
ここで、ＩＶｅｃｔｏｒ（ｋ）はＩＶｅｃｔｏｒ中の時刻ｋに対応するベクトルデータを表し、ｔはＩＶｅｃｔｏｒの前処理後のデータ全長を表し、ＩＲａｓｔｅｒ（ｊ）はＩＲａｓｔｅｒ中のｊ番目のラスターデータを表し、ｍはＩＲａｓｔｅｒの前処理後のラスター画像の数を表し、
Ｓ１２４において、前記ビデオ画像データＩＩｍａｇｅをＲＧＢデータＩＲＧＢとＨＯＧデータＩＨＯＧの形式で記憶し、それぞれ画像畳み込みネットワークＩ－ＣＮＮの入力ＩＲＧＢと時系列画像ネットワークＴＩＣＮの入力ＩＨＯＧとし、その式は以下の通りであり、
ＩＲＧＢ＝｛ＩＲＧＢ（１），ＩＲＧＢ（２），．．．，ＩＲＧＢ（ｊ），．．．，ＩＲＧＢ（ｍ）｝
ＩＨＯＧ＝｛ＩＨＯＧ（１），ＩＨＯＧ（２），．．．，ＩＨＯＧ（ｑ），．．．，ＩＨＯＧ（ｎ）｝
ここで、ＩＲＧＢ（ｊ）は、ＩＲＧＢ中のｊ番目のＲＧＢ画像データを表し、ｍはＩＲＧＢの前処理後のＲＧＢ画像の数を表し、ＩＨＯＧ（ｑ）は、ＩＨＯＧ中のｑ番目のＨＯＧ画像データを表し、ｎはＩＨＯＧの前処理後のＨＯＧ画像の数を表し、
Ｓ１３において、前処理されたマルチモーダルデータを、それぞれ対応する並列ネットワークＴＳＮ、Ｔ－ＣＮＮ、Ｉ－ＣＮＮ及びＴＩＣＮに入力して訓練学習を行い、
Ｓ１４において、多重注意力機制ＭＨＡに基づいて並列ネットワークＴＳＮ、Ｔ－ＣＮＮ、Ｉ－ＣＮＮ及びＴＩＣＮに対応するＯＴＳＮ、ＯＴ―ＣＮＮ、ＯＩ－ＣＮＮ及びＯＴＩＣＮに対してＣｏｎｃａｔ融合を行い、マルチモーダル融合ネットワークの最終出力ＯＦｉｎａｌ＝Ｃｏｎｔａｃｔ（ＭＨＡ（ＯＴＳＮ），ＭＨＡ（ＯＴ－ＣＮＮ），ＭＨＡ（ＯＩ－ＣＮＮ），ＭＨＡ（ＯＴＩＣＮ））を取得し、
Ｓ２が、
Ｓ２１、大量データのフィードバック訓練により、生成型予備訓練モデル、即ちＧＰＴモデルを取得するステップと、
Ｓ２２、複数モードを出力するステップと、
Ｓ２３、結果を表示するステップと、を含み、
Ｓ２１において、ＧＰＴモデルの出力ＯＧＰＴは以下の式で表され、
ＯＧＰＴ＝ＧＰＴ（ＯＦｉｎａｌ）＝｛ＯＧＰＴ（ＴＳＮ），ＯＧＰＴ（Ｔ－ＣＮＮ），ＯＧＰＴ（Ｉ－ＣＮＮ），ＯＧＰＴ（ＴＩＣＮ）｝
ここで、ＯＧＰＴ（ＴＳＮ）、ＯＧＰＴ（Ｔ―ＣＮＮ）、ＯＧＰＴ（Ｉ－ＣＮＮ）及びＯＧＰＴ（ＴＩＣＮ）はそれぞれＧＰＴモデルで訓練されたＯＴＳＮ、ＯＴ―ＣＮＮ、ＯＩ－ＣＮＮ及びＯＴＩＣＮに対応する出力を表し、
Ｓ２２が、
Ｓ２２１、航跡ＯＮａｖｉを出力するサブステップと、
Ｓ２２２、テキストＯＴｅｘｔを出力するサブステップと、
Ｓ２２３、画像ＯＩｍａｇｅを出力するサブステップと、を含み、
Ｓ２２１において、入力されたマルチモーダルデータに基づき、次の式に従って、プリセット情景の航跡記述を生成し、
Ｓ２２２において、入力されたマルチモーダルデータに基づき、次の式に従って、プリセット情景の文字記述を生成し、
Ｓ２２３において、入力されたマルチモーダルデータに基づき、次の式に従って、プリセット情景の画像記述を生成し、
Ｓ２３において、読み取り、観察及び監視に便利な情景表示を複数モードで提供し、
Ｓ３において、マルチモーダル融合により得られた航跡とテキストと画像の複数モードの出力を表示することで、船員がマルチモーダル海上安全情報を理解し易く、意思決定を迅速に下すようにする、
ことを特徴とするマルチモーダル融合ネットワークに基づく海上安全情報の知能意思決定支援方法。
（付記１）
マルチモーダルデータ入力を受け取るマルチモーダル融合ネットワークを構築する工程Ｓ１と、
複数モードのマルチモーダル結果を表示する工程Ｓ２と、
意思決定を支援する工程Ｓ３と、を含み、
Ｓ１が、
Ｓ１１、マルチモーダルネットワークを構築するステップと、
Ｓ１２、マルチモーダルデータを前処理するステップと、
Ｓ１３、マルチモーダルデータを入力するステップと、
Ｓ１４、マルチモーダル並列ネットワークの特徴に対して整列と融合を行うステップと、を含み、
Ｓ１１が、
Ｓ１１１、時系列ネットワークＴＳＮを構築するサブステップと、
Ｓ１１２、テキスト畳み込みネットワークＴ－ＣＮＮを構築するサブステップと、
Ｓ１１３、画像畳み込みネットワークＩ－ＣＮＮを構築するサブステップと、
Ｓ１１４、時系列画像畳み込みネットワークＴＩＣＮを構築するサブステップと、を含み、
Ｓ１１１において、次の式に従って、長短期記憶のゲートニューラルネットワークを用いて時系列特性を備える航跡ＡＩＳデータＩＡＩＳと、電子海図表示及び情報システム、即ちＥＣＤＩＳデータＩＥＣＤＩＳ中のベクトル情報ＶｅｃｔｏｒデータＩＶｅｃｔｏｒを処理し、
ＯＴＳＮ＝ＴＳＮ（ＩＡＩＳ，ＩＶｅｃｔｏｒ）
ここで、ＯＴＳＮはＴＳＮの出力を表し、ＩＡＩＳとＩＶｅｃｔｏｒはＴＳＮの入力を表し、ＴＳＮは長短期記憶ゲートニューラルネットワーク構造に基づく関数を表し、
Ｓ１１２において、次の式に従って、テキストベクトル化の畳み込みニューラルネットワークを用いて文脈依存関係を備えるＮＡＶＴＥＸメッセージデータＩＮＡＶＴＥＸを処理し、
ＯＴ－ＣＮＮ＝Ｔ－ＣＮＮ（ＩＮＡＶＴＥＸ）
ここで、ＯＴ－ＣＮＮはＴ－ＣＮＮの出力を表し、ＩＮＡＶＴＥＸはＴ－ＣＮＮの入力を表し、Ｔ－ＣＮＮはテキスト畳み込みネットワーク構造に基づく関数を表し、
Ｓ１１３において、次の式に従って、画像数値化の畳み込みニューラルネットワークを用いて、ビデオ画像即ちＩｍａｇｅデータＩＩｍａｇｅ中の画素ＲＧＢデータＩＲＧＢと、ＥＣＤＩＳデータＩＥＣＤＩＳ中で画像特徴を備えるラスターＲａｓｔｅｒデータＩＲａｓｔｅｒを処理し、
ＯＩ－ＣＮＮ＝Ｉ－ＣＮＮ（ＩＲＧＢ，ＩＲａｓｔｅｒ）
ここで、ＯＩ－ＣＮＮはＩ－ＣＮＮの出力を表し、ＩＲＧＢとＩＲａｓｔｅｒはＩ－ＣＮＮの入力を表し、Ｉ－ＣＮＮは画像畳み込みネットワーク構造に基づく関数を表し、
Ｓ１１４において、次の式に従って、時空融合の畳み込みニューラルネットワークを用いて、ＩｍａｇｅデータＩＩｍａｇｅ中で時空間相関性を備える勾配方向ヒストグラムＨＯＧデータＩＨＯＧを処理し、
ＯＴＩＣＮ＝ＴＩＣＮ（ＩＨＯＧ）
ここで、ＯＴＩＣＮはＴＩＣＮの出力を表し、ＩＨＯＧはＴＩＣＮの入力を表し、ＴＩＣＮは時系列畳み込みネットワーク構造に基づく関数を表し、
Ｓ１２において、前記マルチモーダルデータがＡＩＳデータＩＡＩＳとＮＡＶＴＥＸメッセージデータＩＮＡＶＴＥＸと電子海図データＩＥＣＤＩＳとビデオ画像データＩＩｍａｇｅとを含み、
Ｓ１２が、
Ｓ１２１、ＡＩＳデータＩＡＩＳを前処理するサブステップと、
Ｓ１２２、ＮＡＶＴＥＸメッセージデータＩＮＡＶＴＥＸを前処理するサブステップと、
Ｓ１２３、電子海図データＩＥＣＤＩＳを前処理するサブステップと、
Ｓ１２４、ビデオ画像データＩＩｍａｇｅを前処理するサブステップと、を含み、
Ｓ１２１において、前記ＡＩＳデータＩＡＩＳが船舶航行の経度ｌｏｎｇｉｔｕｄｅと緯度ｌａｔｉｔｕｄｅと航行速度ｓｐｅｅｄと航行方向ｃｏｕｒｓｅとを含み、４元群ＩＡＩＳ（ｋ）＝（ｌｏｎｇｉｔｕｄｅ（ｋ），ｌａｔｉｔｕｄｅ（ｋ），ｓｐｅｅｄ（ｋ），ｃｏｕｒｓｅ（ｋ））を構築することで時系列ネットワークＴＳＮの入力ＩＡＩＳ＝｛ＩＡＩＳ（１），ＩＡＩＳ（２），．．．，ＩＡＩＳ（ｋ），．．．，ＩＡＩＳ（ｔ）｝を取得し、
ここで、ＩＡＩＳ（ｋ）はＩＡＩＳ中で時刻ｋに対応するＡＩＳデータを表し、ｔはＩＡＩＳの前処理後のデータ全長を表し、
Ｓ１２２において、前記ＮＡＶＴＥＸメッセージデータＩＮＡＶＴＥＸをテキスト形式で記憶し、ＩＮＡＶＴＥＸがＴ－ＣＮＮによって利用されるようにテキストのベクトル化を採用し、次の式に従って、ＩＮＡＶＴＥＸをテキスト畳み込みネットワークＴ－ＣＮＮへの入力としてベクトル化データに変換し、
ＩＮＡＶＴＥＸ＝｛Ｗｏｒｄ１，Ｗｏｒｄ２，．．．，Ｗｏｒｄｉ，．．．，ＷｏｒｄＬ｝
ここで、ＬはＩＮＡＶＴＥＸの前処理後の単語数を示し、Ｗｏｒｄｉは、ＮＡＶＴＥＸメッセージ中でｉ番目のワードのワンホットエンコーディングを表し、
Ｓ１２３において、前記電子海図データＩＥＣＤＩＳをベクトルデータＩＶｅｃｔｏｒとラスターデータＩＲａｓｔｅｒの形式で記憶し、それぞれ時系列ネットワークＴＳＮの入力ＩＶｅｃｔｏｒと画像畳み込みネットワークＩ－ＣＮＮの入力ＩＲａｓｔｅｒとし、その式は以下の通りであり、
ＩＶｅｃｔｏｒ＝｛ＩＶｅｃｔｏｒ（１），ＩＶｅｃｔｏｒ（２），．．．，ＩＶｅｃｔｏｒ（ｋ），．．．，ＩＶｅｃｔｏｒ（ｔ）｝
ＩＲａｓｔｅｒ＝｛ＩＲａｓｔｅｒ（１），ＩＲａｓｔｅｒ（２），．．．，ＩＲａｓｔｅｒ（ｊ），．．．，ＩＲａｓｔｅｒ（ｍ）｝
ここで、ＩＶｅｃｔｏｒ（ｋ）はＩＶｅｃｔｏｒ中の時刻ｋに対応するベクトルデータを表し、ｔはＩＶｅｃｔｏｒの前処理後のデータ全長を表し、ＩＲａｓｔｅｒ（ｊ）はＩＲａｓｔｅｒ中のｊ番目のラスターデータを表し、ｍはＩＲａｓｔｅｒの前処理後のラスター画像の数を表し、
Ｓ１２４において、前記ビデオ画像データＩＩｍａｇｅをＲＧＢデータＩＲＧＢとＨＯＧデータＩＨＯＧの形式で記憶し、それぞれ画像畳み込みネットワークＩ－ＣＮＮの入力ＩＲＧＢと時系列画像ネットワークＴＩＣＮの入力ＩＨＯＧとし、その式は以下の通りであり、
ＩＲＧＢ＝｛ＩＲＧＢ（１），ＩＲＧＢ（２），．．．，ＩＲＧＢ（ｊ），．．．，ＩＲＧＢ（ｍ）｝
ＩＨＯＧ＝｛ＩＨＯＧ（１），ＩＨＯＧ（２），．．．，ＩＨＯＧ（ｑ），．．．，ＩＨＯＧ（ｎ）｝
ここで、ＩＲＧＢ（ｊ）は、ＩＲＧＢ中のｊ番目のＲＧＢ画像データを表し、ｍはＩＲＧＢの前処理後のＲＧＢ画像の数を表し、ＩＨＯＧ（ｑ）は、ＩＨＯＧ中のｑ番目のＨＯＧ画像データを表し、ｎはＩＨＯＧの前処理後のＨＯＧ画像の数を表し、
Ｓ１３において、前処理されたマルチモーダルデータを、それぞれ対応する並列ネットワークＴＳＮ、Ｔ－ＣＮＮ、Ｉ－ＣＮＮ及びＴＩＣＮに入力して訓練学習を行い、
Ｓ１４において、多重注意力機制ＭＨＡに基づいて並列ネットワークＴＳＮ、Ｔ－ＣＮＮ、Ｉ－ＣＮＮ及びＴＩＣＮに対応するＯＴＳＮ、ＯＴ―ＣＮＮ、ＯＩ－ＣＮＮ及びＯＴＩＣＮに対してＣｏｎｃａｔ融合を行い、マルチモーダル融合ネットワークの最終出力ＯＦｉｎａｌ＝Ｃｏｎｔａｃｔ（ＭＨＡ（ＯＴＳＮ），ＭＨＡ（ＯＴ－ＣＮＮ），ＭＨＡ（ＯＩ－ＣＮＮ），ＭＨＡ（ＯＴＩＣＮ））を取得し、
Ｓ２が、
Ｓ２１、大量データのフィードバック訓練により、生成型予備訓練モデル、即ちＧＰＴモデルを取得するステップと、
Ｓ２２、複数モードを出力するステップと、
Ｓ２３、結果を表示するステップと、を含み、
Ｓ２１において、ＧＰＴモデルの出力ＯＧＰＴは以下の式で表され、
ＯＧＰＴ＝ＧＰＴ（ＯＦｉｎａｌ）＝｛ＯＧＰＴ（ＴＳＮ），ＯＧＰＴ（Ｔ－ＣＮＮ），ＯＧＰＴ（Ｉ－ＣＮＮ），ＯＧＰＴ（ＴＩＣＮ）｝
ここで、ＯＧＰＴ（ＴＳＮ）、ＯＧＰＴ（Ｔ―ＣＮＮ）、ＯＧＰＴ（Ｉ－ＣＮＮ）及びＯＧＰＴ（ＴＩＣＮ）はそれぞれＧＰＴモデルで訓練されたＯＴＳＮ、ＯＴ―ＣＮＮ、ＯＩ－ＣＮＮ及びＯＴＩＣＮに対応する出力を表し、
Ｓ２２が、
Ｓ２２１、航跡ＯＮａｖｉを出力するサブステップと、
Ｓ２２２、テキストＯＴｅｘｔを出力するサブステップと、
Ｓ２２３、画像ＯＩｍａｇｅを出力するサブステップと、を含み、
Ｓ２２１において、入力されたマルチモーダルデータに基づき、次の式に従って、プリセット情景の航跡記述を生成し、
【数7】
【数8】
【数9】
Ｓ３において、マルチモーダル融合により得られた航跡とテキストと画像の複数モードの出力を表示することで、船員がマルチモーダル海上安全情報を理解し易く、意思決定を迅速に下すようにする、
ことを特徴とするマルチモーダル融合ネットワークに基づく海上安全情報の知能意思決定支援方法。
【要約】 （修正有）
【課題】マルチモーダル海上安全情報を完全に抽出且つ有効的に融合して、船員にインテリジェントな航行意思決定支援を提供する。
【解決手段】データ処理端に対し、様々なネットワークを用いて航行ＡＩＳの緯度経度情報とＮＡＶＴＥＸのテキスト情報と電子海図のベクトル情報及びラスター情報とビデオ画像のＲＧＢ情報とＨＯＧ情報とを含む様々な入力情報を訓練できるマルチモーダル融合ネットワークを提案するうえに、マルチモーダル情報の特徴を十分に抽出して有効的に融合するように多重注意力機制ＭＨＡに基づくＣｏｎｃａｔ融合構造をマルチモーダルネットワークの並列構造に導入する。結果表示端に対し、生成型予備訓練に基づくＴｒａｎｓｆｏｒｍｅｒモデルを提案し、融合特徴のマルチモーダル情報の文脈を理解することでマルチモーダル意思決定支援方法を提案する。
【選択図】図１
【解決手段】データ処理端に対し、様々なネットワークを用いて航行ＡＩＳの緯度経度情報とＮＡＶＴＥＸのテキスト情報と電子海図のベクトル情報及びラスター情報とビデオ画像のＲＧＢ情報とＨＯＧ情報とを含む様々な入力情報を訓練できるマルチモーダル融合ネットワークを提案するうえに、マルチモーダル情報の特徴を十分に抽出して有効的に融合するように多重注意力機制ＭＨＡに基づくＣｏｎｃａｔ融合構造をマルチモーダルネットワークの並列構造に導入する。結果表示端に対し、生成型予備訓練に基づくＴｒａｎｓｆｏｒｍｅｒモデルを提案し、融合特徴のマルチモーダル情報の文脈を理解することでマルチモーダル意思決定支援方法を提案する。
【選択図】図１
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
