2025-175760 情報処理プログラム、情報処理方法、および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025175760

(43)【公開日】2025-12-03

(54)【発明の名称】情報処理プログラム、情報処理方法、および情報処理装置

(51)【国際特許分類】

   B63H 25/04 20060101AFI20251126BHJP

   B63H 25/02 20060101ALI20251126BHJP

【ＦＩ】

B63H25/04 G

B63H25/04 D

B63H25/02 Z

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2024082003

(22)【出願日】2024-05-20

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(71)【出願人】

【識別番号】000000974

【氏名又は名称】川崎重工業株式会社

(71)【出願人】

【識別番号】000006633

【氏名又は名称】京セラ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】野田 明

(72)【発明者】

【氏名】住田 浩之

(72)【発明者】

【氏名】秋山 真哉

(72)【発明者】

【氏名】檜野 武憲

(72)【発明者】

【氏名】案浦 雅徳

(72)【発明者】

【氏名】岡田 浩希

(57)【要約】

【課題】港内において着岸を行う船舶に対する指示役は、目視で岸壁までの距離や角度を確認しながら、船舶を着岸させるための方向と動作を指示する。しかしながら、岸壁には防舷材を始めとした様々な凹凸があり、測距計はこれらを区別できないため、測定すべきポイントを特定することができず、船舶と岸壁との距離や角度を正確に把握することは難しい。
【解決手段】コンピュータが、船舶から撮影された着岸領域を含む画像を取得し、セグメンテーションＡＩを用いて、取得した画像のうち着岸領域を特定し、測距装置を用いて、着岸領域との距離を測定し、測距装置による測定結果から、着岸領域と船舶との相対距離又は相対角度の少なくとも１つを算出する。
【選択図】図８

【特許請求の範囲】

【請求項1】

船舶から撮影された着岸領域を含む画像を取得し、
セグメンテーションＡＩ（Artificial Intelligence）を用いて、取得した前記画像のうち前記着岸領域を特定し、
測距装置を用いて、前記着岸領域との距離を測定し、
前記測距装置による測定結果から、前記着岸領域と前記船舶との相対距離又は相対角度の少なくとも１つを算出する
処理をコンピュータに実行させることを特徴とする情報処理プログラム。

【請求項2】

前記着岸領域を特定する処理は、前記着岸領域として、岸壁面または浮桟橋を特定する処理を含むことを特徴とする請求項１に記載の情報処理プログラム。

【請求項3】

前記相対距離又は前記相対角度の少なくとも１つを算出する処理は、
前記着岸領域が垂直であることを前提として、前記測定結果である前記着岸領域との前記距離から、前記相対距離又は前記相対角度の少なくとも１つを算出する
処理を含むことを特徴とする請求項１に記載の情報処理プログラム。

【請求項4】

前記画像および前記測定結果に対してキャリブレーションを行うことにより、前記画像および前記測定結果の各々における前記着岸領域の位置情報を取得し、
前記画像および前記測定結果の各々における前記位置情報に対してレジストレーションを行うことにより、前記画像および前記測定結果における前記着岸領域の位置を特定して合わせる
処理を前記コンピュータに実行させることを特徴とする請求項１に記載の情報処理プログラム。

【請求項5】

前記相対距離又は前記相対角度の少なくとも１つを算出する処理は、
前記船舶の回転量の情報及び喫水量の情報を取得し、
前記回転量の情報及び前記喫水量の情報を基に入射角度を補正し、
前記補正した入射角度を基に前記相対距離を算出する
処理を含むことを特徴とする請求項１に記載の情報処理プログラム。

【請求項6】

前記着岸領域を特定する処理は、
取得した前記画像の中から防舷材を除いて前記着岸領域を特定する処理を含み、
前記相対距離を算出する処理は、
算出した前記相対距離のうち前記着岸領域上の２点に対する前記相対距離を基に、前記船舶と前記防舷材までの距離を算出する処理を含む
ことを特徴とする請求項１に記載の情報処理プログラム。

【請求項7】

船舶から撮影された着岸領域を含む画像を取得し、
セグメンテーションＡＩを用いて、取得した前記画像のうち前記着岸領域を特定し、
測距装置を用いて、前記着岸領域との距離を測定し、
前記測距装置による測定結果から、前記着岸領域と前記船舶との相対距離又は相対角度の少なくとも１つを算出する
処理をコンピュータが実行することを特徴とする情報処理方法。

【請求項8】

船舶から撮影された着岸領域を含む画像を取得し、
セグメンテーションＡＩを用いて、取得した前記画像のうち前記着岸領域を特定し、
測距装置を用いて、前記着岸領域との距離を測定し、
前記測距装置による測定結果から、前記着岸領域と前記船舶との相対距離又は相対角度の少なくとも１つを算出する
処理を実行する制御部を備えたことを特徴とする情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理プログラム、情報処理方法、および情報処理装置に関する。

【背景技術】

【0002】

日本を含む世界の主要港湾では、港内において着岸を行う船舶、特に大型船の多くは、押船によって着岸する。この際、指示役は、着岸作業時に押船に対して、押し・停止などの動作を指示する。より具体的には、例えば、指示役は、目視で岸壁までの距離や角度を確認しながら、押船に対し、大型船を着岸させるための方向と動作を指示する。

【0003】

このように、押船への指示は、目視により行われるため、指示役の勘と経験に依存するところが多く、難しい。そのため、例えば、船舶と岸壁との距離や角度をＬｉＤＡＲ（Light Detection And Ranging）や、ＬＲＦ（Laser Range Finder）などの測距計を用いて算出し、指示役に提示することで押船への指示を支援できると考えられる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－０５９４０３号公報

【特許文献2】特開２００５－１８０９４９号公報

【特許文献3】特開２０２１－１３６４６６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、例えば、岸壁には防舷材を始めとした様々な凹凸があり、測距計はこれらを区別できないため、測定すべき着岸領域を特定することができず、船舶と岸壁との距離や角度を正確に把握することは難しい。なお、着岸領域は、岸壁や、岸壁と連結する浮桟橋などであり得る。

【0006】

１つの側面では、船舶と岸壁との距離や角度をより正確に把握できる情報処理プログラム、情報処理方法、および情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

１つの態様において、情報処理プログラムは、船舶から撮影された着岸領域を含む画像を取得し、セグメンテーションＡＩ（Artificial Intelligence）を用いて、取得した画像のうち着岸領域を特定し、測距装置を用いて、着岸領域との距離を測定し、測距装置による測定結果から、着岸領域と船舶との相対距離又は岸壁と船体のパラレルボディとの方位角度差である相対角度の少なくとも１つを算出する処理をコンピュータに実行させる。

【発明の効果】

【0008】

１つの側面では、船舶と岸壁との相対距離や相対角度をより正確に把握できる。

【図面の簡単な説明】

【0009】

【図1】図１は、岸壁までの相対距離および相対角度の測定方法の一例について説明するための図である。

【図2】図２は、船上から岸壁を撮影したカメラ画像の一例を示す図である。

【図3】図３は、第１の実施形態にかかる情報処理システム１の構成例を示す図である。

【図4】図４は、第１の実施形態にかかる情報処理装置１０の構成例を示す図である。

【図5】図５は、第１の実施形態にかかるセグメンテーションによる岸壁面抽出の一例を示す図である。

【図6】図６は、第１の実施形態にかかる測距計を用いた距離計測の一例を示す図である。

【図7】図７は、第１の実施形態にかかるレジストレーション処理の一例を示す図である。

【図8】図８は、第１の実施形態にかかる相対距離および相対角度算出の一例を示す図である。

【図9】図９は、着岸領域と船舶とが接近した場合の測距範囲を示す図である。

【図10】図１０は、相対距離の算出を説明するための図である。

【図11】図１１は、第１の実施形態にかかる相対距離・相対角度算出処理の流れを示すフローチャートである。

【図12】図１２は、ローリング補正を説明するための図である。

【図13】図１３は、第３の実施例にかかる情報処理装置による相対距離の算出を説明するための図である。

【図14】図１４は、情報処理装置１０のハードウェア構成例を説明する図である。

【発明を実施するための形態】

【0010】

以下に、本実施形態に係る情報処理プログラム、情報処理方法、および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例により本実施形態が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

【0011】

（第１の実施形態）
まず、大型船から岸壁までの相対距離および相対角度の測定方法について説明する。図１は、岸壁までの相対距離および相対角度の測定方法の一例について説明するための図である。図１に示すように、例えば、大型船の前後２か所から岸壁までの距離を、船上に設置されたＬｉＤＡＲやＬＲＦなどの測距計を用いて測定することで、大型船から岸壁までの相対距離および相対角度を求めることができる。なお、図１では、大型船を例として示したが、本実施形態は、大型船に限定されず、その他の小型船などが含まれてよい。また、各実施例の説明では、大型船やその他の小型船などを含めて、船舶と表現する場合がある。

【0012】

図１を用いて、船舶から岸壁までの相対距離および相対角度の測定方法の一例について説明したが、実際の測定には課題がある。図２は、船上から岸壁を撮影したカメラ画像の一例を示す図である。図２に示すように、実際の岸壁周辺には防舷材など様々な物が存在する。そのため、ＬｉＤＡＲなどの測距計による測定では、着岸領域となる岸壁の垂直面である岸壁面を狙った測定が、船舶と岸壁との相対距離や相対角度のより正確な把握に繋がる。ここで、相対角度とは、岸壁と船体のパラレルボディとの方位角度差であり、例えば図１における角θ_０である。なお、パラレルボディの方位角は通常は船舶の船首方位と同じであることが多いが、本実施例においてパラレルボディの方位角が船舶の船首方位と異なってもよい。

【0013】

しかしながら、ＬｉＤＡＲなどの測距計による測定では、点群データやポイントクラウドなどと呼ばれる３次元空間内の頂点の集合データによって、例えば、空間上の各点との相対距離の測定は可能であるが、空間上の各点が何であるかは判別できない。そのため、点群データにおける各点の相対距離が、例えば、岸壁面との相対距離なのか、防舷材などの岸壁面以外の物との相対距離なのか判別できない。そこで、本実施形態では、船舶と岸壁との相対距離や相対角度をより正確に把握することを目的の一つとする。

【0014】

次に、本実施形態にかかる情報処理システムについて説明する。図３は、第１の実施形態にかかる情報処理システム１の構成例を示す図である。情報処理システム１は、船舶と当該船舶の着岸領域との相対距離および相対角度を算出するシステムである。なお、船舶の着岸領域は、図１や図２に示したような岸壁の他、後述する図６や図８に示したような海面に浮かべられ、岸壁と連結する浮桟橋であり得る。図３に示すように、情報処理システム１は、情報処理装置１０と、カメラ装置１００、および測距装置２００－１および２００－２（以下、まとめて「測距装置２００」という）とが、ネットワーク５０を介して相互に通信可能に接続されるシステムである。

【0015】

ネットワーク５０には、有線や無線を問わず、例えば、イントラネットなどの各種通信網を採用できる。また、ネットワーク５０は、単一のネットワークではなく、例えば、イントラネットとインターネットとがゲートウェイなどネットワーク装置やその他の装置（図示せず）を介して構成されてよい。

【0016】

情報処理装置１０は、例えば、船舶などに設置されるサーバコンピュータ、またはデスクトップＰＣ（Personal Computer）やノートＰＣなどの情報処理装置である。なお、図３では、情報処理装置１０を１台のコンピュータとして示しているが、複数台のコンピュータで構成される分散型コンピューティングシステムであってもよい。また、情報処理装置１０は、クラウドコンピューティングサービスを提供するサービス提供者によって管理されるクラウドコンピュータ装置であってもよい。

【0017】

情報処理装置１０は、例えば、船舶からカメラ装置１００によって撮影された着岸領域を含む画像を取得し、セグメンテーションＡＩを用いて、取得した画像のうち着岸領域を特定する。なお、セグメンテーションＡＩは、例えば、セマンティック・セグメンテーションやインスタンス・セグメンテーションなどであってよく、機械学習モデルを用いて画像から着岸領域を抽出する。当該機械学習モデルは、例えば、情報タグが付与された着岸領域を含む画像を訓練データとして機械学習により生成された機械学習モデルである。

【0018】

また、情報処理装置１０は、例えば、測距装置２００を用いて、着岸領域との距離を測定し、測距装置２００による測定結果から、カメラ装置１００によって撮影された画像から抽出された着岸領域と船舶との相対距離および相対角度を算出する。

【0019】

カメラ装置１００は、例えば、船舶に設置され、船舶から岸壁など船舶の周辺を撮影するデジタルカメラである。カメラ装置１００によって撮影された画像は、情報処理装置１０に送信される。

【0020】

測距装置２００は、例えば、船舶の前後など複数箇所に設置され、船舶の周辺の物体との距離を測定するＬｉＤＡＲやＬＲＦなどの測距計である。測距装置２００によって測定された測定結果である点群データは、情報処理装置１０に送信される。なお、測距装置２００により測定される物体との距離は、厳密には、測距装置２００と物体との距離であるが、図１を用いて説明したように、本実施形態では測距装置２００は船舶に設置されるため、船舶と物体との距離とみなして処理される。

【0021】

（情報処理装置１０の機能構成）
次に、本実施形態の実行主体となる情報処理装置１０の機能構成について説明する。図４は、第１の実施形態にかかる情報処理装置１０の構成例を示す図である。図４に示すように、情報処理装置１０は、通信部２０、記憶部３０、および制御部４０を有する。

【0022】

通信部２０は、カメラ装置１００など、他の装置との間の通信を制御する処理部であり、例えば、ネットワークインタフェースカードなどの通信インタフェースである。

【0023】

記憶部３０は、各種データや、制御部４０が実行するプログラムを記憶する機能を有し、例えば、メモリやハードディスクなどの記憶装置により実現される。また、記憶部３０は、例えば、画像情報３１、測定情報３２、およびモデル情報３３などの各種情報を記憶する。

【0024】

画像情報３１は、例えば、カメラ装置１００によって撮影された画像を記憶する。さらに、画像情報３１は、例えば、カメラ装置１００によって撮影された画像からセグメンテーションＡＩを用いて特定された着岸領域などに関する情報を記憶してもよい。

【0025】

測定情報３２は、例えば、測距装置２００によって測定された測定結果である点群データを記憶する。さらに、測定情報３２は、例えば、点群データから算出される着岸領域と船舶との相対距離および相対角度などの計算結果データを記憶してもよい。

【0026】

モデル情報３３は、例えば、カメラ装置１００によって撮影された画像から着岸領域を抽出するための機械学習モデルに関する情報や、当該機械学習モデルのモデルパラメータを記憶する。当該機械学習モデルは、例えば、カメラ装置１００によって撮影された画像を説明変数、当該画像における着岸領域を目的変数とする教師データを用いて機械学習により生成される。

【0027】

なお、記憶部３０に記憶される上記情報はあくまでも一例であり、記憶部３０は、上記情報以外にも様々な情報を記憶できる。

【0028】

制御部４０は、情報処理装置１０全体を司る処理部であり、例えば、プロセッサなどである。制御部４０は、取得部４１、特定部４２、測定部４３、および算出部４４などを備える。なお、各処理部は、プロセッサが有する電子回路の一例やプロセッサが実行するプロセスの一例である。

【0029】

取得部４１は、例えば、船舶からカメラ装置１００によって撮影された着岸領域を含む画像を画像情報３１から取得する。また、取得部４１は、例えば、取得した画像および測距装置２００によって測定された測定結果に対してキャリブレーションを行うことにより、当該画像および測定結果の各々における着岸領域の位置情報を取得する。ここで、測定結果は、ＬｉＤＡＲを想定した３次元情報（２次元座標+距離）である。キャリブレーション処理は、カメラ装置１００によって撮影された画像と、測距装置２００によって測定された測定結果とにおける異なる座標系の位置を合わせるために、当該画像および測定結果の各々における位置情報を取得する処理である。

【0030】

特定部４２は、例えば、セグメンテーションＡＩを用いて、取得部４１が取得した画像のうち着岸領域を特定する。なお、着岸領域の特定には、カメラ装置１００によって撮影された画像を説明変数、当該画像における着岸領域を目的変数とする教師データを用いて機械学習により生成された機械学習モデルが用いられてよい。当該機械学習モデルに関する情報は、例えば、モデル情報３３に記憶される。なお、特定部４２による着岸領域の特定は、着岸領域である岸壁面などに設置されたマーカーを基準に行われてもよい。

【0031】

また、着岸領域を特定する処理は、着岸領域として、岸壁面または浮桟橋を特定する処理を含んでよい。図５は、第１の実施形態にかかるセグメンテーションによる岸壁面抽出の一例を示す図である。図５は、着岸領域として、岸壁面を特定して抽出する例である。また、図５の左側に示す画像は、例えば、図２に示したような船上から岸壁を撮影した画像、すなわちカメラ装置１００によって岸壁とその周辺が撮影された画像である。図５の右側に示すように、セグメンテーションＡＩを用いることによって、当該画像から、少なくとも岸壁面が抽出される。なお、例えば、図５に示すように、岸壁面上には防舷材や穴、その他の設置物などが存在し、岸壁周辺にはトラックや港湾設備などが存在する場合があるが、これらの物体は岸壁面と区別され、岸壁面のみが画像から抽出される。

【0032】

また、特定部４２は、カメラ装置１００によって撮影された画像および測距装置２００によって測定された測定結果の各々における位置情報に対してレジストレーションを行うことにより、当該画像および測定結果における着岸領域の位置を特定して合わせる。レジストレーション処理については後述するが、特定部４２は、カメラ装置１００によって撮影された画像と、測距装置２００によって測定された測定結果とにおける異なる座標系の位置をレジストレーション処理によって合わせる。

【0033】

測定部４３は、例えば、測距装置２００を用いて、着岸領域との距離を測定する。なお、上述したように、測距装置２００による測定は空間上の各点との距離の測定は可能であるが、空間上の各点が何であるかは判別できないため、厳密には、測定部４３は、着岸領域を含む、船舶周辺の物体との距離を測定する。そして、測定部４３は、特定部４２によって合わせられた画像および測定結果における着岸領域の位置を用いて、測定結果における着岸領域の距離を抽出する。

【0034】

算出部４４は、例えば、測距装置２００による測定結果から、着岸領域と船舶との相対距離および相対角度を算出する。算出された相対距離および相対角度は、例えば、押船への操船指示に活用されてよい。

【0035】

算出部４４による相対距離および相対角度の算出について、より具体的に説明する。図６は、第１の実施形態にかかる測距計を用いた距離計測の一例を示す図である。図６に示すように、船舶に設置される測距装置２００は、通常、岸壁より高い位置にあるため、測距装置２００からの射線（図６では「LiDAR照射」と表記）は斜め照射となる。そのため、図６では「計測距離」と表記される水平方向の相対距離を算出する必要がある。そこで、算出部４４は、例えば、着岸領域が垂直であることを前提として、測定結果である着岸領域との距離から、相対距離および相対角度を算出する。相対距離および相対角度の算出処理については後述する。

【0036】

（機能詳細）
次に、レジストレーション処理について、より詳細に説明する。図７は、第１の実施形態にかかるレジストレーション処理の一例を示す図である。図７は、着岸領域である地点Ｐを、カメラ装置１００によって撮影、および測距装置２００によって測定した例を示す。図７において、地点Ｐに対応する、カメラ装置１００によって撮影された画像上の位置はＰ_Ｃ、測距装置２００によって測定された点群データ上の位置はＰ_Ｌ、でそれぞれ示される。

【0037】

船舶から着岸領域である地点Ｐまでの距離は、点群データ上のＰ_Ｌの距離であるが、点群データのみでは空間上の各点が何であるかは判別できないため、Ｐ_Ｌが特定できず、地点Ｐまでの距離がわからない。そのため、情報処理装置１０は、カメラ装置１００によって撮影された画像と点群データとの異なる座標系の各位置、図７の例では、Ｐ_ＣとＰ_Ｌとを合わせることで、Ｐ_ＣからＰ_Ｌを特定する。より具体的には、例えば、地点Ｐが岸壁の角部などのエッジや係船柱のよう地図上での１点としてあらわされる対象物であれば、着岸領域である地点Ｐの世界座標（Ｘ_Ｗ，Ｙ_Ｗ，Ｚ_Ｗ）は地図データなどから予め特定できる。また、カメラ装置１００によって撮影された画像上の着岸領域の位置Ｐ_Ｃの座標（Ｘ_Ｃ，Ｙ_Ｃ）も、セグメンテーションＡＩを用いて着岸領域が特定されることにより特定できる。そのため、地点Ｐの世界座標（Ｘ_Ｗ，Ｙ_Ｗ，Ｚ_Ｗ）と、画像上の着岸領域の位置Ｐ_Ｃの座標（Ｘ_Ｃ，Ｙ_Ｃ）とは異なる座標系であるが、位置合わせができる。

【0038】

そして、地点Ｐの世界座標と、測距装置２００によって測定された点群データ上の位置Ｐ_Ｌの座標とは、例えば、次の式（１）を用いて変換できるため、地点Ｐの世界座標（Ｘ_Ｗ，Ｙ_Ｗ，Ｚ_Ｗ）から、Ｐ_Ｌの座標（Ｘ_Ｌ，Ｙ_Ｌ）が算出可能である。

【0039】

【数1】

【0040】

式（１）において、ｒ_１１～ｒ_３３は、カメラ装置１００による座標系の原点からの測距装置２００による座標系の原点の回転量であり、ｔ_１～ｔ_３は、カメラ装置１００による座標系の原点からの測距装置２００による座標系の原点の移動量である。ｒ_１１～ｒ_３３およびｔ_１～ｔ_３は、例えば、両装置の設置位置などに基づいて予め特定されており、記憶部３０などに予め記憶されているものとする。式（１）を用いたレジストレーション処理により、測距装置２００によって測定された点群データ上の位置Ｐ_Ｌと、世界座標であり絶対座標である地点Ｐと、延いては、カメラ装置１００によって撮影された画像上の位置Ｐ_Ｃとが相互に位置合わせされることになる。

【0041】

次に、船舶と着岸領域との相対距離および相対角度の算出について、より詳細に説明する。図８は、第１の実施形態にかかる相対距離および相対角度算出の一例を示す図である。図８は、着岸領域が岸壁の垂直面である場合の例であるが、着岸領域は、浮桟橋の垂直面や、岸壁の垂直面に設置される防舷材などであってよい。

【0042】

まず、図８に示すように、カメラ装置１００によって撮影された実画像から、セグメンテーションＡＩを用いて、着岸領域である岸壁の垂直面が検知される。また、カメラ装置１００による着岸領域の撮影の前後または並行して、測距装置２００によって着岸領域を含む、着岸領域周辺の物体と、船舶との距離が測定される。なお、測距装置２００による距離の測定は、図８に示すように、船体であるパラレルボディの少なくとも前後２箇所に設定された測距装置２００によって測定されてよい。

【0043】

ここで、着岸領域と船舶とが接近しており、着岸領域からカメラ装置１００までの水平距離が小さい若しくはマイナスになる場合が考えられる。図９は、着岸領域と船舶とが接近した場合の測距範囲を示す図である。図９では、測距装置２００が撮影する画角１０１を示す。図９では、測距装置２００が、紙面の奥行き方向（船舶の前後方向）に向って重なって並んでいる。画角１０１内には、岸壁１１１の一部及び海上１１２の一部が写り込む。

【0044】

測距装置２００は、画角１０１のうちの一部の範囲１０２を切り取って測距に使用する。図９に示すように、着岸領域からカメラ装置１００までの水平距離が小さい若しくはマイナスになる場合、測距に使用する範囲１０２の中に岸壁１１１の垂直面の画像がほとんど若しくはまったく含まれないことが考えられる。その場合、情報処理装置１０は、垂直面の検知が困難となる。そこで、情報処理装置１０は、セグメンテーションＡＩを用いて、岸壁１１１の水平面を検知して岸壁線を検出する。そして、検出された岸壁線の位置を垂直面の位置として、測距装置２００による距離計測が行われてもよい。

【0045】

次に、図７を用いて説明したように、キャリブレーション処理およびレジストレーション処理によって、カメラ装置１００によって撮影された画像と、測距装置２００によって測定された測定結果との位置合わせが行われる。これにより、点群データから着岸領域のデータが抽出でき、船舶と着岸領域との距離が取得できる。

【0046】

次に、図８に示すように、情報処理装置１０は、岸壁の垂直面と、船体であるパラレルボディとの傾き、すなわち、船舶と着岸領域との相対角度を幾何学演算処理により算出する。情報処理装置１０は、幾何学演算処理として例えば逆三角関数を用いることができる。そして、情報処理装置１０は、例えば、幾何学演算処理を行って算出した相対角度と、点群データから取得された測距装置２００と着岸領域との距離とから、船舶と着岸領域との相対距離を算出する。図１０は、相対距離の算出を説明するための図である。情報処理装置１０は、測距装置２００から岸壁を見下ろした角度、すなわち水平面に対する測距装置２００から測距対象への入射角度がΦであり、測距装置２００と着岸領域の測距対象点との距離がＬ＃１の場合、相対距離をＬ＃２とすると、Ｌ＃２＝Ｌ＃１×ｃｏｓ（Φ）として、相対距離を求める。

【0047】

（処理の流れ）
次に、情報処理装置１０によって実行される船舶と着岸領域との相対距離および相対角度の算出処理の流れを説明する。図１１は、第１の実施形態にかかる相対距離・相対角度算出処理の流れを示すフローチャートである。図１１に示す相対距離・相対角度算出処理は、例えば、船舶が着岸領域から所定の範囲内に進入したことが情報処理装置１０によって検知された場合に実行されてよい。

【0048】

まず、図１１に示すように、情報処理装置１０は、例えば、カメラ装置１００によって着岸領域が撮影され、画像情報３１に記憶された画像を取得する（ステップＳ１０１）。カメラ装置１００による撮影は、情報処理装置１０からカメラ装置１００に指示が送信されて実行されてもよいし、カメラ装置１００によって随時実行されてもよい。カメラ装置１００によって撮影された画像は情報処理装置１０に送信され、画像情報３１に記憶される。

【0049】

次に、情報処理装置１０は、例えば、セグメンテーションＡＩを用いて、ステップＳ１０１で取得された画像から着岸領域を特定する（ステップＳ１０２）。なお、特定される着岸領域は、例えば、着岸領域の岸壁や浮桟橋の垂直面、当該岸壁の垂直面に設置される防舷材などであってよく、着岸領域ごとに予め決定される。そして、情報タグが付与された当該着岸領域を含む画像を訓練データとして機械学習により、セグメンテーションＡＩが用いる機械学習モデルが予め生成される。

【0050】

次に、情報処理装置１０は、例えば、船舶の前後など複数箇所に設置された測距装置２００を用いて、着岸領域との距離を測定する（ステップＳ１０３）。なお、上述したように、測距装置２００による測定では、空間上の各点が何であるかは判別できないため、厳密には、情報処理装置１０は、着岸領域を含む、船舶周辺の物体との距離を測定する。測距装置２００によって測定された測定結果である点群データは情報処理装置１０に送信され、測定情報３２に記憶される。なお、ステップＳ１０３の測定は、ステップＳ１０１やＳ１０２より前に、またはステップＳ１０１やＳ１０２と並行して実行されてもよい。

【0051】

次に、情報処理装置１０は、例えば、図７を用いて説明したように、キャリブレーション処理およびレジストレーション処理によって、ステップＳ１０１で取得された画像と、ステップＳ１０３で測定された測定結果との位置合わせを行う（ステップＳ１０４）。これにより、情報処理装置１０は、ステップＳ１０３で測定された測定結果から着岸領域のデータが抽出でき、船舶と着岸領域との距離が取得できる。

【0052】

次に、情報処理装置１０は、例えば、幾何学演算処理を行って船舶と着岸領域との相対距離を算出し、かつ、図８を用いて説明したように相対角度を算出する（ステップＳ１０５）。ステップＳ１０５の実行後、図１１に示す相対距離・相対角度算出処理は終了する。

【0053】

（効果）
上述したように、情報処理装置１０は、舶から撮影された着岸領域を含む画像を取得し、セグメンテーションＡＩを用いて、取得した画像のうち着岸領域を特定し、測距装置を用いて、着岸領域との距離を測定し、測距装置による測定結果から、着岸領域と船舶との相対距離および相対角度を算出する。

【0054】

このように、情報処理装置１０は、セグメンテーションＡＩを用いることで、撮影画像から岸壁面を特定し、測距計を用いて測定された岸壁面との距離から、岸壁面との相対距離および相対角度を算出し、船舶と岸壁との距離や角度をより正確に把握できる。

【0055】

また、情報処理装置１０によって実行される、着岸領域を特定する処理は、着岸領域として、岸壁面または浮桟橋を特定する処理を含む。

【0056】

これにより、情報処理装置１０は、着岸領域として岸壁のみならず、船舶と浮桟橋との距離や角度をより正確に把握できる。

【0057】

また、情報処理装置１０によって実行される、相対距離および相対角度を算出する処理は、着岸領域が垂直であることを前提として、測定結果である着岸領域との距離から、相対距離および相対角度を算出する処理を含む。

【0058】

これにより、情報処理装置１０は、船舶と岸壁との距離や角度をより正確に把握できる。

【0059】

また、情報処理装置１０は、画像および測定結果に対してキャリブレーションを行うことにより、画像および測定結果の各々における着岸領域の位置情報を取得し、画像および測定結果の各々における位置情報に対してレジストレーションを行うことにより、画像および測定結果における着岸領域の位置を特定して合わせる。

【0060】

これにより、情報処理装置１０は、船舶と岸壁との距離や角度をより正確に把握できる。

【0061】

（第２の実施形態）
次に、第２の実施形態について説明する。本実施形態に係る情報処理装置１０も図４のブロック図で表される。以下の説明では、第１の実施形態と同様の各部の動作については説明を省略する。

【0062】

カメラ装置１００及び測距装置２００を搭載した船舶は、海上ではローリング（rolling）、ピッチング（pitching）、ヨーイング（yawing）及びヒービング（heaving）が発生する。ローリングは、船舶の前後方向の軸周りの回転である。ピッチングは、船舶の左右方向の軸周りの回転である。ヨーイングは、上下方向の軸周りの回転である。ヒービングは、船舶の上下方向の変位である。船体に固定されたカメラ装置１００の画角は、ローリング、ピッチング、ヨーイング及びヒービングの影響を受ける。そこで、本実施形態に係る情報処理装置１０は、ローリング、ピッチング、ヨーイング及びヒービングの影響を考慮して画角に補正を加えて距離計測を行う。

【0063】

本実施例に係る船舶は、ローリング、ピッチング及びヨーイングを計測する傾斜計等の回転量計測器を有する。また、船舶は、ヒービングを計測する喫水計等の喫水量計測器を有する。さらに海面高さである潮位情報で補正することによりヒービングの精度向上を図ることができる。

【0064】

算出部４４は、例えば、着岸領域が垂直であることを前提として、着岸領域との相対角度を算出する。次に、算出部４４は、回転量計測器からローリング、ピッチング及びヨーイングの値を取得する。また、算出部４４は、喫水量計測器からヒービングの値を取得する。

【0065】

算出部４４は、ローリング、ピッチング、ヨーイング及びヒービングの情報を用いて測距装置２００からの入射角度を補正する。そして、算出部４４は、測定結果である着岸領域との距離及び補正した相対角度及び相対高さを用いて、相対距離を算出する。

【0066】

図１２は、ローリング補正を説明するための図である。ここでは、測距装置２００に一致させて船舶のローリング状態を表した。また、ここでは、岸壁線を測距対称点とする。ここで、Ｌｄは、測距装置２００が検知する距離である。また、θｄは、カメラ装置１００の画角から算出された測距装置２００からの岸壁線の傾斜角である。また、Ｌ１０は、測距装置２００と岸壁線との水平な相対距離である。

【0067】

状態３０１は、船舶がローリングしていない状態を示す。この場合、カメラ装置１００の画角から算出された測距装置２００からの岸壁線の傾斜角と測距装置２００の水平方向と測距装置２００と岸壁線とを結ぶ角度であるθとが一致している。そこで、算出部４４は、相対距離Ｌ１０＝Ｌｄ×ｃｏｓ(θ)と算出する。

【0068】

これに対して、状態３０２は、船舶が角度θｓローリングしている。この場合、測距装置２００の角度θｄとローリングの角度θｓとを加算した結果が測距装置２００の水平方向と測距装置２００と岸壁線とを結ぶ角度であるθに一致する。すなわち、θ＝θｄ＋θｓである。そこで、算出部４４は、相対距離Ｌ１０＝Ｌｄ×ｃｏｓ(θ)＝Ｌｄ×ｃｏｓ(θｄ＋θｓ)と算出する。

【0069】

ここでは一例として、理解しやすいローリング補正について説明したが、算出部４４は、他の要素についても同様に幾何学的な補正で算出する事ができる。また、算出部４４は、測距装置２００が搭載された位置と岸壁との相対距離の対象となる船舶の側舷の位置も幾何学的に算出することが可能である。

【0070】

（効果）
このように、ローリング、ピッチング、ヨーイング及びヒービングに基づいて、測距装置２００からの入射角度及び測距装置２００の取付高さに補正を加えて相対距離を算出することで、算出する相対距離の精度を向上させることが可能となる。

【0071】

（第３の実施形態）
次に、第３の実施形態について説明する。本実施形態に係る情報処理装置１０も図４のブロック図で表される。以下の説明では、第１の実施形態と同様の各部の動作については説明を省略する。

【0072】

第１の実施形態では、特定部４２は、セグメンテーションＡＩを用いて取得部４１が取得した画像の中から着岸領域を特定する際に、岸壁面上の防舷材や、穴や、その他の設置物等を岸壁面と区別して、岸壁面を画像から抽出した。この場合、相対距離の船舶側の基準となる測距原点から最も近い岸壁の位置に防舷材が存在すると、その位置は測量対象から除かれる。そのため、船舶から最も近い位置までの長さが相対距離として用いられず、精度が低下するおそれがある。

【0073】

そこで、本実施形態にかかる情報処理装置１０は、防舷材が設けられた岸壁の位置が最も近い場合に、他の岸壁の位置までの相対距離を用いて防舷材の位置までの相対距離を算出して船舶と岸壁面との相対距離とする。以下に、情報処理装置１０による防舷材の位置までの相対距離の算出処理を説明する。図１３は、第３の実施例にかかる情報処理装置による相対距離の算出を説明するための図である。

【0074】

算出部４４は、測距装置２００による測定結果である着岸領域との距離を取得する。この場合、算出部４４は、着岸面における複数の点の距離を取得する。そして、算出部４４は、カメラ装置１００により得られた着岸面の画像や測距装置２００による測定結果である着岸領域との距離を用いて、最も近い岸壁面の位置までの距離が含まれるか否かを判定する。以下では、最も近い岸壁面の位置を「最近傍点」と呼ぶ。最近傍点までの距離が含まれている場合は、算出部４４は、その距離を用いて相対距離を算出する。

【0075】

これに対して、最も近い位置に防舷材２１１が存在するために取得した距離に最近傍点までの距離が含まれていない場合、算出部４４は、適当な位置２０１までの距離を用いて、位置２０１まで相対距離Ｌ１１を算出する。また、算出部４４は、他の適当な位置２０２までの距離を用いて、位置２０２までの相対距離Ｌ１２を算出する。

【0076】

次に、算出部４４は、相対距離Ｌ１１及びＬ１２を用いて船舶に対する岸壁に対向する角度θ_１１及びθ_１２を検出する。次に、算出部４４は、相対距離Ｌ１１及びＬ１２、並びに、船舶に対する岸壁に対向する角度θ_１１及びθ_１２を基に、幾何学演算処理を行って測距原点２１０から最近傍点２０３までの相対距離Ｌ１を算出する。

【0077】

ここで、防舷材２１１の厚さは、仕様により予め決まっている。そこで、算出部４４は、防舷材２１１の厚さを示す長さＬ３を予め保持する。算出部４４は、算出した相対距離Ｌ１から防舷材の２１１の厚さである長さＬ３を減算して、船舶から防舷材２１１の先端までの相対距離Ｌ２を算出する。

【0078】

逆に、他の方法により測距原点２１０から防舷材２１１の先端までの相対距離Ｌ２を得ることができるのであれば、算出部４４は、以下の方法により防舷材２１１の劣化を判定することもできる。例えば、算出部４４は、取得した相対距離Ｌ２と防舷材２１１の仕様上の厚みである長さＬ３とを加算した結果と、相対距離Ｌ１１及びＬ１２、並びに、船舶に対する岸壁の角度を基に算出される最近傍点２０３までの相対距離Ｌ１とを比較する。そして、算出部４４は、相対距離Ｌ２と長さＬ３とを合わせた長さが相対距離Ｌ１よりも短い場合には、防舷材２１１がその分劣化していると判定することができる。

【0079】

（システム）
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報は、特記する場合を除いて任意に変更されてもよい。また、実施例で説明した具体例、分布、数値などは、あくまで一例であり、任意に変更されてもよい。

【0080】

また、各装置の構成要素の分散や統合の具体的形態は図示のものに限られない。つまり、その構成要素の全部または一部は、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合されてもよい。さらに、各装置の各処理機能は、その全部または任意の一部が、ＣＰＵ（Central Processing Unit）および当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

【0081】

（ハードウェア）
図１４は、情報処理装置１０のハードウェア構成例を説明する図である。図１４に示すように、情報処理装置１０は、通信インタフェース１０ａ、ＨＤＤ（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図１４に示した各部は、バスなどで相互に接続される。

【0082】

通信インタフェース１０ａは、ネットワークインタフェースカードなどであり、他の情報処理装置との通信を行う。ＨＤＤ１０ｂは、図４に示した機能を動作させるプログラムやデータを記憶する。

【0083】

プロセッサ１０ｄは、図４に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂなどから読み出してメモリ１０ｃに展開することで、図４などで説明した各機能を実行するプロセスを動作させるハードウェア回路である。すなわち、このプロセスは、情報処理装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、取得部４１や特定部４２などと同様の機能を有するプログラムをＨＤＤ１０ｂなどから読み出す。そして、プロセッサ１０ｄは、取得部４１や特定部４２などと同様の処理を実行するプロセスを実行する。

【0084】

このように、情報処理装置１０は、図４に示した各処理部と同様の処理を実行するプログラムを読み出して実行することで動作制御処理を実行する情報処理装置として動作する。また、情報処理装置１０は、媒体読取装置によって記録媒体からプログラムを読み出し、読み出されたプログラムを実行することで上述した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、情報処理装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータがプログラムを実行する場合や、情報処理装置１０と他のコンピュータとが協働してプログラムを実行するような場合にも、本実施形態が同様に適用されてよい。

【0085】

また、図４に示した各処理部と同様の処理を実行するプログラムは、インターネットなどのネットワークを介して配布できる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto-Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行できる。

【0086】

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。

【0087】

（付記１）船舶から撮影された着岸領域を含む画像を取得し、
セグメンテーションＡＩ（Artificial Intelligence）を用いて、取得した前記画像のうち前記着岸領域を特定し、
測距装置を用いて、前記着岸領域との距離を測定し、
前記測距装置による測定結果から、前記着岸領域と前記船舶との相対距離又は相対角度の少なくとも１つを算出する
処理をコンピュータに実行させることを特徴とする情報処理プログラム。

【0088】

（付記２）前記着岸領域を特定する処理は、前記着岸領域として、岸壁面または浮桟橋を特定する処理を含むことを特徴とする付記１に記載の情報処理プログラム。

【0089】

（付記３）前記相対距離又は前記相対角度の少なくとも１つを算出する処理は、
前記着岸領域が垂直であることを前提として、前記測定結果である前記着岸領域との前記距離から、前記相対距離又は前記相対角度の少なくとも１つを算出する
処理を含むことを特徴とする付記１に記載の情報処理プログラム。

【0090】

（付記４）前記画像および前記測定結果に対してキャリブレーションを行うことにより、前記画像および前記測定結果の各々における前記着岸領域の位置情報を取得し、
前記画像および前記測定結果の各々における前記位置情報に対してレジストレーションを行うことにより、前記画像および前記測定結果における前記着岸領域の位置を特定して合わせる
処理を前記コンピュータに実行させることを特徴とする付記１に記載の情報処理プログラム。

【0091】

（付記５）前記相対距離又は前記相対角度の少なくとも１つを算出する処理は、
前記船舶の回転量の情報及び喫水量の情報を取得し、
前記回転量の情報及び前記喫水量の情報を基に入射角度を補正し、
前記補正した入射角度を基に前記相対距離を算出する
処理を含むことを特徴とする付記１に記載の情報処理プログラム。

【0092】

（付記６）前記着岸領域を特定する処理は、
取得した前記画像の中から防舷材を除いて前記着岸領域を特定する処理を含み、
前記相対距離を算出する処理は、
算出した前記相対距離のうち前記着岸領域上の２点に対する前記相対距離を基に、前記船舶と前記防舷材までの距離を算出する処理を含む
ことを特徴とする付記１に記載の情報処理プログラム。

【0093】

（付記７）船舶から撮影された着岸領域を含む画像を取得し、
セグメンテーションＡＩを用いて、取得した前記画像のうち前記着岸領域を特定し、
測距装置を用いて、前記着岸領域との距離を測定し、
前記測距装置による測定結果から、前記着岸領域と前記船舶との相対距離又は相対角度の少なくとも１つを算出する
処理をコンピュータが実行することを特徴とする情報処理方法。

【0094】

（付記８）前記着岸領域を特定する処理は、前記着岸領域として、岸壁面または浮桟橋を特定する処理を含むことを特徴とする付記７に記載の情報処理方法。

【0095】

（付記９）前記相対距離又は前記相対角度の少なくとも１つを算出する処理は、
前記着岸領域が垂直であることを前提として、前記測定結果である前記着岸領域との前記距離から、前記相対距離又は前記相対角度の少なくとも１つを算出する
処理を含むことを特徴とする付記７に記載の情報処理方法。

【0096】

（付記１０）前記画像および前記測定結果に対してキャリブレーションを行うことにより、前記画像および前記測定結果の各々における前記着岸領域の位置情報を取得し、
前記画像および前記測定結果の各々における前記位置情報に対してレジストレーションを行うことにより、前記画像および前記測定結果における前記着岸領域の位置を特定して合わせる
処理を前記コンピュータが実行することを特徴とする付記７に記載の情報処理方法。

【0097】

（付記１１）前記相対距離又は前記相対角度の少なくとも１つ算出する処理は、
前記船舶の回転量の情報及び喫水量の情報を取得し、
前記回転量の情報及び前記喫水量の情報を基に入射角度を補正し、
前記補正した入射角度を基に前記相対距離を算出する
処理を含むことを特徴とする付記７に記載の情報処理方法。

【0098】

（付記１２）前記着岸領域を特定する処理は、
取得した前記画像の中から防舷材を除いて前記着岸領域を特定する処理を含み、
前記相対距離を算出する処理は、
算出した前記相対距離のうち前記着岸領域上の２点に対する前記相対距離を基に、前記船舶と前記防舷材までの距離を算出する処理を含む
ことを特徴とする付記７に記載の情報処理方法。

【0099】

（付記１３）船舶から撮影された着岸領域を含む画像を取得し、
セグメンテーションＡＩを用いて、取得した前記画像のうち前記着岸領域を特定し、
測距装置を用いて、前記着岸領域との距離を測定し、
前記測距装置による測定結果から、前記着岸領域と前記船舶との相対距離又は相対角度の少なくとも１つを算出する
処理を実行する制御部を備えたことを特徴とする情報処理装置。

【0100】

（付記１４）前記着岸領域を特定する処理は、前記着岸領域として、岸壁面または浮桟橋を特定する処理を含むことを特徴とする付記１３に記載の情報処理装置。

【0101】

（付記１５）前記相対距離又は前記相対角度の少なくとも１つを算出する処理は、
前記着岸領域が垂直であることを前提として、前記測定結果である前記着岸領域との前記距離から、前記相対距離又は前記相対角度の少なくとも１つを算出する
処理を含むことを特徴とする付記１３に記載の情報処理装置。

【0102】

（付記１６）前記画像および前記測定結果に対してキャリブレーションを行うことにより、前記画像および前記測定結果の各々における前記着岸領域の位置情報を取得し、
前記画像および前記測定結果の各々における前記位置情報に対してレジストレーションを行うことにより、前記画像および前記測定結果における前記着岸領域の位置を特定して合わせる
処理を前記制御部が実行することを特徴とする付記１３に記載の情報処理装置。

【0103】

（付記１７）前記相対角度を算出する処理は、
前記船舶の回転量の情報及び喫水量の情報を取得し、
前記回転量の情報及び前記喫水量の情報を基に入射角度を補正し、
前記補正した入射角度を基に前記相対距離を算出する
処理を含むことを特徴とする付記１３に記載の情報処理装置。

【0104】

（付記１８）前記着岸領域を特定する処理は、
取得した前記画像の中から防舷材を除いて前記着岸領域を特定する処理を含み、
前記相対距離を算出する処理は、
算出した前記相対距離のうち前記着岸領域上の２点に対する前記相対距離を基に、前記船舶と前記防舷材までの距離を算出する処理を含む
ことを特徴とする付記１３に記載の情報処理装置。

【0105】

（付記１９）プロセッサと、
プロセッサに動作可能に接続されたメモリと
を備えた情報処理装置であって、プロセッサは、
船舶から撮影された着岸領域を含む画像を取得し、
セグメンテーションＡＩを用いて、取得した前記画像のうち前記着岸領域を特定し、
測距装置を用いて、前記着岸領域との距離を測定し、
前記測距装置による測定結果から、前記着岸領域と前記船舶との相対距離又は相対角度の少なくとも１つを算出する
処理を実行することを特徴とする情報処理装置。

【符号の説明】

【0106】

１ 情報処理システム
１０ 情報処理装置
１０ａ 通信インタフェース
１０ｂ ＨＤＤ
１０ｃ メモリ
１０ｄ プロセッサ
２０ 通信部
３０ 記憶部
３１ 画像情報
３２ 測定情報
３３ モデル情報
４０ 制御部
４１ 取得部
４２ 特定部
４３ 測定部
４４ 算出部
５０ ネットワーク
１００ カメラ装置
２００ 測距装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】