特開 2024-143813 装置、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024143813

(43)【公開日】2024-10-11

(54)【発明の名称】装置、方法およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241003BHJP

   G06V 10/72 20220101ALI20241003BHJP

   G06V 20/05 20220101ALI20241003BHJP

【ＦＩ】

G06T7/00 350B

G06V10/72

G06V20/05

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2023056711

(22)【出願日】2023-03-30

(71)【出願人】

【識別番号】000006507

【氏名又は名称】横河電機株式会社

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】大石 憲児

(72)【発明者】

【氏名】功刀 弘太

(72)【発明者】

【氏名】河野 武尊

(72)【発明者】

【氏名】根岸 萌友

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096FA53

5L096FA59

5L096FA69

5L096GA51

5L096KA04

(57)【要約】      （修正有）

【課題】水上の検出対象物の検出精度を高める装置、方法及びプログラムを提供する。
【解決手段】検出システム１において、装置３は、複数のカメラ２の各カメラが、透光部材１０を介して水上（一例として海上）で撮像した第１画像を取得する取得部と、第１画像に対し、予め定められた輝度以上の発光領域の数または形の少なくとも一方を変化させる画像効果を適用して第２画像を生成する画像生成部と、第２画像を含む学習データを用い、画像内で検出対象物を検出する学習モデルの学習処理を行う学習処理部と、を備える。画像生成部は、第２画像内に生成される２つ以上の発光領域の間で、形または大きさの少なくとも一方を相違させる。
【選択図】図１

【特許請求の範囲】

【請求項1】

水上で撮像された第１画像を取得する取得部と、
前記第１画像に対し、予め定められた輝度以上の発光領域の数または形の少なくとも一方を変化させる画像効果を適用して第２画像を生成する画像生成部と、
前記第２画像を含む学習データを用い、画像内で検出対象物を検出する学習モデルの学習処理を行う学習処理部と、
を備える装置。

【請求項2】

前記画像生成部は、前記第２画像内に生成される２つ以上の発光領域の間で、形または大きさの少なくとも一方を相違させる、請求項１に記載の装置。

【請求項3】

前記画像生成部は、前記第１画像内の発光領域の位置または大きさの少なくとも一方を変化させる画像効果をさらに適用して前記第２画像を生成する、請求項１に記載の装置。

【請求項4】

前記第１画像は、少なくとも１つの透光部材を介して撮像された画像であり、
前記画像生成部は、前記第１画像に対し、前記透光部材に付着する水滴の位置、個数および大きさの少なくとも１つを変化させる画像効果をさらに適用して前記第２画像を生成する、請求項１に記載の装置。

【請求項5】

前記画像生成部は、前記第１画像の撮像条件とは気象条件および海象条件の少なくとも一方が異なる撮像条件に応じた画像効果を前記第１画像にさらに適用して前記第２画像を生成する、請求項１に記載の装置。

【請求項6】

前記画像生成部は、前記第１画像内の前記検出対象物の領域の少なくとも一部に対して前記画像効果を適用する、請求項１に記載の装置。

【請求項7】

前記画像生成部は、単一の前記第１画像から、互いに異なる複数の前記第２画像を生成する、請求項１に記載の装置。

【請求項8】

前記第１画像には、当該第１画像内に前記検出対象物が存在するか否かを示すラベルが付加されており、
前記画像生成部は、前記第１画像と同内容のラベルを前記第２画像に付加する、請求項１に記載の装置。

【請求項9】

前記学習処理部は、前記第１画像を含む学習データをさらに用い、前記学習モデルの学習を行う、請求項１に記載の装置。

【請求項10】

前記学習処理部により学習処理が行われた前記学習モデルを用い、前記取得部により新たに取得された前記第１画像内に前記検出対象物が存在するか否かを判定する判定部を備える、請求項１から９の何れか一項に記載の装置。

【請求項11】

水上で撮像された第１画像を取得する取得段階と、
前記第１画像に対し、予め定められた輝度以上の発光領域の数または形の少なくとも一方を変化させる画像効果を適用して第２画像を生成する画像生成段階と、
前記第２画像を含む学習データを用い、画像内で検出対象物を検出する学習モデルの学習処理を行う学習処理段階と、
を備える方法。

【請求項12】

コンピュータを、
水上で撮像された第１画像を取得する取得部と、
前記第１画像に対し、予め定められた輝度以上の発光領域の数または形の少なくとも一方を変化させる画像効果を適用して第２画像を生成する画像生成部と、
前記第２画像を含む学習データを用い、画像内で検出対象物を検出する学習モデルの学習処理を行う学習処理部
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、装置、方法およびプログラムに関する。

【背景技術】

【0002】

特許文献１～８には「前記第１の画像に対して所定の加工処理を施すことにより、人物の顔を含む複数の第２の画像を生成する加工手段と、前記複数の第２の画像を前記入力層に入力することにより、前記複数の第２の画像を教師画像として用いた学習によって、異なる前記処理層に属する各前記ユニット間の重み付け値を設定する」（特許文献１の請求項１）等と記載されている。
［先行技術文献］
［特許文献］
［特許文献１］ 特開２０１１－２２１８４０号公報
［特許文献２］ 特開２０２１－１１７５４８号公報
［特許文献３］ 特開２０２１－１２０９１４号公報
［特許文献４］ 特開２０２０－１９７８３３号公報
［特許文献５］ 国際公開第２０２１／１３０８８８号
［特許文献６］ 国際公開第２０２１／１３０９９５号
［特許文献７］ 国際公開第２０２１／１７７３２４号
［特許文献８］ 特開２０１９－３２７８２号公報

【発明の概要】

【0003】

本発明の第１の態様においては、水上で撮像された第１画像を取得する取得部と、前記第１画像に対し、予め定められた輝度以上の発光領域の数または形の少なくとも一方を変化させる画像効果を適用して第２画像を生成する画像生成部と、前記第２画像を含む学習データを用い、画像内で検出対象物を検出する学習モデルの学習処理を行う学習処理部と、を備える装置が提供される。

【0004】

上記の装置においては、前記画像生成部は、前記第２画像内に生成される２つ以上の発光領域の間で、形または大きさの少なくとも一方を相違させてよい。

【0005】

上記何れかの装置においては、前記画像生成部は、前記第１画像内の発光領域の位置または大きさの少なくとも一方を変化させる画像効果をさらに適用して前記第２画像を生成してよい。

【0006】

上記何れかの装置においては、前記第１画像は、少なくとも１つの透光部材を介して撮像された画像であり、前記画像生成部は、前記第１画像に対し、前記透光部材に付着する水滴の位置、個数および大きさの少なくとも１つを変化させる画像効果をさらに適用して前記第２画像を生成してよい。

【0007】

上記何れかの装置においては、前記画像生成部は、前記第１画像の撮像条件とは気象条件および海象条件の少なくとも一方が異なる撮像条件に応じた画像効果を前記第１画像にさらに適用して前記第２画像を生成してよい。

【0008】

上記何れかの装置においては、前記画像生成部は、前記第１画像内の前記検出対象物の領域の少なくとも一部に対して前記画像効果を適用してよい。

【0009】

上記何れかの装置においては、前記画像生成部は、単一の前記第１画像から、互いに異なる複数の前記第２画像を生成してよい。

【0010】

上記何れかの装置においては、前記第１画像には、当該第１画像内に前記検出対象物が存在するか否かを示すラベルが付加されており、前記画像生成部は、前記第１画像と同内容のラベルを前記第２画像に付加してよい。

【0011】

上記何れかの装置においては、前記学習処理部は、前記第１画像を含む学習データをさらに用い、前記学習モデルの学習を行ってよい。

【0012】

上記何れかの装置においては、前記学習処理部により学習処理が行われた前記学習モデルを用い、前記取得部により新たに取得された前記第１画像内に前記検出対象物が存在するか否かを判定する判定部を備えてよい。

【0013】

本発明の第２の態様においては、水上で撮像された第１画像を取得する取得段階と、前記第１画像に対し、予め定められた輝度以上の発光領域の数または形の少なくとも一方を変化させる画像効果を適用して第２画像を生成する画像生成段階と、前記第２画像を含む学習データを用い、画像内で検出対象物を検出する学習モデルの学習処理を行う学習処理段階と、を備える方法が提供される。

【0014】

本発明の第３の態様においては、コンピュータを、水上で撮像された第１画像を取得する取得部と、前記第１画像に対し、予め定められた輝度以上の発光領域の数または形の少なくとも一方を変化させる画像効果を適用して第２画像を生成する画像生成部と、前記第２画像を含む学習データを用い、画像内で検出対象物を検出する学習モデルの学習処理を行う学習処理部として機能させるプログラムが提供される。

【0015】

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0016】

【図1】実施形態に係る検出システム１を示す。

【図2】学習モデル３５の学習段階における装置３の動作を示す。

【図3】学習モデル３５の運用段階における装置３の動作を示す。

【図4】本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ２２００の例を示す。

【発明を実施するための形態】

【0017】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0018】

＜１．検出システム１＞
図１は、本実施形態に係る検出システム１を示す。検出システム１は、画像内で検出対象物を検出する学習モデル３５の学習処理を行い、学習済みの学習モデル３５を用いて検出対象物を検出するものであり、１または複数のカメラ２と、装置３とを備える。検出対象物は、水面上（一例として海面上）に存在し得る物体であってよく、例えばブイや人、小型船舶などであってよい。

【0019】

＜１．１．カメラ２＞
各カメラ２は、水上（一例として海上）で撮像を行って第１画像を生成する。本実施形態では一例として、各カメラ２は、基準インターバル毎に静止画を撮像することとして説明するが、オペレータの操作に応じて静止画像を撮像することとしてもよいし、常時、動画像を撮像することとしてもよい。カメラ２が静止画像を撮像する場合には、第１画像は静止画像であってよく、カメラ２が動画像を撮像する場合には、第１画像は動画像内のフレームであってよい。

【0020】

各カメラ２は、船上に配置されてもよいし、水辺や水上の構造物に配置されてもよい。カメラ２が配置される船は、検出対象物よりも大型の船であってよい。水辺や水上の構造物は、例えば灯台や浮標（ブイとも称する）、港湾、橋、防波堤などであってよい。各カメラ２の撮影領域は固定であってもよいし、可変であってもよい。

【0021】

各カメラ２は、少なくとも１つの透光部材１０を介して第１画像を撮像してよい。別言すれば、撮像される第１画像は、透光部材１０を介して撮像された画像であってよい。透光部材１０は、カメラ２とは別体の構造物であってよく、カメラ２のレンズとは異なってよい。透光部材１０は、カメラ２の前方に配置されて撮像を可能としつつ、カメラ２に対する水滴の付着を防止してよい。カメラ２が船上の操舵室に配置される場合には、透光部材１０は操舵室のフロントウィンドウまたはリアウィンドウであってよい。カメラ２が水辺や水上の構造物に配置される場合には、透光部材１０は構造物に設けられた窓であってよい。

【0022】

各カメラ２は可視光のカメラであってもよいし、赤外線や紫外線（一例としてＸ線）のカメラであってもよい。検出システム１に複数のカメラ２が具備される場合には、各カメラ２は、互いに種類（一例としてメーカや型番）が同じであってもよいし、異なってもよい。各カメラ２は、第１画像を装置３に供給してよい。

【0023】

＜１．２．装置３＞
装置３は、取得部３０と、表示部３１と、ラベル付加部３２と、画像生成部３３と、画像記憶部３４と、学習モデル３５と、学習処理部３６と、供給部３７と、判定部３８とを有する。

【0024】

＜１．２．１．取得部３０＞
取得部３０は、水上で撮像された第１画像を取得する。取得部３０は、各カメラ２から第１画像を取得してよい。本実施形態では一例として、取得部３０は各カメラ２と有線または無線で接続されており、カメラ２で第１画像が撮像される毎に、当該第１画像を取得してよい。第１画像には、撮像元のカメラ２のカメラの識別情報（カメラＩＤとも称する）を示すメタデータが付されてよい。取得部３０は、取得した第１画像を表示部３１、画像記憶部３４、画像生成部３３および供給部３７に供給してよい。

【0025】

＜１．２．２．表示部３１＞
表示部３１は、種々の情報を表示する。例えば、表示部３１は、取得部３０により取得された第１画像を表示してよい。

【0026】

＜１．２．３．ラベル付加部３２＞
ラベル付加部３２は、カメラ２から供給される第１画像に対し、画像内に検出対象物が存在するか否かを示すラベルを付加する。ラベル付加部３２は、表示部３１に表示された第１画像やカメラ２の視野を確認したオペレータの操作に応じてラベルを付加してよい。例えば、ラベル付加部３２は、第１画像内に検出対象物が存在する旨の操作をオペレータが継続する期間に亘って、検出対象物が存在することを示すラベルを第１画像に付加してよい。ラベル付加部３２は、第１画像内に検出対象物が存在しない旨の操作をオペレータが継続する期間、或いは、第１画像内に検出対象物が存在する旨の操作をオペレータが行わない期間に亘って、検出対象物が存在しないことを示すラベルを第１画像に付加してよい。ラベル付加部３２は、カメラ２ごとに第１画像にラベルを付加してよい。

【0027】

ラベル付加部３２は、取得部３０により取得された第１画像にラベルを付加してよい。本実施形態では一例として、ラベル付加部３２は、取得部３０から少なくとも画像記憶部３４および画像生成部３３に供給される第１画像にラベルを付加してよい。

【0028】

＜１．２．４．画像生成部３３＞
画像生成部３３は、第１画像に画像効果（画像エフェクトとも称する）を適用して第２画像を生成する。画像生成部３３は、第１画像の全域に対して画像効果を適用してよい。画像生成部３３は、第１画像に対し、予め定められた輝度（基準輝度とも称する）以上の発光領域の数または形の少なくとも一方を変化させる画像効果を適用してよい。

【0029】

発光領域は、いわゆる白飛び領域であってよい。基準輝度は最高輝度（飽和輝度とも称する）であってもよいし、最高輝度よりも低い任意の輝度であってもよい。

【0030】

発光領域の数を変化させるとは、発光領域を増やすことであってもよいし、減らすことであってもよい。画像生成部３３は、第１画像内の発光領域の輝度を下げることで発光領域の数を減らしてもよいし、第１画像内の基準輝度未満の領域（非発光領域とも称する）のうち、少なくとも一部の領域の輝度を上げることで発光領域の数を増やしてもよい。基準輝度が最高輝度よりも低い場合には、画像生成部３３は、第２画像内に生成される２つ以上の発光領域の間で輝度を相違させてもよい。

【0031】

発光領域の形を変化させるとは、発光領域の形を、同一でも相似でもない形に変化させることであってよい。画像生成部３３は、第１画像内の非発光領域のうち、発光領域と隣接する領域の輝度を上げることで発光領域の形を変化させてもよいし、第１画像内の発光領域のうち、非発光領域と隣接する領域の輝度を下げることで発光領域の形を変化させてもよい。複数の発光領域を第２画像内に生成する場合には、画像生成部３３は、第２画像内に生成される２つ以上の発光領域の間で、形または大きさの少なくとも一方を相違させてよい。

【0032】

画像生成部３３は、第１画像内の発光領域の位置または大きさの少なくとも一方を変化させる画像効果をさらに適用して第２画像を生成してよい。発光領域の位置を変化させるとは、発光領域の形を維持したまま画像内の位置を変化させることであってよい。画像生成部３３は、第１画像内の発光領域の輝度を下げて非発光領域とし、非発光領域の輝度を上げて発光領域とすることで発光領域の位置を変化させてよい。発光領域の大きさを変化させるとは、発光領域の面積を増減させることであってよく、一例として、発光領域を面積の異なる他の形状に変化させることであってもよいし、発光領域を相似形のまま維持しつつ、面積を増減させることであってもよい。本実施形態では一例として、画像生成部３３は、第１画像における発光領域の数や形、大きさをランダムに変化させて第２画像を生成してよい。

【0033】

画像生成部３３は、第１画像に対し、透光部材１０に付着する水滴の位置、個数および大きさの少なくとも１つを変化させる画像効果をさらに適用して第２画像を生成してよい。透光部材１０に付着する水滴の位置を変化させるとは、水滴の形を維持したまま画像内の位置を変化させることであってよい。画像生成部３３は、第１画像内で透光部材１０に付着して撮像された水滴の位置から、当該水滴を除去し、他の位置に水滴を加えて第２画像を生成してよい。水滴の個数を変化させるとは、水滴の個数を増やすことであってもよいし、減らすことであってもよい。画像生成部３３は、第１画像内の透光部材１０の領域内に水滴を加えて第２画像を生成してもよいし、透光部材１０の領域内で水滴を除去して第２画像を生成してもよい。水滴の大きさを変化させるとは、水滴の面積を増減させることであってよい。画像生成部３３は、水滴の面積の異なる他の形状に変化させて第２画像を生成してもよいし、水滴を相似形のまま維持しつつ面積を増減させて第２画像を生成してもよい。

【0034】

画像生成部３３は、第１画像の撮像条件とは気象条件および海象条件の少なくとも一方が異なる撮像条件に応じた画像効果を第１画像にさらに適用して第２画像を生成してよい。気象条件とは、気温や気圧、風向、風速、降水（降雪）量、雲量、日射量、視程などの気象要素によって定まる条件であってよく、気象状態とも称する。海象条件とは、海で発生する自然現象（例えば海上風や有義波高、風浪、うねり、海流など）によって定まる条件であってよく、海象状態とも称する。

【0035】

第１画像の撮像条件とは異なる撮像条件に応じた画像効果を第１画像に適用するとは、第１画像を、第１画像の撮像条件とは異なる撮像条件で撮像された画像にすることであってよい。第１画像の撮像条件とは気象条件が異なる撮像条件に応じた画像効果を第１画像に適用するとは、第１気象条件で撮像された第１画像を、第１気象条件とは異なる第２気象条件で撮像された画像にすることであってよい。第１画像の撮像条件とは海象条件が異なる撮像条件に応じた画像効果を第１画像に適用するとは、第１海象条件で撮像された第１画像を、第１海象条件とは異なる第２海象条件で撮像された画像にすることであってよい。画像生成部３３は、第１画像の撮像条件よりも検出対象物が不鮮明に撮像され得る撮像条件に応じた画像効果を第１画像に適用して第２画像を生成してよい。一例として、画像生成部３３は、晴天で、波が穏やかな条件で撮像されている場合に、降雨があり、波が高く、波しぶきが多い撮像条件に応じた画像効果を第１画像に適用し、明度が低く、雨や波しぶきの水滴が透光部材１０に付着した第２画像を生成してよい。

【0036】

画像生成部３３は、単一の第１画像から、互いに異なる複数の第２画像を生成してよい。画像生成部３３は、同一の第１画像に対して同じ種類の画像効果を適用して複数の異なる第２画像を生成してもよいし、同一の第１画像に対して異なる種類の画像効果を適用して複数の異なる第２画像を生成してもよい。

【0037】

画像生成部３３は、生成される各第２画像に対し、元となった第１画像と同内容のラベルを付加してよい。第１画像と同内容のラベルとは、検出対象物が存在する旨のラベルが第１画像に付加されている場合には、その旨のラベルであってよく、検出対象物が存在しない旨のラベルが第１画像に付加されている場合には、その旨のラベルであってよい。画像生成部３３は、生成された各第２画像に対し、元となった第１画像と同様のカメラＩＤを示すメタデータを付加してよい。画像生成部３３は、生成した各第２画像を画像記憶部３４に供給してよい。

【0038】

＜１．２．５．画像記憶部３４＞
画像記憶部３４は、取得部３０から供給される各第１画像と、画像生成部３３から供給される各第２画像とを記憶する。

【0039】

＜１．２．６．学習モデル３５＞
学習モデル３５は、画像内で検出対象物を検出する。学習モデル３５は、画像のデータが入力されることに応じて、当該画像内で検出対象物が検出されたか否かを示す検出結果を出力してよい。本実施形態では一例として、学習モデル３５は、カメラＩＤを示すメタデータが付された画像が入力されることに応じて、当該カメラＩＤと共に検出結果を出力してよい。学習モデル３５は、画像内で検出対象物が検出されたことに応じて、画像内での検出対象物の位置情報を検出結果に含めて出力してよい。

【0040】

学習モデル３５は、学習処理部３６によって学習処理が行われてよい。学習モデル３５は、機械学習により得られるモデルであってよく、図示しない記憶部に記憶されてよいが、これに限定されるものではない。

【0041】

＜１．２．７．学習処理部３６＞
学習処理部３６は、第２画像を含む学習データを用い、学習モデル３５の学習処理を行う。学習処理部３６は、第１画像を含む学習データをさらに用いて学習モデル３５の学習を行ってもよい。学習処理部３６は、画像記憶部３４に記憶された第１画像および第２画像を用いて学習処理を行ってよい。学習処理部３６は、一例としてディープラーニングなどの機械学習により学習処理をおこなってよい。

【0042】

＜１．２．８．供給部３７＞
供給部３７は、学習モデル３５に対して第１画像を供給する。供給部３７は、学習処理部３６により学習処理が行われた学習モデル３５に対し、取得部３０により新たに取得された第１画像を供給してよい。これにより、第１画像データの画像内に検出対象物が検出されたか否かを示す検出結果が学習モデル３５から出力されてよい。供給部３７から学習モデル３５に供給される第１画像には、ラベル付加部３２によりラベルが付されていなくてよい。

【0043】

＜１．２．９．判定部３８＞
判定部３８は、学習処理部３６により学習処理が行われた学習モデル３５を用い、取得部３０により新たに取得された第１画像内に検出対象物が存在するか否かを判定する。判定部３８は、供給部３７から学習モデル３５に第１画像が供給されたことに応じて学習モデル３５から出力される検出結果に基づいて判定を行ってよい。

【0044】

判定部３８は、表示部３１に判定結果を表示させてよい。これにより、第１画像内に検出対象物が存在すると判定されたことに応じて報知が行われてよい。判定部３８は、検出結果に含まれる検出対象物の位置情報を判定結果に含めて表示させてよい。これにより、第１画像内での検出対象物の位置が報知されてよい。

【0045】

判定部３８は、第１画像内に検出対象物が存在する旨の判定結果と共に、当該第１画像を撮像したカメラ２のカメラＩＤを出力してよい。例えば、判定部３８は、第１画像内に検出対象物が存在する旨の検出結果に対応付けて学習モデル３５から出力されたカメラＩＤを、検出結果と共に出力してよい。これにより、何れのカメラ２の視野内に検出対象物が存在するかが報知されてよい。

【0046】

判定部３８は、第１画像内に検出対象物が存在する旨の判定結果を、当該第１画像を撮像したカメラ２のカメラＩＤと共にラベル付加部３２に供給してもよい。これにより、ラベル付加部３２では、第１画像内に検出対象物が存在する旨の判定結果が継続する期間に亘って、その旨のラベルが第１画像に付加されてよい。そして、判定部３８による判定結果に応じたラベルが付された第１画像および第２画像を用いて学習モデル３５の学習処理がさらに実行されてもよい。

【0047】

以上の装置３によれば、水上で撮像された第１画像に対して発光領域の数または形の少なくとも一方を変化させる画像効果を適用して第２画像が生成され、第２画像を含む学習データを用い、画像内で検出対象物を検出する学習モデル３５の学習処理が行われる。従って、水面からの反射光によるちらつきを画像効果で加えた第２画像を用いて学習モデル３５の学習を行うことができるため、学習モデル３５による水上の検出対象物の検出精度を高めることができる。

【0048】

また、第２画像内に生成される２つ以上の発光領域の間で、形または大きさの少なくとも一方が相違するので、多様な発光領域を有する第２画像が生成される。従って、学習モデル３５による水上の検出対象物の検出精度をいっそう高めることができる。

【0049】

また、第１画像内の発光領域の位置または大きさの少なくとも一方を変化させる画像効果がさらに適用されて第２画像が生成されるので、より多様な発光領域を有する第２画像が生成される。従って、学習モデル３５による水上の検出対象物の検出精度をいっそう高めることができる。

【0050】

また、透光部材１０に付着する水滴の位置、個数および大きさの少なくとも１つを変化させる画像効果がさらに適用されて第２画像が生成される。従って、透光部材１０へ付着する水滴を画像効果で加えた第２画像を用いて学習モデル３５の学習を行うことができるため、学習モデル３５による水上の検出対象物の検出精度をいっそう高めることができる。

【0051】

また、第１画像の撮像条件とは気象条件および海象条件の少なくとも一方が異なる撮像条件に応じた画像効果が第１画像にさらに適用されて第２画像が生成される。従って、多様な気象条件や海象条件の画像効果を加えた第２画像を用いて学習モデル３５の学習を行うことができるため、学習モデル３５による水上の検出対象物の検出精度をいっそう高めることができる。

【0052】

また、単一の第１画像から複数の第２画像が生成されるので、学習モデル３５の学習効率を高めることができる。従って、学習モデル３５による水上の検出対象物の検出精度をいっそう高めることができる。

【0053】

また、第１画像と同内容のラベルが第２画像に付加されるので、オペレータが第２画像を確認してラベルを付加する手間を省くことができる。また、検出対象物が存在するか否かを正確に示すラベルを用いて学習処理を行うことができるため、学習モデル３５による水上の検出対象物の検出精度をいっそう高めることができる。

【0054】

また、第１画像を含む学習データをさらに用いて学習モデル３５の学習が行われるので、第２画像のみを用いて学習が行われる場合と比較して、学習モデル３５の学習効率を高めることができる。従って、学習モデル３５による水上の検出対象物の検出精度をいっそう高めることができる。

【0055】

また、学習処理が行われた学習モデル３５を用い、新たに取得された第１画像内に検出対象物が存在するか否かが判定されるので、水上の検出対象物を高精度に検出することができる。

【0056】

＜２．装置３の動作＞
＜２．１．学習段階での動作＞
図２は、学習モデル３５の学習段階における装置３の動作を示す。装置３は、ステップＳ１１からステップＳ２１の処理を行うことにより学習モデル３５の学習処理を行う。

【0057】

ステップＳ１１において取得部３０は、水上で撮像された第１画像を取得する。本実施形態では一例として、取得部３０は、各カメラ２から第１画像を取得してよい。

【0058】

ステップＳ１３においてラベル付加部３２は、ステップＳ１１で取得された第１画像に対し、検出対象物の有無を示すラベルを付加する。ラベル付加部３２は、オペレータの操作に応じてラベルを付加してよい。

【0059】

ステップＳ１５において画像生成部３３は、第１画像に画像効果を適用して第２画像を生成する。適用される画像効果は、発光領域の数または形の少なくとも一方を変化させる画像効果であってよい。これに加えて、適用される画像効果は、第１画像内の発光領域の位置または大きさの少なくとも一方を変化させる画像効果であってもよいし、透光部材１０に付着する水滴の位置、個数および大きさの少なくとも１つを変化させる画像効果であってもよいし、第１画像の撮像条件とは気象条件および海象条件の少なくとも一方が異なる撮像条件に応じた画像効果であってもよい。画像生成部３３は、直近のステップＳ１１の処理で取得された第１画像をベースに用いて第２画像を生成してよい。画像生成部３３は、ステップＳ１５の処理が行われるごとに１または複数の第２画像を生成してよい。画像生成部３３は、生成された各第２画像に対し、元となった第１画像と同様のラベルを付してよい。

【0060】

ステップＳ１７において画像生成部３３は、単一の第１画像から生成した第２画像の数が第１基準数に達したか否かを判定してよい。第１基準数は任意の値に予め設定されてよい。単一の第１画像から生成した第２画像の数が第１基準数未満であると判定された場合（ステップＳ１７；Ｎｏ）には、ステップＳ１５に処理が移行してよい。これにより、ステップＳ１５の処理では、前回のステップＳ１５と同じ第１画像をベースとして新たな第２画像が生成されてよい。単一の第１画像から生成した第２画像の数が第１基準数以上であると判定された場合（ステップＳ１７；Ｙｅｓ）には、ステップＳ１９に処理が移行してよい。

【0061】

ステップＳ１９において画像生成部３３は、生成された第２画像の総数が第２基準数に達したか否かを判定してよい。画像生成部３３は、複数の第１画像から生成された第２画像の総数が第２基準数に達したか否かを判定してよい。第２基準数は、第１基準数よりも大きい任意の値に予め設定されてよく、一例として第１基準数の整数倍の値であってよい。複数の第１画像から生成した第２画像の総数が第２基準数未満であると判定された場合（ステップＳ１９；Ｎｏ）には、ステップＳ１１に処理が移行してよい。これにより、ステップＳ１１の処理では、新たな第１画像が取得されてよい。複数の第１画像から生成した第２画像の総数が第２基準数以上であると判定された場合（ステップＳ１９；Ｙｅｓ）には、ステップＳ２１に処理が移行してよい。

【0062】

ステップＳ２１において学習処理部３６は、生成された第２画像を含む学習データを用い、学習モデル３５の学習処理を行う。学習処理部３６は、第１画像を含む学習データをさらに用いて学習モデル３５の学習を行ってもよい。学習処理部３６は、各画像に付されたラベルの内容を教師データに用いて学習処理を行ってよい。本実施形態では一例として、学習処理部３６は、検出対象物が存在する旨のラベルが付加された画像内で検出対象物が検出され、検出対象物が存在しない旨のラベルが付加された画像内で検出対象物が検出されないように、学習モデル３５の学習処理を行ってよい。

【0063】

＜２．２．運用段階での動作＞
図３は、学習モデル３５の運用段階における装置３の動作を示す。装置３は、ステップＳ３１からステップＳ３５の処理を行うことによりカメラ２の視野内に検出対象物が存在するか否かを判定する。なお、動作の開始時点においては学習モデル３５の学習処理が完了していてよい。

【0064】

ステップＳ３１において取得部３０は、水上で撮像された第１画像を取得する。取得部３０は、上述のステップＳ１１と同様にして第１画像を取得してよい。取得された第１画像は表示部３１に表示されてよい。

【0065】

ステップＳ３３において供給部３７は、学習モデル３５に対して第１画像を供給する。供給部３７は、ステップＳ３１により取得部３０が新たに取得した第１画像データを学習モデル３５に供給してよい。これにより、第１画像データの画像内に検出対象物が検出されたか否かを示す検出結果が学習モデル３５から出力されてよい。

【0066】

ステップＳ３５において判定部３８は、学習モデル３５を用い、新たに取得された第１画像内に検出対象物が存在するか否かを判定する。判定部３８は、ステップＳ３３で学習モデル３５に第１画像が供給されたことに応じて学習モデル３５から出力される検出結果に基づいて判定を行ってよい。判定部３８は、判定結果を表示部３１に表示させてよい。ステップＳ３５の処理が終了したら、上述のステップＳ３１に処理が移行してよい。

【0067】

＜３．変形例＞
なお、上記の実施形態においては、装置３は表示部３１、ラベル付加部３２、画像記憶部３４、供給部３７および判定部３８を備えることとして説明したが、これらの何れかを備えなくてもよい。例えば、装置３がラベル付加部３２を備えない場合には、ラベルが予め付加された第１画像を取得部３０が取得してよい。装置３が供給部３７および判定部３８を備えない場合には、学習処理が行われた学習モデル３５が外部機器に出力されて使用されてよい。

【0068】

また、画像生成部３３は、第１画像の全域に対して画像効果を適用することとして説明したが、第１画像内の検出対象物の領域の少なくとも一部に対して画像効果を適用してもよい。これにより、第２画像における検出対象物の検出し易さを変化させることができる。従って、このような第２画像を用いて学習モデル３５の学習を行うことにより、学習モデル３５による水上の検出対象物の検出精度をいっそう高めることができる。なお、第１画像内の検出対象物の領域は、オペレータによって指定されてよい。学習モデル３５が既に生成されている場合には、第１画像内の検出対象物の領域は、学習モデル３５による検出結果に含まれる検出対象物の位置情報によって指定されてもよい。

【0069】

また、取得部３０はカメラ２から第１画像を取得することとして説明したが、第１画像を記憶するサーバから取得してもよいし、複数のカメラ２から第１画像を収集する中継機器から第１画像を取得してもよい。

【0070】

また、本発明の様々な実施形態は、フローチャートおよびブロック図を参照して記載されてよく、ここにおいてブロックは、（１）操作が実行されるプロセスの段階または（２）操作を実行する役割を持つ装置のセクションを表わしてよい。特定の段階およびセクションが、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、および／またはコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタルおよび／またはアナログハードウェア回路を含んでよく、集積回路（ＩＣ）および／またはディスクリート回路を含んでよい。プログラマブル回路は、論理ＡＮＤ、論理ＯＲ、論理ＸＯＲ、論理ＮＡＮＤ、論理ＮＯＲ、および他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）等のようなメモリ要素等を含む、再構成可能なハードウェア回路を含んでよい。

【0071】

コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ-ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（ＲＴＭ）ディスク、メモリスティック、集積回路カード等が含まれてよい。

【0072】

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかを含んでよい。

【0073】

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して提供され、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

【0074】

図４は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ２２００の例を示す。コンピュータ２２００にインストールされたプログラムは、コンピュータ２２００に、本発明の実施形態に係る装置に関連付けられる操作または当該装置の１または複数のセクションとして機能させることができ、または当該操作または当該１または複数のセクションを実行させることができ、および／またはコンピュータ２２００に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ２２００に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定の操作を実行させるべく、ＣＰＵ２２１２によって実行されてよい。

【0075】

本実施形態によるコンピュータ２２００は、ＣＰＵ２２１２、ＲＡＭ２２１４、グラフィックコントローラ２２１６、およびディスプレイデバイス２２１８を含み、それらはホストコントローラ２２１０によって相互に接続されている。コンピュータ２２００はまた、通信インタフェース２２２２、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６、およびＩＣカードドライブのような入／出力ユニットを含み、それらは入／出力コントローラ２２２０を介してホストコントローラ２２１０に接続されている。コンピュータはまた、ＲＯＭ２２３０およびキーボード２２４２のようなレガシの入／出力ユニットを含み、それらは入／出力チップ２２４０を介して入／出力コントローラ２２２０に接続されている。

【0076】

ＣＰＵ２２１２は、ＲＯＭ２２３０およびＲＡＭ２２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ２２１６は、ＲＡＭ２２１４内に提供されるフレームバッファ等またはそれ自体の中にＣＰＵ２２１２によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス２２１８上に表示されるようにする。

【0077】

通信インタフェース２２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ２２２４は、コンピュータ２２００内のＣＰＵ２２１２によって使用されるプログラムおよびデータを格納する。ＤＶＤ－ＲＯＭドライブ２２２６は、プログラムまたはデータをＤＶＤ－ＲＯＭ２２０１から読み取り、ハードディスクドライブ２２２４にＲＡＭ２２１４を介してプログラムまたはデータを提供する。ＩＣカードドライブは、プログラムおよびデータをＩＣカードから読み取り、および／またはプログラムおよびデータをＩＣカードに書き込む。

【0078】

ＲＯＭ２２３０はその中に、アクティブ化時にコンピュータ２２００によって実行されるブートプログラム等、および／またはコンピュータ２２００のハードウェアに依存するプログラムを格納する。入／出力チップ２２４０はまた、様々な入／出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入／出力コントローラ２２２０に接続してよい。

【0079】

プログラムが、ＤＶＤ－ＲＯＭ２２０１またはＩＣカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ２２２４、ＲＡＭ２２１４、またはＲＯＭ２２３０にインストールされ、ＣＰＵ２２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ２２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ２２００の使用に従い情報の操作または処理を実現することによって構成されてよい。

【0080】

例えば、通信がコンピュータ２２００および外部デバイス間で実行される場合、ＣＰＵ２２１２は、ＲＡＭ２２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース２２２２に対し、通信処理を命令してよい。通信インタフェース２２２２は、ＣＰＵ２２１２の制御下、ＲＡＭ２２１４、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭ２２０１、またはＩＣカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。

【0081】

また、ＣＰＵ２２１２は、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６（ＤＶＤ－ＲＯＭ２２０１）、ＩＣカード等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ２２１４に読み取られるようにし、ＲＡＭ２２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ２２１２は次に、処理されたデータを外部記録媒体にライトバックする。

【0082】

様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ２２１２は、ＲＡＭ２２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ２２１４に対しライトバックする。また、ＣＰＵ２２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ２２１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

【0083】

上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ２２００上またはコンピュータ２２００近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ２２００に提供する。

【0084】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0085】

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0086】

１ 検出システム
２ カメラ
３ 装置
１０ 透光部材
３０ 取得部
３１ 表示部
３２ ラベル付加部
３３ 画像生成部
３４ 画像記憶部
３５ 学習モデル
３６ 学習処理部
３７ 供給部
３８ 判定部
２２００ コンピュータ
２２０１ ＤＶＤ－ＲＯＭ
２２１０ ホストコントローラ
２２１２ ＣＰＵ
２２１４ ＲＡＭ
２２１６ グラフィックコントローラ
２２１８ ディスプレイデバイス
２２２０ 入／出力コントローラ
２２２２ 通信インタフェース
２２２４ ハードディスクドライブ
２２２６ ＤＶＤ－ＲＯＭドライブ
２２３０ ＲＯＭ
２２４０ 入／出力チップ
２２４２ キーボード

【図1】

【図2】

【図3】

【図4】