特開 2023-74829 物体識別モデル作成システム、物体識別モデル作成方法および物体識別モデル作成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023074829

(43)【公開日】2023-05-30

(54)【発明の名称】物体識別モデル作成システム、物体識別モデル作成方法および物体識別モデル作成プログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20230523BHJP

   G06T 7/00 20170101ALI20230523BHJP

【ＦＩ】

G06N20/00

G06T7/00 350B

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2021187968

(22)【出願日】2021-11-18

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110000350

【氏名又は名称】ポレール弁理士法人

(72)【発明者】

【氏名】秋山 靖浩

(72)【発明者】

【氏名】辰巳 嵩豊

(72)【発明者】

【氏名】村上 泰

(72)【発明者】

【氏名】古林 雅佳

(72)【発明者】

【氏名】下脇 僚太

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096DA02

5L096FA14

5L096FA26

5L096FA60

5L096FA66

5L096HA11

5L096JA03

5L096JA11

5L096KA04

5L096MA07

(57)【要約】

【課題】未知領域の学習データを新たに用意しなくても、未知領域の物体検出に対応可能な物体識別モデルを作成する。
【解決手段】本発明の物体識別モデル作成システムは、未知観測条件データに類似する既知観測条件データを判定して、前記既知観測条件データに紐づく複数の既知観測画像データを出力する特徴量解析部と、前記特徴量解析部が出力した複数の前記既知観測画像データを入力として、スタイル変換することで疑似画像データを生成する疑似画像データ生成部と、前記既知観測画像データまたは前記疑似画像データ生成部が生成した疑似画像データを用いて機械学習を行い、物体識別モデルを作成する識別モデル学習部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

未知観測条件データに類似する既知観測条件データを判定して、前記既知観測条件データに紐づく複数の既知観測画像データを出力する特徴量解析部と、
前記特徴量解析部が出力した複数の前記既知観測画像データを入力として、スタイル変換することで疑似画像データを生成する疑似画像データ生成部と、
前記既知観測画像データまたは前記疑似画像データ生成部が生成した疑似画像データを用いて機械学習を行い、物体識別モデルを作成する識別モデル学習部と、
を備える物体識別モデル作成システム。

【請求項2】

請求項１に記載の物体識別モデル作成システムにおいて、
前記特徴量解析部は、前記未知観測条件データおよび前記既知観測条件データをクラス化したデータ列を特徴量化して類似度マップ上に配置するとともに、前記類似度マップ上の距離が前記未知観測条件データに近い前記既知観測条件データを判定する物体識別モデル作成システム。

【請求項3】

請求項２に記載の物体識別モデル作成システムにおいて、
前記特徴量解析部は、前記既知観測画像データのデータ列を特徴量化して類似度マップ上に配置するとともに、前記未知観測条件データに近いと判定された前記既知観測条件データに紐づく複数の既知観測画像データのうち、その重心から所定の距離以内にあるサンプルを出力する物体識別モデル作成システム。

【請求項4】

請求項１に記載の物体識別モデル作成システムにおいて、
前記疑似画像データ生成部は、複数の前記既知観測画像データに含まれる異なるカテゴリのそれぞれの元画像特徴だけでなく、異なるカテゴリの元画像特徴を合成した合成特徴を用いて事前学習することで画像変換モデルを作成し、前記画像変換モデルおよび複数の前記既知観測画像データを用いて前記疑似画像データを生成する物体識別モデル作成システム。

【請求項5】

未知観測条件データに類似する既知観測条件データを判定するステップと、
判定された前記既知観測条件データに紐づく複数の既知観測画像データを出力するステップと、
出力された複数の前記既知観測画像データを入力として、スタイル変換することで疑似画像データを生成するステップと、
前記既知観測画像データまたは前記疑似画像データを用いて機械学習を行い、物体識別モデルを作成するステップと、
を備える物体識別モデル作成方法。

【請求項6】

未知観測条件データに類似する既知観測条件データを判定するステップと、
判定された前記既知観測条件データに紐づく複数の既知観測画像データを出力するステップと、
出力された複数の前記既知観測画像データを入力として、スタイル変換することで疑似画像データを生成するステップと、
前記既知観測画像データまたは前記疑似画像データを用いて機械学習を行い、物体識別モデルを作成するステップと、
をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体識別モデル作成システム、物体識別モデル作成方法および物体識別モデル作成プログラムに関する。

【背景技術】

【0002】

機械学習で生成した識別器を利用して物体検出を実施する場合、学習に使用した学習画像の被写体特徴の影響を受け易いことが知られている。例えば、昼間の人物画像で学習した識別器は、夜間の人物検出には適さない場合が多い。

【0003】

水中の物体検出にも同様の傾向がみられる。ある地域Aにおける水中地点の観測画像を使用して学習した識別器は、物理的に離れた別の地域Bにおける水中地点の物体検出においては期待通りの検出精度が得られない場合がある。その理由の一つは、地域Aの環境と地域Bの環境が異なることで両者の観測データに含まれる目標物体の特徴に差異が生じることに起因すると考えられる。すなわち、地域Aで取得した学習データのみを用いた識別器では、地域Bのデータの特徴を識別することが困難なケースがある。

【0004】

水中探索の場合、例えば、超音波などを利用した探索方法あるが、水温、水底地形、水流速度および水質など、様々な水中観測環境の違いが影響する。水中観測環境の影響は、観測画像へ被写体ぼやけや被写体欠落の他、背景ノイズ発生などとして顕著な変化が現れることが多い。このため、物体識別モデルの学習時点の画像特徴と物体検出時に取得した画像特徴に差異が生じることがある。特に物理的に観測地点が大きく変わると水温、水底地形、水流速度および水質など全ての環境条件が大きく変化するため、より物体検出精度低下への影響が高まる。

【0005】

そこで、いわゆる未知領域の物体探索を想定した物体検出方法として、新たな環境下で実行可能な推論モデルを構築する方法が検討されている。例えば、特許文献１には、複数の推論モデルを予め用意しておき、各推論モデルに対象データを入力して推論を実行し、その推論結果を重み付けして統合することで、最終的な推論結果を得る方法が開示されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０２１－２２０７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１に記載の方法は、複数の推論モデルを用意することが前提であり、一般的な単一推論モデルと比べて、学習、識別および識別結果の統合などのシステム構築にかかる工数が増大する。さらに、特許文献１に記載の方法は、異なる推論モデルの推論結果に重み付けをすることで、推論モデル毎に目標物体らしさの確率値を積み重ねていることと等価であるため、未知領域の目標物体の特徴検出に適した推論モデルが予め存在しない場合は、検出が困難になる可能性がある。この場合は、未知領域の学習データを追加取得することで推論モデルを新たに用意する必要があると考えられる。

【0008】

本発明の目的は、未知領域の学習データを新たに用意しなくても、未知領域の物体検出に対応可能な物体識別モデルを作成することにある。

【課題を解決するための手段】

【0009】

本発明の物体識別モデル作成システムは、未知観測条件データに類似する既知観測条件データを判定して、前記既知観測条件データに紐づく複数の既知観測画像データを出力する特徴量解析部と、前記特徴量解析部が出力した複数の前記既知観測画像データを入力として、スタイル変換することで疑似画像データを生成する疑似画像データ生成部と、前記既知観測画像データまたは前記疑似画像データ生成部が生成した疑似画像データを用いて機械学習を行い、物体識別モデルを作成する識別モデル学習部と、を備える。

【0010】

また、本発明の物体識別モデル作成方法は、未知観測条件データに類似する既知観測条件データを判定するステップと、判定された前記既知観測条件データに紐づく複数の既知観測画像データを出力するステップと、出力された複数の前記既知観測画像データを入力として、スタイル変換することで疑似画像データを生成するステップと、前記既知観測画像データまたは前記疑似画像データを用いて機械学習を行い、物体識別モデルを作成するステップと、を備える。

【0011】

さらに、本発明の物体識別モデル作成プログラムは、未知観測条件データに類似する既知観測条件データを判定するステップと、判定された前記既知観測条件データに紐づく複数の既知観測画像データを出力するステップと、出力された複数の前記既知観測画像データを入力として、スタイル変換することで疑似画像データを生成するステップと、前記既知観測画像データまたは前記疑似画像データを用いて機械学習を行い、物体識別モデルを作成するステップと、をコンピュータに実行させる。

【発明の効果】

【0012】

本発明によれば、未知領域の学習データを新たに用意しなくても、未知領域の物体検出に対応可能な物体識別モデルを作成することが可能となる。

【図面の簡単な説明】

【0013】

【図1】本実施形態に係る物体識別モデル作成システムの全体構成を示す図。

【図2】特徴量解析部および疑似画像データ生成部による学習データ選択の概念を示す図。

【図3】特徴量解析部の処理手順を示す図。

【図4】物体検出の観測条件の一例を示す図。

【図5】既知観測条件データから観測条件の特徴量類似度マップを得る手順の例を示す図。

【図6】既知観測画像データから観測画像の特徴量類似度マップを得る手順の例を示す図。

【図7】疑似画像データ生成部のブロック図（全体）。

【図8】図７の一部を抜粋したブロック図（疑似画像データ生成部のうち事前学習の処理に関係する部分のブロック図）。

【図9】図７の他の一部を抜粋したブロック図（疑似画像データ生成部のうちスタイル変換データ生成の処理に関係する部分のブロック図）。

【図10】スタイル変換データ生成の概念を示す図。

【図11】スタイル変換データ生成で得られた疑似画像データによる識別モデル学習の利点を示す図。

【図12】本実施形態に係る物体識別モデルの作成フロー示す図。

【図13】本実施形態によって作成された物体識別モデルを適用した物体識別システムの例を示す図。

【発明を実施するための形態】

【0014】

以下、図面を参照して本発明の実施形態を説明する。実施形態は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施することが可能である。特に限定しない限り、各構成要素は単数でも複数でも構わない。

【0015】

同一あるいは同様の機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。また、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。

【0016】

実施形態において、プログラムを実行して行う処理について説明する場合がある。ここで、計算機は、プロセッサ（例えばＣＰＵ、ＧＰＵ）によりプログラムを実行し、記憶資源（例えばメモリ）やインターフェースデバイス（例えば通信ポート）等を用いながら、プログラムで定められた処理を行う。そのため、プログラムを実行して行う処理の主体を、プロセッサとしてもよい。同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノードであってもよい。プログラムを実行して行う処理の主体は、演算部であれば良く、特定の処理を行う専用回路を含んでいてもよい。ここで、専用回路とは、例えばＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）、ＣＰＬＤ（Complex Programmable Logic Device）等である。

【0017】

プログラムは、プログラムソースから計算機にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサと配布対象のプログラムを記憶する記憶資源を含み、プログラム配布サーバのプロセッサが配布対象のプログラムを他の計算機に配布してもよい。また、実施例において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。
本実施形態は、水中に存在する物体を観測する装置などに使用される、物体識別モデルを作成するためのシステムに関するものである。本実施形態に係る物体識別モデル作成システムは、例えば、超音波による水底に沈んでいる沈没船などの人工物の探索や、超音波による魚群探知にも適用できる。水中は、河川、海、湖、池などの他、人口的構造物に貯めた水中を含む。また、探索方法としては、超音波を利用する方法以外に、水上または水中カメラ撮影による画像探索、磁気探査や電磁誘導探査などの手法で得た観測データを利用する方法にも適用が可能である。さらに、本実施形態の物体識別モデル作成システムは、水中だけでなく、陸上、空中、地中などの領域にも適用が可能である。以下では、水中に存在する目標物体の検出を想定して説明する。

【0018】

図１は、本実施形態に係る物体識別モデル作成システム100の全体構成を示す図である。図１に示すように、本実施形態の物体識別モデル作成システム100は、特徴量解析部101と、疑似画像データ生成部102と、識別モデル学習部103と、を備える。

【0019】

ここで、特徴量解析部101は、未知観測条件データ104に類似する既知観測条件データ105を判定して、既知観測条件データ105に紐づく複数の既知観測画像データ106を出力するものである。すなわち、特徴量解析部101は、未知観測条件データ104、既知観測条件データ105および既知観測画像データ106を入力として、所定の既知観測画像データ106を疑似画像データ生成部102へ出力する。なお、既知観測条件データ105が未知観測条件データ104と類似するか否かの判定は、各データの所定パラメータ列の類似度を比較することで行われるが、判定方法の詳細は後述する。

【0020】

未知観測条件データ104とは、過去に実施されていない地域などを対象とする新規の観測を実行するために用いられる、未知の観測条件からなるデータ群のことである。既知観測条件データ105とは、既に実施済の地域などを対象とする既知の観測条件からなるデータ群のことである。既知観測画像データ106とは、既に実施済の地域などを対象とする既知の観測画像データ群のことである。既知観測条件データ105と既知観測画像データ106は、対となる組み合わせが必ず存在する。

【0021】

疑似画像データ生成部102は、特徴量解析部101が出力した複数の既知観測画像データ106を入力として、スタイル変換することで、各既知観測画像データ106に近い（類似する）特徴を有する類似画像データを生成するものである。

【0022】

識別モデル学習部103は、既知観測画像データ106および／または疑似画像データ生成部が生成した疑似画像データを用いて機械学習を行い、物体識別モデル107を作成するものである。

【0023】

図２は、特徴量解析部101および疑似画像データ生成部102による学習データ選択の概念を示す図である。図２のうち（ａ）は、複数の観測条件データの類似度の関係を表現した特徴量類似度マップ200である。ここでは、4個の既知観測条件データ(a(201)、b(202)、c(203)およびd(204))と１個の未知観測条件データz(205)が存在したとする。特徴量解析部101は、未知観測条件データz(205)の観測条件に特徴が似ている既知観測条件データを抽出するために、未知観測条件データz(205)と4個の既知観測条件データ(a(201)、b(202)、c(203)およびd(204))とを特徴量レベル(後述)で比較して、未知観測条件データz(205)と特徴が似ている複数個(同図の例では2個)の既知観測条件データを判定（選択）する。図２の例では、未知観測条件データz(205)と相対的に特徴量の距離が近い既知観測条件データa(201)と既知観測条件データd(204)が選択されたものとする。

【0024】

図２のうち（ｂ）は、複数の既知観測画像データの類似度の関係を表現した特徴量類似度マップ206である。ここでは、４個の既知観測画像データ(A(207)、B(208)、C(209)およびD(210))が存在し、既知観測条件データa(201)と既知観測画像データA(207)、既知観測条件データb(202)と既知観測画像データB(208)、既知観測条件データc(203)と既知観測画像データC(209)、既知観測条件データd(204)と既知観測画像データD(210)とが、それぞれの組み合わせでデータ同士が紐づいているものとする。ある複数種類の観測条件下で取得した観測画像について、個々の既知観測条件の特徴量マップ上の配置と既知観測画像の特徴量マップ上の配置は、類似するものと考えられる。したがって、疑似画像データ生成部102は、図２の（ａ）で選択した既知観測条件データa(201)と既知観測条件データd(204)に紐づいている既知観測画像データA(207)と既知観測画像データD(210)を用いて、未知観測条件データz(205)に対応する未知領域の学習画像データZ(211)を作成する。

【0025】

図３は、特徴量解析部101の処理手順を示す図である。既知観測条件の特徴量化部304は、取得済の既知観測条件データ105から所定の既知観測条件を入力し、既知観測条件データ105をクラス化した一次元のデータ列を特徴量化して観測条件の特徴量類似度マップ200上に配置する処理を行う。一方、既知観測画像の特徴量化部305は、取得済の既知観測画像データ106から所定の既知観測画像を入力し、既知観測画像データ106のデータ列を特徴量化して観測画像の特徴量類似度マップ206上に配置する処理を行う。ここで、全ての既知観測画像データ106には、検出目標とする物体の観測像が映り込んでいるものとする。未知観測条件の特徴量化部303は、未知観測条件データ104から所定の未知観測条件を入力し、未知観測条件データ104をクラス化したパタン列を特徴量化して観測条件の特徴量類似度マップ200上に配置する処理を行う。未知観測条件を特徴量類似度マップ200上に配置する手順は、既知観測条件を特徴量類似度マップ200上に配置する場合の手順と同様である。

【0026】

特徴量化とは、クラス化で割り当てた複数個の分類コード群に対して、クラス化した異なる観測条件同士またはクラス化した異なる観測画像同士の類似度を得るために実施する、オブジェクト変換処理のことである。特徴量化において、異なる観測条件同士または異なる観測画像同士の類似度を測る方法には、Euclidean距離演算、Manhattan距離演算COS距離演算などがある。これらの演算処理は、いずれも比較オブジェクト間の類似度を相対的な数値(距離)で表現する処理であり、数値が小さいほど比較オブジェクト間の類似度が高く、数値が大きいほど比較オブジェクト間の類似度が低く表現される。数値が0の場合は比較した双方のオブジェクトが一致していることを意味する。特徴量化の処理方法は任意に選択して良いが、本実施形態ではManhattan距離演算で実施するものとして述べる。

【0027】

学習画像データ抽出部306は、観測条件の特徴量類似度マップ200上の距離が未知観測条件に近い既知観測条件を１つ以上見つけ出し、これを未知観測条件データと類似度の高い既知観測条件データと判定する。また、学習画像データ抽出部306は、類似度が高いと判定された既知観測条件データに紐づく既知観測画像データを抽出する。このとき、学習画像データ抽出部306は、既知観測条件データに紐づく既知観測画像データの中でも、その重心（既知観測画像の特徴量化部305で得られた特徴量類似度マップ200上の重心）から所定の距離以内にあるサンプルのみを抽出しても良い。

【0028】

図４は、物体検出の観測条件の一例を示す図である。図４のうち（ａ）は、観測条件パラメータの具体例を示している。観測条件400には、観測項目401、観測設定値402および観測項目に関する備考403が含まれるが、本実施形態の処理中に参照するのは、観測項目401と観測設定値402である。

【0029】

観測項目401には、N個の項目があり、デバイス種別404、座標407、航行速度410などが含まれる。例えば、観測項目401がデバイス種別404の場合、観測設定値402には、観測で使用するデバイスの種類を表すパラメータとして、デバイスA(405)などが記録される。また、観測項目401が座標407の場合、観測設定値402には、観測位置を表すパラメータとして、緯度Eや経度F(408)などが記録される。さらに、観測項目401が航行速度410の場合、観測設定値402には、観測システムを搭載した観測船の航行する速度を表すパラメータとして、速度K(411)などが記録される。

【0030】

図４のうち（ｂ）は、観測条件データのクラス化の例を示している。クラス化するのは観測条件400の中の観測設定値402の部分である。クラス化とは、所定の観測条件の各パラメータについて予め設定され得る項目や数値範囲に分類して、その分類後の項目や数値範囲に所定の分類コード(クラス)を割り当てる処理のことである。例えば、観測に使用したデバイス種別404がデバイスAであるならば分類コードに数値の1が割り当てられ、この数値の1がクラスコード415になる。デバイス種別404がデバイスBであるならば分類コードに数値の2が割り当てられ、この数値の2がクラスコード415になる。デバイス種別404がデバイスCであるならば分類コードに数値の3が割り当てられ、この数値の3がクラスコード415になる。他の観測条件の各パラメータについても、同様に観測設定値402に対応する分類コードが割り当てられ、その数値がクラスコード415になる。

【0031】

図５は、既知観測条件データから観測条件の特徴量類似度マップを得る手順の例を示す図である。図５では、既知観測条件として観測条件A(500)、観測条件B(501)、観測条件C(502)および観測条件D(503)の4個のデータがあるものとする。なお、観測条件A～観測条件D(500～503)は対象座標(物理地点)などが異なるケースの既知観測条件データとする。

【0032】

既知観測条件のクラス化は、前述の通り、所定の観測条件の各パラメータについて予め設定された項目や数値範囲を分類して、その分類後の項目や数値範囲に所定の分類コード(クラス)を割り当てる処理のことである。そこで、特徴量解析部101は、観測条件A～観測条件D(500～503)についてクラス化したデータ列を、Manhattan距離演算で相対的な類似度を表す特徴量数値に変換する。Manhattan距離演算で得た特徴量数値は、水平距離と垂直距離の2次元ベクトル成分で表現可能であるため、2次元の特徴量類似度マップ1(507)上にサンプル点として配置される。

【0033】

特徴量類似度マップ1(507)の条件特徴量A(508)は、既知観測条件データの観測条件A(500)と紐づいている。同様に、条件特徴量B(509)は観測条件B(501)、条件特徴量C(510)は観測条件C(502)、そして条件特徴量D(511)は観測条件D(503)、と紐づいている。

【0034】

特徴量類似度マップ1(507)の各サンプル点間の配置距離が、観測条件データの相対的な類似度の関係を表している。サンプル点間の距離が近いほど観測条件データが似ていることを意味する。サンプル点間の距離が離れているほど観測条件データが似ていないことを意味する。

【0035】

例えば、条件特徴量A(508)と条件特徴量D(511)は、特徴量類似度マップ1(507)において距離が近い(512)ことから、互いの観測条件が似ていると判断される。また、条件特徴量A(508)と条件特徴量C(510)は特徴量類似度マップ1(507)において距離が離れていることから、互いの観測条件が似ていないと判断される。なお、未知観測条件データについて特徴量類似度マップ上の座標を得る手順についても、図５で示す手順が使用される。

【0036】

図６は、既知観測画像データから観測画像の特徴量類似度マップを得る手順の例を示す図である。図６では、既知観測画像データとして観測画像A(600)、観測画像B(601)、観測画像C(602)および観測画像D(603)の4個が存在するものとする。なお、全ての既知観測画像には、検出目標とする物体の観測像605が映り込んでいるものとする。また、この既知観測画像データは、図５に示した既知観測条件データのいずれかの観測条件データに紐づいているものとする。例えば、既知観測画像データの観測画像A(600)は既知観測条件データの観測条件A(500)に紐き、既知観測画像データの観測画像B(601)は既知観測条件データの観測条件B(501)に紐き、既知観測画像データの観測画像C(602)は既知観測条件データの観測条件C(502)に紐き、既知観測画像データの観測画像D(603)は既知観測条件データの観測条件D(503)に紐づいている、などである。

【0037】

特徴量解析部101は、既知観測画像データの観測画像A～観測画像D(600～603)が保有する全ての画像604の画素データ列(輝度値)をManhattan距離演算で相対的な類似度を表す特徴量数値に変換する。Manhattan距離演算で得た特徴量数値は、水平距離と垂直距離の2次元ベクトル成分で表現可能であるため、2次元の観測画像の特徴量類似度マップ2(607)上にサンプル点613として配置される。特徴量数値のサンプル点は、既知観測画像データとして保持されている数と同数個が配置される。

【0038】

特徴量類似度マップ2(607)の画像特徴量A(608)のサンプル点は、既知観測画像データの観測画像A(600)の画像グループと紐づいている。同様に、画像特徴量B(609)は観測画像B(601)、画像特徴量C(610)は観測画像C(602)、そして画像特徴量D(611)は観測画像D(603)と、それぞれの画像グループと紐づいている。

【0039】

特徴量類似度マップ2(607)のサンプル点間の配置距離が、観測画像データの相対的な類似度の関係を表している。サンプル点間の距離が近いほど観測画像データが似ていることを意味する。サンプル点間の距離が離れているほど観測画像データが似ていないことを意味する。

【0040】

例えば、画像特徴量A(608)と画像特徴量D(611)は、特徴量類似度マップ2(607)において（重心間の）距離が近いことから、互いの観測画像が似ていると判断される。また、画像特徴量B(609)と画像特徴量D(611)は、特徴量類似度マップ2(607)において（重心間の）距離が離れていることから、互いの観測画像が似ていないと判断される。

【0041】

図７は、疑似画像データ生成部102のブロック図（全体）である。疑似画像データの生成には、スタイル変換が用いられる。スタイル変換では、機械学習の訓練データとしてアンペアな二つの画像群を与えて、一方から他方への画像変換が自動的に行えるように画像生成器を作成する（詳細は後述）。また、疑似画像データの生成処理には、事前学習703と、スタイル変換データ生成707(画像生成器)と、の２つの処理がある。

【0042】

事前学習703は、既知領域の観測条件データおよび観測画像データの他、未知領域の観測条件データを入力として、一方から他方へ疑似的に画像変換を行う機能を有する画像変換モデルを出力する。スタイル変換データ生成707は、事前学習703が出力した画像変換モデルに基づき、既知領域の画像データを入力として新たな画像生成を行い、未知領域の物体検出用の識別モデル学習に適用可能な疑似画像データを出力する。

【0043】

図８は、図７の一部を抜粋したブロック図、すなわち、疑似画像データ生成部102のうち事前学習703の処理に関係する部分のブロック図である。前述の通り、事前学習703は、スタイル変換データ生成処理を実行するための画像変換モデル704を作成する。ここでは、既知領域A(701)の観測条件データ7011および観測画像データ7012と、既知領域D(702)の観測条件データ7021および観測画像データ7022に加えて、さらに未知領域Z(700)の観測条件データ7001を用いて事前学習が行われる。なお、本実施形態では、既知領域A(701)および既知領域D(702)の両データが未知領域Z(700)と類似する既知領域のデータとして事前学習に用いられるが、既知領域A(701)か既知領域D(702)の一方のデータのみを用いて事前学習が行われても良い。

【0044】

既知領域の観測条件データに未知領域の観測条件データを追加することにより、既知領域A(701)と既知領域D(702)の中間的な特徴を有する疑似画像が出力できるだけでなく、未知領域寄りの影響を受けるように類似画像特徴成分の構成パタンを意図的に操作することもできる。スタイル変換データ生成処理における疑似画像特徴成分の構成パタンは、事前学習の終了後に最適なバランスで一義的に固定される。事前学習703の出力は、一方から他方へ疑似的に画像変換を行う機能を有する画像変換モデル704である。

【0045】

図９は、図７の他の一部を抜粋したブロック図、すなわち、疑似画像データ生成部102のうちスタイル変換データ生成707の処理に関係する部分のブロック図である。前述の通り、スタイル変換データ生成707は、画像変換モデル704に基づき、既知領域A(701)の観測画像データ7012および既知領域D(702)の観測画像データ7022を入力して新たな画像生成を行い、未知領域Z(708)の物体検出用の識別モデル学習に適用可能な疑似画像データ710を出力する。

【0046】

画像変換モデル704は、疑似画像特徴成分の構成パタンの手順を事前学習703の段階で取得しているため、スタイル変換データ生成707の処理では、最適なバランスで一義的に固定された構成パタンで変換するように動作する。

【0047】

図１０は、スタイル変換データ生成の概念を示す図である。図１０に示すように、スタイル変換データ生成707の処理では、既知領域A(701)の疑似画像データ7013と、既知領域D(702)の疑似画像データ7023と、が入力される。本実施形態では、種類(カテゴリ)の異なる二種類の画像群が入力されるようになっているが、元となる(同一カテゴリに属して画像特徴が類似する)既知画像データが入力されても良い。また、入力される画像データの中に、疑似画像データと既知画像データが混在しても良い。

【0048】

スタイル変換データ生成707は、既知領域A(701)の疑似画像データ7013の入力部X(1001)と、既知領域D(702)の疑似画像データ7023の入力部Y(1002)と、入力部X(1001)の画像群(画像X)から入力部Y(1002)の画像群(画像Y)への写像変換生成器G(1005)と、入力部Y(1002)の画像群(画像Y)から入力部X(1001)の画像群(画像X)への逆写像変換生成器F(1006)と、画像Xと逆写像変換器F(1006)の出力である画像X’との特徴的類似度を検査して画像特徴が似ているか否かを判定する真偽判定器DX(1003)と、画像Yと写像変換器G(1005)の出力である画像Y’との特徴的類似度を検査して、画像特徴が似ているか否かを判定する真偽判定器DY(1006)と、で構成される。

【0049】

逆写像変換器F(1006)の出力について真偽判定器DX(1003)が真である(画像特徴が似ている)と判定した画像が、未知領域Z(708)の疑似画像データとして出力される。さらに、写像変換器G(1005)の出力について真偽判定器DY(1004)が真であると判定した画像も、未知領域Z(708)の疑似画像データとして出力される。つまり、未知領域Z(708)の疑似画像データは、写像変換器G(1005)と逆写像変換器F(1006)の両方の出力から得られる。

【0050】

図１１は、スタイル変換データ生成707で得られた疑似画像データによる識別モデル学習の利点を示す図である。

【0051】

図１１のうち（ａ）は、従来(非スタイル変換)方式の物体識別モデルの適用例である。入力は単一カテゴリに属する物体画像(1100)であるため、機械学習1102においても単一カテゴリに含まれる特徴(1103)のみを学習することになる。その結果、物体識別1007では、元のカテゴリに似ている物体画像は識別成功(1104)となるが、元のカテゴリに似ていない物体画像は識別失敗(1105)となる。すなわち、既知領域に属する元カテゴリの画像特徴のみ識別が可能であり、未知領域で識別できない物体が生じる確率が高まる。

【0052】

図１１のうち（ｂ）は、スタイル変換型データ生成方式の物体識別モデルの適用例である。入力として、複数カテゴリに属する物体画像(1100)が混在している場合、機械学習1107においては複数カテゴリに含まれる特徴(1106)の全てを学習することになる。つまり、機械学習1107では、元画像特徴だけでなく、元画像特徴の合成パタンの画像特徴も学習(非類似特徴を同時学習)する。その結果、物体識別1109では、元カテゴリに似ている画像特徴の識別成功(1110，1111)に加え、元カテゴリの異なる特徴が含まれた合成特徴についても識別可能(1112)となる。すなわち、未知領域で識別できない物体が生じる確率が低くなる。

【0053】

なお、従来方式に複数カテゴリの物体画像が入力されても、元カテゴリの異なる特徴をランダムに合成した特徴を学習することになり、物体識別では、いずれの物体も検出できない可能性が高まると考えられるため、実用には適さない。

【0054】

図１２は、本実施形態に係る物体識別モデルの作成フロー示す図である。まず、特徴量解析部101が、観測しようとする未知領域と類似する観測条件データを有する既知領域を判定し、当該既知領域の観測画像データを選択する(ステップS1200)。次に、疑似画像データ生成部102が、選択された観測画像データを入力として、スタイル変換データ生成(画像生成器)のための事前学習を実行(ステップS1201)し、画像変換モデルを出力する(ステップS1202)。さらに、疑似画像データ生成部102は、画像変換モデルを用いてスタイル変換データ生成を実行し(ステップS1203)、入力された観測画像データに類似する疑似画像データを出力する(ステップS1204)。その後、識別モデル学習部103が、出力された疑似画像データを用いて識別モデル学習を行い(ステップS1205)、最終的に物体識別モデルを出力する(ステップS1206)。なお、出力された物体識別モデルは、未知領域の物体検出に利用される。

【0055】

図１３は、本実施形態によって作成された物体識別モデルを適用した物体識別システムの例を示す図であり、（ａ）は第１の適用例、（ｂ）は第２の適用例、をそれぞれ示す。

【0056】

図１３の（ａ）に示す第１の適用例は、物体検出処理に必要な装置が船舶などの水上移動体に設置されて、スタンドアローンで識別処理を行うものである。例えば超音波を利用した探索信号送受信装置1300は、水中への超音波送信および反射信号受信を行うとともに受信した反射信号を観測画像として可視化変換する。可視化変換された観測画像は、その観測条件とともに画像蓄積装置1301に記録される。PC(1302)は、観測画像を入力として、前述の方法で生成された物体識別モデルを含む探索信号解析プログラム1305に基づき、物体の識別処理を行う。探索信号解析プログラム1305による識別結果は、モニタ1303に表示される。また、識別結果画像は、既知観測条件および既知観測画像と関連付けを行った状態で、識別結果蓄積装置1304に蓄積される。なお、画像蓄積装置1301と識別結果蓄積装置1304は、同一の蓄積装置に集約されても良い。

【0057】

図１３の（ｂ）に示す第２の適用例は、物体検出処理に必要な装置がクラウド運用システムとしてネットワーク上に設置されて、クラウドで識別処理を行うものである。クラウドは、インターネット経由でコンピューティング、データベース、ストレージ、アプリケーションなどの様々なＩＴリソースをオンデマンドで利用する実行形態のことである。探索信号送受信装置1300は、水中への超音波送信および反射信号受信を行うとともに受信した反射信号を観測画像として可視化変換する。可視化変換された観測画像は、ホストPC(1313)とネットワーク1307上の制御PC(1308)とを介して、画像蓄積装置1301に記録される。サブPC(1310)は、物体識別モデルを含む探索信号解析プログラム1305に基づき、物体の識別処理を行う。サブPC(1310)は、複数台設置されて、物体検出処理を並列で実行するようにしても良い。探索信号解析プログラム1305による識別結果は、識別結果蓄積装置1304に蓄積されるとともに、ネットワーク1307上のホストPC(1313)を経由して、モニタ1303に表示される。

【0058】

第２の適用例では、探索信号送受信装置1300、ホストPC(1313)およびモニタ1303は、船舶などの水上移動体に設置され、制御PC(1308)、画像蓄積装置1301、サブPC(1310)および識別結果蓄積装置1304は、クラウド上に設置される。なお、画像蓄積装置1301および識別結果蓄積装置1304には、第１の適用例と同様に、識別結果画像、既知観測条件および既知観測画像と相互に関連付けを行った状態で記録される。

【符号の説明】

【0059】

１００…物体識別モデル作成システム
１０１…特徴量解析部
１０２…疑似画像データ生成部
１０３…識別モデル学習部
１０４…未知観測条件データ
１０５…既知観測条件データ
１０６…既知観測画像データ
１０７…物体識別モデル
７０３…事前学習
７０７…スタイル変換データ生成

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】