特許 7567251 画像データ学習装置、目標類別装置及びセンサ装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-07

(45)【発行日】2024-10-16

(54)【発明の名称】画像データ学習装置、目標類別装置及びセンサ装置

(51)【国際特許分類】

   G01S 13/90 20060101AFI20241008BHJP

   G06N 20/00 20190101ALI20241008BHJP

   G06T 7/246 20170101ALI20241008BHJP

【ＦＩ】

G01S13/90 191

G01S13/90 164

G06N20/00

G06T7/246

【請求項の数】 16

(21)【出願番号】P 2020127211

(22)【出願日】2020-07-28

(65)【公開番号】P2022024553

(43)【公開日】2022-02-09

【審査請求日】2023-07-06

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(74)【代理人】

【識別番号】100109612

【弁理士】

【氏名又は名称】倉谷 泰孝

(74)【代理人】

【識別番号】100116643

【弁理士】

【氏名又は名称】伊達 研郎

(74)【代理人】

【識別番号】100184022

【弁理士】

【氏名又は名称】前田 美保

(72)【発明者】

【氏名】大政 洋平

(72)【発明者】

【氏名】諏訪 啓

(72)【発明者】

【氏名】古田 哲朗

(72)【発明者】

【氏名】野上 陽平

【審査官】安井 英己

(56)【参考文献】

【文献】特開２００４－１８４１８４（ＪＰ，Ａ）

【文献】特開２００１－３２４５６７（ＪＰ，Ａ）

【文献】特開平０８－２７１６１２（ＪＰ，Ａ）

【文献】特開２０２０－００３３７９（ＪＰ，Ａ）

【文献】中国特許出願公開第１１０７８１８２２（ＣＮ，Ａ）

【文献】米国特許第０５４９７１５８（ＵＳ，Ａ）

【文献】特開平０９－１５２４８０（ＪＰ，Ａ）

【文献】特開平０９－０８０１４６（ＪＰ，Ａ）

【文献】中国特許出願公開第１０６０９６５０６（ＣＮ，Ａ）

【文献】中国特許出願公開第１０９０７４６４３（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ ７／００－ ７／４２，

Ｇ０１Ｓ １３／００－１３／９５，

Ｇ０６Ｎ ２０／００，

Ｇ０６Ｔ ７／２４６

(57)【特許請求の範囲】

【請求項1】

観測点に設置されたセンサによって得られた画像データから目標を類別するために学習結果を生成する画像データ学習装置であって、
前記画像データが入力される画像入力部と、
前記目標に対する前記センサの主光線の角度であるアスペクト角が入力されるアスペクト角入力部と、
前記アスペクト角入力部に入力された前記アスペクト角に対応する前記画像データから前記目標を類別するように学習する学習部とを備え、
前記画像入力部は、前記観測点から前記目標までの距離を示す情報と関連付けられた前記画像データが入力され、または、前記アスペクト角入力部は、前記観測点から前記目標までの距離を示す情報と関連付けられた前記アスペクト角が入力され、
前記学習部は、前記距離を示す情報から、前記画像データを所定の縮尺に変換した前記画像データを使用して学習する画像データ学習装置。

【請求項2】

前記角度は、前記目標と前記センサの前記主光線との方位角および前記目標と前記センサの前記主光線との仰角で構成される請求項１に記載の画像データ学習装置。

【請求項3】

前記学習部は、前記アスペクト角入力部に入力された前記アスペクト角に対応する前記画像データと前記目標の種別とを関連付けて学習する請求項１又は請求項２に記載の画像データ学習装置。

【請求項4】

前記目標の種別は、前記目標の名前、前記目標の寸法、前記目標の性能、前記目標の所属国、及び前記目標の所属組織のうち少なくとも一つが含まれた情報である請求項３に記載の画像データ学習装置。

【請求項5】

前記アスペクト角入力部は、前記観測点の位置と、移動体である前記目標の移動方向の情報とから算出された前記アスペクト角が入力される請求項１から請求項４のいずれか１項に記載の画像データ学習装置。

【請求項6】

前記アスペクト角入力部は、前記観測点の位置と、前記目標を追尾して得られた前記移動方向の情報とから算出された前記アスペクト角が入力される請求項５に記載の画像データ学習装置。

【請求項7】

センサから得られた画像データが入力される画像入力部と、目標に対する前記センサの主光線の角度であるアスペクト角が入力されるアスペクト角入力部と、前記アスペクト角入力部に入力された前記アスペクト角に対応する前記画像データから前記目標を類別するように学習する学習部とを有する画像データ学習装置と、
前記目標が同一でアスペクト角が異なる複数の新たに得た新規画像データが入力される新規画像入力部と、
前記新規画像データに対応する前記アスペクト角が入力される新規アスペクト角入力部と、
前記学習部が学習した学習結果に基づいて、複数の前記新規画像データごとに対応する前記目標を類別し、前記目標を類別した結果が全て一致する場合は、前記目標に対応する種別を判定する目標類別部とを備える目標類別装置。

【請求項8】

前記目標類別部は、前記学習部が学習した前記学習結果に基づいて、前記新規画像データを所定の縮尺に変換した前記新規画像データを使用して、前記目標の種別を判定する請求項７に記載の目標類別装置。

【請求項9】

前記目標類別部は、前記新規画像データごとの前記アスペクト角から、類別に使用する前記学習結果の範囲を制限する請求項７又は請求項８に記載の目標類別装置。

【請求項10】

前記目標類別部は、前記学習部が学習して前記アスペクト角ごとに生成した前記学習結果に基づいて、前記目標を類別する請求項７から請求項９のいずれか１項に記載の目標類別装置。

【請求項11】

前記目標類別部は、前記新規画像データに対応する前記アスペクト角が、前記アスペクト角入力部に入力された前記アスペクト角と一致するものがない、又は、前記アスペクト角入力部に入力された前記アスペクト角からの誤差が予め定められた範囲にないときは、最も近い角度の前記学習結果に基づいて、前記目標を類別する請求項７から請求項１０のいずれか１項に記載の目標類別装置。

【請求項12】

センサから得られた画像データが入力される画像入力部と、目標に対する前記センサの主光線の角度であるアスペクト角が入力されるアスペクト角入力部と、前記アスペクト角入力部に入力された前記アスペクト角に対応する前記画像データから前記目標を類別するように学習する学習部とを有する画像データ学習装置と、
前記目標が同一でアスペクト角が異なる複数の新たに得た新規画像データが入力される新規画像入力部と、
前記新規画像データに対応する前記アスペクト角が入力される新規アスペクト角入力部と、
前記学習部が学習した学習結果に基づいて、複数の前記新規画像データごとに対応する前記目標を類別し、前記目標を類別した結果に一致しないものが含まれており、一致するものの数に対して一致しないものの数が少ない場合は、一致するものを類別した結果として、前記目標に対応する種別を判定する目標類別部とを備える目標類別装置。

【請求項13】

観測点に設置されたセンサから得られた画像データが入力される画像入力部と、目標に対する前記センサの主光線の角度であるアスペクト角が入力されるアスペクト角入力部と、前記アスペクト角入力部に入力された前記アスペクト角に対応する前記画像データから前記目標を類別するように学習する学習部とを有し、前記画像入力部は、前記観測点から前記目標までの距離を示す情報と関連付けられた前記画像データが入力され、または、前記アスペクト角入力部は、前記観測点から前記目標までの距離を示す情報と関連付けられた前記アスペクト角が入力され、前記学習部は、前記距離を示す情報から、前記画像データを所定の縮尺に変換した前記画像データを使用して学習する画像データ学習装置と、
新たに得た新規画像データが入力される新規画像入力部と、前記新規画像データに対応する前記アスペクト角が入力される新規アスペクト角入力部と、前記学習部が学習した学習結果に基づいて、前記新規画像データから前記目標を類別する目標類別部とを有する目標類別装置と、
前記目標を追尾する追尾装置と、
前記新規画像データを前記新規画像入力部へ送るために、前記追尾装置で追尾した前記目標を撮影する前記センサとを備え、
前記追尾装置は、前記新規画像データに対応する前記アスペクト角を前記新規アスペクト角入力部へ送るために、前記目標を追尾するセンサ装置。

【請求項14】

前記目標類別部が類別する前記画像データは、光学画像データであって、
前記センサは、前記新規画像データである前記光学画像データを前記新規画像入力部へ送るために、前記追尾装置で追尾した前記目標を撮像する撮像素子である請求項１３に記載のセンサ装置。

【請求項15】

前記目標類別部が類別する前記画像データは、ＳＡＲ画像データであって、
前記追尾装置は、前記目標を追尾する追尾レーダであり、前記センサは、前記新規画像データである前記ＳＡＲ画像データを前記新規画像入力部へ送るために、前記追尾レーダで追尾した前記目標へ送信ビームを送信する合成開口レーダであり、
前記追尾レーダは、新たに得た新規ＳＡＲ画像データに対応する前記アスペクト角を前記新規アスペクト角入力部へ送るために、前記目標を追尾する請求項１３に記載のセンサ装置。

【請求項16】

前記目標類別部が類別する前記画像データは、ＩＳＡＲ画像データであって、
前記追尾装置は、前記目標を追尾する追尾レーダであり、前記センサは、前記新規画像データである前記ＩＳＡＲ画像データを前記新規画像入力部へ送るために、前記追尾レーダで追尾した前記目標へ送信ビームを送信する逆合成開口レーダであり、
前記追尾レーダは、新たに得た新規ＩＳＡＲ画像データに対応する前記アスペクト角を前記新規アスペクト角入力部へ送るために、前記目標を追尾する請求項１３に記載のセンサ装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像データを学習する画像データ学習装置、これを用いた目標類別装置及びセンサ装置に関するものである。

【背景技術】

【0002】

従来から、目標を類別するために画像データを得るセンサ装置としては、カメラや望遠鏡などの撮像素子を有する撮像装置（例えば、特許文献１参照）や、合成開口レーダ（ＳＡＲ：Ｓｙｎｔｈｅｔｉｃ Ａｐｅｒｔｕｒｅ Ｒａｄａｒ）や逆合成開口レーダ（ＩＳＡＲ：Ｉｎｖｅｒｓｅ Ｓｙｎｔｈｅｔｉｃ Ａｐｅｒｔｕｒｅ Ｒａｄａｒ）などのレーダ装置（例えば、特許文献２参照）がある。

【0003】

特許文献１に開示される撮像装置である望遠鏡おいて、衛星を観測する観測装置が、画像から衛星の位置などから衛星の識別する機能が設けられている。この望遠鏡は、移動体の放射光又は反射光の輝度が小さい時間帯においても、移動体を識別することを特徴としている。

【0004】

特許文献２に開示される合成開口レーダや逆合成開口レーダは、レーダエコーから作成されるＳＡＲ画像やＩＳＡＲ画像を用いて目標識別を行う処理に利用されている。例えば、ＩＳＡＲ画像であれば、ＩＳＡＲにより捕捉された目標と、予めデータベースに記憶されている目標形状モデルとを模擬、照合する手法、ＩＳＡＲ画像及び目標形状モデルの双方からそれぞれ複数の特徴点を抽出する手法がある。

【0005】

従来、目標類別装置には、ＩＳＡＲ画像から目標の識別を常に精度良く行うために、ＩＳＡＲ画像から目標の全長と構造物の大きさとを抽出し、それらに基づいて目標の識別を行うものがある（例えば、特許文献３参照）。また、目標類別装置には、識別目標の回転運動による姿勢変化をパラメータとして、識別目標の三次元モデルから疑似ＩＳＡＲ画像を生成するものがある（例えば、特許文献４参照）。

【0006】

さらに、ＳＡＲ画像やＩＳＡＲ画像の類別などに使用するために、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）などを使った機械学習による学習モデルを作成するものがある（例えば、特許文献２参照）。一方、ＩＳＡＲ画像の類別において、観測諸元パラメータの離散的分布の影響を補い、適合度の高いフィルタを生成して、高精度な種類判定を行うものがある（例えば、特許文献５参照）。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２０１７－７２８８８号公報

【文献】ＷＯ２０２０－３５８６

【文献】特開２００１－２２１８５７号公報

【文献】特開２００４－９３１６６号公報

【文献】特開２０１２－１２７９２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、特許文献２に開示されるような従来の機械学習は、類別するために使用する学習結果の範囲を制限する学習モデルが検討されていないという課題があった。

【0009】

本開示は、上記のような課題を解決するためになされたものであり、類別するために使用する学習結果の範囲を制限できるように、学習結果を生成する画像データ学習装置、これを用いた目標類別装置及びセンサ装置を得ることを目的とする。

【課題を解決するための手段】

【0010】

本開示に係る画像データ学習装置は、観測点に設置されたセンサによって得られた画像データから目標を類別するために学習結果を生成する画像データ学習装置であって、前記画像データが入力される画像入力部と、前記目標に対する前記センサの主光線の角度であるアスペクト角が入力されるアスペクト角入力部と、前記アスペクト角入力部に入力された前記アスペクト角に対応する前記画像データから前記目標を類別するように学習する学習部とを備え、前記画像入力部は、前記観測点から前記目標までの距離を示す情報と関連付けられた前記画像データが入力され、または、前記アスペクト角入力部は、前記観測点から前記目標までの距離を示す情報と関連付けられた前記アスペクト角が入力され、前記学習部は、前記距離を示す情報から、前記画像データを所定の縮尺に変換した前記画像データを使用して学習するものである。

【0011】

本開示に係る目標類別装置は、センサから得られた画像データが入力される画像入力部と、目標に対する前記センサの主光線の角度であるアスペクト角が入力されるアスペクト角入力部と、前記アスペクト角入力部に入力された前記アスペクト角に対応する前記画像データから前記目標を類別するように学習する学習部とを有する画像データ学習装置と、前記目標が同一でアスペクト角が異なる複数の新たに得た新規画像データが入力される新規画像入力部と、前記新規画像データに対応する前記アスペクト角が入力される新規アスペクト角入力部と、前記学習部が学習した学習結果に基づいて、複数の前記新規画像データごとに対応する前記目標を類別し、前記目標を類別した結果が全て一致する場合は、前記目標に対応する種別を判定する目標類別部とを備えるものである。

【0012】

本開示に係るセンサ装置は、観測点に設置されたセンサから得られた画像データが入力される画像入力部と、目標に対する前記センサの主光線の角度であるアスペクト角が入力されるアスペクト角入力部と、前記アスペクト角入力部に入力された前記アスペクト角に対応する前記画像データから前記目標を類別するように学習する学習部とを有し、前記画像入力部は、前記観測点から前記目標までの距離を示す情報と関連付けられた前記画像データが入力され、または、前記アスペクト角入力部は、前記観測点から前記目標までの距離を示す情報と関連付けられた前記アスペクト角が入力され、前記学習部は、前記距離を示す情報から、前記画像データを所定の縮尺に変換した前記画像データを使用して学習する画像データ学習装置と、新たに得た新規画像データが入力される新規画像入力部と、前記新規画像データに対応する前記アスペクト角が入力される新規アスペクト角入力部と、前記学習部が学習した学習結果に基づいて、前記新規画像データから前記目標を類別する目標類別部とを有する目標類別装置と、前記目標を追尾する追尾装置と、前記新規画像データを前記新規画像入力部へ送るために、前記追尾装置で追尾した前記目標を撮影する前記センサとを備え、前記追尾装置は、前記新規画像データに対応する前記アスペクト角を前記新規アスペクト角入力部へ送るために、前記目標を追尾するものである。

【発明の効果】

【0013】

本開示によれば、特定のアスペクト角で得られた画像データであっても、類別が可能な学習結果を得ることができる画像データ学習装置、これを用いた目標類別装置及びセンサ装置を得ることができる。

【図面の簡単な説明】

【0014】

【図1】実施の形態１に係るＩＳＡＲ画像データ学習装置の機能ブロック図である。

【図2】実施の形態１に係るＩＳＡＲ画像データ学習装置の動作（ＩＳＡＲ画像データ学習方法）を説明するフローチャートである。

【図3】実施の形態１に係るＩＳＡＲ画像データ学習装置に入力されるＩＳＡＲ画像データ（実施の形態１に係る目標類別装置に入力される新規のＩＳＡＲ画像データ）を取得するための実施の形態１に係るレーダ装置、その走査範囲、目標を示す例示図である。

【図4】実施の形態１に係るＩＳＡＲ画像データ学習装置、目標類別装置、レーダ装置の機能ブロック図である。

【図5】実施の形態１に係るＩＳＡＲ画像データ学習装置及び目標類別装置の動作（目標類別方法）を説明するフローチャートである。

【図6】実施の形態１に係る画像データ学習装置の機能ブロック図である。

【図7】実施の形態１に係る画像データ学習装置の動作（画像データ学習方法）を説明するフローチャートである。

【図8】実施の形態１に係る画像データ学習装置、目標類別装置、センサ装置の機能ブロック図である。

【図9】実施の形態１に係る画像データ学習装置及び目標類別装置の動作（目標類別方法）を説明するフローチャートである。

【発明を実施するための形態】

【0015】

本願におけるセンサ装置は、カメラや望遠鏡などの撮像素子を有する撮像装置、ＳＡＲやＩＳＡＲなどのレーダ装置が好適である。なお、ＳＡＲは、前述の通り、Ｓｙｎｔｈｅｔｉｃ Ａｐｅｒｔｕｒｅ Ｒａｄａｒの略であり、合成開口レーダのことである。ＩＳＡＲは、前述の通り、Ｉｎｖｅｒｓｅ Ｓｙｎｔｈｅｔｉｃ Ａｐｅｒｔｕｒｅ Ｒａｄａｒの略であり、逆合成開口レーダのことである。

【0016】

本願では、図１から図５を用いて、センサ装置の好適な例として、ＩＳＡＲを用いたレーダ装置を説明する。これにより、画像データ学習装置は、ＩＳＡＲ画像データ学習装置である場合を説明することになる。すなわち、画像データがＩＳＡＲ画像データの場合である。次いで、図６から図９を用いて、画像データ学習装置及びセンサ装置の一般的な説明を行う。また、図示は省略するが、センサ装置の好適な他の例としては、ＳＡＲを用いたレーダ装置である場合（画像データ学習装置がＳＡＲ画像データ学習装置となる）や、撮像素子を用いた撮像装置（カメラ、望遠鏡など）である場合（画像データ学習装置が光学画像データ学習装置となる）が考えられる。

【0017】

実施の形態１．
以下、実施の形態１に係るＩＳＡＲ画像データ学習装置、これを用いた目標類別装置及びレーダ装置（実施の形態１に係る目標類別装置、実施の形態１に係るレーダ装置）について、図１から図５を用いて説明する。図中、同一符号は、同一又は相当部分を示し、それらについての詳細な説明は省略する。

【0018】

図３において、観測対象である目標１は、例えば、船舶や航空機などの移動体である。目標１の機体は、線状構造であるものが好ましい。つまり、目標１に対して相対的な観測点が変わったときに、目標１の形状が変わるようなものが好ましい。なお、線状構造であれば、側方から観察した場合と、前方又は後方から観察した場合は、形状が異なることは容易に理解できる。また、観測点自体が移動してもよいし、目標１が移動してもよい。本願では、複数の種別の目標１が存在することを前提にして学習するものである。よって、学習の量が進むにつれ、後述する新規のＩＳＡＲ画像データ撮影が未知の目標１のものの場合も、類似する種別の有無の判定や、類似のものがないという判定もすることができる。

【0019】

図１及び図３において、ＩＳＡＲ画像データ学習装置２は、観測点に設置された逆合成開口レーダ１２によって得られたＩＳＡＲ画像データから対応する目標１を類別して目標１に対応する種別を判定するときに、目標１に対する逆合成開口レーダ１２の送信ビームの角度であるアスペクト角から、類別するために使用する学習結果の範囲を制限できるように、学習結果を生成する（実施の形態１に係るＩＳＡＲ画像データ学習装置）。なお、アスペクト角は、目標１の機体が線状構造である場合、目標１の線状構造に対する逆合成開口レーダ１２の送信ビームの角度であるといえる。また、アスペクト角は、観測点からＩＳＡＲ１２の送信ビーム方向と、観測点のＩＳＡＲ１２に対して相対的な目標１の移動方向とが成す角度ともいえる。いずれの場合でも、アスペクト角は、方位角及び仰角で構成されているものである。方位角方向の角度を固定（又は値なしに）して、アスペクト角が仰角だけの情報としてもよいし、仰角方向の角度を固定（又は値なしに）して、アスペクト角が方位角だけの情報としてもよい。

【0020】

図１及び図３において、ＩＳＡＲ画像入力部３は、目標１ごとにＩＳＡＲ画像データが入力されるものである。アスペクト角入力部４は、ＩＳＡＲ画像入力部３に入力されたＩＳＡＲ画像データごとのアスペクト角が入力されるものである。ＩＳＡＲ画像データ及びアスペクト角は、それぞれシミュレーションで得た模擬データでもよい。学習部５は、アスペクト角入力部４に入力されたアスペクト角に対応するＩＳＡＲ画像データと、目標１の種別とを関連付けて学習するものである。目標１の種別の情報は、ＩＳＡＲ画像データに付与しておけばよい。また、学習部５は、アスペクト角ごと学習結果に生成してもよい。

【0021】

目標１の種別としては、目標１の機種名、機体の寸法、機体の性能、機体の所属国・所属組織の少なくとも一つが含まれた情報であればよい。また、同じ目標１の種別であっても、ＩＳＡＲ画像データを取得したアスペクト角が異なれば、ＩＳＡＲ画像データに表される目標１の形状が異なる。目標１が前述の線状構造であれば、これが顕著である。すなわち、ＩＳＡＲ画像入力部３に入力されるＩＳＡＲ画像データは、同じ目標１であっても、アスペクト角入力部４に入力されるアスペクト角が異なる場合があるということになる。ＩＳＡＲ画像データは、実際にＩＳＡＲ１２で取得したものでなく模擬用のデータであってもよい。アスペクト角は、実際に追尾レーダ１１（後述）で取得したものでなく模擬用のデータであってもよい。なお、目標１は線状構造が好適としたが、目標１は、アスペクト角が異なると、ＩＳＡＲ画像データに表される目標１の形状が異なるものと定義してもよい。また、同じ目標１でも、ＩＳＡＲ画像データに表される目標１の形状が異なるようになるアスペクト角のものを選抜して学習するとしてもよい。

【0022】

図１（Ａ）は、観測点から目標１までの距離の情報は、学習部５が学習する対象にしていないＩＳＡＲ画像データ学習装置２を示している。一方、図１（Ｂ）は、観測点から目標１までの距離の情報は、学習部５が学習する対象にしているＩＳＡＲ画像データ学習装置２を示している。学習部５で学習させる距離の情報の入力は、図１（Ｂ）に示すように、ＩＳＡＲ画像入力部３経由でも、アスペクト角入力部４経由でもよい。つまり、ＩＳＡＲ画像入力部３は、観測点から目標１までの距離の情報と関連付けられたＩＳＡＲ画像データが入力されるものとしてもよい。また、アスペクト角入力部４は、観測点から目標１までの距離の情報と関連付けられたアスペクト角が入力されるものとしてもよい。観測点から目標１までの距離の情報があれば、学習部５は、距離の情報から、ＩＳＡＲ画像データを所定の縮尺で学習することが可能である。

【0023】

次に、アスペクト角入力部４は、観測点の位置と、移動体である目標１の移動方向の情報とから算出されたアスペクト角が入力されるものであってもよい。さらに、図３に示すように、アスペクト角入力部４は、観測点の位置と、追尾レーダ１１によって目標１を追尾して得られた移動方向の情報とから算出されたアスペクト角が入力されるものであってもよい。図３において、観測点には、レーダ装置１０（追尾レーダ１１、ＩＳＡＲ１２）が接地されている。観測点が移動してもよい。つまり、レーダ装置１０は、船舶や航空機などの移動体に搭載されたものであってもよい。走査範囲１３（撮影範囲１３）は、観測点を中心としたレーダ装置１０（追尾レーダ１１、ＩＳＡＲ１２）が走査可能な範囲を点線で仮想的に示したものである。レーダ装置１０は、方位角方向に３６０度の走査ができるものを例示している。

【0024】

図３では、目標１が船舶であるものを例示している。図３（Ａ）は目標１を側方から観察した場合であり、図３（Ｂ）は目標１後方から観察した場合である。目標１が船舶（通常の線状構造を有する者）であるため、図３（Ａ）と図３（Ｂ）のそれぞれの状況によって得られたＩＳＡＲ画像データは、同じ目標１であっても形状が異なることは容易に理解できる。また、図３の観測点（レーダ装置１０）は、それ自体が移動する船舶を想定しているが、観測点は固定点でもよい。なお、図３では、説明の簡略化のために、仰角方向の角度を０°、すなわち仰角を０°に固定して、アスペクト角が方位角だけの情報として仮想的に平面の情報で図示している。ここで、仰角とは、水平から起き上がっている角度を指している。一方、鉛直方向からの倒れている角度は、入射角と呼ばれる。仰角と入射角との関係は、仰角＝９０°－入射角となる。したがって、アスペクト角は、方位角及び入射角で構成されているともいえる。

【0025】

次に、図２を用いて実施の形態１に係るＩＳＡＲ画像データ学習装置の動作（実施の形態１に係るＩＳＡＲ画像データ学習方法）を説明する。図２において、ステップ１は、ＩＳＡＲ画像入力部３に、目標１ごとにＩＳＡＲ画像データが入力される処理ステップである。ステップ２は、アスペクト角入力部４に、ＩＳＡＲ画像入力部３に入力されたＩＳＡＲ画像データごとのアスペクト角が入力される処理ステップである。ステップ１及びステップ２は、処理の順序は問わない。同時でもよい。ステップ３は、ＩＳＡＲ画像データとアスペクト角とに基づいて、学習部５に類別（判定）の根拠となる、アスペクト角入力部４に入力されたアスペクト角に対応するＩＳＡＲ画像データと、目標１の種別とを関連付けて学習させる処理ステップである。目標１の種別の情報は、ステップ１を行う際に、ＩＳＡＲ画像データに付与しておけばよい。

【0026】

図４において、目標類別装置６は、図１及び図４に示すＩＳＡＲ画像データ学習装置２の学習結果（学習モデル）を用いたものである（実施の形態１に係る目標類別装置）。新規ＩＳＡＲ画像入力部７は、新たに得たＩＳＡＲ画像データが入力されるものである。新規アスペクト角入力部８は、新規ＩＳＡＲ画像入力部７に入力された新たに得たＩＳＡＲ画像データごとのアスペクト角が入力されるものである。ここでいう新規のＩＳＡＲ画像データ（新たに得たＩＳＡＲ画像データ）、新規のアスペクト角（新たに得たアスペクト角）は、後述するレーダ装置１０（実施の形態１に係るレーダ装置）で取得すればよい。

【0027】

図４において、目標類別部９は、学習部５が学習した学習結果に基づいて、新たに得たＩＳＡＲ画像データに対応する目標１を類別して、目標１に対応する種別を判定するものである。また、学習部５が、観測点から目標１までの距離の情報も学習している場合、目標類別部９は、学習部５が学習した学習結果に基づいて、新たに得たＩＳＡＲ画像データを所定の縮尺に変換してから、対応する目標１を類別して、目標１に対応する種別を判定するようにしてもよい。

【0028】

目標類別部９は、処理の高速化を図るため、新たに得たＩＳＡＲ画像データごとのアスペクト角から、類別に使用する学習結果の範囲を制限してもよい。なお、学習部５がアスペクト角ごと学習結果に生成している場合、目標類別部９は、学習部５が学習してアスペクト角ごとに生成した学習結果に基づいて、目標１を類別して、目標１に対応する種別を判定することができる。

【0029】

学習部５の学習が進むと、目標類別部９は、新たに得たＩＳＡＲ画像データごとのアスペクト角が、アスペクト角入力部４に入力されたアスペクト角と一致するものがない、又は、アスペクト角入力部４に入力されたアスペクト角からの誤差が予め定められた範囲にないときは、最も近い角度の学習結果に基づいて、目標１を類別して、目標１に対応する種別を判定することが可能となる。

【0030】

また、新規ＩＳＡＲ画像入力部７は、目標１が同一でアスペクト角が異なる複数の新たに得たＩＳＡＲ画像データが入力されるようにしてもよい。この場合、目標類別部９は、学習部５が学習した学習結果に基づいて、複数の新たに得たＩＳＡＲ画像データごとに対応する目標１を類別して、目標１に対応する種別を判定することができるので、判定の精度が上がる。もちろん、目標類別部９は、複数の新たに得たＩＳＡＲ画像データごとに対応する目標１を類別した結果が全て一致する場合、目標１に対応する種別を判定してもよい。また、目標類別部９は、複数の新たに得たＩＳＡＲ画像データごとに対応する目標１を類別した結果に一致しないものが含まれており、一致するものの数に対して一致しないものの数が少ない場合は、一致するものを類別した結果として、目標１に対応する種別を判定するようにしてもよい。

【0031】

同じく、図４において、目標類別装置６（ＩＳＡＲ画像データ学習装置２及び目標類別装置６）を有するレーダ装置１０は、次の構成を有している。追尾レーダ１１は、前述のものと同じレーダで、目標１を追尾するものである。前記逆合成開口レーダ１２（ＩＳＡＲ１２）は、前述のものと同じレーダで、新たに得たＩＳＡＲ画像データを新規ＩＳＡＲ画像入力部７へ送るために、追尾レーダ１１で追尾した目標１へ送信ビームを送信するものである。詳しくは、追尾レーダ１１は、新たに得たＩＳＡＲ画像データごとのアスペクト角を新規アスペクト角入力部へ送るために、目標１を追尾するものである。

【0032】

レーダ装置１０で、新規のＩＳＡＲ画像データと新規のアスペクト角を取得する場合のレーダ装置１０、走査範囲１３、目標１を示す例示図は、図３と同じである。図３において、目標１は移動体である船舶が、図３（Ａ）から図３（Ｂ）と移動している場合を例示している。このように、図３（Ａ）から図３（Ｂ）と移動している場合は、前述のように、新規ＩＳＡＲ画像入力部７が、目標１が同一でアスペクト角が異なる複数の新たに得たＩＳＡＲ画像データが入力されるようになる。よって、目標類別部９は、学習部５が学習した学習結果に基づいて、複数の新たに得たＩＳＡＲ画像データごとに対応する目標１を類別して、目標１に対応する種別を判定することができるので、判定の精度が上がる。

【0033】

最後に、図５を用いて実施の形態１に係る主に目標類別装置の動作（実施の形態１に係る目標類類別方法）を説明する。図５において、ステップ１１は、新規ＩＳＡＲ画像入力部７へ新たに得たＩＳＡＲ画像データが入力される処理ステップである。ステップ１２は、新規アスペクト角入力部８へ新たに得たＩＳＡＲ画像データが入力される処理ステップである。ステップ１１及びステップ１２は、処理の順序は問わない。同時でもよい。ここでいう新規のＩＳＡＲ画像データ（新たに得たＩＳＡＲ画像データ）、新規のアスペクト角（新たに得たアスペクト角）は、レーダ装置１０（実施の形態１に係るレーダ装置）で取得すればよい。

【0034】

ステップ１３は、新規ＩＳＡＲ画像入力部７及び新規アスペクト角入力部８から学習部５へ新規のＩＳＡＲ画像データ（新たに得たＩＳＡＲ画像データ）と新規のアスペクト角（新たに得たアスペクト角）とを入力させて学習モデルを使用する処理ステップである。ステップ１４は、学習部５が学習した学習結果（学習モデル）に基づいて、新たに得たＩＳＡＲ画像データに対応する目標１を類別して、目標１に対応する種別を判定するものである処理ステップである。その他の実施の形態１に係る目標類類別方法は、前述の実施の形態１に係る主に目標類別装置の動作と同じため、説明を省略する。

【0035】

これまでは、センサ装置１０の好適な例として、ＩＳＡＲ１２を用いたレーダ装置１０であり、画像データ学習装置２がＩＳＡＲ画像データ学習装置２である場合、すなわち、画像データがＩＳＡＲ画像データの場合を説明してきた。しかし、実施の形態１に係る画像データ学習装置（画像データ学習装置２）は、観測点に設置されたセンサ１２によって得られた画像データから対応する目標１を類別して目標１に対応する種別を判定するときに、目標１に対するセンサ１２の主光線の角度であるアスペクト角から、類別するために使用する学習結果の範囲を制限できるように、学習結果を生成するものであればよい。これらを図６から図９を用いて説明する。なお、図６、図７が図１、図２にそれぞれ対応し、図８、図９が図４、図５にそれぞれ対応する。

【0036】

図６に示すように、画像入力部３は、目標１ごとに画像データが入力されるものといえる。アスペクト角入力部４は、画像データごとの前記アスペクト角が入力されるものといえる。ゆえに、学習部５は、アスペクト角入力部４に入力されたアスペクト角に対応する画像データと、目標１の種別とを関連付けて学習するものといえる。なお、図６（Ａ）は、観測点から目標１までの距離の情報は、学習部５が学習する対象にしていない画像データ学習装置２を示している。一方、図６（Ｂ）は、観測点から目標１までの距離の情報は、学習部５が学習する対象にしている画像データ学習装置２を示している。学習部５で学習させる距離の情報の入力は、図６（Ｂ）に示すように、画像入力部３経由でも、アスペクト角入力部４経由でもよい。

【0037】

次に、図７を用いて実施の形態１に係る画像データ学習装置の動作（実施の形態１に係る画像データ学習方法）を説明する。図７において、ステップ１は、画像入力部３に、目標１ごとに画像データが入力される処理ステップである。ステップ２は、アスペクト角入力部４に、画像入力部３に入力された画像データごとのアスペクト角が入力される処理ステップである。ステップ１及びステップ２は、処理の順序は問わない。同時でもよい。ステップ３は、画像データとアスペクト角とに基づいて、学習部５に類別（判定）の根拠となる、アスペクト角入力部４に入力されたアスペクト角に対応する画像データと、目標１の種別とを関連付けて学習させる処理ステップである。目標１の種別の情報は、ステップ１を行う際に、画像データに付与しておけばよい。

【0038】

図８に示すように、実施の形態１に係る画像データ学習装置（画像データ学習装置２）の学習結果を用いた目標類別装置（目標類別装置６）は、新たに得た画像データが入力される新規画像入力部７と、新たに得た画像データごとのアスペクト角が入力される新規アスペクト角入力部８と、学習部５が学習した学習結果に基づいて、新たに得た画像データに対応する目標１を類別して、目標１に対応する種別を判定する目標類別部９とを備えているといえる。

【0039】

次に、図９を用いて実施の形態１に係る主に目標類別装置の動作（実施の形態１に係る目標類類別方法）を説明する。図９において、ステップ１１は、新規画像入力部７へ新たに得た画像データが入力される処理ステップである。ステップ１２は、新規アスペクト角入力部８へ新たに得た画像データが入力される処理ステップである。ステップ１１及びステップ１２は、処理の順序は問わない。同時でもよい。ここでいう新規の画像データ（新たに得た画像データ）、新規のアスペクト角（新たに得たアスペクト角）は、センサ装置１０（実施の形態１に係るセンサ装置）で取得すればよい。

【0040】

図８に示すように、実施の形態１に係る目標類別装置（目標類別装置６）を有するセンサ装置（センサ装置１０）は、目標１を追尾する追尾装置１１と、新たに得た画像データを新規画像入力部７へ送るために、追尾装置１１で追尾した目標１を撮影するセンサ１２とを備えている。そして、追尾装置１１は、新たに得た画像データごとのアスペクト角を新規アスペクト角入力部８へ送るために、目標１を追尾することを特徴としている。

【0041】

なお、アスペクト角は、目標１に対するセンサ１２の主光線の角度であるとしたが、これまで説明してきたＩＳＡＲや、ＳＡＲでは、アスペクト角が目標１に対する逆合成開口レーダ１２（合成開口レーダ１２）の送信ビームの角度であるため、送信ビーム（厳密には送信ビームの中心軸）が主光線に相当するため、矛盾はない。よって、センサ１２とした場合、アスペクト角は、目標１の線状構造に対するセンサ１２の主光線の角度であるといえる。また、アスペクト角は、観測点に設置されたセンサ１２の主光線方向と、観測点に設置されたセンサ１２に対して相対的な目標１の移動方向とが成す角度ともいえる。いずれの場合でも、アスペクト角は、方位角及び仰角（入射角）で構成されているものである。方位角方向の角度を固定（又は値なしに）して、アスペクト角が仰角（入射角）だけの情報としてもよいし、仰角（入射角）方向の角度を固定（又は値なしに）して、アスペクト角が方位角だけの情報としてもよい。

【0042】

これまでは、画像データ学習装置２の好適な例として、ＩＳＡＲ画像データ学習装置２の場合を説明した。すなわち、取り扱う画像データがＩＳＡＲ画像データである場合である。同様に、取り扱う画像データがＳＡＲ画像データであれば、画像データ学習装置２の好適な例としては、ＳＡＲ画像データ学習装置２が挙げられる。取り扱う画像データが光学画像データであれば、画像データ学習装置２の好適な例としては、光学画像データ学習装置２が挙げられる。つまり、学習部５に学習させるものを変えることで、目標類別部９が類別する画像データは、前述のＩＳＡＲ画像データだけでなく、ＳＡＲ画像データ、光学画像データであってもよいということである。これらの場合の説明は省略するが、画像データごとの対応関係を次のように列記しておく。

【0043】

画像入力部３は、取り扱う画像データがＳＡＲ画像データの場合、ＳＡＲ画像入力部３である。画像入力部３は、取り扱う画像データが光学画像データの場合、光学画像入力部３である。新規画像入力部７は、取り扱う新規の画像データが新規のＳＡＲ画像データの場合、新規ＳＡＲ画像入力部７である。新規画像入力部７は、取り扱う新規の画像データが新規の光学画像データの場合、新規光学画像入力部７である。センサ装置１０は、取り扱う画像データ（新規の画像データ）がＳＡＲ画像データ（新規のＳＡＲ画像データ）の場合、レーダ装置１０（ＳＡＲ）である。センサ装置１０は、取り扱う画像データ（新規の画像データ）が光学画像データ（新規の光学画像データ）の場合、撮像装置１０である。センサ１２は、取り扱う画像データ（新規の画像データ）がＳＡＲ画像データ（新規のＳＡＲ画像データ）の場合、ＳＡＲ１２である。センサ１２は、取り扱う画像データ（新規の画像データ）が光学画像データ（新規の光学画像データ）の場合、撮像素子１２である。学習部５が学習するＩＳＡＲ画像データ、ＳＡＲ画像データ、光学画像データ及びアスペクト角は、シミュレーションで得た模擬データでもよい。同じく、目標類別部９が類別する新規のＩＳＡＲ画像データ、ＳＡＲ画像データ、光学画像データ及びアスペクト角も、シミュレーションで得た模擬データでもよい。この模擬データで目標類別部９に類別させることによって、学習部５や目標類別部９の性能確認を行うことができる。

【0044】

以上のように実施の形態１に係る画像データ学習装置、これを用いた目標類別装置及びセンサ装置は、アスペクト角に対応する画像データと、目標１の種別とを関連付けて学習する、又は、その学習結果を利用するものであることから、画像データに三次元的要素がない場合でも、アスペクト角から目標１の類別をおこなうことができる。

【符号の説明】

【0045】

１ 目標１、２ 画像データ学習装置（光学画像データ学習装置、ＳＡＲ画像データ学習装置、ＩＳＡＲ画像データ学習装置）、３ 画像入力部（光学画像入力部、ＳＡＲ画像入力部、ＩＳＡＲ画像入力部）、４ アスペクト角入力部、５ 学習部、６ 目標類別装置、７ 新規画像入力部（新規光学画像入力部、新規ＳＡＲ画像入力部、新規ＩＳＡＲ画像入力部）、８ 新規アスペクト角入力部、９ 目標類別部、１０ センサ装置（撮像装置、レーダ装置）、１１ 追尾装置（追尾レーダ）、１２ センサ（撮像素子、合成開口レーダ（ＳＡＲ）、逆合成開口レーダ（ＩＳＡＲ））、１３ 走査範囲（撮影範囲）。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】