特表 2024-522367 教師データ生成装置、教師データ生成方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-06-18

(54)【発明の名称】教師データ生成装置、教師データ生成方法、およびプログラム

(51)【国際特許分類】

   G01S 13/89 20060101AFI20240611BHJP

   G01S 13/04 20060101ALI20240611BHJP

   G06N 20/00 20190101ALI20240611BHJP

【ＦＩ】

G01S13/89

G01S13/04

G06N20/00

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023575453

(86)(22)【出願日】2021-06-08

(85)【翻訳文提出日】2023-12-06

(86)【国際出願番号】 JP2021021731

(87)【国際公開番号】W WO2022259363

(87)【国際公開日】2022-12-15

(81)【指定国・地域】

(71)【出願人】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100110928

【弁理士】

【氏名又は名称】速水 進治

(72)【発明者】

【氏名】カーン ナグマ サムリーン

(72)【発明者】

【氏名】住谷 達哉

(72)【発明者】

【氏名】小倉 一峰

(72)【発明者】

【氏名】有吉 正行

【テーマコード（参考）】

5J070

【Ｆターム（参考）】

5J070AC01

5J070AC06

5J070AE09

5J070AF01

5J070AK14

(57)【要約】

【解決手段】教師データ生成装置（１０）は、レーダ信号取得部（１０８）と、画像生成部（１０４）と、出力部（１０９）と、を含む。レーダ信号取得部（１０８）は、レーダによって取得されるレーダ信号データを取得する。画像生成部（１０４）は、１つ以上の速度値の各々に基づいてモーションブラーが追加されたレーダ画像を生成する。画像生成部（１０４）は、レーダ信号データを使用することによってレーダ画像を生成する。出力部（１０９）は、正解データと関連付けてレーダ画像を出力する。正解データは少なくとも、検出ターゲットがレーダ信号データ内で検出されているかどうかを示す。
【選択図】図２

【特許請求の範囲】

【請求項1】

レーダによって取得されるレーダ信号データを取得するレーダ信号取得部と、
前記レーダ信号データを使用することによって、１つ以上の速度値の各々に基づいてモーションブラーが追加されたレーダ画像を生成する画像生成部と、
検出ターゲットが前記レーダ信号データで検出されているかどうかを少なくとも示す正解データと関連付けて前記レーダ画像を出力する出力部と、
を備える、教師データ生成装置。

【請求項2】

１つ以上の速度値を生成する速度生成部を更に備え、
前記画像生成部は、前記速度生成部によって生成された前記１つ以上の速度値を取得して、前記取得された１つ以上の速度値の各々を使用することによって前記レーダ画像を生成する、請求項１に記載の教師データ生成装置。

【請求項3】

前記速度生成部は、前記１つ以上の速度値をランダムに速度値分布からサンプリングすることによって前記１つ以上の速度値を生成する、請求項２に記載の教師データ生成装置。

【請求項4】

前記レーダ信号データで検出されるオブジェクトの速度値を推定する速度推定部を更に備え、
前記速度生成部は、前記推定された速度値を使用することによって前記速度値分布を生成する、請求項３に記載の教師データ生成装置。

【請求項5】

前記速度推定部は、
前記レーダ信号データを使用することによって、複数の速度値の各々に基づいてモーション補正が適用された補正レーダ画像を生成し、
前記生成された複数の補正レーダ画像を互いに比較することによって前記複数の速度値から速度値を選択し、
前記選択された速度値を前記推定された速度値として設定する、請求項４に記載の教師データ生成装置。

【請求項6】

前記レーダ画像内でモーションブラーが追加されるべき前景領域を特定する前景特定部と、
モーションブラーが追加された前記レーダ画像内の前記前景領域を除く領域を、前記レーダ信号データを使用することによって生成され、モーションブラーが追加されていないレーダ画像内の前記前景領域を除く領域で置き換える置換部と、
を更に備え、
前記出力部は、前記正解データと関連付けて、前記置き換えられたレーダ画像を出力する、請求項１から５のいずれか一項に記載の教師データ生成装置。

【請求項7】

前記前景特定部は、レーダ画像を入力とし、前記前景領域を示す情報を出力とした学習済みモデル、または前記レーダ信号データと同時に撮影されるカメラ画像を使用することによって前記前景領域を特定する、請求項６に記載の教師データ生成装置。

【請求項8】

コンピュータによって行われる教師データ生成方法であって、
レーダによって取得されるレーダ信号データを取得することと、
前記レーダ信号データを使用することによって、１つ以上の速度値の各々に基づいてモーションブラーが追加されたレーダ画像を生成することと、
検出ターゲットが前記レーダ信号データで検出されているかどうかを少なくとも示す正解データと関連付けて前記レーダ画像を出力することと、
を含む、教師データ生成方法。

【請求項9】

１つ以上の速度値を生成することを更に含み、
モーションブラーが追加された前記レーダ画像は、前記生成された１つ以上の速度値の各々を使用することによって生成される、請求項８に記載の教師データ生成方法。

【請求項10】

前記１つ以上の速度値は、前記１つ以上の速度値をランダムに速度値分布からサンプリングすることによって生成される、請求項９に記載の教師データ生成方法。

【請求項11】

前記レーダ信号データで検出されるオブジェクトの速度値を推定することと、
前記推定された速度値を使用することによって前記速度値分布を生成することと、
を更に含む、請求項１０に記載の教師データ生成方法。

【請求項12】

前記レーダ信号データを使用することによって、複数の速度値の各々に基づいてモーション補正が適用された補正レーダ画像を生成することと、
前記生成された複数の補正レーダ画像を互いに比較することによって前記複数の速度値から速度値を選択することと、
前記選択された速度値を前記推定された速度値として設定することと、
を更に含む、請求項１１に記載の教師データ生成方法。

【請求項13】

前記レーダ画像内でモーションブラーが追加されるべき前景領域を特定することと、
モーションブラーが追加された前記レーダ画像内の前記前景領域を除く領域を、前記レーダ信号データを使用することによって生成され、モーションブラーが追加されていないレーダ画像内の前記前景領域を除く領域で置き換えることと、
を更に含み、
前記出力されるレーダ画像は、前記置き換えられたレーダ画像である、請求項８から１２のいずれか一項に記載の教師データ生成方法。

【請求項14】

前記前景領域は、レーダ画像を入力とし、前記前景領域を示す情報を出力とした学習済みモデル、または前記レーダ信号データと同時に撮影されるカメラ画像を使用することによって特定される、請求項１３に記載の教師データ生成方法。

【請求項15】

教師データ生成方法をコンピュータに実行させるプログラムであって、前記教師データ生成方法は、
レーダによって取得されるレーダ信号データを取得することと、
前記レーダ信号データを使用することによって、１つ以上の速度値の各々に基づいてモーションブラーが追加されたレーダ画像を生成することと、
検出ターゲットが前記レーダ信号データで検出されているかどうかを少なくとも示す正解データと関連付けて前記レーダ画像を出力することと、
を含む、プログラム。

【請求項16】

前記教師データ生成方法は、１つ以上の速度値を生成することを更に含み、
モーションブラーが追加された前記レーダ画像は、前記生成された１つ以上の速度値の各々を使用することによって生成される、請求項１５に記載のプログラム。

【請求項17】

前記１つ以上の速度値は、前記１つ以上の速度値をランダムに速度値分布からサンプリングすることによって生成される、請求項１６に記載のプログラム。

【請求項18】

前記教師データ生成方法は、
前記レーダ信号データで検出されるオブジェクトの速度値を推定することと、
前記推定された速度値を使用することによって前記速度値分布を生成することと、
を更に含む、請求項１７に記載のプログラム。

【請求項19】

前記教師データ生成方法は、
前記レーダ信号データを使用することによって、複数の速度値の各々に基づいてモーション補正が適用された補正レーダ画像を生成することと、
前記生成された複数の補正レーダ画像を互いに比較することによって前記複数の速度値から速度値を選択することと、
前記選択された速度値を前記推定された速度値として設定することと、
を更に含む、請求項１８に記載のプログラム。

【請求項20】

前記教師データ生成方法は、
前記レーダ画像内でモーションブラーが追加されるべき前景領域を特定することと、
モーションブラーが追加された前記レーダ画像内の前記前景領域を除く領域を、前記レーダ信号データを使用することによって生成され、モーションブラーが追加されていないレーダ画像内の前記前景領域を除く領域で置き換えることと、
を更に含み、
前記出力されるレーダ画像は、前記置き換えられたレーダ画像である、請求項１５から１９のいずれか一項に記載のプログラム。

【請求項21】

前記前景領域は、レーダ画像を入力とし、前記前景領域を示す情報を出力とした学習済みモデル、または前記レーダ信号データと同時に撮影されるカメラ画像を使用することによって特定される、請求項２０に記載のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は概して、教師データ生成に関する。

【背景技術】

【0002】

本発明は、レーダ画像のオブジェクト検出システムに関し、当該システムでは、移動するターゲットオブジェクトによる散乱電波が測定され、次いで、画像生成が行われて、スキャン下でターゲットのレーダ画像を生成する。上記画像は、隠されたオブジェクトを確認するためにオブジェクト検出モジュールによって使用される。上記オブジェクト検出モジュールは、訓練データセットにおいて教師あり学習手法を使用して訓練される機械学習ネットワークである。

【0003】

レーダ画像の従来のオブジェクト検出システムの例が非特許文献１に記載されている。この従来のオブジェクト検出システムは、レーダ信号測定手段と、画像生成手段と、オブジェクト検出手段と、を含む。具体的には、測定手段は、レーダ波を送信して反射散乱波を受信するレーダアンテナを含む。

【0004】

このような構造を有するレーダ画像の従来のオブジェクト検出システムは以下のように動作する。まず、レーダ信号の測定が行われる。測定ステップでは、レーダアンテナは、特定の順序でレーダ信号を個々に送信し、反射波は、アンテナ受信機によって受信される。測定されたレーダ信号は、レーダアンテナ情報を利用することによりレーダ画像を作るために画像生成手段によって使用される。最終的に、生成されたレーダ画像は、レーダ画像内で対象のオブジェクトの有無を検出するためにオブジェクト検出手段によって利用される。具体的には、非特許文献１において、レーダ画像のオブジェクト検出システムは、隠された武器の検出に使用される。

【先行技術文献】

【非特許文献】

【0005】

【非特許文献1】Ｌ．Ｃａｒｒｅｒ、「隠された武器の検出：マイクロ波イメージング手法」、修士科学論文、デルフト工科大学、２０１２

【発明の概要】

【発明が解決しようとする課題】

【0006】

教師あり検出モデルは、具体的にはデータのバリエーションの観点でテストデータセットが訓練データセットと同様である場合に、テストデータセットにおいて十分に機能する。実際には、遭遇し得るテストシナリオのすべてのタイプを予測するのは困難であり、そのソリューションの１つが、多量で多様な訓練データセットを作成することである。しかし、多くの場合、多量で多様な訓練データセットを収集および／またはラベル付けするのは、非実用的であり時間を浪費する。機械学習ベースのオブジェクト検出モデルを訓練している間のレーダ画像の場合に、同様の問題が生じる、すなわち、訓練データセットとテストデータセットとの不整合が検出性能の低下につながる。

【0007】

本発明の目的の一例は、訓練データセットとテストデータセットとの不整合を低減することによってレーダ画像の検出性能を改善することである。これは、多数のテストケースをカバーするように現実的な方法でレーダ画像訓練セットを拡張することによって達成される。特に、本開示は、検出性能を改善するレーダ画像のデータ拡張システムに関する。

【課題を解決するための手段】

【0008】

本発明は、
レーダによって取得されるレーダ信号データを取得するレーダ信号取得部と、
レーダ信号データを使用することによって、１つ以上の速度値の各々に基づいてモーションブラーが追加されたレーダ画像を生成する画像生成部と、
検出ターゲットがレーダ信号データで検出されているかどうかを少なくとも示す正解データと関連付けてレーダ画像を出力する出力部と、
を備える、教師データ生成装置を提供する。

【0009】

本発明は、コンピュータによって行われる教師データ生成方法であって、
レーダによって取得されるレーダ信号データを取得することと、
レーダ信号データを使用することによって、１つ以上の速度値の各々に基づいてモーションブラーが追加されたレーダ画像を生成することと、
検出ターゲットがレーダ信号データで検出されているかどうかを少なくとも示す正解データと関連付けてレーダ画像を出力することと、
を含む、教師データ生成方法を提供する。

【0010】

本発明は、教師データ生成方法をコンピュータに実行させるプログラムであって、教師データ生成方法は、
レーダによって取得されるレーダ信号データを取得することと、
レーダ信号データを使用することによって、１つ以上の速度値の各々に基づいてモーションブラーが追加されたレーダ画像を生成することと、
検出ターゲットがレーダ信号データで検出されているかどうかを少なくとも示す正解データと関連付けてレーダ画像を出力することと、
を含む、プログラムを提供する。

【発明の効果】

【0011】

本発明の効果は、訓練セットの速度とテストセットの速度との不整合を低減することによりオブジェクト検出システムの検出性能を改善することである。

【図面の簡単な説明】

【0012】

【図1】図１は、レーダ画像測定システムの構成を説明し、レーダアンテナに対するターゲットの相対位置も説明する図である。

【図2】図２は、第１の実施形態に係る教師データ生成装置の機能ベースの構成を例示するブロック図である。

【図3】図３は、第１の実施形態に係る教師データ生成装置を実現するコンピュータのハードウェア構成を例示するブロック図である。

【図4】図４は、第１の実施形態の教師データ生成装置によって行われるプロセスのフローを例示するフローチャートである。

【図5】図５は、第１の実施形態に係る教師データ生成装置の機能ベースの構成を例示するブロック図である。

【図6】図６は、第１の実施形態に係る教師データ生成装置の機能ベースの構成を例示するブロック図である。

【図7】図７は、速度値の例示的な確率分布を示す図である。

【図8】図８は、第１の実施形態に係る教師データ生成装置の動作を例示するフローチャートである。

【図9】図９は、第２の実施形態に係る教師データ生成装置の機能ベースの構成を例示するブロック図である。

【図10】図１０は、第２の実施形態に係る教師データ生成装置の動作を例示するフローチャートである。

【図11】図１１は、第３の実施形態に係る教師データ生成装置の機能ベースの構成を例示するブロック図である。

【図12】図１２は、第３の実施形態に係る教師データ生成装置の機能ベースの構成を例示するブロック図である。

【図13】図１３は、第３の実施形態に係る教師データ生成装置の動作を例示するフローチャートである。

【発明を実施するための形態】

【0013】

本開示の実施形態について、図面を参照して詳細に説明する。図面全体を通して、同じ構成要素は同じ符号で示し、説明を明確にするために、重複する説明を必要に応じて省略する。

【0014】

第１の実施形態

【0015】

＜概要＞
まず、図１を利用して、レーダ画像のオブジェクト検出システムの構成を説明する。本システムの具体的な目的は、人（ターゲット９０）が、隠された任意の危険オブジェクトを所有しているかどうかを確認することである。ターゲットが固定部分（エリア９６）を歩行しているとき、システムは、サイドパネル９４に置かれた固定アンテナ（レーダ９２）によってターゲットを測定する。アンテナ内の送信機は信号を個々に送信し、次いで、受信散乱信号が取得される。システムはまた、レーダ信号と同時にカメラ（カメラ９８）を使用してカメラ画像を取得し得る。レーダ信号は、本質的に３Ｄであるレーダ画像を生成するためにアンテナ情報を使用して処理される。人（ターゲット９０）が、隠された危険オブジェクトを所有している場合、当該オブジェクトはレーダ画像内で見える。そのため、レーダ画像は、隠された危険オブジェクトの検出に使用される。レーダ画像内の危険オブジェクトの存在を検出するために、機械学習ベースのオブジェクト検出モデルが訓練される。この機械学習ベースのオブジェクト検出モデルは、処理された２Ｄ形態またはその元の３Ｄ形態のいずれかでレーダ画像を取得し得る。テスト段階の検出モデルの優れた性能を保証するために、データ多様性の観点で、訓練セットはテストセットと類似していなければならない。要するに、訓練セットとテストセットとの不整合をなくさなければならない。

【0016】

前述のように、測定段階の間、送信機は個々に送信を行い、それにより、レーダ信号測定手順に少し時間がかかる。ターゲット９０の移動、すなわち、測定中の歩行により、ターゲット９０の各ポイントがレーダ画像内で広がる。これは、スキャン中のターゲットの位置変化が原因で生じ、モーションブラーと称される（今後、単にブラーと称する）。ブラーは、ターゲット９０の移動または歩行速度値に比例する、すなわち、より大きい速度値は、より大きいブラーを意味する。これは、ターゲット９０の速度値が２つのレーダ画像の信号測定中に異なっている場合、２つのレーダ画像は、異なる量のブラーを有することを暗示する。これは、オブジェクト形状がブラーの量に伴って変化するため、すなわち、異なる画像における異なる量のブラーはオブジェクトを異なって見えるようにするため、オブジェクト検出中に問題をもたらす。このため、訓練セット測定中のターゲット９０の速度値が、テスト測定中のターゲット９０の速度値と異なる場合、オブジェクト形状は、訓練画像およびテスト画像において異なる。訓練セットの歩行速度とテストセットの歩行速度との当該不整合は、検出性能の低下をもたらす。それは、オブジェクト検出モデルが、訓練中に学習していない形状を検出するのが困難なためである。訓練セット測定中にすべてのターゲットの速度をカバーする明白なソリューションは、時間を浪費し非実用的である。

【0017】

訓練データセットの速度とテストデータセットの速度との不整合は、第１の実施形態に係る教師データ生成装置１０を用いて効果的且つ実用的な方法で低減され得る。

【0018】

図２は、第１の実施形態に係る教師データ生成装置１０の機能ベースの構成の例示的な図を示す。第１の実施形態の教師データ生成装置１０は、レーダ信号取得部１０８と、画像生成部１０４と、出力部１０９と、を含む。レーダ信号取得部１０８は、レーダによって取得されるレーダ信号データを取得する。画像生成部１０４は、１つ以上の速度値の各々に基づいてモーションブラーが追加されたレーダ画像を生成する。画像生成部１０４は、レーダ信号データを使用することによってレーダ画像を生成する。出力部１０９は、正解データと関連付けてレーダ画像を出力する。正解データは少なくとも、検出ターゲットがレーダ信号データ内で検出されているかどうかを示す。詳細を以下で説明する。

【0019】

検出ターゲットの例には、ターゲット９０が所有する危険オブジェクト（ナイフ、銃など）が含まれる。レーダ信号取得部１０８は、レーダ信号データをレーダから直接取得し得るか、またはレーダ信号取得部１０８は、レーダによって予め取得されてレーダ信号取得部１０８からアクセス可能なレーダ信号ストレージ部に記憶されたレーダ信号データを読み取って取得し得る。レーダ信号ストレージ部は、図５に記載されるような教師データ生成装置１０に含まれ得るか、またはレーダ信号ストレージ部は、教師データ生成装置１０とは別に設置され得る。正解データは、レーダ信号データの各々と予め関連付けられている。

【0020】

教師データ生成装置１０の出力部１０９から出力される出力データは、オブジェクト検出モデルを訓練するための教師データとして使用され得る。出力データは、レーダ信号データに基づくレーダ画像を含む。ここで、そのレーダ信号データに関連付けられた正解データは、レーダ画像と関連付けられる。正解データは、検出ターゲットの有無、種類（ナイフ、銃など）、位置、および方向のうちの少なくとも１つを示し得る。出力データに含まれるレーダ画像には、正解データを示すラベル、またはレーダ信号データの各々について個々に定められる識別コード（例えば、データ番号）が付けられ得る。後者の場合、識別コードおよび正解データが互いに関連付けられた参照データが別に作成される。レーダ画像は、参照データを介して正解データと関連付けられる。

【0021】

出力データが、互いに異なる複数の速度値に基づいてモーションブラーが追加された複数のレーダ画像を含むことが好ましい。これらの複数のレーダ画像は、１つのレーダ信号データから生成され得る。具体的には、画像生成部１０４は、Ｎ個の速度値を使用することによってＮ個の画像を生成し得る。すなわち、出力データは、Ｎ個のレーダ画像を含み得る。ここで、Ｎは、正の整数である。教師データ生成装置１０を用いて、複数の教師データが１つのレーダ信号データから生成され得る。更に、多数の教師データを用いて訓練することによって、高精度な学習済みオブジェクト検出モデルが提供される。

【0022】

なお、出力部１０９から出力される出力データは、出力部１０９からアクセス可能に記憶され得るか、またはオブジェクト検出モデルを学習する装置に直接入力され得る。

【0023】

教師データ生成装置１０のサンプル動作を以下で説明する。まず、図１を参照してレーダ信号の測定段階を説明する。サイドパネル９４に置かれた固定レーダアンテナ（レーダ９２）の前方のスクリーニングエリア（エリア９６）内に人（ターゲット９０）が歩行していると想定する。スクリーニングエリア内にいるとき、ターゲットは、レーダセンサと同期した画像を捕捉するカメラ（カメラ９８）の視野内にもいる。測定された散乱レーダ信号（レーダ信号データ）は、レーダ信号ストレージ部に記憶される。テスト段階の間、このレーダ信号は、２Ｄまたは３Ｄであり得るレーダ画像を生成するために処理されて、ターゲットが任意の危険オブジェクトを所有しているかどうかを検出するために機械学習ベースのモデルへの入力として使用される。上記機械学習モデルは、検出のためにそれを使用する前に訓練されている必要がある。教師データ生成装置１０は、測定された画像を拡張するために、レーダ画像のオブジェクト検出システムの訓練段階で動作する。次に、教師データ生成装置１０の動作を説明する。その動作中、レーダ信号は、レーダ信号ストレージ部から個々に読み取られて画像生成のために送信される。画像生成の役割を担っている画像生成部１０４は、現実的なモーションブラーをオリジナルに追加すること、したがって、拡張することによって、レーダ信号ごとに１つ以上（Ｎ個）のレーダ画像を生成することができる。モーションブラーの量は、速度値によって制御またはパラメータ化される。当該速度値は、この場合歩行速度値である。拡張画像を含む出力データは、モデルの訓練に直接使用され得るか、または検出モデルの訓練に後で使用するために何らかの画像ＤＢ（ストレージ部）に記憶され得る。

【0024】

レーダ画像のオブジェクト検出システムのテスト段階（リアルタイムの動作）の間、レーダ信号は、レーダ画像を生成するために直接処理され得、次いで、当該レーダ画像は、ターゲットが任意の危険オブジェクトを所有しているかどうかを検出するために上記学習済み機械学習モデルによって使用されることに留意されたい。

【0025】

また、速度値という用語に対する参照は、大きさおよび方向の両方を暗示していることに留意されたい。

【0026】

＜ハードウェア構成の例＞
いくつかの実施形態では、教師データ生成装置１０に含まれる各機能部は、少なくとも１つのハードウェア構成要素で実装され得、各ハードウェア構成要素は、機能部のうちの１つ以上を実現し得る。いくつかの実施形態では、各機能部は、少なくとも１つのソフトウェア構成要素で実装され得る。いくつかの実施形態では、各機能部は、ハードウェア構成要素およびソフトウェア構成要素の組合せで実装され得る。

【0027】

教師データ生成装置１０は、教師データ生成装置１０を実装するために製造された専用コンピュータで実装され得るか、またはパーソナルコンピュータ（ＰＣ）、サーバマシン、もしくはモバイルデバイスのような汎用コンピュータで実装され得る。

【0028】

図３は、第１の実施形態の教師データ生成装置１０を実現するコンピュータ１０００のハードウェア構成の例を例示するブロック図である。図３では、コンピュータ１０００は、バス１０２０と、プロセッサ１０４０と、メモリ１０６０と、記録デバイス１０８０と、入力－出力（Ｉ／Ｏ）インターフェース１１００と、ネットワークインターフェース１１２０と、を含む。

【0029】

バス１０２０は、プロセッサ１０４０、メモリ１０６０、および記録デバイス１０８０がデータを相互に送信および受信するためのデータ送信チャネルである。プロセッサ１０４０は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、またはＦＰＧＡ（Field-Programmable Gate Array）などのプロセッサである。メモリ１０６０は、ＲＡＭ（Random Access Memory）などの１次記録デバイスである。記録媒体１０８０は、ハードディスクドライブ、ＳＳＤ（Solid State Drive）、またはＲＯＭ（Read Only Memory）などの２次記録デバイスである。

【0030】

Ｉ／Ｏインターフェースは、コンピュータ１０００とキーボード、マウス、またはディスプレイデバイスなどの周辺デバイスとの間のインターフェースである。ネットワークインターフェースは、コンピュータ１０００と、コンピュータ１０００が別のコンピュータと通信する通信回線との間のインターフェースである。

【0031】

記録デバイス１０８０は、プログラムモジュールを記憶し得、その各々は、教師データ生成装置１０の機能部の実装態様である。ＣＰＵ１０４０は、各プログラムモジュールを実行し、それによって、教師データ生成装置１０の各機能部を実現する。

【0032】

＜プロセスのフロー＞
図４は、第１の実施形態の教師データ生成装置１０によって行われるプロセスシーケンスを示すフローチャートである。レーダ信号取得部１０８は、レーダによって取得されるレーダ信号データを取得する（Ｓ１２）。画像生成部１０４は、レーダ信号データを使用することによって、１つ以上の速度値の各々に基づいてモーションブラーが追加されたレーダ画像を生成する（Ｓ１４）。出力部１０９は、検出ターゲットがレーダ信号データで検出されているかどうかを少なくとも示す正解データと関連付けてレーダ画像を出力する（Ｓ１６）。

【0033】

＜機能ベースの構成の例＞
第１の実施形態に係る教師データ生成装置１０の構成を、図５に示されるブロック図を参照して説明する。

【0034】

図５の構成では、教師データ生成装置１０は、速度生成部１０２を更に含む。速度生成部１０２は、１つ以上の速度値を生成する。画像生成部１０４は、速度生成部１０２によって生成された１つ以上の速度値を取得して、取得された１つ以上の速度値の各々を使用することによってレーダ画像を生成する。速度生成部１０２は、例えば、１つ以上の速度値をランダムに速度値分布からサンプリングすることによって１つ以上の速度値を生成し得る。図５の構成では、モーションブラーをパラメータ化する速度は、何らかの事前の知見に基づいて決定される、すなわち、レーダ信号からの情報は直接使用されない。

【0035】

ただし、教師データ生成装置１０は、速度生成部１０２を含まなくてもよい。その場合、画像生成部１０４は、所定の１つ以上の速度値の各々を使用することによってレーダ画像を生成する。

【0036】

速度が現実的であって、実際のテストシナリオで可能性のあるすべてのバリエーションをカバーするように、速度が生成されることに留意されたい。

【0037】

図５に示される構成を有する教師データ生成装置１０の詳細を以下で記載する。図５に示される教師データ生成装置１０は、レーダ信号ストレージ部１０１と、レーダ信号取得部１０８と、アンテナ情報ストレージ部１０３と、速度生成部１０２と、画像生成部１０４と、出力部１０９と、を含む。レーダ信号ストレージ部１０１は、データ拡張中にレーダ信号を提供する。アンテナ情報ストレージ部１０３は、レーダ画像生成のためにアンテナ位置、順序などを提供する。速度生成部１０２は、１つ以上（Ｎ個）の速度値を生成する。画像生成部１０４は、生成された速度に比例する現実的なブラーを追加することによってＮ個の拡張レーダ画像を生成する。

【0038】

更に、速度生成部１０２および画像生成部１０４で利用されるパラメータＮ（＞１）が予め決定されていると想定する。このパラメータＮは、レーダ信号ごとに生成される拡張画像の数を意味する。

【0039】

レーダ信号ストレージ部１０１は、測定時間中に記憶されたレーダ信号を含む。それは、入力としてレーダ信号を画像生成部１０４に提供することによってデータソースとして機能する。

【0040】

アンテナ情報ストレージ部１０３は、アンテナの数、送信および受信の順序、アンテナの位置などのようなアンテナに関する情報を含む。上記アンテナ情報は、画像生成中に画像生成部１０４によって使用される。なお、アンテナ情報ストレージ部１０３は、教師データ生成装置１０とは別に設置されてもよい。

【0041】

レーダ信号取得部１０８は、レーダ信号データをレーダ信号ストレージ部１０１から取得する。画像生成部１０４は、レーダ信号データをレーダ信号取得部１０８から受信し、アンテナ情報をアンテナ情報ストレージ部１０３から受信し、Ｎ個の速度［ｖ_１、ｖ_２、．．．、ｖ_Ｎ］を速度生成部１０２から受信する。この画像生成部１０４は、Ｎ個の拡張レーダ画像［Ｉ_ｖ１、Ｉ_ｖ２、．．．、Ｉ_ｖＮ］を生成する。画像生成部１０４は、ビームフォーミングもしくはＭＩＭＯ－ＲＭＡまたは任意の他のもののような任意の従来のイメージングアルゴリズムを使用することによって、入力レーダ信号からレーダ画像を生成する。この目的のために、アンテナ情報入力も使用される。ブラー追加による画像拡張は、既存のモーション補正技術を使用することによって画像生成中に行われる。上記モーション補正技術は、モーションブラー補正の目的で発明された。しかし、教師データ生成装置１０では、代わりに、制御されたモーションブラーを追加するために、本技術が使用される。上記モーション補正技術は、速度値によってパラメータ化され、結果として生じる画像は、使用される速度値が実際のターゲット速度値と同じかまたは類似している場合に明瞭になり強い強度を有する。同じ概念に従うと、上記モーション補正のパラメータの速度値が実際のターゲット速度値から離れている場合、代わりに、結果として生じる画像はモーションブラーを有する。したがって、モーションブラーは、本技術において速度値によってパラメータ化されると言える。この上記速度値は、レーダ画像内で現実的なブラーをシミュレートするように、速度生成部１０２によって慎重に選択される。現実的なブラーは、拡張画像が実際のレーダ画像に類似していることを暗示する。画像生成部１０４は、速度生成部１０２からＮ個の速度を受信するため、Ｎ個のブラー追加画像、すなわち、Ｎ個の拡張画像を生成する。元のブラー追加無の画像も画像生成部１０４のＮ個の画像出力の一部であることを保証するように、Ｎ個の速度の中の１つの速度がわずかであるように設定（例えば、０に設定）され得ることに留意されたい。

【0042】

教師データ生成装置１０の画像生成部１０４は更に、既存のモーション補正技術とは差別化される。上記モーション補正技術は、画像内のターゲットの移動を補正した後に、各レーダ信号について単一のレーダ画像を生成する。教師データ生成装置１０では、画像生成部１０４が上記モーション補正技術を利用したとしても、ここでは、目的は、ブラーを補正するのではなくブラーを追加することである。更に、画像生成部１０４は、レーダ信号ごとに、各画像が異なる量のブラーを有するＮ（＞１）個のレーダ画像を生成し得る。

【0043】

速度生成部１０２は、ブラー追加拡張画像を生成するために、画像生成部１０４への入力としてＮ個の速度を提供する。パラメータＮは、予め特定されており、速度生成部１０２に既知である。前述のように、速度生成部１０２は、何らかの事前の知見を使用して速度を特定しており、レーダ信号からの情報は、プロセス中、直接使用されない。

【0044】

図６を参照して、速度生成部１０２の１つの例示的な構成を説明する。ここで、速度生成部１０２は実際、２つのサブユニット、すなわち、速度特定部１０２ａおよび速度分布ストレージ部１０２ｂで構成されている。ここで、速度分布ストレージ部１０２ｂは、速度特定部１０２ａへの入力として速度値分布を提供する。速度特定部１０２ａは、速度値分布を入力として受信して、Ｎ個の速度を画像生成部１０４に出力として提供する。速度特定部１０２ａは、入力された速度値分布から、これらのＮ個の速度をランダムにサンプリングする。所定のパラメータＮは、速度特定部１０２ａに既知である。

【0045】

速度生成部１０２のこの例示的な構成では、速度値分布が予め特定されて速度分布ストレージ部１０２ｂに記憶されていると想定する。上記速度値分布、より具体的には、歩行速度値分布は、検出モデルのテスト段階の間に遭遇する現実的な速度を捕らえることができるように特定されなければならない。現実的な速度値分布を特定するための方法が多数存在し得、例示的な方法の１つを次に記載する。このように、分布は、何らかの事前の知見に基づいて設計される。まず、分布の統計パラメータを特定する必要がある。既知の標準的な分布、すなわち、ガウス分布、一様分布などの場合、平均値、標準偏差、最小値、または最大値が既知であれば十分である。一方、カスタマイズされた分布の場合、値およびそのそれぞれの発生確率が必要である。任意の場合で、パラメータは、インターネットで利用可能な既存の（歩行）速度値統計、すなわち、平均歩行速さ、標準偏差などに基づいて、またはシステムの展開シナリオの知見、すなわち、速い歩行、遅い歩行などを使用して、もしくは何らかの外部の速度値測定デバイスからのデータを使用して計算され得る。パラメータが特定されると、好適な分布を選択する必要がある。例示的な分布の一部、すなわち、ガウス分布、一様分布、または何らかのカスタム分布などが図７に示されている。最終的に、速度値分布は、上記パラメータおよび分布を使用して設計され得る。速度値分布を設計するパラメータの例は、図７において、μ、σ、ａ、ｂ、ｍ、ｎ、ｐ_１、ｐ_２、およびｐ_３として示されている。

【0046】

出力部１０９は、Ｎ個の拡張レーダ画像［Ｉ_ｖ１、Ｉ_ｖ２、．．．、Ｉ_ｖＮ］を画像生成部１０４から取得して画像を出力し、当該画像は、検出モデルを学習するためにオンザフライで使用され得るか、または当該画像はまた、何らかのレーダ画像ストレージ部１１１に記憶され得る。レーダ画像ストレージ部１１１は、教師データ生成装置１０に含まれ得るか、またはレーダ画像ストレージ部１１１は、図５に示されるように教師データ生成装置１０とは別に設置され得る。

【0047】

次に、動作モードの第１の実施形態に係る教師データ生成装置１０によって行われる動作例を、図８に示されるフローチャートを参照して説明する。レーダ信号は既に測定されておりレーダ信号ストレージ部１０１に記憶されている。また、アンテナ情報は、アンテナ情報ストレージ部１０３に記憶されている。更に、パラメータＮは、予め決定されている。図６に示される例示的な構成に従う場合、速度値分布は、事前に作成され速度分布ストレージ部１０２ｂに記憶されている。

【0048】

教師データ生成装置１０の動作を開始すると、ステップＳ１０１で、レーダ信号データが、レーダ信号ストレージ部１０１からフェッチされて画像生成部１０４への入力として与えられる。同時に、ステップＳ１０２で、速度生成部１０２は、Ｎ個の速度［ｖ_１、ｖ_２、．．．、ｖ_Ｎ］を生成して画像生成部１０４への入力として提供する。ステップＳ１０１およびステップＳ１０２と同時に、ステップＳ１０３で、アンテナ情報は、アンテナ情報ストレージ部１０３からフェッチされる。次のステップＳ１０４で、Ｎ個の拡張画像が画像生成部１０４によって生成される。これは、本構成における教師データ生成装置１０の１つの処理フローサイクルの終了を示す。ここで、１つの処理フローサイクルの出力は、各レーダ信号について生成されるＮ個の拡張画像［Ｉ_ｖ１、Ｉ_ｖ２、．．．、Ｉ_ｖＮ］である。Ｎ個の拡張画像［Ｉ_ｖ１、Ｉ_ｖ２、．．．、Ｉ_ｖＮ］は、正解データと関連付けられる。

【0049】

上述のように、第１の実施形態による教師データ生成装置１０は、現実的なモーションブラーを追加することによって訓練段階のレーダ画像を拡張する。ブラーは、例えば、所定の速度値分布からサンプリングされた速度によってパラメータ化される。上記速度値分布は、検出モデルのテスト段階の間に遭遇する（歩行）速度を捕らえるように設計されている。これは、検出モデルの訓練およびテスト段階の間における速度（およびブラー）の不整合の低減をもたらし、そのため、検出性能の改善につながる。

【0050】

第２の実施形態
図９は、第２の実施形態に係る教師データ生成装置１０の機能ベースの構成を例示するブロック図である。第２の実施形態の教師データ生成装置１０は、以下で説明する点を除いて、第１の実施形態の教師データ生成装置１０と同じである。

【0051】

第２の実施形態の教師データ生成装置１０は、前景特定部２０６および置換部２０７を更に備える。前景特定部２０６は、レーダ画像内でモーションブラーが追加されるべき前景領域を特定する。置換部２０７は、モーションブラーが追加されたレーダ画像内の前景領域を除く領域を、レーダ信号データを使用することによって生成され、モーションブラーが追加されていないレーダ画像内の前景領域を除く領域で置き換える。出力部１０９は、正解データと関連付けて、置き換えられたレーダ画像を出力する。

【0052】

前景特定部２０６は、例えば、レーダ画像を入力とし、前景領域を示す情報を出力とした学習済みモデル、またはレーダ信号データと同時に撮影されるカメラ画像を使用することによって前景領域を特定し得る。詳細を以下で説明する。なお、前景特定部２０６は、他の方法で前景領域を特定してもよい。

【0053】

次に、第２の実施形態による教師データ生成装置１０の構成を、図９に示されるブロック図を参照して説明する。本構成では、画像内にブラーを追加する場所の選択を可能にすることによるデータ拡張システムの追加の制御が存在する。これは、モーションブラーが画像の一部にのみ追加され、第１の実施形態に記載されるように画像全部に追加されるわけではないことを暗示する。これは、ブラー追加による画像内のノイズの量の制御、したがって、検出モデルの堅牢性の保証に有用であり得る。今後、ブラー追加についての画像の選択部分は前景と称し、前景を除く画像の残りの部分は背景と称する。前景の例の１つは、検出されるべき危険オブジェクト（検出ターゲット）であり得る。これを実装するために、本構成で追加される２つの追加ユニットが存在する。その一方は、前景を突き止め、他方のユニットは、ブラー追加画像内の背景をブラー追加無のバージョンで置き換える。

【0054】

第１の実施形態と同様に、モーションブラーをパラメータ化する速度は、何らかの事前の知見に基づいて決定される、すなわち、レーダ信号からの情報は直接使用されない。また、パラメータＮ（＞１）は、レーダ信号ごとに生成される拡張画像の数を意味し、予め決定されている。

【0055】

第２の実施形態による、レーダ画像の教師データ生成装置１０は、レーダ信号ストレージ部１０１と、アンテナ情報ストレージ部１０３と、画像生成部１０４と、速度生成部１０２と、レーダ信号取得部１０８と、出力部１０９と、前景特定部２０６と、置換部２０７と、を含み得る。なお、レーダ信号ストレージ部１０１、アンテナ情報ストレージ部１０３、速度生成部１０２、レーダ信号取得部１０８、および出力部１０９の構成は、第１の実施形態で説明したものと同じであり、そのため、説明は繰り返し行わない。

【0056】

画像生成部１０４の入力は、第１の実施形態で記載したものと同じであり、したがって、説明は繰り返し行わない。画像生成部１０４の機能も、第１の実施形態で記載したものと非常に類似しており、画像生成部１０４は、本構成では置換部２０７への入力として与えられるＮ個の拡張レーダ画像［Ｉ_ｖ１、Ｉ_ｖ２、．．．、Ｉ_ｖＮ］を出力する。これに加えて、画像生成部１０４はまた、前景特定部２０６への入力として与えられる、元のブラー追加無のレーダ画像Ｉ_０を出力する。

【0057】

前景特定部２０６は、元のブラー追加無のレーダ画像Ｉ_０を画像生成部１０４から入力として受信して、矩形バウンディングボックス、すなわち、［ｘ、ｙ、ｗ、ｈ］の形態の画像内の前景位置と共にＩ_０を出力する。本文脈では、前景は、ブラーを追加することが必要とされる画像の一部である。ここで、（ｘ、ｙ）はデカルト座標内のボックスの中心位置であり、ｗは幅であり、ｈはボックスの高さである。位置特定は、前景を突き止める何らかの予め訓練されたオブジェクト検出器（学習済みモデル）の手段によって、または光学カメラ画像からの情報もしくは何らかの他の手段を使用することによって行われ得る。光学カメラ画像は、図１のカメラ９８などのカメラによって撮影され得る。

【0058】

置換部２０７は、Ｎ個の拡張レーダ画像［Ｉ_ｖ１、Ｉ_ｖ２、．．．、Ｉ_ｖＮ］を画像生成部１０４から入力として受信する。それはまた、追加の入力を受信する、すなわち、元のブラー追加無の画像Ｉ_０を画像内の前景位置［ｘ、ｙ、ｗ、ｈ］と共に前景特定部２０６から受信する。置換部２０７は、背景を、Ｉ_０から取得されたブラー追加無の背景に置き換えたＮ個の拡張レーダ画像［Ｉ’_ｖ１、Ｉ’_ｖ２、．．．、Ｉ’_ｖＮ］を出力する。言及したように、背景は、前景を全体画像から差し引いた後に得られる画像である。選択ピクセルのトリミングのような周知の画像処理技術により差し引きが行われ得る。

【0059】

次に、動作モードの第２の実施形態に係る教師データ生成装置１０によって行われる動作例を、図１０に示されるフローチャートを参照して説明する。レーダ信号は既に測定されておりレーダ信号ストレージ部１０１に記憶されている。また、アンテナ情報は、アンテナ情報ストレージ部１０３に記憶されている。更に、パラメータＮは、予め決定されている。なお、図１０のステップＳ２０１、Ｓ２０２、およびＳ２０３はそれぞれ、図８のステップＳ１０１、Ｓ１０２、およびＳ１０３と同じであり、そのため、それらの説明は繰り返し行わない。

【0060】

ステップＳ２０４で、第１の実施形態のステップＳ１０４と同様に、Ｎ個の拡張画像［Ｉ_ｖ１、Ｉ_ｖ２、．．．、Ｉ_ｖＮ］が画像生成部１０４によって生成される。しかし、本構成では、これらの画像は、置換部２０７への入力として与えられる。更に、本ステップＳ２０４で、画像生成部１０４は、元のブラー追加無の画像である別の出力Ｉ_０を生成して、それを前景特定部２０６に入力として与える。ステップＳ２０６で、前景特定部２０６は、ブラーを追加すべき画像の一部、すなわち、前景を突き止める。前景の位置［ｘ、ｙ、ｗ、ｈ］はブラー追加無の画像Ｉ_０と共に、置換部２０７に出力として与えられる。ステップＳ２０７で、置換部２０７は、Ｎ個のブラー追加拡張画像［Ｉ_ｖ１、Ｉ_ｖ２、．．．、Ｉ_ｖＮ］の背景部を、ブラー追加無の画像Ｉ_０からの背景で置き換えて、Ｎ個の修正拡張画像を出力する。これは、本構成におけるデータ拡張システムの１つの処理フローサイクルの終了を示す。ここで、１つの処理フローサイクルの出力は、各レーダ信号について生成されるＮ個の拡張画像［Ｉ’_ｖ１、Ｉ’_ｖ２、．．．、Ｉ’_ｖＮ］であり、ブラーは、画像の一部にのみ追加され、画像全部に追加されるわけではない。

【0061】

上述のように、第２の実施形態による教師データ生成装置１０は、現実的なモーションブラーを画像の選択部分のみに追加することによって訓練段階のレーダ画像を拡張する。これは、画像全体へのブラーの追加がノイズを増加させ得る場合に有用であり得、したがって、ブラーは、選択部分のみに追加される。選択部分は、検出されるべき危険オブジェクトであり得る。第１の実施形態の場合と同様に、本構成は、検出モデルの訓練およびテスト段階の間に（歩行）速度、したがって、ブラーの不整合の低減をもたらす。これに加えて、本構成は、ブラーを追加する場所の選択を可能にすることによってデータ拡張の追加の制御を提供する。これは、検出モデルの堅牢性、すなわち、誤った警報の低減を保証しつつ、検出性能の改善につながる。

【0062】

第３の実施形態
図１１は、第３の実施形態に係る教師データ生成装置１０の機能ベースの構成を例示するブロック図である。第３の実施形態の教師データ生成装置１０は、以下で説明する点を除いて、第１の実施形態の教師データ生成装置１０と同じである。

【0063】

第３の実施形態の教師データ生成装置１０は、レーダ信号データで検出されるオブジェクト（例えば、図１のターゲット９０）の速度値を推定する速度推定部３０５を更に備える。速度生成部１０２は、推定された速度値を使用することによって速度値分布を生成する。

【0064】

第３の実施形態の教師データ生成装置１０では、速度推定部３０５は、例えば、複数の速度値の各々に基づいてモーション補正が適用された補正レーダ画像を生成する。補正レーダ画像は、レーダ信号データを使用することによって生成される。また、速度推定部３０５は、生成された複数の補正レーダ画像を互いに比較することによって複数の速度値から速度値を選択して、選択された速度値を推定された速度値として設定する。詳細を以下で説明する。

【0065】

次に、第３の実施形態による教師データ生成装置１０の構成を、図１１に示されるブロック図を参照して説明する。データ拡張システムの本構成は、第１の実施形態で記載した構成に対して追加の機能を記載する。本構成では、何らかの予め決定された速度値分布に基づいて速度を決定するのではなく、速度は、レーダ信号に基づいて処理フロー中に決定される。これは、ターゲット（例えば、図１のターゲット９０）の速度値をレーダ信号から推定してそれに基づいて速度を生成することによって行われる。例示的な方法の１つは、推定された速度値をパラメータとして使用して速度値分布を生成することである。この速度値分布は、一定ではなく、その推定された速度値に基づいて各レーダ信号について調整されると理解され得る。レーダ信号からの推定された速度値に基づくモーションブラー速度の生成は、追加されるモーションブラーをより現実的にすると予想される。更に、例示的なシナリオのような場合、レーダ信号ごとの速度値分布の調整は、（ターゲット速度値が大きすぎるか、または小さすぎる）外れ値の場合を処理する。本構成でも、パラメータＮ（＞１）は、レーダ信号ごとに生成される拡張画像の数を意味し、予め決定されている。

【0066】

第３の実施形態による教師データ生成装置１０は、レーダ信号ストレージ部１０１と、アンテナ情報ストレージ部１０３と、画像生成部１０４と、速度生成部１０２と、レーダ信号取得部１０８と、出力部１０９と、速度推定部３０５と、を含み得る。なお、レーダ信号ストレージ部１０１、アンテナ情報ストレージ部１０３、画像生成部１０４、レーダ信号取得部１０８、および出力部１０９の構成は、本開示の第１の実施形態で説明したものと同じであり、そのため、説明は繰り返し行わない。

【0067】

速度推定部３０５は、レーダ信号を入力として取得して、ターゲットの推定された速度値ｖ_ｅを速度生成部１０２に出力する。速度推定部３０５は、既存のモーション推定および補正技術を使用してターゲットの速度値を推定する。本技術は、所定のいくつかの候補速度の中で最も適切な速度値を、これらの速度の各々を使用したモーション補正画像を比較することによって推定する。モーション補正手法は、速度値によってパラメータ化され、結果として生じる画像は、使用される速度値が実際のものと同じかまたは類似している場合に明瞭になり強い強度を有する。そのため、結果として生じる画像強度の比較に基づいて最も適切な速度値を選択し得る。最も適切な速度値は、推定された速度値ｖ_ｅである。

【0068】

速度生成部１０２は、推定された速度値ｖ_ｅを入力として取得して、Ｎ個の速度［ｖ_１、ｖ_２、．．．、ｖ_Ｎ］を画像生成部１０４に出力として提供する。速度生成部１０２は、入力され推定された速度値に基づいてＮ個の速度を生成する。そのため、モーションブラーを拡張画像に対して生成する基となる速度を特定するために、レーダ信号からの情報が直接使用される。

【0069】

図１２を参照して、速度生成部１０２の１つの例示的な構成を説明する。ここで、速度生成部１０２は実際、２つのサブユニット、すなわち、速度特定部１０２ａおよび分布生成部１０２ｃで構成されている。ここで、分布生成部１０２ｃは、推定された速度値を入力として受信して、速度値分布を速度特定部１０２ａに出力として提供する。分布生成部１０２ｃは、推定された速度値ｖ_ｅをパラメータとして使用して分布を生成する。例の１つが、ガウス分布であり得、ここで、平均値はｖ_ｅであり、標準偏差はｖ_ｅの因数、例えば、ｖ_ｅ／１０である。速度特定部１０２ａは、速度値分布を入力として受信して、Ｎ個の速度を画像生成部１０４に出力する。速度特定部１０２ａは、入力された速度値分布から、これらのＮ個の速度をランダムにサンプリングする。所定のパラメータＮは、速度特定部１０２ａに既知である。

【0070】

次に、動作モードの第３の実施形態に係る教師データ生成装置１０によって行われる動作例を、図１３に示されるフローチャートを参照して説明する。レーダ信号は既に測定されておりレーダ信号ストレージ部１０１に記憶されている。また、アンテナ情報は、アンテナ情報ストレージ部１０３に記憶されている。更に、パラメータＮは、予め決定されている。なお、図１３のステップＳ３０１、Ｓ３０３、およびＳ３０４はそれぞれ、図８のステップＳ１０１、Ｓ１０３、およびＳ１０４と同じであり、そのため、それらの説明は繰り返し行わない。

【0071】

ステップＳ３０５で、速度推定部３０５は、レーダ信号を使用してターゲットの速度値を推定して、推定された速度値ｖ_ｅを速度生成部１０２に入力として提供する。ステップＳ３０２で、速度生成部１０２は、推定された速度値をパラメータとして用い、Ｎ個の速度を生成する。１つの例示的な動作は、ｖ_ｅを平均値として使用し、その因数、例えば、ｖ_ｅ／１０を標準編偏差として使用してガウス分布を生成し、次いで、Ｎ個の速度をこの分布からサンプリングすることである。これらのＮ個の速度に基づくステップＳ３０４でのＮ個の拡張画像の生成は、本構成におけるデータ拡張システムの１つの処理フローサイクルの終了を示す。ここで、１つの処理フローサイクルの出力は、各レーダ信号について生成されるＮ個の拡張画像［Ｉ_ｖ１、Ｉ_ｖ２、．．．、Ｉ_ｖＮ］であり、ブラーは、それぞれのレーダ信号においてターゲットの推定された速度値ｖ_ｅに基づいて追加される。

【0072】

上述のように、第３の実施形態による教師データ生成装置１０は、各レーダ信号についてのターゲットの推定された速度値に基づいてブラーを追加することによって訓練段階のレーダ画像を拡張する。第１の実施形態の場合と同様に、本構成は、検出モデルの訓練およびテスト段階の間に（歩行）速度、したがって、ブラーの不整合の低減をもたらす。これに加えて、本構成では、レーダ信号からの推定された速度値に基づくモーションブラー速度の生成は、追加されるモーションブラーをより現実的にすると予想される。更に、レーダ信号ごとの速度値分布の調整は、（ターゲット速度値が大きすぎるか、または小さすぎる）外れ値の場合を処理する。これは、検出性能の更なる改善につながる。

【0073】

上述のように、添付図面を参照して本発明の実施形態を記載したが、これらの実施形態は、本発明の単なる例示であって、上記実施形態、および上述の実施形態のもの以外の様々な構成の組合せも採用され得る。

【0074】

上記開示の実施形態の全部または一部が以下の付記として記載され得るが、以下に限定されない。
１－１．
レーダによって取得されるレーダ信号データを取得するレーダ信号取得部と、
前記レーダ信号データを使用することによって、１つ以上の速度値の各々に基づいてモーションブラーが追加されたレーダ画像を生成する画像生成部と、
検出ターゲットが前記レーダ信号データで検出されているかどうかを少なくとも示す正解データと関連付けて前記レーダ画像を出力する出力部と、
を備える、教師データ生成装置。
１－２．
１つ以上の速度値を生成する速度生成部を更に備え、
前記画像生成部は、前記速度生成部によって生成された前記１つ以上の速度値を取得して、前記取得された１つ以上の速度値の各々を使用することによって前記レーダ画像を生成する、１－１．に記載の教師データ生成装置。
１－３．
前記速度生成部は、前記１つ以上の速度値をランダムに速度値分布からサンプリングすることによって前記１つ以上の速度値を生成する、１－２．に記載の教師データ生成装置。
１－４．
前記レーダ信号データで検出されるオブジェクトの速度値を推定する速度推定部を更に備え、
前記速度生成部は、前記推定された速度値を使用することによって前記速度値分布を生成する、１－３．に記載の教師データ生成装置。
１－５．
前記速度推定部は、
前記レーダ信号データを使用することによって、複数の速度値の各々に基づいてモーション補正が適用された補正レーダ画像を生成し、
前記生成された複数の補正レーダ画像を互いに比較することによって前記複数の速度値から速度値を選択し、
前記選択された速度値を前記推定された速度値として設定する、１－４．に記載の教師データ生成装置。
１－６．
前記レーダ画像内でモーションブラーが追加されるべき前景領域を特定する前景特定部と、
モーションブラーが追加された前記レーダ画像内の前記前景領域を除く領域を、前記レーダ信号データを使用することによって生成され、モーションブラーが追加されていないレーダ画像内の前記前景領域を除く領域で置き換える置換部と、
を更に備え、
前記出力部は、前記正解データと関連付けて、前記置き換えられたレーダ画像を出力する、１－１．から１－５．のいずれか１つに記載の教師データ生成装置。
１－７．
前記前景特定部は、レーダ画像を入力とし、前記前景領域を示す情報を出力とした学習済みモデル、または前記レーダ信号データと同時に撮影されるカメラ画像を使用することによって前記前景領域を特定する、１－６．に記載の教師データ生成装置。

【0075】

２－１．
コンピュータによって行われる教師データ生成方法であって、
レーダによって取得されるレーダ信号データを取得することと、
前記レーダ信号データを使用することによって、１つ以上の速度値の各々に基づいてモーションブラーが追加されたレーダ画像を生成することと、
検出ターゲットが前記レーダ信号データで検出されているかどうかを少なくとも示す正解データと関連付けて前記レーダ画像を出力することと、
を含む、教師データ生成方法。
２－２．
１つ以上の速度値を生成することを更に含み、
モーションブラーが追加された前記レーダ画像は、前記生成された１つ以上の速度値の各々を使用することによって生成される、２－１．に記載の教師データ生成方法。
２－３．
前記１つ以上の速度値は、前記１つ以上の速度値をランダムに速度値分布からサンプリングすることによって生成される、２－２．に記載の教師データ生成方法。
２－４．
前記レーダ信号データで検出されるオブジェクトの速度値を推定することと、
前記推定された速度値を使用することによって前記速度値分布を生成することと、
を更に含む、２－３．に記載の教師データ生成方法。
２－５．
前記レーダ信号データを使用することによって、複数の速度値の各々に基づいてモーション補正が適用された補正レーダ画像を生成することと、
前記生成された複数の補正レーダ画像を互いに比較することによって前記複数の速度値から速度値を選択することと、
前記選択された速度値を前記推定された速度値として設定することと、
を更に含む、２－４．に記載の教師データ生成方法。
２－６．
前記レーダ画像内でモーションブラーが追加されるべき前景領域を特定することと、
モーションブラーが追加された前記レーダ画像内の前記前景領域を除く領域を、前記レーダ信号データを使用することによって生成され、モーションブラーが追加されていないレーダ画像内の前記前景領域を除く領域で置き換えることと、
を更に含み、
前記出力されるレーダ画像は、前記置き換えられたレーダ画像である、２－１．から２－５．のいずれか１つに記載の教師データ生成方法。
２－７．
前記前景領域は、レーダ画像を入力とし、前記前景領域を示す情報を出力とした学習済みモデル、または前記レーダ信号データと同時に撮影されるカメラ画像を使用することによって特定される、２－６．に記載の教師データ生成方法。

【0076】

３－１．
教師データ生成方法をコンピュータに実行させるプログラムであって、前記教師データ生成方法は、
レーダによって取得されるレーダ信号データを取得することと、
前記レーダ信号データを使用することによって、１つ以上の速度値の各々に基づいてモーションブラーが追加されたレーダ画像を生成することと、
検出ターゲットが前記レーダ信号データで検出されているかどうかを少なくとも示す正解データと関連付けて前記レーダ画像を出力することと、
を含む、プログラム。
３－２．
前記教師データ生成方法は、１つ以上の速度値を生成することを更に含み、
モーションブラーが追加された前記レーダ画像は、前記生成された１つ以上の速度値の各々を使用することによって生成される、３－１．に記載のプログラム。
３－３．
前記１つ以上の速度値は、前記１つ以上の速度値をランダムに速度値分布からサンプリングすることによって生成される、３－２．に記載のプログラム。
３－４．
前記教師データ生成方法は、
前記レーダ信号データで検出されるオブジェクトの速度値を推定することと、
前記推定された速度値を使用することによって前記速度値分布を生成することと、
を更に含む、３－３．に記載のプログラム。
３－５．
前記教師データ生成方法は、
前記レーダ信号データを使用することによって、複数の速度値の各々に基づいてモーション補正が適用された補正レーダ画像を生成することと、
前記生成された複数の補正レーダ画像を互いに比較することによって前記複数の速度値から速度値を選択することと、
前記選択された速度値を前記推定された速度値として設定することと、
を更に含む、３－４．に記載のプログラム。
３－６．
前記教師データ生成方法は、
前記レーダ画像内でモーションブラーが追加されるべき前景領域を特定することと、
モーションブラーが追加された前記レーダ画像内の前記前景領域を除く領域を、前記レーダ信号データを使用することによって生成され、モーションブラーが追加されていないレーダ画像内の前記前景領域を除く領域で置き換えることと、
を更に含み、
前記出力されるレーダ画像は、前記置き換えられたレーダ画像である、３－１．から３－５．のいずれか１つに記載のプログラム。
３－７．
前記前景領域は、レーダ画像を入力とし、前記前景領域を示す情報を出力とした学習済みモデル、または前記レーダ信号データと同時に撮影されるカメラ画像を使用することによって特定される、３－６．に記載のプログラム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【手続補正書】

【提出日】2023-12-06

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

レーダによって取得されるレーダ信号データを取得するレーダ信号取得部と、
前記レーダ信号データを使用することによって、１つ以上の速度値の各々に基づいてモーションブラーが追加されたレーダ画像を生成する画像生成部と、
検出ターゲットが前記レーダ信号データで検出されているかどうかを少なくとも示す正解データと関連付けて前記レーダ画像を出力する出力部と、
を備える、教師データ生成装置。

【請求項2】

１つ以上の速度値を生成する速度生成部を更に備え、
前記画像生成部は、前記速度生成部によって生成された前記１つ以上の速度値を取得して、前記取得された１つ以上の速度値の各々を使用することによって前記レーダ画像を生成する、請求項１に記載の教師データ生成装置。

【請求項3】

前記速度生成部は、前記１つ以上の速度値をランダムに速度値分布からサンプリングすることによって前記１つ以上の速度値を生成する、請求項２に記載の教師データ生成装置。

【請求項4】

前記レーダ信号データで検出されるオブジェクトの速度値を推定する速度推定部を更に備え、
前記速度生成部は、前記推定された速度値を使用することによって前記速度値分布を生成する、請求項３に記載の教師データ生成装置。

【請求項5】

前記速度推定部は、
前記レーダ信号データを使用することによって、複数の速度値の各々に基づいてモーション補正が適用された補正レーダ画像を生成し、
前記生成された複数の補正レーダ画像を互いに比較することによって前記複数の速度値から速度値を選択し、
前記選択された速度値を前記推定された速度値として設定する、請求項４に記載の教師データ生成装置。

【請求項6】

前記レーダ画像内でモーションブラーが追加されるべき前景領域を特定する前景特定部と、
モーションブラーが追加された前記レーダ画像内の前記前景領域を除く領域を、前記レーダ信号データを使用することによって生成され、モーションブラーが追加されていないレーダ画像内の前記前景領域を除く領域で置き換える置換部と、
を更に備え、
前記出力部は、前記正解データと関連付けて、前記置き換えられたレーダ画像を出力する、請求項１から５のいずれか一項に記載の教師データ生成装置。

【請求項7】

前記前景特定部は、レーダ画像を入力とし、前記前景領域を示す情報を出力とした学習済みモデル、または前記レーダ信号データと同時に撮影されるカメラ画像を使用することによって前記前景領域を特定する、請求項６に記載の教師データ生成装置。

【請求項8】

コンピュータによって行われる教師データ生成方法であって、
レーダによって取得されるレーダ信号データを取得することと、
前記レーダ信号データを使用することによって、１つ以上の速度値の各々に基づいてモーションブラーが追加されたレーダ画像を生成することと、
検出ターゲットが前記レーダ信号データで検出されているかどうかを少なくとも示す正解データと関連付けて前記レーダ画像を出力することと、
を含む、教師データ生成方法。

【請求項9】

教師データ生成方法をコンピュータに実行させるプログラムであって、前記教師データ生成方法は、
レーダによって取得されるレーダ信号データを取得することと、
前記レーダ信号データを使用することによって、１つ以上の速度値の各々に基づいてモーションブラーが追加されたレーダ画像を生成することと、
検出ターゲットが前記レーダ信号データで検出されているかどうかを少なくとも示す正解データと関連付けて前記レーダ画像を出力することと、
を含む、プログラム。

【国際調査報告】