特許7586348教師データ生成装置、教師データ生成システム、教師データ生成方法、およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-11
(45)【発行日】2024-11-19
(54)【発明の名称】教師データ生成装置、教師データ生成システム、教師データ生成方法、およびプログラム
(51)【国際特許分類】
G01S 13/89 20060101AFI20241112BHJP
【ＦＩ】
G01S13/89
【請求項の数】
10
(21)【出願番号】P 2023575449
(86)(22)【出願日】2021-06-08
(65)【公表番号】
(43)【公表日】2024-06-25
(86)【国際出願番号】 JP2021021730
(87)【国際公開番号】W WO2022259362
(87)【国際公開日】2022-12-15
【審査請求日】2023-12-06
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100110928
【弁理士】
【氏名又は名称】速水 進治
(72)【発明者】
【氏名】カーン ナグマ サムリーン
(72)【発明者】
【氏名】小倉 一峰
(72)【発明者】
【氏名】有吉 正行
【審査官】梶田 真也
(56)【参考文献】
【文献】特開２０１８－１６３０９６（ＪＰ，Ａ）
【文献】米国特許出願公開第２０２１／００１２５２４（ＵＳ，Ａ１）
【文献】特開２０１９－０２９０２１（ＪＰ，Ａ）
【文献】米国特許出願公開第２０２０／０２８６２４７（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１８／００１４３８２（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｓ ７／００ － ７／４２
Ｇ０１Ｓ １３／００ － １３／９５
Ｇ０６Ｔ ７／００ － ７／９０
(57)【特許請求の範囲】
【請求項1】
オブジェクトからの散乱信号に基づくレーダ画像を取得する取得部と、前記散乱信号の検出と同期して捕捉される、前記オブジェクトを含む領域の補足画像を取得し、前記補足画像内のマーカを検出し、前記マーカの識別子を抽出するマーカ検出部と、
前記抽出された識別子を使用してラベルを生成するラベル生成部と、
前記レーダ画像と前記生成されたラベルとが互いに関連付けられた出力データを出力する出力部と、
を備え、
前記マーカは、前記補足画像内では把握可能であり、前記レーダ画像内では把握可能でなく、
前記オブジェクトは前記補足画像では見えていない、教師データ生成装置。
【請求項2】
請求項１に記載の教師データ生成装置において、前記補足画像は、カメラ画像、深度画像、またはＩＲ画像である、教師データ生成装置。
【請求項3】
請求項１または２に記載の教師データ生成装置において、前記マーカは、紙、木、布、またはプラスチックに印刷されている、教師データ生成装置。
【請求項4】
請求項１から３のいずれか一項に記載の教師データ生成装置において、前記マーカは、ＡＲマーカまたはＱＲコードである、教師データ生成装置。
【請求項5】
請求項１から４のいずれか一項に記載の教師データ生成装置において、前記ラベル生成部は、前記識別子と前記ラベルとが互いに関連付けられたラベル情報テーブルを更に使用して前記ラベルを生成する、教師データ生成装置。
【請求項6】
請求項１から５のいずれか一項に記載の教師データ生成装置において、前記生成されたラベルは、前記オブジェクトのタイプを示すクラス名ラベルを含む、教師データ生成装置。
【請求項7】
請求項１から６のいずれか一項に記載の教師データ生成装置において、前記生成されたラベルは、前記オブジェクトの位置およびサイズを示すバウンディングボックスラベルを含む、教師データ生成装置。
【請求項8】
請求項１から７のいずれか一項に記載の教師データ生成装置と、電磁波を前記オブジェクトに送信して前記オブジェクトによる散乱電磁波を検出することによって前記散乱信号を検出する測定部と、
前記補足画像を撮影する補足イメージング部と、
を備える教師データ生成システム。
【請求項9】
コンピュータによって行われる教師データ生成方法であって、オブジェクトからの散乱信号に基づくレーダ画像を取得し、前記散乱信号の検出と同期して捕捉される、前記オブジェクトを含む領域の補足画像を取得することと、
前記補足画像内のマーカを検出することと、
前記マーカの識別子を抽出することと、
前記抽出された識別子を使用してラベルを生成することと、
前記レーダ画像と前記生成されたラベルとが互いに関連付けられた出力データを出力することと、
を含み、
前記マーカは、前記補足画像内では把握可能であり、前記レーダ画像内では把握可能でなく、
前記オブジェクトは前記補足画像では見えていない、教師データ生成方法。
【請求項10】
教師データ生成方法をコンピュータに実行させるプログラムであって、前記教師データ生成方法は、オブジェクトからの散乱信号に基づくレーダ画像を取得し、前記散乱信号の検出と同期して捕捉される、前記オブジェクトを含む領域の補足画像を取得することと、
前記補足画像内のマーカを検出することと、
前記マーカの識別子を抽出することと、
前記抽出された識別子を使用してラベルを生成することと、
前記レーダ画像と前記生成されたラベルとが互いに関連付けられた出力データを出力することと、
を含み、
前記マーカは、前記補足画像内では把握可能であり、前記レーダ画像内では把握可能でなく、
前記オブジェクトは前記補足画像では見えていない、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は概して、教師データ生成に関する。
【背景技術】
【0002】
レーダ画像のオブジェクト検出システムでは、ターゲットオブジェクトによる散乱電波が測定され、次いで、イメージングが行われて、スキャン下でターゲットのレーダ画像を生成する。上記画像は、隠されたオブジェクトを確認するためにオブジェクト検出モジュールによって使用される。上記オブジェクト検出モジュールは、大量のラベル付きデータセットが必要とされる教師あり手法を使用して訓練される機械学習ネットワークである。手動ラベリングは、時間を浪費するタスクであり、ヒューマンエラーを生む傾向にある。言うまでもなく、ラベリングの品質は、開発されるオブジェクト検出モジュールの性能に直接影響を与える。
【0003】
特許文献１は、ＬＩＤＡＲによって取得される距離画像に基づくオブジェクトの計算位置を使用してレーダによって取得されるマップ内でオブジェクトのエリアを決定することと、カメラによって捕捉される画像データに基づいてオブジェクトのタイプを把握することと、正解データをオブジェクトに付与することと、を開示している。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１８－１６３０９６号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献１の技術は、ＬＩＤＡＲによる測定および複雑な処理を必要としている。
【0006】
本発明の目的は、高速化された、レーダ画像の自動的なラベリング（または自動ラベリング）システムを提供することである。
【課題を解決するための手段】
【0007】
本発明は、
オブジェクトからの散乱信号に基づくレーダ画像を取得する取得部と、
散乱信号の検出と同期して捕捉される、オブジェクトを含む領域の補足画像を取得し、補足画像内のマーカを検出し、マーカの識別子を抽出するマーカ検出部と、
抽出された識別子を使用してラベルを生成するラベル生成部と、
レーダ画像と生成されたラベルとが互いに関連付けられた出力データを出力する出力部と、
を備える、教師データ生成装置を提供する。
オブジェクトからの散乱信号に基づくレーダ画像を取得する取得部と、
散乱信号の検出と同期して捕捉される、オブジェクトを含む領域の補足画像を取得し、補足画像内のマーカを検出し、マーカの識別子を抽出するマーカ検出部と、
抽出された識別子を使用してラベルを生成するラベル生成部と、
レーダ画像と生成されたラベルとが互いに関連付けられた出力データを出力する出力部と、
を備える、教師データ生成装置を提供する。
【0008】
本発明は、上記教師データ生成装置と、
電磁波をオブジェクトに送信してオブジェクトによる散乱電磁波を検出することによって散乱信号を検出する測定部と、
補足画像を撮影する補足イメージング部と、
を備える教師データ生成システムを提供する。
電磁波をオブジェクトに送信してオブジェクトによる散乱電磁波を検出することによって散乱信号を検出する測定部と、
補足画像を撮影する補足イメージング部と、
を備える教師データ生成システムを提供する。
【0009】
本発明は、コンピュータによって行われる教師データ生成方法であって、
オブジェクトからの散乱信号に基づくレーダ画像と、散乱信号の検出と同期して捕捉される、オブジェクトを含む領域の補足画像とを取得することと、
補足画像内のマーカを検出することと、
マーカの識別子を抽出することと、
抽出された識別子を使用してラベルを生成することと、
レーダ画像と生成されたラベルとが互いに関連付けられた出力データを出力することと、
を含む、教師データ生成方法を提供する。
オブジェクトからの散乱信号に基づくレーダ画像と、散乱信号の検出と同期して捕捉される、オブジェクトを含む領域の補足画像とを取得することと、
補足画像内のマーカを検出することと、
マーカの識別子を抽出することと、
抽出された識別子を使用してラベルを生成することと、
レーダ画像と生成されたラベルとが互いに関連付けられた出力データを出力することと、
を含む、教師データ生成方法を提供する。
【0010】
本発明は、教師データ生成方法をコンピュータに実行させるプログラムであって、教師データ生成方法は、
オブジェクトからの散乱信号に基づくレーダ画像と、散乱信号の検出と同期して捕捉される、オブジェクトを含む領域の補足画像とを取得することと、
補足画像内のマーカを検出することと、
マーカの識別子を抽出することと、
抽出された識別子を使用してラベルを生成することと、
レーダ画像と生成されたラベルとが互いに関連付けられた出力データを出力することと、
を含む、プログラムを提供する。
オブジェクトからの散乱信号に基づくレーダ画像と、散乱信号の検出と同期して捕捉される、オブジェクトを含む領域の補足画像とを取得することと、
補足画像内のマーカを検出することと、
マーカの識別子を抽出することと、
抽出された識別子を使用してラベルを生成することと、
レーダ画像と生成されたラベルとが互いに関連付けられた出力データを出力することと、
を含む、プログラムを提供する。
【発明の効果】
【0011】
本発明の目的は、ラベリング手順を効果的で高速にしつつ自動化することである。これにより、オブジェクト検出モジュールの性能、加えてその開発の速さが改善される。特に、本開示は、効果的且つ高速である、レーダ画像の自動ラベリングシステムに関する。
【図面の簡単な説明】
【0012】
【図17】図１７（ａ）は、実施形態３に係るラベル情報テーブルの構造を示す例示的なテーブルであり、図１７（ｂ）は、登録クラステーブルの構造を示す例示的なテーブルであり、マーカ方向に従ってラベルサイズを調整する目的のためのものである。
【発明を実施するための形態】
【0013】
本開示の実施形態について、図面を参照して詳細に説明する。図面全体を通して、同じ構成要素は同じ符号で示し、説明を明確にするために、重複する説明を必要に応じて省略する。
【0014】
実施形態１
【0015】
＜概要＞
機械学習目的のラベリングに関して、本開示に関連するいくつかの具体的なポイントを次に説明する。教師あり学習手法では、機械学習モデルは、例示的な入力－出力ペアを使用して、入力を出力にマッピングする機能を学習する。ここで、入力は、画像、テキストの行、または音声の断片であり得る。出力は、学習しているタスクのタイプに依存し、一般的に入力の「ラベル」と称する。入力－出力ペアは、合わせてラベル付きデータと称する。入力のラベルはまた、入力のアノテーション（またはメタデータ）と称することもある。
機械学習目的のラベリングに関して、本開示に関連するいくつかの具体的なポイントを次に説明する。教師あり学習手法では、機械学習モデルは、例示的な入力－出力ペアを使用して、入力を出力にマッピングする機能を学習する。ここで、入力は、画像、テキストの行、または音声の断片であり得る。出力は、学習しているタスクのタイプに依存し、一般的に入力の「ラベル」と称する。入力－出力ペアは、合わせてラベル付きデータと称する。入力のラベルはまた、入力のアノテーション（またはメタデータ）と称することもある。
【0016】
ここで具体的に、画像に着目する。画像に対するラベルの一般的なタイプは、クラス名ラベル、バウンディングボックスラベルなどである。それらの中で最も一般的なものは、分類器ネットワークまたはモデルを学習するために使用されるクラス名ラベルである。ここで、モデルは、いくつかの予め決定されたクラスに入力を分類するように学習する。例えば、入力画像は、銃を含んでいるか、ナイフを含んでいるか、またはそれらのうちのどれも含んでいないかに応じて３つのクラスに分類される必要がある。このようなタスクを学習するために、ラベル付きデータは、画像－クラス名ペアで構成されていなければならない。これは、各画像がクラス名（銃、ナイフ、または無）に関連付けられていなければならないことを意味する。図１に示される例示的な画像を利用して、このことを説明する。この図では、画像に存在するオブジェクトのクラス名は、理解を容易にするために画像に重畳して示される。図は銃を含み、したがって、クラス名「銃１」（数字１は、銃のタイプを指定する）が図に示されている。
【0017】
画像ラベルの別の一般的な形態は、オブジェクト検出モデルを学習するために使用されるバウンディングボックスラベルである。ここでの目的は、オブジェクトの存在を検出し、その位置を突き止めることである。ほとんどの場合、当該ネットワークはまた、オブジェクトを様々なクラスに同様に分類する。このため、オブジェクト検出ネットワークは、オブジェクトの位置およびクラス名の両方を学習していると言える。したがって、この場合のラベルは、オブジェクトの位置およびクラス名の両方である。優れた位置特定性能を保証するために、バウンディングボックスラベルは、オブジェクトの周囲で「タイト」でなければならない。「タイト」は、バウンディングボックスサイズが、対象のオブジェクトを完全にカバーする最小のサイズでなければならないことを意味する。位置は大抵、中心位置（ｘ、ｙ）、幅、および高さをパラメータとする矩形バウンディングボックスとして指定される。多くの場合、矩形バウンディングボックスおよびクラスラベルは、何らかの予め決定された標準フォーマットで一緒に指定され、画像アノテーションと称する。本開示では、前述の画像アノテーションはまた、矩形ラベルアノテーションと称することもある。図２は、理解を容易にするために、矩形ラベルアノテーションが重畳された例示的な画像を示す。この例示的な画像では、オブジェクトは、クラス名「銃１」を有する銃であり、その位置は、銃を中心としたタイトな矩形バウンディングボックスによって強調表示されている。
【0018】
教師あり学習タスクに対するラベルの作成は、人間によって（ほぼ常に）手動で行われる。画像および／またはラベルの複雑性が増すと、要する時間、加えてラベリングエラーの可能性が増す。単純な画像および／またはラベルであっても、ラベリング時間は依然著しく、ラベリングエラーの可能性はゼロではない。言うまでもなく、多大なラベリング時間は、教師ありモデルの開発の速さを減速させる。更に、ラベリングエラーは、教師ありモデルの性能に悪影響を与える。
【0019】
図３を利用して、レーダ画像のオブジェクト検出システムの構成を以下で説明する。本システムの具体的な目的は、人（ターゲット９０）が、隠された任意の危険オブジェクトを所有しているかどうかを確認することである。ターゲットが固定部分（エリア９６）を歩行しているとき、システムは、サイドパネル９４に置かれた固定アンテナ（レーダ９２）によってターゲットを測定し、取得された測定信号に基づいてレーダ画像（本質的に３Ｄ）を生成する。人（ターゲット９０）が、隠された危険オブジェクトを所有している場合、当該オブジェクトはレーダ画像内で見える。システムはまた、レーダ信号と同時にカメラ画像をカメラ（カメラ９８）を使用して取得する。レーダ画像内の危険オブジェクトの存在を検出するために、機械学習ベースのオブジェクト検出モデルが学習される。この機械学習ベースのオブジェクト検出モデルは、２Ｄ形態またはその元の３Ｄ形態のいずれかでレーダ画像を取得し得る。オブジェクト検出ネットワークの学習は、レーダ画像と共に、少なくともクラス名ラベルアノテーションを必要とする。
【0020】
本開示の目的に対して、（レーダ画像の）手動のラベリング手順は、背景技術とみなされる。当該背景技術に対する課題を記載する。課題説明に飛ぶ前に、レーダ画像の性質を説明する。レーダ画像は、多くの面でカメラ画像と異なっている。まず、色情報が存在せず、これにより、オブジェクトを区別するのが困難になる。更に、レーダ画像の解像度はほぼ常に、カメラ画像と比較して不十分である。これは、以下のこと、すなわち、大抵小さいサイズである、対象の隠されたオブジェクトにより、ラベル付けする人による当該データセットの手動でのラベル付けが、困難なタスクになるということに結び付く。言うまでもなく、（カメラ画像よりもはるかに多く）非常に時間を浪費するものである。
【0021】
レーダ画像の手動ラベリングに伴う第１の問題は、低解像度、色情報の欠如、および小さいオブジェクトサイズにより、クラスタイプを正確に識別するのが困難になるということである。クラスの数が増す場合、および／またはクラス間の「視覚的な」差が微小である場合に、この問題はより顕著となる。これにより、ラベリングに要する時間が増す。
【0022】
レーダ画像の手動ラベリングに関する第２の問題は、ラベリングのエラーである。まず、クラス名の識別は、問題となる画像の性質によりエラーを生む傾向にある。当該ラベリングエラーは次いで、分類器および／またはオブジェクト検出ネットワークの性能に悪影響を与える。
【0023】
実施形態１の教師データ生成装置１０は、自動的に、すなわち速さを増加させて、クラス名ラベルを生成することによって第１の問題を解決することができる、レーダ画像の自動的なラベリング（または自動ラベリング）システムを提供する。
【0024】
実施形態１の教師データ生成装置１０は、ラベリングプロセスの自動化（必要とされる人間の介入は無視できる）を通じてラベリングエラーを無くすことによって第２の問題を解決できる、レーダ画像の自動的なラベリング（または自動ラベリング）システムを更に提供する。ここで、理解を容易にするためにラベリング例が２Ｄ画像上に示されていたとしても、本発明は、３Ｄレーダ画像上でも同様に十分機能するということにも留意されたい。
【0025】
＜機能ベースの構成の例＞
図４は、実施形態１に係る教師データ生成装置１０の機能ベースの構成の例示的な図を示す。実施形態１の教師データ生成装置１０は、取得部１２と、マーカ検出部１４と、ラベル生成部１６と、出力部１８と、を含む。取得部１２は、オブジェクトからの散乱信号に基づくレーダ画像を取得する。マーカ検出部１４は、オブジェクトを含む領域の補足画像を取得し、補足画像内のマーカを検出し、マーカの識別子（ＩＤ）を抽出する。補足画像は、散乱信号の検出と同期して捕捉される画像である。ラベル生成部１６は、抽出された識別子を使用してラベルを生成する。出力部１８は、レーダ画像と生成されたラベルとが互いに関連付けられた出力データを出力する。以下は、詳細な説明である。
図４は、実施形態１に係る教師データ生成装置１０の機能ベースの構成の例示的な図を示す。実施形態１の教師データ生成装置１０は、取得部１２と、マーカ検出部１４と、ラベル生成部１６と、出力部１８と、を含む。取得部１２は、オブジェクトからの散乱信号に基づくレーダ画像を取得する。マーカ検出部１４は、オブジェクトを含む領域の補足画像を取得し、補足画像内のマーカを検出し、マーカの識別子（ＩＤ）を抽出する。補足画像は、散乱信号の検出と同期して捕捉される画像である。ラベル生成部１６は、抽出された識別子を使用してラベルを生成する。出力部１８は、レーダ画像と生成されたラベルとが互いに関連付けられた出力データを出力する。以下は、詳細な説明である。
【0026】
マーカは、補足画像内では把握可能であり、レーダ画像内では把握可能でない。ここで、以下のことが想定されることに留意されたい。（１）マーカは、（レーダ画像内ではなく）補足画像内でのみ把握可能であり、また、そのＩＤは、信号処理を使用して抽出可能であり、（２）固有クラスは、固有マーカＩＤと関連付けられており、どのマーカＩＤがどのクラスに関連付けられているかは先験的に既知である。
【0027】
取得部１２は、散乱信号から２次元画像または３次元画像を生成することによってレーダ画像を取得し得る。取得部１２は、予め生成されて取得部１２からアクセス可能な記録デバイスに記憶されたレーダ画像を読み取って取得し得る。補足画像は、散乱信号の検出と同期して撮影される、カメラ画像、深度画像、またはＩＲ画像であり得る。マーカ検出部１４は、カメラからカメラ画像を取得し得るか、または事前に捕捉されて取得部１２からアクセス可能な記録デバイスに記憶されたカメラ画像を読み取って取得し得る。
【0028】
＜ハードウェア構成の例＞
いくつかの実施形態では、教師データ生成装置１０に含まれる各機能部は、少なくとも１つのハードウェア構成要素で実装され得、各ハードウェア構成要素は、機能部のうちの１つ以上を実現し得る。いくつかの実施形態では、各機能部は、少なくとも１つのソフトウェア構成要素で実装され得る。いくつかの実施形態では、各機能部は、ハードウェア構成要素およびソフトウェア構成要素の組合せで実装され得る。
いくつかの実施形態では、教師データ生成装置１０に含まれる各機能部は、少なくとも１つのハードウェア構成要素で実装され得、各ハードウェア構成要素は、機能部のうちの１つ以上を実現し得る。いくつかの実施形態では、各機能部は、少なくとも１つのソフトウェア構成要素で実装され得る。いくつかの実施形態では、各機能部は、ハードウェア構成要素およびソフトウェア構成要素の組合せで実装され得る。
【0029】
教師データ生成装置１０は、教師データ生成装置１０を実装するために製造された専用コンピュータで実装され得るか、またはパーソナルコンピュータ（ＰＣ）、サーバマシン、もしくはモバイルデバイスのような汎用コンピュータで実装され得る。
【0030】
図５は、実施形態１の教師データ生成装置１０を実現するコンピュータ１０００のハードウェア構成の例を例示するブロック図である。図５では、コンピュータ１０００は、バス１０２０と、プロセッサ１０４０と、メモリ１０６０と、記録デバイス１０８０と、入力－出力（Ｉ／Ｏ）インターフェース１１００と、ネットワークインターフェース１１２０と、を含む。
【0031】
バス１０２０は、プロセッサ１０４０、メモリ１０６０、および記録デバイス１０８０がデータを相互に送信および受信するためのデータ送信チャネルである。プロセッサ１０４０は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、またはＦＰＧＡ（Field-Programmable Gate Array）などのプロセッサである。メモリ１０６０は、ＲＡＭ（Random Access Memory）などの１次記録デバイスである。記録媒体１０８０は、ハードディスクドライブ、ＳＳＤ（Solid State Drive）、またはＲＯＭ（Read Only Memory）などの２次記録デバイスである。
【0032】
Ｉ／Ｏインターフェースは、コンピュータ１０００と、キーボード、マウス、またはディスプレイデバイスなどの周辺デバイスとの間のインターフェースである。ネットワークインターフェースは、コンピュータ１０００と、コンピュータ１０００が別のコンピュータと通信する通信回線との間のインターフェースである。
【0033】
記録デバイス１０８０は、プログラムモジュールを記憶し得、その各々は、教師データ生成装置１０の機能部の実装態様である。ＣＰＵ１０４０は、各プログラムモジュールを実行し、それによって、教師データ生成装置１０の各機能部を実現する。
【0034】
＜プロセスのフロー＞
図６は、実施形態１の教師データ生成装置１０によって行われるプロセスシーケンスを例示するフローチャートである。取得部１２は、オブジェクトからの散乱信号に基づくレーダ画像を取得し、マーカ検出部１４は、オブジェクトを含む領域の補足画像を取得する（Ｓ１２）。補足画像は、散乱信号の検出と同期して捕捉される画像である。マーカ検出部１４は、補足画像内のマーカを検出する（Ｓ１４）。マーカ検出部１４は、マーカの識別子を抽出する（Ｓ１６）。ラベル生成部１６は、抽出された識別子を使用してラベルを生成する（Ｓ１８）。出力部１８は、レーダ画像と生成されたラベルとが互いに関連付けられた出力データを出力する（Ｓ２０）。
図６は、実施形態１の教師データ生成装置１０によって行われるプロセスシーケンスを例示するフローチャートである。取得部１２は、オブジェクトからの散乱信号に基づくレーダ画像を取得し、マーカ検出部１４は、オブジェクトを含む領域の補足画像を取得する（Ｓ１２）。補足画像は、散乱信号の検出と同期して捕捉される画像である。マーカ検出部１４は、補足画像内のマーカを検出する（Ｓ１４）。マーカ検出部１４は、マーカの識別子を抽出する（Ｓ１６）。ラベル生成部１６は、抽出された識別子を使用してラベルを生成する（Ｓ１８）。出力部１８は、レーダ画像と生成されたラベルとが互いに関連付けられた出力データを出力する（Ｓ２０）。
【0035】
＜教師データ生成システム＞
図７は、実施形態１に係る教師データ生成システム２０の機能ベースの構成の例示的な図を示す。実施形態１の教師データ生成システム２０は、教師データ生成装置１０と、測定部２２と、補足イメージング部２３と、を含む。測定部２２は、電磁波をオブジェクトに送信してオブジェクトによる散乱電磁波を検出することによって散乱信号を検出する。補足イメージング部２３は、補足画像を撮影する。
図７は、実施形態１に係る教師データ生成システム２０の機能ベースの構成の例示的な図を示す。実施形態１の教師データ生成システム２０は、教師データ生成装置１０と、測定部２２と、補足イメージング部２３と、を含む。測定部２２は、電磁波をオブジェクトに送信してオブジェクトによる散乱電磁波を検出することによって散乱信号を検出する。補足イメージング部２３は、補足画像を撮影する。
【0036】
＜動作例＞
レーダ画像の教師データ生成システム２０の動作例を、図３を参照して説明する。サイドパネル９４に置かれた固定レーダアンテナ（レーダ９２）の前方のスクリーニングエリア（エリア９６）内に人（ターゲット９０）が存在すると想定する。レーダ９２は、測定部２２に対応する。スクリーニングエリア内にいるとき、ターゲットは、補足信号センサ（今後、補足センサと称する）の検知フィールド内にもいて、当該センサは、この場合カメラ（カメラ９８）である。カメラ９８は、補足イメージング部２３に対応する。測定される散乱レーダ信号は、レーダ画像を生成するために使用され、当該レーダ画像は、ターゲットが任意の危険オブジェクトを所有しているかどうかを検出するために前処理されて使用される。カメラは、レーダセンサと同期した画像（今後、カメラ画像と称する）を捕捉する。例えば、衣服の下に隠された危険オブジェクトは、カメラ画像では見えないが、それに関する情報（タイプ、位置など）は、（カメラ画像では見えるが、レーダ画像では見えない）何らかのマーカを利用して識別され得る。マーカは、レーダ信号が容易に通り抜け得る素材、例えば、紙、木、布、またはプラスチックに印刷されるか、または置かれるため、マーカは、レーダ画像によって見えない。マーカから抽出された情報は、カメラ画像から、対応するレーダ画像に転送される。この情報は、機械学習分類器および／またはオブジェクト検出器モデルを訓練するためのラベルおよび／またはアノテーション情報として機能する。
レーダ画像の教師データ生成システム２０の動作例を、図３を参照して説明する。サイドパネル９４に置かれた固定レーダアンテナ（レーダ９２）の前方のスクリーニングエリア（エリア９６）内に人（ターゲット９０）が存在すると想定する。レーダ９２は、測定部２２に対応する。スクリーニングエリア内にいるとき、ターゲットは、補足信号センサ（今後、補足センサと称する）の検知フィールド内にもいて、当該センサは、この場合カメラ（カメラ９８）である。カメラ９８は、補足イメージング部２３に対応する。測定される散乱レーダ信号は、レーダ画像を生成するために使用され、当該レーダ画像は、ターゲットが任意の危険オブジェクトを所有しているかどうかを検出するために前処理されて使用される。カメラは、レーダセンサと同期した画像（今後、カメラ画像と称する）を捕捉する。例えば、衣服の下に隠された危険オブジェクトは、カメラ画像では見えないが、それに関する情報（タイプ、位置など）は、（カメラ画像では見えるが、レーダ画像では見えない）何らかのマーカを利用して識別され得る。マーカは、レーダ信号が容易に通り抜け得る素材、例えば、紙、木、布、またはプラスチックに印刷されるか、または置かれるため、マーカは、レーダ画像によって見えない。マーカから抽出された情報は、カメラ画像から、対応するレーダ画像に転送される。この情報は、機械学習分類器および／またはオブジェクト検出器モデルを訓練するためのラベルおよび／またはアノテーション情報として機能する。
【0037】
ここで、上記マーカは、補足信号センサの検知範囲内であれば任意の場所に配置され得ることに留意されたい。前述の例示的な動作では、検知デバイスはカメラであり、したがって、マーカは、カメラ画像で見えるはずである。マーカを配置する方法の１つは、ラベル付けされるオブジェクトの中心への配置であり得る。
【0038】
＜システムの構成＞
実施形態１による、レーダ画像の教師データ生成システム２０の構成例を、図８に示されるブロック図を参照して説明する。教師データ生成システム２０の本構成では、目的は、分類器を学習するためにレーダ画像のクラスラベルを特定することである。固有ＩＤのマーカが各固有クラスに関連付けられていると想定する。補足信号は、上記マーカＩＤを検出するように処理されて、関連付けられたクラスラベルが検索される。最終的に、対応するレーダ画像には、検索されたクラスラベルを用いて注釈が付けられる。使用され得る１つの当該マーカの例は、補足センサである光学カメラと組み合わされるＡＲマーカである。
実施形態１による、レーダ画像の教師データ生成システム２０の構成例を、図８に示されるブロック図を参照して説明する。教師データ生成システム２０の本構成では、目的は、分類器を学習するためにレーダ画像のクラスラベルを特定することである。固有ＩＤのマーカが各固有クラスに関連付けられていると想定する。補足信号は、上記マーカＩＤを検出するように処理されて、関連付けられたクラスラベルが検索される。最終的に、対応するレーダ画像には、検索されたクラスラベルを用いて注釈が付けられる。使用され得る１つの当該マーカの例は、補足センサである光学カメラと組み合わされるＡＲマーカである。
【0039】
図８の例では、教師データ生成システムは、教師データ生成装置１０と、受信機アンテナ１２１と、カメラデバイス１２２と、を含む。図８に示されるように、実施形態１に係る教師データ生成装置１０の構成の１つは、同期部１０１と、マーカ検出部１０３と、ラベル生成部１０４と、ラベル情報ストレージ１０５と、レーダ測定部１０６と、イメージング部１０７と、出力部１０９と、を含み得る。本構成において、イメージング部１０７、マーカ検出部１０３、ラベル生成部１０４、出力部１０９、およびカメラ１２２はそれぞれ、取得部１２、マーカ検出部１４、ラベル生成部１６、出力部１８、および補足イメージング部２３に対応する。受信機アンテナ１２１は、レーダ９２に含まれる。カメラ１２２は、カメラ９８に対応する。
【0040】
同期部１０１は、同期信号をレーダ測定部１０６およびマーカ検出部１０３に送信する。これは、レーダ信号と補足信号とが同時に捕捉されることを保証するように機能する。なお、同期部１０１は、コントローラなどとして教師データ生成装置１０とは別に設置されてもよい。
【0041】
マーカ検出部１０３は、同期信号を同期部１０１から入力として受信し、マーカＩＤをラベル生成部１０４に出力する。このマーカ検出部１０３は、同期信号を受信すると、補足信号を検知するように信号を補足センサ（カメラ１２２）に送信する。次いで、このマーカ検出部１０３は、補足信号を補足センサ１２２から取得し、補足信号内のマーカの存在を検出する。マーカが検出される場合、次のステップは、そのＩＤ（何らかの英数字値によって表され得る）の識別である。次いで、このマーカ検出部１０３は、マーカＩＤを出力する。
【0042】
１つの例示的な動作では、補足センサはカメラであり得、その場合、補足信号はカメラ画像である。この場合、マーカ検出部１０３は、図９に示されるようなサブユニットで構成される。サブユニットは、カメラ測定部１０３ａおよび検出部１０３ｂである。カメラ測定部１０３ａは、同期信号を同期部１０１から受信すると、カメラ画像を捕捉し、それを出力として検出部１０３ｂに与える。検出部１０３ｂは、カメラ画像内のマーカの存在を検出し、そのＩＤを出力する。当該ＩＤは、ラベル生成部１０４に与えられるマーカ検出部１０３の出力である。この場合において、ＡＲマーカが使用される場合、ＯｐｅｎＣＶの既存のライブラリがマーカ検出に使用され得る。
【0043】
ラベル生成部１０４は、マーカＩＤをマーカ検出部１０３から入力として受信し、ラベルを学習部１２３に出力する。このラベル生成部１０４は、マーカＩＤを入力として受信すると、ラベル情報ストレージ１０５から検索されるラベル情報テーブルを参照する。図１０で与えられる例示的なテーブルを利用して、ラベル情報テーブルの構造を説明する。このテーブルは、２つの列、すなわち、マーカＩＤ（１次キー）およびクラス名を有する。行の数は、固有クラスの数に依存する。このテーブルは、（事前のマーカおよびクラス名の知見を利用して）事前に手動で作成されてストレージ１０５に記憶されている。ラベル生成部１０４は、マーカＩＤを１次／検索キーとして使用して、クラス名を上記ラベル情報テーブルから検索する。次いで、このラベル生成部１０４は、検索されたクラス名を使用して、対応するレーダ画像に対してアノテーションを生成する。アノテーションフォーマットは、使用されている学習モデルに応じて、単純なテキストファイルの形態もしくはタグで構成された形態、または任意の他のフォーマットであり得る。クラス名で構成されたレーダ画像アノテーションは、ラベル生成部１０４の出力である。
【0044】
いくつかの構成では、クラス名はまた、いかなる後処理も伴わずに、出力として学習モデルに直接与えられ得る。
【0045】
レーダ測定部１０６は、同期信号を同期部１０１から入力として受信し、レーダ信号をイメージング部１０７に出力する。このレーダ測定部１０６は、同期信号を同期部１０１から受信すると、スキャン下でターゲットによって散乱されたレーダ信号を受信するように、信号を受信機アンテナ１２１に送信する。捕捉されたレーダ信号は、このレーダ測定部１０６によって受信機アンテナから受信され、イメージング部１０７に送信される。
【0046】
イメージング部１０７は、レーダ信号をレーダ測定部１０６から入力として受信し、レーダ画像を学習部１２３に出力する。イメージング部は、スキャンされたターゲットのレーダ画像を生成する。イメージング部は、任意の従来のイメージング技術を使用し得る。更に、出力レーダ画像は、３Ｄまたは２Ｄ画像のいずれかであり得る。
【0047】
出力部１０９は、レーダ画像をユニット１０７から受信し、関連付けられたラベル、すなわちクラス名をラベル生成部１０４から受信する。出力部１０９は、レーダ画像とラベルとが互いに関連付けられた出力データを出力する。
【0048】
学習部１２３、この場合、機械学習分類器モデルは、出力データを出力部１０９から受信する。学習部１２３は、出力データを使用して分類器モデルを学習する。学習部は、サポートベクターマシンもしくは深層学習ベースのＣＮＮモデルのいずれか、または任意の他のものであり得る。
【0049】
なお、出力部１０９からの出力データは、学習部１２３に入力される代わりにメモリデバイスに記憶されてもよい。
【0050】
次に、動作モードの第１の実施形態に係る、レーダ画像の教師データ生成システム２０によって行われる動作例を、図１１に示されるフローチャートを参照して説明する。
【0051】
ラベル情報テーブルは、事前に作成されてラベル情報ストレージ１０５に記憶されている。また、様々なＩＤのマーカが事前に作成されている（そして対応するクラスと関連付けられている）。
【0052】
教師データ生成方法を開始すると、同期部１０１は、マーカ検出部１０３およびレーダ測定部１０６に同期信号を送信する（ステップＳ１０１）。同期信号を受信すると、同時に、レーダ測定部１０６はレーダ測定を行い（ステップＳ１０６）、マーカ検出部１０３は補足信号検知を行う（ステップＳ１０３）。当該ステップＳ１０３では、マーカ検出部１０３は、マーカの存在について補足信号をスキャンし、マーカが見つけられた場合、そのＩＤを識別し、出力として与える。ラベル生成部１０４は、マーカＩＤを利用して、ラベル情報ストレージ１０５に記憶されたラベル情報テーブルからクラス名を特定しアノテーションを出力する（ステップＳ１０４）。イメージング部１０７は、レーダ測定部１０６から受信されたレーダ信号に対してイメージングを行って、レーダ画像を生成する（ステップＳ１０７）。ステップＳ１０７におけるレーダ画像の生成、およびステップＳ１０４におけるクラス名の特定により、処理フローが終了する。この処理フローの出力は、クラス名で構成されたアノテーションを伴うレーダ画像である。理解を容易にするために、関連付けられたクラスラベルが画像上に重畳して示された例示的な画像について図１を参照し得る。ここで、対象のオブジェクトは、クラス名「銃１」を有する銃である。
【0053】
上述のように、本開示の第１の実施形態による、レーダ画像の教師データ生成システム２０は、クラス名でレーダ画像を自動的にラベル付けする。これにより、ラベリング時間が劇的に低減され、自動的な（画像を見ることによってクラス名を手動で識別する必要はない）、マーカＩＤからのクラスラベルの推測により、ラベリングエラーも無くなる。
【0054】
実施形態１の教師データ生成装置１０の第１の効果は、ラベリングの手動の労力を劇的に低減することである（次いで、それは、必要な時間の低減につながる）。それは、（分類タスクに対して）クラス名が、予め記録されたデータベースを参照することによってマーカＩＤから自動的に推測されるため生じる。このため、自動ラベリングプロセスは、いかなる手動の労力（例えば、画像の視覚的な確認）も必要とせず、加えて、必要なラベリング時間を低減する。
【0055】
実施形態１の教師データ生成装置１０の第２の効果は、ラベリングエラーを低減することであり、次いで、それは、分類器ネットワークの性能を改善する。これもまた、ラベリングプロセスの自動化、すなわち、自動的に、予め記録されたデータベースを使用してマーカＩＤからクラス名を推測することにより、可能となる。この自動化は、（意図したようにユニットが機能する限り）クラスを手動で識別する場合に生じる教師データ生成プロセスのエラーを無くす。
【0056】
実施形態２
実施形態２の教師データ生成装置１０および教師データ生成システム２０はそれぞれ、以下で説明する点を除いて、実施形態１の教師データ生成装置１０および教師データ生成システム２０と同じである。
実施形態２の教師データ生成装置１０および教師データ生成システム２０はそれぞれ、以下で説明する点を除いて、実施形態１の教師データ生成装置１０および教師データ生成システム２０と同じである。
【0057】
実施形態１で説明したように、レーダ画像の手動ラベリングに伴う第１の問題は、低解像度、色情報の欠如、および小さいオブジェクトサイズにより、クラスタイプを正確に識別するのが困難になるということである。同じ課題により、バウンディングボックスラベルを手動で置くのが困難になる。優れたバウンディングボックスラベルは、オブジェクトを中心としたものであり、ボックスは、オブジェクトの周囲でタイトである。問題となる画像の性質により、オブジェクトを精密に手動で突き止めることが困難になり、それは、次いで、手動でバウンディングボックスラベルをオブジェクトの中心に置くのが困難になる。これに加えて、各オブジェクトに適切なサイズのタイトなラベルを手動で置くのは困難である。またこれにより、ラベリングに要する時間が増す。
【0058】
レーダ画像の手動ラベリングに関する第２の問題は、ラベリングのエラーである。まず、クラス名の識別は、問題となる画像の性質によりエラーを生む傾向にある。同じ課題により、手動で、タイトなバウンディングボックスラベルをオブジェクトの中心とするのは、間違いをもたらす。当該ラベリングエラーは次いで、分類器および／またはオブジェクト検出ネットワークの性能に悪影響を与える。
【0059】
実施形態２の教師データ生成装置１０は、自動的に、すなわち速さを増加させて、クラス名およびバウンディングボックスラベルを生成することによって第１の問題を解決することができる、レーダ画像の自動的なラベリング（または自動ラベリング）システムを提供する。
【0060】
実施形態２の教師データ生成装置１０は、ラベリングプロセスの自動化（必要とされる人間の介入は無視できる）を通じてラベリングエラーを無くすことによって第２の問題を解決することができる、レーダ画像の自動的なラベリング（または自動ラベリング）システムを更に提供する。
【0061】
次に、実施形態２による教師データ生成システム２０の構成を、図１２に示されるブロック図を参照して説明する。教師データ生成システム２０の本構成では、目的は、レーダ画像のオブジェクト検出（および位置特定）モデルを学習するために、クラスラベルに加えてオブジェクトの位置を特定することである。オブジェクト位置は、学習モデルに対して矩形バウンディングボックスの形態で指定される（ラベルサイズおよびバウンディングボックスサイズは同じものを指し、今後、交換可能に使用される）。更に、マーカ位置がオブジェクト（中心）位置と同じであると想定すると、今後、マーカ位置に対する任意の参照は実際、オブジェクト位置を指す。また、補足信号においてマーカ位置を特定することが可能であると想定する。そのため、マーカ位置は、補足信号において特定され、レーダ画像に転送される。位置の転送は、補足センサおよびレーダアンテナ位置の追加の知見を必要とする。レーダ画像内のマーカ位置は、バウンディングボックスの中心位置となる。マーカ位置がオブジェクト位置と同じでない場合、ラベルを生成するときにいくつかの補正が必要となる。オブジェクト検出モデルは、バウンディングボックスサイズの影響を受けやすいため、幅および高さは、一定の所定サイズを使用する代わりに、（各クラスに固有の）検出されたマーカＩＤ情報を利用して各画像について特定される。最終的に、対応するレーダ画像には、クラスラベルに加えて、特定されたバウンディングボックスを用いて注釈が付けられる。
【0062】
実施形態２による、レーダ画像の教師データ生成システム２０は、同期部１０１と、マーカ検出部１０３と、ラベル生成部１０４と、ラベル情報ストレージ１０５と、座標変換部２０８と、位置情報ストレージ２０９と、レーダ測定部１０６と、イメージング部１０７と、出力部１０９と、を含み得る。次いで、ラベル生成部１０４は、ラベルサイズ特定部２０４ａ、クラス情報特定部２０４ｂ、および矩形ラベル生成部２０４ｃで構成されている。なお、同期部１０１、レーダ測定部１０６、イメージング部１０７、出力部１０９、カメラ１２２、および受信機アンテナ１２１の構成はそれぞれ、実施形態１で説明したものと同じであり、そのため、説明は繰り返し行わない。
【0063】
第１の実施形態で記載したように、マーカ検出部１０３は、補足信号において検出されたマーカのマーカＩＤをラベル生成部１０４に出力する。この出力に加えて、マーカ検出部１０３はまた、ワールド座標内のマーカの位置を座標変換部２０８に出力する。
補足センサがカメラである場合、第１の実施形態で記載したようにＡＲマーカが使用され、そして、ワールド座標内のＡＲマーカの位置を出力するためにＯｐｅｎＣＶのａｒｕｃｏモジュールが使用され得る。
補足センサがカメラである場合、第１の実施形態で記載したようにＡＲマーカが使用され、そして、ワールド座標内のＡＲマーカの位置を出力するためにＯｐｅｎＣＶのａｒｕｃｏモジュールが使用され得る。
【0064】
第１の実施形態と比較すると、実施形態２による教師データ生成システム２０は、座標変換部２０８を含み得る。この座標変換部２０８は、ワールド座標内のマーカの位置をマーカ検出部１０３から入力として受信し、レーダ画像座標内のマーカの位置をラベル生成部１０４に出力する。明らかであるように、座標変換部２０８は、ワールド座標からレーダ画像座標にマーカ位置を変換するために含まれる。この座標変換部２０８は、カメラおよびレーダアンテナ位置情報を利用して、ワールド座標からレーダ画像座標にマーカ位置を変換する。カメラおよびレーダアンテナ位置情報は、位置情報ストレージ２０９に記憶されている。次いで、この座標変換部２０８は、レーダ画像座標におけるマーカ位置を出力する。
【0065】
本構成では、ラベル生成部１０４は、複数のサブユニット、すなわち、ラベルサイズ特定部２０４ａ、クラス情報特定部２０４ｂ、および矩形ラベル生成部２０４ｃで構成されている。ラベルサイズ特定部２０４ａおよびクラス情報特定部２０４ｂは共に、ラベル情報ストレージ１０５内のラベル情報テーブルを参照する。ラベル情報テーブルの構造は、第１の実施形態のものと少し異なっており、図１３で与えられる例示的なテーブルを利用して説明される。当該テーブルは、４つの列、すなわち、マーカＩＤ（１次キー）、ラベル幅、ラベル高さ、およびクラス名を有する。適切なバウンディングボックスサイズを特定するために、ラベル幅およびラベル高さの２つの追加の列が存在する。実施形態１と同様に、行の数は、固有クラスの数に依存する。このテーブルは、（マーカ、オブジェクトサイズ、およびクラス名に関する事前の知見を利用して）事前に手動で作成されてストレージ１０５に記憶されている。
【0066】
ラベルサイズ特定部２０４ａは、名前が提案されると、バウンディングボックスラベルのサイズを特定し、それを矩形ラベル生成部２０４ｃに出力として提供する役割を担っている。ラベルサイズ特定部２０４ａは、入力マーカＩＤをマーカ検出部１０３から受信し、ラベル情報テーブルをストレージ１０５から受信する。次いで、このラベルサイズ特定部２０４ａは、マーカＩＤを利用して、ラベル幅およびラベル高さをラベル情報テーブルから検索する。
【0067】
クラス情報特定部２０４ｂは、クラス名情報を特定し、それを矩形ラベル生成部２０４ｃに出力として提供する役割を担っている。ラベルサイズ特定部２０４ａと同様に、このクラス情報特定部２０４ｂも、マーカＩＤを（マーカ検出部１０３から）受信し、ラベル情報テーブルを（ストレージ１０５から）入力として受信する。このクラス情報特定部２０４ｂは、マーカＩＤを利用して、クラス名をラベル情報テーブルから検索する。
【0068】
矩形ラベル生成部２０４ｃは、バウンディングボックスおよびクラスラベル情報を含むレーダ画像のアノテーションを生成し、それを、出力部１０９を通じて学習部１２３に出力として提供する役割を担っている。この矩形ラベル生成部２０４ｃは、以下の入力、すなわち、座標変換部２０８からのレーダ画像座標内のマーカ位置、ラベルサイズ特定部２０４ａからのラベル幅および高さ、ならびにクラス情報特定部２０４ｂからのクラス名を受信する。次いで、矩形ラベル生成部２０４ｃは、バウンディングボックス中心位置、バウンディングボックスサイズ（幅、高さ）、およびクラス名で構成されたレーダ画像のアノテーションを生成する。アノテーションフォーマットは、使用されている学習モデルに応じて、単純なテキストファイルの形態もしくはタグで構成された形態、または任意の他のフォーマットであり得る。この矩形ラベル生成部２０４ｃの出力は、上記アノテーションであり、ラベル生成部１０４の出力ともみなされ得る。
【0069】
いくつかの構成では、クラス名、バウンディングボックス中心、およびバウンディングボックスサイズはまた、いかなる後処理も伴わずに、出力として学習モデルに直接与えられ得る。
【0070】
学習部１２３、すなわち機械学習ベースのオブジェクト検出モデルは、レーダ画像および関連付けられたアノテーションを出力部１０９から受信する。学習部１２３は、それらを使用してオブジェクト検出モデルを学習する。学習部は、スライディングウィンドウベースのオブジェクト検出器もしくは深層学習ベースのＣＮＮモデルのいずれか、または任意の他のものであり得る。
【0071】
次に、動作モードの実施形態２に係る、レーダ画像の教師データ生成システム２０によって行われる動作例を、図１４に示されるフローチャートを参照して説明する。
【0072】
ラベル情報テーブルは、事前に作成されてラベル情報ストレージ１０５に記憶されている。また、様々なＩＤのマーカが事前に作成されている（対応するクラスおよびラベルサイズと関連付けられている）。なお、図１４のステップＳ２０１、Ｓ２０６、およびＳ２０７はそれぞれ、図１１のステップＳ１０１、Ｓ１０６、およびＳ１０７と同じであり、そのため、それらの説明は繰り返し行わない。
【0073】
ステップＳ２０３では、第１の実施形態のステップＳ１０３と同様に、マーカ検出部１０３は、同期信号を同期部１０１から受信すると補足信号を捕捉する。次いで、当該ステップＳ２０３では、マーカ検出部１０３は、マーカの存在について補足信号をスキャンし、マーカが見つけられた場合、マーカＩＤが、ラベル生成部１０４に出力として与えられ、更に、ワールド座標内のマーカ位置が、座標変換部２０８に出力として与えられる。マーカＩＤを利用して、ラベル情報ストレージに記憶されたラベル情報テーブルから、（ラベルサイズ特定部２０４ａが）ラベルサイズを特定し、（クラス情報特定部２０４ｂが）クラス名を特定する（ステップＳ２０４）。座標変換部２０８は、ワールド座標内のマーカ位置をレーダ画像座標に変換する（ステップＳ２０８）。矩形ラベル生成部２０４ｃは、ラベルサイズ、クラス名、およびレーダ画像座標内のマーカ位置を利用して、矩形ラベルアノテーションを生成する（ステップＳ２０５）。ステップＳ２０５の矩形ラベル生成により、処理フローが終了する。この処理フローの出力は、関連付けられた矩形ラベルアノテーションを伴うレーダ画像である。図２は、理解を容易にするために、矩形ラベルアノテーションが重畳された例示的な画像を示す。この例示的な画像では、対象のオブジェクトは、クラス名「銃１」を有する銃であり、その位置は、銃を中心としたタイトな矩形バウンディングボックスによって強調表示されている。
【0074】
上述のように、実施形態２による、レーダ画像の教師データ生成システム２０は、レーダ画像のクラス名およびバウンディングボックスアノテーションを自動的に生成する。これにより、ラベリング時間が劇的に低減され、自動的な（画像を見ることによって、クラス名を手動で識別するか、またはラベルサイズを決定する必要はない）、マーカＩＤからのクラスラベルおよびラベルサイズの推測により、ラベリングエラーも無くなる。
【0075】
実施形態２の教師データ生成装置１０の第１の効果は、ラベリングの手動の労力を劇的に低減することである（次いで、それは、必要な時間の低減につながる）。それは、（分類タスクに対して）クラス名、および（オブジェクト検出タスクに対して）バウンディングボックスラベルサイズが、予め記録されたデータベースを参照することによってマーカＩＤから自動的に推測されるため生じる。また、マーカ位置は自動的に識別される。このため、自動ラベリングプロセスは、いかなる手動の労力（例えば、画像の視覚的な確認）も必要とせず、加えて、必要なラベリング時間を低減する。
【0076】
実施形態２の教師データ生成装置１０の第２の効果は、ラベリングのエラーを低減することであり、次いで、それは、分類器／オブジェクト検出ネットワークの性能を改善する。これもまた、ラベリングプロセスの自動化、すなわち、自動的に、予め記録されたデータベースを使用しマーカ位置を識別してマーカＩＤからクラス名またはバウンディングボックスサイズを推測することにより、可能となる。この自動化は、（意図したようにユニットが機能する限り）クラスを手動で識別するか、またはバウンディングボックスサイズ／位置を手動で決定する場合に生じる教師データ生成プロセスのエラーを無くす。
【0077】
実施形態３
実施形態３の教師データ生成装置１０および教師データ生成システム２０はそれぞれ、以下で説明する点を除いて、実施形態２の教師データ生成装置１０および教師データ生成システム２０と同じである。
実施形態３の教師データ生成装置１０および教師データ生成システム２０はそれぞれ、以下で説明する点を除いて、実施形態２の教師データ生成装置１０および教師データ生成システム２０と同じである。
【0078】
次に、本開示の実施形態３による教師データ生成システム２０の構成を、図１５に示されるブロック図を参照して説明する。教師データ生成システム２０の本構成は、実施形態２で記載した構成に対して追加の機能を記載する。教師データ生成システム２０の本構成では、目的は、レーダ画像のオブジェクト検出（および位置特定）モデルを学習するために、オブジェクトの位置およびクラス名の特定に加えて、オブジェクト方向に従ってラベルサイズ（および／またはクラス名）を調整することである。ここで更に、マーカ方向が、オブジェクト方向と対応していると想定し、今後、両方の用語が交換可能に使用される。
【0079】
最も一般的に生じる状況のうちの１つを、図１６を利用して記載する。当該状況では、オブジェクト方向に従ってラベルサイズを調整する必要があり得る。この図では、２つの例示的な画像の図１６（ａ）および（ｂ）が示されており、ナイフであるオブジェクトが、重畳されたバウンディングボックスラベルと共に示されている。２つの画像は、ナイフの方向において異なっており、方向の変化が、バウンディングボックスサイズの寸法の正しい変化量につながっていることが分かる。要件が、オブジェクトのタイトなバウンディングボックスを生成することであるため、ラベルサイズを特定しつつ、オブジェクト方向も考慮に入れる必要がある。
【0080】
実施形態３による、レーダ画像の教師データ生成システム２０は、同期部１０１と、マーカ検出部１０３と、ラベル生成部１０４と、ラベル情報ストレージ１０５と、座標変換部２０８と、位置情報ストレージ２０９と、クラス登録部３１０と、レーダ測定部１０６と、イメージング部１０７と、を含み得る。次いで、ラベル生成部１０４は、ラベルサイズ特定部２０４ａ、クラス情報特定部２０４ｂ、および矩形ラベル生成部２０４ｃで構成されている。なお、同期部１０１、マーカ検出部１０３、カメラ１２２、レーダ測定部１０６、受信機アンテナ１２１、イメージング部１０７、座標変換部２０８、位置情報ストレージ２０９、ラベルサイズ特定部２０４ａ、クラス情報特定部２０４ｂ、および矩形ラベル生成部２０４ｃの構成はそれぞれ、実施形態２で説明したものと同じであり、そのため、説明は繰り返し行わない。
【0081】
実施形態２で記載したように、マーカ検出部１０３は、カメラ画像内のマーカを検出し、マーカＩＤをラベル生成部１０４に出力し、ワールド座標系内のその位置を座標変換部２０８に出力する。これらの出力に加えて、マーカ検出部１０３はまた、オイラー角、すなわちヨー、ピッチ、およびロールの形態の（ワールド座標系内の）マーカの３Ｄ方向をクラス登録部３１０に出力する。
【0082】
実施形態２と比較すると、実施形態３による教師データ生成システム２０は、クラス登録部３１０を含み得る。クラス登録部３１０は、マーカ方向の角度情報を利用することによってクラス名および／またはラベルサイズ情報を修正するために含まれる。クラス登録部３１０の説明に進む前にまず、ラベル情報ストレージ１０５を説明する。
【0083】
実施形態２と異なる本構成のラベル情報ストレージ１０５は、複数のラベル情報テーブルで構成されている。当該テーブルの各々は、マーカ方向の角度の予め決定された範囲に対して設計されている。例えば、マーカ方向の角度範囲０°～３０°に対してテーブルＡが存在し、３０°～６０°に対してテーブルＢが存在する、などである。なお、ラベル情報ストレージ１０５に記憶されたラベル情報テーブルの各々は、実施形態２で説明したものと同じ構造を有し、したがって、説明は繰り返し行わない。いくつかの例示的なラベル情報テーブルが図１７（ａ）に示されている。なお、それらの各々は、名前（テーブルＡもしくはテーブルＢ、または他のもの）でタグ付けされている。更に、列の値（この場合、ラベル幅およびラベル高さ）は、異なるテーブル間で同じマーカＩＤに対して異なっている。
【0084】
実施形態２と同様に、ラベル情報ストレージ部１０５は、単一のラベル情報テーブルのみをラベル生成部１０４に送信する。しかし本構成では、ラベル情報ストレージ部１０５は、（その複数のテーブルの中の）どのテーブルをラベル生成部１０４（具体的には、ラベルサイズ特定部２０４ａおよびクラス情報特定部２０４ｂ）に送信すべきかを示すために追加の入力を必要とする。この追加の入力は、クラス登録部３１０から生じ、その詳細を次に説明する。
【0085】
クラス登録部３１０は、マーカの３Ｄ方向の角度をマーカ検出部１０３から入力として受信し、ラベル情報テーブル名をラベル情報ストレージ１０５に出力する。このクラス登録部３１０は、ヨー、ロール、またはピッチの中から適切な角度を選択し、レーダおよびカメラ位置に関する情報を利用することによって、（必要な場合に）それを調整する。次いで、このクラス登録部３１０は、選択された角度を使用して、登録クラステーブルと呼ばれる別のテーブルを参照することによって適切なラベル情報テーブルの名前を選択する。登録クラステーブルの構造は、図１７（ｂ）の例を利用して示されており、それは、２つの列、すなわち、角度ビン（１次キー）およびテーブル名を有する。行の数は、角度ビンの数に依存する。角度の値に基づいて、適切な角度ビンが選択されて、対応するテーブル名が検索される。このクラス登録部３１０の出力は、ラベル情報テーブル名である。
【0086】
複数の例を利用して、クラス登録部３１０の動作をより明確にする。第１の例示的な動作では、目的は、図１６に導入されているように、マーカ方向の角度に従ってラベルサイズを調整することである。この場合、クラス登録部３１０は、マーカのｘ平面の回転に対応した角度を選択すべきである。（図３に示される構成から）カメラおよびターゲットの相対位置を考慮すると、ヨーはｘ平面内のマーカの回転を捕捉しており、したがってヨーが選択される。カメラ平面がレーダ平面と異なっている場合、選択された角度の調整が必要とされ得る。しかし、この場合は、レーダおよびカメラが同じ平面内にあるため、角度値の調整は必要ではない。ここで、登録クラステーブルを参照することによってラベル情報テーブル名を選択するために、選択された（調整された）角度が使用される。ヨー＝２５°である場合、ヨーは、図１７（ｂ）の登録クラステーブルの０°～３０°のビン内に入る。この行に対応したテーブル名はＡであり、これが登録クラス部の出力である。ラベル情報ストレージ１０５は、テーブル名Ａをクラス登録部３１０から受信すると、ラベル情報テーブルＡをラベル生成部１０４に送信する。
【0087】
別の例示的な動作では、目的は、ｙ軸周りのマーカ回転に従ってクラス名を変更することである。レーダ画像の場合、オブジェクト外観は、レーダ平面に対するオブジェクト外観の傾きに応じて変化する。そのため、オブジェクトの傾きの角度に応じて、同じオブジェクトを異なるクラスとして学習することに意味がある。この目的に対する例示的なラベル情報テーブルが図１８（ａ）に示されており、ここでも、当該ラベル情報テーブルの各々は、名前（テーブルＡもしくはテーブルＢ、または他のもの）でタグ付けされている。予想されるように、クラス名列の値は、異なるテーブル間で同じマーカＩＤに対して異なっている。この例示的な動作では、ピッチ角がｙ軸周りの回転に対応しているため、登録クラス部はピッチ角を選択する。ここでも、カメラおよびレーダ平面が同じであるため、角度値の調整は必要ではない。次に、使用すべきラベル情報テーブルの名前を検索するために、登録クラステーブルを参照する。例示的な登録クラステーブルが図１８（ｂ）に示されており、ピッチ＝２０°である場合、ピッチは、１５°～３０°のビン内に入り、この行に対応したテーブル名はＢである。クラス登録部３１０の出力、すなわちテーブルＢは、ラベル情報ストレージ１０５に送信される。次いで、ラベル情報ストレージ１０５は、ラベル情報テーブルＢをラベル生成部１０４に送信する。
【0088】
カメラおよびレーダが同じ平面にないシナリオが存在し得ることに留意されたい。例えば、カメラは、レーダ平面に対して垂直な平面に配置され得る。この場合、クラス登録部３１０は、すべての角度を９０°分補正する必要がある。
【0089】
次に、動作モードの実施形態３に係る、レーダ画像の教師データ生成システム２０によって行われる動作例を、図１９に示されるフローチャートを参照して説明する。
【0090】
ラベル情報テーブルは、事前に作成されてラベル情報ストレージ１０５に記憶されている。また、様々なＩＤのマーカが事前に作成されている（対応するクラスおよびラベルサイズと関連付けられている）。なお、図１９のステップＳ３０１、Ｓ３０４、Ｓ３０５、Ｓ３０６、Ｓ３０７、およびＳ３０８はそれぞれ、図１４のステップＳ２０１、Ｓ２０４、Ｓ２０５、Ｓ２０６、Ｓ２０７、およびＳ２０８と同じであり、そのため、それらの説明は繰り返し行わない。
【0091】
ステップＳ３０３では、第１の実施形態のステップＳ１０３と同様に、マーカ検出部１０３は、マーカの存在について、捕捉されたカメラ画像をスキャンし、マーカが見つけられた場合、（ラベル生成部１０４への）マーカＩＤ出力および（座標変換部２０８への）マーカ位置出力に加えて、マーカの３Ｄ方向もクラス登録部３１０に出力として与えられる。ステップＳ３０９では、クラス登録部３１０は、３Ｄのマーカ方向を入力として受信し、適切な角度を選択する（必要な場合に、それを調整する）。当該ステップでは、登録クラステーブルを参照することによってラベル情報テーブルの名前を選択するために、選択された角度が使用される。ラベル情報テーブルの名前は、このステップの出力である。選択されたラベル情報テーブルはステップＳ３０４で使用される。この処理フローの出力は、関連付けられた矩形ラベルアノテーションを伴うレーダ画像である。
【0092】
上述のように、本開示の第３の実施形態による、レーダ画像の教師データ生成システム２０は、レーダ画像のクラス名およびバウンディングボックスアノテーションを自動的に生成する。これにより、ラベリング時間が劇的に低減され、自動的な（画像を見ることによって、クラス名を手動で識別するか、またはラベルサイズを決定する必要はない）、マーカＩＤからのクラスラベルおよびラベルサイズの推測により、ラベリングエラーも無くなる。
【0093】
実施形態４
実施形態４の教師データ生成装置１０および教師データ生成システム２０はそれぞれ、以下で説明する点を除いて、実施形態１の教師データ生成装置１０および教師データ生成システム２０と同じである。
実施形態４の教師データ生成装置１０および教師データ生成システム２０はそれぞれ、以下で説明する点を除いて、実施形態１の教師データ生成装置１０および教師データ生成システム２０と同じである。
【0094】
次に、実施形態４による、レーダ画像の教師データ生成システム２０の構成を、図２０に示されるブロック図を参照して説明する。教師データ生成システム２０の本構成では、目的は、実施形態１と同様に、分類器を学習するためにレーダ画像のクラスラベルを特定することである。しかし、本実施形態では、マーカが、クラスラベル情報をエンコードする何らかのパターンを有すると想定する。これは、カメラがマーカを検出する場合、カメラは何らかの後処理を使用してマーカパターンからクラス名をデコードし得ることを意味する。このような構成により、マーカＩＤをクラス名に結び付けた任意の追加のテーブル（前の実施形態で言及したラベル情報テーブル）を参照する必要が無くなる。このようなマーカの例は、ＱＲコードである。最終的に、対応するレーダ画像には、デコードされたクラスラベルを用いて注釈が付けられる。
【0095】
図２０に示されるように、実施形態２に係る教師データ生成システム２０の構成の１つは、同期部１０１と、マーカ検出部１０３と、ラベル生成部１０４と、レーダ測定部１０６と、イメージング部１０７と、を含み得る。マーカ検出部１０３は、カメラ測定部１０３ａおよびＱＲコード検出部４０３ｂを含む。なお、同期部１０１、カメラ測定部１０３ａ、カメラ１２２、レーダ測定部１０６、受信機アンテナ１２１、イメージング部１０７、および学習部１２３の構成はそれぞれ、実施形態１で説明したものと同じであり、そのため、説明は繰り返し行わない。
【0096】
ＱＲコード検出部４０３ｂは、カメラ画像をカメラ測定部１０３ａから入力として受信し、クラス名をラベル生成部１０４に出力する。このユニットは、カメラ画像内のＱＲマーカの存在を検出し、そのパターンをデコードしてクラス名を抽出する役割を担っている（当該技術分野で周知の標準的なライブラリが使用され得る）。このＱＲコード検出部４０３ｂは、ＱＲコードがどのように生成されるか、すなわち、クラス名がパターンでどのようにエンコードされるかに関する事前の知見を有する。次いで、このユニットは、クラス名を出力する。
【0097】
ラベル生成部１０４は、クラス名をマーカ検出部１０３から受信し、クラス名アノテーションを、出力部１０９を通じて学習部１２３に出力する。このラベル生成部１０４は、レーダ画像のアノテーションを生成する役割を担っている。アノテーションフォーマットは、使用されている学習モデルに応じて、単純なテキストファイルの形態もしくはタグで構成された形態、または任意の他のフォーマットであり得る。
【0098】
いくつかの構成では、クラス名はまた、いかなる後処理も伴わずに、出力として（学習モデルに）直接与えられ得る。
【0099】
図２１に示されるブロック図を利用して、ＱＲコードの生成のプロセスを説明する。図２１に示されるように、第４の実施形態に係るＱＲコード生成システム４５０の構成の１つは、ＱＲコード生成部４５１およびラベル情報ストレージ４５２を含み得る。なお、ラベル情報ストレージ４５２の構成は、実施形態１で説明したラベル情報ストレージ１０５と同じであり、そのため、説明は繰り返し行わない。
【0100】
ＱＲコード生成部４５１は、図１０に示される例のラベル情報テーブルを入力として受信し、ＱＲコードマーカを出力する。テーブル内の各行について、マーカＩＤおよびクラス名が検索される。クラス名のみが（標準的なＱＲコードライブラリを使用して）ＱＲコードでエンコードされる。この場合のマーカＩＤはエンコードされないが、どのＱＲコードがどのクラスに対応しているかを（デコードすることなく）オペレータが識別する管理目的のためにのみ使用される。ＱＲコード生成器システム４５０は、教師データ生成システム２０に含まれ得るか、または教師データ生成システム２０とは別に提供され得る。ラベル情報ストレージ４５２は、ラベル情報ストレージ１０５としても機能し得るか、またはラベル情報ストレージ１０５とは別に提供され得る。
【0101】
実施形態４の教師データ生成システム２０は、それが機能するためにＱＲコードを必要とする。そのため、まず、図２２に示されるフローチャートを参照して、ＱＲコード生成動作モードを説明する。ラベル情報テーブルは、事前に作成されてＱＲコード生成システム４５０のラベル情報ストレージ４５２に記憶されている。
【0102】
開始時、カウンタｉは０に初期化される。ラベル情報テーブルの第ｉ番目の行からクラス名をフェッチする（ステップＳ４５１）。フェッチされたクラス名をＱＲコードでエンコードし、管理目的のために、生成されたＱＲコードをｉでタグ付けする（ステップＳ４５２）。すべてのクラスについてＱＲコードが生成されたかどうかを保証するために確認を行う（ステップＳ４５３）。はいの場合、プロセスは終了する。いいえの場合、カウンタｉを１増やし（ステップＳ４５４）、ステップＳ４５１からプロセスを繰り返す。
【0103】
次に、動作モードの実施形態４に係る、レーダ画像の教師データ生成システム２０によって行われる動作例を、図２３に示されるフローチャートを参照して説明する。なお、図２３のステップＳ４０１、Ｓ４０６、およびＳ４０７はそれぞれ、図１１のステップＳ１０１、Ｓ１０６、およびＳ１０７と同じであり、そのため、それらの説明は繰り返し行わない。
【0104】
同期信号を受信すると、同時に、レーダ測定部１０６はレーダ測定を行い（ステップＳ４０６）、マーカ検出部１０３はカメラ画像捕捉を行う（ステップＳ４０３）。ステップＳ４０３では、ＱＲコード検出部４０３ｂは、ＱＲコードの存在について、捕捉されたカメラ画像をスキャンし、ＱＲコードが見つけられた場合、ＱＲコードがデコードされ、そこからクラス名が抽出されて、抽出されたクラス名がラベル生成部１０４に出力として与えられる。
【0105】
ステップＳ４０４では、出力部１０９を通じて学習部１２３に出力として与えられるレーダ画像のアノテーションを生成するために、マーカ検出部１０３から受信されたクラス名が使用される。この処理フローの出力は、クラス名で構成されたアノテーションを伴うレーダ画像である。理解を容易にするために、関連付けられたクラスラベルが画像上に重畳して示された例示的な画像について図１を参照し得る。ここで、対象のオブジェクトは、クラス名「銃１」を有する銃である。
【0106】
上述のように、実施形態４による、レーダ画像の教師データ生成システム２０は、レーダ画像のクラス名ラベルを自動的に生成する。これにより、ラベリング時間が劇的に低減され、自動的な（画像を見ることによってクラス名を手動で識別する必要はない）、マーカＩＤからのクラスラベルの推測により、ラベリングエラーも無くなる。
【0107】
実施形態５
実施形態５の教師データ生成装置１０および教師データ生成システム２０はそれぞれ、以下で説明する点を除いて、実施形態２の教師データ生成装置１０および教師データ生成システム２０と同じである。
実施形態５の教師データ生成装置１０および教師データ生成システム２０はそれぞれ、以下で説明する点を除いて、実施形態２の教師データ生成装置１０および教師データ生成システム２０と同じである。
【0108】
次に、実施形態５による、レーダ画像の教師データ生成システム２０の構成を、図２４に示されるブロック図を参照して説明する。教師データ生成システム２０の本構成では、実施形態２と同じである目的は、レーダ画像のオブジェクト検出モデルを学習するためにクラスラベルおよびオブジェクト位置を特定することである。しかし、本実施形態では、マーカが、クラスラベル情報に加えてラベルサイズをエンコードする何らかのパターンを有すると想定する。これは、カメラがマーカを検出する場合、カメラは何らかの後処理を使用してマーカパターンからラベルサイズおよびクラス名をデコードし得ることを意味する。このような構成により、マーカＩＤをラベルサイズおよびクラス名に結び付けた任意の追加のテーブル（前の実施形態で言及したラベル情報テーブル）を参照する必要が無くなる。このようなマーカの例は、本開示の実施形態４で導入されたようなＱＲコードである。最終的に、対応するレーダ画像には、ＱＲコードからデコードされたラベルサイズの矩形バウンディングボックスを用いて、また、デコードされたクラスラベルを用いて注釈が付けられる。
【0109】
実施形態５による、レーダ画像の教師データ生成システム２０は、同期部１０１と、カメラ測定部１０３ａと、ＱＲコード検出部４０３ｂと、ラベル生成部１０４と、座標変換部２０８と、位置情報ストレージ２０９と、レーダ測定部１０６と、イメージング部１０７と、を含み得る。なお、同期部１０１、カメラ測定部１０３ａ、カメラ１２２、座標変換部２０８、位置情報ストレージ２０９、レーダ測定部１０６、受信機アンテナ１２１、およびイメージング部１０７の構成はそれぞれ、実施形態２で説明したものと同じであり、そのため、説明は繰り返し行わない。
【0110】
ＱＲコード検出部４０３ｂは、カメラ画像をカメラ測定部１０３ａから入力として受信し、クラス名およびラベルサイズをラベル生成部１０４に出力し、マーカ位置を座標変換部２０８に出力する。このユニットは、カメラ画像内のＱＲマーカの存在を検出し、そのパターンをデコードしてラベル幅、ラベル高さ、およびクラス名を抽出する役割を担っている（当該技術分野で周知の標準的なライブラリが使用される）。このＱＲコード検出部４０３ｂは、上記情報をエンコードするためにＱＲコードがどのように生成されるかに関する事前の知見を有する。これに加えて、このＱＲコード検出部４０３ｂは、ＱＲコードマーカの位置を抽出する役割も担っている（当該技術分野で周知の標準的なライブラリが使用される）。マーカ位置は、ワールド座標系内である。次いで、このＱＲコード検出部４０３ｂは、マーカ位置、ラベル幅、ラベル高さ、およびクラス名を出力する。
【0111】
ラベル生成部１０４は、以下の入力、すなわち、ＱＲコード検出部４０３ｂからのラベル高さ、ラベル幅、およびクラス名、ならびに座標変換部２０８からのレーダ座標内のマーカ位置を受信し、このラベル生成部１０４は、バウンディングボックスアノテーションを、出力部１０９を通じて学習部１２３に出力する。このラベル生成部１０４は、バウンディングボックス中心位置、バウンディングボックスサイズ（幅、高さ）、およびクラス名で構成されたレーダ画像の矩形ラベルアノテーションを生成する。アノテーションフォーマットは、使用されている学習モデルに応じて、単純なテキストファイルの形態もしくはタグで構成された形態、または任意の他のフォーマットであり得る。このラベル生成部１０４の出力は、対応するレーダ画像の矩形ラベルアノテーションである。
【0112】
いくつかの構成では、クラス名、バウンディングボックス中心、およびバウンディングボックスサイズはまた、いかなる後処理も伴わずに、出力として（学習モデル）に直接与えられ得る。
【0113】
図２５に示されるブロック図を利用して、ＱＲコードの生成のプロセスを説明する。図２５に示されるように、実施形態５に係るＱＲコード生成システム５５０の構成の１つは、ＱＲコード生成部５５１およびラベル情報ストレージ５５２を含み得る。なお、ラベル情報ストレージ５５２の構成は、実施形態２で説明したラベル情報ストレージ１０５と同じであり、そのため、説明は繰り返し行わない。
【0114】
ＱＲコード生成部５５１は、図１３に示される例のラベル情報テーブルを入力として受信し、ＱＲコードマーカを出力する。テーブル内の各行について、マーカＩＤ、ラベル幅、ラベル高さ、およびクラス名が検索される。ラベル幅、ラベル高さ、およびクラス名は、（当該技術分野で周知の標準的なライブラリを使用して）ＱＲコードでエンコードされる。マーカＩＤはエンコードされないが、どのＱＲコードがどのクラスに対応しているかを（デコードすることなく）オペレータが識別する管理目的のためにのみ使用される。ＱＲコード生成器システム５５０は、教師データ生成システム２０に含まれ得るか、または教師データ生成システム２０とは別に提供され得る。ラベル情報ストレージ５５２は、ラベル情報ストレージ１０５としても機能し得るか、またはラベル情報ストレージ１０５とは別に提供され得る。
【0115】
実施形態５の教師データ生成システム２０は、それが機能するためにＱＲコードを必要とする。そのため、まず、図２６に示されるフローチャートを参照して、ＱＲコード生成動作モードを説明する。ラベル情報テーブルは、事前に作成されてＱＲコード生成システム５５０のラベル情報ストレージ５５２に記憶されている。
【0116】
開始時、カウンタｉは０に初期化される。ラベル情報テーブルの第ｉ番目の行からクラス名およびラベルサイズ（幅、高さ）をフェッチする（ステップＳ５５１）。フェッチされたクラス名およびラベルサイズをＱＲコードでエンコードし、管理目的のために、生成されたＱＲコードをｉとしてタグ付けする（ステップＳ５５２）。すべてのクラスについてＱＲコードが生成されたかどうかを保証するために確認を行う（ステップＳ５５３）。はいの場合、プロセスは終了する。いいえの場合、カウンタｉを１増やし（ステップＳ５５４）、ステップＳ５５１からプロセスを繰り返す。
【0117】
次に、動作モードの実施形態５に係る、レーダ画像の教師データ生成システム２０によって行われる動作例を、図２７に示されるフローチャートを参照して説明する。なお、図２７のステップＳ５０１、Ｓ５０６、Ｓ５０７、およびＳ５０８はそれぞれ、図１４のステップＳ２０１、Ｓ２０６、Ｓ２０７、およびＳ２０８と同じであり、そのため、それらの説明は繰り返し行わない。
【0118】
同期信号を受信すると、同時に、レーダ測定部１０６はレーダ測定を行い（ステップＳ５０６）、マーカ検出部１０３はカメラ画像捕捉を行う（ステップＳ５０３）。ステップＳ５０３では、ＱＲコード検出部４０３ｂは、ＱＲコードの存在について、捕捉されたカメラ画像をスキャンし、ＱＲコードが見つけられた場合、ＱＲコードがデコードされる。ラベルサイズ（幅、高さ）およびクラス名は、そこから抽出されて、ラベル生成部１０４に出力として与えられる。ＱＲコードマーカ位置も、ワールド座標内で抽出されて、当該ステップで座標変換部２０８に送信される。
【0119】
ステップＳ５０４では、レーダ画像の矩形ラベルアノテーションを生成するために、ＱＲコード検出部４０３ｂから受信されるクラス名およびラベルサイズ、ならびに座標変換部２０８から受信されるマーカ位置が使用される。この処理フローの出力は、関連付けられた矩形ラベルアノテーションを伴うレーダ画像である。図２は、理解を容易にするために、矩形ラベルアノテーションが重畳された例示的な画像を示す。この例示的な画像では、対象のオブジェクトは、クラス名「銃１」を有する銃であり、その位置は、銃を中心としたタイトな矩形バウンディングボックスによって強調表示されている。
【0120】
上述のように、実施形態５による、レーダ画像の教師データ生成システム２０は、レーダ画像のクラス名およびバウンディングボックスアノテーションを自動的に生成する。これにより、ラベリング時間が劇的に低減され、自動的な（画像を見ることによって、クラス名を手動で識別するか、またはラベルサイズを決定する必要はない）、マーカＩＤからのクラスラベルおよびラベルサイズの推測により、ラベリングエラーも無くなる。
【0121】
上述のように、添付図面を参照して本発明の実施形態を記載したが、これらの実施形態は、本発明の単なる例示であって、上記実施形態、および上述の実施形態のもの以外の様々な構成の組合せも採用され得る。
【0122】
上記開示の実施形態の全部または一部が以下の付記として記載され得るが、以下に限定されない。
１－１．
オブジェクトからの散乱信号に基づくレーダ画像を取得する取得部と、
前記散乱信号の検出と同期して捕捉される、前記オブジェクトを含む領域の補足画像を取得し、前記補足画像内のマーカを検出し、前記マーカの識別子を抽出するマーカ検出部と、
前記抽出された識別子を使用してラベルを生成するラベル生成部と、
前記レーダ画像と前記生成されたラベルとが互いに関連付けられた出力データを出力する出力部と、
を備える、教師データ生成装置。
１－２．
１－１．に記載の教師データ生成装置において、
前記補足画像は、カメラ画像、深度画像、またはＩＲ画像である、教師データ生成装置。
１－３．
１－１．または１－２．に記載の教師データ生成装置において、
前記マーカは、ＡＲマーカまたはＱＲコードである、教師データ生成装置。
１－４．
１－１．から１－３．のいずれか１つに記載の教師データ生成装置において、
前記ラベル生成部は、前記識別子と前記ラベルとが互いに関連付けられたラベル情報テーブルを更に使用して前記ラベルを生成する、教師データ生成装置。
１－５．
１－１．から１－４．のいずれか１つに記載の教師データ生成装置において、前記生成されたラベルは、前記オブジェクトのタイプを示すクラス名ラベルを含む、教師データ生成装置。
１－６．
１－１．から１－５．のいずれか１つに記載の教師データ生成装置において、
前記生成されたラベルは、前記オブジェクトの位置およびサイズを示すバウンディングボックスラベルを含む、教師データ生成装置。
１－７．
１－６．に記載の教師データ生成装置において、
前記マーカ検出部は、前記マーカの位置を検出し、
前記教師データ生成装置は、前記マーカの前記検出された位置を前記レーダ画像内の座標に変換する座標変換部を更に備え、
前記ラベル生成部は、前記レーダ画像内の前記検出されたマーカの前記座標に基づいて前記バウンディングボックスラベルを生成する、教師データ生成装置。
１－８．
１－１．から１－７．のいずれか１つに記載の教師データ生成装置において、
前記マーカは、前記補足画像内では把握可能であり、前記レーダ画像内では把握可能でない、教師データ生成装置。
１－１．
オブジェクトからの散乱信号に基づくレーダ画像を取得する取得部と、
前記散乱信号の検出と同期して捕捉される、前記オブジェクトを含む領域の補足画像を取得し、前記補足画像内のマーカを検出し、前記マーカの識別子を抽出するマーカ検出部と、
前記抽出された識別子を使用してラベルを生成するラベル生成部と、
前記レーダ画像と前記生成されたラベルとが互いに関連付けられた出力データを出力する出力部と、
を備える、教師データ生成装置。
１－２．
１－１．に記載の教師データ生成装置において、
前記補足画像は、カメラ画像、深度画像、またはＩＲ画像である、教師データ生成装置。
１－３．
１－１．または１－２．に記載の教師データ生成装置において、
前記マーカは、ＡＲマーカまたはＱＲコードである、教師データ生成装置。
１－４．
１－１．から１－３．のいずれか１つに記載の教師データ生成装置において、
前記ラベル生成部は、前記識別子と前記ラベルとが互いに関連付けられたラベル情報テーブルを更に使用して前記ラベルを生成する、教師データ生成装置。
１－５．
１－１．から１－４．のいずれか１つに記載の教師データ生成装置において、前記生成されたラベルは、前記オブジェクトのタイプを示すクラス名ラベルを含む、教師データ生成装置。
１－６．
１－１．から１－５．のいずれか１つに記載の教師データ生成装置において、
前記生成されたラベルは、前記オブジェクトの位置およびサイズを示すバウンディングボックスラベルを含む、教師データ生成装置。
１－７．
１－６．に記載の教師データ生成装置において、
前記マーカ検出部は、前記マーカの位置を検出し、
前記教師データ生成装置は、前記マーカの前記検出された位置を前記レーダ画像内の座標に変換する座標変換部を更に備え、
前記ラベル生成部は、前記レーダ画像内の前記検出されたマーカの前記座標に基づいて前記バウンディングボックスラベルを生成する、教師データ生成装置。
１－８．
１－１．から１－７．のいずれか１つに記載の教師データ生成装置において、
前記マーカは、前記補足画像内では把握可能であり、前記レーダ画像内では把握可能でない、教師データ生成装置。
【0123】
２－１．
１－１．から１－７．のいずれか１つに記載の教師データ生成装置と、
電磁波を前記オブジェクトに送信して前記オブジェクトによる散乱電磁波を検出することによって前記散乱信号を検出する測定部と、
前記補足画像を撮影する補足イメージング部と、
を備える教師データ生成システム。
２－２．
２－１．に記載の教師データ生成システムにおいて、
前記教師データ生成装置は、前記測定部と前記補足イメージング部とを同期させるための同期部を更に備える、教師データ生成システム。
１－１．から１－７．のいずれか１つに記載の教師データ生成装置と、
電磁波を前記オブジェクトに送信して前記オブジェクトによる散乱電磁波を検出することによって前記散乱信号を検出する測定部と、
前記補足画像を撮影する補足イメージング部と、
を備える教師データ生成システム。
２－２．
２－１．に記載の教師データ生成システムにおいて、
前記教師データ生成装置は、前記測定部と前記補足イメージング部とを同期させるための同期部を更に備える、教師データ生成システム。
【0124】
３－１．
コンピュータによって行われる教師データ生成方法であって、
オブジェクトからの散乱信号に基づくレーダ画像を取得し、前記散乱信号の検出と同期して捕捉される、前記オブジェクトを含む領域の補足画像を取得することと、
前記補足画像内のマーカを検出することと、
前記マーカの識別子を抽出することと、
前記抽出された識別子を使用してラベルを生成することと、
前記レーダ画像と前記生成されたラベルとが互いに関連付けられた出力データを出力することと、
を含む、教師データ生成方法。
３－２．
３－１．に記載の教師データ生成方法において、
前記補足画像は、カメラ画像、深度画像、またはＩＲ画像である、教師データ生成方法。
３－３．
３－１．または３－２．に記載の教師データ生成方法において、
前記マーカは、ＡＲマーカまたはＱＲコードである、教師データ生成方法。
３－４．
３－１．から３－３．のいずれか１つに記載の教師データ生成方法において、
前記ラベルは、前記識別子と前記ラベルとが互いに関連付けられたラベル情報テーブルを更に使用して生成される、教師データ生成方法。
３－５．
３－１．から３－４．のいずれか１つに記載の教師データ生成方法において、
前記生成されたラベルは、前記オブジェクトのタイプを示すクラス名ラベルを含む、教師データ生成方法。
３－６．
３－１．から３－５．のいずれか１つに記載の教師データ生成方法において、
前記生成されたラベルは、前記オブジェクトの位置およびサイズを示すバウンディングボックスラベルを含む、教師データ生成方法。
３－７．
３－６．に記載の教師データ生成方法において、
前記マーカの位置を検出することと、
前記マーカの前記検出された位置を前記レーダ画像内の座標に変換することと、
前記レーダ画像内の前記検出されたマーカの前記座標に基づいて前記バウンディングボックスラベルを生成することと、
を更に含む、教師データ生成方法。
３－８．
３－１．から３－７．のいずれか１つに記載の教師データ生成方法において、
前記マーカは、前記補足画像内では把握可能であり、前記レーダ画像内では把握可能でない、教師データ生成方法。
コンピュータによって行われる教師データ生成方法であって、
オブジェクトからの散乱信号に基づくレーダ画像を取得し、前記散乱信号の検出と同期して捕捉される、前記オブジェクトを含む領域の補足画像を取得することと、
前記補足画像内のマーカを検出することと、
前記マーカの識別子を抽出することと、
前記抽出された識別子を使用してラベルを生成することと、
前記レーダ画像と前記生成されたラベルとが互いに関連付けられた出力データを出力することと、
を含む、教師データ生成方法。
３－２．
３－１．に記載の教師データ生成方法において、
前記補足画像は、カメラ画像、深度画像、またはＩＲ画像である、教師データ生成方法。
３－３．
３－１．または３－２．に記載の教師データ生成方法において、
前記マーカは、ＡＲマーカまたはＱＲコードである、教師データ生成方法。
３－４．
３－１．から３－３．のいずれか１つに記載の教師データ生成方法において、
前記ラベルは、前記識別子と前記ラベルとが互いに関連付けられたラベル情報テーブルを更に使用して生成される、教師データ生成方法。
３－５．
３－１．から３－４．のいずれか１つに記載の教師データ生成方法において、
前記生成されたラベルは、前記オブジェクトのタイプを示すクラス名ラベルを含む、教師データ生成方法。
３－６．
３－１．から３－５．のいずれか１つに記載の教師データ生成方法において、
前記生成されたラベルは、前記オブジェクトの位置およびサイズを示すバウンディングボックスラベルを含む、教師データ生成方法。
３－７．
３－６．に記載の教師データ生成方法において、
前記マーカの位置を検出することと、
前記マーカの前記検出された位置を前記レーダ画像内の座標に変換することと、
前記レーダ画像内の前記検出されたマーカの前記座標に基づいて前記バウンディングボックスラベルを生成することと、
を更に含む、教師データ生成方法。
３－８．
３－１．から３－７．のいずれか１つに記載の教師データ生成方法において、
前記マーカは、前記補足画像内では把握可能であり、前記レーダ画像内では把握可能でない、教師データ生成方法。
【0125】
４－１．
教師データ生成方法をコンピュータに実行させるプログラムであって、前記教師データ生成方法は、
オブジェクトからの散乱信号に基づくレーダ画像を取得し、前記散乱信号の検出と同期して捕捉される、前記オブジェクトを含む領域の補足画像を取得することと、
前記補足画像内のマーカを検出することと、
前記マーカの識別子を抽出することと、
前記抽出された識別子を使用してラベルを生成することと、
前記レーダ画像と前記生成されたラベルとが互いに関連付けられた出力データを出力することと、
を含む、プログラム。
４－２．
４－１．に記載のプログラムにおいて、
前記補足画像は、カメラ画像、深度画像、またはＩＲ画像である、プログラム。
４－３．
４－１．または４－２．に記載のプログラムにおいて、
前記マーカは、ＡＲマーカまたはＱＲコードである、プログラム。
４－４．
４－１．から４－３．のいずれか１つに記載のプログラムにおいて、
前記ラベルは、前記識別子と前記ラベルとが互いに関連付けられたラベル情報テーブルを更に使用して生成される、プログラム。
４－５．
４－１．から４－４．のいずれか１つに記載のプログラムにおいて、
前記生成されたラベルは、前記オブジェクトのタイプを示すクラス名ラベルを含む、プログラム。
４－６．
４－１．から４－５．のいずれか１つに記載のプログラムにおいて、
前記生成されたラベルは、前記オブジェクトの位置およびサイズを示すバウンディングボックスラベルを含む、プログラム。
４－７．
４－６．に記載のプログラムにおいて、
前記教師データ生成方法は、
前記マーカの位置を検出することと、
前記マーカの前記検出された位置を前記レーダ画像内の座標に変換することと、
前記レーダ画像内の前記検出されたマーカの前記座標に基づいて前記バウンディングボックスラベルを生成することと、
を更に含む、プログラム。
４－８．
４－１．から４－７．のいずれか１つに記載のプログラムにおいて、
前記マーカは、前記補足画像内では把握可能であり、前記レーダ画像内では把握可能でない、プログラム。
教師データ生成方法をコンピュータに実行させるプログラムであって、前記教師データ生成方法は、
オブジェクトからの散乱信号に基づくレーダ画像を取得し、前記散乱信号の検出と同期して捕捉される、前記オブジェクトを含む領域の補足画像を取得することと、
前記補足画像内のマーカを検出することと、
前記マーカの識別子を抽出することと、
前記抽出された識別子を使用してラベルを生成することと、
前記レーダ画像と前記生成されたラベルとが互いに関連付けられた出力データを出力することと、
を含む、プログラム。
４－２．
４－１．に記載のプログラムにおいて、
前記補足画像は、カメラ画像、深度画像、またはＩＲ画像である、プログラム。
４－３．
４－１．または４－２．に記載のプログラムにおいて、
前記マーカは、ＡＲマーカまたはＱＲコードである、プログラム。
４－４．
４－１．から４－３．のいずれか１つに記載のプログラムにおいて、
前記ラベルは、前記識別子と前記ラベルとが互いに関連付けられたラベル情報テーブルを更に使用して生成される、プログラム。
４－５．
４－１．から４－４．のいずれか１つに記載のプログラムにおいて、
前記生成されたラベルは、前記オブジェクトのタイプを示すクラス名ラベルを含む、プログラム。
４－６．
４－１．から４－５．のいずれか１つに記載のプログラムにおいて、
前記生成されたラベルは、前記オブジェクトの位置およびサイズを示すバウンディングボックスラベルを含む、プログラム。
４－７．
４－６．に記載のプログラムにおいて、
前記教師データ生成方法は、
前記マーカの位置を検出することと、
前記マーカの前記検出された位置を前記レーダ画像内の座標に変換することと、
前記レーダ画像内の前記検出されたマーカの前記座標に基づいて前記バウンディングボックスラベルを生成することと、
を更に含む、プログラム。
４－８．
４－１．から４－７．のいずれか１つに記載のプログラムにおいて、
前記マーカは、前記補足画像内では把握可能であり、前記レーダ画像内では把握可能でない、プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】