特許 7620353 ＤＮＮ基盤の人の顔分類

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-15

(45)【発行日】2025-01-23

(54)【発明の名称】ＤＮＮ基盤の人の顔分類

(51)【国際特許分類】

   G01S 13/34 20060101AFI20250116BHJP

【ＦＩ】

G01S13/34

【請求項の数】 15

(21)【出願番号】P 2023562878

(86)(22)【出願日】2022-04-05

(65)【公表番号】

(43)【公表日】2024-04-02

(86)【国際出願番号】 KR2022004860

(87)【国際公開番号】W WO2022220464

(87)【国際公開日】2022-10-20

【審査請求日】2023-10-13

(31)【優先権主張番号】17/229,529

(32)【優先日】2021-04-13

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】522360769

【氏名又は名称】ビットセンシング インコーポレイテッド

(74)【代理人】

【識別番号】100087398

【弁理士】

【氏名又は名称】水野 勝文

(74)【代理人】

【識別番号】100128783

【弁理士】

【氏名又は名称】井出 真

(74)【代理人】

【識別番号】100128473

【弁理士】

【氏名又は名称】須澤 洋

(74)【代理人】

【識別番号】100160886

【弁理士】

【氏名又は名称】久松 洋輔

(72)【発明者】

【氏名】イ，ジェ ウン

(72)【発明者】

【氏名】イム，ヘ スン

(72)【発明者】

【氏名】イ，ソン ウク

【審査官】梶田 真也

(56)【参考文献】

【文献】米国特許出願公開第２０２０／００２５８７７（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１９／００１１５３４（ＵＳ，Ａ１）

【文献】特開２０１３－０６８４３３（ＪＰ，Ａ）

【文献】特開２０２０－２０４６０３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０１６６６０９（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｓ ７／００ － ７／４２

Ｇ０１Ｓ １３／００ － １３／９５

(57)【特許請求の範囲】

【請求項1】

レーダの信号から標的情報を抽出する方法において、当該方法は、
アンテナ素子から受信された複数の人の顔に対する信号を利用してディープニューラルネットワークを訓練させるステップと、
前記レーダを利用して周波数変調連続波（ｆｒｅｑｕｅｎｃｙ－ｍｏｄｕｌａｔｅｄ ｃｏｎｔｉｎｕｏｕｓ ｗａｖｅ）の送信信号を送信するステップと、
多重アンテナ素子において人の顔から反射した反射信号を受信するステップと、
前記受信した反射信号を連結するステップと、
混合信号を生成するために、ミキサー（ｍｉｘｅｒ）を利用して前記送信信号と前記反射信号を乗じるステップと、
正弦波信号を含む基底帯域（ｂａｓｅｂａｎｄ）信号を生成するために、低域通過フィルタ（ｌｏｗ ｐａｓｓ ｆｉｌｔｅｒ）を介して前記混合信号を通過させるステップと、
前記基底帯域信号からそれぞれの正弦波信号の周波数を抽出するステップと、
前記抽出された周波数を利用して前記人の顔と前記レーダとの距離を測定するステップと、
前記測定された距離に基づいて前記連結された反射信号を切断するステップと、
前記複数の顔のうちの特定の顔を区別するために、前記切断された反射信号を前記ディープニューラルネットワークに入力するステップと、
を含む、標的情報を抽出する方法。

【請求項2】

前記ディープニューラルネットワークは、多層パーセプトロン（ｐｅｒｃｅｐｔｒｏｎ）を含む、請求項１に記載の標的情報を抽出する方法。

【請求項3】

前記多重アンテナ素子は、前記反射信号が前記人の顔の空間的な顔特徴を含むように高度及び方位角方向に配列される、請求項１に記載の標的情報を抽出する方法。

【請求項4】

それぞれの前記正弦波信号の周波数を抽出するステップは、フーリエ変換（Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ）を適用するステップを含む、請求項１に記載の標的情報を抽出する方法。

【請求項5】

前記送信信号は、周波数を急速に増加させるアップチャープ（ｕｐ－ｃｈｉｒｐ）信号である、請求項１に記載の標的情報を抽出する方法。

【請求項6】

前記ミキサーは、周波数ミキサーである、請求項１に記載の標的情報を抽出する方法。

【請求項7】

前記レーダは、ミリ波（ｍｉｌｌｉｍｅｔｅｒ－ｗａｖｅ）周波数変調連続波レーダである、請求項１に記載の標的情報を抽出する方法。

【請求項8】

受信アンテナ素子から受信された複数の人の顔に対する信号を利用してディープニューラルネットワークを訓練させるステップと、
レーダの複数の受信アンテナ素子それぞれから入力信号を受信するステップであって、前記入力信号は、顔から反射した信号である、当該ステップと、
前記受信した入力信号を連結するステップと、
フィルタリングされた出力を生成するために、前記連結された入力信号を低域通過フィルタリングするステップと、
離散フィルタ出力を生成するために、フィルタリングされた出力をアナログ－デジタル変換器を介して通過させ、サンプリング周波数でサンプリングするステップと、
前記顔と前記レーダとの距離を計算するために、前記離散フィルタ出力に変換を適用するステップと、
前記計算された距離に基づいて前記連結された入力信号を切断するステップと、
前記複数の顔のうちの特定の顔を区別するために、前記切断された入力信号を前記ディープニューラルネットワークに入力するステップと、
前記距離に対応する周波数インデックスを生成するために、前記変換された出力に誤警報率（ｆａｌｓｅ ａｌａｒｍ ｒａｔｅ）検出技術を適用するステップとを含む、方法。

【請求項9】

訓練のために前記ディープニューラルネットワークに前記周波数インデックスを入力するステップをさらに含む、請求項８に記載の方法。

【請求項10】

前記ディープニューラルネットワークは、複数の層を含む多層パーセプトロンを含み、各層は、隣接層に連結されている、請求項８に記載の方法。

【請求項11】

前記変換は、高速フーリエ変換である、請求項８に記載の方法。

【請求項12】

前記周波数インデックスは、高速フーリエ変換インデックスである、請求項８に記載の方法。

【請求項13】

レーダの信号から標的情報を抽出するためのコンピュータプログラムを格納する非一時的なコンピュータ読み取り可能な格納媒体であって、前記コンピュータプログラムは、コンピュータに、
アンテナ素子から受信された複数の人の顔に対する信号を利用してディープニューラルネットワークを訓練させ、
前記レーダを利用して周波数変調連続波の送信信号を送信し、
多重アンテナ素子において人の顔から反射した反射信号を受信し、
前記受信した反射信号を連結し、
混合信号を生成するために、ミキサーを利用して前記送信信号と前記反射信号を乗じ、
正弦波信号を含む基底帯域信号を生成するために、低域通過フィルタを介して前記混合信号を通過させ、
前記基底帯域信号からそれぞれの正弦波信号の周波数を抽出し、
前記抽出された周波数を利用して前記人の顔と前記レーダとの距離を測定させ、
前記測定された距離に基づいて前記連結された反射信号を切断し、
前記複数の顔のうちの特定の顔を区別するために、前記切断された反射信号を前記ディープニューラルネットワークに入力させる、
実行可能な命令を含む、非一時的なコンピュータ読み取り可能な格納媒体。

【請求項14】

前記ディープニューラルネットワークは、多層パーセプトロンを含む、請求項１３に記載の非一時的なコンピュータ読み取り可能な格納媒体。

【請求項15】

前記コンピュータにそれぞれの前記正弦波信号の周波数を抽出させる実行可能な命令は、前記コンピュータにフーリエ変換を適用させる実行可能な命令を含む、請求項１３に記載の非一時的なコンピュータ読み取り可能な格納媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人の顔分類に関し、より詳しくは、ディープニューラルネットワーク（ＤＮＮ）基盤の人の顔分類に関する。

【背景技術】

【0002】

無線探知及び距離測定（即ち、レーダ）センサは、多様な分野において多様な目的で広く使用されている。近年は、レーダセンサによって使用される周波数帯域と帯域幅がミリ波（ｍｉｌｌｉｍｅｔｅｒ ｗａｖｅ）帯域に広がり、より小さいサイズと高い範囲の分解能（ｒｅｓｏｌｕｔｉｏｎ）を有するレーダへの関心が高くなっている。つまり、レーダセンサの小型化が進められており、レーダセンサは他の用途で活用されることが期待される。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明では、人の顔分類を説明する。

【課題を解決するための手段】

【0004】

一実施例において、レーダ信号及び測定環境から標的情報を抽出する方法が開示される。前記方法は、レーダを利用して周波数変調連続波（ｆｒｅｑｕｅｎｃｙ－ｍｏｄｕｌａｔｅｄ ｃｏｎｔｉｎｕｏｕｓ ｗａｖｅ；ＦＭＣＷ）送信信号を送信するステップと、多重アンテナ素子において人の顔から反射した反射信号を受信するステップと、混合信号を生成するために、ミキサー（ｍｉｘｅｒ）を利用して送信信号と反射信号を乗じるステップと、正弦波信号を含む基底帯域信号を生成するために、低域通過フィルタ（ｌｏｗ ｐａｓｓ ｆｉｌｔｅｒ）を介して混合信号を通過させるステップと、抽出された周波数を生成するために、基底帯域信号からそれぞれの正弦波信号の周波数を抽出するステップと、抽出された周波数を利用して人の顔とレーダとの距離を測定するステップとを含む。

【0005】

他の実施例において、方法が開示される。前記方法は、レーダの複数の受信アンテナ素子それぞれから入力信号を受信するステップと、前記入力信号は、顔から反射した信号であり、フィルタリングされた出力を生成するために、入力信号を低域通過フィルタリングするステップと、離散フィルタ出力を生成するために、フィルタリングされた出力をアナログ－デジタル変換器を介して通過させ、サンプリング周波数でサンプリングするステップと、顔とレーダとの距離を計算するために、離散フィルタ出力に変換を適用するステップと、距離に対応する周波数インデックスを生成するために、変換された出力に誤警報率検出技術を適用するステップとを含む。

【0006】

他の実施例において、レーダ信号及び測定環境から標的情報を抽出するためのコンピュータプログラムを格納する非一時的なコンピュータ読み取り可能な格納媒体が開示される。前記コンピュータプログラムは、コンピュータに、レーダを利用して周波数変調連続波送信信号を送信し、多重アンテナ素子において人の顔から反射した反射信号を受信し、混合信号を生成するために、ミキサーを利用して送信信号と反射信号を乗じ、正弦波信号を含む基底帯域信号を生成するために、低域通過フィルタを介して混合信号を通過させ、抽出された周波数を生成するために、基底帯域信号からそれぞれの正弦波信号の周波数を抽出し、抽出された周波数を利用して人の顔とレーダとの距離を測定させる実行可能な命令を含む。

【0007】

本発明の他の特徴及び長所は、例として、本発明の態様を例示する本願の説明から明らかになるはずである。

【図面の簡単な説明】

【0008】

特許又は出願ファイルには、カラーで実行された図面が１つ以上含まれている。カラー図面が含まれたこの特許又は特許出願刊行物の写本は、要請及び必要な手数料を支払えば官庁から提供される。

【0009】

構造及び作動の全て関する本発明の詳細事項は、添付された図面の研究によって部分的に収集されても良く、ここで、類似した参照番号は類似した部分を示す。

【0010】

【図1】本発明の一実施例に係る、送信されたＦＭＣＷレーダ信号の時間－周波数の傾きを示す。

【図2a】本発明の一実施例に係るミリ波ＦＭＣＷレーダである。

【図2b】本発明の一実施例に係る、単一送信アンテナ及び３個の受信アンテナ素子を含むＦＭＣＷレーダの回路レイアウトを示す。

【図3a】顔に対するレーダの方位角（ａｚｉｍｕｔｈ ａｎｇｌｅ）を示す。

【図3b】顔に対するレーダの仰角（ｅｌｅｖａｔｉｏｎ ａｎｇｌｅ）を示す。

【図4】本発明の一実施例に係るＭＬＰネットワークの構造を示す。

【図5a】本発明の一実施例に係る、レーダの中心から顔が約３０～５０ｃｍ離れている際の２０秒間における８人の人の顔の累積Ｆ（Ｌ_３［ｎ］）を示す。

【図5b】本発明の一実施例に係る、レーダの中心から顔が約３０～５０ｃｍ離れている際の２０秒間における８人の人の顔の累積Ｆ（Ｌ_３［ｎ］）を示す。

【図5c】本発明の一実施例に係る、レーダの中心から顔が約３０～５０ｃｍ離れている際の２０秒間における８人の人の顔の累積Ｆ（Ｌ_３［ｎ］）を示す。

【図5d】本発明の一実施例に係る、レーダの中心から顔が約３０～５０ｃｍ離れている際の２０秒間における８人の人の顔の累積Ｆ（Ｌ_３［ｎ］）を示す。

【図5e】本発明の一実施例に係る、レーダの中心から顔が約３０～５０ｃｍ離れている際の２０秒間における８人の人の顔の累積Ｆ（Ｌ_３［ｎ］）を示す。

【図5f】本発明の一実施例に係る、レーダの中心から顔が約３０～５０ｃｍ離れている際の２０秒間における８人の人の顔の累積Ｆ（Ｌ_３［ｎ］）を示す。

【図5g】本発明の一実施例に係る、レーダの中心から顔が約３０～５０ｃｍ離れている際の２０秒間における８人の人の顔の累積Ｆ（Ｌ_３［ｎ］）を示す。

【図5h】本発明の一実施例に係る、レーダの中心から顔が約３０～５０ｃｍ離れている際の２０秒間における８人の人の顔の累積Ｆ（Ｌ_３［ｎ］）を示す。

【図6】人の顔がレーダから約４０ｃｍ離れている際の１つの被写体に対するＦ（Ｌ_３［ｎ］）を示す。

【図7】本発明の一実施例に係る、ＤＮＮを訓練する（ｔｒａｉｎｉｎｇ）ためのデータベクトルを示す。

【図8】本発明の一実施例に係る、赤色の長方形のボックスで表示された信号部分のみを利用するプロセスを示す。

【図9】顔の周辺の距離に対応するＦＦＴインデックスの構成を示す。

【図10】本発明の一実施例に係る、８個の異なる被写体に対する平均顔分類性能を示す。

【図11】本発明の一実施例に係る分類性能を示す。

【図12】本発明の一実施例に係る、レーダ信号及び信号測定環境から標的情報を抽出するためのプロセスのフローチャートである。

【図13】本発明の一実施例に係る、得られたレーダ信号でディープニューラルネットワーク（ＤＮＮ）を訓練するためのプロセスのフローチャートである。

【発明を実施するための形態】

【0011】

上述したように、レーダセンサは、多様な分野において多様な用途で広く使用されている。レーダセンサによって使用される周波数帯域と帯域幅がミリ波帯域に広がり、より小さいサイズと高い範囲の分解能を有するレーダへの関心が高くなっている。つまり、レーダセンサの小型化が進められており、レーダセンサは、既存の用途ではなく他の用途で活用されることが期待される。一例において、顔及びジェスチャ認識のために、レーダがスマートフォンに統合されている。他の例において、他のスマートフォンを見つけるために、超広帯域（ｕｌｔｒａ－ｗｉｄｅｂａｎｄ；ＵＷＢ）レーダがスマートフォンに統合されている。

【0012】

本発明の特定の実施例は、小型ミリ波レーダセンサを利用して人の顔を分類することを提供する。一実施例において、レーダセンサは、（例えば、６１ＧＨｚ帯域で作動する）周波数変調連続波形（ｆｒｅｑｕｅｎｃｙ－ｍｏｄｕｌａｔｅｄ ｃｏｎｔｉｎｕｏｕｓ ｗａｖｅｆｏｒｍ）を送信し、空間的に分離された受信アンテナ素子を利用して反射信号を受信する。人の顔の形と構成は人それぞれ異なっているため、レーダ信号の反射特性も互いに区別される。多重アンテナ素子から受信された信号を利用し、ディープニューラルネットワーク（ＤＮＮ）を人の顔分類のために訓練することができる。実際のレーダ信号でＤＮＮを訓練する際、多くの人の顔を高い正確度で分類することができる。

【0013】

このような説明を読めば、様々な実施例及びアプリケーションにおいて本発明を実施する方法が明らかになるはずである。しかし、本発明の様々な実施例が本明細書において説明されるが、このような実施例は単なる例示であり、限定されるものではないと理解されなければならない。よって、様々な実施例に対する詳細な説明は本開示の範囲又は幅を限定すると解釈されてはならない。

【0014】

Ｉ．紹介
本発明においては、小型レーダセンサで人の顔を認識するだけでなく、他の人の顔も区別できるように提案する。マシンラーニング技術の急速な発展により、ここ数年間、レーダセンサを利用した標的（ｔａｒｇｅｔ）分類研究が活発に進行されている。例えば、レーダセンサデータにマシンラーニング技術を適用することで多様な人間行動が分類された。また、一部は自動車レーダセンサを利用して歩行者、自転車乗り、自動車のようなレーダ標的を識別することを提案した。最近でも反射したレーダ信号による無人航空機を区別する研究が進行されている。このような全ての対象分類研究は、被写体の反射属性が異なっているという事実に基づく。同様に、人の顔の形と構成も人それぞれ異なっているため、適切なマシンラーニング技術をレーダデータに適用すれば、人の顔は充分に区別されることができる。電波（ｒａｄｉｏ ｗａｖｅ）を利用した顔分類を通じて、カメラ基盤の顔認識方式の弱点は補完されることができる。

【0015】

本発明の一実施例において、レーダセンサは、６１ＧＨｚの中心周波数で作動し、周波数変調連続波（ＦＭＣＷ）を送信する。その後、人の顔に反射した信号は多重受信アンテナ素子によって受信される。前記アンテナ素子は、高度及び方位角方向に配列されるため、受信された信号には人の空間的な顔特徴が含まれる。また、人それぞれ顔の構成成分が異なっているため、反射特性も人それぞれ異なる。よって、多重アンテナ素子から受信された信号を連結してディープニューラルネットワーク（ＤＮＮ）の入力として利用すれば、それぞれの人の顔を区別できる効果的な分類器を設計することができる。

【0016】

本発明の一実施例において、提案されたＤＮＮ基盤の顔分類方法の分類性能を評価し、他の既存の特徴基盤マシンラーニング技術と比較する。提案されたＤＮＮ基盤方法の長所は、特徴抽出段階が不要という点である。レーダセンサデータに対するＤＮＮの適用可能性は既に確認されている。しかし、殆どのディープラーニング基盤の標的分類研究は、低周波帯域又は相対的に距離の遠い標的で作動する大規模レーダシステムに重点を置いたものである。

【0017】

セクションＩＩに開示された実施例は、レーダ信号及び信号測定環境から標的情報を抽出するための信号処理方法を説明する。セクションＩＩＩに開示された実施例は、得られたレーダ信号及び当該分類結果でＤＮＮを訓練する方法を説明する。セクションＩＶは結論を含む。

【0018】

ＩＩ．６１ＧＨｚのＦＭＣＷレーダを利用した標的測定
Ａ．ＦＭＣＷレーダにおける信号処理
ＦＭＣＷレーダシステムにおいて、送信信号の周波数は、時間と共に線形的に変わる。図１は、送信されたＦＭＣＷレーダ信号の時間－周波数の傾きを示す。ここで、１、２、・・・、Ｎは、各フレームのインデックスである。よって、フレームの送信信号Ｔ（ｔ）は、次のように表される。

【数1】

【0019】

ここで、Ａ_Ｔは、送信信号の振幅、ｆ_ｃは、変調信号の中心周波数、ΔＢは、動作帯域幅、ΔＴは、スイープ時間である。前記送信信号は、周波数が急激に増加するため、アップチャープ（ｕｐ－ｃｈｉｒｐ）信号とも言う。前記アップチャープ信号がＬ標的から反射すれば、受信信号Ｒ（ｔ）は、次のように表されても良い。

【数2】

【0020】

ここで、Ａ_Ｒｌ（ｌ＝１、２、…、Ｌ）は、１番目の標的から反射した信号の振幅であり、ｆ_ｄｌは、１番目の標的とレーダの間の相対速度によって発生するドップラー周波数であり、ｔ_ｄｌは、１番目の標的とレーダの間の相対距離による時間遅延である。１番目の標的の情報を含む所望の信号はｄ_ｌ（ｔ）と表される。また、ｎ（ｔ）は、受信アンテナにおいて追加されるノイズを表す。

【0021】

前記送信信号Ｔ（ｔ）は、周波数ミキサーを介して通過することにより前記受信信号Ｒ（ｔ）と乗じられる。ミキサーＭ（ｔ）の出力は、次のように与えられる。

【数3】

【0022】

基底帯域信号を抽出するために、Ｍ（ｔ）は、低域通過フィルタを通過する。フィルタ出力は、次のように近似されても良い。

【数4】

【0023】

ここで、Ｌ（．）は、低域通過フィルタ出力を表す。

【0024】

Ｌ（Ｍ（ｔ））は、正弦波信号の和であるので、フーリエ変換を適用して各信号の周波数を抽出する。抽出された周波数（ｆ＾_ｌ）（ここで、ｌ＝１、２、．．．、Ｌ）は、次のように表される。

【数5】

【0025】

ここで、Ｒ_ｌとｖ_ｌは、それぞれ１番目の標的とレーダの間の相対距離と相対速度であり、ｃは、送信されたレーダ信号の伝播速度である。

【0026】

人の顔から反射したレーダ信号を測定する際、ｆ＾_ｌは、（ΔＢ／ΔＴ）ｔ_ｄｌ（＝ΔＢ／ΔＴ×２Ｒ_ｌ／ｃ）に近似されても良い。つまり、顔の多くの測定ポイントがレーダに対して固定されているため、標的速度によるｆ_ｄｌは無視しても良い。よって、ビート周波数を利用して顔とレーダとの距離を推定することができ、これは、次のように計算される。

【数6】

【0027】

ここで、ΔＴ、ΔＢ、ｃは、既にレーダシステムに知られている。

【0028】

Ｂ．測定環境
図２ａは、本発明の一実施例に係るミリ波ＦＭＣＷレーダである。図２ｂは、本発明の一実施例に係る、単一送信アンテナ及び３個の受信アンテナ素子を含むＦＭＣＷレーダの回路レイアウトを示す。

【0029】

図２ａ及び図２ｂに示すように、ＦＭＣＷレーダは、単一送信アンテナと３個の受信アンテナ素子（方位方向に２個、高度方向に２個、各方向において１つは１つのアンテナ素子によって共有される）を利用する。隣接したアンテナ素子間の距離は０．５ｃ／ｆ_ｃである。前記アンテナシステムにおいて、Ｔｘが信号、Ｒ_ｘ１、Ｒ_ｘ２、及びＲ_ｘ３を送信すれば、同時に反射信号を受信する。たとえ図２ｂに示された実施例は３個の受信アンテナ素子（Ｒ_ｘ１、Ｒ_ｘ２、及びＲ_ｘ３）のみを示しているが、他の実施例において任意の数（２個以上）のアンテナ素子が使用されても良い。また、数学式１のｆｃ、ΔＢ、ΔＴは、それぞれ６１ＧＨｚ、６ＧＨｚ、１２．５ｍｓに設定されている。また、ＦＭＣＷレーダ信号の１つのフレームは、１２．５ｍｓの信号送信時間（ｔｒａｎｓｍｉｓｓｉｏｎ ｔｉｍｅ）と３７．５ｍｓの信号処理時間とにより構成された５０ｍｓの長さである。

【0030】

前記レーダを利用して図３ａ及び図３ｂに示すような実験環境を設定し、反射したレーダ信号を収集する。図３ａは、顔に対するレーダの方位角を示し、図３ｂは、顔に対するレーダの仰角を示す。

【0031】

８人の被写体を有する１つの例示的な実施例において、レーダ信号は、レーダと顔との距離を３０ｃｍから５０ｃｍに変更することで測定される。また、顔とレーダの前面方向との方位角及び仰角（例えば、図３ａ及び図３ｂのθ及びΦ）によって反射信号が変わり得るので、受信されたレーダ信号は、θ及びΦを－５°から＋５°まで変更しながら得られる。

【0032】

ＩＩＩ．ＤＮＮを利用した提案された顔分類
Ａ．ＤＮＮの基本原理
ＤＮＮ構造の最も代表的なタイプは、各層が隣接層と完全に連結されている多層パーセプトロン（Ｍｕｌｔｉｌａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ；ＭＬＰ）である。図４は、前記ＭＬＰネットワークの１つの例示的な構造を示す。上記例示的な構造には、入力層、多重隠れ層及び出力層が含まれる。また、各層は多数のノードにより構成され、各ノードは、隣接した層のノードと連結される。図４に示されたネットワークは、順伝播（ｆｏｒｗａｒｄ ｐｒｏｐａｇａｔｉｏｎ）と逆伝播（ｂａｃｋｗａｒｄ ｐｒｏｐａｇａｔｉｏｎ）の繰り返し過程を通じて訓練される。順伝播において、各層は、重みと活性化関数を利用することによって値を次の層に伝達する。Ｘ_ｉ ^（ｋ）及びＹ_ｏ ^（ｋ）は、ｋ層目の入力及び出力ベクトルと言い、Ｗ^（ｋ）をｋ層目と（ｋ＋１）層目との重み行列と言う。してみると、（ｋ＋１）層目の入力ベクトルは、次のように表されても良い。

【数7】

【0033】

ここで、ｆ_ａは、ネットワークにおいて非線形性を生成する活性化関数を表す。それに対し、重み値は、逆伝播において各重みに対する費用関数の傾きを計算することによりアップデートされる。逆伝播前の重み値をＷ_ｂとすると、逆伝播後にアップデートされた重みＷ_ａは、次の通りである。

【数8】

【0034】

ここで、αは、学習の速度を決定する学習率を表し、Ｊは、訓練された値と実際の値との誤差を示す費用関数を表す。エポック（ｅｐｏｃｈ）と呼ばれる順伝播及び逆伝播の何れも、重み行列Ｗ^（ｋ）を適切に訓練するために数回繰り返される。

【0035】

Ｂ．データ学習（ｌｅａｒｎｉｎｇ）のためのレーダ信号の前処理
ＤＮＮを利用して分類器を訓練するためには、入力形式を適切に決定しなければならない。よって、適切な入力はレーダ信号の特性によって公式化される。各受信アンテナ素子から受信された信号をＲ_ｑ（ｔ）（ｑ＝１、２、３）と表すとすると、各受信信号に対する低域通過フィルタ出力は、Ｌ（Ｔ（ｔ）Ｒ_ｑ（ｔ））＝Ｌ（Ｍ_ｑ（ｔ））とする。前記低域通過フィルタ出力がアナログ－デジタル変換器を通過し、ｆ_ｓ（＝１／Ｔ_ｓ）のサンプリング周波数でサンプリングされれば、離散フィルタ出力は、次のように表されても良い。

【数9】

【0036】

ここで、Ｎ_ｓは、サンプリングされたポイントの数を表す。セクションＩＩ－Ａで言及した通り、顔とレーダとの距離は、サンプリングされた信号に高速フーリエ変換（ＦＦＴ）を適用することで抽出されることができ、Ｆ（Ｌ_ｑ［ｎ］）と表されても良い。

【0037】

例えば、図６は、人の顔がレーダから約４０ｃｍ離れている際に１つの被写体に対するＦ（Ｌ_３［ｎ］）を示す。よって、ＦＦＴポイント（ＮＦ）の数はＮ_ｓと同一に設定される。順序付き統計定数誤警報率（ｏｒｄｅｒｅｄ ｓｔａｔｉｓｔｉｃ ｃｏｎｓｔａｎｔ ｆａｌｓｅ ａｌａｒｍ ｒａｔｅ；ＯＳ－ＣＦＡＲ）検出アルゴリズムをＦ（Ｌ_３［ｎ］）に適用すれば、顔の位置に対応するＦＦＴインデックスを抽出することができる。数学式６から、本発明のレーダシステムにおいて、１つのＦＦＴインデックスは２．５ｃｍと計算されることができる。上記したステップにおいて、ＦＦＴインデックスを抽出することは、顔とレーダとの距離を中心に出力を適切にバウンディングする（ｂｏｕｎｄｉｎｇ）ことを含む（図８を参照）。上述した出力が直列に使用される場合（即ち、連結される場合）、利用されるネットワークはＤＮＮに分類されるという点に留意しなければならない。その他には、上述した出力を並列に使用すると、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；ＣＮＮ）というまた別のディープラーニング技術に分類される。

【0038】

図５ａ乃至図５ｈは、８人の人の顔がレーダの中心から約３０～５０ｃｍ離れている際に２０秒間累積したＦ（Ｌ_３［ｎ］）を示す。ＦＦＴインデックスを数学式６で変換することで、レーダと人の顔との距離を推定することができる。図５ａ乃至図５ｈに示すように、反射信号の強度は、４０ｃｍ付近で強い。図５ａ乃至図５ｈは、同じ距離に位置した互いに異なる顔に対する受信信号の差を示す。また、方位軸に位置したアンテナ素子の間には位相差ｅ^{ｊπｓｉｎθ}が存在し、高度軸に位置したアンテナ素子の間には位相差ｅ^{ｊπｓｉｎφ}が存在する。よって、Ｆ（Ｌ_１［ｎ］）、Ｆ（Ｌ_２［ｎ］）、及びＦ（Ｌ_３［ｎ］）も同じ顔に対して互いに異なるパターンを有する。

【0039】

一般的に、レーダデータに対するＤＮＮの入力として、抽出された信号の特徴ベクトルが使用されるか、時間領域又は周波数領域の信号が全体的に使用されることができる。本発明において全てのアンテナ素子から受信された信号は、１つの信号ベクトルに合成され、ＤＮＮの入力として使用される。つまり、上記した観察を基に、ＤＮＮを訓練するためのデータ入力の形態は、次のように表現される。

【数10】

【0040】

図７に示すように、３個の受信アンテナ素子があるので、Ｘ_ｉ［ｋ］は１×３Ｎ_ｓベクトルとなる。前記データベクトルは、各アップチャープ信号から抽出される（図１を参照）。入力データは、セクションＩＩ－Ｂで言及したフレーム単位で生成される。各被写体に対し、測定条件（例えば、距離及び角度）を変更することで、２，０００個の入力データポイント（即ち、Ｎ＝２０００）が得られる。しかし、全体信号を利用する際に計算量が増加し、Ｘ_ｉ［ｋ］には標的情報を含まない不要な信号が含まれているので、前記ベクトルは直接使用されない。従って、標的近傍の信号が使用される。

【0041】

図８に示す一例において、赤色の長方形のボックスで表示された信号部分のみが使用される。その後、前記ＯＳ－ＣＦＡＲ検出アルゴリズムは各フレームに適用され、顔の位置に対応するＦＦＴインデックスが抽出される。抽出されたＦＦＴインデックス近傍の信号は切断されてネットワークに対する入力として使用され、次のように表されても良い。

【数11】

【0042】

ここで、ｋ_ｔｇｔは、顔までの距離に対応するＦＦＴインデックスであり、ｋ_ｃｕｔは、顔の周辺の距離が考慮された距離のインデックスである。この場合、顔から前後に約１０ｃｍ程度がカバーされることのできるよう、ｋ_ｃｕｔは４に設定される。よって、精製された入力Ｘ_ｉ［ｋ］は、図９に示すように構成されても良い。

【0043】

Ｃ．ＤＮＮからの顔分類結果
セクションＩＩＩ－Ｂで言及した通り、８人に対して１６，０００個のデータポイントが得られた。また、全体データの７０％、１５％及び１５％は、それぞれ訓練、検証及びテストセットとして使用された。本発明において利用されるＤＮＮの構造は図４に示されている。上述したように、Ｘ_ｉ［ｋ］は、ネットワークに対する入力ベクトルとして使用される。また、前記ネットワークの出力層は、顔１～顔８として表される。

【0044】

一般的に、ＤＮＮ構造の分類性能に最大の影響を及ぼす要因は、隠れ層の数（Ｎ_ｌ）、各層のノード数（Ｎ_ｎ）、及び活性化関数の種類である。よって、我々のレーダシステムに適したネットワーク構造を見つけるために、上述した媒介変数を変更して分類正確度を比較する。前記分類性能は、先ず、隠れ層の数を１（Ｎ_ｌ＝１）に設定し、隠れ層のノード数を増加させることによって確認した。

【0045】

図１０は、８個の互いに異なる被写体に対する平均顔分類性能を示す。Ｎ_ｎが２０以上であれば、分類性能にそれ以上の増加がないことが確認された。よって、Ｎ_ｎを２０に固定し、Ｎ_ｌを変更することで分類性能を確認した。図１１に示すように、Ｎ_ｌが５以上の際に前記分類性能は略収束した。よって、このようなネットワークにおいて、Ｎ_ｌとＮ_ｎの値はそれぞれ５と２０に設定される。Ｎ_ｌとＮ_ｎを推定する順番を変えて同じ演算を行った際、２つの因子の値は略類似のものと計算された。表１は、Ｎ_ｌとＮ_ｎがそれぞれ５と２０である際の混同行列（ｃｏｎｆｕｓｉｏｎ ｍａｔｒｉｘ）を示す。８人の被写体に対する平均分類正確度は、平均９２％以上であった。

【0046】

【表1】

【0047】

ＤＮＮの他にも、分類性能は、レーダ標的分類に広く利用されるサポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ；ＳＶＭ）及びツリー基盤の方法を利用して評価される。前記ＳＶＭ、バギングツリー（ｂａｇｇｉｎｇ ｔｒｅｅ）、ブースティングツリー（ｂｏｏｓｔｉｎｇ ｔｒｅｅ）を通じて分類器を訓練するためには、データベクトル（Ｘ_ｉ［ｋ］）から特徴を抽出する過程が必要である。一部の実施例において、振幅及びドップラー周波数のような特徴が、分類器を訓練するために反射信号から抽出された。また、平均、分散、歪度（ｓｋｅｗｎｅｓｓ）、尖度（ｋｕｒｔｏｓｉｓ）のように分布の統計的特性を示す特徴は、他の物品で使用された。このようなマシンラーニング技術の性能は、抽出された特徴によって大きく変わる。よって、本発明において、数学式１１の信号は、同じ入力データに対する分類性能を判断するために、２つのマシンラーニング技術の全てに対して入力データとして使用される。つまり、Ｘ_ｉ［ｋ］の各サンプルポイントは、２つの分類器の何れにおいても特徴として作用する。

【0048】

【表2】

【0049】

表２は、次のような分類結果を示す。これらの方法の平均分類正確度は、提案された方法の平均分類正確度よりも低かった。このような特徴基盤マシンラーニング方法の場合、適切な特徴が抽出され、分類器の訓練に使用されれば、平均分類正確度が向上され得る。しかし、本発明において提案する方法の長所は、このような特徴を抽出することなく高い分類性能を示すということである。

【0050】

また、３個の受信アンテナ素子ではなく１つのアンテナ素子のみで受信された信号が使用された際も分類性能が確認された。つまり、入力形式は、次のように表されても良い。

【数12】

【0051】

ここで、

【数13】

上記の場合、受信アンテナ素子インデックスｑは、１、２、３であることができる。Ｘ_ｉ’［ｋ］が使用されれば、入力データの大きさは１／３に減る。ＤＮＮの構造（例えば、ノード数、隠れ層数、及び活性化関数）を維持しつつ、分類性能はＸ_ｉ’［ｋ］を利用して評価される。この場合、平均分類正確度は７３．７％であった。Ｎ_ｌとＮ_ｎが変わったものの、８０％以上の分類正確度を得ることは難しかった。１つのアンテナ素子のみを使用すれば、受信されたレーダ信号から標的の方位角又は仰角情報を抽出することができず、アンテナの多様性も減少する。よって、より多くの受信アンテナ素子から受信されたレーダ信号を使用すれば、平均分類性能は向上されることができる。

【0052】

図１２は、本発明の一実施例に係る、レーダ信号及び信号測定環境から標的情報を抽出するためのプロセス１２００のフローチャートである。図１２に示すように、ブロック１２１０において、周波数変調連続波（ＦＭＣＷ）信号が、レーダを利用して送信される。ブロック１２２０において、人の顔から反射した信号は、多重受信アンテナ素子により受信される。アンテナ素子は高度及び方位角方向に配列されるため、受信された信号には人の空間的な顔特徴が含まれる。また、人それぞれ顔の構成成分が異なっているため、反射特性も人それぞれ異なる。

【0053】

ブロック１２３０において、送信信号は、混合信号を生成するために、ミキサーを利用して受信信号と乗じられる。その後、ブロック１２４０において、正弦波信号を含む基底帯域信号を生成するために、混合信号が低域通過フィルタを介して通過される。ブロック１２５０において、それぞれの正弦波信号の周波数は、基底帯域信号から抽出される。一実施例において、それぞれの正弦波信号の周波数は、フーリエ変換を適用することで抽出される。次いで、ブロック１２６０において、顔とレーダとの距離が、抽出された周波数を利用して測定される。多重アンテナ素子から受信された信号が連結され、その後、連結された信号は、ディープニューラルネットワーク（ＤＮＮ）への入力として利用され、それぞれの人の顔を区別及び／又は認識する。

【0054】

一実施例において、レーダ信号及び測定環境から標的情報を抽出するための方法が開示される。前記方法は、レーダを利用して周波数変調連続波送信信号を送信するステップと、多重アンテナ素子において人の顔から反射した反射信号を受信するステップと、混合信号を生成するために、ミキサーを利用して前記送信信号と前記反射信号を乗じるステップと、正弦波信号を含む基底帯域信号を生成するために、低域通過フィルタを介して前記混合信号を通過させるステップと、抽出された周波数を生成するために、前記基底帯域信号からそれぞれの正弦波信号の周波数を抽出するステップと、前記抽出された周波数を利用して前記人の顔と前記レーダとの距離を測定するステップとを含む。

【0055】

一実施例において、前記方法は、多重アンテナ素子から信号を受信するステップと、信号を連結するステップとを含む。一実施例において、前記方法は、人の顔を区別して認識するために、ディープニューラルネットワークに連結された信号を入力するステップをさらに含む。一実施例において、ディープニューラルネットワークは、多層パーセプトロンを含む。一実施例において、多重アンテナ素子は、前記反射信号が人の顔の空間的な顔特徴を含むように高度及び方位角方向に配列される。一実施例において、それぞれの正弦波信号の周波数を抽出するステップは、フーリエ変換（Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ）を適用するステップを含む。一実施例において、送信信号は、周波数を急速に増加させるアップチャープ（ｕｐ－ｃｈｉｒｐ）信号である。一実施例において、ミキサーは、周波数ミキサーである。一実施例において、レーダは、ミリ波周波数変調連続波レーダである。一実施例において、それぞれの正弦波信号の周波数を抽出するステップは、距離周辺のそれぞれの正弦波信号を適切にバウンディングするステップを含む。

【0056】

他の実施例において、レーダ信号及び測定環境から標的情報を抽出するためのコンピュータプログラムを格納する非一時的なコンピュータ読み取り可能な格納媒体が開示される。前記コンピュータプログラムは、コンピュータに、前記レーダを利用して周波数変調連続波送信信号を送信し、多重アンテナ素子において人の顔から反射した反射信号を受信し、混合信号を生成するために、ミキサーを利用して前記送信信号と前記反射信号を乗じ、正弦波信号を含む基底帯域信号を生成するために、低域通過フィルタを介して前記混合信号を通過させ、抽出された周波数を生成するために、前記基底帯域信号からそれぞれの正弦波信号の周波数を抽出し、前記抽出された周波数を利用して前記人の顔と前記レーダとの距離を測定させる実行可能な命令を含む。

【0057】

一実施例において、前記格納媒体は、前記コンピュータに、多重アンテナ素子から信号を受信し、前記信号を連結させる実行可能な命令をさらに含む。一実施例において、前記格納媒体は、前記コンピュータに、人の顔を区別して認識するために連結された信号をディープニューラルネットワークに入力させる実行可能な命令をさらに含む。一実施例において、前記ディープニューラルネットワークは、多層パーセプトロンを含む。一実施例において、前記コンピュータにそれぞれの正弦波信号の周波数を抽出させる実行可能な命令は、前記コンピュータにフーリエ変換を適用させる実行可能な命令を含む。

【0058】

図１３は、本発明の一実施例に係る、得られたレーダ信号でディープニューラルネットワーク（ＤＮＮ）を訓練するためのプロセス１３００のフローチャートである。図１３に示すように、ブロック１３１０において、それぞれの受信アンテナ素子から入力信号が受信される。ブロック１３２０において、フィルタリングされた出力を生成するために、それぞれの受信された信号は、低域通過フィルタリングされる。その後、ブロック１３３０において、離散フィルタ出力を生成するために、フィルタリングされた出力は、アナログ－デジタル変換器（ＡＤＣ）を介して通過され、サンプリング周波数でサンプリングされる。ブロック１３４０において、変換された出力を生成し、顔とレーダとの距離を計算するために、変換が離散フィルタ出力に適用される。その後、ブロック１３５０において、顔の位置に対応する周波数インデックスを生成するために、誤警報率検出技術が前記変換された出力に適用される。一実施例において、前記変換は、高速フーリエ変換（ＦＦＴ）であり、前記周波数インデックスは、ＦＦＴインデックスである。

【0059】

一実施例において、方法が開示される。前記方法は、レーダの複数の受信アンテナ素子それぞれから入力信号を受信するステップと－前記入力信号は、顔からの反射信号である－、フィルタリングされた出力を生成するために、前記入力信号を低域通過フィルタリングするステップと、離散フィルタ出力を生成するために、フィルタリングされた出力をアナログ－デジタル変換器を介して通過させ、サンプリング周波数でサンプリングするステップと、前記顔と前記レーダとの距離を計算するために、前記離散フィルタ出力に変換を適用するステップと、前記距離に対応する周波数インデックスを生成するために、変換された出力に誤警報率検出技術を適用するステップとを含む。

【0060】

一実施例において、前記方法は、訓練のためにディープニューラルネットワークに前記周波数インデックスを入力するステップをさらに含む。一実施例において、前記ディープニューラルネットワークは、複数の層を含む多層パーセプトロンを含み、各層は、隣接層に完全に連結されている。一実施例において、前記変換は、高速フーリエ変換である。一実施例において、前記周波数インデックスは、高速フーリエ変換インデックスである。

【0061】

ＩＶ．結論
本発明においては、小型６１ＧＨｚのＦＭＣＷレーダセンサから得られたデータを利用して多重被写体の顔を区分する。先ず、レーダと被写体の顔との距離と角度を変更することによってレーダ信号が得られる。１つのフレームにおいて空間的に独立した受信アンテナ素子から受信された連結信号は、ＤＮＮの入力として共に配置される。本発明において提案する方法により、被写体の顔は９２％以上の正確度で分類された。その後、提案された方法の性能は、ＳＶＭ又はツリー基盤の方法のような特徴基盤マシンラーニング方法と比較される。上記提案された方法は、さらに良い分類正確度を示した。また、多重アンテナ素子を使用した際に顔分類性能がさらに良いことが確認された。小型レーダセンサを利用した提案された顔分類を通じて、カメラ基盤の顔認識方式の弱点は相当補完された。

【0062】

開示された実施例に関する説明は、当業者であれば、上記に提示された明細書に説明されたように本発明を製造あるいは使用できるように提供される。このような実施例に対する様々な変形は、当業者にとって容易であることが明白であり、ここに説明された一般的な原理は、本開示の思想又は範囲を超えるものではなく、他の実施例に適用されても良い。よって、技術は上述した特定例に限定されるものではない。従って、ここに提示された説明及び図面は、本発明の現在可能な実施例を示しており、よって、本発明によって広範囲に考慮される請求対象を示していると理解されるべきである。また、本開示の範囲は、当業者にとって明白となり得る他の実施例を完全に含んでおり、従って、本開示の範囲は、添付された請求の範囲以外の何によっても限定されないということを理解すべきである。

【図1】

【図2a】

【図2b】

【図3a】

【図3b】

【図4】

【図5a】

【図5b】

【図5c】

【図5d】

【図5e】

【図5f】

【図5g】

【図5h】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】