特開 2024-86653 無線レーダ信号に基づくキーポイント検出装置、方法及び電子機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024086653

(43)【公開日】2024-06-27

(54)【発明の名称】無線レーダ信号に基づくキーポイント検出装置、方法及び電子機器

(51)【国際特許分類】

   G01S 13/89 20060101AFI20240620BHJP

   G01S 13/58 20060101ALI20240620BHJP

【ＦＩ】

G01S13/89

G01S13/58 200

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023210560

(22)【出願日】2023-12-13

(31)【優先権主張番号】202211623548.2

(32)【優先日】2022-12-16

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】シエ・リリ

(72)【発明者】

【氏名】リ・ホォンチュヌ

(72)【発明者】

【氏名】ティアン・ジュン

(72)【発明者】

【氏名】ジャオ・チエヌ

【テーマコード（参考）】

5J070

【Ｆターム（参考）】

5J070AB24

5J070AC01

5J070AC02

5J070AC06

5J070AE09

5J070AH19

5J070AH39

5J070AK13

5J070AK22

5J070BE03

(57)【要約】

【課題】本発明の実施例は、無線レーダ信号に基づくキーポイント検出装置及び方法を提供する。
【解決手段】該方法は、レーダにより物体を感知して点群データを取得するステップと、点群データが所在するフレームと現在フレームとの時間距離に基づいて、点群データに対して補充処理を行うステップと、補充された点群データに基づいて、特徴データを生成するステップと、特徴データに基づいて、ニューラルネットワークに基づくキーポイント検出モデルを用いて、物体のキーポイントデータを生成するステップと、を含む。これによって、レーダ点群に基づいて物体のキーポイントを検出することで、動作種別を限定することなく、必要な計算リソースが少なく、検出正確率が高い。
【選択図】図１

【特許請求の範囲】

【請求項1】

無線レーダ信号に基づくキーポイント検出装置であって、
レーダにより物体を感知して点群データを取得する感知部と、
前記点群データが所在するフレームと現在フレームとの時間距離に基づいて、前記点群データに対して補充処理を行う前処理部と、
補充された点群データに基づいて、特徴データを生成する特徴生成部と、
前記特徴データに基づいて、ニューラルネットワークに基づくキーポイント検出モデルを用いて、前記物体のキーポイントデータを生成するキーポイント検出部と、を含む、装置。

【請求項2】

前記前処理部は、ｔ番目のフレームの点群データの数が第１の所定数よりも小さい場合、前記ｔ番目のフレームと現在フレームＴとの時間距離に基づいて、前記ｔ番目のフレームの点群データに対して補充を行い、異なるフレームに対応する前記第１の所定数は、異なり、或いは同一であり、ｔは正の整数であり、Ｔはｔ以上の正の整数である、請求項１に記載の装置。

【請求項3】

前記前処理部は、前記ｔ番目のフレームの点群データを第２の所定数の回数だけ繰り返し、且つ／或いは、前記ｔ番目のフレームの点群データに対してアップサンプリングを行い、前記第２の所定数及び／又は前記アップサンプリングの数は、前記ｔ番目のフレームと現在フレームＴとの時間距離に反比例し、或いは、
前記前処理部は、補充後の数が第３の所定数となるようにｔ番目のフレームの点群データに対して補充を行い、異なるフレームに対応する第３の所定数は異なり、或いは同一である、請求項２に記載の装置。

【請求項4】

前記前処理部は、補充後の点群データを時間順序に従って併合して、併合された複数の点群データを取得し、
前記特徴生成部は、前記併合された複数の点群データに基づいて、前記特徴データを生成する、請求項１に記載の装置。

【請求項5】

前記前処理部は、第４の所定数以下の数の点群データを取得するまで、現在フレームからフレーム番号の大きい順に、フレーム内の補充された点群データを併合し、且つ／或いは、
前記前処理部は、最新に出現する第５の所定数のフレームを決定し、前記第５の所定数のフレーム内の補充された点群データを併合して、前記複数の点群データを取得する、請求項４に記載の装置。

【請求項6】

前記特徴データは、前記点群データの空間位置特徴を含み、
前記空間位置特徴は、点群と近傍点との距離の標準偏差及び／又は平均値を含む、請求項１に記載の装置。

【請求項7】

前記キーポイント検出部は、
前記特徴データにおける空間位置特徴に基づいて適応畳み込みカーネルを生成し、前記適応畳み込みカーネル及び２次元畳み込みを用いて前記特徴データにおける近傍点特徴に対して畳み込み及び非線形演算を行って、局所特徴データを取得し、
局所特徴データに対して大域アラインメントを行って、アラインメント後の特徴データを取得し、
前記アラインメント後の特徴データに対して拡張、畳み込み及び非線形演算を行って、強化特徴データを取得し、
前記強化特徴データに対して畳み込み及び非線形演算を行って、大域特徴データを取得し、
前記大域特徴データに対して位置適応畳み込み演算を行って、位置適応特徴データを取得し、
前記位置適応特徴データに対して畳み込み及び非線形演算を行って、初期的なキーポイントデータを取得し、
関節間の事前結合分布に基づいて、前記初期的なキーポイントデータを微調整して最終的なキーポイントデータを取得する、請求項１に記載の装置。

【請求項8】

前記前処理部は、前記点群データをフィルタリングし、前記フィルタリングされた点群データが所在するフレームと現在フレームとの時間距離に基づいて、前記フィルタリングされた点群データに対して補充を行い、或いは、
前記前処理部は、前記点群データをクラスタリングし、クラスタリングされた点群データを保持し、且つ／或いは、制限空間範囲内の点群データを保持する、請求項１に記載の装置。

【請求項9】

無線レーダ信号に基づくキーポイント検出方法であって、
レーダにより物体を感知して点群データを取得するステップと、
前記点群データが所在するフレームと現在フレームとの時間距離に基づいて、前記点群データに対して補充処理を行うステップと、
補充された点群データに基づいて、特徴データを生成するステップと、
前記特徴データに基づいて、ニューラルネットワークに基づくキーポイント検出モデルを用いて、前記物体のキーポイントデータを生成するステップと、を含む、方法。

【請求項10】

コンピュータプログラムが記憶されたメモリと、プロセッサとを含む電子機器であって、前記プロセッサは、前記コンピュータプログラムを実行して請求項９に記載の無線レーダ信号に基づくキーポイント検出方法を実現するように構成される、電子機器。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施例は、レーダ検出の技術分野に関する。

【背景技術】

【0002】

人体の動作を検出するプロセスでは、例えば頭、首、腕、足、腰などの人体のキーポイントを検出することができる。人体キーポイント検出は、広い応用シナリオに適用され、スマートホーム、健康監視、挙動理解などの応用の重要な技術である。現在、ビデオに基づく人体キーポイントの検出技術が広く使用されている。しかし、ビデオは、プライバシーを著しく侵害するため、プライベートのシナリオに適用できない。また、ビデオは、環境の影響を受けやすいため、照明がないシナリオや遮蔽のシナリオにおいて機能できない。さらに、ビデオから人体のキーポイントの実際の空間位置を直接取得できない。

【0003】

レーダは、無線信号により物体を検知するため、プライバシーを保護でき、照明条件に依存せず、部分的に遮蔽するシナリオでも正常に動作できる。従って、レーダに基づくキーポイント検出は、ビデオ技術の不足を補うことができる。

【0004】

なお、上述した技術背景の説明は、本発明の技術案を明確、完全に理解させるための説明であり、当業者を理解させるために記述されているものである。これらの技術案は、単なる本発明の背景技術部分として説明されたものであり、当業者により周知されたものではない。

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、本発明の発明者の発見によると、従来のレーダに基づく人体動作の検出方法では、少数の特定の動作のみを検出することが可能であり、その応用シナリオが大きく制限されている。

【0006】

上記の技術的問題点の少なくとも１つを鑑み、本発明の実施例は、レーダ点群に基づいて物体のキーポイントを検出することで、動作種別を限定することなく、必要な計算リソースが少なく、検出正確率が高い、無線レーダ信号に基づくキーポイント検出装置、方法及び電子機器を提供する。

【課題を解決するための手段】

【0007】

本発明の実施例の１つの態様では、無線レーダ信号に基づくキーポイント検出装置であって、レーダにより物体を感知して点群データを取得する感知部と、前記点群データが所在するフレームと現在フレームとの時間距離に基づいて、前記点群データに対して補充処理を行う前処理部と、補充された点群データに基づいて、特徴データを生成する特徴生成部と、前記特徴データに基づいて、ニューラルネットワークに基づくキーポイント検出モデルを用いて、前記物体のキーポイントデータを生成するキーポイント検出部と、を含む、装置を提供する。

【0008】

本発明の実施例のもう１つの態様では、無線レーダ信号に基づくキーポイント検出方法であって、レーダにより物体を感知して点群データを取得するステップと、前記点群データが所在するフレームと現在フレームとの時間距離に基づいて、前記点群データに対して補充処理を行うステップと、補充された点群データに基づいて、特徴データを生成するステップと、前記特徴データに基づいて、ニューラルネットワークに基づくキーポイント検出モデルを用いて、前記物体のキーポイントデータを生成するステップと、を含む、方法を提供する。

【0009】

本発明の実施例のもう１つの態様では、コンピュータプログラムが記憶されたメモリと、プロセッサとを含む電子機器であって、前記プロセッサは、前記コンピュータプログラムを実行して上記の無線レーダ信号に基づくキーポイント検出方法を実現するように構成される、電子機器を提供する。

【0010】

本発明の実施例の有利な効果の１つは以下の通りである。レーダにより物体を感知して点群データを取得し、点群データが所在するフレームと現在フレームとの時間距離に基づいて、点群データに対して補充処理を行い、補充された点群データに基づいて、特徴データを生成し、特徴データに基づいて、ニューラルネットワークに基づくキーポイント検出モデルを用いて、物体のキーポイントデータを生成する。これによって、レーダ点群に基づいて物体のキーポイントを検出することで、動作種別を限定することなく、必要な計算リソースが少なく、検出正確率が高い。

【0011】

本発明の特定の実施形態は、後述の説明及び図面に示すように、詳細に開示され、本発明の原理を採用されることが可能な方式を示している。なお、本発明の実施形態は、範囲上には限定されるものではない。本発明の実施形態は、添付されている特許請求の範囲の主旨及び内容の範囲内、各種の変更、修正、及び均等的なものが含まれる。

【図面の簡単な説明】

【0012】

ここで含まれる図面は、本発明の実施例を理解させるためのものであり、本明細書の一部を構成し、本発明の実施例を例示するためのものであり、文言の記載と合わせて本発明の原理を説明する。なお、ここに説明される図面は、単なる本発明の実施例を説明するためのものであり、当業者にとって、これらの図面に基づいて他の図面を容易に得ることができる。

【図1】本発明の実施例に係る無線レーダ信号に基づくキーポイント検出方法の一例の概略図である。

【図2】本発明の実施例に係る人体キーポイントの一例の概略図である。

【図3】本発明の実施例に係るキーポイント検出結果の対比図である。

【図4】本発明の実施例に係る特徴抽出の一例の概略図である。

【図5】本発明の実施例に係る近傍点の決定の一例の概略図である。

【図6】本発明の実施例に係るレーダ点群と近傍点との距離の標準偏差及び平均値を決定するステップの一例の概略図である。

【図7】本発明の実施例に係るキーポイント検出結果の対比図である。

【図8】本発明の実施例に係るステップ１０４の態様の一例の概略図である。

【図9】本発明の実施例に係るキーポイント検出モデルの一例の概略図である。

【図10】本発明の実施例に係る局所特徴抽出層の一例の概略図である。

【図11】本発明の実施例に係る特徴変換層の一例の概略図である。

【図12】本発明の実施例に係る特徴強化層の一例の概略図である。

【図13】本発明の実施例に係る大域特徴抽出層の一例の概略図である。

【図14】本発明の実施例に係る位置適応重み付け層の一例の概略図である。

【図15】本発明の実施例に係るキーポイント検出層の一例の概略図である。

【図16】本発明の実施例に係る空間制約調整層の一例の概略図である。

【図17】本発明の実施例に係る無線レーダ信号に基づくキーポイント検出装置の一例の概略図である。

【図18】本発明の実施例に係る電子機器の概略図である。

【発明を実施するための形態】

【0013】

本発明の上記及びその他の特徴は、図面及び下記の説明により明確になる。明細書及び図面では、本発明の特定の実施形態、即ち本発明の原則に従う一部の実施形態を表すものを公開している。なお、本発明は説明される実施形態に限定されず、本発明は、特許請求の範囲内の全ての修正、変形されたもの、及び均等なものを含む。

【0014】

本発明の実施例では、用語「第１」、「第２」は異なる要素を名称で区分するためのものであり、これらの要素の空間的配列又は時間的順序などを意味するものではなく、これらの要素はこれらの用語に限定されない。用語「及び／又は」は列挙された用語の１つ又は複数のうち何れか及びその組み合わせを含む。用語「包括」、「含む」、「有する」は、説明された特徴、要素、素子又は部材の存在を意味するが、他の１つ又は複数の特徴、要素、素子又は部材の存在又は追加を排除するものではない。

【0015】

本発明の実施例では、単数形の「一」、「該」等は複数形を含み、「一種」又は「一類」を意味し、「１つ」に限定するものではない。また、用語「前記」は、文脈上明確に指示されない限り、単数形及び複数形両方を含む。また、文脈上明確に指示されない限り、用語「応じて」は「少なくとも部分的に応じて」を意味し、用語「に基づいて」は「少なくとも部分的に基づいて」を意味する。

【0016】

１つの実施形態について説明及び／又は示される特徴は、１つ又は複数の他の実施形態に同一又は同様な方式で使用され、他の実施形態における特徴と組み合わせ、或いは他の実施形態の特徴の代わりに使用してもよい。用語「包括」又は「含む」は、説明された特徴、要素、素子又は部材の存在を意味するが、他の１つ又は複数の特徴、要素、素子又は部材の存在又は追加を排除するものではない。

【0017】

本発明の実施例では、レーダは、ミリ波（ｍｍＷａｖｅ）レーダであってもよいが、これに限定されない。該レーダは、送信アンテナにより電磁波を発射し、異なる物体で反射された後、対応する反射波（レーダエコー情報と称されてもよい）を受信する。レーダエコー情報を分析することによって、レーダからの物体の位置、径方向の移動速度などの情報を有効に抽出することができ、これらの情報は多くの応用シナリオのニーズを満たすことができる。

【0018】

本発明の実施例では、検出対象としての物体（オブジェクト）は、様々な年齢の人、例えば高齢者であってもよいし、子供であってもよいし、高齢者及び／又は看護スタッフであってもよいし、子供及び／又は保護者であってもよい。本発明はこれらに限定されず、検出対象としての物体は、生命徴候（バイタルサイン）を有する動物の体であってもよいし、生命徴候を有しないロボットなどであってもよい。以下は、人体を一例として説明する。

【0019】

＜実施例１＞
本発明の実施例は、無線レーダ信号に基づくキーポイント検出方法を提供する。図１は、本発明の実施例に係る無線レーダ信号に基づくキーポイント検出方法の一例の概略図である。図１に示すように、該方法は以下のステップを含む。

【0020】

ステップ１０１：レーダにより物体を感知して点群データを取得する。

【0021】

ステップ１０２：点群データが所在するフレームと現在フレームとの時間距離に基づいて、点群データに対して補充処理を行う。

【0022】

ステップ１０３：補充された点群データに基づいて、特徴データを生成する。

【0023】

ステップ１０４：特徴データに基づいて、ニューラルネットワークに基づくキーポイント検出モデルを用いて、物体のキーポイントデータを生成する。

【0024】

なお、以上の図１は単なる本発明の実施例を例示的に説明するものであり、本発明はこれに限定されない。例えば、各ステップ間の実行順序を適宜調整してもよいし、他のステップを追加したり、その一部のステップを削除したりしてもよい。当業者は上記の内容に基づいて適宜変形を行ってもよく、上記の図１の記載に限定されない。

【0025】

本実施例によれば、レーダにより物体を感知して点群データを取得し、点群データが所在するフレームと現在フレームとの時間距離に基づいて、点群データに対して補充処理を行い、補充された点群データに基づいて、特徴データを生成し、該特徴データに基づいて、ニューラルネットワークに基づくキーポイント検出モデルを用いて、物体のキーポイントデータを生成する。これによって、レーダ点群に基づいて物体（例えば人体）のキーポイントを検出することができ、必要な計算リソースが少なく、検出正確率が高く、ユーザのプライバシー安全を確保することができる。点群データに対して補充処理を行うことによって、物体の動作幅が比較的に小さい場合であっても、物体の動作が十分な数の点群データに対応することを確保することができる。これによって、補充された点群データを用いてキーポイント検出を行う際に、動作種別を限定することなく、キーポイント検出正確率をさらに向上させることができる。

【0026】

幾つかの態様では、ステップ１０１において、レーダは無線信号により外部空間を感知し、レーダにより出力された点群データは、レーダにより検出された空間内の物体の距離、速度及び位置情報などを含む。レーダは検出のために無線信号を周期的に送信し、点群情報も周期的に出力される。レーダが検出を実行するたびに出力した点群情報は、１フレームの点群データと称されてもよい。

【0027】

本発明の実施例では、Ａ個のフレームの連続的なレーダ点群データを入力とし、レーダ点群データの前処理とキーポイント検出モデルの計算を経て、人体のキーポイント情報を出力し、このキーポイント情報を用いて人の動作を表し、例えば、このキーポイント情報を用いて動作検出、行動解析、転倒検出などを行う。Ａ個のフレームのレーダ点群データは、
（外１）

で表されてもよく、ここで、Ｐ_ｉはｉ番目のフレームのレーダ点群データを表し、Ａはレーダ点群のフレーム数を表し、ｉはフレーム番号を表し、ｉは時間順序に従って並び替えられる。例えば、フレーム番号が小さいほど、対応する点群データの出現が遅くなり、例えば、Ｐ_１は最新のレーダ点群データを表す。或いは、フレーム番号が大きいほど、対応する点群データの出現が遅くなり、例えば、Ｐ_Ａは最新のレーダ点群データを表す。

【0028】

幾つかの態様では、１フレームのレーダ点群データは、Ｐ＝｛ｐ_ｊ，１≦ｊ≦ｎ｝で表されてもよく、ここで、１フレームのレーダ点群データは幾つかのレーダ点群により構成されてもよく、ｎは現在フレームにおけるレーダ点群の数を表し、ｐ_ｊはｊ番目の点を表す。レーダ点群データにおける１つの点は、ｐ＝（ｓ，ｖ，Ｉ，ｘ，ｙ，ｚ）で表されてもよく、ここで、ｓはフレーム番号を表し、ｖはレーダに対するドップラー速度を表し、Ｉは該点の信号強度を表し、（ｘ，ｙ，ｚ）は該点の空間座標値を表す。

【0029】

幾つかの態様では、人体キーポイントは、鼻、肩、肘、手首、股などの人体の主要な関節又は器官に対応する。本発明は、人体キーポイントの選択に限定されず、具体的な応用の需要に応じて、異なる人体キーポイントを選択してもよい。

【0030】

図２は、本発明の実施例に係る人体キーポイントの一例の概略図である。図２に示すように、人体キーポイント情報は、キーポイントに対応する人体の関節又は器官の空間位置を意味してもよく、Ｈ＝｛（ｘ_ｋ，ｙ_ｋ，ｚ_ｋ），１≦ｋ≦Ｂ｝で表されてもよく、（ｘ_ｋ，ｙ_ｋ，ｚ_ｋ）はｋ番目のキーポイントの座標を表し、Ｂは人体のキーポイントの数である。２次元の位置情報しかない場合、キーポイントの座標の次元を０に設定してもよく、例えばｚ_ｋを０に設定してもよく、このように、（ｘ_ｋ，ｙ_ｋ）のみに有効な位置情報が含まれる。

【0031】

幾つかの態様では、ステップ１０１において、様々な方法でレーダ点群データを取得してもよく、具体的な取得方法について関連技術を参照してもよい。レーダ点群データを取得した後、レーダ点群データに対して前処理を行ってもよい。例えば、ステップ１０２において、点群データが所在するフレームと現在フレームとの時間距離に基づいて、取得された点群データに対して補充処理を行う。レーダによりレーダ点群データを取得する場合、人体の動作幅が小さいとき、それに応じて、取得されたレーダ点群データも少ない。レーダ点群データに基づいて人体のキーポイントを検出する場合、キーポイントの検出結果が不正確になりやすい。取得されたレーダ点群データに対して補充処理を行うことによって、レーダ点群の数を十分に確保することができるため、キーポイント検出の正確性を確保することができる。

【0032】

人体の動作幅は通常、動作終了時に徐々に減少するため、動作終了段階で取得されたレーダ点群データのデータ量は通常少ない。しかし、動作終了段階のレーダ点群データは、後続のキーポイント検出に重要な役割を果たす。レーダ点群データが所在するフレームと現在フレームとの時間距離に基づいて、取得されたレーダ点群データを補充することによって、キーポイント検出の精度をさらに向上させることができる。

【0033】

幾つかの態様では、ステップ１０２において、様々な方法でレーダ点群データを補充してもよい。以下は、レーダ点群データの補充方式を例示的に説明する。

【0034】

幾つかの態様では、ｔ番目のフレームのレーダ点群データの数が第１の所定数よりも小さい場合、ｔ番目のフレームと現在フレーム（Ｔ番目のフレーム）との時間距離（Ｔ－ｔ）に基づいて、ｔ番目のフレームのレーダ点群データを補充する。ここで、ｔは正の整数であり、Ｔはｔ以上の正の整数である。言い換えれば、ｔ番目のフレームのレーダ点群データに対して補充処理を行う際に、まず、該ｔ番目のフレームのレーダ点群データが第１の所定数よりも小さいか否かを判断し、第１の所定数よりも小さい場合、該フレームのレーダ点群データを補充し、該フレームのレーダ点群データが第１の所定数以上である場合、該フレームのレーダ点群データを補充しなくてもよい。本発明はこれに限らず、他の方式でレーダ点群データが所在するフレームに対して補充処理を行う必要があるか否かを判断してもよい。

【0035】

幾つかの態様では、異なるフレームに対応する第１の所定数は、異なってもよい。例えば、第１の所定数は、レーダ点群データが所在するフレームと現在フレームとの時間距離に関連する数であってもよい。例えば、レーダ点群データが所在するフレームと現在フレームとの時間距離が小さいほど、即ち、レーダ点群データが所在するフレームが現在フレームに近いほど、該フレームに対応する第１の所定数が小さくなり、例えば、現在フレーム（Ｔ番目のフレーム）に対応する第１の所定数が最小である。レーダ点群データが所在するフレームと現在フレームとの時間距離が大きいほど、即ち、レーダ点群データが所在するフレームが現在フレームから離れるほど、該フレームに対応する第１の所定数が大きくなり、例えば、最初のフレームに対応する第１の所定数が最大である。このように第１の所定数を設定することによって、現在フレーム及び現在フレームに近いフレームのレーダ点群データに対して補充処理を行うための判断条件をより緩やかに設定することができるため、動作終了段階における点群データの数を確保することができる。

【0036】

本発明はこれに限定されず、異なるフレームに対応する第１の所定数は、同一であってもよい。例えば、全てのフレームに対応する第１の所定数を同一の値に設定してもよい。或いは、少なくとも一部のフレームに対応する第１の所定数を同一の値に設定してもよい。

【0037】

例えば、現在フレームとの時間距離が第１の距離（第１の距離は、例えば５である）以下であるフレームに対応する第１の所定数を第１の値（第１の値は、例えば１０である）に設定する。即ち、Ｔ－５番目、Ｔ－４番目、Ｔ－３番目、Ｔ－２番目、Ｔ－１番目及びＴ番目のフレームについて、フレーム内のレーダ点群の数が１０個未満である場合、該フレームのレーダ点群データに対して補充処理を行う。

【0038】

現在フレームとの時間距離が第１の距離より大きく、且つ第２の距離（第２の距離は、例えば、１０である）以下であるフレームに対応する第１の所定数を第２の値に設定する。ここで、第２の値は、第１の値よりも大きい値（第１の値は、例えば１５である）である。即ち、Ｔ－１０番目、Ｔ－９番目、Ｔ－８番目、Ｔ－７番目及びＴ－６番目のフレームについて、フレーム内のレーダ点群の数が１５個未満である場合、該フレームのレーダ点群データに対して補充処理を行う。現在フレームとの時間距離が第２の距離よりも大きいフレームについても、同様に第１の所定数を設定してもよい。

【0039】

幾つかの態様では、レーダ点群データに対する補充処理は、様々な方式を含んでもよい。例えば、ｔ番目のフレームのレーダ点群データを第２の所定数の回数だけ繰り返してもよく、或いは、ｔ番目のフレームのレーダ点群データに対してアップサンプリングを行ってもよく、或いは、ｔ番目のフレームのレーダ点群データに対してアップサンプリング処理及び繰り返し処理の両方を行ってもよい。

【0040】

幾つかの態様では、レーダ点群データが所在するフレームに対して繰り返し処理を行う場合、異なるフレームに対応する繰り返しの回数（即ち、第２の所定数）は、異なってもよい。例えば、繰り返しの回数は、レーダ点群データが所在するフレーム（ｔ番目のフレーム）と現在フレーム（Ｔ番目のフレーム）との時間距離に反比例してもよい。言い換えれば、ｔ番目のフレームが現在フレームに近いほど、該フレームに対応する繰り返しの回数が大きくなり、例えば、現在フレームの繰り返しの回数が最大である。ｔ番目のフレームが現在フレームから離れるほど、該フレームに対応する繰り返しの回数が小さくなり、例えば、最初のフレームの繰り返し回数が最大である。これによって、動作終了段階におけるレーダ点群データの数を確保することができる。

【0041】

本発明はこれに限らず、異なるフレームに対応する繰り返しの回数（第２の所定数）は同一であってもよい。例えば、少なくとも一部のフレームに対応する繰り返しの回数を同一の値に設定してもよい。例えば、現在フレームとの時間距離が第３の距離以下であるフレームに対応する繰り返しの回数を第３の値に設定し、現在フレームとの時間距離が第３の距離よりも大きく、且つ第４の距離以下であるフレームに対応する繰り返しの回数を第４の値に設定する。ここで、第４の値は、第３の値よりも小さい値であってもよい。現在フレームとの時間距離が第４の距離よりも大きいフレームに対応する繰り返しの回数を同様に設定してもよい。

【0042】

幾つかの態様では、点群データが所在するフレームに対してアップサンプリングを行う場合、異なるフレームに対応するアップサンプリングの数（倍数）は、異なってもよい。例えば、アップサンプルの数は、フレームｔと現在フレームＴとの時間距離（Ｔ－ｔ）に反比例する。或いは、異なるフレームに対応するアップサンプリングの数は、同一であってもよい。例えば、少なくとも一部のフレームに対応するアップサンプリング数を同一の値に設定してもよい。

【0043】

幾つかの態様では、上述したように、補充処理における繰り返し動作の回数及び／又はアップサンプリング動作の回数を設定してもよい。また、ｔ番目のフレームのレーダ点群データの補充処理後の数を設定してもよい。例えば、補充処理後のｔ番目のフレームのレーダ点群データの数を第３の所定数に設定してもよい。これによって、レーダ点群データの補充処理の結果をより直接的、且つより柔軟に設定することができる。

【0044】

幾つかの態様では、異なるフレームに対応する第３の所定数（補充処理後のレーダ点群の数）は、異なってもよい。例えば、第３の所定数は、レーダ点群データが所在するフレーム（ｔ番目のフレーム）と現在フレーム（Ｔ番目のフレーム）との時間距離（Ｔ－ｔ）に反比例してもよい。言い換えれば、ｔ番目のフレームが現在フレームに近いほど、該フレームの補充処理後のレーダ点群の数が多くなり、例えば、現在フレームの補充処理後のレーダ点群の数が最大である。ｔ番目のフレームが現在フレームから離れるほど、補充処理後のレーダ点群の数が少なくなり、例えば、最初のフレームの補充処理後のレーダ点群の数が最大である。これによって、現在フレームに近いフレームのレーダ点群データの数を増加させることができるため、動作終了段階のレーダ点群データのキーポイント検出プロセスにおける重みを増加させることができ、キーポイント検出の正確性を向上させることができる。

【0045】

本発明はこれに限定されず、第３の所定数は、レーダ点群データが所在するフレーム（ｔ番目のフレーム）と現在フレーム（Ｔ番目のフレーム）との時間距離（Ｔ－ｔ）に正比例してもよい。或いは、異なるフレームに対応する第３の所定数（補充処理後のレーダ点群の数）は、同一であってもよい。例えば、全てのフレームに対応する第３の所定数を同一の値に設定してもよい。或いは、少なくとも一部のフレームに対応する第３の所定数を同一の値に設定してもよい。例えば、現在フレームとの時間距離が第５の距離以下であるフレームに対応する第３の所定数を第５の値に設定し、現在フレームとの時間距離が第５の距離より大きく、且つ第６の距離以下であるフレームに対応する第３の所定数を第６の値に設定する。ここで、第６の値は、第５の値よりも小さい値であってもよい。現在フレームとの時間距離が第６の距離よりも大きいフレームに対応する第３の所定数を同様に設定してもよい。

【0046】

幾つかの態様では、現在フレームからフレーム番号の大きい順に、各フレームに対して補充処理を行ってもよい。本発明はこれに限らず、他の順序で補充処理を行ってもよい。

【0047】

図３は、本発明の実施例に係るキーポイント検出結果の対比図である。図３における（ａ）及び（ｃ）に示すように、レーダ点群データに対して補充処理を行っていない場合、該レーダ点群データに基づいてキーポイント検出を行って生成された予測値（キーポイントデータ）と真値（キーポイントの実際値）との間には大きな差が生じる。図３における（ｂ）及び（ｄ）は、現在フレームのレーダ点群の数が１５未満である場合、現在フレームの点群を３回コピーし（繰り返し）、コピー後のレーダ点群データに基づいてキーポイント検出を行って生成された予測値と真値との比較結果を示している。図３の（ｂ）及び（ｄ）に示すように、レーダ点群データに対して補充処理を行った後、キーポイント検出により得られた予測値と真値との差が小さくなる。これによって、キーポイント検出の正確性を向上させることができる。

【0048】

幾つかの態様では、前処理は、フィルタリング処理をさらに含んでもよい。例えば、レーダ点群データに対して補充処理を行う前に、レーダ点群データをフィルタリングしてもよい。図１に示すように、該方法は、以下のステップをさらに含んでもよい。

【0049】

ステップ１０５：点群データをフィルタリングする。

【0050】

この場合、ステップ１０２において、フィルタリングされた点群データが所在するフレームと現在フレームとの時間距離に基づいて、フィルタリングされた点群データに対して補充を行ってもよい。

【0051】

点群データをフィルタリングすることによって、点群データからノイズ点を除去することができるため、計算量を低減させ、計算速度を向上させ、キーポイント検出の正確性を向上させることができる。

【0052】

幾つかの態様では、レーダ点群データをフィルタリングする際に、レーダ点群データをクラスタリングし、クラスタリングされたレーダ点群データを保持してもよい。或いは、制限空間範囲内のレーダ点群データを保持してもよい（空間フィルタリング）。或いは、レーダ点群データに対してクラスタリング及び空間フィルタリングの両方を行う。

【0053】

ここで、レーダ点群データをクラスタリングする場合、複数のフレームのレーダ点群データをクラスタリングしてもよく、或いは、１フレームのレーダ点群データをクラスタリングしてもよい。レーダ点群データを空間フィルタリングする場合、制限空間は、予め設定された範囲であってもよく、或いは、現在フレームのレーダ点群データの分布に基づいて決定された範囲であってもよい。レーダ点群データに対してクラスタリングや空間フィルタリングを行う場合、クラスタリングを行ってから空間フィルタリングを行ってもよく、或いは、空間フィルタリングを行ってからクラスタリングを行ってもよい。クラスタリングと空間フィルタリングの具体的な方式について、関連技術を参照してもよい。

【0054】

幾つかの態様では、ステップ１０３において、補充されたレーダ点群データに基づいて特徴データを生成する際に、補充された複数のフレームのレーダ点群データに基づいて特徴データを生成してもよい。例えば、特徴データを生成する前に、補充された複数のフレームのレーダ点群データを併合し、統合された１フレームのレーダ点群データを取得し、該統合された１フレームのレーダ点群データに基づいて特徴データを生成してもよい。これによって、単一フレームのレーダ点群データの数が不足するという問題を解決する。本発明はこれに限定されず、補充された単一フレームのレーダ点群データに基づいて特徴データを生成してもよい。

【0055】

図１に示すように、該方法は、以下のステップをさらに含んでもよい。

【0056】

ステップ１０６：補充された点群データを併合する。

【0057】

幾つかの態様では、ステップ１０６において、様々な方法で複数のフレームのレーダ点群データを併合してもよい。例えば、第４の所定数Ｍ以下の数の点群データを取得するまで、現在フレームからフレーム番号の大きい順に、フレーム内の補充された点群データを併合してもよい。即ち、レーダ点群データの併合操作では、Ａ個のフレームの点群データから最新に出現するＭ個以下の点を選択する。併合された１フレームのレーダ点群データは、Ｐ_Ｃ＝｛ｐ_ｊ，１≦ｊ≦Ｃ｝で表されてもよく、ここで、ｐ_ｊは併合処理後の１フレームのレーダ点群データにおけるｊ番目のレーダ点群であり、Ｃは併合された１フレームのレーダ点群データにおけるレーダ点群の数であり、Ｃ≦Ｍ、Ｍは正の整数である。

【0058】

幾つかの態様では、統合された点群データの数Ｃが第４の所定数Ｍよりも小さい場合、点群データの数が第４の所定数Ｍと等しくなるように、該統合された点群データに空データを追加してもよい。ここで、空データとは、レーダ点群データの各特徴次元での値が何れも０であることを意味する。統合されたレーダ点群データを第４の所定数Ｍとなるように補完することによって、特徴データを生成するためのレーダ点群が同一の数の点を有し、データ長が一致していることを確保することができるため、キーポイント検出モデルと整合させることができる。

【0059】

本発明はこれに限定されるものではなく、他の方法で複数のフレームのレーダ点群データを併合してもよい。例えば、最新に出現する第５の所定数のフレームを決定し、第５の所定数のフレーム内の補充されたレーダ点群データを併合して、複数のレーダ点群データを取得してもよい。

【0060】

図４は、本発明の実施例に係る特徴抽出の一例の概略図である。図４に示すように、ステップ１０３において、点群自体特徴、点群分類ラベル特徴、点群相対時系列分布特徴及び点群近傍特徴などの少なくとも１つに基づいて特徴データを抽出してもよい。本発明はこれに限定されず、特徴データは他の内容を含んでもよい。

【0061】

ここで、点群自体特徴は、レーダ点群データの空間座標、ドップラー速度及び信号強度などを含んでもよい。点群相対時系列分布特徴は、レーダ点群データの異なるフレーム間の分布特徴を含んでもよく、具体的な内容は関連技術を参照してもよい。

【0062】

幾つかの態様では、点群分類ラベル特徴を生成する際に、レーダ点群の生成方法に従ってレーダ点群を分類してもよい。例えば、レーダ点群を動作点群と環境ノイズ点群に分類する。ここで、動作点群は、比較的に集中的に分布し、人体に近接している。環境ノイズ点群は、まばらに分布しているため、一部のシナリオにおいて、キーポイントの認識に役立つ。例えば、人体が手を振る動作を実行する際に、手足の末端に散在する点群が生成されるため、人体の腕などの重要なキーポイントを認識することに役立つ。

【0063】

レーダ点群分類ラベル特徴を生成する際に、近傍特徴に基づいてレーダ点群を分類してもよい。例えば、１つのレーダ点群について、他のレーダ点群を該レーダ点群の近傍点と非近傍点に分類する。図５は、本発明の実施例に係る近傍点の決定の一例の概略図である。図５に示すように、１フレームのレーダ点群データにおいて、レーダ点群ｐ_ｊについて、該レーダ点群とのユークリッド距離が最も小さいＫ個のレーダ点群を計算して選択し、このＫ個のレーダ点群をレーダ点群ｐ_ｊの近傍点とする。ここで、レーダ点群ｐ_ｊのＫ個の近傍点は、｛ｐ_ｊｉ，１≦ｉ≦Ｋ｝で表されてもよく、ここで、Ｋは正の整数である。１フレームのレーダ点群データの場合、該フレーム内の各レーダ点群ｐ_ｊについて、該レーダ点群ｐ_ｊの近傍点を決定してもよい。本発明はこれに限定されず、他の方法に従ってレーダ点群を分類してもよい。

【0064】

幾つかの態様では、点群近傍特徴は、空間位置特徴及び近傍点特徴のうちの少なくとも１つを含んでもよい。ここで、空間位置特徴は、ｐｏｓ＿ｆｅａｔ（Ｎ，Ｋ，Ｌ）で表されてもよく、ここで、Ｎ、Ｋ及びＬは正の整数であり、Ｎは１フレームのレーダ点群データにおけるレーダ点群の数を表し、例えば、Ｎは上記の第４の所定数Ｍであり、Ｋは１つのレーダ点群の近傍点の数を表し、Ｌは該１つのレーダ点群の近傍点に対応する空間位置特徴の次元を表す。

【0065】

幾つかの態様では、ｊ番目のレーダ点群ｐ_ｊのｉ番目の近傍点ｐ_ｊｉの空間位置特徴は、ｐｏｓ＿ｆｅａｔ_ｊｉで表されてもよい。該空間位置特徴ｐｏｓ＿ｆｅａｔ_ｊｉは、レーダ点群と近傍点との距離の標準偏差及び／又は分散及び／又は平均値などの統計値を含む。レーダ点群と近傍点との距離の上記統計値を空間位置特徴に含めることによって、後続のキーポイント検出のためのより多くの有用な情報を提供することができ、キーポイント検出の正確性を向上させることができる。

【0066】

図６は、本発明の実施例に係るレーダ点群と近傍点との距離の標準偏差及び平均値を決定するステップの一例の概略図である。図６に示すように、１フレームのレーダ点群データにおけるＮ個のレーダ点群について、各レーダ点群のＫ個の近傍点をそれぞれ特定し、各レーダ点群とその各近傍点との空間距離を計算し、各レーダ点について、該レーダ点群と各近傍点との空間距離の標準偏差又は平均値などの統計値を計算してもよい。本発明はこれに限定されず、他の方法に従ってレーダ点群と近傍点との距離の標準偏差及び平均値を特定してもよい。

【0067】

幾つかの態様では、空間位置特徴ｐｏｓ＿ｆｅａｔ_ｊｉの次元Ｌは、１以上の値であってもよい。例えば、Ｌは、１１又は１２に等しくてもよい。Ｌの値が１１である場合、空間位置特徴ｐｏｓ＿ｆｅａｔ_ｊｉは、式１で表されるものであってもよい。

【0068】

ｐｏｓ＿ｆｅａｔ_ｊｉ＝（ｘ_ｊ，ｙ_ｊ，ｚ_ｊ，ｘ_ｊｉ，ｙ_ｊｉ，ｚ_ｊｉ，ｘ_ｊ－ｘ_ｊｉ，ｙ_ｊ－ｙ_ｊｉ，ｚ_ｊ－ｚ_ｊｉ，ｅｄ_ｊｉ，ｅｄ＿ｓｔｄ_ｊ） （式１）
ここで、１≦ｊ≦Ｎ，１≦ｉ≦Ｋ、ｘ_ｊ、ｙ_ｊ、ｚ_ｊはｊ番目のレーダ点群の空間座標を表し、ｘ_ｊｉ、ｙ_ｊｉ、ｚ_ｊｉはｊ番目のレーダ点群のｉ番目の近傍点の空間座標を表し、ｅｄ_ｊｉはｊ番目のレーダ点群とそのｉ番目の近傍点との距離を表し、ｅｄ＿ｓｔｄ_ｊはｊ番目のレーダ点群とそのＫ番目の近傍点との距離の標準偏差を表す。

【0069】

Ｌの値が１１である場合、空間位置特徴ｐｏｓ＿ｆｅａｔ_ｊｉは、式２で表されるものであってもよい。

【0070】

ｐｏｓ＿ｆｅａｔ_ｊｉ＝（ｘ_ｊ，ｙ_ｊ，ｚ_ｊ，ｘ_ｊｉ，ｙ_ｊｉ，ｚ_ｊｉ，ｘ_ｊ－ｘ_ｊｉ，ｙ_ｊ－ｙ_ｊｉ，ｚ_ｊ－ｚ_ｊｉ，ｅｄ_ｊｉ，ｅｄ＿ｍｅａｎ_ｊ） （式２）
ここで、ｅｄ＿ｍｅａｎ_ｊはｊ番目のレーダ点群とそのＫ番目の近傍点との距離の平均値を表す。

【0071】

Ｌの値が１２である場合、空間位置特徴ｐｏｓ＿ｆｅａｔ_ｊｉは、式３で表されるものであってもよい。

【0072】

ｐｏｓ＿ｆｅａｔ_ｊｉ＝（ｘ_ｊ，ｙ_ｊ，ｚ_ｊ，ｘ_ｊｉ，ｙ_ｊｉ，ｚ_ｊｉ，ｘ_ｊ－ｘ_ｊｉ，ｙ_ｊ－ｙ_ｊｉ，ｚ_ｊ－ｚ_ｊｉ，ｅｄ_ｊｉ，ｅｄ＿ｓｔｄ_ｊ，ｅｄ＿ｍｅａｎ_ｊ） （式３）
図７は、本発明の実施例に係るキーポイント検出結果の対比図である。図７における（ａ）に示すように、空間位置特徴に標準偏差が追加されていない場合、キーポイント検出により生成された予測値（キーポイントデータ）と真値（キーポイントの実際値）との間に大きな差が生じる。図７における（ｂ）は、空間位置特徴ｐｏｓ＿ｆｅａｔ_ｊｉにレーダ点群と近傍点との距離の標準偏差が含まれている場合のキーポイント予測値と真値との比較結果を示している。図７の（ｂ）に示すように、空間位置特徴に標準偏差を追加することによって、キーポイント検出により得られた予測値と真値との差が小さくなり、キーポイント検出の正確性を向上させることができる。

【0073】

幾つかの態様では、点群近傍特徴において、近傍点特徴は、ｐｏｉｎｔ＿ｆｅａｔ_ｊ（Ｎ，Ｋ，Ｐ）で表されてもよく、ここで、Ｐは正の整数であり、ｊ番目の点群の１つの近傍点に対応する近傍点特徴の次元を表す。ｊ番目の点群ｐ_ｊのｉ番目の近傍点ｐ_ｊｉの近傍点特徴は、ｎｅｉｇｈｂｏｒ＿ｆｅａｔ_ｊｉで表されてもよい。Ｐが１２である場合、該近傍点特徴ｎｅｉｇｈｂｏｒ＿ｆｅａｔ_ｊｉは、式４で表されるものであってもよい。

【0074】

ｎｅｉｇｈｂｏｒ＿ｆｅａｔ_ｊｉ＝（ｐ_ｊｉ，ｐ_ｊｉ－ｐ_ｊ） （式４）
ここで、１≦ｊ≦Ｎ、１≦ｉ≦Ｋ、ｐ_ｊ＝（ｓ_ｊ，ｖ_ｊ，Ｉ_ｊ，ｘ_ｊ，ｙ_ｊ，ｚ_ｊ）、ｐ_ｊｉ＝（ｓ_ｊｉ，ｖ_ｊｉ，Ｉ_ｊｉ，ｘ_ｊｉ，ｙ_ｊｉ，ｚ_ｊｉ）。

【0075】

幾つかの態様では、ステップ１０３において生成された特徴は、キーポイント検出の入力特徴とされてもよい。例えば、該入力特徴は、点群自体特徴、空間位置特徴及び近傍点特徴を含んでもよい。本発明はこれに限定されず、該入力特徴は他の特徴を含んでもよい。

【0076】

幾つかの態様では、ステップ１０４において、キーポイント検出モデルを用いて、特徴データに基づいて、物体のキーポイントデータを生成してもよい。図８は、本発明の実施例に係るステップ１０４の態様の一例の概略図である。図８に示すように、ステップ１０４は、以下のステップを含んでもよい。

【0077】

ステップ１０４１：特徴データにおける空間位置特徴に基づいて適応畳み込みカーネルを生成し、適応畳み込みカーネル及び２次元畳み込みを用いて特徴データにおける近傍点特徴に対して畳み込み及び非線形演算を行って、局所特徴データを取得する。

【0078】

ステップ１０４２：局所特徴データに対して畳み込み及び非線形演算を行って、大域特徴データを取得する。

【0079】

ステップ１０４３：大域特徴データに対して位置適応畳み込み演算を行って、位置適応特徴データを取得する。

【0080】

ステップ１０４４：位置適応特徴データに対して畳み込み及び非線形演算を行って、キーポイントデータを取得する。

【0081】

幾つかの態様では、図８に示すように、ステップ１０４は、以下のステップをさらに含んでもよい。

【0082】

ステップ１０４５：局所特徴データに対して大域アラインメントを行って、アラインメント後の特徴データを取得する。

【0083】

ステップ１０４６：アラインメント後の特徴データに対して拡張、畳み込み及び非線形演算を行って、強化特徴データを取得する。

【0084】

この場合、ステップ１０４２において、強化特徴データに対して畳み込み及び非線形演算を行って、大域特徴データを取得する。これによって、キーポイント検出の正確性をさらに向上させることができる。

【0085】

幾つかの態様では、図８に示すように、ステップ１０４は、以下のステップをさらに含んでもよい。

【0086】

ステップ１０４７：関節間の事前結合分布に基づいて、ステップ１０４４において取得された初期的なキーポイントデータを微調整して最終的なキーポイントデータを取得する。

【0087】

なお、以上の図８は単なる本発明の実施例に係るキーポイント検出を例示的に説明するものであり、本発明はこれに限定されない。例えば、各ステップ間の実行順序を適宜調整してもよいし、他のステップを追加したり、その一部のステップを削除したりしてもよい。当業者は上記の内容に基づいて適宜変形を行ってもよく、上記の図８の記載に限定されない。

【0088】

図９は、本発明の実施例に係るキーポイント検出モデルの一例の概略図である。図９に示すように、キーポイント検出モデルは、局所特徴抽出層９０１、大域特徴抽出層９０２、位置適応重み付け層９０３及びキーポイント認識層９０６を含んでもよい。ここで、局所特徴抽出層９０１、大域特徴抽出層９０２、位置適応重み付け層９０３、及びキーポイント認識層９０６は、それぞれ、ステップ１０４１～ステップ１０４４の処理を実現する。

【0089】

幾つかの態様では、図９に示すように、キーポイント検出モデルは、特徴変換層９０４、特徴強化層９０５及び空間制約調整層９０７のうちの少なくとも１つをさらに含んでもよい。ここで、特徴変換層９０４、特徴強化層９０５、及び空間制約調整層９０７は、それぞれ、ステップ１０４５～ステップ１０４７の処理を実現する。

【0090】

以下は、キーポイント検出モデルにおける各層の処理について例示的に説明する。

【0091】

幾つかの態様では、キーポイント検出モデルの入力特徴は、Ｐ’及びＬ’で表されてもよい。特徴Ｐ’及びＬ’を該キーポイント検出モデルに入力して、レーダ点群に対応する時点の人体キーポイント情報Ｈ＝｛（ｘ_ｋ，ｙ_ｋ，ｚ_ｋｌ），１≦ｋ≦Ｂ｝を出力することができる。

【0092】

Ｐ’は、式５で表されるものであってもよい。

【0093】

Ｐ’＝｛ｐ’_ｊ，１≦ｊ≦Ｎ｝＝｛（ｐ_ｊ，ｎｅｉｇｈｂｏｒ＿ｆｅａｔ_ｊ），１≦ｊ≦Ｎ｝ （式５）
ここで、ｎｅｉｇｈｂｏｒ＿ｆｅａｔ_ｊは、ｎｅｉｇｈｂｏｒ＿ｆｅａｔ_ｊ＝｛ｎｅｉｇｈｂｏｒ＿ｆｅａｔ_ｊｉ，１≦ｉ≦Ｋ｝として表されてもよい。

【0094】

Ｌ’は、式６で表されるものであってもよい。

【0095】

Ｌ’＝｛ｐｏｓ＿ｆｅａｔ_ｊ，１≦ｊ≦Ｎ｝ （式６）
ここで、ｐｏｓ＿ｆｅａｔ_ｊは、ｐｏｓ＿ｆｅａｔ_ｊ＝｛ｐｏｓ＿ｆｅａｔ_ｊｉ，１≦ｉ≦Ｋ｝として表されてもよい。

【0096】

図１０は、本発明の実施例に係る局所特徴抽出層の一例の概略図である。図１０に示すように、局所特徴抽出層では、第１の層１０ａにおいて、Ｌ’は、適応畳み込みカーネル（ａｄａｐｔｉｖｅ ｋｅｒｎｅｌ）の生成に用いられ、Ｐ’は、入力特徴として、適応畳み込みカーネルとの２次元畳み込み操作を行う。その後、プーリング操作により出力Ｆ１を取得する。第２の層１０ｂにおいて、各点群のＫ１個の空間距離近傍点を算出し、Ｆ１に対応する領域特徴Ｆ１’＝（Ｆ１，Ｆ１＿ｎｅｉｇｈｂｏｒｓ，Ｆ１－Ｆ１＿ｎｅｉｇｈｂｏｒｓ）を算出し、Ｆ１’を２次元畳み込みの入力とする。該２次元畳み込みの出力最大値プーリング（Ｍａｘ Ｐｏｏｌｉｎｇ）又は平均値プーリング（Ａｖｅｒａｇｅ Ｐｏｏｌｉｎｇ）により、出力Ｆ２＿ｍａｘ及びＦ２＿ｍｅａｎを取得する。

【0097】

図１１は、本発明の実施例に係る特徴変換層の一例の概略図である。図１１に示すように、特徴変換層では、最大値プーリング１１ａにより、特徴に対して大域アラインメントを行う。この層には、それぞれＦ２＿ｍａｘとＦ２＿ｍｅａｎについての２つの特徴変換ネットワーク（図示せず）がある。この層の出力Ｆ３は、２つの特徴変換ネットワークの出力Ｆ３＿ｍａｘとＦ３＿ｍｅａｎの集合Ｆ３＝（Ｆ３＿ｍａｘ，Ｆ３＿ｍｅａｎ）である。

【0098】

図１２は、本発明の実施例に係る特徴強化層の一例の概略図である。図１２に示すように、特徴強化層では、Ｆ３における各フレームの特徴平均値を計算し（操作１２ａ）、特徴平均値を用いてＦ３を拡張し（操作１２ｂ）、例えば、各レーダ点について、そのフレーム番号に対応する特徴平均値を追加して特徴拡張を行う。拡張されたＦ３は、１次元畳み込みにより畳み込み及び非線形演算を行い、Ｆ４を出力する（操作１２ｃ）。

【0099】

図１３は、本発明の実施例に係る大域特徴抽出層の一例の概略図である。図１３に示すように、大域特徴抽出層では、第１の層１３ａ及び第２の層１３ｂにおいて、特徴に関する近傍特徴ｘ’＝（ｘ，ｎｅｉｇｈｂｏｒ，ｘ－ｎｅｉｇｈｂｏｒ）を計算し、２次元畳み込み層により、畳み込み操作及び非線形操作を行う。ここで、第１の層１３ａと第２の層１３ｂとの組み合わせ構造を複数回重ねて、より複雑な大域特徴抽出層を構成してもよい。

【0100】

図１４は、本発明の実施例に係る位置適応重み付け層の一例の概略図である。図１４に示すように、位置適応重み付け層では、位置適応畳み込みＰａＣｏｎｖ（Ｐｏｓｉｔｉｏｎ Ａｄａｐｔｉｖｅ Ｃｏｎｖｏｌｕｔｉｏｎ）１４ａを用いる。ここで、スコアネットＳｃｏｒｅＮｅｔの入力は、Ｌ２’＝｛ｐｏｓ＿ｆｅａｔ_ｊ，１≦ｊ≦Ｎ｝∈Ｒ^{Ｎ＊Ｋ６＊１１}であり、ｍは重み行列の数であり、Ｋは近傍点の数である。

【0101】

図１５は、本発明の実施例に係るキーポイント検出層の一例の概略図である。図１５に示すように、該キーポイント検出層は、全結合層（Ｆｕｌｌｙ ｃｏｎｎｅｃｔｉｏｎ ｌａｙｅｒ）１５ａにより実現されてもよく、図１５に示す構造を複数回重ねて、多層の全結合ネットワークを取得し、より複雑なキーポイント検出層を形成してもよい。

【0102】

図１６は、本発明の実施例に係る空間制約調整層の一例の概略図である。図１６に示すように、異なる人体のキーポイントの間に相対的な自然制約が存在する。空間制約調整層では、関節間の事前結合分布（Ｐｒｉｏｒ ｊｏｉｎｔ ｄｉｓｔｒｉｂｕｔｉｏｎ）を用いて２次元畳み込み１６ａによりキーポイント認識の結果を微調整してもよい。事前結合分布の大きさは（関節点ペアの数，２，５）に設定され、次の表に示すように、関節点の平均空間位置（ｘ，ｙ，ｚ）及び関節点ペア間の平均ベクトル（ｄｘ，ｄｙ，ｄｚ）として初期化される。

【0103】

表１ 事前結合分布の初期化情報

【0104】

【表1】

以上は、キーポイント検出方法及びキーポイント検出モデルについて概略的に説明した。キーポイント検出モデルは、大量のパラメータを含む。本発明の実施例は、教師ありの訓練方法により１組／複数の組の最適パラメータを取得してもよい。次に、パラメータを該キーポイント検出モデルに適用し、入力されたレーダ点群データを計算し、対応する人体キーポイント情報を取得する。本発明の実施例は、モデルの具体的な訓練（トレーニング）に限定されず、例えば、ＳＧＤ（Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ）最適化、Ａｄａｍ（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ）最適化などを使用してもよい。

【0105】

以上は、単に本発明に関連するステップ又はプロセスを説明しており、本発明はこれに限定されない。動作検出方法は、他のステップ又はプロセスをさらに含んでもよく、これらのステップ又はプロセスの具体的な内容について、従来技術を参照してもよい。また、以上は、単にキーポイント検出モデルの幾つかの構造を例として本発明の実施例を例示的に説明しており、本発明は、これらの構造に限定されず、これらの構造に適切な変形を行ってもよく、これらの変形は、本発明の実施例の範囲内に含まれるべきである。

【0106】

上記の各実施例は、単に本発明の実施例を例示的に説明するものであり、本発明はこれらに限定されず、上記の様々な実施例に基づいて適切な変形を行ってもよい。例えば、上記の各実施例を単独で使用してもよいし、上記の各実施例の１つ又は複数を組み合わせて使用してもよい。

【0107】

本実施例によれば、レーダにより物体を感知して点群データを取得し、点群データが所在するフレームと現在フレームとの時間距離に基づいて、点群データに対して補充処理を行い、補充された点群データに基づいて、特徴データを生成し、該特徴データに基づいて、ニューラルネットワークに基づくキーポイント検出モデルを用いて、物体のキーポイントデータを生成する。これによって、レーダ点群に基づいて物体（例えば人体）のキーポイントを検出することができ、必要な計算リソースが少なく、検出正確率が高く、ユーザのプライバシー安全を確保することができる。点群データに対して補充処理を行うことによって、物体の動作幅が比較的に小さい場合であっても、物体の動作が十分な数の点群データに対応することを確保することができる。これによって、補充された点群データを用いてキーポイント検出を行う際に、動作種別を限定することなく、キーポイント検出正確率をさらに向上させることができる。

【0108】

＜実施例２＞
本発明の実施例は無線レーダ信号に基づくキーポイント検出装置を提供し、実施例１と同様な内容についてその説明を省略する。

【0109】

図１７は、本発明の実施例に係る無線レーダ信号に基づくキーポイント検出装置の一例の概略図である。図１７に示すように、無線レーダ信号に基づくキーポイント検出装置１７００は、以下の各部を含む。

【0110】

感知部１７０１は、レーダにより物体を感知して点群データを取得する。

【0111】

前処理部１７０２は、該点群データが所在するフレームと現在フレームとの時間距離に基づいて、該点群データに対して補充処理を行う。

【0112】

特徴生成部１７０３は、補充された点群データに基づいて、特徴データを生成する。

【0113】

キーポイント検出部１７０４は、該特徴データに基づいて、ニューラルネットワークに基づくキーポイント検出モデルを用いて、該物体のキーポイントデータを生成する。

【0114】

幾つかの態様では、前処理部１７０２は、ｔ番目のフレームの点群データの数が第１の所定数よりも小さい場合、該ｔ番目のフレームと現在フレームＴとの時間距離に基づいて、該ｔ番目のフレームの点群データに対して補充を行う。ここで、異なるフレームに対応する該第１の所定数は、異なり、或いは同一であり、ｔは正の整数であり、Ｔはｔ以上の正の整数である。

【0115】

幾つかの態様では、前処理部１７０２は、該ｔ番目のフレームの点群データを第２の所定数の回数だけ繰り返し、且つ／或いは、該ｔ番目のフレームの点群データに対してアップサンプリングを行う。

【0116】

幾つかの態様では、該第２の所定数及び／又は該アップサンプリングの数は、該ｔ番目のフレームと現在フレームＴとの時間距離に反比例する。

【0117】

幾つかの態様では、前処理部１７０２は、補充後の数が第３の所定数となるようにｔ番目のフレームの点群データに対して補充を行う。ここで、異なるフレームに対応する第３の所定数は異なり、或いは同一である。

【0118】

幾つかの態様では、前処理部１７０２は、補充後の点群データを時間順序に従って併合して、併合された複数の点群データを取得する。特徴生成部１７０３は、該併合された複数の点群データに基づいて、該特徴データを生成する。

【0119】

幾つかの態様では、前処理部１７０２は、第４の所定数以下の数の点群データを取得するまで、現在フレームからフレーム番号の大きい順に、フレーム内の補充された点群データを併合し、且つ／或いは、前処理部１７０２は、最新に出現する第５の所定数のフレームを決定し、該第５の所定数のフレーム内の補充された点群データを併合して、該複数の点群データを取得する。

【0120】

幾つかの態様では、該特徴データは、該点群データの空間位置特徴を含み、ここで、該空間位置特徴は、点群と近傍点との距離の標準偏差及び／又は平均値を含む。

【0121】

幾つかの態様では、キーポイント検出部１７０４は、該特徴データにおける空間位置特徴に基づいて適応畳み込みカーネルを生成し、該適応畳み込みカーネル及び２次元畳み込みを用いて該特徴データにおける近傍点特徴に対して畳み込み及び非線形演算を行って、局所特徴データを取得し、局所特徴データに対して大域アラインメントを行って、アラインメント後の特徴データを取得し、該アラインメント後の特徴データに対して拡張、畳み込み及び非線形演算を行って、強化特徴データを取得し、該強化特徴データに対して畳み込み及び非線形演算を行って、大域特徴データを取得し、該大域特徴データに対して位置適応畳み込み演算を行って、位置適応特徴データを取得し、該位置適応特徴データに対して畳み込み及び非線形演算を行って、初期的なキーポイントデータを取得し、関節間の事前結合分布に基づいて、該初期的なキーポイントデータを微調整して最終的なキーポイントデータを取得する。

【0122】

幾つかの態様では、前処理部１７０２は、該点群データをフィルタリングし、該フィルタリングされた点群データが所在するフレームと現在フレームとの時間距離に基づいて、該フィルタリングされた点群データに対して補充を行う。

【0123】

幾つかの態様では、前処理部１７０２は、該点群データをクラスタリングし、クラスタリングされた点群データを保持し、且つ／或いは、制限空間範囲内の点群データを保持する。

【0124】

なお、以上は、単に本発明に関連する各構成要素又はモジュールを説明しており、本発明はこれに限定されない。無線レーダ信号に基づくキーポイント検出装置１７００は、他の構成要素又はモジュールを含んでもよく、これらの構成要素又はモジュールの具体的な内容について、関連技術を参照してもよい。

【0125】

簡単にするために、図１７は、単に各構成要素又はモジュール間の接続関係又は信号方向を例示的に示しており、バス接続などの様々な関連技術を使用できることは当業者にとって明らかである。上記の様々な構成要素又はモジュールは、プロセッサ及びメモリなどのハードウェア装置により実現されてもよく、本発明の実施例はこれに限定されない。

【0126】

上記の各実施例は、単に本発明の実施例を例示的に説明するものであり、本発明はこれらに限定されず、上記の様々な実施例に基づいて適切な変形を行ってもよい。例えば、上記の各実施例を単独で使用してもよいし、上記の各実施例の１つ又は複数を組み合わせて使用してもよい。

【0127】

本実施例によれば、レーダにより物体を感知して点群データを取得し、点群データが所在するフレームと現在フレームとの時間距離に基づいて、点群データに対して補充処理を行い、補充された点群データに基づいて、特徴データを生成し、該特徴データに基づいて、ニューラルネットワークに基づくキーポイント検出モデルを用いて、物体のキーポイントデータを生成する。これによって、レーダ点群に基づいて物体（例えば人体）のキーポイントを検出することができ、必要な計算リソースが少なく、検出正確率が高く、ユーザのプライバシー安全を確保することができる。点群データに対して補充処理を行うことによって、物体の動作幅が比較的に小さい場合であっても、物体の動作が十分な数の点群データに対応することを確保することができる。これによって、補充された点群データを用いてキーポイント検出を行う際に、動作種別を限定することなく、キーポイント検出正確率をさらに向上させることができる。

【0128】

＜実施例３＞
本発明の実施例は、実施例２に記載された無線レーダ信号に基づくキーポイント検出装置１７００を含む電子機器を提供し、ここでその内容を援用する。該電子機器は、例えばコンピュータ、サーバ、ワークステーション、ラップトップコンピュータ、スマートフォンなどであってもよいが、本発明の実施例はこれらに限定されない。

【0129】

図１８は、本発明の実施例に係る電子機器の概略図である。図１８に示すように、本発明の実施例に係る電子機器１８００は、プロセッサ（例えば、中央処理装置（ＣＰＵ））１８１０、及びメモリ１８２０を含む。メモリ１８２０は、プロセッサ１８１０に接続される。メモリ１８２０は、様々なデータを記憶してもよく、情報処理のプログラム１８２１をさらに記憶してもよい。プロセッサ１８１０の制御により該プログラム１８２１を実行する。

【0130】

幾つかの態様では、無線レーダ信号に基づくキーポイント検出装置１７００の機能はプロセッサ１８１０に統合されてもよい。ここで、プロセッサ１８１０は、実施例１に記載された無線レーダ信号に基づくキーポイント検出方法を実現するように構成されてもよい。

【0131】

幾つかの態様では、無線レーダ信号に基づくキーポイント検出装置１７００はプロセッサ１８１０とそれぞれ配置されてもよく、例えば、無線レーダ信号に基づくキーポイント検出装置１７００はプロセッサ１８１０に接続されたチップであり、プロセッサ１８１０の制御により無線レーダ信号に基づくキーポイント検出装置１７００の機能を実現するように構成されてもよい。

【0132】

例えば、該プロセッサ１８１０は、レーダにより物体を感知して点群データを取得し、該点群データが所在するフレームと現在フレームとの時間距離に基づいて、該点群データに対して補充処理を行い、補充された点群データに基づいて、特徴データを生成し、該特徴データに基づいて、ニューラルネットワークに基づくキーポイント検出モデルを用いて、該物体のキーポイントデータを生成するように構成されてもよい。

【0133】

また、図１８に示すように、電子機器１８００は、入力出力（Ｉ／Ｏ）装置１８３０及びディスプレイ１８４０などをさらに含んでもよい。ここで、該構成部の機能は従来技術と同様であり、ここでその説明を省略する。なお、電子機器１８００は、図１８に示す全ての構成部を含まなくてもよい。また、電子機器１８００は、図１８に示していない構成部を含んでもよく、従来技術を参考してもよい。

【0134】

本発明の実施例は、電子機器においてプログラムを実行する際に、コンピュータに該電子機器において実施例１に記載の無線レーダ信号に基づくキーポイント検出方法を実行させる、コンピュータ読み取り可能なプログラムを提供する。

【0135】

本発明の実施例は、コンピュータに電子機器において実施例１に記載の無線レーダ信号に基づくキーポイント検出方法を実行させるためのコンピュータ読み取り可能なプログラムが記憶されている、記憶媒体をさらに提供する。

【0136】

本発明の以上の装置及び方法は、ハードウェアにより実現されてもよく、ハードウェアとソフトウェアを結合して実現されてもよい。本発明はコンピュータが読み取り可能なプログラムに関し、該プログラムは論理部により実行される時に、該論理部に上述した装置又は構成要件を実現させる、或いは該論理部に上述した各種の方法又はステップを実現させることができる。本発明は上記のプログラムを記憶するための記憶媒体、例えばハードディスク、磁気ディスク、光ディスク、ＤＶＤ、フラッシュメモリ等に関する。

【0137】

本発明の実施例を参照しながら説明した方法／装置は、ハードウェア、プロセッサにより実行されるソフトウェアモジュール、又は両者の組み合わせで実施されてもよい。例えば、図面に示す機能的ブロック図における１つ若しくは複数、又は機能的ブロック図の１つ若しくは複数の組み合わせは、コンピュータプログラムフローの各ソフトウェアモジュールに対応してもよいし、各ハードウェアモジュールに対応してもよい。これらのソフトウェアモジュールは、図面に示す各ステップにそれぞれ対応してもよい。これらのハードウェアモジュールは、例えばフィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）を用いてこれらのソフトウェアモジュールをハードウェア化して実現されてもよい。

【0138】

ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、モバイルハードディスク、ＣＤ－ＲＯＭ又は当業者にとって既知の任意の他の形の記憶媒体に位置してもよい。プロセッサが記憶媒体から情報を読み取ったり、記憶媒体に情報を書き込んだりするように該記憶媒体をプロセッサに接続してもよいし、記憶媒体がプロセッサの構成部であってもよい。プロセッサ及び記憶媒体はＡＳＩＣに位置する。該ソフトウェアモジュールは移動端末のメモリに記憶されてもよいし、移動端末に挿入されたメモリカードに記憶されてもよい。例えば、機器（例えば移動端末）が比較的に大きい容量のＭＥＧＡ－ＳＩＭカード又は大容量のフラッシュメモリ装置を用いる場合、該ソフトウェアモジュールは該ＭＥＧＡ－ＳＩＭカード又は大容量のフラッシュメモリ装置に記憶されてもよい。

【0139】

図面に記載されている１つ以上の機能ブロック及び／又は機能ブロックの１つ以上の組合せは、本発明に記載されている機能を実行するための汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）又は他のプログラマブル論理デバイス、ディスクリートゲート又はトランジスタ論理装置、ディスクリートハードウェアコンポーネント、又はそれらの任意の適切な組み合わせで実現されてもよい。図面に記載されている１つ以上の機能ブロック及び／又は機能ブロックの１つ以上の組合せは、例えば、コンピューティング機器の組み合わせ、例えばＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサの組み合わせ、ＤＳＰ通信と組み合わせた１つ又は複数のマイクロプロセッサ又は他の任意の構成で実現されてもよい。

【0140】

以上、具体的な実施形態を参照しながら本発明を説明しているが、上記の説明は、例示的なものに過ぎず、本発明の保護の範囲を限定するものではない。本発明の趣旨及び原理を離脱しない限り、本発明に対して各種の変形及び変更を行ってもよく、これらの変形及び変更も本発明の範囲に属する。

【0141】

また、上述の実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
無線レーダ信号に基づくキーポイント検出方法であって、
レーダにより物体を感知して点群データを取得するステップと、
前記点群データが所在するフレームと現在フレームとの時間距離に基づいて、前記点群データに対して補充処理を行うステップと、
補充された点群データに基づいて、特徴データを生成するステップと、
前記特徴データに基づいて、ニューラルネットワークに基づくキーポイント検出モデルを用いて、前記物体のキーポイントデータを生成するステップと、を含む、方法。
（付記２）
前記点群データが所在するフレームと現在フレームとの時間距離に基づいて、前記点群データに対して補充処理を行うステップは、
ｔ番目のフレームの点群データの数が第１の所定数よりも小さい場合、前記ｔ番目のフレームと現在フレームＴとの時間距離に基づいて、前記ｔ番目のフレームの点群データに対して補充を行うステップであって、異なるフレームに対応する前記第１の所定数は、異なり、或いは同一であり、ｔは正の整数であり、Ｔはｔ以上の正の整数である、ステップ、を含む、付記１に記載の方法。
（付記３）
前記ｔ番目のフレームの点群データに対して補充を行うステップは、
前記ｔ番目のフレームの点群データを第２の所定数の回数だけ繰り返し、且つ／或いは、前記ｔ番目のフレームの点群データに対してアップサンプリングを行うステップ、を含む、付記２に記載の方法。
（付記４）
前記第２の所定数及び／又は前記アップサンプリングの数は、前記ｔ番目のフレームと現在フレームＴとの時間距離に反比例する、付記３に記載の方法。
（付記５）
前記点群データが所在するフレームと現在フレームとの時間距離に基づいて、前記点群データに対して補充処理を行うステップは、
補充後の数が第３の所定数となるようにｔ番目のフレームの点群データに対して補充を行うステップであって、異なるフレームに対応する第３の所定数は異なり、或いは同一である、ステップ、をさらに含む、付記２に記載の方法。
（付記６）
補充された点群データに基づいて、特徴データを生成するステップは、
補充後の点群データを時間順序に従って併合して、複数の点群データを取得ステップと、
前記複数の点群データに基づいて、前記特徴データを生成するステップと、を含む、付記１に記載の方法。
（付記７）
補充後の点群データを時間順序に従って併合して、複数の点群データを取得ステップは、
第４の所定数以下の数の点群データを取得するまで、現在フレームからフレーム番号の大きい順に、フレーム内の補充された点群データを併合するステップ、及び／又は、
最新に出現する第５の所定数のフレームを決定し、前記第５の所定数のフレーム内の補充された点群データを併合して、前記複数の点群データを取得するステップ、を含む、付記６に記載の方法。
（付記８）
前記特徴データは、前記点群データの空間位置特徴を含み、
前記空間位置特徴は、点群と近傍点との距離の標準偏差及び／又は平均値を含む、付記１に記載の方法。
（付記９）
前記特徴データに基づいて、ニューラルネットワークに基づくキーポイント検出モデルを用いて、前記物体のキーポイントデータを生成するステップは、
前記特徴データにおける空間位置特徴に基づいて適応畳み込みカーネルを生成し、前記適応畳み込みカーネル及び２次元畳み込みを用いて前記特徴データにおける近傍点特徴に対して畳み込み及び非線形演算を行って、局所特徴データを取得するステップと、
局所特徴データに対して大域アラインメントを行って、アラインメント後の特徴データを取得するステップと、
前記アラインメント後の特徴データに対して拡張、畳み込み及び非線形演算を行って、強化特徴データを取得するステップと、
前記強化特徴データに対して畳み込み及び非線形演算を行って、大域特徴データを取得するステップと、
前記大域特徴データに対して位置適応畳み込み演算を行って、位置適応特徴データを取得するステップと、
前記位置適応特徴データに対して畳み込み及び非線形演算を行って、初期的なキーポイントデータを取得するステップと、
関節間の事前結合分布に基づいて、前記初期的なキーポイントデータを微調整して最終的なキーポイントデータを取得するステップと、を含む、付記８に記載の方法。
（付記１０）
前記点群データをフィルタリングするステップ、をさらに含み、
前記点群データが所在するフレームと現在フレームとの時間距離に基づいて、前記点群データに対して補充処理を行うステップは、
前記フィルタリングされた点群データが所在するフレームと現在フレームとの時間距離に基づいて、前記フィルタリングされた点群データに対して補充を行うステップ、を含む、付記１に記載の方法。
（付記１１）
前記点群データをフィルタリングするステップは、
前記点群データをクラスタリングし、クラスタリングされた点群データを保持し、且つ／或いは、制限空間範囲内の点群データを保持するステップを含む、付記９に記載の方法。
（付記１２）
コンピュータ読み取り可能なプログラムが記憶された記憶媒体であって、前記コンピュータ読み取り可能なプログラムは、コンピュータに電子機器において付記１乃至１１の何れかに記載の無線レーダ信号に基づくキーポイント検出方法を実行させる、記憶媒体。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】