特開 2024-71181 空間画像生成装置、物体検知装置及び物体検知方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024071181

(43)【公開日】2024-05-24

(54)【発明の名称】空間画像生成装置、物体検知装置及び物体検知方法

(51)【国際特許分類】

   G06T 7/50 20170101AFI20240517BHJP

   G06T 7/00 20170101ALI20240517BHJP

   G06V 10/82 20220101ALI20240517BHJP

   G06V 20/64 20220101ALI20240517BHJP

   G06N 3/08 20230101ALI20240517BHJP

【ＦＩ】

G06T7/50

G06T7/00 350C

G06V10/82

G06V20/64

G06N3/08

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022182001

(22)【出願日】2022-11-14

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(71)【出願人】

【識別番号】504176911

【氏名又は名称】国立大学法人大阪大学

(74)【代理人】

【識別番号】110003199

【氏名又は名称】弁理士法人高田・高橋国際特許事務所

(72)【発明者】

【氏名】村上 友規

(72)【発明者】

【氏名】小川 智明

(72)【発明者】

【氏名】鷹取 泰司

(72)【発明者】

【氏名】藤橋 卓也

(72)【発明者】

【氏名】生尾 夏輝

(72)【発明者】

【氏名】加藤 空知

(72)【発明者】

【氏名】新宮 裕章

(72)【発明者】

【氏名】猿渡 俊介

(72)【発明者】

【氏名】渡邊 尚

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA05

5L096DA01

5L096DA02

5L096HA08

5L096HA11

5L096KA04

(57)【要約】

【課題】無線情報から３次元の空間画像を高精度に生成することができる空間画像生成装置、物体検知装置及び物体検知方法を得る。
【解決手段】生成器１６と判別器１７が、損失関数に基づいて学習を行う敵対的生成ネットワークを構成する。学習時において、生成器１６は、対象エリアを伝搬した無線信号の伝搬チャネル情報から偽の３次元点群を生成し、判別器１７は、対象エリアの真の３次元点群と偽の３次元点群を比較して偽の３次元点群の正否を判定する。運用時において、生成器１６は、伝搬チャネル情報から３次元の空間画像を生成する。
【選択図】図４

【特許請求の範囲】

【請求項1】

損失関数に基づいて学習を行う敵対的生成ネットワークを構成する生成器と判別器を備え、
学習時において、前記生成器は、対象エリアを伝搬した無線信号の伝搬チャネル情報から偽の３次元点群を生成し、前記判別器は、前記対象エリアの真の３次元点群と前記偽の３次元点群を比較して前記偽の３次元点群の正否を判定し、
運用時において、前記生成器は、前記伝搬チャネル情報から３次元の空間画像を生成することを特徴とする空間画像生成装置。

【請求項2】

学習時において、前記生成器のみを学習させた後に前記生成器と前記判別器を同時に学習させることを特徴とする請求項１に記載の空間画像生成装置。

【請求項3】

前記生成器は、グラフ畳み込みニューラルネットワークを用いて前記伝搬チャネル情報から３次元点群を復元することを特徴とする請求項１又は２に記載の空間画像生成装置。

【請求項4】

前記生成器は、ＴｒｅｅＧＡＮに基づいて正規分布に従う乱数と前記伝搬チャネル情報から３次元点群を復元することを特徴とする請求項１又は２に記載の空間画像生成装置。

【請求項5】

前記損失関数としてChamfer Distance又はFrechet Point Cloud Distanceを用いることを特徴とする請求項１又は２に記載の空間画像生成装置。

【請求項6】

請求項１又は２に記載の空間画像生成装置と、
生成した前記空間画像を画像処理して前記対象エリアでの物体の有無を検知する物体検知部とを備えることを特徴とする物体検知装置。

【請求項7】

損失関数に基づいて学習を行う敵対的生成ネットワークを構成する生成器と判別器を用いた物体検知方法であって、
学習時において、前記生成器が、対象エリアを伝搬した無線信号の伝搬チャネル情報から偽の３次元点群を生成し、前記判別器が、前記対象エリアの真の３次元点群と前記偽の３次元点群を比較して前記偽の３次元点群の正否を判定する工程と、
運用時において、前記生成器が、前記伝搬チャネル情報から３次元の空間画像を生成する工程と、
生成した前記空間画像を画像処理して前記対象エリアでの物体の有無を検知する工程とを備えることを特徴とする物体検知方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、空間画像生成装置、物体検知装置及び物体検知方法に関する。

【背景技術】

【0002】

ＲＳＳＩ（Received Signal Strength Indicator）、ＳＮＲ（Signal-to-Noise Ratio）、ＯＦＤＭ信号の各サブキャリアの伝搬チャネル情報（CSI: Channel State Information）などの無線情報から２次元の画像・映像を生成するワイヤレスセンシング技術が開発されている。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】CSI2Image: Image Reconstruction From Channel State Information Using Generative Adversarial Networks, IEEE Access 2021

【非特許文献2】3D Point Cloud Generative Adversarial Network Based on Tree Structured Graph Convolutions, arXiv:1905.06292v2 [cs.CV] 16 May 2019

【発明の概要】

【発明が解決しようとする課題】

【0004】

無線情報からのセンシングとして、位置の推定、距離の測定など色々なセンシングが検討されている。しかし、２次元情報は固定視点からの視覚情報となってしまうため、死角が生じ、センシングにおける重要な情報や行動が欠落する可能性がある。例えば、画像に写っている製品又は機器の裏側が欠陥したり、死角で行われている重要な行動や仕草が欠落したりする。このため、センシング精度が低下するという問題があった。また、無線情報から３次元の空間情報を復元する技術はこれまで確立されていない。

【0005】

本開示は、上述のような課題を解決するためになされたもので、その目的は無線情報から３次元の空間画像を高精度に生成することができる空間画像生成装置、物体検知装置及び物体検知方法を得るものである。

【課題を解決するための手段】

【0006】

本開示に係る空間画像生成装置は、損失関数に基づいて学習を行う敵対的生成ネットワークを構成する生成器と判別器を備え、学習時において、前記生成器は、対象エリアを伝搬した無線信号の伝搬チャネル情報から偽の３次元点群を生成し、前記判別器は、前記対象エリアの真の３次元点群と前記偽の３次元点群を比較して前記偽の３次元点群の正否を判定し、運用時において、前記生成器は、前記伝搬チャネル情報から３次元の空間画像を生成することを特徴とする。

【発明の効果】

【0007】

本開示により、無線情報から３次元の空間画像を高精度に生成することができる。従って、多視点からのセンシングが可能となり、センシング精度が向上する。

【図面の簡単な説明】

【0008】

【図1】実施の形態に係る物体検知システムを示す図である。

【図2】送信局の構成例を示すブロック図である。

【図3】受信局の構成例を示すブロック図である。

【図4】実施の形態に係る物体検知装置を示すブロック図である。

【図5】実施の形態に係る生成器のネットワーク構造を示す図である。

【図6】実施の形態に係る判別器のネットワーク構造を示す図である。

【図7】実施の形態に係る判別器の学習のさせ方を示す図である。

【発明を実施するための形態】

【0009】

図１は、実施の形態に係る物体検知システムを示す図である。対象エリア１内に送信局２ａ，２ｂと受信局３ａ，３ｂが配置されている。無線信号が送信局２ａ，２ｂから受信局３ａ，３ｂにそれぞれ送信される。これらの無線信号はＯＦＤＭ信号であり、それぞれ対象エリア１に存在する物体４の影響を受ける。カメラ５ａ，５ｂは対象エリア１の画像をそれぞれ別方向から撮影する。受信局３ａ，３ｂ及びカメラ５ａ，５ｂは物体検知装置６に接続されている。物体検知装置６は対象エリア１での物体４の有無を検知する。

【0010】

なお、図１は送信局と受信局が２組の構成を示しているが、１組又は３組以上の構成でもよい。また、１つの送信局と複数の受信局の組み合わせでもよい。また、カメラが２つの構成を示したが、３つ以上でもよい。また、図１では送信局２ａ，２ｂと受信局３ａ，３ｂがそれぞれ物体４を挟んで対向しているが、物理的に対向している必要はない。

【0011】

カメラ５ａ，５ｂは、レンズ等の光学系を用いて画像を撮影するための装置である。カメラ５ａ，５ｂの代わりにＬｉＤＡＲ又はレーダーを用いてもよい。ＬｉＤＡＲは、Light Detection And Ranging（光による検知と測距）の略称で、近赤外光や可視光、紫外線を使って対象物に光を照射し、その反射光を光センサでとらえ距離を測定するリモートセンシング（離れた位置からセンサを使って感知する）装置である。レーダーは、電波を対象物に向けて発射し、その反射波を測定することにより、対象物までの距離や方向を測る装置である。

【0012】

図２は、送信局の構成例を示すブロック図である。図３は、受信局の構成例を示すブロック図である。図４は、実施の形態に係る物体検知装置を示すブロック図である。なお、図２～４では、実施の形態に関係する主要な機能ブロックのみを示し、送信局２ａ，２ｂ、受信局３ａ，３ｂ及び物体検知装置６が有する他の機能ブロックは省略してある。

【0013】

図２に示すように、送信局２ａ，２ｂの各々は、測定信号生成部７、送信部８、及び複数のアンテナ９を有する。ここで、送信局２ａ，２ｂは、例えば無線ＬＡＮシステムにおける無線基地局に対応する。測定信号生成部７は、受信局３ａ，３ｂが伝搬チャネル情報（ＣＳＩ）を測定するための測定信号として、例えば伝搬路応答を測定するためのトレーニング信号などの既知信号を生成し、送信部８に出力する。送信部８は、測定信号生成部７で生成された測定信号を配下の受信局３ａ，３ｂ宛の例えば無線ＬＡＮ信号に変換し、複数のアンテナ９から送信する。ここで、複数のアンテナ９は、指向性を有していてもよいし、無指向性であってもよい。

【0014】

図３に示すように、受信局３ａ，３ｂの各々は、複数のアンテナ１０、受信部１１、伝搬チャネル情報測定部１２、及び通知部１３を備える。ここで、受信局３ａ，３ｂは、例えば無線ＬＡＮシステムにおける無線端末局に対応する。複数のアンテナ１０は、送信局２ａ，２ｂから送信された無線ＬＡＮ信号を受信する。なお、アンテナ１０は、指向性を有していてもよいし、無指向性であってもよい。受信部１１は、複数のアンテナ１０で受信した無線ＬＡＮ信号を伝搬チャネル情報測定部１２で扱うことができる測定信号に変換して出力する。

【0015】

伝搬チャネル情報測定部１２は、受信部１１から入力した測定信号から伝搬チャネル情報として、例えば、アンテナ間を伝搬した無線信号の振幅、位相などの測定を行い、その測定結果を通知部１３に出力する。通知部１３は、伝搬チャネル情報測定部１２から入力する伝搬チャネル情報を物体検知装置６に伝送可能な形式に変換し、物体検知装置６に伝送する。

【0016】

図４に示すように、物体検知装置６は空間画像生成装置１４と物体検知部１５を有する。空間画像生成装置１４は生成器１６（generator)と判別器１７（discriminator）とを備える。生成器１６と判別器１７は損失関数に基づいて学習を行う敵対的生成ネットワーク（GAN: Generative adversarial networks）を構成する。ＧＡＮは、機械学習の生成モデルの一種であり、まだ存在しない空間画像を伝搬チャネル情報から生成して可視化する。

【0017】

学習時において、カメラ５ａ，５ｂにより取得した対象エリアの真の３次元点群(real point cloud)と、対象エリアを伝搬した無線信号の伝搬チャネル情報が空間画像生成装置１４に入力される。生成器１６は、深層学習モデルの一種であるグラフ畳み込みニューラルネットワーク（GCNN: Graph Convolutional Neural Networks）を用いて伝搬チャネル情報から偽の３次元点群（fake point cloud）を復元する。判別器１７は、生成器１６が復元した偽の３次元点群と対象エリアの真の３次元点群と比較して、偽の３次元点群の正否を判定する。これにより、生成器１６と判別器１７を学習させる。

【0018】

生成器１６が３次元点群を生成できないと学習できないため、まず生成器１６のみを学習させた後に生成器１６と判別器１７を同時に学習させる。生成器１６のみを学習させる際に、損失関数としてChamfer Distance又はFrechet Point Cloud Distanceを用いる。Chamfer Distanceは二点群間の類似度を示す評価指標である。Frechet Point Cloud Distanceは点群の形状誤差を示す評価指標である。生成器１６と判別器１７を同時に学習させる際に、損失関数としてChamfer Distanceを用いる。

【0019】

また、３Ｄ点群生成のための敵対的生成ネットワークであるＴＲｅｅＧＡＮを利用して生成器１６と判別器１７を同時に学習させてもよい。ただし、伝搬チャネル情報の入力に対応できるように生成器１６の中間層の構造を変更する必要がある。ＴＲｅｅＧＡＮでは、階層構造を用いて乱数ベクトルから所望数の点が含まれる点群を段階的に復元する。生成器１６における各層の入力は以前の層の出力をすべて含めたものとなる。この場合、生成器１６は、ＴｒｅｅＧＡＮに基づいて正規分布に従う乱数と伝搬チャネル情報から３次元点群を復元する。

【0020】

図５は、実施の形態に係る生成器のネットワーク構造を示す図である。従来の敵対的生成ネットワークの生成器の入力は９６次元の潜在変数であり、各要素は平均０、標準偏差１の正規分布に従う値であった。これに対して、本実施の形態に係る生成器１６は伝搬チャネル情報を入力する。伝搬チャネル情報の各要素は、生成器１６への入力前に、Phase extractorにより複素数から位相に変換される。

【0021】

生成器１６のネットワーク構造は、Graph Conv（Graph Convolutional Networks）とLeaky ReLU（Leaky Rectified Linear Unit）とAffine層を有する。Graph Convは点群品質を向上させる機能を有し、Leaky ReLUとAffine層は点数を増加させる機能を有する。なお、Leaky ReLUとAffineにはループ１回目のみ位相情報を入力する。ループ回数によらず、Leaky ReLUのｓｌｏｐｅ係数はαとして設定する。

【0022】

Ｐｉ（ｉ＝１，２，・・・，Ｌ）はｉ回目のループで生成された特徴量である。あるループにおける入力にはそれ以前のループで出力された特徴量を全て含める。例えばＬ＝６の場合、Ｐ１は２個の点、Ｐ２は４個の点、最終的にＰ６で２０４８個の点を生成する。生成器１６から生成された点と対象エリアの真の３次元点群との間で損失関数を定義する。損失関数から得られた値を元にAdamを用いて生成器１６を学習させる。

【0023】

生成器１６に入力する位相情報のサイズは入力アンテナ数×出力アンテナ数×サブキャリア数である。全アンテナ情報、全サブキャリア情報を生成器１６に入力する必要はない。生成器１６の層のループ回数Ｌは２回以上で設定される。各ループにおいて出力する点数ｓは調整可能であり、前述の例ではｓ＝２である。生成対象とする点群に含まれる点数Ｎも調整可能である。ただし、点数はｓ→ｓ２→ｓ３→…→ｓＬ－１→ＮとなることからＮ≧ｓＬ－１とする必要がある。各点に含まれるチャネル数は３又は６に設定される。３の場合はｘ，ｙ，ｚの座標情報であり、６の場合は座標情報と色情報である。Leaky ReLUのｓｌｏｐｅ係数及びAdamの学習率などのハイパーパラメータも調整可能である。

【0024】

図６は、実施の形態に係る判別器のネットワーク構造を示す図である。判別器１７には３次元座標情報を持つＮ個の点からなる点群が入力される。判別器１７のネットワーク構造は、畳み込み層(Convolution Layer)とMax pooling層とAffine層を有する。畳み込み層がグラフ畳み込みをｎ回繰り返してＮ×３の特徴量からＮ×Ｍｎの特徴量を取得する。Max pooling層は各チャネルにおけるＮ個の特徴量の中から最大値を取得する。Affine層をｍ回繰り返して最終的に１出力を取得する。

【0025】

図７は、実施の形態に係る判別器の学習のさせ方を示す図である。原信号の点群、生成器１６が生成した点群、双方を結合した点群をそれぞれ判別器１７に通して得られた出力結果から損失関数であるWGAN GP（Wasserstein GAN with Gradient Penalty）を計算する。WGAN GPを元にAdamを用いて判別器１７を学習させる。

【0026】

判別器１７に入力する点群に含まれる点数Ｎは調整可能である。上記と同様に各点に含まれるチャネル数は３又は６に設定される。畳み込み層の繰り返し回数ｎ、各畳み込み層において出力する特徴量Ｍｉ、Affine層の繰り返し回数ｍも調整可能性である。Affine層の最終層（ｍ番目）を除いて各Affine層において出力する特徴量Ａｉも調整可能性である。Leaky ReLUのｓｌｏｐｅ係数及びAdamの学習率などのハイパーパラメータも調整可能である。

【0027】

学習後の運用時には、伝搬チャネル情報が空間画像生成装置１４に入力されるが、真の３次元点群は入力されない。生成器１６は伝搬チャネル情報から空間画像を生成し、この空間画像が空間画像生成装置１４から出力される。

【0028】

物体検知部１５は、空間画像生成装置１４が生成した空間画像を画像処理して物体を検知する。なお、近年の画像処理技術は進化しているため、対象エリアの空間画像から高速に物体を検知することができる。また，雑音又は干渉によって画像が乱れることがある。そのような場合でも、近年の画像処理技術によって高精度に物体を検知することができる。また、物体の検知結果（検知情報）は内部に保持してもよいし、外部に出力してもよい。また、検知手法については、機械学習によるクラスタリングなどの周知技術を用いることができるので、詳細な説明は省略する。

【0029】

以上説明したように、本実施の形態では、損失関数に基づいて学習を行う敵対的生成ネットワークを構成する生成器１６と判別器１７を用い、対象エリアを伝搬した無線信号の伝搬チャネル情報から３次元点群を生成できるように生成器１６と判別器１７を構成する。これにより、無線情報から３次元の空間画像を高精度に生成することができる。従って、多視点からのセンシングが可能となり、センシング精度が向上する。点群全体又はメッシュ全体を対象とした物体検出が可能であり、認識アルゴリズムを導入できる。また、従来の画像センシングでは３次元情報を生成するために視点の数に応じたモデルが必要であったが、本実施の形態では学習済モデルを利用することで伝搬チャネル情報から直接３次元情報を生成することができる。このため、複数視点でセンシンクする際の負担を軽減することができる。

【0030】

また、損失関数として、点群の品質指標であるChamfer Distance又はFrechet Point Cloud Distanceを用いることが好ましい。これにより、生成される３次元情報を高精度化できる。

【符号の説明】

【0031】

６ 物体検知装置、１４ 空間画像生成装置、１５ 物体検知部、１６ 生成器、１７ 判別器

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】