(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-29
(45)【発行日】2024-12-09
(54)【発明の名称】処理システム、処理方法及びプログラム
(51)【国際特許分類】
G01S 13/89 20060101AFI20241202BHJP
G01S 13/87 20060101ALI20241202BHJP
【FI】
G01S13/89
G01S13/87
(21)【出願番号】P 2022044128
(22)【出願日】2022-03-18
【審査請求日】2024-03-01
(73)【特許権者】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(74)【代理人】
【識別番号】110001737
【氏名又は名称】弁理士法人スズエ国際特許事務所
(72)【発明者】
【氏名】森 浩樹
【審査官】九鬼 一慶
(56)【参考文献】
【文献】特開2017-223575(JP,A)
【文献】特表2007-517275(JP,A)
【文献】特開2019-207123(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/00- 7/42
G01S 13/00-13/95
(57)【特許請求の範囲】
【請求項1】
2以上のレーダ部によって取得される受信信号に基づくm枚の画像を連結して1枚の画像を生成する連結部と、
前記1枚の画像に基づいて対象物の有無を判定する判定部と、
を備え、
mは2以上の整数で
あり、
前記m枚の画像のそれぞれは、前記2以上のレーダ部に含まれる複数の送信部の中の1つの送信部と前記2以上のレーダ部に含まれる複数の受信部の中の1つの受信部のm個の組合せに対応する受信信号に基づく、処理システム。
【請求項2】
2以上のレーダ部によって取得される受信信号に基づくm枚の画像を連結して1枚の画像を生成する連結部と、
前記1枚の画像に基づいて対象物の有無を判定する判定部と、
を備え、
mは2以上の整数であり、
前記m枚の画像のそれぞれは、前記2以上のレーダ部に含まれる複数の送信部の中の1つの送信部と前記2以上のレーダ部に含まれる複数の受信部の中の1つの受信部のn個の組合せの中の前記2以上のレーダ部に含まれる複数の送信部の中の1つの送信部と前記2以上のレーダ部に含まれる複数の受信部の中の1つの受信部のm個の組合せに対応する受信信号に基づき、
nはm以上の整数である、処理システム。
【請求項3】
前記n個の組合せに対応する受信信号のレベルは一定レベル以上の第1レベルと、前記一定レベル未満の第2レベルを含み、
前記m個の組合せに対応する受信信号のレベルは前記第2レベルである、請求項
2に記載の処理システム。
【請求項4】
2以上のレーダ部によって取得される受信信号に基づくm枚の画像を連結して1枚の画像を生成する連結部と、
前記1枚の画像に基づいて対象物の有無を判定する判定部と、
を備え、
mは2以上の整数であり、
前記連結部は、第1タイミングで前記2以上のレーダ部によって取得される受信信号に基づくm
1
枚の画像と、第1タイミングとは異なる第2タイミングで前記2以上のレーダ部によって取得される受信信号に基づくm
2
枚の画像を連結して前記1枚の画像を生成し、
m
1
とm
2
は2以上の整数である、処理システム。
【請求項5】
前記m
1枚の画像は、前記2以上のレーダ部に含まれる複数の送信部の中の1つの送信部と前記2以上のレーダ部に含まれる複数の受信部の中の1つの受信部のm
1個の組合せに対応する受信信号に基づき、
前記m
2枚の画像は、前記2以上のレーダ部に含まれる複数の送信部の中の1つの送信部と前記2以上のレーダ部に含まれる複数の受信部の中の1つの受信部のm
2個の組合せに対応する受信信号に基づき、
m
1とm
2は互いに異なる、請求項
4に記載の処理システム。
【請求項6】
前記m
1枚の画像のそれぞれは、前記2以上のレーダ部に含まれる複数の送信部の中の1つの送信部と前記2以上のレーダ部に含まれる複数の受信部の中の1つの受信部のn
1個の組合せの中の前記2以上のレーダ部に含まれる複数の送信部の中の1つの送信部と前記2以上のレーダ部に含まれる複数の受信部の中の1つの受信部のm
1個の組合せに対応する受信信号に基づき、
前記m
2枚の画像のそれぞれは、前記2以上のレーダ部に含まれる複数の送信部の中の1つの送信部と前記2以上のレーダ部に含まれる複数の受信部の中の1つの受信部のn
2個の組合せの中の前記2以上のレーダ部に含まれる複数の送信部の中の1つの送信部と前記2以上のレーダ部に含まれる複数の受信部の中の1つの受信部のm
2個の組合せに対応する受信信号に基づき、
n
1はm
1以上の整数であり、
n
2はm
2以上の整数である、請求項
5に記載の処理システム。
【請求項7】
前記n
1個の組合せに対応する受信信号のレベルは一定レベル以上の第1レベルと、前記一定レベル未満の第2レベルを含み、
前記m
1個の組合せに対応する受信信号のレベルは前記第2レベルであり、
前記n
2個の組合せに対応する受信信号のレベルは前記第1レベルと、前記第2レベルを含み、
前記m
2個の組合せに対応する受信信号のレベルは前記第2レベルである、請求項
6に記載の処理システム。
【請求項8】
2以上のレーダ部によって取得される受信信号に基づくm枚の画像を連結して1枚の画像を生成する連結部と、
前記1枚の画像に基づいて対象物の有無を判定する判定部と、
を備え、
mは2以上の整数であり、
前記連結部は、o個のタイミングで前記2以上のレーダ部によって取得される受信信号に基づく画像の中のp個のタイミングで前記2以上のレーダ部によって取得される受信信号に基づくm枚の画像を連結して前記1枚の画像を生成し、
pは2以上の整数であり、
oはp以上の整数である、処理システム。
【請求項9】
前記o個のタイミングで取得される受信信号は、前記2以上のレーダ部に含まれる複数の送信部の中の1つの送信部と前記2以上のレーダ部に含まれる複数の受信部の中の1つの受信部の複数の組合せに対応する受信信号であり、
前記p個のタイミングの中の第1タイミングで取得される受信信号は、前記2以上のレーダ部に含まれる複数の送信部の中の1つの送信部と前記2以上のレーダ部に含まれる複数の受信部の中の1つの受信部のm
1個の組合せに対応する受信信号に基づき、
前記p個のタイミングの中の前記第1タイミングとは異なる第2タイミングで取得される受信信号は、前記2以上のレーダ部に含まれる複数の送信部の中の1つの送信部と前記2以上のレーダ部に含まれる複数の受信部の中の1つの受信部のm
2個の組合せに対応する受信信号に基づき、
m
1とm
2は2以上の整数である、請求項
8に記載の処理システム。
【請求項10】
前記o個のタイミングで取得される受信信号のレベルは一定レベル以上の第1レベルと、前記一定レベル未満の第2レベルを含み、
前記m
1個の組合せに対応する受信信号のレベルは前記第2レベルであり、
前記m
2個の組合せに対応する受信信号のレベルは前記第2レベルである、請求項
9に記載の処理システム。
【請求項11】
前記連結部は、
前記m枚の画像を前記1枚の画像の異なる領域に配置する、請求項1
、請求項2、請求項4又は請求項8に記載の処理システム。
【請求項12】
前記2以上のレーダ部を備える、請求項1
、請求項2、請求項4又は請求項8に記載の処理システム。
【請求項13】
前記2以上のレーダ部は、基準信号発生部からの信号により同期されている、請求項
12に記載の処理システム。
【請求項14】
前記対象物は、金属または粉体である、請求項1
、請求項2、請求項4又は請求項8に記載の処理システム。
【請求項15】
2以上のレーダ部によって取得される受信信号に基づくm枚の画像を連結して1枚の画像を生成し、
前記1枚の画像に基づいて対象物の有無を判定し、
mは2以上の整数であり、
前記m枚の画像のそれぞれは、前記2以上のレーダ部に含まれる複数の送信部の中の1つの送信部と前記2以上のレーダ部に含まれる複数の受信部の中の1つの受信部のm個の組合せに対応する受信信号に基づく、処理方法。
【請求項16】
2以上のレーダ部によって取得される受信信号に基づくm枚の画像を連結して1枚の画像を生成し、
前記1枚の画像に基づいて対象物の有無を判定し、
mは2以上の整数であり、
前記m枚の画像のそれぞれは、前記2以上のレーダ部に含まれる複数の送信部の中の1つの送信部と前記2以上のレーダ部に含まれる複数の受信部の中の1つの受信部のn個の組合せの中の前記2以上のレーダ部に含まれる複数の送信部の中の1つの送信部と前記2以上のレーダ部に含まれる複数の受信部の中の1つの受信部のm個の組合せに対応する受信信号に基づき、
nはm以上の整数である、処理方法。
【請求項17】
2以上のレーダ部によって取得される受信信号に基づくm枚の画像を連結して1枚の画像を生成し、
前記1枚の画像に基づいて対象物の有無を判定し、
mは2以上の整数であり、
前記m枚の画像を連結して1枚の画像を生成することは、第1タイミングで前記2以上のレーダ部によって取得される受信信号に基づくm
1
枚の画像と、第1タイミングとは異なる第2タイミングで前記2以上のレーダ部によって取得される受信信号に基づくm
2
枚の画像を連結して前記1枚の画像を生成することを含み、
m
1
とm
2
は2以上の整数である、処理方法。
【請求項18】
2以上のレーダ部によって取得される受信信号に基づくm枚の画像を連結して1枚の画像を生成し、
前記1枚の画像に基づいて対象物の有無を判定し、
mは2以上の整数であり、
前記m枚の画像を連結して1枚の画像を生成することは、o個のタイミングで前記2以上のレーダ部によって取得される受信信号に基づく画像の中のp個のタイミングで前記2以上のレーダ部によって取得される受信信号に基づくm枚の画像を連結して前記1枚の画像を生成することを含み、
pは2以上の整数であり、
oはp以上の整数である、処理方法。
【請求項19】
コンピュータを、2以上のレーダ部によって取得される受信信号に基づくm枚の画像を連結して1枚の画像を生成する連結部と、前記1枚の画像に基づいて対象物の有無を判定する判定部と、して機能させるためのプログラムであって、mは2以上の整数で
あり、
前記m枚の画像のそれぞれは、前記2以上のレーダ部に含まれる複数の送信部の中の1つの送信部と前記2以上のレーダ部に含まれる複数の受信部の中の1つの受信部のm個の組合せに対応する受信信号に基づく、プログラム。
【請求項20】
コンピュータを、2以上のレーダ部によって取得される受信信号に基づくm枚の画像を連結して1枚の画像を生成する連結部と、前記1枚の画像に基づいて対象物の有無を判定する判定部と、して機能させるためのプログラムであって、mは2以上の整数であり、
前記m枚の画像のそれぞれは、前記2以上のレーダ部に含まれる複数の送信部の中の1つの送信部と前記2以上のレーダ部に含まれる複数の受信部の中の1つの受信部のn個の組合せの中の前記2以上のレーダ部に含まれる複数の送信部の中の1つの送信部と前記2以上のレーダ部に含まれる複数の受信部の中の1つの受信部のm個の組合せに対応する受信信号に基づき、
nはm以上の整数である、プログラム。
【請求項21】
コンピュータを、2以上のレーダ部によって取得される受信信号に基づくm枚の画像を連結して1枚の画像を生成する連結部と、前記1枚の画像に基づいて対象物の有無を判定する判定部と、して機能させるためのプログラムであって、mは2以上の整数であり、
前記連結部は、第1タイミングで前記2以上のレーダ部によって取得される受信信号に基づくm
1
枚の画像と、第1タイミングとは異なる第2タイミングで前記2以上のレーダ部によって取得される受信信号に基づくm
2
枚の画像と連結して前記1枚の画像を生成し、
m
1
とm
2
は2以上の整数である、プログラム。
【請求項22】
コンピュータを、2以上のレーダ部によって取得される受信信号に基づくm枚の画像を連結して1枚の画像を生成する連結部と、前記1枚の画像に基づいて対象物の有無を判定する判定部と、して機能させるためのプログラムであって、mは2以上の整数であり、
前記連結部は、o個のタイミングで前記2以上のレーダ部によって取得される受信信号に基づく画像の中のp個のタイミングで前記2以上のレーダ部によって取得される受信信号に基づくm枚の画像を連結して前記1枚の画像を生成し、
pは2以上の整数であり、
oはp以上の整数である、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、画像を処理する処理システム、処理方法及びプログラムに関する。
【背景技術】
【0002】
歩行する人物に対して電波を照射し、人物で反射した電波を受信し、人物の画像を生成するレーダシステムがある。このシステムでは、人物の歩行通路の両側に多数の送信アンテナと多数の受信アンテナが配置される。複数の送信アンテナと複数の受信アンテナが直線上に配置される。複数の受信アンテナは第1の間隔で等間隔に配置される。複数の送信アンテナは第1の間隔の整数倍の第2の間隔で等間隔に配置される。複数の送信アンテナは時分割で電波を送信する。1つの送信アンテナから電波が放射され、人物で反射した電波が全ての受信アンテナで受信され、1枚の画像が生成される。この後、他の送信アンテナから電波が順次放射され、人物で反射した電波が全ての受信アンテナで受信され、1枚の画像が順次生成される。これにより、送信アンテナの数と等しい数の複数の画像が生成される。複数の画像は重畳(単純加算)され、或る位置における1枚の画像が生成される。
【0003】
この後、複数の送信アンテナから電波が順次放射され、全ての受信アンテナで電波が受信され、複数の画像が生成され、複数の画像が重畳され、歩行中の人物の他の位置における1枚の画像が生成される。これを順次繰り返し、歩行中の多数の異なる位置における人物の多数の画像が生成される。多数の異なる位置における多数の画像が重畳されると、人物の全周囲の反射波に基づく1枚の画像が生成される。
【0004】
このシステムでは、アンテナの数を多くすることにより、高精細な画像が得られる。
【0005】
しかし、アンテナの数が増えることは、コストが高くなるとともに、装置が大型化し、通路等の両側にアンテナを配置することが困難な場合がある。また、画像を重畳するためには、各画像の画素を位置合わせする必要があり、位置合わせの分、処理時間が長くなる。
【先行技術文献】
【非特許文献】
【0006】
【文献】Borja Gonzalez-Valdes et al.,“Millimeter Wave Imaging Architecture for On-The-Move Whole Body Imaging”,IEEE TRANSACTIONS ON ANTENNAS AND PROPAGATION,VOL. 64,NO.6,JUNE 2016
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明の目的は、低コストで短時間に対象物の有無を判定することができる小型の処理システムを提供することである。
【課題を解決するための手段】
【0008】
実施形態に係る処理システムは、2以上のレーダ部によって取得される受信信号に基づくm枚の画像を連結して1枚の画像を生成する連結部と、1枚の画像に基づいて対象物の有無を判定する判定部と、を備える。mは2以上の整数であり、m枚の画像のそれぞれは、2以上のレーダ部に含まれる複数の送信部の中の1つの送信部と2以上のレーダ部に含まれる複数の受信部の中の1つの受信部のm個の組合せに対応する受信信号に基づく。
【図面の簡単な説明】
【0009】
【
図1】第1実施形態に係る処理システムの概要を説明するための図である。
【
図2】第1実施形態に係る処理システムに用いられるレーダモジュールにより実現される仮想アレーアンテナの一例を示す図である。
【
図3】第1実施形態に係る処理システムの電気的な構成の一例を示すブロック図である。
【
図4】第1実施形態に係るレーダモジュールと基準信号発生部の電気的な構成の一例を示すブロック図である。
【
図5】第1実施形態に係るレーダモジュールから送信されるチャープ信号の一例を示す図である。
【
図6】第1実施形態に係るレーダモジュールの動作の一例を説明するための図である。
【
図7】第1実施形態に係る画像生成部による画像生成の一例を説明するための図である。
【
図8】第1実施形態に係るレーダモジュールの送受信の一例を説明するための示す図である。
【
図9】第1実施形態に係るレーダモジュールの送受信の他の例を説明するための示す図である。
【
図10】第1実施形態に係る画像連結部により生成される連結画像の一例を示す図である。
【
図11】第1実施形態に係る処理システムにより生成される連結画像の他の例を示す図である。
【
図12】第1実施形態に係る処理システムにより生成される連結画像の他の例を示す図である。
【
図13】第1実施形態に係る処理システムにより生成される連結画像の他の例を示す図である。
【
図14】第1実施形態に係る処理システムにより生成される連結画像の他の例を示す図である。
【
図15】第1実施形態に係る照射スケジューラによる調整の一例を説明するための図である。
【
図16】照射スケジュールが調整された場合の第1実施形態に係る画像連結部により生成される連結画像の一例を説明するための図である。
【
図17】第1実施形態に係る照射スケジューラによる調整の他の例を説明するための図である。
【
図18】照射スケジュールが調整された場合の第1実施形態に係る画像連結部により生成される連結画像の他の例を説明するための図である。
【
図19】第1実施形態に係る照射スケジューラによる調整の他の例を説明するための図である。
【
図20】照射スケジュールが調整された場合の第1実施形態に係る画像連結部により生成される連結画像の他の例を説明するための図である。
【
図21】第1実施形態に係る処理システムにおけるレーダモジュールの配置に関する他の例を示す図である。
【
図22】第2実施形態に係る処理システムの概要を説明するための図である。
【
図23】第2実施形態に係る処理システムにより生成される連結画像の一例を示す図である。
【
図24】第2実施形態に係る処理システムにより生成される連結画像を構成する1つの画像群の一例を示す図である。
【発明を実施するための形態】
【0010】
以下、図面を参照して、実施形態を説明する。以下の説明は、実施形態の技術的思想を具体化するための装置や方法を例示するものであって、実施形態の技術的思想は、以下に説明する構成要素の構造、形状、配置、材質等に限定されるものではない。当業者が容易に想到し得る変形は、当然に開示の範囲に含まれる。説明をより明確にするため、図面において、各要素のサイズ、厚み、平面寸法又は形状等を実際の実施態様に対して変更して模式的に表す場合もある。複数の図面において、互いの寸法の関係や比率が異なる要素が含まれることもある。複数の図面において、対応する要素には同じ参照数字を付して重複する説明を省略する場合もある。いくつかの要素に複数の呼称を付す場合があるが、これら呼称の例はあくまで例示であり、これらの要素に他の呼称を付すことを否定するものではない。また、複数の呼称が付されていない要素についても、他の呼称を付すことを否定するものではない。なお、以下の説明において、「接続」は直接接続のみならず、他の要素を介した接続も含む場合もある。
【0011】
第1実施形態
実施形態に係る処理システムの一応用例は、セキュリティシステムである。処理システムは、例えば空港、駅、空港、ショッピングモール、コンサートホール、展示会場等の施設に設置され、施設を利用する人物が危険物を所持しているかを判定する。人物に電波が照射され、人物で反射した電波が受信される。受信信号に基づき画像が生成される。この画像に基づいて危険物の有無が判定できる。
【0012】
図1は、第1実施形態に係る処理システムの概要を説明するための図である。この明細書では、歩行中の人物に電波を照射する実施形態が説明されるが、他の実施形態では、静止している人物に電波を照射されてもよい。人物は静止していてもよい。
【0013】
歩行者10が歩行する通路12の一方の側壁16にレーダモジュール20a、20c、及び20eが配置される。通路12の他方の側壁14にレーダモジュール20b、20d、及び20fが配置される。側壁16と側壁14は互いに平行な平面である。通路12の長手方向はX方向と称される。通路12の幅方向はY方向と称される。側壁の高さ方向はZ方向と称される。
【0014】
レーダモジュール20a-20eが両方の側壁に配置されることは必須ではなく、少なくとも2個のレーダモジュール、例えば20aと20cが片方の側壁のみに配置されてもよい。1つの側壁に配置されるレーダモジュールの数は3つに限らない。レーダモジュールが両方の側壁に配置される場合、各側壁に、少なくとも1個のレーダモジュール、例えば20aと20bが配置されればよい。
【0015】
また、レーダモジュール20a-20fが配置されるのは側壁に限らず、例えば施設の天井、床面、またはゲートなどに配置されても良い。さらに、レーダモジュール20a-20fは固定物ではなく、可動式パネルなどに配置され、可動式パネルを人物の周囲に設置しても良い。
【0016】
側壁14または16の少なくとも一方には、カメラ8が取り付けられている。カメラ8は、通路12上の歩行者10を撮影する。カメラ8の撮影画像に基づき、歩行者10の位置が判断される。カメラ18の代わりに、通路12上の歩行者10を検出することができるセンサが用いられてもよい。あるいは、カメラ8を設けずに、レーダモジュール20a-20fによって歩行者10の位置を判断しても良い。
【0017】
レーダモジュール20a、20c、及び20eは歩行者10の進行方向、すなわちX方向に沿った直線上に1次元的に配置される。レーダモジュール20b、20d、及び20fはX方向に沿った直線上に1次元的に配置される。レーダモジュール20a、20c、及び20eの高さ方向、すなわちZ方向の位置は、レーダモジュール20b、20d、及び20fのZ方向の位置と同じである。
【0018】
レーダモジュール20aのX方向の位置は、レーダモジュール20bのX方向の位置と同じである。レーダモジュール20cのX方向の位置は、レーダモジュール20dのX方向の位置と同じである。レーダモジュール20eのX方向の位置は、レーダモジュール20fのX方向の位置と同じである。
【0019】
図2は、第1実施形態に係る処理システムに用いられるレーダモジュール20a-20fにより実現される仮想アレーアンテナの一例を示す図である。レーダモジュール20a-20fは、全て同じ構成である。一例として、レーダモジュール20aについて説明する。レーダモジュール20aについての説明は、他のレーダモジュール20b-20fにも適用される。
【0020】
レーダモジュール20aは、X方向に沿った直線上に配置される3つの送信アンテナTx1、Tx2、及びTx3と、4つの受信アンテナRx1、Rx2、Rx3、及びRx4を含む。4つの受信アンテナRx1-Rx4は間隔dで等間隔に配置される。dは半波長である。3つの送信アンテナTx1-Tx3は間隔4dで等間隔に配置される。受信アンテナRx4と送信アンテナTx1の間隔は2dである。受信アンテナRx1-Rx4と送信アンテナTx1-Tx3の例は、マイクロストリップアンテナ(パッチアンテナとも称される)である。
【0021】
なお、4つの受信アンテナRx1-Rx4は間隔4dで等間隔に配置され、3つの送信アンテナTx1-Tx3は間隔dで等間隔に配置されてもよい。
【0022】
また、上記および以下の説明におけるアンテナ構成、アンテナ本数、またはアンテナ配置は一例であり、他のアンテナ構成、アンテナ本数、またはアンテナ配置であっても良い。例えば、送信アンテナTx1-Tx3と、受信アンテナRx1-Rx4がZ方向に1次元的に配置されていてもよいし、X-Z方向に2次元的に配置されていてもよい。
【0023】
複数の受信アンテナRx1-Rx4は、複数の送信アンテナTx1-Tx3から照射された電波を受信し、3つの送信アンテナTx1-Tx3夫々からの電波の受信信号を生成することにより、仮想アレーアンテナ(MIMO(Multi Input Multi Output)アレーアンテナとも称される)を実現する。仮想アレーアンテナは、X方向に沿った直線上に間隔dで等間隔に配置された仮想アンテナV1、V2、V3、V4、V5、V6、V7、V8、V9、V10、V11、及びV12を含む。MIMOアレーアンテナを実現することによりX方向のアンテナ数を増加することができ、開口長も拡大することができ、角度分解能を向上することができる。
【0024】
レーダモジュール20aは、X方向とY方向に2次元的に配置される複数の送信アンテナと複数の受信アンテナを備えてもよい。
【0025】
図3は、第1実施形態に係る処理システムの電気的な構成の一例を示すブロック図である。レーダモジュール20a、20b、20c、20d、20e、及び20fは、画像生成部22a、22b、22c、22d、22e、及び22fにそれぞれ接続される。画像生成部22a-22fのそれぞれは、レーダモジュール20a-20fの受信信号に基づいて歩行者10の画像を生成する。基準信号発生部32と照射スケジューラ34が、レーダモジュール20a-20fに接続される。基準信号発生部32は、送受信を同期させるための基準信号をレーダモジュール20a-20fへ供給する。
【0026】
照射スケジューラ34は、レーダモジュール20a-20fの電波の照射タイミングを制御するタイミング信号をレーダモジュール20a-20fへ供給する。カメラ8が、照射スケジューラ34に接続される。照射スケジューラ34は、カメラ8の撮影画像に基づいて、歩行者10がレーダモジュール20a-20fによる検査エリアに入ったこと、または検査エリアから出たことを検知する。検査エリアとは、レーダモジュール20a-20fが照射した電波の歩行者による反射波がレーダモジュール20a-20fが受信できるようなエリアである。照射スケジューラ34は、カメラ8の撮影画像に基づいて、歩行者10の位置や、歩行速度を検知してもよい。照射スケジューラ34は、検知したタイミングに基づいて、レーダモジュール20a-20fの電波の照射タイミングを制御するタイミング信号をレーダモジュール20a-20fへ供給する。
【0027】
画像生成部22a-22fは、画像連結部24に接続される。画像連結部24は、画像生成部22a-22fのそれぞれが生成した複数の画像を連結して1枚の画像を生成する。画像連結部24は、画像生成部22a-22fが生成した複数の画像を1枚の画像の異なる領域に配置することにより複数の画像を連結する。画像連結部24は、判定部26に接続される。
【0028】
判定部26は、画像連結部24が生成した1枚の画像に基づいて、所定の対象物の有無を判定する。所定の対象物は、そのエリアで所持を許可されていない危険物である。危険物は、拳銃、ナイフ等の金属や、爆薬等の粉体である。所定の対処物は、麻薬等の粉体や延べ棒などの不正持ち込み品を含んでもよい。
【0029】
判定部26は、例えば畳み込みニューラルネットワークにより構成される。畳み込みニューラルネットワークは、多数の画像データを教師データとして、危険物所持の判定結果を学習している。歩行者10の画像が判定部26に入力されると、判定部26は、画像中の人物が危険物を所持しているか否かの判定結果を出力する。畳み込みニューラルネットワークは、単に危険物の所持か否かだけではなく、危険物の種類別に所持か否かを判定するように学習されていてもよい。
【0030】
判定部26は、表示部28に接続される。表示部28は、判定部26による判定結果を表示するとともに、アラーム音を発生する。監視者は、判定結果を見て、あるいはアラーム音を聞いて、必要な対処を実行することができる。
【0031】
画像生成部22a-22f、画像連結部24、判定部26は、ハードウェアにより構成されてもよいし、ソフトウェアを実行することにより、画像生成部22a-22f、画像連結部24、判定部26として機能するコンピュータにより構成されてもよい。
【0032】
実施形態に係る処理システムの構成の中で処理に関わる構成、すなわち、画像生成部22a-22f、画像連結部24、判定部26は、クラウドシステムにより構成されてもよい。
【0033】
レーダモジュール20a-20fは、時間の経過に応じて周波数が直線的に増加する線形の周波数変調連続波(L-FMCW:Linear Frequency Modulated Continuous Wave)方式のレーダ機能を備える。
【0034】
図4は、第1実施形態に係るレーダモジュール20a-20f(一例としてレーダモジュール20a)と基準信号発生部32の電気的な構成の一例を示すブロック図である。
【0035】
基準信号発生部32は、シンセサイザ46とクロック発生器47を含む。レーダモジュール20a-20fは、時間の経過に応じて周波数が直線的に増加する線形の周波数変調連続波(L-FMCW:Linear Frequency Modulated Continuous Wave)方式のレーダ機能を備える。シンセサイザ46はL-FMCW信号(以降、チャープ信号と称される)を発生する。
【0036】
レーダモジュール20aは、送信アンテナTx1-Tx3と、送信回路42と、受信アンテナRx1-Rx4と、受信回路44を含む。
【0037】
送信回路42は、送信アンプ481、482、及び483を含む。シンセサイザ46が発生したチャープ信号は、送信アンプ481、482、及び483に供給される。送信アンプ481、482、及び483は、送信アンテナTx1、Tx2、及びTx3にそれぞれ接続される。
【0038】
受信回路44は、受信アンプ521、522、523、及び524と、ミキサ541、542、543、及び544と、ローパスフィルタ(LPF)561、562、563、及び564と、A/D変換器(ADC)581、582、583、及び584と、高速フーリエ変換回路(FFT)601、602、603、及び604を含む。
【0039】
受信アンプ521、522、523、及び524は、受信アンテナRx1、Rx2、Rx3、及びRx4にそれぞれ接続される。受信アンプ521、522、523、及び524の出力信号は、ミキサ541、542、543、及び544の第1入力端子にそれぞれ入力される。ミキサ541、542、543、及び544の第2入力端子にはシンセサイザ46が発生したチャープ信号が入力される。ミキサ541、542、543、及び544は受信信号とチャープ信号とを乗算し、中間周波数(IF)信号を生成する。
【0040】
ミキサ541、542、543、及び544が出力するIF信号は、LPF561、562、563、及び564と、ADC581、582、583、及び584をそれぞれ介してFFT601、602、603、及び604に供給される。FFT601、602、603、及び604は、受信アンテナRx1、Rx2、Rx3、及びRx4が受信した電波の強度を求める。
【0041】
クロック発生器47が発生したクロック信号は、全てのレーダモジュール20a-20fの送信回路42と受信回路44に供給される。全てのレーダモジュール20a-20fの送信回路42と受信回路44の動作タイミングは、クロック信号により制御される。そのため、全てのレーダモジュール20a-20fの送信回路42と受信回路44は、同期して送信動作と受信動作を実行する。
【0042】
図5は、第1実施形態に係るレーダモジュール20a-20fから送信される電波の一例を示す。
図5(a)は、振幅Aを時間tの関数として表すチャープ信号を示す。
図5(b)は、周波数fを時間tの関数として表すチャープ信号を示す。
図5(b)に示すように、チャープ信号は、中心周波数fc、変調帯域幅fb、信号時間幅Tbにより表される。チャープ信号の傾きは周波数の変化レート(チャープレート)γと称される。
【0043】
チャープ信号の送信信号St(t)は、式1で表される。
【0044】
St(t)=cos[2π(fc×t+γt2/2)] 式1
チャープレートγは式2で表される。
【0045】
γ=fb/Tb 式2
レーダモジュール20a-20fから距離Rだけ離れた物体からの反射波は、送信タイミングからΔt=2R/cだけ遅れて観測される。cは光速である。受信信号Sr(t)は物体の反射強度をaとすると式3で表される。
【0046】
Sr(t)=a×cos[2πfc(t-Δt)+πγ(t-Δt)
2]
式3
図6は、第1実施形態に係るレーダモジュールの動作の一例を説明するための図である。
図6は、複数、例えば3つの物体が存在する場合の物体の検出原理を示す。
図6(a)は送信信号と時間の関係と、受信信号と時間の関係を示す。
図6(a)に示すように、送信信号は時間とともに周波数が線形的に変化する。受信信号は、送信信号に対してΔtだけ遅延している。複数の物体が存在す場合、破線で示す最も近い物体からの反射波が最も早く受信され、一点鎖線で示す最も遠い物体からの反射波が最も遅く受信される。
【0047】
図4に示すように、ミキサ54
1-54
4で受信信号はチャープ信号と乗算されIF信号z(t)とされる。IF信号z(t)は、式4で表される。
【0048】
z(t)=a×cos(2πΔtγt) 式4
図6(b)はIF信号の周波数と時間の関係を示す。ノイズ等がない理想的な環境下では、反射波毎に周波数が一定となる。破線で示す最も近い物体からの反射波のIF信号の周波数が最も低く、一点鎖線で示す最も遠い物体からの反射波のIF信号の周波数が最も高い。
【0049】
式4に示す時間領域のIF信号z(t)をFFT601-604においてFFTすることにより、周波数領域の反射強度が計算できる。したがって、IF信号のFFTの結果である周波数領域の各点での振幅がレーダモジュール20a-20fからの距離毎の反射強度に対応する。周波数fifと距離Rは式5の関係がある。
【0050】
f
if=Δtγ=2Rγ/c 式5
時間領域のIF信号をFFTすることで得られる反射強度と周波数の関係を
図6(c)に示す。このように、IF信号の周波数領域信号の振幅を求めることにより、レーダモジュール20a-20fからの距離毎の反射強度を求めることができる。
【0051】
実施形態で用いられる電波としては、波長が1ミリメートルから30ミリメートルの電波を利用してもよい。波長が1ミリメートルから10ミリメートルの電波はミリ波、波長が10ミリメートルから100ミリメートルの電波はマイクロ波とも称される。さらに、テラヘルツ波と称される波長が100マイクロメートルから1ミリメートルの電波を用いてもよい。
【0052】
これらの電波は歩行者10の皮膚で反射される。これらの電波は、拳銃やナイフ等の金属でも反射される。金属の反射率は皮膚の反射率より高い。金属の反射波の強度は、皮膚の反射波の強度より高い。これらの電波は、爆薬等の粉体では吸収される。粉体の反射率は皮膚の反射率より低い。反射波の強度は、皮膚、金属、粉体等の電波が反射される点の物質の種類により決まる。そのため、反射波の強度から、反射点の物質の種類を求めることができる。
【0053】
図7は、第1実施形態に係る画像生成部22a-22fによる画像生成の一例を説明するための図である。
図7(a)は、レーダモジュール20aが、X方向の位置が異なる3つの物体ob1、ob2、ob3からの反射波を受信する状態を示す。各物体ob1、ob2、ob3とレーダモジュール20aの距離は等しいとする。
図3に示したように、レーダモジュール20aは、X軸方向に沿った直線上に1次元的に配置される送信アンテナTx1-Tx3と受信アンテナRx1-Rx4を備えるので、X方向の位置が異なる物体からの反射波を識別することができる。X方向は方位方向とも称され、X方向の位置は方位角と称される。通路12の幅に対応するY方向は距離方向とも称され、Y方向の位置は距離と称される。
【0054】
図7(b)は、レーダモジュール20a-20fの何れかから照射された電波の反射波がレーダモジュール20aで受信された場合、レーダモジュール20aの出力信号に基づき画像生成部22aが生成した画像の一例を示す。画像は、方位角と距離の2次元画像である。
図7(b)は、同じ距離で方位角が異なる3つの物体ob1、ob2、ob3を含む画像を表す。画像生成部22aは、レーダモジュール20a-20fとの送受信による受信信号に基づき、奥行き(距離)方向および水平(方位角)方向にずれた複数のスライス画像を作成する。
【0055】
図8と
図9は、第1実施形態に係るレーダモジュール20a-20fの送受信の一例を説明するための示す図である。レーダモジュール20a-20fが照射する電波の周波数は同じであるので、各送信アンテナTx1-Tx3は時分割(TDM)駆動される。1つのレーダモジュールの1つの送信アンテナから電波が照射され、全てのレーダモジュール20a-20fの全ての受信アンテナで反射波が受信されると、1枚の画像が生成される。
【0056】
図8は、レーダモジュール20aが送信モジュールである場合のレーダモジュール20a-20fの送受信の一例を示す。照射スケジューラ34は、カメラ8の撮影画像に基づいて歩行者10が検査エリア内に位置することを検知すると、先ず1つのレーダモジュール、例えばレーダモジュール20aに3回の送信を順次行わせる。
【0057】
レーダモジュール20aについての1回目の送信では、照射スケジューラ34は、レーダモジュール20aの送信アンテナTx1から電波を送信させる。レーダモジュール20a-20fの全ての受信アンテナRx1-Rx4は略同時に反射波を受信する。2回目の送信では、照射スケジューラ34は、レーダモジュール20aの送信アンテナTx2から電波を送信させる。レーダモジュール20a-20fの全ての受信アンテナRx1-Rx4は略同時に反射波を受信する。3回目の送信では、照射スケジューラ34は、レーダモジュール20aの送信アンテナTx3から電波を送信させる。レーダモジュール20a-20fの全ての受信アンテナRx1-Rx4は略同時に反射波を受信する。
【0058】
レーダモジュール20aの3回目の送信が終わると、画像生成部22a-22fは、レーダモジュール20a-20fの受信信号からそれぞれ1枚の画像を生成する。送信モジュールがレーダモジュール20aであり、受信モジュールがレーダモジュール20aである送受信モジュールの組合せに対応する受信信号に基づく画像はA→A画像と称される。すなわち、3回目の送信が終わると、画像生成部22a-22fは、A→A画像、A→B画像、A→C画像、A→D画像、A→E画像、及びA→F画像をそれぞれ生成する。画像生成部22a-22fは、A→A画像、A→B画像、A→C画像、A→D画像、A→E画像、及びA→F画像を画像連結部24へ供給する。画像連結部24は画像を記憶するメモリを含み、供給された6枚の画像をメモリに書き込む。
【0059】
以降、照射スケジューラ34は、他のレーダモジュール20b-20fにそれぞれ3回の送信を行わせる。
【0060】
図9は、レーダモジュール20fが送信モジュールである場合のレーダモジュール20a-20fの送受信の一例を示す。レーダモジュール20fについての1回目の送信では、照射スケジューラ34は、レーダモジュール20fの送信アンテナTx1から電波を送信させる。レーダモジュール20a-20fの全ての受信アンテナRx1-Rx4は略同時に反射波を受信する。2回目の送信では、照射スケジューラ34は、レーダモジュール20fの送信アンテナTx2から電波を送信させる。レーダモジュール20a-20fの全ての受信アンテナRx1-Rx4は略同時に反射波を受信する。3回目の送信では、照射スケジューラ34は、レーダモジュール20fの送信アンテナTx3から電波を送信させる。レーダモジュール20a-20fの全ての受信アンテナRx1-Rx4は略同時に反射波を受信する。
【0061】
レーダモジュール20fの3回目の送信が終わると、画像生成部22a-22fは、レーダモジュール20a-20fの受信信号からF→A画像、F→B画像、F→C画像、F→D画像、F→E画像、及びF→F画像をそれぞれ生成する。画像生成部22a-22fは、F→A画像、F→B画像、F→C画像、F→D画像、F→E画像、及びF→F画像を画像連結部24へ供給する。画像連結部24は画像を記憶するメモリを備え、供給された6枚の画像をメモリに書き込む。
【0062】
レーダモジュール20a-20fからの送信が終了すると、画像連結部24のメモリは、A→A画像からF→F画像までの36枚の画像を記憶する。画像連結部24は、36枚の画像を連結して1枚の画像とする。連結とは、36枚の画像を1枚の画像の異なる領域に配置することである。
【0063】
図10は、第1実施形態に係る画像連結部24が生成する連結画像の一例を示す図である。画像連結部24は、メモリ上の1枚の画像を、例えば4×9の小領域に分割する。画像連結部24は、レーダモジュール20aが送信モジュールの場合に生成された6枚の画像を、これらの画像が1枚の画像の、例えば左上の6つの小領域に配置されるように、メモリに書き込む。画像連結部24は、同様に、他のレーダモジュール20b-20fが送信モジュールの場合に生成された6枚の画像を、これらの画像が1枚の画像の所定の6つの小領域に配置されるように、メモリに書き込む。例えば、画像連結部24は、レーダモジュール20fが送信モジュールの場合に生成された6枚の画像を、これらの画像が1枚の画像の、例えば右下の6つの小領域に配置されるように、メモリに書き込む。画像連結部24は、36枚の画像を連結した連結画像を判定部26へ供給する。
【0064】
判定部26は、多数枚の連結画像を教師データとして危険物所持の判定結果を学習している。この時の教師データは、検査エリア内に位置する歩行者10の36枚の画像の連結画像に関する教師データである。教師データは、検査エリア内の歩行者10の位置には無関係である。
【0065】
歩行者10が検査エリアを通過する期間に、レーダモジュール20a-20fは複数回電波を照射できる。歩行者10が検査エリアを通過する期間に、画像連結部24は、検査エリア内の歩行者10の異なる位置の複数の連結画像を生成することができる。
【0066】
図11は、歩行者10が検査エリアを通過する際、画像連結部24が生成した複数の連結画像を示す。歩行者10が検査エリアを通過する期間に、レーダモジュール20a-20fは8回電波を照射したとする。
図10に示す連結画像は1巡目画像と称される。それ以降、レーダモジュール20a-20fが2回目乃至8回目の電波を照射した時に生成される連結画像は2巡目画像乃至8巡目画像と称される。画像連結部24は、1巡目画像乃至8巡目画像を連結して、拡張連結画像を生成する。
【0067】
画像連結部24は、メモリ上の1枚の画像を、例えば1×8数の中領域に分割する。画像連結部24は、1巡目画像を、1巡目画像が1枚の画像の、例えば左端の中領域に配置されるように、メモリに書き込む。画像連結部24は、同様に、2巡目画像乃至8巡目画像等を、2巡目画像乃至8巡目画像等が1枚の画像の、例えば左端から2番目乃至8番目の中領域に配置されるように、メモリに書き込む。画像連結部24は、8枚の連結画像を連結した拡張連結画像を判定部26へ供給する。
【0068】
判定部26に拡張連結画像を入力して危険物判定する場合、判定部26は多数の拡張連結画像を教師データとして危険物所持の判定結果を学習している。教師データとしての拡張連結画像に含まれる8枚の連結画像の検査エリア内の位置は、X方向において検査エリアを略均等に7分割する境界である。
【0069】
照射スケジューラ34は、カメラ8の撮影画像に基づいて歩行者10の歩行速度を算出する。照射スケジューラ34は、歩行速度と検査エリアのX方向の長さから、2巡目画像乃至8巡目画像の撮影タイミングを決定して、レーダモジュール20a-20fに2巡目画像乃至8巡目画像の撮影タイミングで電波を照射させる。これにより、画像連結部24は、教師データの検査エリア内の位置と同じ検査エリア内の位置で連結画像を生成することができる。
【0070】
判定部26は、拡張連結画像を用いて、危険物判定することにより、歩行者10の画像の長時間の特徴の変化を捉えることができ、より正確な危険物判定をすることができる。
【0071】
上述の説明では、照射スケジューラ34は、レーダモジュール20a-20fの照射タイミングを制御するので、画像連結部24には1巡目画像乃至8巡目画像しか供給されない。しかし、歩行者10の歩行速度が変動することがあり、X方向において検査エリアを略均等に7分割するタイミングを求めることができない場合がある。このような場合は、照射スケジューラ34は、一定周期でレーダモジュール20a-20fから電波を照射させて、画像連結部248枚以上の多数枚の連結画像を生成させてもよい。画像連結部24は、多数枚の連結画像から8枚の連結画像を選択し、選択した連結画像を連結して拡張連結画像を生成してもよい。
【0072】
図12は、照射スケジューラ34が、歩行者10が検査エリアを通過する際、一定周期でレーダモジュール20a-20fから電波を照射させた場合の画像連結部24の処理の一例を示す。照射スケジューラ34は、歩行者10が検査エリアを通過する期間に29回電波を照射させるとする。画像連結部24は、29枚の連結画像を生成し、その中から均等間隔の8枚の連結画像:1巡目画像、5巡目画像、9巡目画像、13巡目画像、17巡目画像、21巡目画像、25巡目画像、及び29巡目画像を選んで拡張連結画像とする。
【0073】
図13は、照射スケジューラ34が、歩行者10が検査エリアを通過する際、一定周期でレーダモジュール20a-20fから電波を照射させた場合の画像連結部24の処理の他の例を示す。
図13は、歩行者10の歩行速度が、
図12の場合に比べて遅いとする。照射スケジューラ34は、歩行者10が検査エリアを通過する期間に64回電波を照射させるとする。画像連結部24は、64枚の連結画像を生成し、その中から均等間隔の8枚の連結画像:1巡目画像、10巡目画像、19巡目画像、28巡目画像、37巡目画像、46巡目画像、55巡目画像、及び64巡目画像を選んで拡張連結画像とする。
【0074】
図14は、照射スケジューラ34が、歩行者10が検査エリアを通過する際、一定周期でレーダモジュール20a-20fから電波を照射させた場合の画像連結部24の処理の他の例を示す。
図14は、歩行者10の歩行速度が、
図13の場合に比べてさらに遅いとする。照射スケジューラ34は、歩行者10が検査エリアを通過する期間に100回電波を照射させるとする。画像連結部24は、100枚の連結画像を生成する。上述の例とは異なり、画像連結部24は、多数枚の連結画像から均等間隔の8枚の連結画像を選択するのではなく、多数枚の連結画像の中の歩行者10が検査エリアの中央部(レーダモジュール20c、20dに対向する位置)に位置する時に生成された連結画像から均等間隔の8枚の連結画像を選択してもよい。画像連結部24は、32巡目画像から74巡目画像までの連結画像の中から均等間隔の8枚の連結画像:32巡目画像、38巡目画像、44巡目画像、50巡目画像、56巡目画像、62巡目画像、68巡目画像、及び74巡目画像を選んで拡張連結画像としてもよい。
【0075】
拡張連結画像は、検査エリア内の歩行者10の位置が異なる位置で生成された連結画像を含む。歩行者10の位置によっては、レーダモジュール20a-20fの何れかは画像作成に寄与する反射波を受信できない、あるいは反射波を全く受信できない場合がある。
【0076】
図15は、レーダモジュール20a-20fの中の幾つかのレーダモジュールが画像作成に寄与する反射波を受信できない、あるいは反射波を全く受信できない場合の一例を示す。
図15では、歩行者10は、レーダモジュール20a、20bの位置より進行方向(X方向)において手前に位置する。レーダモジュール20e(または20a)は、レーダモジュール20a(または20e)から照射された電波を殆ど受信できず、レーダモジュール20f(または20a)は、レーダモジュール20a(または20f)から照射された電波を殆ど受信できず、レーダモジュール20f(または20b)は、レーダモジュール20b(または20f)から照射された電波を殆ど受信できず、レーダモジュール20e(または20b)は、レーダモジュール20e(または20b)から照射された電波を殆ど受信できない。
【0077】
そのため、照射スケジューラ34は、カメラ8からの画像に基づいて、歩行者10が
図15に示す位置にいることを検出した場合、画像連結部24に対して、画像生成部22a-22fにより生成された画像を連結する際に、受信信号のレベルが画像生成に寄与するレベル未満である送信レーダモジュール20a-20fと受信レーダモジュール20a-20fの組合せに対応する受信信号に基づくA→E画像、A→F画像、B→E画像、B→F画像、E→A画像、E→B画像、F→A画像、及びF→B画像の8画像を連結対象から外すように、指示する。これにより、画像連結部24は、受信信号のレベルが画像生成に寄与するレベル以上である送信レーダモジュール20a-20fと受信レーダモジュール20a-20fの組合せに対応する受信信号に基づく画像を連結する。
【0078】
図16は、歩行者10が
図15に示す位置にいる場合、受信信号のレベルが画像生成に寄与するレベル以上である予想される送信レーダモジュール20a-20fと受信レーダモジュール20a-20fの組合せに対応する受信信号に基づく連結画像の例を示す。連結画像は送信レーダモジュール20a-20fと受信レーダモジュール20a-20fの28個の組合せに基づく画像を含む。
【0079】
図17は、レーダモジュール20a-20fの中の幾つかのレーダモジュールが画像作成に寄与する反射波を受信できない、あるいは反射波を全く受信できない場合の他の例を示す。
図17では、歩行者10のX方向の位置は、レーダモジュール20cと20dのX方向の位置と同じである。歩行者10に遮られるので、レーダモジュール20a(または20f)は、レーダモジュール20f(または20a)から照射された電波を殆ど受信できず、レーダモジュール20c(または20d)は、レーダモジュール20d(または20c)から照射された電波を殆ど受信できず、レーダモジュール20e(または20f)は、レーダモジュール20f(または20e)から照射された電波を殆ど受信できない。
【0080】
そのため、照射スケジューラ34は、カメラ8からの画像に基づいて、歩行者10が
図17に示す位置にいることを検出した場合、画像連結部24に対して、画像生成部22a-22fにより生成された画像を連結する際に、受信信号のレベルが画像生成に寄与するレベル未満であることが予想される送信レーダモジュール20a-20fと受信レーダモジュール20a-20fの組合せに対応する受信信号に基づくA→F画像、B→F画像、C→D画像、D→C画像、E→B画像、及びF→A画像の6画像を連結対象から外すように指示する。これにより、画像連結部24は、受信信号のレベルが画像生成に寄与するレベル以上である予想される送信レーダモジュール20a-20fと受信レーダモジュール20a-20fの組合せに対応する受信信号に基づく画像を連結する。
【0081】
図18は、歩行者10が
図17に示す位置にいる場合、受信信号のレベルが画像生成に寄与するレベル以上である予想される送信レーダモジュール20a-20fと受信レーダモジュール20a-20fの組合せに対応する受信信号に基づく連結画像の例を示す。連結画像は送信レーダモジュール20a-20fと受信レーダモジュール20a-20fの30個の組合せに基づく画像を含む。
【0082】
図19は、幾つかのレーダモジュールが画像作成に寄与する反射波を受信できない、あるいは反射波を全く受信できない場合の他の例を示す。
図19では、歩行者10のX方向の位置は、レーダモジュール20cと20e(またはレーダモジュール20dと20f)の中間の位置である。レーダモジュール20a(または20e)は、レーダモジュール20e(または20a)から照射された電波を殆ど受信できず、レーダモジュール20b(または20f)は、レーダモジュール20f(または20b)から照射された電波を殆ど受信できず、レーダモジュール20c(または20f)は、レーダモジュール20f(または20c)から照射された電波を殆ど受信できず、レーダモジュール20d(または20e)は、レーダモジュール20e(または20d)から照射された電波を殆ど受信できない。
【0083】
そのため、照射スケジューラ34は、カメラ8からの画像に基づいて、歩行者10が
図19に示す位置にいることを検出した場合、画像連結部24に対して、画像生成部22a-22fにより生成された画像を連結する際に、受信信号のレベルが画像生成に寄与するレベル未満であることが予想される送信レーダモジュール20a-20fと受信レーダモジュール20a-20fの組合せに対応する受信信号に基づくA→E画像、B→F画像、C→F画像、D→E画像、E→A画像、F→B画像、F→C画像、及びE→D画像の8画像を連結対象から外すように指示する。これにより、画像連結部24は、受信信号のレベルが画像生成に寄与するレベル以上である予想される送信レーダモジュール20a-20fと受信レーダモジュール20a-20fの組合せに対応する受信信号に基づく画像を連結する。
【0084】
図20は、歩行者10が
図19に示す位置にいる場合、受信信号のレベルが画像生成に寄与するレベル以上である予想される送信レーダモジュール20a-20fと受信レーダモジュール20a-20fの組合せに対応する受信信号に基づく連結画像の例を示す。連結画像は送信レーダモジュール20a-20fと受信レーダモジュール20a-20fの28個の組合せに基づく画像を含む。
【0085】
図21は、第1実施形態に係る処理システムにおけるレーダモジュールの配置に関する他の例を示す図である。上述の説明では、レーダモジュール20a、20c、及び20eは側壁16(平面)上に配置され、レーダモジュール20b、20d、及び20fは側壁14(平面)上に配置される。そのため、
図15または
図19に示したように、検査エリアの端部に位置するレーダモジュール20a、20b、20e、及び20fは、反射波を受信できる範囲が狭い。
【0086】
図21では、レーダモジュール20aと20bは、送受信面が検査エリアの中央を向くように、レーダモジュール20cと20dの送受信面に対して時計方向にα度傾いている。レーダモジュール20eと20fは、送受信面が検査エリアの中央を向くように、レーダモジュール20cと20dの送受信面に対して半時計方向にα度傾いている。これにより、レーダモジュール20a、20b、20e、及び20fが受信できる反射波の範囲が、
図1に示す場合に比べて、広くなる。その結果、受信信号のレベルが画像生成に寄与するレベル未満であることが予想される送信レーダモジュール20a-20fと受信レーダモジュール20a-20fの組合せが減り、歩行者10が
図15、
図17、または
図19に示す位置にいても、連結対象から外される画像の枚数が減る。
【0087】
レーダモジュール20a-20fの受信信号に基づく複数の画像を1枚の画像に連結する際、画素の位置合わせが必要無いので、レーダモジュール20a-20fの向きを変えることが出来る。もし、複数の画像を重畳して1枚の画像とする場合は、画素の位置合わせが必要であるので、レーダモジュール20a-20fの向きを自由に設定することはできない。
【0088】
第1実施形態によれば、少なくとも2個のレーダモジュールに含まれる複数の送信アンテナの中の1つの送信アンテナと、少なくとも2個のレーダモジュールに含まれる複数の受信アンテナの中の1つの受信アンテナとの組み合わせに対応する受信信号に基づく複数の画像が連結され、1枚の連結画像が生成され、連結画像に基づいて対象物の有無が判定される。そのため、低コストで短時間に対象物の有無を判定することができる処理システムが提供される。
【0089】
異なる時間に生成された複数の連結画像が連結され、拡張連結画像が生成されてもよい。拡張連結画像に基づき判定されると、さらに正確に対象物の有無が判定される。
【0090】
対象物の位置によっては、画像生成に寄与しない送信アンテナと受信アンテナの組み合わせが存在する。このような組み合わせに対応する受信信号に基づく画像は連結対象から除外される。連結画像は対象物の判定に無効な画像を含まないので、連結画像のサイズが必要最低限に抑えられる。
【0091】
レーダモジュール20a-20fの受信信号に基づく画像を1枚の画像に連結する際、画素の位置合わせが必要無いので、レーダモジュール20a-20fの向きは自由に変えられる。そのため、画像生成に寄与しない送信アンテナと受信アンテナの組み合わせの数を減らせることができる。
【0092】
第2実施形態
図22は、第2実施形態に係る処理システムの概要を説明するための図である。第2実施形態は、第1実施形態の処理システムに対して、レーダモジュールが追加されている。第1実施形態では、各側壁に配置されたレーダモジュールは1次元的に配置されている。処理システムは、
図7に示したように、方位角と距離の2次元画像を生成する。
【0093】
第2実施形態では、側壁16に9個のレーダモジュール20a、20c、及び20e;20g、20i、及び20k;20m、20o、及び20qが2次元的に配置される。側壁14に9個のレーダモジュール20b、20d、及び20f;20h、20j、及び20l;20n、20p、及び20rが2次元的に配置される。レーダモジュール20a-20rのそれぞれは、
図2に示したように、X方向に1次元的に配置された3個の送信アンテナTx1―Tx3と4個の受信アンテナRx1-Rx4を含む。
【0094】
第2実施形態に係る処理システムの電気的な構成の一例は、
図3と同様なので、図示を省略する。すなわち、18個のレーダモジュール20a-20rのそれぞれは18個の画像生成部22(
図3に示した画像生成部22a-22fと同様な構成)に接続される。画像生成部22は、2次元的に配置されたレーダモジュール20a-20r間の送受信による受信信号に基づき、奥行き方向(距離方向)および水平方向(方位角方向)にずれた複数のスライス画像を作成する。
【0095】
なお、レーダモジュール20a-20rのそれぞれにおいて受信アンテナと送信アンテナが2次元的に配置される場合には、画像生成部22は、2次元的に配置されたレーダモジュール20a-20r間の送受信による受信信号に基づき、奥行き方向と水平方向と垂直方向(仰角方向)にずれた複数のスライス画像を生成することができる。仰角は、Z方向に対応する。奥行き方向は垂直方向と水平方向に垂直な方向である。さらに、方位角・仰角・距離だけでなく、画像生成部22は、ドップラ(速度)の次元における信号処理によって速度情報に関するスライス画像も取得しても良い。
【0096】
18個の画像生成部22の出力が画像連結部24に接続される。画像連結部24は、18個の画像生成部22の出力画像を連結して、1枚の連結画像を生成する。レーダモジュール20a-20rのそれぞれにおいて受信アンテナと送信アンテナが1次元的に配置される場合には、画像連結部24は、距離対方位角(仰角)マップを生成することが出来る。レーダモジュール20a-20rのそれぞれにおいて受信アンテナと送信アンテナが2次元的に配置される場合には、画像連結部24は、距離対方位角マップに加えて、距離対仰角マップ、方位角対仰角マップを生成することが出来る。さらに速度情報に関するスライス画像を取得した場合には、方位角・仰角・距離と速度とを対応付けたマップも生成可能である。
【0097】
図23は、第2実施形態に係る画像連結部24が生成する連結画像の一例を示す図である。レーダモジュール20a-20rのそれぞれは、第1実施形態と同様に3つの送信アンテナからそれぞれ送信させる。レーダモジュール20aの送信アンテナTx1から電波が送信され、レーダモジュール20a-20rの受信アンテナRx1-Rx4で反射波が受信される。レーダモジュール20aの全送信アンテナTx1-Tx3から電波が送信され、レーダモジュール20a-20rの受信アンテナRx1-Rx4で反射波が受信されると、画像生成部22が18枚のA→A画像乃至A→R画像を生成し、A→A画像乃至A→R画像を画像連結部24に供給する。レーダモジュール20aが送信モジュールである場合に生成されるA→A画像乃至A→R画像はA画像群と称される。
【0098】
画像連結部24は、メモリ上の1枚の画像をレーダモジュール20a-20rの数に応じて、例えば3×6(=18)の中領域に分割する。画像連結部24は、レーダモジュール20aが送信モジュールの場合に生成されたA画像群を、A画像群が1枚の画像の、例えば左上の中領域に配置されるように、メモリに書き込む。画像連結部24は、同様に、他のレーダモジュール20b-20fが送信モジュールの場合に生成された6枚の画像を、これらの画像が1枚の画像の所定の中領域に配置されるように、メモリに書き込む。例えば、画像連結部24は、レーダモジュール20rが送信モジュールの場合に生成されたR画像群を、R画像群が1枚の画像の、例えば右下の中領域に配置されるように、メモリに書き込む。
【0099】
図24は、第2実施形態に係る画像連結部24が生成する連結画像の中の1画像群を示す図である。ここでは、A画像群を示す。他の画像群も同様である。画像連結部は、メモリ上の1枚の画像の1つの中領域を、例えば18×18の小領域に分割する。画像連結部24は、レーダモジュール20aが送信モジュールの場合に生成された18枚の画像(A→A画像乃至A→R画像)を、これらの画像が1枚の画像の、例えば左上の中領域に含まれる18個の小領域に配置されるように、メモリに書き込む。
【0100】
第2実施形態によれば、2次元的に配置された少なくとも2個のレーダモジュールに含まれる複数の送信アンテナの中の1つの送信アンテナと、少なくとも2個のレーダモジュールに含まれる複数の受信アンテナの中の1つの受信アンテナとの組み合わせに対応する受信信号に基づく複数の3次元画像が連結され、1枚の連結画像が生成され、連結画像に基づいて対象物の有無が判定される。そのため、低コストで短時間に対象物の有無を判定することができる処理システムが提供される。
【0101】
第2実施形態においても、第1実施形態に関し
図11乃至
図20を参照して説明したように、異なる時間に生成された複数の連結画像を連結してもよい。
【0102】
さらに、第2実施形態においても、第1実施形態に関し
図21を参照して説明したように、周辺に配置されるレーダモジュールの向きが、送受信面が検査エリアの中央に向けられてもよい。
【0103】
もし、複数の画像を重畳して1枚の画像とする場合は、画素の位置合わせが必要であるので、レーダモジュール20a-20fの向きを自由に設定することはできない。3次元画像の画素の位置合わせをするためには、3次元画像の方位と仰角と距離の分解能を揃える必要がある。この場合、レーダモジュール20a-20fの向きを自由に設定することはできない。
【0104】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【0105】
8…カメラ、20a-20f…レーダモジュール、22a-22f…画像生成部、24…画像連結部、26…判定部、28…表示部、32…基準信号発生部、34…照射スケジューラ