特開 2024-51840 所持物検査装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024051840

(43)【公開日】2024-04-11

(54)【発明の名称】所持物検査装置

(51)【国際特許分類】

   G06T 1/00 20060101AFI20240404BHJP

【ＦＩ】

G06T1/00 340B

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022158196

(22)【出願日】2022-09-30

(71)【出願人】

【識別番号】000004651

【氏名又は名称】日本信号株式会社

(74)【代理人】

【識別番号】100109221

【弁理士】

【氏名又は名称】福田 充広

(74)【代理人】

【識別番号】100181146

【弁理士】

【氏名又は名称】山川 啓

(72)【発明者】

【氏名】勝俣 翠

(72)【発明者】

【氏名】石毛 隆晴

(72)【発明者】

【氏名】北川 朝靖

(72)【発明者】

【氏名】高橋 真起

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057AA19

5B057BA01

5B057CA02

5B057CA08

5B057CA12

5B057CA16

5B057CB02

5B057CB08

5B057CB12

5B057CB16

5B057CC02

5B057CD03

5B057CE08

5B057DA07

5B057DA08

5B057DA16

(57)【要約】      （修正有）

【課題】対象物に対して傾いた方向から計測を行って検出像に歪みが生じた場合であっても、所持物の検査を容易にする所持物検査装置を提供すること。
【解決手段】所持物検査装置１００は、所定波長の電磁波であるテラヘルツ波等から対象画像を得る撮像装置５０Ａ～５０Ｄと、対象画像Ｐに対して姿勢推定処理により決定した複数の基準点により座標変換関数Ｈを決定し、座標変換関数Ｈに基づいて対象画像Ｐを正対画像すなわち正面画像等に変換する画像処理装置を有する制御装置と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

所定波長の電磁波から対象画像を得る撮像装置と、
前記対象画像に対して姿勢推定処理により決定した複数の基準点により座標変換関数を決定し、前記座標変換関数に基づいて前記対象画像を正対画像に変換する画像処理装置と
を備える所持物検査装置。

【請求項2】

前記正対画像に対して人物に対応する輪郭線を有する枠状のピクトグラム像を合成する、請求項１に記載の所持物検査装置。

【請求項3】

前記正対画像において、検出強度が相対的に低い影領域が所定以上のサイズである場合に、前記正対画像に対して前記影領域を囲む検出マークを合成する、請求項１に記載の所持物検査装置。

【請求項4】

前記影領域は、検出強度が相対的に高い明示領域に囲まれている、請求項３に記載の所持物検査装置。

【請求項5】

通路に沿って所定間隔で並ぶとともに通路を挟んで対向する４つの前記撮像装置を備え、
前記画像処理装置は、前記通路を通過する人物を右前及び左前の２方向から捉えた前記対象画像を前記正対画像に変換しつつ合成して正面画像を作成し、前記通路を通過する人物を右後及び左後の２方向から捉えた前記対象画像を前記正対画像に変換しつつ合成して背面画像を作成する、請求項１に記載の所持物検査装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、所定波長帯域の電磁波を受信して対象画像を検出する所持物検査装置に関する。

【背景技術】

【0002】

人体の一部である共通の被写体部分を含む複数の画像間で位置合わせ処理を行う画像の位置合わせ処理装置であって、画像内に少なくとも１つの部分領域を設定し、設定された部分領域毎に独立に画像間の位置合わせ処理を行うものが公知となっている（特許文献１）。この装置は、時系列的な画像間で位置合わせを行うものであり、具体的には、解剖学的構造に基づいて設定された部分的領域ごとに画像の座標変換式を独立に設定し、画像間の位置合わせを行っている。

【0003】

上記特許文献１の手法では、対象物に対して傾いた方向から計測を行った場合に生じる検出像の歪みに対する対処が考慮されていない。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１０－６６０７６号公報

【発明の概要】

【0005】

本発明は上記した点に鑑みてなされたものであり、対象物に対して傾いた方向から計測を行って検出像に歪みが生じた場合であっても、所持物の検査を容易にする所持物検査装置を提供することを目的とする。

【0006】

上記目的を達成するための所持物検査装置は、所定波長の電磁波から対象画像を得る撮像装置と、対象画像に対して姿勢推定処理により決定した複数の基準点により座標変換関数を決定し、座標変換関数に基づいて対象画像を正対画像に変換する画像処理装置とを備える。

【0007】

上記所持物検査装置では、画像処理装置が姿勢推定処理によって決定した基準点により座標変換関数を決定し、座標変換関数に基づいて対象画像を正対画像に変換するので、対象画像が正対方向に対して傾いた面内にある計測点について計測された場合であっても、計測点の分布に起因する対象画像の歪みを補正した正対画像を検査結果又は検査画像として表示することができる。これにより、係員が画像処理装置によって得た検査画像を目視で観察し、検査画像から所持物の有無を判定する際の信頼性を高めることができる。

【0008】

本発明の具体的な側面では、正対画像に対して人物に対応する輪郭線を有する枠状のピクトグラム像を合成する。対象画像を正対画像に変換しただけでは、輪郭に歪みが残り滲みが発生し、人物の部位として見ることが必ずしも容易ではないが、ピクトグラムによって人物の部位への当てはめが直感的で容易なものとなる。

【0009】

本発明の別の側面では、正対画像において、検出強度が相対的に低い影領域が所定以上のサイズである場合に、正対画像に対して影領域を囲む検出マークを合成する。この場合、所持物の有無の判定を機械的に支援することができ、検査の信頼性を高めることができる。

【0010】

本発明の別の側面では、影領域は、検出強度が相対的に高い明示領域に囲まれている。明示領域は、人体の映像に対応し、影領域が明示領域に囲まれていれば、隠し持った所持物の可能性が高いと言える。

【0011】

本発明の別の側面では、通路に沿って所定間隔で並ぶとともに通路を挟んで対向する４つの撮像装置を備え、画像処理装置は、通路を通過する人物を右前及び左前の２方向から捉えた対象画像を正対画像に変換しつつ合成して正面画像を作成し、通路を通過する人物を右後及び左後の２方向から捉えた対象画像を正対画像に変換しつつ合成して背面画像を作成する。この場合、４つの撮像装置のうち前側の一対の撮像装置を用いて、正面画像を少ない歪みで合成することができるとともに、後側の一対の撮像装置を用いて、背面画像を少ない歪みで合成することができるので、人物を前後から見た検査画像によって所持物の有無に関する判定を行う際の信頼性を高めることができる。

【図面の簡単な説明】

【0012】

【図1】実施形態の所持物検査装置の概要を説明する概念的斜視図である。

【図2】（Ａ）は、所持物検査装置を構成する１つの撮像装置を示す斜視図であり、（Ｂ）は、撮像装置の内部構造を説明する概念的断面図である。

【図3】撮像装置の回路的な構造を説明するブロック図である。

【図4】（Ａ）及び（Ｂ）は、撮像装置の動作を説明する平面図及び正面図である。

【図5】第１撮像装置によって得た第１対象画像の一例を説明する図である。

【図6】制御装置を説明するブロック図である。

【図7】（Ａ）は、対象画像に対して修正を加えるための座標変換関数の算出を説明する図であり、（Ｂ）は、対象画像に対する座標変換関数を用いた画像処理を説明する図である。

【図8】正面画像に対してピクトグラム像等を合成する処理を説明する図である。

【図9】制御装置による処理を説明するフローチャートである。

【発明を実施するための形態】

【0013】

以下、図１等を参照して、本発明に係る所持物検査装置の一実施形態について説明する。図１は、所持物検査装置１００の全体外観を示す概念的斜視図であり、図２（Ａ）及び２（Ｂ）は、所持物検査装置１００を構成する１つの撮像装置５０を説明する斜視図及び断面図である。なお、図１等において、通路ＰＷの延びる方向、すなわち検査を受ける対象者ＰＡの進行方向をＹ方向とし、通路ＰＷと直交し水平面に沿って延びる横方向をＸ方向とし、鉛直方向又は上下方向をＺ方向としている。

【0014】

所持物検査装置１００は、４つの撮像装置５０（５０Ａ～５０Ｄ）と、４つの撮像装置５０Ａ～５０Ｄの撮像動作を制御する制御装置７０とで構成されている。所持物検査装置１００は、通路ＰＷをＹ方向すなわち通過方向Ｄ１に移動して通路ＰＷ上に設けられた平面視で四角形のゲート領域ＧＡを通過する対象者ＰＡの身体を着衣のまま非接触で監視する。４つの撮像装置５０Ａ～５０Ｄは、通路ＰＷに沿って所定間隔で並ぶとともに通路ＰＷを挟んで対向している。より具体的には、４つの撮像装置５０Ａ～５０Ｄは、ゲート領域ＧＡの四隅に配置されており、第１撮像装置５０Ａは、ゲート領域ＧＡを左前方から監視し、第２撮像装置５０Ｂは、ゲート領域ＧＡを右前方から監視し、第３撮像装置５０Ｃは、ゲート領域ＧＡを左後方から監視し、第４撮像装置５０Ｄは、ゲート領域ＧＡを右後方から監視する。４つの撮像装置５０Ａ～５０Ｄは、対象者ＰＡから周囲に放射された電磁波ＲＷを受信し、制御装置７０は、撮像装置５０Ａ～５０Ｄが受信した電磁波ＲＷを解析し、対象者ＰＡが所持する所持物に危険物が含まれているか否かを検査する。すなわち、制御装置７０は、対象者ＰＡの衣服や所持物の内部を透視して危険物の有無等に関する情報の収集を可能にする解析部ＡＮとして機能し、必要な検査を行う。なお、制御装置７０は、上記のような解析処理に際して、４つの撮像装置５０Ａ～５０Ｄが調和した動作を行うように、４つの撮像装置５０Ａ～５０Ｄに対して、各種指令を出力し応答信号の入力を受け付けることで、これらの動作状態を管理する。

【0015】

所持物検査装置１００では、取扱いの対象となる電磁波ＲＷの波長帯域を、テラヘルツ波長帯域とする。すなわち、各撮像装置５０において、受信対象又は検出対象とする所定波長帯域の電磁波ＲＷは、テラヘルツ波長帯域の電磁波である。

【0016】

図２（Ａ）は、第１撮像装置５０Ａの斜視図であり、図２（Ｂ）は、第１撮像装置５０Ａの内部構造を説明する概念的断面図である。第１撮像装置５０Ａは、柱状の筐体ＣＳに覆われており、筐体ＣＳ中に受信器５１と、人感センサ５５とを備える。

【0017】

受信器５１が電磁波ＲＷを取り込む方位Ｓ１は、水平方向に関して＋Ｘ方向と－Ｙ方向との略中間であり、具体的には＋Ｘ方向及び－Ｙ方向に対して４５°をなす方向となっている。電磁波ＲＷは、方位Ｓ１から所定の仰角及び俯角で受信器５１に取り込まれるので、第１撮像装置５０Ａ又は受信器５１が感度を有する検出面は、方位Ｓ１及びＺ方向に平行に延びる鉛直面となっている。筐体ＣＳには、スリット状の窓１１が形成され、窓１１は、カバー部材１２で覆われている。窓１１は、所定方向から筐体ＣＳ内に電磁波ＲＷが入射することを許容し、カバー部材１２は、電磁波ＲＷを透過させるとともに第１撮像装置５０Ａの内部を保護するレドームとして機能している。カバー部材１２は、具体的には、例えば樹脂製のシートと、樹脂製又は金属製の網目構造からなる補強部材とを積層したものである。

【0018】

人感センサ５５は、赤外線の光源や受光素子を含み、近接する物体の存在や移動速度を検出ことができる。人感センサ５５は、第１撮像装置５０Ａの監視領域内に対象者ＰＡ（図１参照）の存在を検出した場合に、第１撮像装置５０Ａによる撮像動作を開始させるといった処理を可能にする。人感センサ５５は、図１に示す制御装置７０の制御下で動作しており、監視領域内に人が存在するか否かを検出し、検出結果を制御装置７０に出力する。

【0019】

図２（Ｂ）に示すように、受信器５１は、走査部２０と受信部３０とを備える。走査部２０は、ミラー２１を有し、ミラー２１を回転軸ＲＸの周りに所定回転速度Ｎ（例えばＮ＝２０００ｒｐｍ）で回転させることで、所定角度範囲θ（例えばθ＝１００°）で、筐体ＣＳの窓１１から入射する電磁波ＲＷを反射によって内部に取り込み、筐体ＣＳの内部に設けた受信部３０に導く。受信部３０は、電磁波ＲＷを検出すべく、例えばテラヘルツ波長帯域の電磁波を検出可能な検出器等で構成される。

【0020】

図３を参照して、受信器５１において、走査部２０は、ミラー２１の他に、ミラー２１を回転軸ＲＸの周りに所定回転速度で回転させる回転駆動部２２を有する。回転駆動部２２は、制御装置７０の制御下で動作する。受信部３０は、凹面状の反射部材ＭＲと、受信アンテナＲＡと、信号強度検出部ＤＴとを有する。窓１１から入射しミラー２１で反射された電磁波ＲＷは、反射部材ＭＲによって受信アンテナＲＡに向けて反射される。受信アンテナＲＡが電磁波ＲＷを受けると、受信アンテナＲＡに接続された信号強度検出部ＤＴは、電磁波ＲＷの強度を検出する。信号強度検出部ＤＴは、制御装置７０の制御下で動作しており、電磁波ＲＷの検出強度に対応する検出信号が、制御装置７０に出力される。

【0021】

ミラー２１を回転させつつ、これに同期して信号強度検出部ＤＴの検出信号を取り込むことで、ミラー２１の回転角αの関数として電磁波ＲＷすなわちテラヘルツ波の放射強度を計測することができる。ミラー２１の回転角αは、Ｚ方向の位置に比例する値（例えばｔａｎ（α／２－４５°）に変換できるので、ミラー２１の一回の主走査によって縦方向の走査線又は画像が得られる。対象者ＰＡが通路ＰＷを通過方向Ｄ１に略一定速度で移動する場合（図１参照）、電磁波ＲＷの主走査に対応し鉛直方向に延びる走査線は、対象者ＰＡの正面の移動とともに左側から右側に向かって徐々に移動する。これにより、副走査が行われ、各走査線に対応して得た信号強度を輝度情報に変換し繋ぎ合わせた２次元的な画像は、対象者ＰＡの左斜め前方からの近似的正面画像に相当するものとなる。

【0022】

図１等に戻って、第２撮像装置５０Ｂは、図２（Ｂ）や図３に示す第１撮像装置５０Ａの構造と同様の構造を有し、制御装置７０の制御下で対象者ＰＡの右斜め前方からの近似的正面画像を検出する。第３撮像装置５０Ｃは、第１撮像装置５０Ａの構造と同様の構造を有し、制御装置７０の制御下で対象者ＰＡの左斜め後方からの近似的背面画像を検出し、第４撮像装置５０Ｄは、第１撮像装置５０Ａの構造と同様の構造を有し、制御装置７０の制御下で対象者ＰＡの右斜め後方からの近似的背面画像を検出する。

【0023】

以上では、所持物検査装置１００が取り扱う電磁波ＲＷをテラヘルツ波としたが、所持物検査装置１００が取り扱う電磁波ＲＷの波長帯域は、ミリ波長帯域からテラヘルツ波長帯域までのうちから定められた任意の波長帯域とすることができる。

【0024】

図４（Ａ）及び４（Ｂ）を参照して、第１撮像装置５０Ａによる第１対象画像の取得方法について説明する。図４（Ａ）は、４つの撮像装置５０Ａ～５０Ｄの平面図であり、図４（Ｂ）は、４つの撮像装置５０Ａ～５０Ｄの正面図である。

【0025】

第１撮像装置５０Ａの検出面ＳＳ１は、＋Ｘ方向と－Ｙ方向との略中間方向に延びている。対象者ＰＡの前面は、近似的には、全体としてＸＺ面に略平行に延びるとみなすことができる。対象者ＰＡが通路ＰＷを通過方向Ｄ１に向かって略一定速度で移動する場合、検出面ＳＳ１による対象者ＰＡの前面上の走査線状領域ＳＬは、全体として鉛直方向に細長く延び、対象者ＰＡの前面の移動とともに奥の左側から手前の右側に向かって徐々に移動する。走査線状領域ＳＬは、厳密には対象者ＰＡの前面の凹凸形状に依存するが、図面中では説明の便宜上直線として示している。対象者ＰＡの通過により、走査線状領域ＳＬ１，…，ＳＬｋ，…ＳＬｎ，…ＳＬｐ，…が検出面ＳＳ１に沿って切り換わり、走査線状領域ＳＬ１，ＳＬ１，ＳＬ２，…で得られた強度検出情報すなわち信号強度を輝度情報に変換し繋ぎ合わせることで、２次元的な強度分布の画像を得ることができる。

【0026】

図５は、第１撮像装置５０Ａを動作させることによって得た加工前の第１対象画像について一例を説明する図である。第１対象画像Ｐ１において、縦長の画像領域Ｒｋは、図４（Ｂ）に示す走査線状領域ＳＬｋに対応し、縦長の画像領域Ｒｎは、図４（Ｂ）に示す走査線状領域ＳＬｎに対応し、縦長の画像領域Ｒｐは、図４（Ｂ）に示す走査線状領域ＳＬｐに対応する。第１撮像装置５０Ａの近傍を通過する対象者ＰＡ（図１参照）は、黒体放射を行う物体であり、第１対象画像Ｐ１中において、対象者ＰＡに相当する人物部分Ｐｈは、対象者ＰＡの体温を反映した明るいシルエット画像となっている。第１対象画像Ｐ１中の人物部分Ｐｈは、図４（Ｂ）に示す対象者ＰＡの正面画像からすると、輪郭が大きく異なるものとなっている。

【0027】

図４（Ｂ）に戻って、例えば対象者ＰＡの肩に着目すると、対象者ＰＡが通路ＰＷを通過すると、初期の段階において、対象者ＰＡの上部に関して右肩が先行して検出面ＳＳ１を通過し、この右肩に対応する計測点をＤ１１とする。この計測点Ｄ１１は、走査線状領域ＳＬｋに含まれる。対象者ＰＡが通路ＰＷを通過する最終の段階では、対象者ＰＡの上部に関して左肩が検出面ＳＳ１を通過し、この左肩に対応する計測点をＤ１２とする。この計測点Ｄ１２は、走査線状領域ＳＬｐに含まれる。これらの計測点Ｄ１１，Ｄ１２の下方において、計測点Ｄ１１，Ｄ１２の検出前後のタイミングで、対象者ＰＡの膝関節が検出面ＳＳ１を通過し、膝関節に対応する計測点をＤ１３，Ｄ１４とする。

【0028】

制御装置７０は、詳細は後述するが、図５に示す第１対象画像Ｐ１から対象者ＰＡの形状的又は骨格的な特徴部分に対応する計測点Ｄ１１，Ｄ１２，Ｄ１３，Ｄ１４（図４（Ｂ）参照）に対応する基準点Ｉ１，Ｉ２，Ｉ３，Ｉ４を抽出し、基準点Ｉ１，Ｉ２，Ｉ３，Ｉ４が人体の標準的な部位に対応する位置に配置されるように、画像処理によって、第１対象画像Ｐ１に対して変形を加える。この変形は、近似的には、第１対象画像Ｐ１を斜め方向から見た状態から正対方向から見た状態に変換することに相当する。

【0029】

第２撮像装置５０Ｂの検出面ＳＳ２は、－Ｘ方向と－Ｙ方向との略中間方向に延びている。第２撮像装置５０Ｂを動作させることによって、詳細な説明を省略するが、第１撮像装置５０Ａによる計測と同様の原理で、対象者ＰＡの正面から右側にかけての斜め方向に関して、正面から左側にかけての斜め方向に関してよりも、解像度が高い第２対象画像を得ることができる。第２対象画像に対しても、対象者ＰＡの形状的又は骨格的な特徴部分に対応する計測点を抽出し、画像処理によって、計測点が人体の標準的な位置に配置されるように変形を加える。

【0030】

第１撮像装置５０Ａが取得した第１対象画像は、対象者ＰＡの正面から左側にかけての斜め方向に解像度が高く、第２撮像装置５０Ｂが取得した第２対象画像は、対象者ＰＡの正面から右側にかけての斜め方向に解像度が高い。よって、制御装置７０において、第１撮像装置５０Ａによって取得した第１対象画像と、第２撮像装置５０Ｂによって取得した第２対象画像とを合成することで、より解像度又は精度が高い正対画像すなわち正面画像を得ることができる。第１対象画像と第２対象画像とを合成する手法としては、第１撮像装置５０Ａによって取得した第１対象画像のうち左半身側の画像部分（図４（Ｂ）に示す走査線状領域ＳＬｎ，ＳＬｐ等に相当）と、第２撮像装置５０Ｂによって取得した第２対象画像のうち右半身側の画像部分（図示省略）とを繋ぎ合わせることが考えられる。半身画像を繋ぎ合わせる際には、境界領域すなわち中央領域において連続的変化を達成するように画像の平滑化処理を伴うものとすることができる。第１対象画像と第２対象画像とを合成する手法は、半身画像を繋ぎ合わせるものに限らず、第１対象画像と第２対象画像とを加算平均するもの、或いは所定の重み付けで加算するものであってもよい。

【0031】

第３撮像装置５０Ｃの検出面ＳＳ３は、＋Ｘ方向と＋Ｙ方向との略中間方向に延びている。第３撮像装置５０Ｃを動作させることによって、詳細な説明を省略するが、第１撮像装置５０Ａによる計測と同様の原理で、対象者ＰＡの背面から左側にかけての斜め方向又は半身側で解像度が高い第３対象画像を得ることができる。また、第４撮像装置５０Ｄの検出面ＳＳ４は、－Ｘ方向と＋Ｙ方向との略中間方向に延びている。第４撮像装置５０Ｄを動作させることによって、詳細な説明を省略するが、第１撮像装置５０Ａによる計測と同様の原理で、対象者ＰＡの背面から右側にかけての斜め方向又は半身側で解像度が高い第４対象画像を得ることができる。制御装置７０は、第３撮像装置５０Ｃによって取得した第３対象画像に対して、斜め方向から見た状態から正対方向から見た状態に変換する修正を加え、第４撮像装置５０Ｄによって取得した第４対象画像に対して、斜め方向から見た状態から正対方向から見た状態に変換する視点的な修正を加える。さらに、制御装置７０は、視点的な修正が加えられた第３対象画像と、視点的な修正が加えられた第４対象画像とを合成し、より解像度又は精度が高い正対画像すなわち背面画像を作成する。

【0032】

図６に示すように、制御装置７０は、演算処理装置７１と記憶装置７２と通信装置７３表示装置７５とを含む。これらのうち、演算処理装置７１と記憶装置７２とは、画像処理装置７０ａとして機能する。演算処理装置７１は、これに組み込まれたインターフェース回路（不図示）を介して撮像装置５０Ａ～５０Ｄを構成する受信器５１及び人感センサ５５と通信し、受信器５１及び人感センサ５５の動作状態を管理する。この際、演算処理装置７１は、受信器５１の主走査によって得た画像を時系列的に合成して２次元画像としての対象画像を得る処理、対象画像に対して視点的な修正を加える処理、修正後の対象画像に対して枠状のピクトグラム像（具体的には起立した人の輪郭枠）を合成する処理、対象画像のうち人物に対応する領域内に比較的大きな影領域が存在する場合に影領域に対してマーキング（具体的には円その他の外縁線）を施す処理等を行う。その際、演算処理装置７１は、視点的な修正が加えられた第１対象画像及び第２対象画像を合成して前側からの正対画像である正面画像を作成する。また、演算処理装置７１は、視点的な修正が加えられた第３対象画像及び第４対象画像を合成して後側からの正対画像である背面画像を作成する。記憶装置７２は、演算処理装置７１を動作させるプログラムやデータを保管する。通信装置７３は、外部システムとの連携を可能にするものであり、制御装置７０と管理サーバとの交信を可能にし、監視結果を管理サーバに提供する。表示装置７５は、監視員に検査結果を提示するものであり、例えば正面用のピクトグラム像が合成されマーキングが施された正面画像と、背面用のピクトグラム像が合成されマーキングが施された背面画像とを並べて表示する。

【0033】

図７（Ａ）は、撮像装置５０によって得た対象画像に対して視点的な修正を加えるための座標変換関数の算出を説明する図である。座標変換関数の目的は、目視観察を容易にするため、対象画像Ｐ中の人物部分Ｐｈを標準像ＳＨに変形させることである。このことは、斜め方向からの観察像に対応する人物部分Ｐｈを正対方向から見た状態に相当する正面画像又は正対画像に変形することに対応する。人物部分Ｐｈにおいて、基準点Ｉ１（ｘ１，ｙ１）は、対象者ＰＡの右肩に対応し、図４（Ｂ）における計測点Ｄ１１に相当し、基準点Ｉ２（ｘ２，ｙ２）は、対象者ＰＡの左肩に対応し、図４（Ｂ）における計測点Ｄ１２に相当する。また、基準点Ｉ３（ｘ３，ｙ３）は、対象者ＰＡの右膝に対応し、図４（Ｂ）における計測点Ｄ１３に相当し、基準点Ｉ４（ｘ４，ｙ４）は、対象者ＰＡの左膝に対応し、図４（Ｂ）における計測点Ｄ１４に相当する。標準像ＳＨは、標準的な体型を想定した輪郭である。標準像ＳＨにおいて、基準点Ｍ１（ｘ１'，ｙ１'）は、右肩であり、基準点Ｍ２（ｘ２'，ｙ２'）は、左肩であり、基準点Ｍ３（ｘ３'，ｙ３'）は、右膝であり、基準点Ｍ４（ｘ４'，ｙ４'）は、左膝である。基準点Ｍ１～Ｍ４は、標準的な体型を想定して予め提供されるデータである。

【0034】

人物部分Ｐｈから基準点Ｉ１～Ｉ４を抽出する手法として、姿勢推定処理すなわち姿勢推定アルゴリズムを用いる。姿勢推定アルゴリズムは、人物部分Ｐｈの画像から胴体や手足を抽出し、人体の姿勢や関節を推定するものである。姿勢推定アルゴリズムとして公知のものを利用することができるが、撮像装置５０によって得られる対象画像に特化したＡＩ型の処理を行う姿勢推定ソフトウェアを用いることができる。姿勢推定ソフトウェアは、教師あり又は教師なしの深層学習を組み込んだ学習プログラムによって適正に動作するようなものとすることができる。姿勢推定ソフトウェアは、例えば撮像装置５０によって得られる対象画像を入力することで、出力として関節構造ＪＳを出力するものとする。関節構造ＪＳは、具体的には、人物部分Ｐｈ中の肩関節及び膝関節の座標を含み、具体例では４つの基準点Ｉ１～Ｉ４の座標情報を含むものである。

【0035】

姿勢推定ソフトウェアによって得た基準点Ｉ１（ｘ１，ｙ１）～Ｉ４（ｘ４，ｙ４）は、座標変換関数によって、標準的な基準点Ｍ１（ｘ１'，ｙ１'）～Ｍ４（ｘ４'，ｙ４'）に変換される。このような座標変換関数によって、撮像装置５０によって得られた対象画像が全体として座標変換され、対象画像の歪みが補正される。座標変換関数は、具体的にはホモグラフィ変換の手法を用いて得られる投影変換行列又は座標変換行列である。座標変換関数Ｈは、以下の式で与えられる。

ここで、ｈ１１,ｈ１２，ｈ１３，ｈ２１,ｈ２２，ｈ２３，ｈ３１,ｈ３２は、当初変数であり、（ｘ，ｙ）は、変換前の位置（ｘ１，ｙ１）～（ｘ４，ｙ４）を意味し、（ｘ'，ｙ'）は、返還後の位置（ｘ１'，ｙ１'）～（ｘ４'，ｙ４'）を意味する。また、Ｗ（ｘ，ｙ）は、変換前の位置（ｘ，ｙ）での対象画像の輝度情報である。（ｘ１，ｙ１）～（ｘ４，ｙ４）及び（ｘ１'，ｙ１'）～（ｘ４'，ｙ４'）の組み合わせから、変数ｈ１１,ｈ１２，ｈ１３，ｈ２１,ｈ２２，ｈ２３，ｈ３１,ｈ３２を計算することができ、座標変換関数Ｈを決定することができる。

【0036】

図７（Ｂ）は、撮像装置５０によって得た対象画像Ｐに対して座標変換行列による投影変換を行う画像処理を説明する図である。元の対象画像Ｐは、視点に起因する歪を低減するような補正が施され、半身の正対画像である正面画像ＯＰに変換される。なお、対象画像Ｐや正面画像ＯＰには、比較的大きな影領域ＦＡが存在し、影領域ＦＡは所持物に相当すると考えれる。

【0037】

対象画像Ｐから影領域ＦＡを抽出する手法として、物体検出アルゴリズムを用いる。物体検出アルゴリズムは、人物部分Ｐｈの画像から検出強度又は輝度が相対的に低い影領域ＦＡの有無を判定するものであり、検出強度が低い領域が例えば直径１０ｃｍの円内に収まらないといった所定以上のサイズである場合や、検出強度の低い領域が検出強度の相対的に高い明示領域ＣＡに囲まれている場合に、所持物に相当する影領域ＦＡであると判断する。物体検出アルゴリズムは、撮像装置５０によって得られる対象画像Ｐに特化した物体検出ソフトウェアである。物体検出ソフトウェアは、教師あり又は教師なしの深層学習を組み込んだ学習プログラムによって適正に動作するようなものとすることができる。

【0038】

図８は、修正後の正面画像ＯＰに対して枠状のピクトグラム像ＰＧを合成する処理等を説明する図である。ピクトグラム像ＰＧは、人物に対応する輪郭線を有する枠状のパターンであり、起立した人物に対応する輪郭線Ｇ１と、白い頭部シルエットＧ２とを有する。加工後の正面表示像ＤＰにおいて、右半身の正面画像ＯＰ１は、第１撮像装置５０Ａによって撮影した対象画像Ｐを座標変換関数によって歪補正し、ピクトグラム像ＰＧ外の映像を除去したものである。左半身の正面画像ＯＰ２は、第２撮像装置５０Ｂによって撮影した対象画像Ｐを座標変換関数によって歪補正し、ピクトグラム像ＰＧ外の映像を除去したものである。正面画像ＯＰ１と正面画像ＯＰ２との繋ぎ目には、平滑化の画像処理が施されている。正面画像ＯＰ１については、影領域ＦＡが検出されており、画像処理により、所持物の検出を示すマーキングとして、影領域ＦＡを囲む検出マークＤＭが合成されている。検出マークＤＭは、影領域ＦＡの外縁に沿ったものであるが、正確に外縁に沿って加工される必要はなく、図示のような円形や楕円とすることができる。

【0039】

図示を省略するが、背面表示像は、正面表示像ＤＰと同様のものである。つまり、背面表示像は、第３撮像装置５０Ｃによって撮影した対象画像Ｐを座標変換関数によって歪補正した右半身の背面画像と、第４撮像装置５０Ｄによって撮影した対象画像Ｐを座標変換関数によって歪補正した左半身の背面画像とを繋ぎ合わせ、ピクトグラム像を重ね合わせて外側の像を除去し、影領域ＦＡが存在する場合、検出マークＤＭを合成したものとなる。なお、背面表示像の場合、ピクトグラム像ＰＧの頭部シルエットＧ２は、後頭部であり、顔面上のパターンを有しない。

【0040】

図９は、制御装置７０又は演算処理装置７１による処理を説明するフローチャートである。画像処理装置７０ａである演算処理装置７１は、撮像装置５０Ａ～５０Ｄを動作させ、撮像装置５０Ａ～５０Ｄから対象画像Ｐを取り込む（ステップＳ１１）。その後、演算処理装置７１は、姿勢推定アルゴリズムを用いて、各対象画像Ｐから着目する関節に対応する基準点Ｉ１（ｘ１，ｙ１）～Ｉ４（ｘ４，ｙ４）を抽出する（ステップＳ１２）。その後、演算処理装置７１は、標準的な基準点Ｍ１（ｘ１'，ｙ１'）～Ｍ４（ｘ４'，ｙ４'）を設定する（ステップＳ１３）。基準点Ｍ１（ｘ１'，ｙ１'）～Ｍ４（ｘ４'，ｙ４'）に関する情報は、例えば記憶装置７２に予め保管されている。演算処理装置７１は、基準点Ｉ１（ｘ１，ｙ１）～Ｉ４（ｘ４，ｙ４）を基準点Ｍ１（ｘ１'，ｙ１'）～Ｍ４（ｘ４'，ｙ４'）に変換する座標変換関数すなわち変換行列を計算する（ステップＳ１４）。演算処理装置７１は、座標変換関数に基づいて、各対象画像Ｐを変形し歪補正した正対画像を得る（ステップＳ１５）。なお、撮像装置５０Ａ～５０Ｄから得たすべての対象画像Ｐに対して座標変換関数による画像処理が行われ、右前の正面画像と、左前の正面画像と、右前の背面画像と、左前の背面画像とが得られる。右前の正面画像と左前の正面画像とは繋ぎ合わされ、ピクトグラム像ＰＧが重ね合わされ、該当する場合は、検出マークＤＭが合成される（ステップＳ１６）。同様に右前の背面画像と左前の背面画像とは繋ぎ合わされ、ピクトグラム像ＰＧが重ね合わされ、該当する場合は、検出マークＤＭが合成される（ステップＳ１６）。このようにして得られた正面表示像ＤＰは、表示装置７５に他の関連情報とともに表示される。正対画像にピクトグラム像ＰＧを合成することにより、正対画像の人物の部位への当てはめが直感的で容易なものとなる。また、正対画像に対して影領域を囲む検出マークＤＭを合成することにより、所持物の有無の判定を機械的に支援することができ、検査の信頼性を高めることができる。

【0041】

以上で説明した実施形態の所持物検査装置１００は、所定波長の電磁波であるテラヘルツ波等から対象画像Ｐを得る撮像装置５０Ａ～５０Ｄと、対象画像Ｐに対して姿勢推定処理により決定した複数の基準点により座標変換関数Ｈを決定し、座標変換関数Ｈに基づいて対象画像Ｐを正対画像（具体的には正面画像又は背面画像）に変換する画像処理装置７０ａとを備える。

【0042】

上記所持物検査装置１００では、画像処理装置７０ａが姿勢推定処理によって決定した基準点Ｉ１（ｘ１，ｙ１）～Ｉ４（ｘ４，ｙ４）により座標変換関数Ｈを決定し、座標変換関数Ｈに基づいて対象画像Ｐを正対画像に変換するので、対象画像Ｐが正対方向に対して傾いた面内にある計測点Ｄ１１，Ｄ１２，Ｄ１３，Ｄ１４について計測された場合であっても、計測点の分布に起因する対象画像Ｐの歪みを補正した正対画像を検査結果又は検査画像として表示することができる。これにより、係員が画像処理装置７０ａによって得た検査画像を目視で観察し、検査画像から所持物の有無を判定する際の信頼性を高めることができる。

【0043】

〔その他〕
この発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することが可能である。

【0044】

以上の説明では、所持物検査装置１００が取り扱う電磁波ＲＷについて、ミリ波長帯域からテラヘルツ波長帯域までのうちから定められた任意の波長帯域に設定できるとしたが、電磁波ＲＷは、これに限らず、衣服等に対する透過性があれば、Ｘ線であってもよく、マイクロ波であってもよく、赤外線であってもよい。

【0045】

以上の説明では、撮像装置５０が受信器５１のみで構成されるとしたが、撮像装置５０は、受信器５１が検出する電磁波ＲＷを発生し対象に向けて送信する送信器を備えるものであってもよい。

【0046】

以上の説明では、撮像によって取得した対象画像Ｐに対して姿勢推定処理又は姿勢推定アルゴリズムを行っているが、対象画像Ｐに対して台形補正といった前処理を行い前処理後の画像に対して姿勢推定処理を行うこともできる。この場合、前処理によって画像の歪を低減することができ、姿勢推定処理の精度をより向上させることができる。また、計測点Ｄ１１～Ｄ１４は、４つに限らず、例えば５点以上とすることができる。

【符号の説明】

【0047】

５０Ａ～５０Ｄ、５０…撮像装置、１１…窓、２０…走査部、２１…ミラー、２２…回転駆動部、３０…受信部、５１…受信器、５５…人感センサ、７０…制御装置、７０ａ…画像処理装置、７１…演算処理装置、７２…記憶装置、７５…表示装置、１００…所持物検査装置、Ｄ１…通過方向、Ｄ１１，Ｄ１２，Ｄ１３，Ｄ１４…計測点、ＤＭ…検出マーク、ＤＰ…正面表示像、ＤＴ…信号強度検出部、ＦＡ…影領域、ＧＡ…ゲート領域、Ｉ１～-Ｉ４…基準点、ＪＳ…関節構造、Ｍ１～-Ｍ４…基準点、ＯＰ，ＯＰ１，ＯＰ２…正面画像、Ｐ…対象画像、ＰＡ…対象者、ＰＧ…ピクトグラム像、Ｐｈ…人物部分、ＰＷ…通路、ＲＷ…電磁波、ＳＨ…標準像、ＳＬｋ，ＳＬｎ，ＳＬｐ…走査線状領域、ＳＳ１，ＳＳ２，ＳＳ３，ＳＳ４…検出面

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】