特開 2024-33429 表示装置、及び危険物検知システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024033429

(43)【公開日】2024-03-13

(54)【発明の名称】表示装置、及び危険物検知システム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240306BHJP

   G09G 5/00 20060101ALI20240306BHJP

   G09G 5/38 20060101ALI20240306BHJP

   G09G 5/36 20060101ALI20240306BHJP

【ＦＩ】

H04N7/18 U

G09G5/00 550C

G09G5/38 A

G09G5/36 520P

G09G5/00 X

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022136998

(22)【出願日】2022-08-30

(71)【出願人】

【識別番号】000004651

【氏名又は名称】日本信号株式会社

(74)【代理人】

【識別番号】110000752

【氏名又は名称】弁理士法人朝日特許事務所

(72)【発明者】

【氏名】熊谷 裕紀

(72)【発明者】

【氏名】小川 千隼

(72)【発明者】

【氏名】高橋 真起

【テーマコード（参考）】

5C054

5C182

【Ｆターム（参考）】

5C054CA01

5C054CA04

5C054CC02

5C054EA01

5C054EA05

5C054EA07

5C054FC01

5C054FC12

5C054FC14

5C054FD03

5C054FD07

5C054FE12

5C054FF03

5C054GB01

5C054GB05

5C182AA03

5C182AB18

5C182AC03

5C182AC39

5C182BA14

5C182BA27

5C182BA54

5C182BC22

5C182BC25

5C182CB13

5C182CB14

5C182CB42

5C182CB44

5C182CB52

5C182CB54

5C182CC24

5C182DA53

5C182DA70

(57)【要約】

【課題】経験・スキルのないユーザにも走査画像の位置と撮影画像の位置との対応付けを可能にさせる。
【解決手段】第１取得部１１１は、検知器２から走査信号を取得する。生成部１１２は、取得した走査信号から走査画像を生成する。第１抽出部１１３は、生成した走査画像から人領域を抽出する。検知部１１４は、走査画像に示されている危険物を検知する。補正部１１５は、走査画像の歪みを補正する。第２取得部１１６は、光学カメラ３から、人Ｑが撮影された撮影画像を取得する。第２抽出部１１７は、メモリ１２から学習済モデル１２３を読み出して、これに記述された特徴量等を用いることにより、第２取得部１１６が取得した撮影画像から人領域を抽出する。表示制御部１１８は、走査画像と撮影画像とを、それぞれにおいて抽出された人領域の位置の対応関係をユーザが特定できるような態様で表示部１５に表示させる。
【選択図】図８

【特許請求の範囲】

【請求項1】

受波方向の変化により空間を走査して生成した走査画像と、光学カメラで撮影した撮影画像とを、ユーザが対応する位置を特定可能な態様でそれぞれ表示する表示装置。

【請求項2】

前記走査画像により示される対象物の位置が前記撮影画像により示される該対象物の位置に合うように該走査画像を補正する
請求項１に記載の表示装置。

【請求項3】

前記走査画像と前記撮影画像とを前記ユーザが比較可能に表示する
請求項１又は２に記載の表示装置。

【請求項4】

請求項１又は２に記載の表示装置を有し、
前記走査画像に基づいて危険物を検知して、該危険物の位置を前記表示装置に表示させる
危険物検知システム。

【請求項5】

前記撮影画像から人を示す領域を抽出して、該領域の位置を前記表示装置に表示させる
請求項４に記載の危険物検知システム。

【請求項6】

２以上の周波数の異なる電波を受けて、それぞれ前記走査画像を生成し、該走査画像のそれぞれに基づいて、種類の異なる前記危険物を検知する
請求項４に記載の危険物検知システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、電磁波によって人の所持物を表示する表示装置、及び人の所持物の中から危険物を検知する危険物検知システムの技術に関する。

【背景技術】

【0002】

所持物検査を行う方法として、電磁波を使用して衣服の下に隠匿された危険物の有無を検査する方法がある。例えば、特許文献１は、検査部から得られる計測データに基づいて、ゲート領域を通過する対象者が衣服の中に所持する危険物等を２次元的な半透過像として可視化する技術を開示している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１１５１０７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、所持物検査装置が半透過像等により危険物を発見したとしても、その半透過像等の表示を目で見て確認するのは所持物検査の現場にいる係員である。半透過像等の表示は可視光に基づく像ではないから、可視光下の肉眼で対象者を見ている係員にとって、その対象者の外観と半透過像等の表示とを関連付けることが難しいことがある。

【0005】

また、特許文献１に記載された技術等において、検査部はＺ方向（縦、高さ方向）に細長いライン状検出像を繰り返し取得し、これらを対象者が移動するＹ方向（横方向）に繋ぎ合わせて、対象者の前面や側面に対応する画像を生成する。

【0006】

こういった一方向に走査する検査部が得る画像は、一本の走査線において端に近い領域ほど像が歪む。この歪みのため、検査部が表示する半透過像等と係員が肉眼で捉える対象者の外観との対応付けはさらに困難になり易く、係員は、対象者の何処に危険物が秘匿されているかを判断できないことがあった。

【0007】

本発明の目的の一つは、経験・スキルのないユーザ（係員）にも走査画像の位置と撮影画像の位置との対応付けを可能にさせることである。

【課題を解決するための手段】

【0008】

本発明は、受波方向の変化により空間を走査して生成した走査画像と、光学カメラで撮影した撮影画像とを、ユーザが対応する位置を特定可能な態様でそれぞれ表示する表示装置、を第１の態様として提供する。

【0009】

第１の態様の表示装置によれば、経験・スキルのないユーザにも走査画像の位置と撮影画像の位置との対応付けを可能にさせることができる。

【0010】

第１の態様の表示装置において、前記走査画像により示される対象物の位置が前記撮影画像により示される該対象物の位置に合うように該走査画像を補正する、という構成が第２の態様として採用されてもよい。

【0011】

第２の態様の表示装置によれば、撮影画像に対する走査画像の歪みが目立たなくなる。

【0012】

第１又は第２の態様の表示装置において、前記走査画像と前記撮影画像とを前記ユーザが比較可能に表示する、という構成が第３の態様として採用されてもよい。

【0013】

第３の態様の表示装置によれば、ユーザは走査画像と撮影画像とを比較することができる。

【0014】

本発明は、請求項１又は２に記載の表示装置を有し、前記走査画像に基づいて危険物を検知して、該危険物の位置を前記表示装置に表示させる危険物検知システム、を第４の態様として提供する。

【0015】

第４の態様の危険物検知システムによれば、ユーザは危険物の位置を確認することができる。

【0016】

第４の態様の危険物検知システムにおいて、前記撮影画像から人を示す領域を抽出して、該領域の位置を前記表示装置に表示させる、という構成が第５の態様として採用されてもよい。

【0017】

第５の態様の危険物検知システムによれば、ユーザは撮影画像における人を示す領域を確認することができる。

【0018】

第４の態様の危険物検知システムにおいて、２以上の周波数の異なる電波を受けて、それぞれ前記走査画像を生成し、該走査画像のそれぞれに基づいて、種類の異なる前記危険物を検知する、という構成が第６の態様として採用されてもよい。

【0019】

第６の態様の危険物検知システムによれば、ユーザは、２以上の周波数ごとに検知される、異なる種類の危険物をそれぞれ確認することができる。

【図面の簡単な説明】

【0020】

【図1】本発明の実施形態に係る危険物検知システム９の構成を示すブロック図。

【図2】検知器２、及び光学カメラ３の配置を示す平面図。

【図3】検知器２の検知領域Ｒａを説明するための図。

【図4】軸Ｆを中心に検知対象物を捉えることによる歪みを説明するための図。

【図5】表示装置１の構成の例を示す図。

【図6】抽出基準表１２１の構成の例を示す図。

【図7】検知基準表１２２の構成の例を示す図。

【図8】表示装置１の機能的構成の例を示す図。

【図9】表示装置１の動作の流れの例を示すフロー図。

【図10】走査画像の二値化の例を示す図。

【図11】走査画像を加工して人領域を抽出する処理を説明するための図。

【図12】抽出した人領域を走査画像に重ねて表示する例を示す図。

【図13】抽出した人領域を撮影画像に重ねて表示する例を示す図。

【図14】変形例における補正を説明するための図。

【発明を実施するための形態】

【0021】

＜実施形態＞
＜危険物検知システムの構成＞
以下、図において、各構成が配置される空間をＸＹＺ右手系座標空間として表す。また、図に示す座標記号のうち、円の中に点を描いた記号は、紙面奥側から手前側に向かう矢印を表す。空間においてＸ軸に沿う方向をＸ軸方向という。また、Ｘ軸方向のうち、Ｘ成分が増加する方向を＋Ｘ方向といい、Ｘ成分が減少する方向を－Ｘ方向という。Ｙ、Ｚ成分についても、Ｘ成分と同様に定義される。

【0022】

図１は、本発明の実施形態に係る危険物検知システム９の構成を示すブロック図である。図１に示す危険物検知システム９は、表示装置１、検知器２、及び光学カメラ３を有する。表示装置１は、検知器２、及び光学カメラ３と有線又は無線により通信可能に接続されている。危険物検知システム９において、表示装置１、検知器２、及び光学カメラ３の数は、いずれも１つでもよいし、複数でもよい。

【0023】

図２は、危険物検知システム９のうち、検知器２、及び光学カメラ３の配置を示す平面図である。図２に示す危険物検知システム９は、検知器２、及び光学カメラ３をそれぞれ４つずつ有している。

【0024】

図２において、－Ｚ方向は下向き、つまり、重力の方向であり、Ｘ軸方向は、進路Ｐａの幅の方向であり、Ｙ軸方向は、進路Ｐａに沿った方向である。危険物検知システム９は、進路Ｐａに沿って＋Ｙ方向に歩行する人Ｑの所持物を検査するシステムである。

【0025】

検知器２は、進路Ｐａの両側にそれぞれ２つずつ、計４つが配置されている。４つの検知器２は、人Ｑ、及び人Ｑが所持している物（所持物という）が進路ＰａのＹ軸方向の中央付近に位置しているときに、四方にそれぞれ放射されるテラヘルツ波等の電磁波を受光（又は受波）する。この電磁波の伝搬する経路を伝搬路Ｄという。なお、人Ｑは、危険物検知システム９の検知器２により検査の対象となる者、つまり、検査対象者である。

【0026】

進路Ｐａに沿って＋Ｙ方向に移動する人Ｑから見て右手前側の検知器２と、左奥側の検知器２とは、互いに対向しており、一方の検知器２における、電磁波を受波する領域の延長線上に他方の検知器２が配置されている。進路Ｐａに沿って＋Ｙ方向に移動する人Ｑから見て左手前側の検知器２と、右奥側の検知器２との関係も同様である。ただし、各検知器２の対向配置は必須構成ではない。

【0027】

４つの検知器２は、それぞれ、人Ｑ及びその所持物の、Ｚ軸方向のスキャンを行う。また、進路Ｐａを人Ｑが＋Ｙ方向に歩行（移動）することにより、人Ｑ及びその所持物は、４つの検知器２がそれぞれ受波する電磁波の伝搬路Ｄを通過する。これにより、４つの検知器２は、Ｙ軸方向、及びＸ軸方向（すなわち水平方向）に人Ｑ及びその所持物をスキャンすることとなる。

【0028】

光学カメラ３は、４つの検知器２の近傍にそれぞれ１つずつ配置され、それぞれ伝搬路Ｄの延長線上から人Ｑを撮影可能なように設定されている。

【0029】

＜検知器の構成＞
図３は、検知器２の検知領域Ｒａを説明するための図である。図３には、図２に示すＺ軸方向、及び、伝搬路Ｄの双方に交差する方向から見た検知器２の形状と、検知器２により検知される検知領域Ｒａの形状とが示されている。この検知器２は、レドーム２１、光学系２２、フィルタ２３、及びセンサ２４を有する。光学系２２、及びセンサ２４は、表示装置１と有線、又は無線で通信可能に接続されており、表示装置１により制御されている。

【0030】

レドーム２１は、板状の部材であり、例えば、ポリエチレン、ポリプロピレン、ポリテトラフルオロエチレン、ポリメチルペンテン等の、電磁波を比較的透過させ易い樹脂材料により形成される。レドーム２１は、検知器２の筐体の外部から届く電磁波を内部へ透過させつつ、内部を埃等から保護する。この電磁波は、例えば、周波数が１００ＧＨｚ以上１０ＴＨｚ未満のテラヘルツ波である。

【0031】

光学系２２、フィルタ２３、及びセンサ２４はセンサユニットＵを構成する。このセンサユニットＵは、例えば、幅が２００ミリメートル、奥行きが３００ミリメートル、高さが４００ミリメートルの直方体のユニットである。

【0032】

図３に示す光学系２２は、例えばポリゴンミラーと集光ミラーとを有する。ポリゴンミラーは、図３に示す軸Ｆを中心に回転する多角形のミラーであり、例えば、鏡面で構成される四角錐である。人Ｑから発され、伝搬路Ｄに沿って伝搬する電磁波は、レドーム２１を透過し、ポリゴンミラーによって反射され集光ミラーに集められる。

【0033】

回転により、ポリゴンミラーの反射面は角度を変化させるため、光学系２２が電磁波を受波（検知）する範囲は、図３に示す軸Ｆを中心とする扇形の検知領域Ｒａとなる。すなわち、ポリゴンミラーが軸Ｆを中心に回転することにより、検知器２は、高さ方向（Ｚ軸方向）の走査（スキャン）を行う。

【0034】

光学系２２を構成する集光ミラーは、ポリゴンミラーによって集められた電磁波を反射させてフィルタ２３及びセンサ２４に導く鏡である。集光ミラーは、例えば放物面鏡である。

【0035】

検知領域Ｒａは、検知器２により電磁波を感知し得る領域である。図３に示す検知領域Ｒａは、軸Ｆを中心に角度が約１００度の範囲内である。なお、検知領域Ｒａの厚みは、数センチメートルである。

【0036】

ここで図３に示す検知対象位置Ｔａは、検知の対象物が存在する位置であり、高さ方向に伸びている。検知領域Ｒａは軸Ｆを中心として受波方向を高さ方向に走査しているので、軸Ｆと、検知対象位置Ｔａとの距離は、その高さに依存して異なる。すなわち、検知対象位置Ｔａにおいて軸Ｆと同じ高さにあるとき、検知対象物は軸Ｆに最も近く、軸Ｆと高さが異なるほど検知対象物は軸Ｆから遠ざかる。そのため、例えば、均等な角度ごとに走査画像の画素が生成される場合、その走査画像は、高さ方向の上又は下になるほど歪む。

【0037】

図４は、軸Ｆを中心に検知対象物を捉えることによる歪みを説明するための図である。軸Ｆから水平距離ｒだけ離れた位置において高さ方向に伸びる検知対象位置Ｔａの位置Ｚは、以下の式（１）により角度θの正接で表される。

【0038】

【数1】

【0039】

光学系２２は、検知領域Ｒａの角度範囲を複数に分割し、分割された区画ごとに走査画像の画素を生成する。例えば、光学系２２は、検知領域Ｒａの角度範囲である１００°を２２８回にわたって等分割する。すなわち、この光学系２２は、検知領域Ｒａの角度範囲を均等な角度の２２８区画に分割する。この場合、分割された扇型の軸Ｆを中心とした角度は、どの区画も等しくなるように調整されているので、一区画分の微小角Δθは、１００°／２２８≒０．４３９°である。

【0040】

ここで、センサユニットＵがこの一区画分の視野である微小角Δθによって捉える画像の高さ方向の大きさΔＺは、以下の式（２）により表される。

【0041】

【数2】

【0042】

この大きさΔＺは、θが０に近いほど小さく、０から離れるほど大きくなる。一方、Δｙは、水平距離ｒを半径とする円において、微小角Δθに対応する円周・弧の長さである。このΔｙは、水平距離ｒと微小角Δθとを含む以下の式（３）により表される。

【0043】

【数3】

【0044】

水平距離ｒ、及び微小角Δθは、いずれも一定であるため、Δｙは、一定である。つまり、図４に示すΔｙは、走査の角度がどこであっても、共通の大きさである。そして、ΔＺは、センサユニットＵによって、図４に示す共通の大きさΔｙに収まるように縮小される。

【0045】

つまり、検知対象位置Ｔａに存在する検知対象物は、軸Ｆよりも高い位置にあるほど、又は低い位置にあるほど、一区画あたりの視野に入る実際の大きさΔＺが大きくなる。そして、このΔＺが、共通の大きさΔｙに収まるように縮小されるので走査画像は歪む。

【0046】

ΔＺ／Δｙの比率は、微小角Δθを０に近づけると以下の式（４）に示す通り、ｄＺ／ｄｙになる。

【0047】

【数4】

【0048】

したがって、この走査画像は、上下端に近づくほど実寸よりも縮小されているため歪んでいる。この歪みを解消するために、走査画像は受波方向である角度θに応じてｄＺ／ｄｙ＝（１／ｃｏｓ^２θ）を乗じる必要がある。走査画像は、例えば、表示装置１により、このｄＺ／ｄｙを用いて補正される。

【0049】

なお、歪みを戻すための補正に用いる値は上述した例に限らない。例えば、走査画像は、角度θにおける高さ方向の画像の大きさに（１／ｃｏｓθ）の倍率をかけることで補正されてもよい。また、走査画像は分割された一区画ごとに異なる倍率をかけて補正されなくてもよい。走査画像は、例えば、軸Ｆに近い領域と、その上下に位置する遠い領域と、の３区画に分けられて、そのそれぞれに決められた倍率をかけることで補正されてもよい。

【0050】

図３に示すフィルタ２３は、例えば偏光フィルタ等の光学的フィルタである。フィルタ２３は、光学系２２から導かれた電磁波を、例えば、１００ＧＨｚを中心とした第１の周波数帯（低周波数帯という）と、１５０ＧＨｚを中心とした第２の周波数帯（高周波数帯という）と、にそれぞれ分離してセンサ２４に供給する。低周波数帯、及び高周波数帯の電磁波は、それぞれ異なるタイミングでセンサ２４に供給されてもよい。この場合、フィルタ２３は、複数の光学的フィルタを有し、そのそれぞれが周期的に光路を遮る位置に配置されるよう移動させられるとよい。

【0051】

センサ２４は、光学系２２で集められ、反射されたテラヘルツ波等の電磁波のうち、フィルタ２３によって抽出された低周波数帯、又は高周波数帯の電磁波を感知してその強度を計測する。

【0052】

例えば、人Ｑは、テラヘルツ波を発している。一方、人Ｑが衣服の内側に金属等のテラヘルツ波を透過し難い所持物を隠し持っていると、その所持物により人Ｑが発するテラヘルツ波は遮蔽される。そのため、検知器２は、人Ｑを走査すると、上述した所持物の輪郭で受波の強度に差が生じている走査画像を生成する。生成されたこの走査画像により、例えば、表示装置１は、人Ｑの所持物の形状を特定する。

【0053】

このようにして検知器２は、人Ｑが衣服の内側に隠した金属、爆発物、セラミック、可燃性液体等の所持物を検知する。

【0054】

＜表示装置の構成＞
図５は、表示装置１の構成の例を示す図である。表示装置１は、プロセッサ１１、メモリ１２、インタフェース１３、及び表示部１５を有する。

【0055】

メモリ１２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ソリッドステートドライブ、ハードディスクドライブ等を有し、コンピュータプログラム（以下、単にプログラムという）を記憶する。

【0056】

また、図５に示すメモリ１２は、抽出基準表１２１、検知基準表１２２、及び学習済モデル１２３を記憶する。これらはプロセッサ１１が処理を実行する際に用いられる。

【0057】

例えば、学習済モデル１２３は、人を示す領域（以下「人領域」ともいう）の有無の情報と、それが有る場合の位置とが対応付けられた写真画像を教師データとして学習することにより構築された、人領域の特徴を示すモデルである。学習済モデル１２３を参照することでプロセッサ１１は、光学カメラ３で撮影された撮影画像から人領域を抽出する。

【0058】

プロセッサ１１は、メモリ１２からプログラムを読出して実行することにより表示装置１を制御する。また、プロセッサ１１は、インタフェース１３を介して検知器２、及び光学カメラ３を制御する。プロセッサ１１は、例えばＣＰＵ（Central Processing Unit）である。また、プロセッサ１１は、例えば、ＦＰＧＡ（Field Programmable Gate Array）であってもよいし、ＦＰＧＡを含んでもよい。また、このプロセッサは、ＡＳＩＣ（Application Specific Integrated Circuit）、又は他のプログラマブル論理デバイスを有し、これらによって制御を行ってもよい。

【0059】

インタフェース１３は、有線又は無線により表示装置１を他の装置に通信可能に接続する通信回路である。

【0060】

表示部１５は、液晶ディスプレイ等の表示画面を有しており、プロセッサ１１の制御の下、画像を表示する。

【0061】

＜抽出基準表の構成＞
図６は、抽出基準表１２１の構成の例を示す図である。抽出基準表１２１は、走査画像から上述した人領域を抽出する際に基準として用いるパラメータを記述した表である。図６に示す抽出基準表１２１は、項目として「縦方向連続数」、「横方向連続数」、「縦方向例外条件」、及び「横方向例外条件」を記憶し、そのそれぞれに対応する値を記憶している。

【0062】

＜検知基準表の構成＞
図７は、検知基準表１２２の構成の例を示す図である。検知基準表１２２は、走査画像の周波数帯域ごとに、危険物として検知する検知対象物の種類と、その検知のパターンとを対応付けて記憶する表である。

【0063】

テラヘルツ波等の電磁波は、周波数帯域によって物体に対する透過特性が異なる。例えば、高周波数帯の電磁波によって生成された走査画像は、低周波数帯の電磁波によって生成された走査画像に比べて粉状の物体を検知し易い。一方、低周波数帯の電磁波によって生成された走査画像は、高周波数帯の電磁波によって生成された走査画像に比べて金属等の形状を検知し易い。

【0064】

検知基準表１２２は、高周波数帯、又は低周波数帯等の周波数帯域ごとに、検知対象とされる所持物の素材と、それが検知されるときの画素のパターンとを記憶している。プロセッサ１１は、この検知基準表１２２を参照して、走査画像から危険物を検知する。

【0065】

＜表示装置の機能的構成＞
図８は、表示装置１の機能的構成の例を示す図である。表示装置１のプロセッサ１１は、メモリ１２に記憶されたプログラムを読み込んで実行することにより、第１取得部１１１、生成部１１２、第１抽出部１１３、検知部１１４、補正部１１５、第２取得部１１６、第２抽出部１１７、及び表示制御部１１８として機能する。

【0066】

第１取得部１１１は、検知器２が受波方向を変化させて空間を走査して得た走査信号を取得する。

【0067】

生成部１１２は、第１取得部１１１が取得した走査信号から、例えば短冊状の細長い画像をそれぞれ生成し、それら複数の短冊状画像を時間の経過に沿って並べることにより、走査画像を生成する。これにより生成された走査画像は、受波方向の変化により空間を走査して生成した走査画像の例である。

【0068】

第１抽出部１１３は、メモリ１２から抽出基準表１２１を読み出して、これに記述されたパラメータを用いることで、生成部１１２が生成した走査画像から人領域を抽出する。

【0069】

検知部１１４は、メモリ１２から検知基準表１２２を読み出して、これに記述されたパラメータを用いることで、走査画像に示されている危険物を検知する。

【0070】

補正部１１５は、走査画像に対して例えば、上述したｄＺ／ｄｙ等の数値を用いた変換を行うことで、上述した軸Ｆを中心に検知対象位置Ｔａに存在する検知対象物を捉えることによる歪みを補正する。

【0071】

第２取得部１１６は、光学カメラ３から、人Ｑが撮影された撮影画像を取得する。第２取得部１１６が取得するこの撮影画像は、光学カメラで撮影した撮影画像の例である。

【0072】

第２抽出部１１７は、メモリ１２から学習済モデル１２３を読み出して、これに記述された特徴量等を用いることにより、第２取得部１１６が取得した撮影画像から人領域を抽出する。

【0073】

表示制御部１１８は、走査画像と撮影画像とを、それぞれにおいて抽出された人領域の位置の対応関係をユーザが特定できるような態様で表示部１５に表示させる。すなわち、表示制御部１１８として機能するプロセッサ１１を有する表示装置１は、走査画像と、光学カメラで撮影した撮影画像とを、ユーザが対応する位置を特定可能な態様でそれぞれ表示する表示装置の例である。

【0074】

＜表示装置の動作＞
図９は、表示装置１の動作の流れの例を示すフロー図である。表示装置１のプロセッサ１１は、ステップＳ１０１からステップＳ１０７までの走査画像に対する処理と、ステップＳ２０１からステップＳ２０２までの撮影画像に対する処理と、を並行して実行する。

【0075】

＜走査画像に対する処理＞
表示装置１のプロセッサ１１は、検知器２から走査信号を取得したか否かを判断する（ステップＳ１０１）。走査信号を取得していない、と判断する間（ステップＳ１０１；ＮＯ）、プロセッサ１１は、この判断を続ける。

【0076】

一方、走査信号を取得した、と判断すると（ステップＳ１０１；ＹＥＳ）、プロセッサ１１は、取得した走査信号を時間の経過に沿って並べる等の処理をすることで、走査信号から走査画像を生成する（ステップＳ１０３）。

【0077】

そして、プロセッサ１１は、生成した走査画像を二値化し（ステップＳ１０４）、上述した抽出基準表１２１に沿って、二値化されたこの走査画像から人領域を抽出する（ステップＳ１０５）。

【0078】

図１０は、走査画像の二値化の例を示す図である。図１０の（ａ）には二値化される前の走査画像が示されている。この走査画像の各画素に対して、予め決められた閾値との比較を行うことにより走査画像は、図１０の（ｂ）に示す通り二値化される。

【0079】

図１１は、二値化された走査画像を加工して人領域を抽出する処理を説明するための図である。図１０の（ｂ）に示した二値化された走査画像は、白画素を下方に集める処理をすることで図１１の（ａ）に示した画像に加工される。

【0080】

プロセッサ１１により実現される上述した第１抽出部１１３は、抽出基準表１２１に記述されている縦方向連続数Ｌ１を読み出す。そして、第１抽出部１１３は、この縦方向連続数Ｌ１を図１１の（ａ）に示した加工画像の縦方向の画素群に対して閾値として比較することで、縦方向に連続する白画素の数がＬ１を超える範囲の幅Ｗとその位置とを特定する。

【0081】

また、図１０の（ｂ）に示した二値化された走査画像は、白画素を右に集める処理をすることで図１１の（ｂ）に示した画像に加工される。

【0082】

第１抽出部１１３は、抽出基準表１２１に記述されている横方向連続数Ｌ２を読み出す。そして、第１抽出部１１３は、この横方向連続数Ｌ２を図１１の（ｂ）に示した加工画像の横方向の画素群に対して閾値として比較することで、横方向に連続する白画素の数がＬ２を超える範囲の高さＨとその位置とを特定する。これら特定された幅Ｗ、高さＨ、及びこれらの位置は、走査画像から人領域を抽出するのに用いられる。

【0083】

図９のフロー図の説明に戻る。プロセッサ１１は、人領域を抽出すると、上述した検知基準表１２２に沿って、例えば、人領域の内側に対して危険物の検知を試みる（ステップＳ１０６）。走査画像の中で危険物が検知された場合、プロセッサ１１は、その走査画像において危険物が存在すると推定される範囲（危険物範囲という）を特定する。

【0084】

プロセッサ１１は、走査画像を高さ方向に拡大又は縮小して、検知領域Ｒａにより検知対象物を捉えることによる走査画像の歪みを補正する（ステップＳ１０７）。

【0085】

＜撮影画像に対する処理＞
一方、プロセッサ１１は、上述した走査画像に対する処理に並行して撮影画像に対する処理を実行する。プロセッサ１１は、光学カメラ３から撮影画像を取得したか否かを判断する（ステップＳ２０１）。撮影画像を取得していない、と判断する間（ステップＳ２０１；ＮＯ）、プロセッサ１１は、この判断を続ける。

【0086】

一方、撮影画像を取得した、と判断すると（ステップＳ２０１；ＹＥＳ）、プロセッサ１１は、メモリ１２から学習済モデル１２３を読み込み、取得した撮影画像の中から人領域を抽出する（ステップＳ２０２）。

【0087】

ステップＳ１０７、及びステップＳ２０２がいずれも完了すると、プロセッサ１１は、走査画像において抽出された人領域、及び撮影画像において抽出された人領域の互いに対応する位置をユーザが特定可能な態様で表示部１５にそれぞれ表示させる。

【0088】

図１２は、抽出した人領域を走査画像に重ねて表示する例を示す図である。プロセッサ１１は、二値化される前の走査画像に対して、抽出した人領域を示す枠Ｒ０を重ねて表示部１５に表示させる。これにより、ユーザは、走査画像において枠Ｒ０の内側が人領域であることを把握する。

【0089】

また、プロセッサ１１は、上述した走査画像に対して、特定した危険物範囲を示す枠Ｒ１を重ねて表示部１５に表示させる。これにより、ユーザは、走査画像において枠Ｒ１の内側が危険物範囲であることを把握する。

【0090】

すなわち、表示装置１を有する危険物検知システム９は、表示装置を有し、走査画像に基づいて危険物を検知して、その危険物の位置を表示装置に表示させる危険物検知システムの例である。

【0091】

図１３は、抽出した人領域を撮影画像に重ねて表示する例を示す図である。プロセッサ１１は、光学カメラ３で撮影された撮影画像に対して、学習済モデル１２３を用いて抽出した人領域を示す枠Ｒ２を重ねて表示部１５に表示させる。これにより、ユーザは、走査画像において枠Ｒ２の内側が人領域であることを把握する。

【0092】

すなわち、表示装置１を有する危険物検知システム９は、撮影画像から人を示す領域を抽出して、その領域の位置を表示装置に表示させる危険物検知システムの例である。

【0093】

また、プロセッサ１１は、上述した撮影画像に対して、特定した危険物範囲を示す枠Ｒ３を重ねて表示部１５に表示させる。この危険物範囲を示す枠Ｒ３は、走査画像において抽出された人領域を示す枠Ｒ０に対する危険物範囲を示す枠Ｒ１の相対的な位置・大きさを、撮影画像において抽出された人領域を示す枠Ｒ２に対して当てはめて、その位置・大きさを決定されてもよい。

【0094】

プロセッサ１１は、表示部１５に図１２に示す走査画像と、図１３に示す撮影画像とを、それぞれの対応する位置がユーザによって比較され、その対応関係が把握され得るように表示部１５によって表示させる。つまり、このプロセッサ１１を有する表示装置１は、走査画像と撮影画像とをユーザが比較可能に表示する表示装置の例である。

【0095】

例えば、プロセッサ１１は、走査画像と撮影画像とを並べて表示部１５に表示させてもよい。また、プロセッサ１１は、枠Ｒ０と枠Ｒ２とが同じ位置に表示されるように、走査画像と撮影画像とを交互に表示させてもよい。また、プロセッサ１１は、枠Ｒ０と枠Ｒ２とが同じ位置に表示されるように、走査画像と撮影画像とを重ねて表示させてもよい。走査画像と撮影画像とを重ねて表示させる場合、少なくともいずれか一方の透過率を調整して両方が同時に視認可能なように合成すればよい。

【0096】

以上、説明した処理を実行することにより、危険物検知システム９は、経験・スキルのないユーザ（係員）にも走査画像の位置と撮影画像の位置とを対応付けて認識させることができる。

【0097】

以上の実施形態で説明された構成、形状、大きさ及び配置関係については本発明が理解・実施できる程度に概略的に示したものにすぎない。したがって、本発明は、説明された実施形態に限定されるものではなく、特許請求の範囲に示される技術的思想の範囲を逸脱しない限り様々な形態に変更することができる。

【0098】

＜変形例＞
以上が実施形態の説明であるが、この実施形態の内容は以下のように変形し得る。また、以下の変形例は組み合わされてもよい。

【0099】

＜１＞
上述した実施形態において、危険物検知システム９の検知器２は、光学系２２で集められた電磁波から低周波数帯、高周波数帯の電磁波を選択的に透過させる、偏光フィルタ等の光学的フィルタであるフィルタ２３を有していたが、検知器２は、フィルタ２３を有しなくてもよい。

【0100】

また、危険物検知システム９における表示装置１は、検知器２のフィルタ２３に代えて、検知器２が受波した電磁波を周波数帯域ごとに分離してもよい。この場合、図８に示すプロセッサ１１は、フィルタ部１１０として機能すればよい。図８に示すフィルタ部１１０は、第１取得部１１１が取得した走査信号を周波数帯域ごとに分離すればよい。フィルタ部１１０は、例えば、離散フーリエ変換等の演算処理を用いて、走査信号の周波数帯域を選択すればよい。

【0101】

なお、この場合、図９に示すフロー図において、プロセッサ１１は、ステップＳ１０１によって取得した走査信号に帯域フィルタをかければよい（ステップＳ１０２）。そしてプロセッサ１１は、ステップＳ１０３において分離された走査信号の周波数帯域ごとに異なる走査画像をそれぞれ生成すればよい。

【0102】

検知器２のフィルタ２３により、又はプロセッサ１１により実現するフィルタ部１１０により、異なる周波数帯域の電磁波を受波して、それぞれから走査画像を生成する場合、危険物検知システム９は、異なる周波数帯域の電磁波のそれぞれから異なる種類の危険物を検知する。これは、周波数帯域が変化させることで検知し易い危険物の種類も変化するからである。上述したように、複数の異なる周波数帯域の電磁波をそれぞれ受波して危険物を検知する危険物検知システム９は、すなわち、２以上の周波数の異なる電波を受けて、それぞれ走査画像を生成し、それらの走査画像のそれぞれに基づいて、種類の異なる危険物を検知する危険物検知システムの例である。

【0103】

＜２＞
上述した実施形態において、補正部１１５として機能するプロセッサ１１は、軸Ｆを中心に検知対象位置Ｔａに存在する検知対象物を捉えることによる歪みを補正していたが、これと異なる補正をしてもよい。例えば、検知対象位置Ｔａは、高さ方向に伸びる位置ではなく、光学カメラ３の光学系の焦点から一定の距離にある球面上の位置であってもよい。

【0104】

図１４は、変形例における補正を説明するための図である。図１４において焦点Ｆ３は、光学カメラ３の光学系における焦点である。そして、この変形例において検知対象位置Ｔａは、焦点Ｆ３から半径ｒ３の距離にある球面上に存在する。この球面上にある物体を光学カメラ３は撮影して平面画像である撮影画像を生成する。プロセッサ１１は、軸Ｆを中心として受波方向を変化させて検知領域Ｒａを走査することにより取得した走査信号を、上述した球面上に存在する検知対象位置Ｔａに合うように補正すればよい。

【0105】

要するに表示装置１は、走査画像により示される対象物の位置が撮影画像により示されるその対象物の位置に合うように走査画像を補正すればよい。すなわち、この表示装置１は、走査画像により示される対象物の位置が撮影画像により示されるその対象物の位置に合うようにその走査画像を補正する表示装置の例である。

【0106】

なお、光学カメラ３により撮影された撮影画像は、レンズ等の光学系に由来する歪みを補正されてもよい。この場合、表示装置１は、走査画像により示される対象物の位置が、補正後の撮影画像により示されるその対象物の位置に合うように走査画像を補正すればよい。

【0107】

＜３＞
上述した変形例において、検知器２、又は光学カメラ３は、プロセッサ、メモリを有していないが、プロセッサとメモリとを有してもよい。この場合、実施形態において上述した表示装置１のプロセッサ１１、及びメモリ１２により実現する機能の少なくとも一部を、検知器２、又は光学カメラ３が備えるプロセッサ、又はメモリが実現してもよい。

【符号の説明】

【0108】

１…表示装置、１１…プロセッサ、１１０…フィルタ部、１１１…第１取得部、１１２…生成部、１１３…第１抽出部、１１４…検知部、１１５…補正部、１１６…第２取得部、１１７…第２抽出部、１１８…表示制御部、１２…メモリ、１２１…抽出基準表、１２２…検知基準表、１２３…学習済モデル、１３…インタフェース、１５…表示部、２…検知器、２１…レドーム、２２…光学系、２３…フィルタ、２４…センサ、３…光学カメラ、９…危険物検知システム、Ｆ…軸、Ｆ３…焦点、Ｌ１…縦方向連続数、Ｌ２…横方向連続数、Ｒ０…枠、Ｒ１…枠、Ｒ２…枠、Ｒ３…枠、ｒ…水平距離、ｒ３…半径。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】