特許 7455611 処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-15

(45)【発行日】2024-03-26

(54)【発明の名称】処理システム

(51)【国際特許分類】

   G01N 21/27 20060101AFI20240318BHJP

   G01V 8/10 20060101ALI20240318BHJP

   G01N 21/3581 20140101ALI20240318BHJP

【ＦＩ】

G01N21/27 A

G01V8/10 S

G01V8/10 U

G01N21/3581

【請求項の数】 18

(21)【出願番号】P 2020032195

(22)【出願日】2020-02-27

(65)【公開番号】P2020153975

(43)【公開日】2020-09-24

【審査請求日】2023-02-24

(31)【優先権主張番号】P 2019047789

(32)【優先日】2019-03-14

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】井辻 健明

(72)【発明者】

【氏名】小山 泰史

(72)【発明者】

【氏名】佐藤 崇広

(72)【発明者】

【氏名】吉岡 利文

(72)【発明者】

【氏名】高見 栄一

(72)【発明者】

【氏名】海部 紀之

(72)【発明者】

【氏名】伊庭 潤

(72)【発明者】

【氏名】倉島 玲伊

【審査官】三宅 克馬

(56)【参考文献】

【文献】特開２０１０－１５６６９７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１０／０１９４６２５（ＵＳ，Ａ１）

【文献】特開２００７－１９８８０２（ＪＰ，Ａ）

【文献】特開２０１６－０２９３４４（ＪＰ，Ａ）

【文献】特開２０１１－２０３０１６（ＪＰ，Ａ）

【文献】特開２０１３－１７８２１２（ＪＰ，Ａ）

【文献】特開２０１３－１４９７１４（ＪＰ，Ａ）

【文献】特開２００９－２０４６０５（ＪＰ，Ａ）

【文献】特開２０１６－０３２２８９（ＪＰ，Ａ）

【文献】特開２０１８－１５６５８６（ＪＰ，Ａ）

【文献】特開２０１７－０４０５９３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／２７

Ｇ０１Ｎ ２１／３５

Ｇ０１Ｖ ８／１０

(57)【特許請求の範囲】

【請求項1】

検査対象からのテラヘルツ波に基づく第１画像を撮像する第１撮像システムと、
前記テラヘルツ波と異なる波長のテラヘルツ波に基づき前記検査対象の第２画像を撮像する第２撮像システムと、
前記第１画像と前記第２画像とを処理するプロセッサと、を含み、
前記プロセッサは、前記第２画像に基づいて検査領域を検出し、前記第１画像の前記検査領域に対応する領域の情報を処理する
ことを特徴とする処理システム。

【請求項2】

前記プロセッサは、前記第１画像の前記検査領域に対応する領域の情報と前記第２画像の前記検査領域に対応する領域の情報との差分を計算することを特徴とする請求項１に記載の処理システム。

【請求項3】

前記検査領域を検出することに基づいて、前記第１撮像システムを制御する制御部をさらに備えることを特徴とする請求項１又は２に記載の処理システム。

【請求項4】

前記制御部は、前記第１撮像システムのカメラの姿勢、カメラのゲイン、カメラの撮像範囲、テラヘルツ波の出力およびテラヘルツ波の波長の少なくともいずれかを制御することを特徴とする請求項３に記載の処理システム。

【請求項5】

周囲の環境を測定する環境監視部をさらに備え、前記制御部は、前記環境監視部の出力に応じて放射されるテラヘルツ波の波長及び出力の少なくともいずれかを制御することを特徴とする請求項３又は４に記載の処理システム。

【請求項6】

撮像のための複数の照明源を備えることを特徴とする請求項１乃至５のいずれか１項に記載の処理システム。

【請求項7】

前記第１撮像システムおよび前記第２撮像システムの少なくともいずれかは撮像のためのカメラを複数台備えることを特徴とする請求項１乃至６のいずれか１項に記載の処理システム。

【請求項8】

前記第１画像の撮像と、前記第２画像の撮像と、前記処理とは繰り返し行われることを特徴とする請求項１乃至７のいずれか１項に記載の処理システム。

【請求項9】

前記検査領域の検出は、前記検査領域の形状または前記検査領域から検出されるスペクトルの情報に基づくことを特徴とする請求項１乃至８のいずれか１項に記載の処理システム。

【請求項10】

前記プロセッサの出力に応じて前記検査対象に関する危険度を判定する判定部をさらに備えることを特徴とする請求項１乃至９のいずれか１項に記載の処理システム。

【請求項11】

前記プロセッサは、ディープラーニングおよび機械学習の少なくとも一方を用いて学習された学習モデルに基づいて、前記第２画像における前記検査領域の検出を行うことを特徴とする請求項１乃至１０のいずれか１項に記載の処理システム。

【請求項12】

検査対象からのテラヘルツ波に基づく第１画像を撮像する第１撮像システムと、
前記テラヘルツ波と異なる波長の電磁波に基づき前記検査対象の第２画像を撮像する第２撮像システムと、
前記第１撮像システムを制御する制御部と、
前記第２画像を処理するプロセッサと、
前記テラヘルツ波を放射する照明源と、を含み、
前記制御部は、前記プロセッサによる前記第２画像に対して行われた処理の結果に基づいて、前記照明源から放射される前記テラヘルツ波の波長及び出力の少なくともいずれかと、前記第１撮像システムと、を制御する
ことを特徴とする処理システム。

【請求項13】

検査対象からのテラヘルツ波に基づく第１画像を撮像する第１撮像システムと、
前記テラヘルツ波と異なる波長のテラヘルツ波に基づき前記検査対象の第２画像を撮像する第２撮像システムと、
前記第１撮像システムを制御する制御部と、
前記第２画像を処理するプロセッサと、を含み、
前記制御部は、前記プロセッサによる前記第２画像に対して行われた処理の結果に基づいて、前記第１撮像システムを制御する
ことを特徴とする処理システム。

【請求項14】

前記制御部は、前記プロセッサによる前記第２画像に対して行われた処理の結果に基づいて、前記第１撮像システムが前記第１画像を撮像するときの条件を制御し、
前記条件は、前記第１撮像システムのカメラの姿勢、前記第１撮像システムのカメラのズーミング、前記第１撮像システムのカメラの画角、前記第１画像に対するゲイン、前記第１画像に対するトリミングの範囲から選ばれる１つまたは複数であることを特徴とする請求項１２又は１３に記載の処理システム。

【請求項15】

撮像のための複数の照明源を備えることを特徴とする請求項１２乃至１４のいずれか１項に記載の処理システム。

【請求項16】

前記第１撮像システムおよび前記第２撮像システムの少なくともいずれかは撮像のためのカメラを複数台備えることを特徴とする請求項１２乃至１５のいずれか１項に記載の処理システム。

【請求項17】

前記プロセッサの出力に応じて前記検査対象に関する危険度を判定する判定部をさらに備えることを特徴とする請求項１２乃至１６のいずれか１項に記載の処理システム。

【請求項18】

前記プロセッサは、ディープラーニングおよび機械学習の少なくとも一方を用いて学習された学習モデルに基づいて、前記第２画像に対する処理を行うことを特徴とする請求項１２乃至１７のいずれか１項に記載の処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像システムを備える処理システムに関する。

【背景技術】

【0002】

テラヘルツ波を利用した検査技術が知られている。特許文献１には、封書に同封されている麻薬などの禁止薬物を検査する方法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００４－２８６７１６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

テラヘルツ波により取得される画像を検査のために処理する場合には、検査対象と検出部との位置関係や検査対象が動いていることにより十分な情報量が得られない場合がある。また、着衣の人の検査を行う場合は衣服による散乱を受けたり、環境によりテラヘルツ波の伝搬が阻害されることがあり、このために十分な検査が行えない場合がある。本発明は、テラヘルツ波を使う検査をより有利に実行することができる処理システムを提供することを目的とする。

【課題を解決するための手段】

【0005】

本発明の処理システムは、検査対象からのテラヘルツ波に基づく第１画像を撮像する第１撮像システムと、前記テラヘルツ波と異なる波長のテラヘルツ波に基づき前記検査対象の第２画像を撮像する第２撮像システムと、前記第１画像と前記第２画像とを処理するプロセッサとを含み、前記プロセッサは、前記第２画像に基づいて検査領域を検出し、前記第１画像の前記検査領域に対応する領域の情報を処理することを特徴とする。

【発明の効果】

【0006】

テラヘルツ波を使う検査をより有利に実行することができる処理システムを提供することができる。

【図面の簡単な説明】

【0007】

【図1】第１実施例に係る処理システムの概念図。

【図2】第１実施例に係る処理のフローチャート。

【図3】第２実施例に係る処理システムの概念図。

【図4】第２実施例に係る処理のフローチャート。

【図5】第３実施例に係る処理システムの概念図。

【図6】第３実施例に係る処理のフローチャート。

【図7】第４実施例に係る処理システムに概念図。

【図8】第５実施例に係る処理システムの概念図。

【図9】処理システムの配置例。

【図10】処理システムの配置例。

【図11】機械学習のためのモデルの例及び学習済みモデルを用いた検査の例。

【図12】機械学習のためのモデルの例及び学習済みモデルを用いた制御の例。

【発明を実施するための形態】

【0008】

以下、添付の図面を参照して実施例を詳しく説明する。なお、以下の実施例は特許請求の範囲に係る発明を限定するものではない。実施例には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わされてもよい。さらに、添付の図面においては、同一の参照番号を付し、重複した説明は省略する。また、本発明においてテラヘルツ波は３０ＧＨｚから３０ＴＨｚの周波数範囲の電磁波を含む。また電磁波の概念には可視光、赤外光やミリ波などの電波も含まれうる。

【0009】

（第１実施例）
実施例１に係る処理システム４０１の概略を図１により説明する。処理システム４０１は、第１の照明源４０４と第１のカメラ４０２を含む第１撮像システムと、第２のカメラ４０５を含む第２撮像システムと、前処理部４０６及び後処理部４０７を含むプロセッサとを含む。

【0010】

第１撮像システムの第１のカメラ４０２は第１の照明源４０４が放射する第１波長のテラヘルツ波４０３に基づいて第１画像を取得する。第１の照明源４０４から放射されたテラヘルツ波４０３は検査対象４１０を照射する。テラヘルツ波４０３は検査対象４１０が着衣の人である場合、着衣の繊維を透過し、検査対象４１０が保持する金属やセラミックスにより反射される。また、特定の物質、例えば爆発物であるＲＤＸ（トリメチレントリニトロアミン）は、０．８ＴＨｚ付近のテラヘルツ波を吸収することが知られており、そのために反射波が減少する。これらの反射波に基づいて第１のカメラ４０２により第１画像が取得される。

【0011】

第２撮像システムの第２のカメラ４０５は第１の照明源４０４から放射されるテラヘルツ波と異なる波長の電磁波から第２画像を取得する。異なる波長の電磁波には可視光、赤外光、ミリ波を使用することができる。赤外光を使用する場合は、第１の照明源４０４とは異なる照明源（不図示）を用意してもよい。第２のカメラ４０５により取得された第２画像は前処理部４０６で画像処理される。前処理部４０６は第２画像から検査領域を検出する処理を行う。

【0012】

検査領域の検出は、第２画像が可視光により取得された場合であって検査対象４１０が人の場合には、検査領域としては、着衣の特定の部分を検出して行ってもよい。検査領域は、機械学習によりモデルを作成しておき、モデルによって撮像された第２画像の領域を分類することにより特定してもよい。またデータベース４０９に格納した物の形状の情報に基づいて領域を特定してもよい。第２画像がミリ波により取得される場合は、画像における強度分布が所定の閾値より高い部分や強度差が大きい部分を検査領域として検出してもよい。また、赤外光を第２画像の取得に使用する場合は、水分による赤外光の放射の少ない部分や暗視により検出された画像から着衣の特定に部分を検査領域として検出してもよい。赤外光やミリ波を使用することにより暗い場所や天候によって見通しが悪い場合でも検査領域を検出することができる。着衣の画像から検査領域を検出する場合、着衣の不自然な膨らみの部分や人の胸部や着衣のポケット部分を検査領域として検出してもよい。

【0013】

図２に基づき、プロセッサによる検査対象４１０の検査について説明する。前処理部４０６は第２のカメラ４０５により取得された第２画像から（Ｓ４２１）、上記に説明した方法で検査領域を検出する（Ｓ４２２、Ｓ４２３）。後処理部４０７は、第２画像から検出された検査領域に対応する第１画像の領域の情報に対して画像データの処理を行う（Ｓ４２５）。第１画像は第１のカメラ４０２によりテラヘルツ波により取得された画像であり（Ｓ４２４）、着衣などを透視して得られた画像である。着衣の下に金属やセラミックの物があれば、反射波からの画像を得ることができる。したがって、第１画像を処理することにより物の形状を検出することができる。第２画像から検査領域を検出した後、第１画像における検査領域に対応する領域を、第１画像と第２画像とを比較して選択する。その後の第１画像に対する画像処理は、第２画像から検出された検査領域に対応する領域に対して行われる。

【0014】

第１画像から検査領域に対応する領域を選択して画像処理を行うことにより、不必要な情報を減らして処理を行うことができる。このために、画像データ全体を処理するよりも処理の負担を軽減でき、高速化を図ることができる。そのために検査対象４１０が移動している場合でも、移動する短い距離、短い時間の間に複数回にわたり第１画像から特徴を検出できる。判定部４０８は複数の検出した特徴に基づき、着衣の下の物を推定する（Ｓ４２６）。複数の特徴は物の一部分であってもよい。判定部４０８はデータベース４０９のデータに基づいて第１画像から検出された物の形状を分類して行われてもよい。分類は、機械学習によって作成されたモデルによって行ってもよい。検査対象４１０が移動する場合や検査対象とカメラとの位置関係により、画像から得られる形状の情報が物の一部分になってしまうことが考えられる。その場合でも複数の特徴の情報に基づいて、特徴を分類し、結果を複数、蓄積し、蓄積された分類結果に基づいて判定を行うことにより、推定の精度を向上できる（Ｓ４２７）。

【0015】

本処理システムをセキュリティ監視システムに使用する場合は、検査対象４１０に対する分類結果の蓄積から検査領域に検出された物の危険度を判定する（Ｓ４２８）。判定は、分類の蓄積結果に基づく判定を機械学習によるモデルに基づいて行ってもよい。検査対象４１０が危険物を保持していると判定される場合は、当該検査対象４１０が危険物を保持している旨を外部へ通知できる。検査対象４１０が、処理システムが配置されたゲートを通過した際に警告を処理システムから外部へ通知してもよい。検査対象４１０が切符を投入して改札口を通過する場合には、当該切符と検査対象４１０とをひも付して、検査対象４１０が要監視対象であることを通知してもよい。また、第２画像が可視光による場合には、第２画像と第１画像とを重ねた画像をモニタに表示することにより、検査対象４１０を分かりやすく表示することもできる。判定が保留の場合には、検査は終了条件を満足するまで繰り返し行われる。終了条件は検査の繰り返し数でもよい（Ｓ４２９）。

【0016】

次に、第２のカメラ４０５によって取得された第２画像から、機械学習によって作成されたモデル（人工知能）によって、検査領域を特定する方法を具体的に説明する。

【0017】

図１１（ａ）は、機械学習のためのモデル、つまり、学習モデルを模式的に示す図である。この例では、入力層４８１と出力層４８３と少なくとも１つの中間層４８２とを含むニューラルネットワークを学習モデルとして用いる。入力層４８１には画像データが入力される。また、出力層４８３は、入力された画像の一部の領域を指し示す特徴量を出力する。

【0018】

学習モデルの学習方法として、正解ラベルの付与された教師データを用いる。すなわち、入力用の画像データと、当該画像データにおける検査対象領域を示すラベルとがセットになったデータ群を用いて、誤差逆伝播法などの手段により、学習モデルの学習を行う。対象領域は、人物、カバン、容器などがあげられるが、これらに限られるものではない。また、モデルとして畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いることで、ディープラーニングによる学習を行ってもよい。

【0019】

図１１（ｂ）は、学習済モデルを用いた検査領域の特定方法を示す模式図である。入力として可視光画像４８４を入力する。学習済モデル４８５は、検査対象領域を指し示す特徴量を出力する。その出力の形態としては、図１１（ｂ）が示すように、画像４８６中の対象の領域を線で囲むなどの形態がある。他にも、画像処理のための座標情報を出力するような形態であってもよい。

【0020】

このように機械学習や人工知能を用いた判定を行うことにより、精度の高い判定が可能となる。

【0021】

また、第１画像から特定の対象物を検出する際に、同様に、機械学習によって作成されたモデル（人工知能）を用いてもよい。この場合には、学習用の教師データとして、第１のカメラ４０２が撮像を行うテラヘルツ波と同じ波長のテラヘルツ波の画像を用いればよい。

【0022】

（第２実施例）
本実施例は第２撮像システムにテラヘルツ波を放射する第２の照明源４１１を設けた例である。本実施例について図３により説明する。第２の照明源４１１は、第１の照明源４０４とは異なる第２波長のテラヘルツ波を発生する照明源である。第１実施例で述べたように、特定の波長のテラヘルツ波を吸収する特定の物質が知られている。そこで、第１の照明源４０４から特定の物質が吸収しやすい波長である、第１波長のテラヘルツ波（爆発物であるＲＤＸの場合、約０．８ＴＨｚである。）を検査対象４１０に対して放射する。検査対象４１０が第１波長のテラヘルツ波を吸収しやすい性質を持つ物質を所持していると、所持している部分の反射が少なくなる。一方、第２の照明源４１１から発生する第２波長のテラヘルツ波は特定の物質による吸収が少ない波長（第１波長が０．８ＴＨｚの場合には約０．５ＴＨｚ）を選択しておけば、特定の物質は第２波長のテラヘルツ波を反射する。同じ検査領域について、特定の物質からの反射波の違いを利用して物質を特定することができる。

【0023】

図４に基づき、本実施例の処理について説明する。前処理部４０６は、第２波長のテラヘルツ波により取得された第２画像における反射の大きい領域を検査領域として検出する（Ｓ４３１，Ｓ４３２）。後処理部４０７は、第１のカメラ４０２により撮像された第１波長のテラヘルツ波に基づく第１画像（Ｓ４３４）を取得し、第２画像から検出された検査領域に対応する第１画像の領域について画像データの処理を開始する。後処理部４０７は、第２画像における検査領域の情報と、第１画像における検査領域と対応する領域の情報との差分を計算することができる（Ｓ４３５）。第２画像と第１画像とで同程度の反射及び吸収があった部分のデータは、両者の情報の差分を計算することによりほぼキャンセルされる。しかし、第１波長と第２波長とで反射、吸収率が異なる部分のデータは両者の差分を計算することによってもキャンセルされない。このようにテラヘルツ波の物質による吸収率の違いを利用して検査領域の物質のスペクトル分析を行うことができる。このスペクトル分析を利用することにより物質の種類を推定することができる。また、着衣による散乱や反射はキャンセルされるので、得られた画像情報から衣服等からの不要な信号を軽減することができ、画像の信号雑音比が改善できる。

【0024】

第１波長に対し吸収しやすい物質を検査者が保持している場合、第１波長と第２波長との吸収率の差から、検査領域において検出された物質を分類することができる（Ｓ４３６）。分類は、特定の物質と波長との関係をデータベース４０９に保持しておき、データベース４０９に基づいて判定部４０８が行うことができる。機械学習によって作成したモデルを使用して判定部４０８が分類を行ってもよい。以上のようにして、検査対象４１０が特定の波長を吸収する物質を保持していることを推定することができる。特定の波長のテラヘルツ波を吸収する物質の中には危険物が有ることが知られている。スペクトル分析によって危険物の存在を推定することができる。複数回のスペクトル分析の結果を蓄積して、検出の精度を高めることができる（Ｓ４３７）。こうして検査対象４１０が危険物を保持している可能性があることが判定される（Ｓ４３８）。この判定は、分類の蓄積結果に基づく判定を機械学習によるモデルに基づいて行ってもよい。危険物を保持していると判定される場合は、当該検査対象４１０が危険物を保持している旨を外部へ通知する。検査対象４１０が、処理システムが配置されたゲートを通過する場合に警告を通知したり、検査対象４１０の人が切符を投入して改札口を通過する場合には、当該切符と検査対象４１０とをひも付して、その人を要監視対象として外部へ通知してもよい。第２の照明源４１１の放射するテラヘルツ波の波長は検出したい物質の吸収スペクトルに合わせて、３以上の複数波長のテラヘルツ波を放射できる複数の照明源を組み合わせてもよい。判定が保留の場合には、検査は終了条件を満足するまで繰り返し行われる。終了条件は検査の繰り返し数でもよい（Ｓ４３９）。

【0025】

（第３実施例）
本実施例は第２撮像システムにより撮像された第２画像における特定領域を検出することに基づいて、制御部４１２を制御して第１撮像システムの第１の照明源４０４や第１のカメラ４０２を制御する例である。図５、図６により本実施例について説明する。

【0026】

第２撮像システムの第２のカメラ４０５は第１の照明源４０４から放射されるテラヘルツ波と異なる波長の電磁波から第２画像を取得する。異なる波長の電磁波には可視光、赤外光、ミリ波を使用することができる。第２のカメラ４０５により取得された第２画像は前処理部４０６で画像処理される。前処理部４０６は第２画像から検査領域を検出する（Ｓ４５２，Ｓ４５３）。検査領域の検出は第１実施例に記載したように行われる。

【0027】

第１のカメラにより撮像するときの条件は、第２画像から検出した検査領域の位置や範囲、検査領域の状態に応じ制御される。制御には、第１のカメラの姿勢の制御、取得した画像に対するゲインの制御、ズーミングやトリミングなどの撮像範囲や画角の制御がある（Ｓ４５４）。検査領域からの反射信号の強度や検査領域の対象物に応じて、第１の照明源４０４から放射されるテラヘルツ波の出力レベルや波長を変更してもよい。このように制御することにより、検査の精度を高めることができる。制御部４１２により制御された第１撮像システムは第１波長のテラヘルツ波に基づいて第１画像を取得する（Ｓ４５５）。後処理部４０７は、取得された第１画像に基づいて検査領域の処理を行う（Ｓ４５６）。その後判定部４０８が物の判定と分類を行う（Ｓ４５７，Ｓ４５８、Ｓ４５９）。処理システムがセキュリティ監視システムの場合は、分類結果の蓄積から危険度が判定され、検査対象４１０が危険物を保持していると判定される場合は、当該検査対象４１０が危険物を保持している旨が外部へ通知される。検査対象４１０が、処理システムが配置されたゲートを通過する場合に警告を通知したり、検査対象４１０が切符を投入して改札口を通過する場合には、当該切符と検査対象４１０とをひも付して、要監視対象としてもよい。判定が保留の場合には、検査は終了条件を満足するまで繰り返し行われる。終了条件は検査の繰り返し数でもよい（Ｓ４６０）。

【0028】

第２のカメラ４０５によって取得された第２画像から、機械学習によって作成されたモデル（人工知能）によって、第１のカメラ４０２による撮影の制御を行ってもよい。その方法を具体的に説明する。

【0029】

図１２（ａ）は、機械学習のためのモデル、つまり、学習モデルを模式的に示す図である。この例では、入力層４８１と出力層４８３と少なくとも１つの中間層４８２とを含むニューラルネットワークを学習モデルとして用いる。入力層４８１には画像データが入力される。また、出力層４８３は、入力された画像の被写体の分類結果を出力しうる。

【0030】

学習モデルの学習方法として、正解ラベルの付与された教師データを用いる。すなわち、入力用の画像データと、当該画像データにおける検査対象領域を示すラベルとがセットになったデータ群を用いて、誤差逆伝播法などの手段により、学習モデルの学習を行う。また、モデルとして畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いることで、ディープラーニングによる学習を行ってもよい。

【0031】

被写体の分類は、制御の目的に応じて選択される。ズームの制御のためには、被写体が小さい、大きい、適切なサイズであることを示すラベルが付与された教師データを用いるとよい。ゲインの制御のためには、被写体に対する露光が、アンダー、適切、オーバーかを示すラベルが付与された教師データが用いられる。また、第１のカメラ４０２の用いる波長を切り替える制御を行うためには、入力画像と適切な波長帯とが関連づけられた教師データを用いるとよい。あるいは、第１の照明源４０４の出力を制御する場合には、第１の照明源４０４の出力するテラヘルツ波の透過率に応じた分類がされた教師データを用いるとよい。これらの教師データは一例であって、これらに限定されるものではない。また、ディープラーニングによって教師データなしで学習を行ってもよい。この場合は、ある入力に対する出力に応じて制御を行った結果を評価する手段によって、学習が行われうる。

【0032】

図１２（ｂ）は、学習済モデルを用いた第１のカメラ４０２の制御の方法を示す模式図である。入力として可視光画像４８７を入力する。学習済モデル４８８は、第１のカメラ４０２が検出する波長域のテラヘルツ波については感度が低い被写体の有無を示す情報を出力しうる。その結果に応じて、第１の照明源４０４の出力を上げる制御を行って画像４８９を得る。

【0033】

このように機械学習や人工知能を用いた判定を行うことにより、第１のカメラ４０２を用いた対象物の検知の精度をより高くすることが可能となる。

【0034】

また、第１画像から特定の対象物を検出する際に、同様に、機械学習によって作成されたモデル（人工知能）を用いてもよい。この場合には、学習用の教師データとして、第１のカメラ４０２が撮像を行うテラヘルツ波と同じ波長のテラヘルツ波の画像を用いればよい。

【0035】

（第４実施例）
本実施例は、処理部の周囲の湿度を監視する環境監視部４１３を設ける例である。図７により本実施例の説明をする。テラヘルツ波は水蒸気により吸収されやすいが、波長の長いテラヘルツ波の方が水蒸気による影響を受けにくい。そこで、環境監視部４１３を設け、湿度を測定し、周囲環境の影響を受けにくいように撮像システムを制御する。

【0036】

具体的には、環境監視部４１３が、湿度が高くなったことを検出した場合は、第１の照明源４０４の放射するテラヘルツ波４０３の波長を、現在使用している波長より長い波長に切り替える。また、湿度に応じて水蒸気の影響を受けにくい波長（波長１．２ｍｍや０．７５ｍｍ付近に存在する特異的に大気の減衰が少ない領域）に切り替えてもよい。テラヘルツ波の波長が長くなることによりカメラで撮像される画像の解像度は低下するが、水蒸気の影響を軽減して検査を継続することができる。

【0037】

（第５実施例）
本実施例は異なる波長のテラヘルツ波により撮像を行う例である。第１画像を撮像するときよりも、波長の長い第２波長のテラヘルツ波を使って第２画像を取得し、第２画像から検査領域を検出する。検査領域は、機械学習により作成したモデルを使って所定の形状の物がある領域や所定の波長の反射波のスペクトルの変化した領域を検査領域としてもよい。

【0038】

本実施例について図８により説明する。第２画像から検出された検査領域に基づいて、第１画像の、検査領域に対応する領域の画像データの処理を行う。照明源４０４から発生する第１波長のテラヘルツ波で撮像された第１画像は撮像１であり、照明源４１１から発生する第２波長で撮像された第２画像は撮像２である。撮像１は撮像２より波長の短いテラヘルツ波を使用して取得されるので解像度が高く情報量も多い。したがってテラヘルツ波により取得された画像から検査対象４１０が保持する物の形状がはっきりしている。ただし、波長の短いテラヘルツ波を使用するため被写体深度が浅く、検査対象４１０の姿勢の変化に敏感となる。詳細には、検査対象４１０の姿勢によっては、検査対象４１０が保持する物の形状について、部分的な形状を取得することになる。

【0039】

一方、撮像２による画像では、テラヘルツ波の波長が長いため、撮像１と比較して分解能が低下し、物の形状が不鮮明である。ただし、波長の長いテラヘルツ波を使用するため被写体深度が深く、検査対象４１０の姿勢の変化に鈍感となる。詳細には、検査対象４１０の姿勢に依らず、検査対象４１０が保持する物の全体的な形状を取得することになる。解像度が低い撮像２を処理して、検査対象４１０が保持する物の位置を特定し、この検出された検査領域に基づいて撮像１のデータを処理することにより、処理の負担を減らし、処理を高速に行うことができる。そのために検査対象４１０が移動している場合でも、移動する短い距離、短い時間の間に複数回にわたり検査対象４１０の特徴を検出でき、検出した特徴に基づき、着衣の下の物を推定することができる。

【0040】

また、異なる２つの波長のテラヘルツ波で撮像された撮像１と撮像２との差分を計算することにより着衣による反射はキャンセルされ、得られた画像情報からノイズを軽減することができる。詳細には、衣服全体からの反射は散乱が主成分となるため強度差が少なく、検査対象４１０の姿勢の変化に鈍感となる（取得される画像に対し、全体的にランダムノイズが付与されるような形になる）。そのため、撮像１と撮像２の差分像を計算することで、衣服の信号はキャンセルされる。さらに差分を計算することにより、透過された物質の持つ波長に対するテラヘルツ波の吸収率の違いに基づく画像を得ることができる。したがって、第１画像と第２画像の差分から金属やセラミック以外を成分に持つ物の形状を検出することもできる。

【0041】

検査領域にある物の推定は、判定部４０８により、撮像１から検出された物の形状を分類して行われる。検査対象４１０が移動する場合は画像から得られる物の形状が部分的になってしまうことが多いので、分類結果を複数、蓄積し、蓄積された分類結果に基づいて判定を行うことにより、判定の精度の向上が図れる。セキュリティ監視システムの場合は、分類結果の蓄積から危険度が判定され、検査対象４１０が危険物を保持していると判定される場合は、当該検査対象４１０が危険物を保持している旨を通知する。検査対象４１０が、処理システムが配置されたゲートを通過する場合に警告を通知したり、切符を投入して改札口を通過する場合には、当該切符と検査対象４１０とをひも付して、検査対象４１０を要監視対象としてもよい。

【0042】

（第６実施例）
処理システムの応用例について図９及び図１０により説明をする。図９は車両などの出入り口４１４の一方の側に第１波長のテラヘルツ波の第１の照明源４０４、第１波長と異なる第２波長の第２の照明源４１１を配置した例である。出入り口４１４の他方の側には、第１波長のテラヘルツに基づく撮像を行う第１のカメラ４０２、可視光、赤外光、ミリ波のいずれかに基づき撮像を行う第２のカメラ４０５－１、第２波長のテラヘルツに基づく撮像を行う第２のカメラ４０５－２を配置する。これらのカメラと照明源との組み合わせにより実施例１～５で説明した検査に関する処理を組み合わせて行うこともできる。第２のカメラ４０５－１により検査対象４１０を追跡し、第１のカメラ４０２の姿勢や画角の制御を行うことができる。テラヘルツ波に基づく撮像を行う第２のカメラ４０５－２が撮像に使用するテラヘルツ波の波長を物質の吸収率に合わせることにより、スペクトル分析を行うことができる。また、第２のカメラ４０５－１、４０５－２を検査領域の検出に使用することにより、第１のカメラ４０２で撮像した第１画像に対する処理負担を軽減することもできる。さらにテラヘルツ波の波長に対する物質の持つ吸収率の違いを利用して、金属やセラミック以外の物質を成分に持つ物の形状を検出することもできる。

【0043】

本実施例では、第２のカメラ４０５には可視光、赤外光、ミリ波用と第２波長のテラヘルツ波用とを使用しているが、第２のカメラは可視光、赤外光、ミリ波用またはテラヘルツ用の内のいずれか１種類だけでもよい。照明源やカメラは目立たないように壁面、天井や床面などに埋め込んで配置することもできる。出入り口４１４の左右両側に照明源とカメラとをそれぞれ配置してもよい。照明源とカメラを出入り口４１４付近に設けることにより、複数の検査対象４１０が重なる状況が軽減され、検査の精度の向上が図れる。

【0044】

駅の改札口に設置された改札機４１５付近に処理システムを配置した例について図１０により説明する。改札機４１５の一方の側に第１波長のテラヘルツ波の第１の照明源４０４、第１波長と異なる第２波長の照明源４１１を配置する。改札機４１５の他方の側には、第１波長のテラヘルツに基づく撮像を行う第１のカメラ４０２、可視光、赤外光、ミリ波のいずれかに基づき撮像を行う第２のカメラ４０５－１、第２波長のテラヘルツに基づく撮像を行う第２のカメラ４０５－２を配置する。処理システムを改札機４１５付近に配置することにより複数の検査対象４１０が重なる状況が軽減され、検査の精度の向上が図れる。第１のカメラと第２のカメラは複数台備えておいてもよい。この場合、複数のカメラを使うことで検出精度の向上や検査対象を複数にしたり、検査範囲を拡大できる。

【0045】

処理システムの動作の開始は、本処理システムとは別に設けたセンサーによる検査対象４１０の動きの検出や、車両のドアの開閉、改札機４１５への切符の投入などに応じて行われてもよい。

【0046】

発明は上記の実施例に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。

【符号の説明】

【0047】

４０１：処理システム、４０２：第１のカメラ、４０３：テラヘルツ波、４０４：第１の照明源、４０５：第２のカメラ、４０６：前処理部、４０７：後処理部、４０８：判定部、４０９：データベース、４１０：検査対象

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】