特許 7490428 画像処理装置、画像処理方法、プログラム、および記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-17

(45)【発行日】2024-05-27

(54)【発明の名称】画像処理装置、画像処理方法、プログラム、および記憶媒体

(51)【国際特許分類】

   G06T 5/70 20240101AFI20240520BHJP

   G01N 21/3581 20140101ALI20240520BHJP

   G06T 7/254 20170101ALI20240520BHJP

【ＦＩ】

G06T5/70

G01N21/3581

G06T7/254 A

【請求項の数】 15

(21)【出願番号】P 2020069430

(22)【出願日】2020-04-07

(65)【公開番号】P2021165968

(43)【公開日】2021-10-14

【審査請求日】2023-03-31

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】大澤 和嵩

(72)【発明者】

【氏名】佐藤 崇広

(72)【発明者】

【氏名】井辻 健明

(72)【発明者】

【氏名】中辻 七朗

(72)【発明者】

【氏名】石川 麻由

【審査官】▲徳▼田 賢二

(56)【参考文献】

【文献】特開２０１０－０１１０１６（ＪＰ，Ａ）

【文献】特開２０１７－０９０２４８（ＪＰ，Ａ）

【文献】特開平０７－１７４８９９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ５／７０

Ｇ０１Ｎ ２１／３５８１

Ｇ０６Ｔ ７／２５４

(57)【特許請求の範囲】

【請求項1】

第１周波数帯の電磁波であるテラヘルツ波に基づく第１画像の特徴を抽出する手段と、
前記第１画像の特徴の動き情報を取得する手段と、
前記第１周波数帯とは異なる第２周波数帯である可視光に基づく第２画像の特徴を抽出する手段と、
前記第２画像の特徴の動き情報を取得する手段と、
前記第１画像の特徴の動き情報に基づき、前記第１画像の特徴を第１のグループと前記第１のグループとは異なる第２のグループに分類する手段と、
前記第１のグループに属する前記第１画像の特徴に対応した信号を前記第１画像から除去する手段と、を有する画像処理装置。

【請求項2】

前記第１画像の特徴の動き情報は、前記第１画像の特徴の移動量であり、
前記分類する手段では、前記第１画像の特徴の移動量が閾値以上か否かによって前記第１画像の特徴を分類することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記第１画像の特徴の動き情報は、前記第１画像の特徴の移動周波数であり、
前記分類する手段では、前記第１画像の特徴の移動周波数が閾値以上か否かによって前記第１画像の特徴を分類することを特徴とする請求項１に記載の画像処理装置。

【請求項4】

前記第１画像の特徴の動き情報は、異なる時間に取得された２枚以上の前記第１画像から取得されることを特徴とする請求項２または３に記載の画像処理装置。

【請求項5】

前記画像処理装置は、前記第１画像を取得する手段を有し、
前記第１画像を取得する手段は、前記第１周波数帯の前記電磁波を放射する発信部と、前記第１周波数帯の前記電磁波を受信する受信部と、を有することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。

【請求項6】

前記第２画像の特徴の動き情報は、前記第２画像の特徴の移動量であり、
前記分類する手段では、前記第１画像の特徴の移動量と前記第２画像の特徴の移動量を比較し、等しい移動量か否かによって前記第１画像の特徴を分類することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。

【請求項7】

前記第２画像の特徴の動き情報は、前記第２画像の特徴の移動周波数であり、
前記分類する手段では、前記第１画像の特徴の移動周波数と前記第２画像の特徴の移動周波数を比較し、等しい移動周波数か否かによって前記第１画像の特徴を分類することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。

【請求項8】

前記第２画像の特徴の動き情報は、異なる時間に取得された２枚以上の前記第２画像から取得されることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。

【請求項9】

前記分類する手段は、前記第１画像を所定のサイズに分割した処理領域のそれぞれに対して処理を行い、
前記処理領域は、前記第２画像の特徴を基に決定されることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。

【請求項10】

前記分類する手段は、前記第１画像を学習モデルに入力し、前記第１画像から特徴の分類を推定することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。

【請求項11】

前記学習モデルは、教師データの入力により機械学習を行うことで生成されることを特徴とする請求項１０に記載の画像処理装置。

【請求項12】

前記除去する手段は、少なくとも前記第１のグループの信号を別のフレームの同座標の信号に置換することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。

【請求項13】

前記除去する手段は、少なくとも前記第１のグループの信号を周囲の信号に基づく値に置換することを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。

【請求項14】

前記第１画像の撮影時に被写体に対して機械的振動を与える振動手段を持つ請求項１乃至１３のいずれか１項に記載の画像処理装置。

【請求項15】

前記振動手段は、風力装置と、振動装置と、段差装置の少なくとも１つであることを特徴とする請求項１４に記載の画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、プログラム、および記憶媒体に関する。

【背景技術】

【0002】

特許文献１には、建物への人物の入退出を管理するゲートやエスカレータの出口等の所定位置で人物を停止させ、当該人物に電磁波を照射し、当該人物で反射した電磁波の受光結果に基づいて、当該人物が所持する物体を検知する方法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特表２００７－５１７２７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明者らは、電磁波により取得される画像により着衣の人の検査を行う際には、衣服による吸収や反射がノイズとなり画質が低下することを見出した。この画質の低下によって、衣服に秘匿された危険物の検出精度も低下する可能性がある。

【0005】

本発明は、電磁波に基づく画像のノイズを低減させることができる技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の画像処理装置の一側面は、第１周波数帯の電磁波に基づく第１画像の特徴を抽出する手段と、前記第１画像の特徴の動き情報を取得する手段と、前記動き情報に基づき、前記第１画像の特徴を第１のグループと前記第１のグループとは異なる第２のグループに分類する手段と、前記第１のグループに属する前記第１画像の特徴に対応した信号を前記第１画像から除去する手段と、を有する。

【発明の効果】

【0007】

本発明によれば、電磁波に基づく画像のノイズを低減させることができる。

【図面の簡単な説明】

【0008】

【図1】第１実施形態のカメラシステムを説明するための模式図。

【図2】第１実施形態のカメラシステムの動作を説明するためのフローチャート。

【図3】（ａ）～（ｄ）第１実施形態のカメラシステムを説明するための模式図。

【図4】（ａ）～（ｃ）第１実施形態のカメラシステムを説明するための模式図。

【図5】第１実施形態のカメラシステムを説明するための模式図。

【図6】第１実施形態のカメラシステムの動作を説明するためのフローチャート。

【図7】（ａ）～（ｄ）第１実施形態のカメラシステムを説明するための模式図。

【図8】第２実施形態のカメラシステムの動作を説明するためのフローチャート。

【図9】（ａ）、（ｂ）第２実施形態のカメラシステムの動作を説明するための模式図。

【図10】第３実施形態のカメラシステムを説明するための模式図。

【図11】第３実施形態のカメラシステムの動作を説明するための模式図。

【図12】第４実施形態のカメラシステムを説明するための模式図。

【図13】第４実施形態のカメラシステムのハードウェア構成を示す模式図。

【図14】第４実施形態のカメラシステムのソフトウェア構成を示す模式図。

【図15】第４実施形態のカメラシステムの動作を説明するためのフローチャート。

【図16】第４実施形態における学習フェーズを説明するためのフローチャート。

【図17】第４実施形態のカメラシステムで利用する学習モデルを示す模式図。

【図18】（ａ）、（ｂ）第５実施形態のカメラシステムを説明するための模式図。

【発明を実施するための形態】

【0009】

以下、添付の図面を参照して本発明の実施形態を詳しく説明する。なお、以下に示す実施形態は、本発明の技術思想を具体化するためのものであって、本発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わされてもよい。また、以下の説明において、カメラシステムとして照明を有するアクティブ型のカメラシステムを用いて説明するが、照明を有さないパッシブ型のカメラシステムであってもよい。

【0010】

各図面が示す部材の大きさや位置関係は、説明を明確にするために誇張していることがある。以下の説明において、同一の構成については同一の番号を付して説明を省略する場合がある。

【0011】

（第１実施形態）
本実施形態では、画像処理装置の使用例として、電磁波を用いたカメラシステムを例に説明を行う。本実施形態において、電磁波としてテラヘルツ波を利用する場合を説明する。テラヘルツ波は、可視光や赤外光と比較して波長が長いため、被写体からの散乱の影響を受け難く、また、多くの物質に対し強い透過性を有している。他方、テラヘルツ波は、ミリ波と比較して波長が短いため、分解能の高い電磁波カメラへの応用が期待できる。このような特徴を有するテラヘルツ波を利用した画像検査は、Ｘ線に替わる安全な画像検査手法として期待されている。例えば、公共の場所でのボディチェックや監視技術への応用が期待されている。テラヘルツ波は、典型的には、０．１ＴＨｚ以上３０ＴＨｚの範囲のうち、任意の周波数帯域の信号を有する、あるいは単一の周波数を有する電磁波である。本実施形態では、テラヘルツ波が約０．４ＴＨｚの周波数を有するものとして説明するが、本発明はこれに限定されない。

【0012】

図１は、第１実施形態のカメラシステムを説明するための模式図である。カメラシステムは、画像処理装置１０１と、受信部１０２と、発信部１０３とを有する。受信部１０２は、被写体１０６からのテラヘルツ波を検出し、テラヘルツ波に基づく信号を出力する。受信部１０２は、撮像部やカメラとも称することができる。発信部１０３は、テラヘルツ波１０４を放射する。発信部１０３は照明部ともいえる。発信部１０３の詳細な構成は、特開２０１４－２０００６５号に記載された構成を適用することができる。画像処理装置１０１は、受信部１０２からの信号を処理する。ここでは、画像処理装置１０１は、画像生成部１０８と処理部１０９とを有するものとするが、１つの処理部が画像生成を行ってもよく、少なくとも一部の処理がクラウドで行われていてもよい。

【0013】

被写体１０６は人物であるものとする。この場合、被覆物１０５は繊維や革を含む衣類でありうる。秘匿物１０７は、金属やセラミックスからなる危険物などの任意の物品である。被写体１０６は、人物以外には物品であってもよい。その場合には、被覆物１０５は、紙や布やプラスチックなどの包装や梱包材などでありうる。本実施形態において、秘匿物１０７は、被写体１０６が保持し、被覆物１０５に覆われているものとし、カメラシステムにおいて検出する対象である。

【0014】

ここで、使用するテラヘルツ波の周波数範囲について説明する。被覆物１０５は、例えば衣類など、約１ＴＨｚまでの電磁波に対して高い透過性を有する物質からなる物が多い。そして、秘匿物１０７の形状を識別し得る画像分解能を得るためには、適切な波長であることが望ましい。適切な波長となるテラヘルツ波の周波数は、約０．３ＴＨｚ程度である。よって、約０．３ＴＨｚ以上約１ＴＨｚ以下の周波数範囲を有するテラヘルツ波を用いることが好適である。よって、本実施形態で使用するテラヘルツ波の周波数範囲は、上述したように、約０．４ＴＨｚであるものとする。

【0015】

図１のカメラシステムの動作について、説明する。まず、発信部１０３からテラヘルツ波１０４が放射される。被写体１０６と、被覆物１０５と、秘匿物１０７はテラヘルツ波１０４に照射される。テラヘルツ波１０４の多くは、被覆物１０５を透過し、秘匿物１０７の表面と被写体１０６の表面にて反射する。受信部１０２は、これらの反射したテラヘルツ波を受信する。受信部１０２は、反射したテラヘルツ波に基づく信号を出力する。画像生成部１０８は、テラヘルツ波に基づく信号から画像データを生成する。処理部１０９は、画像生成部１０８から出力された画像データを処理する。

【0016】

ここで、放射されるテラヘルツ波１０４の一部は、被覆物１０５にて反射してしまう。つまり、受信部１０２が検出する反射したテラヘルツ波の中には被覆物１０５の情報が含まれる。処理部１０９は、画像生成部１０８で生成された画像データから、被覆物１０５にて反射したテラヘルツ波に基づく信号を除去する処理を行う。

【0017】

この処理について、図３（ａ）～図３（ｃ）を用いて説明する。図３（ａ）は、図１の被写体１０６と被覆物１０５と秘匿物１０７とを正面から見た場合を示す模式図である。被覆物１０５は、衣類である。衣類は、複数の装飾物３０１～３０４を付帯している。装飾物３０１と装飾物３０２と装飾物３０３は、例えばボタンであり、装飾物３０４は、例えばポケットである。図３（ａ）において、秘匿物１０７は被覆物１０５によって覆われている。図３（ｂ）および図３（ｃ）は、図１の被写体１０６と被覆物１０５と秘匿物１０７とを正面から撮影した際の画像を模式的に示したものである。図３（ｂ）は、可視光で撮影した場合の画像３０５を示した模式図である。図３（ｃ）はテラヘルツ波で撮影した場合の画像３０６を示した模式図である。図３（ａ）～図３（ｃ）において、説明を容易にするため、被写体１０６、例えば人物は省略している。

【0018】

図３（ｂ）の画像３０５では、被覆物像３１５と複数の装飾物像３１１～３１４が示されている。被覆物像３１５と複数の装飾物像３１１～３１４は、図３（ａ）に示す被覆物１０５と複数の装飾物３０１～３０４の可視光像である。一方、図３（ａ）に示す秘匿物１０７に対応する可視光像は図３（ｂ）に示されていない。可視光は被覆物１０５によって反射および吸収されるため、被覆物１０５に覆われている秘匿物１０７を確認することができないためである。

【0019】

図３（ｂ）の画像３０６では、複数の装飾物像３２１～３２４と秘匿物像３２７が示されている。複数の装飾物像３２１～３２４と秘匿物像３２７は、図３（ａ）に示す複数の装飾物３０１～３０４と秘匿物１０７のテラヘルツ像である。一方、図３（ａ）に示す被覆物１０５に対応するテラヘルツ像は図３（ｃ）に示されていない。テラヘルツ波は被覆物１０５を透過するが、装飾物３０１～３０４と秘匿物１０７がテラヘルツ波にとって反射物となりうるためである。

【0020】

被覆物１０５は、例えば繊維からなる。テラヘルツ波の帯域の電磁波は、繊維に対して高い透過率を有する。一方、テラヘルツ波の帯域の電磁波は、装飾物３０１～３０３や装飾物３０４に対して、被覆物１０５に比べて、高い反射率を有する。例えば、装飾物３０１～３０３がボタンの場合、テラヘルツ波の帯域の電磁波は、ボタンの材料に対して高い反射率を有することが多い。また、テラヘルツ波の帯域の電磁波は、衣類のしわなどにおいて局所的に高い反射率を有するため、ポケットのような装飾物３０４に対して高い反射率を有する。従って、テラヘルツ波は被覆物１０５を透過し、装飾物３０１～３０４と秘匿物１０７とで反射する。従って、画像３０６は、秘匿物１０７にて反射したテラヘルツ波による像と、装飾物３０１～３０４にて反射したテラヘルツ波による像が重畳した画像となる。ここで、本実施形態では、秘匿物１０７を検出対象としている。ここで、発明者らは、テラヘルツ波によって撮影することで秘匿物１０７が検出可能であるが、望まない情報、例えば複数の装飾物像３２１～３２４がノイズとして重畳してしまうことを見出した。また、被覆物１０５に対して、被写体１０６と秘匿物１０７は、それぞれ異なる速さや周期で動いていることをノイズ除去に利用することを見出した。次に、画像処理装置１０１で行われるノイズを低減するための処理を説明する。

【0021】

このように取得された画像の処理について、図２を用いて説明する。図２は、画像処理装置１０１における処理を説明するためのフローチャートである。本フローチャートは、処理部１０９が画像データを受け取ったのちに、開始される。まず、テラヘルツ画像の特徴を抽出する（工程Ｓ２０１）。特徴とは、例えば、エッジ、角、特異な点、輪郭などでありうる。また、特徴とは、エッジや角を特定することから抽出された図形や領域でありうる。特徴として、例えば、ラプラシアンフィルターによる輪郭抽出を行った結果の領域を用いる。なお、特徴の抽出には他の公知技術を利用してもよい。図３（ｄ）は、図３（ｃ）の画像３０６を処理し、輪郭抽出を行い、領域を特定した画像３０７を示す模式図である。図３（ｄ）の画像３０７は、特徴を示す画像ともいえる。図３（ｄ）の特徴３３１は図３（ｃ）の像３２１から生成され、図３（ｄ）の特徴３３２は図３（ｃ）の像３２２から生成され、図３（ｄ）の特徴３３３は図３（ｃ）の像３２３から生成される。また、図３（ｄ）の特徴３３４は図３（ｃ）の像３２４から生成され、図３（ｄ）の特徴３３７は図３（ｃ）の像３２７から生成される。各像から輪郭が抽出され、領域が抽出されている。

【0022】

次に、抽出した特徴の動き情報を取得する（工程Ｓ２０２）。ここで、動き情報とは特徴量ともいえる。動き情報とは、例えば特徴の速度ベクトルである。速度ベクトルは、移動ベクトルと受信部１０２のフレームレートから抽出することができる。移動ベクトルの抽出手段としては、２枚以上の画像から移動量を抽出する手段を用いることができる。例えば、移動ベクトルは、時間的に連続する２枚の画像から抽出することができる。この抽出の際に用いる画像は、必ず連続する２枚の画像でなく、適宜選択した２枚の画像であってもよく、また動画であってもよい。移動ベクトルの抽出手段は、例えば、ブロックマッチング法が好適である。この抽出について、図４を用いて説明する。

【0023】

図４（ａ）～図４（ｃ）は、移動ベクトルの抽出を説明する模式図である。トラッキングによって移動ベクトルを抽出している。図４（ａ）はある時刻の１フレームの画像４１１を示し、図４（ｂ）はある時刻よりも後の時刻の１フレームの画像４１２を示す。ここで、図４（ａ）の画像４１１は図３（ｄ）の特徴を示す画像３０７である。図４（ｃ）は、画像４１１と画像４１２から抽出した移動ベクトルを示す画像４１３である。画像４１３において、各ベクトルは、方向と大きさ（速度）を矢印で示している。ベクトル４０１は、画像３０７の特徴３３１の移動ベクトルである。ベクトル４０２は、画像３０７の特徴３３２の移動ベクトルである。ベクトル４０３は、画像３０７の特徴３３３の移動ベクトルである。ベクトル４０４は、画像３０７の特徴３３４の移動ベクトルである。ベクトル４０７は、特徴３３７の移動ベクトルである。各ベクトルの大きさは、各特徴の移動速度を示す。図４（ｃ）において、例えば、ベクトル４０１～４０４の大きさは０よりも大きく、ベクトル４０１～４０４は矢印で示されている。ベクトル４０７の大きさは０であり、ベクトル４０７は点で示されている。移動ベクトルを抽出するにあたり、本実施形態では２フレームの画像から抽出しているが、複数フレームの画像から抽出してもよい。移動速度は移動量とフレームレートから抽出が可能である。

【0024】

次に、抽出した結果に基づき、特徴の分類を行う（工程Ｓ２０３）。ここでは、各特徴を、グループ１（Ｇｒ１）と、グループ１とは異なるグループ２（Ｇｒ２）に分類する。図５は、本実施形態における分類を説明するための模式図である。具体的には、図５は、各特徴の移動速度を棒グラフ状に示したものである。移動速度でなく、移動量であってもよい。

【0025】

特徴３３１～３３４は、被覆物１０５に付帯する装飾物３０１～３０４に基づく信号である。これらの移動速度は、閾値以上であるため、補正対象であるグループ１に分類される。特徴３３７は、秘匿物１０７に基づく信号である。特徴３３７の移動速度は、閾値未満であるため、補正対象であるグループ１に分類されず、グループ２に分類される。

【0026】

図６は、図２に示す分類の工程Ｓ２０３を詳細に示したフローチャートである。工程Ｓ２０３は、特徴の分類手段である。工程Ｓ２０３は、工程Ｓ６０１～Ｓ６０３を有する。工程Ｓ２０２で取得された特徴の動き情報を用いている。つまり、特徴の移動速度が閾値以上か否かを判定し分類する（工程Ｓ６０１）。特徴の移動速度が閾値以上の場合（Ｙ）には、その特徴をＧｒ１に分類する（工程Ｓ６０２）。特徴の移動速度が閾値未満の場合（Ｎ）には、その特徴をＧｒ２に分類する（工程Ｓ６０３）。この判定および分類は、抽出された特徴の全てに行ってもよく、任意の特徴に行ってもよい。本実施形態では、閾値として、歩行速度である約４Ｋｍ／Ｈや、呼吸による胸部の時間変化である約１ｍｍ／ｓが設定される。他にも、移動量が大きい特徴の数や分布から閾値を設定しても良い。図５の場合には、特徴３３１～３３４はＧｒ１に分類され、特徴３３７はＧｒ２に分類される。

【0027】

その後、図２および図６に示すように、グループ１（Ｇｒ１）に属する信号をテラヘルツ画像から除去する（工程Ｓ２０４）。除去する処理は、例えば、Ｇｒ１に属する信号を、別の画像における同座標の信号に置換することで実施される。別の画像は、時間的に連続する画像（連続フレーム）に限らず、また、時間的な前後関係も問わない。装飾物３０１～３０４といった不要な物体と、秘匿物１０７とが重畳して配置されている場合、特徴のトラッキング結果を基に、適切な画像を選択することが望ましい。具体的に図７を用いて説明する。

【0028】

図７（ａ）は、図３（ｃ）の画像３０６に時間的に連続する画像７０１を示す。時間的に連続する画像７０１は、連続するフレームの画像ともいえる。図７（ｂ）は、図３（ｃ）の画像３０６と時間的に連続しない画像７０２を示す。画像３０６から、Ｇｒ１に属する信号を除去する場合には次の処理を行う。まず、画像７０１と画像７０２のいずれかから、装飾物像３２１～３２４と同一座標の信号を選択する。そして、選択した信号を、画像３０６の装飾物像３２１～３２４に対応する信号と置き換えることで、Ｇｒ１に属する信号を除去することができる。ここで、画像７０１か画像７０２を置換元フレームとも称する。

【0029】

本実施形態において、置換元フレームは、画像７０１よりも画像７０２を選択することが望ましい。画像７０１を選択する場合には、図７（ｃ）の画像７０３のように装飾物像３２１～３２４の一部が残ってしまう場合がある。画像７０２のように、装飾物３０１～３０４が秘匿物１０７に比べて大きく移動する画像を用いることによって、画像３０６から不要な信号を除去することが容易となる。この画像７０２のような画像は、上述の移動ベクトルを基に抽出することができる。

【0030】

他の除去する手段は、例えば、Ｇｒ１に属する信号を特徴の周囲の信号を基に信号を置き換える手段がある。この手段は、画像の画素数に対して、除去対象の特徴が小さい場合に行うことが望ましい。具体的には、Ｇｒ１に属する信号を、背景の画素値の平均値や中央値に置換する。他にも、補正対象ではない、Ｇｒ２に属する信号を基に、補間することで、置換しない部分の形状情報を補間することもできる。除去する手段では、上述した手法を適宜、組み合わせで行うことができる。

【0031】

なお、工程Ｓ２０４の後の処理としては次のようなものがある。Ｇｒ２に属する特徴を利用して、形状や物体を特定することができる。また、Ｇｒ２に属する信号に基づく画像を用いて、再度、特徴を抽出し、形状や物体を特定することもできる。

【0032】

また、分類におけるグループは、２つに限定されず、３以上のグループを設けてもよい。その際には、画像から除去するグループとして、複数のグループを選択することもできる。また、グループを除去した画像を比較して、除去するグループを特定してもよい。

【0033】

以上のような処理によって、ノイズが低減されたテラヘルツ画像を取得することができる。ノイズが低減されたテラヘルツ画像を用いることによって、カメラシステムの精度を向上させることができる。また、本実施形態の処理によれば、演算処理も容易に、特徴の分類をすることが容易である。

【0034】

（第２実施形態）
本実施形態は、動き情報として、移動速度ではなく移動周波数を用いている点が第１実施形態と異なる。以下の説明において、第１実施形態と同様の処理については、説明を省略する。

【0035】

図８は、本実施形態の画像処理装置１０１における処理を説明するためのフローチャートである。工程Ｓ２０１、Ｓ２０２、Ｓ２０４は第１実施形態と同様である。本実施形態では、工程Ｓ２０２の後に、各特徴の移動量の時間変化をフーリエ変換（Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ；ＦＴ）する工程Ｓ８０１を有する。特徴の移動量の時間変換をフーリエ変換することで、特徴の移動周波数を得ることができる。つまり、特徴の動き情報（特徴量）として、特徴の移動周波数を用いる。

【0036】

図９（ａ）は、移動周期が異なる２つの特徴の移動量の時間変化を示す模式図である。移動量９１１は、例えば、特徴３３１の移動量を示している。移動量９１１は、特徴３３１あるいは装飾物像３２１の移動をトレースすることで得ることができる。移動のトレースは異なる時間の複数の画像を用いて行うことができる。移動量９１１は、例えば、服のボタンの移動量の時間変換である。ボタンの他にも服のポケットや服のシワなどであってもよい。移動量９１７は、例えば、特徴３３７の移動量を示している。移動量９１７は、特徴３３７あるいは秘匿物像３２７の移動をトレースすることで得ることができる。移動量９１７は、被写体１０６である人物の移動量、あるいは被写体１０６が保持する秘匿物１０７の移動量の時間変化である。移動量９１７が被写体１０６の移動量を示す場合には、秘匿物１０７が被写体１０６に対して移動しない場合、例えば、被写体１０６が物品であり、秘匿物１０７が物品に固定されている場合である。移動量９１７が秘匿物１０７の移動量を示す場合には、秘匿物１０７が被写体１０６に対して移動している場合、例えば、被写体１０６が人物であり、人物の呼吸で秘匿物１０７が動く場合である。

【0037】

図９（ｂ）は、特徴の移動周波数のヒストグラムを示した模式図である。移動周波数９２１は、移動量９１１をフーリエ変換することで抽出している。移動周波数９２７は、移動量９１７をフーリエ変換することで抽出している。ここで、移動周波数９２１は移動周波数９２７よりも高い。移動周波数９２１が対応する特徴３３１は、被覆物１０５に付帯するもので、服の振動により揺れ動くことから、高い周波数を有している。

【0038】

次に、抽出した移動周波数が閾値以上か否かを判定する（Ｓ８０２）。特徴の移動周波数が閾値以上の場合（Ｙ）には、その特徴をＧｒ１に分類する（工程Ｓ６０２）。特徴の移動速度が閾値未満の場合（Ｎ）には、その特徴をＧｒ２に分類する（工程Ｓ６０３）。本実施形態では、閾値として、歩行時の重心の上下運動周期である約１Ｈｚや、呼吸による胸部の時間変化である約２０回／分が設定される。他にも、周波数が大きい特徴の数や分布から閾値を設定しても良い。図９（ｂ）の場合には、特徴３３１や他の特徴３３２、３３３、３３４は高い周波数を有しＧｒ１に分類され、特徴３３７はＧｒ２に分類される。

【0039】

その後、図２および図６に示すように、グループ１（Ｇｒ１）に属する信号をテラヘルツ画像から除去する（工程Ｓ２０４）。このような処理によって、ノイズが低減されたテラヘルツ画像を取得することができる。ノイズが低減されたテラヘルツ画像を用いることによって、カメラシステムの精度を向上させることができる。また、本実施形態の処理によれば、被写体の移動速度の大小に関わらず、特徴の分類をすることが容易である。

【0040】

（第３実施形態）
本実施形態では、第１実施形態とは異なるカメラシステムを用いる。具体的には、本実施形態では可視光のカメラを設け、可視光の画像を利用して分類を行う。以下の説明において、第１実施形態と同様の処理については、説明を省略する。

【0041】

図１０は、本実施形態のカメラシステムを説明するための模式図である。本実施形態のカメラシステムは、第１実施形態のカメラシステムの構成に加えて、可視光用のカメラ１００１を有する。カメラ１００１を受信部１０２に隣接させて設置してもよい。テラヘルツ画像の画角や向きが近い可視画像を取得することができる。画像生成部１０８は、受信部１０２から出力されたテラヘルツ波に基づく信号から画像を生成し、カメラ１００１から出力された可視光に基づく信号から画像を生成する。ここで、テラヘルツ波に基づく信号から生成された画像をテラヘルツ画像とし、可視光に基づく信号から生成された画像を可視画像とする。テラヘルツ波は、例えば、０．１ＴＨｚ以上３０ＴＨｚの範囲の周波数帯の波長を含み、可視光は３００ｎｍ以上７５０ｎｍ以上の波長を含む。本実施形態では、テラヘルツ波と可視光を用いたが、異なる周波数帯（すなわち波長帯）の電磁波に基づく２種類の画像を用いてもよい。なお、異なる周波数帯の一部は、重複する部分があってもよい。

【0042】

図１１は、本実施形態の画像処理装置１０１における処理を説明するためのフローチャートである。工程Ｓ２０１、Ｓ２０２、Ｓ２０４は第１実施形態と同様である。本実施形態は、図２に示す第１実施形態の処理とは、工程Ｓ１１０１、Ｓ１１０２と、分類の工程Ｓ２０３と、が異なる。

【0043】

工程Ｓ２０１と工程Ｓ２０２と平行して、カメラ１００１からの信号を処理する。画像生成部１０８で生成された可視画像の特徴を抽出する（工程Ｓ１１０１）。特徴を抽出する手段として、第１実施形態で説明した、公知の特徴抽出手段が挙げられるが、その他の手段も利用できる。また、テラヘルツ画像の特徴を抽出する工程Ｓ２０１において行う手段と異なる手段を選択してもよい。例えば、可視光は被覆物１０５において反射するため、被覆物１０５の表面にある模様を特徴として抽出してもよい。

【0044】

その後、可視画像の特徴の動き情報を取得する（工程Ｓ１１０２）。動き情報とは、特徴の速度ベクトルである。動き情報の取得手段として、第１実施形態で説明した、公知の動き情報の取得手段が挙げられるが、その他の手段も利用できる。また、テラヘルツ画像の特徴の動き情報を取得する工程Ｓ２０２において行う手段と異なる手段を選択してもよい。例えば、模様を特徴として抽出した場合には、模様の外縁をトレースすることで動き情報を取得することもできる。

【0045】

工程Ｓ２０２と工程Ｓ１１０２との結果に基づき、特徴を分類する工程Ｓ２０３が行われる。工程Ｓ２０３では、テラヘルツ画像の特徴の動き情報と可視画像の特徴の動き情報を比較する。つまり、２つの画像の特徴の移動速度が同じか否かを判定する（工程Ｓ１１０３）。特徴の移動速度が同じである場合（Ｙ）には、その特徴をＧｒ１に分類する（工程Ｓ６０２）。特徴の移動速度が異なる場合（Ｎ）には、その特徴をＧｒ２に分類する（工程Ｓ６０３）。ここで、分類は、特徴の移動速度用いた場合の他に、可視画像から選択した特徴と対応するテラヘルツ画像の特徴の動き情報を参照する手法も用いることができる。

【0046】

可視画像はテラヘルツ画像に比べ高精細である。よって、可視画像において、公知の物体認識技術を適応することで、被写体１０６の形状や部位、例えば胴体や腕などを認識させることができる。つまり、可視画像を利用して被写体１０６の形状や対象を特定することで、例えば、胴体と認識した領域は、呼吸の周期に応じた閾値を設けるなど、部位に特有の周期や速度に応じた処理が可能となる。また、個別の速度や周期で運動する物体毎に処理領域を分割し、処理領域毎に分類の閾値や分類条件を変更することで、分類精度の向上を図ることができる。処理領域は、所定のサイズで決定してもよい。また、処理領域の中から対象物に対応する領域を選択して処理を行うことにより、不必要な情報を減らして処理を行うこともできる。これにより、画像全体を処理するよりも処理の負担を軽減でき、高速化を図ることができる。本実施形態によれば、これら効果の少なくとも１つを達成することができる。

【0047】

本実施形態によれば、テラヘルツ画像に比べ、高精細かつ低ノイズである可視画像を用いることで特徴の抽出精度の向上と特徴の動き情報の精度の向上を実現できる。

【0048】

（第４実施形態）
本実施形態では、判定の工程に機械学習モデルを用いる際の機械学習モデルの生成を説明する。判定の工程において機械学習モデルを用いることで、判定精度の向上が可能となる。以下の説明において、他の実施形態の説明と共通する部分の説明は省略する。

【0049】

図１２は、本実施形態のカメラシステムの基本的構成を示した模式図である。図１に示す第１実施形態の構成に比べて、画像処理装置１０１が、学習サーバー１２０２と、データ収集サーバー１２０３に電気的に接続されている点が異なる。本実施形態では、画像処理装置１０１は、ネットワーク１２０１を介して、学習サーバー１２０２とデータ収集サーバー１２０３に接続している。カメラシステムは、図１２に記載されていないが、図１０にて説明した可視カメラ１００１や、後述する環境パラメータを測定するための環境パラメータ測定装置を追加しても良い。データ収集サーバー１２０３は、画像処理装置１０１が生成した画像と、後述する学習用データ１７００を格納するサーバーである。学習サーバー１２０２は、上述した特徴をグループ（例えば、Ｇｒ１、Ｇｒ２）に分類するための学習と推定を行うサーバーである。以下、学習を学習フェーズ、推定を推定フェーズとも称する。図１３～図１７を相互に参照して説明を行う。

【0050】

図１３は、情報処理装置１３００の構成の一例を説明するための模式図である。情報処理装置１３００は、例えば、画像処理装置１０１や学習サーバー１２０２やデータ収集サーバー１２０３などでありうる。情報処理装置１３００は、ＣＰＵ１３０２（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＯＭ１３０３（Ｒｅａｄ Ｏｎ Ｍｅｍｏｒｙ）と、ＲＡＭ１３０４（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とを有する。情報処理装置１３００は、ＨＤＤ１３０５（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）と、ＧＰＵ１３０９（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＩＦＣ１３０６（ＩｎｔｅｒＦａｃｅ Ｃｏｎｔｒｏｌｅ）とを有する。情報処理装置１３００は、更に、入力部１３０７と、表示部１３０８とを有する。これらの構成は、システムバス１３０１に配されている。本実施形態では、画像処理装置１０１や学習サーバー１２０２やデータ収集サーバー１２０３がそれぞれ図１３に示す構成を有する物とするが、それに限定されない。

【0051】

図１４は、画像処理装置１０１と学習サーバー１２０２とデータ収集サーバー１２０３の構成と学習フェーズおよび推定フェーズにおける情報のやり取りを示した模式図である。図１５は、推定フェーズにおける推定の流れを示すフローチャートである。図１５における工程Ｓ２０１と工程Ｓ２０４は第１実施形態と同様であるため、本実施形態での説明は省略する。第１実施形態と同様の処理を行うが、図１１に示すように、可視画像を合わせて処理する方法にも適用可能である。図１６は、学習フェーズにおける学習の流れを示すフローチャートである。図１７（ａ）は学習フェーズの概念図であり、図１７（ｂ）は推定フェーズの概念図である。

【0052】

まず、推定フェーズについて説明する。推定フェーズの概要は、主に図１５と図１７（ｂ）に示されている。推定フェーズでは、被覆物１０５に覆われた被写体１０６と秘匿物１０７を撮影したテラヘルツ画像から抽出された特徴１７１１を学習済みモデル１７０２に入力する。特徴１７１１を２つのグループに分類した分類結果１７１２を出力する。より詳細に説明する。まず、図１５に記載のフローを実施するためのアルゴリズムは、画像処理装置１０１と学習サーバー１２０２のＨＤＤ１３０５やＲＯＭ１３０３に記憶されている。アルゴリズムはＲＡＭ１３０４に展開され、ＣＰＵ１３０２やＧＰＵ１３０９により実行される。画像処理装置１０１は、ＨＤＤ１３０５やＲＯＭ１３０３に記憶されている電磁波に基づく画像から、特徴を抽出する（工程Ｓ２０１）。特徴は、ＩＦＣ１３０６とネットワーク１２０１を介して、学習サーバー１２０２に送信される。学習サーバー１２０２は、特徴をＨＤＤ１３０５やＲＯＭ１３０３に記憶し、特徴を学習済みモデル１７０２に入力する（工程Ｓ１５０１）。この特徴は、図１７（ｂ）における抽出した特徴１７１１である。学習サーバー１２０２は、学習済みモデル１７０２による推定を実行する（工程Ｓ１５０２）。学習サーバー１２０２は、推定によって分類結果１７１２を出力する。分類結果１７１２はＩＦＣ１３０６とネットワーク１２０１を介して、画像処理装置１０１に入力される。分類結果１７１２は、画像処理装置１０１のＨＤＤ１３０５やＲＯＭ１３０３に記憶される。画像処理装置１０１は、ＣＰＵ１３０２とＧＰＵ１３０９によって分類結果１７１２を基に特徴を分類する（工程Ｓ２０３）。そして、画像処理装置１０１は、画像から第１のグループの信号を除去する（工程Ｓ２０４）。このようにして推定フェーズは実行される。

【0053】

次に、学習フェーズについて説明する。学習フェーズの概要は、主に図１６と図１７（ａ）に示されている。学習フェーズでは、学習用データ１７００を学習モデル１７０１に入力することで、学習済みモデル１７０２を生成する。つまり、機械学習により、学習モデル１７０１のアルゴリズムを、より精度の高いアルゴリズムとなるように学習させたものが学習済モデル１７０２である。学習用データ１７００は、収集したテラヘルツ画像を含む。更に、学習用データ１７００は、テラヘルツ画像と対応する可視画像と、環境パラメータを含む。また、学習用データ１７００は、収集した画像やパラメータを加工したものや、抽出したデータであってもよい。また、学習用データ１７００は、教師データを含んでもよい。

【0054】

具体的なフローを説明する。まず、学習サーバー１２０２が、データ収集サーバー１２０３に対して、学習用データ１７００を要求する（工程Ｓ１６０１）。要求を受けて、データ収集サーバー１２０３は学習用データ１７００を学習サーバー１２０２へ送信する（工程Ｓ１６０２）。ここで、学習用データは、データ収集サーバー１２０３のデータ記憶部１４２３に記憶されている。要求を受けて、学習用データは、データ収集／提供部１４２２と、ＩＦＣ１３０６と、ネットワーク１２０１などを介して、学習サーバー１２０２へ送信される。学習サーバー１２０２では、学習用データ生成部１４３３で受信された学習用データは、データ記憶部１４３４に記憶される。

【0055】

次に、学習用データ１７００を学習モデル１７０１へ入力し（工程Ｓ１６０３）、学習を行う（工程Ｓ１６０４）。学習によって、学習済みモデル１７０２が生成される。学習モデル１７０１は、特徴を２つのグループ（Ｇｒ１、Ｇｒ２）に分類するためのアルゴリズムを有する。

【0056】

図１７（ｂ）に記載のアルゴリズムは、データ収集サーバー１２０３あるいは学習サーバー１２０２のＨＤＤ１３０５やＲＯＭ１３０３に格納される。そして、アルゴリズムはＲＡＭ１３０４に展開され、ＣＰＵ１３０２やＧＰＵ１３０９により実行される。

【0057】

機械学習は、学習サーバー１２０ＣＰＵ１３０２とＧＰＵ１３０９によって実行される。ＧＰＵ１３０９はデータをより多く並列処理することで効率的な演算を行うことができるので、ディープラーニングのような学習モデルを用いて複数回に渡り学習を行う場合にＧＰＵ１３０９を用いることが好ましい。本実施形態では、学習部１５３２による処理において、ＣＰＵ１３０２に加えて、ＧＰＵ１３０９が用いられている。具体的には、学習モデルを含む学習プログラムを実行する場合に、ＣＰＵ１３０２とＧＰＵ１３０９が協働して演算を行う。なお、学習部１５３２の処理は、ＣＰＵ１３０２とＧＰＵ１３０９のいずれかのみにより演算が行われても良い。また、推定部１５３１も学習部１５３２と同様にＧＰＵ１３０９を用いても良い。

【0058】

機械学習の具体的なアルゴリズムとして、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどを利用してもよい。また、ニューラルネットワークを利用して、学習するための特徴量、結合重みづけ係数を自ら生成する深層学習（ディープラーニング）であってもよい。たとえば、深層学習のモデルとして、ＣＮＮモデル（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｍｏｄｅｌ）を用いてもよい。適宜、上記アルゴリズムのうち利用できるものを用いて本実施形態に適用することができる。

【0059】

機械学習は、予め収集しておいたデータ群を用いてまとめた学習を行い、以降はずっとそのパラメータで分類を行うこと（バッチ学習）も、撮像した動画から即時学習すること（オンライン学習）もできる。あるいは、その中間的な、ある程度データが溜まるたびに学習モードを挟むということも可能である。また、学習用データは、本処理システムを適応する検査システムとは異なる、学習用データに好適な環境で取得した撮影データを用いてもよく、同じ環境において取得したデータを用いてもよい。

【0060】

次に、学習用データの収集方法について説明する。電磁波に基づく動画の収集は、第１実施形態に記載のカメラシステムや、公知の撮影手法を利用できる。ここで、例えば、電磁波としてテラヘルツ波を用いた場合について説明する。テラヘルツ画像は、本実施形態では、服を着た人を撮影したテラヘルツ動画であるとする。テラヘルツ動画と対応する可視動画の収集は、第３実施形態に記載のカメラシステムや、公知の撮影手法を利用できる。ここで、可視動画はテラヘルツ動画と同時に、等しいあるいは類似した画角で撮影した可視動画である。そして、環境パラメータは、テラヘルツ動画を撮影したときの温度や湿度、天気などの気候条件や、人物の体型、風速、服の素材など、被覆物である衣類の振動に関わる情報である。環境パラメータの収集には、公知のデータ収集方法を用いることができる。また、環境パラメータは記載のものに限定されず、他の様々なデータであってもよい。また、学習用データは教師付きデータであってもよい。学習用データは、ネットワーク１２０１を介して、データ収集サーバー１２０３に収集される。

【0061】

本発明は、上述の実施形態以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータがプログラムを読出し実行する処理でも実現可能である。コンピュータは、１または複数のプロセッサーまたは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータまたは分離した複数のプロセッサーまたは回路のネットワークを含みうる。例えば、プロセッサーまたは回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）を含みうる。例えば、プロセッサーまたは回路は、フィールドプログラマブルゲートウェイ（ＦＰＧＡ）、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、またはニューラルプロセッシングユニット（ＮＰＵ）を含みうる。

【0062】

（第５実施形態）
本実施形態では、電磁波に基づく画像の撮影時に被写体に機械的振動を与える振動手段を用いることで、分離精度の向上を実現する例を記載する。尚、これまでの説明と共通する部分の説明は省略する。図１８は、本実施形態のカメラシステムの例を示した模式図である。

【0063】

図１８（ａ）のカメラシステムは、第１実施形態で説明した構成に加えて、風力装置１８０１を有する。風力装置は、例えば扇風機やエアコンなどの、風により被覆物１０５を振動させることが可能な装置から構成される。これにより、被覆物１０５と被写体１０６と秘匿物１０７の移動速度や移動周波数の差を大きくすることができ、分類精度の向上が可能となる。図１８（ｂ）のカメラシステムは、第１実施形態で説明した構成に加えて、振動装置１８０２を有する。振動装置１８０２は被写体１０６の下に設けられているが、振動が被写体１０６に伝達される位置であればよい。このような構成によって、被写体１０６を振動させることで、被写体１０６と秘匿物１０７の移動周波数あるいはその周期を振動装置１８０２によって制御することができる。よって、移動周波数の差による分類精度の向上が実現する。このような、風力装置１８０１の風量や、振動装置１８０２の振動数を、分類の閾値の設定や、機械学習時の学習用データ１７００に反映することで、分類精度の向上が実現できる。

【0064】

また、図１８では、振動を与える装置として、風力装置１８０１と振動装置１８０２を記載したが、被写体１０６が能動的に振動するような装置を設置することもできる。例として、被写体１０６が歩行する通路上に段差を設置する（段差装置を設ける）ことで、被写体の昇降運動を誘発することができる。段差装置によれば、風力装置を用いる手段や振動装置を用いる手段に比べ、簡便かつ低コストに検査システムに実施できる。

【0065】

各実施形態によれば、テラヘルツ画像に比べ、高精細かつ低ノイズである可視画像を用いることで特徴の抽出精度の向上と特徴の動き情報の抽出精度の向上を実現できる。なお、各実施形態は適宜変更・組み合わせが可能である。また、画素処理部１０１とデータ収集サーバー１２０３や学習サーバー１２０２での処理は、説明したものに限らず、画像処理装置１０１が学習サーバー１２０２から学習済みモデルを受け取り、画像処理装置１０１で推定フェーズを実施してもよい。また、推定フェーズや学習フェーズはクラウド上で行うこともできる。また、動き情報として、移動速度や移動周波数を示したが、他の情報を利用することもできる。

【符号の説明】

【0066】

１０１ 画像処理装置
１０２ 受信部
１０３ 発信部
１０４ テラヘルツ波
１０５ 被覆物
１０６ 被写体
１０７ 秘匿物

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】