特表 2024-529423 保安検査ＣＴ対象物認識方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-08-06

(54)【発明の名称】保安検査ＣＴ対象物認識方法及び装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240730BHJP

   G01N 23/046 20180101ALI20240730BHJP

   G01N 21/17 20060101ALI20240730BHJP

【ＦＩ】

G06T7/00 C

G01N23/046

G01N21/17 620

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024504228

(86)(22)【出願日】2022-07-08

(85)【翻訳文提出日】2024-01-23

(86)【国際出願番号】 CN2022104606

(87)【国際公開番号】W WO2023024726

(87)【国際公開日】2023-03-02

(31)【優先権主張番号】202110998653.3

(32)【優先日】2021-08-27

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】503414751

【氏名又は名称】同方威視技術股▲分▼有限公司

(71)【出願人】

【識別番号】502192546

【氏名又は名称】清華大学

【氏名又は名称原語表記】Ｔｓｉｎｇｈｕａ Ｕｎｉｖｅｒｓｉｔｙ

【住所又は居所原語表記】Ｔｓｉｎｇｈｕａ Ｕｎｉｖｅｒｓｉｔｙ，Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ，Ｂｅｉｊｉｎｇ １０００８４，Ｐ．Ｒ．Ｃｈｉｎａ

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】▲陳▼ 志▲強▼

(72)【発明者】

【氏名】▲張▼ ▲麗▼

(72)【発明者】

【氏名】▲孫▼ ▲運▼▲達▼

(72)【発明者】

【氏名】▲鄭▼ 娟

(72)【発明者】

【氏名】王 ▲ル▼

(72)【発明者】

【氏名】▲楊▼ 涛

(72)【発明者】

【氏名】李 ▲棟▼

【テーマコード（参考）】

2G001

2G059

5L096

【Ｆターム（参考）】

2G001HA14

2G001LA10

2G059AA05

2G059BB08

2G059FF02

2G059MM01

5L096AA03

5L096AA06

5L096AA09

5L096BA02

5L096CA18

5L096DA02

5L096FA69

5L096GA30

5L096HA09

5L096HA11

5L096JA11

5L096JA18

5L096KA04

5L096MA07

(57)【要約】

本発明は、三次元ＣＴデータに対して次元削減を行って複数の二次元次元削減ビューを生成することと、前記複数の二次元次元削減ビューを含む複数の二次元ビューに対して対象物認識を行い、対象物の二次元セマンティック記述集合を取得することと、前記二次元セマンティック記述集合に対して次元拡張を行い、前記対象物の三次元認識結果を取得することと、を含む、保安検査ＣＴ対象物認識方法及び装置に関する。

【特許請求の範囲】

【請求項1】

保安検査ＣＴ対象物認識方法であって、
三次元ＣＴデータに対して次元削減を行って複数の二次元次元削減ビューを生成することと、
前記複数の二次元次元削減ビューを含む複数の二次元ビューに対して対象物認識を行い、対象物の二次元セマンティック記述集合を取得することと、
前記二次元セマンティック記述集合に対して次元拡張を行い、前記対象物の三次元認識結果を取得することと、を含む
ことを特徴とする保安検査ＣＴ対象物認識方法。

【請求項2】

前記二次元セマンティック記述集合に対して次元拡張を行い、前記対象物の三次元認識結果を取得することは、
逆投影法により前記二次元セマンティック記述集合を三次元空間にマッピングし、三次元確率マップを取得することと、
前記三次元確率マップに対して特徴抽出を行い、前記対象物の三次元認識結果を取得することと、を含む
ことを特徴とする請求項１に記載の保安検査ＣＴ対象物認識方法。

【請求項3】

逆投影法により前記二次元セマンティック記述集合を三次元空間にマッピングし、三次元確率マップを取得することは、
ボクセル駆動または画素駆動により二次元セマンティック記述集合から三次元空間へのマッピングを行い、セマンティック特徴行列を取得し、セマンティック特徴行列を三次元確率マップに圧縮することを含む
ことを特徴とする請求項２に記載の保安検査ＣＴ対象物認識方法。

【請求項4】

前記ボクセル駆動は、
前記三次元ＣＴデータにおける各ボクセルを各前記二次元ビューにおける画素に対応付け、前記画素に対応する二次元セマンティック記述情報を照会して累積し、前記セマンティック特徴行列を生成することを含み、
前記画素駆動は、
前記二次元ビューにおける各画素が前記三次元ＣＴデータにおける１つの直線に対応し、各二次元ビューにおける各画素、又は前記二次元セマンティック記述集合によって与えられる関心領域の各画素をトラバースし、直線に沿って当該画素に対応する二次元セマンティック記述情報を三次元空間に伝播して、前記セマンティック特徴行列を生成することを含む
ことを特徴とする請求項３に記載の保安検査ＣＴ対象物認識方法。

【請求項5】

前記ボクセル駆動又は前記画素駆動において、マッピング関数又はルックアップテーブルにより前記ボクセルと前記画素との対応関係を取得する
ことを特徴とする請求項４に記載の保安検査ＣＴ対象物認識方法。

【請求項6】

前記三次元確率マップに対して特徴抽出を行い、前記対象物の三次元認識結果を取得することは、
前記三次元確率マップに対して、画像処理方法、クラシックな機械学習方法、ディープラーニング方法のうちの少なくとも１つ又はそれらの組み合わせを採用して特徴抽出を行うことにより、三次元画像セマンティック記述集合を取得し、前記三次元認識結果とすることを含む
ことを特徴とする請求項２に記載の保安検査ＣＴ対象物認識方法。

【請求項7】

前記三次元確率マップに対して特徴抽出を行い、前記対象物の三次元認識結果を取得することは、
三次元確率マップを二値化し、三次元二値画像を取得することと、
三次元二値画像に対して連通領域分析を行い、連通領域を取得することと、
前記連通領域に対して三次元画像セマンティック記述集合を生成することと、を含む
ことを特徴とする請求項６に記載の保安検査ＣＴ対象物認識方法。

【請求項8】

前記連通領域分析は、
前記三次元二値画像に対して連通成分標識を行い、各標識領域に対してマスク操作を行い、前記連通領域を取得することを含む
ことを特徴とする請求項７に記載の保安検査ＣＴ対象物認識方法。

【請求項9】

前記連通領域に対して三次元画像セマンティック記述集合を生成することは、
前記連通領域内の全ての確率値を抽出し、主成分分析を行って分析集合を取得し、前記分析集合を前記物体有効ボクセル領域として、三次元画像セマンティック記述集合を統計することを含む
ことを特徴とする請求項７に記載の保安検査ＣＴ対象物認識方法。

【請求項10】

前記三次元画像セマンティック記述集合は、ボクセル、三次元関心領域、三次元ＣＴ画像のうちの１つ又は複数を単位として、カテゴリ情報及び／又は信頼度を含み、
或いは、前記三次元画像セマンティック記述集合は、三次元関心領域及び／又は三次元ＣＴ画像を単位として、カテゴリ情報、対象物の位置情報、信頼度のうちの少なくとも１つを含む
ことを特徴とする請求項６に記載の保安検査ＣＴ対象物認識方法。

【請求項11】

前記位置情報は、三次元バウンディングボックスを含む
ことを特徴とする請求項１０に記載の保安検査ＣＴ対象物認識方法。

【請求項12】

前記二次元セマンティック記述集合は、画素、関心領域、二次元画像のうちの１つ又は複数を単位として、カテゴリ情報及び／又は信頼度を含み、
或いは、前記二次元セマンティック記述集合は、関心領域及び／又は二次元画像を単位として、カテゴリ情報、信頼度、対象物の位置情報のうちの少なくとも１つを含む
ことを特徴とする請求項１に記載の保安検査ＣＴ対象物認識方法。

【請求項13】

前記複数の二次元ビューの各々に対して対象物認識を行うことは、
二次元画像用の画像処理方法、クラシックな機械学習方法、ディープラーニング方法のうちの少なくとも１つ又はそれらの組み合わせを採用して対象物認識を行うことを含む
ことを特徴とする請求項１に記載の保安検査ＣＴ対象物認識方法。

【請求項14】

三次元ＣＴデータに対して次元削減を行って複数の二次元次元削減ビューを生成することは、
前記三次元ＣＴデータに対して複数の方向を設定することと、
前記複数の方向に従って投影又はレンダリングを行うことと、を含む
ことを特徴とする請求項１に記載の保安検査ＣＴ対象物認識方法。

【請求項15】

前記複数の方向は任意の方向であり、検出過程における物体の進行方向の直交方向に限定されない
ことを特徴とする請求項１４に記載の保安検査ＣＴ対象物認識方法。

【請求項16】

前記複数の二次元ビューは、二次元ＤＲ画像をさらに含み、
前記二次元ＤＲ画像は、ＤＲイメージング装置によって得られる
ことを特徴とする請求項１から１５のいずれか一項に記載の保安検査ＣＴ対象物認識方法。

【請求項17】

前記三次元認識結果を前記二次元ＤＲ画像に投影し、さらに二次元ＤＲ画像の認識結果として出力する
ことを特徴とする請求項１６に記載の保安検査ＣＴ対象物認識方法。

【請求項18】

保安検査ＣＴ対象物認識装置であって、
三次元ＣＴデータに対して次元削減を行って複数の二次元次元削減ビューを生成する次元削減モジュールと、
前記複数の二次元次元削減ビューを含む複数の二次元ビューに対して対象物認識を行い、対象物の二次元セマンティック記述集合を取得する二次元認識モジュールと、
前記二次元セマンティック記述集合に対して次元拡張を行い、前記対象物の三次元認識結果を取得する次元拡張モジュールと、を含む
ことを特徴とする保安検査ＣＴ対象物認識装置。

【請求項19】

コンピュータに、
三次元ＣＴデータに対して次元削減を行って複数の二次元次元削減ビューを生成することと、
前記複数の二次元次元削減ビューを含む複数の二次元ビューに対して対象物認識を行い、対象物の二次元セマンティック記述集合を取得ことと、
前記二次元セマンティック記述集合に対して次元拡張を行い、前記対象物の三次元認識結果を取得することと、を実行させるプログラムが記憶される
コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、保安検査ＣＴ分野に関し、特に、保安検査ＣＴ対象物認識方法及び装置に関する。

【背景技術】

【0002】

現在、保安検査分野において、ＣＴ装置は、例えば、禁制品などの対象物の認識に用いられることが多い。保安検査ＣＴ装置を利用して対象物認識を行う場合、従来技術は、主に、ＣＴ再構成技術を利用して物質属性情報を含む三次元断層画像を取得し、三次元画像を若干の容疑物に分割し、容疑物に対して物質属性の統計及び分類を行う。

【0003】

しかしながら、上記のような従来技術によれば、爆発物、毒品などの物質属性上で強い区別性を有する禁制品の認識において良好な性能を有するものの、強い三次元形状特徴を有し且つ物質組成と物理的属性が比較的複雑である対象物の認識に対して明らかな制限性がある。

【0004】

このような制限性を解決するために、特許文献１は、物体の三次元断層画像と二次元画像をそれぞれ認識し、前者により爆発物の認識結果を取得し、後者により他の禁制品の認識結果を得るＣＴ検出方法及び装置を提案している。

【0005】

特許文献１：１０９９７５３３５Ａ

【発明の概要】

【0006】

上記のように特許文献１では上記の制限性を改善しようとしているが、本発明の発明者が研究により、特許文献１には依然として以下の技術的課題が存在すること分った。

【0007】

（１）検出過程における物体の進行方向（Ｚ方向）の直交方向のみに沿って投影すると、物体のいくつかの配置姿勢において、投影面積が小さすぎ、形状情報の表現が不完全であり、対象物を正確に認識することができない。また、このように投影すれば、当該物体が他の物体によって遮蔽される可能性もあり、この場合、当該物体の形状情報も失われ、対象物を正確に認識することができない。

【0008】

（２）この方法では、爆発物を除く他の禁制品の認識において、三次元断層画像から得られる二次元投影画像を利用してもよいが、認識操作は二次元平面のみに限られ、三次元空間における認識結果が得られない。二次元画像の情報量が三次元データよりも著しく低いため、二次元認識結果を効果的に統合することができないと、保安検査ＣＴ装置の利点を十分に発揮することができない。

【課題を解決するための手段】

【0009】

本願は、三次元形状対象物に対する認識効果を向上させることができる保安検査ＣＴ対象物認識方法及び装置を提供する。

【0010】

本出願の第１態様は、保安検査ＣＴ対象物認識方法を提供し、
三次元ＣＴデータに対して次元削減を行って複数の二次元次元削減ビューを生成することと、
複数の二次元次元削減ビューを含む複数の二次元ビューに対して対象物認識を行い、対象物の二次元セマンティック記述集合を取得することと、
二次元セマンティック記述集合に対して次元拡張を行い、対象物の三次元認識結果を取得することと、を含む。

【0011】

上記の保安検査ＣＴ対象物認識方法において、二次元セマンティック記述集合に対して次元拡張を行い、対象物の三次元認識結果を取得することは、逆投影法により二次元セマンティック記述集合を三次元空間にマッピングし、三次元確率マップを取得することと、三次元確率マップに対して特徴抽出を行い、対象物の三次元認識結果を取得することと、を含む。

【0012】

上記の保安検査ＣＴ対象物認識方法において、逆投影法により二次元セマンティック記述集合を三次元空間にマッピングし、三次元確率マップを取得することは、ボクセル駆動または画素駆動により二次元セマンティック記述集合から三次元空間へのマッピングを行い、セマンティック特徴行列を取得し、セマンティック特徴行列を三次元確率マップに圧縮することを含む。

【0013】

上記の保安検査ＣＴ対象物認識方法において、ボクセル駆動は、三次元ＣＴデータにおける各ボクセルを各二次元ビューにおける画素に対応付け、画素に対応する二次元セマンティック記述情報を照会して累積し、セマンティック特徴行列を生成することを含み、画素駆動は、二次元ビューにおける各画素が三次元ＣＴデータにおける１つの直線に対応し、各二次元ビューにおける各画素、又は二次元セマンティック記述集合によって与えられる関心領域の各画素をトラバースし、直線に沿って当該画素に対応する二次元セマンティック記述情報を三次元空間に伝播して、セマンティック特徴行列を生成することを含む。

【0014】

上記の保安検査ＣＴ対象物認識方法において、ボクセル駆動又は画素駆動において、マッピング関数又はルックアップテーブルによりボクセルと画素との対応関係を取得する。

【0015】

上記の保安検査ＣＴ対象物認識方法において、三次元確率マップに対して特徴抽出を行い、対象物の三次元認識結果を取得することは、三次元確率マップに対して、画像処理方法、クラシックな機械学習方法、ディープラーニング方法のうちの少なくとも１つ又はそれらの組み合わせを採用して特徴抽出を行うことにより、三次元画像セマンティック記述集合を取得し、三次元認識結果とすることを含む。

【0016】

上記の保安検査ＣＴ対象物認識方法において、三次元確率マップに対して特徴抽出を行い、対象物の三次元認識結果を取得することは、三次元確率マップを二値化し、三次元二値画像を取得することと、三次元二値画像に対して連通領域分析を行い、連通領域を取得することと、連通領域に対して三次元画像セマンティック記述集合を生成することと、を含む。

【0017】

上記の保安検査ＣＴ対象物認識方法において、連通領域分析は、三次元二値画像に対して連通成分標識を行い、各標識領域に対してマスク操作を行い、連通領域を取得することを含む。

【0018】

上記の保安検査ＣＴ対象物認識方法において、連通領域に対して三次元画像セマンティック記述集合を生成することは、連通領域内の全ての確率値を抽出し、主成分分析を行って分析集合を取得し、分析集合を物体有効ボクセル領域として、三次元画像セマンティック記述集合を統計することを含む。

【0019】

上記の保安検査ＣＴ対象物認識方法において、三次元画像セマンティック記述集合は、ボクセル、三次元関心領域、三次元ＣＴ画像のうちの１つ又は複数を単位として、カテゴリ情報及び／又は信頼度を含み、或いは、三次元画像セマンティック記述集合は、三次元関心領域及び／又は三次元ＣＴ画像を単位として、カテゴリ情報、対象物の位置情報、信頼度のうちの少なくとも１つを含む。

【0020】

上記の保安検査ＣＴ対象物認識方法において、位置情報は、三次元バウンディングボックスを含む。

【0021】

上記の保安検査ＣＴ対象物認識方法において、二次元セマンティック記述集合は、画素、関心領域、二次元画像のうちの１つ又は複数を単位として、カテゴリ情報及び／又は信頼度を含み、或いは、二次元セマンティック記述集合は、関心領域及び／又は二次元画像を単位として、カテゴリ情報、信頼度、対象物の位置情報のうちの少なくとも１つを含む。

【0022】

上記の保安検査ＣＴ対象物認識方法において、複数の二次元ビューの各々に対して対象物認識を行うことは、二次元画像用の画像処理方法、クラシックな機械学習方法、ディープラーニング方法のうちの少なくとも１つ又はそれらの組み合わせを採用して対象物認識を行うことを含む。

【0023】

上記の保安検査ＣＴ対象物認識方法において、三次元ＣＴデータに対して次元削減を行って複数の二次元次元削減ビューを生成することは、三次元ＣＴデータに対して複数の方向を設定することと、複数の方向に従って投影又はレンダリングを行うことと、を含む。

【0024】

上記の保安検査ＣＴ対象物認識方法において、複数の方向は任意の方向であり、検出過程における物体の進行方向の直交方向に限定されない。

【0025】

上記の保安検査ＣＴ対象物認識方法において、複数の二次元ビューは、二次元ＤＲ画像をさらに含み、二次元ＤＲ画像は、ＤＲイメージング装置によって得られる。

【0026】

上記の保安検査ＣＴ対象物認識方法において、三次元認識結果を二次元ＤＲ画像に投影し、さらに二次元ＤＲ画像の認識結果として出力する。

【0027】

本出願の第２態様は、保安検査ＣＴ対象物認識装置を提供し、三次元ＣＴデータに対して次元削減を行って複数の二次元次元削減ビューを生成する次元削減モジュールと、複数の二次元次元削減ビューを含む複数の二次元ビューに対して対象物認識を行い、対象物の二次元セマンティック記述集合を取得する二次元認識モジュールと、二次元セマンティック記述集合に対して次元拡張を行い、対象物の三次元認識結果を取得する次元拡張モジュールと、を含む。

【0028】

本出願の第３態様は、コンピュータ可読記憶媒体を提供し、コンピュータに、三次元ＣＴデータに対して次元削減を行って複数の二次元次元削減ビューを生成することと、複数の二次元次元削減ビューを含む複数の二次元ビューに対して対象物認識を行い、対象物の二次元セマンティック記述集合を取得ことと、二次元セマンティック記述集合に対して次元拡張を行い、対象物の三次元認識結果を取得することと、を実行させるプログラムが記憶される。

【0029】

以上のように、本出願において、三次元ＣＴデータから次元削減を行うことによって複数の二次元次元削減ビューを生成し、これら複数の二次元次元削減ビューを含む複数の二次元ビューを利用して対象物認識を行い、二次元セマンティック記述集合を取得し、さらに二次元セマンティック記述集合に対して次元拡張を行って三次元認識結果を取得し、即ち、まず三次元から二次元に次元削減して認識した後に次元拡張して三次元結果を生成し、これにより、二次元に基づく認識により、物質組成及び物理的属性が比較的複雑で形状特徴を有する対象物を効果的に認識することができるとともに、二次元認識結果を効果的に統合し、情報量が豊富な三次元認識結果を提供することができる。したがって、対象物に対する認識効果を高めることができる。また、保安検査のリアルタイム性の要求も満たすことができる。

【図面の簡単な説明】

【0030】

【図1】図１は、第１実施形態に係る保安検査ＣＴ対象物認識方法を示すフローチャートである。

【図2】図２は、次元削減処理の具体例を示すフローチャートである。

【図3】図３は、次元拡張処理の具体例を示すフローチャートである。

【図4】図４は、三次元特徴抽出の具体例を示すフローチャートである。

【図5】図５は、第２実施形態に係る保安検査ＣＴ対象物認識方法を示すフローチャートである。

【図6】図６は、第３実施形態に係る保安検査ＣＴ対象物認識装置の一例を示す模式図である。

【図7】図７は、第３実施形態に係る保安検査ＣＴ対象物認識装置の他の例を示す模式図である。

【発明を実施するための形態】

【0031】

以下、添付図面を参照しながら本発明の例示的な実施形態または実施例について詳細に説明する。添付図面には、本発明の例示的な実施例が示されているが、本発明を様々な形態で実現することができ、ここで説明される実施形態又は実施例により制限されるべきではないことが理解されるべきである。逆には、これらの実施形態または実施例は、本発明を明確に理解するために提供される。

【0032】

本出願の明細書及び特許請求の範囲における「第１」、「第２」等の用語は、特定の順序又は順次を記述するためのものではなく、類似する対象を区別するためのものである。理解できるように、このようにして使用されるデータは、ここで説明される本出願の実施形態または実施例が図示または記述された順序以外の順序で実施することができるように、適宜、交換することができる。また、「含む」及び「有する」という用語及びそれらの任意の変形は、非排他的な包含をカバーすることを意図し、例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品又は装置が、明確に列挙されたステップ又はユニットに限定されず、明確に示されていない他のステップ又はユニットを含んでもよい。同一又は類似の符号は、同一又は類似の機能を有する構成要素を示す。

【0033】

＜第１実施形態＞
本出願の第１実施形態として、保安検査ＣＴ対象物認識方法が提供される。図１は、第１実施形態に係る保安検査ＣＴ対象物認識方法を示すフローチャートである。保安検査ＣＴ対象物認識方法は、保安検査ＣＴシステムに適用され、例えば、保安検査ＣＴ装置、又は、保安検査ＣＴ装置に接続されたサーバ等において実行されてもよい。

【0034】

図１に示すように、Ｓ１０ステップでは、次元削減処理を行う。すなわち、三次元ＣＴデータに対して次元削減を行って複数の二次元次元削減ビューを生成する。

【0035】

具体的には、図２に示すように、Ｓ１０ステップは、Ｓ１１ステップ及びＳ１２ステップを含んでもよい。

【0036】

Ｓ１１ステップでは、三次元ＣＴデータに対して複数の方向を設定する。ここで、複数の方向は、検出過程における物体の進行方向の直交方向という特定の方向に限らず、任意の方向である。

【0037】

また、複数の方向を設定すると同時に、又は複数の方向を設定する前後で、選択的には、例えば、無効ボクセルのフィルタリング、投影又はレンダリングに必要な幾何パラメータの予め計算という一定の三次元ボリュームデータの前処理操作を行うことができ、これにより、後続の処理速度を向上させることができる。

【0038】

Ｓ１２において、複数の方向に従って投影又はレンダリングを行い、複数の二次元次元削減ビューを取得する。

【0039】

一例として、ＣＴ画像スライスシーケンスに基づいて放射線又は光線を投射し、画像の各画素から特定の方向に沿って１本の放射線又は光線を発射し、放射線又は光線が画像シーケンス全体を横断し、この過程において、画像シーケンスをサンプリングして属性又は色情報を取得し、同時に、放射線又は光線が画像シーケンス全体を横断するまでに、一定のモデルに基づいて属性又は色値を累積し、最後に得られた属性又は色値を次元削減後の二次元ビューとすることができる。

【0040】

本出願において、任意の方向に従って投影することにより二次元次元削減ビューを取得することで、特定の方向のみに沿って次元削減を行うことを回避することができ、例えば、検出過程における物体の進行方向の直交方向に沿って次元削減を行うことを回避することができ、これにより、（１）物体のいくつかの配置姿勢において、物体が次元削減された後の面積が小さすぎて、形状情報の表現が不完全であることにより、正確に認識することができず、（２）当該物体が他の物体によって遮られることにより当該物体の形状情報が失われ、対象物を正確に認識することができないという特定の方向のみに沿って次元削減を行う場合に存在する問題を解決することができる。

【0041】

Ｓ２０ステップでは、二次元認識処理を行う。即ち、複数の二次元ビューに対して対象物認識を行い、対象物の二次元セマンティック記述集合を取得する。ここで、複数の二次元ビューは、上述したＳ１０のステップで得られた複数の二次元次元削減ビューを含む。

【0042】

具体的には、二次元ビューの対象物認識方法として、二次元画像に用いられる画像処理方法、クラシックな機械学習方法、ディープラーニング方法のうちの少なくとも１つ又はそれらの組み合わせを採用することができる。

【0043】

例えば、二次元ビューを入力としてニューラルネットワークモデルに入力し、出力として二次元セマンティック記述集合を取得する。

【0044】

具体的には、ディープラーニングに基づく目標検出ニューラルネットワークを用いて対象物の二次元位置検出を行うことができる。目標検出タスクで使用される畳み込みニューラルネットワークは、コンピュータビジョンタスクにおけるディープラーニングの典型的な構造であり、このような畳み込みニューラルネットワークは、ローカル接続、重み共有、および空間上のリサンプリングなどの特性を有する。これらの特性により、畳み込みニューラルネットワークはある程度の並進スケーリングの不変性を有する。ここで、二次元セマンティック記述集合は、画素、関心領域、二次元画像のうちの１つ又は複数を単位として、カテゴリ情報及び／又は信頼度を含み、又は、前記二次元セマンティック記述集合は、関心領域及び／又は二次元画像を単位として、カテゴリ情報、信頼度、対象物の位置情報のうちの少なくとも１つを含む。ここで、カテゴリ情報は、対象物が属するカテゴリ、例えば、銃、ナイフなどを示す。位置情報は、中心座標、バウンディングボックス等を含んでよい。信頼度は、対象物が存在する可能性の大きさを表し、正規化されたスカラーまたはベクトルであってもよい。

【0045】

言い換えれば、二次元セマンティック記述集合は、ある画素が対象物に属するカテゴリ情報、信頼度など；ある関心領域に含まれる対象物のカテゴリ情報、対象物の位置情報、信頼度など；ある二次元画像に含まれる対象物のカテゴリ情報、対象物の位置情報、信頼度などのうちの少なくとも１つの情報を含む。ここで、少なくとも１つの情報は、１組に含まれる情報であってもよいし、異なる組にそれぞれ含まれる情報であってもよい。

【0046】

また、二次元セマンティック情報の記述集合は、カテゴリ情報、信頼度、位置情報のほか、対象物の姿勢、対象物の数などの他のセマンティック情報を含んでもよい。

【0047】

本出願の二次元ビューの対象物認識方法は、二次元ビューに基づいて上述の二次元セマンティック記述集合を取得できる方法であれば、特に限定されない。

【0048】

以上のように、本出願において、二次元セマンティック記述集合の方式で対象物の二次元認識結果を表し、このような二次元セマンティック記述集合が入力としてＳ３０ステップに入力され、三次元に次元拡張され、これにより、二次元認識結果を三次元に統合することができる。また、二次元セマンティック記述集合の方式が柔軟であるため、含まれる情報を豊かにすることができる。

【0049】

Ｓ３０ステップでは、次元拡張処理を行う。即ち、二次元セマンティック記述集合に対して次元拡張を行い、対象物の三次元認識結果を取得する。

【0050】

具体的には、図３に示すように、Ｓ３０ステップは、Ｓ３１ステップ及びＳ３２ステップを含んでもよい。

【0051】

Ｓ３１ステップにおいて、逆投影法により二次元セマンティック記述集合を三次元空間にマッピングし、三次元確率マップを取得する。逆投影は、投影の逆過程と考えることができる。

【0052】

選択的に、逆投影プロセスは、ボクセル駆動または画素駆動などの方式で実現されてもよい。具体的には、ボクセル駆動又は画素駆動により、セマンティック特徴行列を取得し、セマンティック特徴行列を三次元確率マップに圧縮することができる。

【0053】

ここで、ボクセル駆動は、三次元ＣＴデータにおける各ボクセルを各二次元ビューにおける画素に対応付け、画素に対応する二次元セマンティック記述情報を照会して累積し、セマンティック特徴行列を生成することを含む。

【0054】

ボクセルから画素への対応関係は、マッピング関数又はルックアップテーブルを構築して計算速度を向上させることができる。

【0055】

上記のように、ボクセル駆動に従って、三次元ＣＴデータにおける各ボクセルをトラバースし、そのセマンティック特徴行列を順次取得し、最後にセマンティック特徴行列を圧縮して三次元確率マップを取得する。

【0056】

ボクセル駆動は、ボクセル毎に並列演算することができ、これにより、演算速度が速く、保安検査のリアルタイム性を高めることができる。

【0057】

画素駆動は、二次元ビューにおける各画素が三次元ＣＴデータにおける１つの直線に対応し、各二次元ビューにおける各画素又は関心領域の各画素をトラバースし、直線に沿って三次元空間に当該画素に対応する二次元セマンティック記述情報を伝播し、セマンティック特徴行列を生成することを含み、ここで、関心領域は二次元セマンティック記述集合によって与えられる。ここで、マッピング関数又はルックアップテーブルによりボクセルと画素との対応関係を取得してもよい。

【0058】

以上のように、画素駆動に従って、複数の二次元ビューにおける各画素について、そのセマンティック特徴行列を順次に取得し、最後にセマンティック特徴行列を圧縮して三次元確率マップを取得する。

【0059】

画素駆動は、画素毎に並列演算を行うこともでき、演算速度を向上させ、保安検査のリアルタイム性を向上させること寄与する。

【0060】

上記のようなボクセル駆動及び画素駆動についての説明から分かるように、セマンティック特徴行列は、二次元セマンティック記述情報からその空間的対応関係に基づいて生成されたものであり、二次元セマンティック記述情報に基づいてデジタル化及び集約化を行って得られた行列である。例えば、二次元セマンティック記述集合におけるカテゴリ情報に対して、各対象物のカテゴリ毎に、それぞれセマンティック特徴行列を取得することができる。例えば、当該カテゴリに属する場合にセマンティック特徴行列における対応する数値が１であり、当該カテゴリに属さない場合にセマンティック特徴行列における対応する数値が０であると仮定することができる。また、二次元セマンティック記述集合における他のセマンティック情報についても類似方式によってセマンティック特徴行列を取得することもできる。

【0061】

セマンティック特徴行列を圧縮する典型的な方法としては、加重平均、主成分分析などがある。この場合、入力はセマンティック特徴行列であり、出力は確率マップである。

【0062】

一例として、２つの二次元ビューがあると仮定すれば、２つの二次元セマンティック記述集合があり、そのうち、ある画素（又は関心領域又は二次元画像）におけるセマンティック情報を数値で表示すれば１又は０であり、逆投影法を用いて三次元空間にマッピングし、対応する三次元空間のセマンティック特徴行列を生成することができ、この行列における値は０又は１からなるベクトルであり、加重平均方法を用いて、対応する三次元空間におけるボクセルの確率マップ値を算出することができ、例えば、あるボクセルのセマンティック特徴行列値はｖ＝［０、１］であり、重みが同じである場合、該ボクセルの確率マップ値は０．５である。全ての対象物カテゴリに対応するセマンティック特徴行列を圧縮する場合、出力される確率マップ値の次元は、対象物カテゴリの数量によって決定される。ここで説明した確率マップ値を取得する方式は一例であり、他の方式で確率マップ値を取得してもよい。例えば、重みが異なってもよく、セマンティック特徴行列値に対して異なる重みで重み付けを行って確率マップ値を得ることができる。

【0063】

別の例として、三次元セマンティック特徴行列における１つ又は複数のベクトルを主成分分析における入力変数とし、このような入力変数に対して主成分分析を行い、主成分としての出力変数を取得し、該出力変数を正規化してボクセルに対応する確率マップ値としてもよい。

【0064】

上記のような演算方法を用いることにより、演算のリアルタイム性を保証するだけでなく、二次元認識結果を効果的に統合し、最終的な認識効果を向上させることができる。

【0065】

Ｓ３２ステップにおいて、三次元確率マップに対して特徴抽出を行い、対象物の三次元認識結果を取得する。

【0066】

具体的には、三次元確率マップに対して、画像処理方法、クラシックな機械学習方法、ディープラーニング方法のうちの少なくとも１つ又はそれらの組み合わせを採用して特徴抽出を行うことにより、三次元画像セマンティック記述集合を前記三次元認識結果として取得する。

【0067】

一例として、三次元確率マップを入力としてディープラーニングモデルに入力し、出力として信頼度と三次元バウンディングボックスなどの三次元認識結果を取得する。ここで使用されるディープラーニングモデルは、層数が少ない分類ニューラルネットワーク又は目標検出ネットワーク等の技術を採用することができる。このような技術を採用することにより、元の三次元ＣＴデータに含まれる情報量は、上記のステップによって処理された後に、効果的に簡潔化および抽象化され、禁制品の認識の最終目標により近く、簡単な特徴抽出方法を応用すれば、三次元セマンティック記述集合を迅速かつ正確に抽出することができる。

【0068】

ここで、三次元画像セマンティック記述集合は、ボクセル、三次元関心領域、三次元ＣＴ画像のうちの１つ又は複数を単位として、カテゴリ情報及び／又は信頼度を含み、又は、三次元画像セマンティック記述集合は、三次元関心領域及び／又は三次元ＣＴ画像を単位として、カテゴリ情報、対象物の位置情報、信頼度のうちの少なくとも１つを含む。三次元ＣＴ画像における対象物の位置情報は、三次元バウンディングボックスを含んでよい。

【0069】

言い換えれば、三次元画像セマンティック記述集合は、あるボクセルが対象物に属するカテゴリ情報、信頼度など；ある三次元関心領域（ＶＯＩ）に含まれる対象物のカテゴリ情報、対象物の位置情報、信頼度など；ある三次元ＣＴ画像に含まれる対象物のカテゴリ情報、対象物の位置情報、信頼度などのうちの少なくとも１つの情報を含む。ここで、少なくとも１つの情報は、１組に含まれる情報であってもよいし、異なる組にそれぞれ含まれる情報であってもよい。

【0070】

三次元画像セマンティック記述集合は、二次元セマンティック記述集合に基づいて生成された三次元確率マップから生成されるため、三次元画像セマンティック記述集合に含まれるセマンティック情報の種類及び二次元セマンティック記述集合に含まれるセマンティック情報の種類は一致性又は相互変換性を有する。

【0071】

本出願において、上記の次元拡張処理により、二次元セマンティック記述集合に対して次元拡張を行い、前記対象物の三次元認識結果を取得し、これにより、次元削減だけで二次元認識を行う場合に情報量が著しく低下する問題を解決し、二次元認識を採用すると同時に、情報量の損失を減少させ、保安検査のリアルタイム性と正確性を両立させることができる。

【0072】

Ｓ３２ステップの別の例として、例えば、画像処理方法を採用してもよく、図４に示すように、Ｓ３２ステップは、Ｓ３２１－Ｓ３２３ステップを含んでもよい。

【0073】

Ｓ３２１ステップでは、三次元確率マップを二値化し、三次元二値画像を取得する。

【0074】

Ｓ３２２ステップでは、三次元二値画像に対して連通領域分析を行い、連通領域を取得する。

【0075】

一例として、三次元二値画像に対して連通成分標識を行い、標識領域毎にマスク操作を行い、連通領域を取得することができる。

【0076】

Ｓ３２３ステップでは、連通領域に対して三次元画像セマンティック記述集合を生成する。

【0077】

この場合、三次元画像セマンティック記述集合は三次元バウンディングボックスを含んでもよく、三次元バウンディングボックスを含むことで、三次元画像における対象物の空間境界を与えることができ、対象物の位置、範囲、姿勢、形状などをより直観的に示すことができ、保安検査員が対象物が危険物であるか否かを判断する正確度に有利である。

【0078】

一例として、連通領域内の全ての確率値を抽出し、主成分分析を行って分析集合を取得し、分析集合を物体有効ボクセル領域とすることができる。有効ボクセル領域に対して三次元画像セマンティック記述集合を統計する。これにより、三次元認識の正確度をさらに高めることができる。

【0079】

第１実施形態において、三次元ＣＴデータから次元削減を行うことによって複数の二次元次元削減ビューを生成し、これら複数の二次元次元削減ビューを含む複数の二次元ビューを用いて対象物認識を行い、二次元セマンティック記述集合を取得し、さらに二次元セマンティック記述集合に対して次元拡張を行うことによって三次元認識結果を取得し、すなわち、三次元から二次元に次元削減して認識した後に、さらに次元拡張して三次元結果を生成し、これにより、二次元に基づく認識によって、物質組成と物理属性が比較的複雑で形状特徴を有する対象物を効果的に認識することができるとともに、二次元認識結果を効果的に統合し、情報量が豊富な三次元認識結果を提供することができる。したがって、対象物に対する認識効果を高めることができ、また、保安検査のリアルタイム性の要求も満たすことができる。

【0080】

＜第２実施形態＞
本出願の第２実施形態として、別の保安検査ＣＴ対象物認識方法を提供する。図５は、第１実施形態に係る保安検査ＣＴ対象物認識方法を示すフローチャートである。

【0081】

第２実施形態と第１実施形態との違いは、第２実施形態では、三次元ＣＴデータから次元削減して生成された二次元次元削減画像だけでなく、二次元ＤＲデータも利用して対象物認識を行う点である。

【0082】

具体的には、Ｓ２０ステップにおいて、複数の二次元ビューは、二次元ＤＲ画像をさらに含み、当該二次元ＤＲ画像に対しても対象物認識を行い、対象物の二次元セマンティック記述集合を取得する。ここで、この二次元ＤＲ画像は、保安検査ＣＴ機器とは別体に配置されたＤＲイメージング装置によって得られる。この二次元ＤＲ画像は、三次元ＣＴデータと同じ保安検査対象に対する画像である。

【0083】

第２実施形態では、図５に示すように、Ｓ２０ステップの前に、Ｓ４０ステップをさらに有していてもよい。Ｓ４０ステップでは、ＤＲイメージング装置から二次元ＤＲ画像を取得し、それを複数の二次元ビューの１つとする。このＳ４０ステップは、Ｓ１０ステップと並行して行われてもよい。

【0084】

この場合、Ｓ３０ステップにおいて、二次元次元削減画像の二次元セマンティック記述集合に対して次元拡張を行うだけでなく、二次元ＤＲ画像の二次元セマンティック記述集合に対しても次元拡張を行い、これにより、三次元認識結果を取得する。

【0085】

二次元ＤＲ画像は、原理および性質が三次元ＣＴデータを次元削減して生成した二次元次元削減画像と異なる二次元画像であり、このような二次元ＤＲ画像も対象物認識に用いることで、認識に用いる情報量を増やすことができ、これにより、認識の正確度を高めることができる。

【0086】

第２実施形態では、図５に示すように、Ｓ３０ステップの後、選択的には、Ｓ５０ステップをさらに有してもよい。Ｓ５０ステップでは、Ｓ３０ステップで生成された三次元認識結果を二次元ＤＲ画像に投影し、さらに二次元ＤＲ画像の認識結果として出力する。

【0087】

作業習慣及びニーズにより、一部の保安検査員は、二次元ＤＲ画像で認識結果を確認したいが、二次元ＤＲ画像の認識結果を直接使用すると、ＤＲ画像において対象物が深刻に遮蔽され、又は特殊な配置姿勢が存在する場合、対象物の情報が不完全で認識精度に影響を与え、これに対し、三次元認識結果が幾つかの二次元ビューのセマンティック情報を効果的に統合することで、より正確で信頼でき、そのため、三次元認識結果を二次元ＤＲ画像に投影して認識結果として出力することにより、保安検査員が二次元ＤＲ画像によって認識結果を確認する作業ニーズを満たすとともに、認識結果の正確性も向上させることができる。

【0088】

なお、Ｓ３０ステップの結果とＳ５０ステップの結果とを同時に出力してもよい。

【0089】

この場合、三次元認識結果と二次元ＤＲ画像における認識結果に対して互いに照合及び検証を行うことにより、保安検査員が対象物が危険物であるか否かをより正確に判断することに有利である。

【0090】

＜第３実施形態＞
本出願の第３実施形態として、保安検査ＣＴ対象物認識装置が提供される。図６は、第１実施形態に係る保安検査ＣＴ対象物認識装置を示す模式図である。

【0091】

図６に示すように、本実施形態に係る保安検査ＣＴ対象物認識装置１００は、次元削減モジュール１０と、二次元認識モジュール２０と、次元拡張モジュール３０とを含む。

【0092】

次元削減モジュール１０は、三次元ＣＴデータを次元削減して複数の二次元次元削減ビューを生成する。すなわち、上記第１、第２実施形態におけるＳ１０ステップの処理を実行することができる。

【0093】

二次元認識モジュール２０は、複数の二次元ビューに対して対象物認識を行い、対象物の二次元セマンティック記述集合を取得する。ここで、複数の二次元ビューは、前記複数の二次元次元削減ビューを含む。すなわち、上記第１、第２実施形態におけるＳ２０ステップの処理を実行することができる。

【0094】

次元拡張モジュール３０は、二次元セマンティック記述集合に対して次元拡張を行い、対象物の三次元認識結果を取得する。すなわち、上記第１、第２実施形態におけるＳ３０ステップの処理を実行することができる。

【0095】

次元削減モジュール１０、二次元認識モジュール２０、次元拡張モジュール３０の具体的な処理は、上述した第１、第２実施形態を参照することができるため、ここでは繰り返さない。

【0096】

また、図７に示すように、保安検査ＣＴ対象物認識装置１００は、ＤＲイメージング装置から二次元ＤＲ画像を取得し、複数の二次元ビューの１つとするＤＲ画像取得モジュール４０をさらに含んでもよい。すなわち、ＤＲ画像取得モジュール４０は、第２実施形態におけるＳ４０ステップの処理を実行することができる。

【0097】

保安検査ＣＴ対象物認識装置１００は、次元拡張モジュール３０によって生成された三次元認識結果を二次元ＤＲ画像に投影し、二次元ＤＲ画像の認識結果として出力するＤＲ出力モジュール５０をさらに含んでもよい。すなわち、ＤＲ出力モジュール５０は、第２実施形態におけるＳ５０ステップの処理を実行することができる。

【0098】

本出願において、保安検査ＣＴ対象物認識装置１００は、ハードウェアで実現されてもよく、又は１つ又は複数のプロセッサで実行されるソフトウェアモジュールで実現されてもよく、又はそれらの組み合わせで実現されてもよい。

【0099】

例えば、保安検査ＣＴ対象物認識装置１００は、プロセッサが設けられたデスクトップコンピュータ、タブレットコンピュータ、スマートフォン、サーバ等の任意の適切な電子機器によって、ソフトウェアハードウェアの組み合わせの形態で実現されてもよい。例えば、保安検査ＣＴ対象物認識装置１００は、保安検査ＣＴシステムの制御用コンピュータ、又は、保安検査ＣＴシステムにおいて保安検査ＣＴスキャンデバイスに接続されるサーバ等であってもよい。

【0100】

また、保安検査ＣＴ対象物認識装置１００は、デスクトップコンピュータ、タブレットコンピュータ、スマートフォン、サーバ等の任意の適切な電子機器におけるソフトウェアモジュールの形態で実現されてもよい。例えば、保安検査ＣＴシステムの制御用コンピュータにインストールされたソフトウェアモジュール、又は、保安検査ＣＴシステムにおける保安検査ＣＴスキャンデバイスに接続されたサーバにインストールされたソフトウェアモジュールであってもよい。

【0101】

保安検査ＣＴ対象物認識装置１００のプロセッサは、後述する保安検査ＣＴ対象物認識方法を実行することができる。

【0102】

保安検査ＣＴ対象物認識装置１００は、メモリ（図示せず）及び通信モジュール（図示せず）などをさらに含んでもよい。

【0103】

保安検査ＣＴ対象物認識装置１００のメモリは、後述する保安検査ＣＴ対象物認識方法を実行するステップと、保安検査ＣＴ対象物認識を行うためのデータ等を記憶してもよい。メモリは、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ ｉｍａｇｅ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等であってもよい。メモリは、上記の保安検査ＣＴ対象物認識方法における任意のステップを実行するためプログラムコードの記憶空間を有する。これらのプログラムコードがプロセッサによって読み取られて実行されると、上記の保安検査ＣＴ対象物認識方法が実行される。これらのプログラムコードは、１つ又は複数のコンピュータプログラム製品から読み出され、または１つ又は複数のコンピュータプログラム製品に書き込まれてもよい。これらのコンピュータプログラム製品は、例えばハードディスク、コンパクトディスク（ＣＤ）、メモリカード、フレキシブルディスクなどのプログラムコードキャリアを含む。このようなコンピュータプログラム製品は、通常、携帯型又は固定的な記憶ユニットである。上記方法における任意のステップを実行するためのプログラムコードは、ネットワークを介してダウンロードされてもよい。プログラムコードは、例えば、適宜の形式で圧縮されてもよい。

【0104】

保安検査ＣＴ対象物認識装置１００における通信モジュールは、保安検査ＣＴ対象物認識装置１００と外部電子装置との間に直接（例えば、有線）通信チャネル又は無線通信チャネルを確立し、確立された通信チャネルを介して通信を実行することをサポートすることができる。例えば、通信モジュールは、ネットワークを介してＣＴスキャナ装置から三次元ＣＴデータ等を受信する。

【0105】

また、保安検査ＣＴ対象物認識装置１００は、対象物認識結果を出力するように、ディスプレイ、マイク、スピーカなどの出力部をさらに含んでもよい。

【0106】

上述した保安検査ＣＴ対象物認識装置１００により、上記第１、第２実施形態と同様の効果を取得することができる。

【0107】

以上、図面を参照して本発明の実施形態及び具体的な実施例を説明したが、当業者は、本発明の精神及び範囲から逸脱することなく、様々な修正及び変形を行うことができ、このような修正及び変形は、いずれも上記特許請求の範囲によって規定される範囲内に含まれる。

【符号の説明】

【0108】

１００ 保安検査ＣＴ対象物認識装置
１０ 次元削減モジュール
２０ 二次元認識モジュール
３０ 次元拡張モジュール
４０ ＤＲ画像取得モジュール
５０ ＤＲ出力モジュール

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【手続補正書】

【提出日】2024-01-23

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

保安検査ＣＴ対象物認識方法であって、
三次元ＣＴデータに対して次元削減を行って複数の二次元次元削減ビューを生成することと、
前記複数の二次元次元削減ビューを含む複数の二次元ビューに対して対象物認識を行い、対象物の二次元セマンティック記述集合を取得することと、
前記二次元セマンティック記述集合に対して次元拡張を行い、前記対象物の三次元認識結果を取得することと、を含む
ことを特徴とする保安検査ＣＴ対象物認識方法。

【請求項2】

前記二次元セマンティック記述集合に対して次元拡張を行い、前記対象物の三次元認識結果を取得することは、
逆投影法により前記二次元セマンティック記述集合を三次元空間にマッピングし、三次元確率マップを取得することと、
前記三次元確率マップに対して特徴抽出を行い、前記対象物の三次元認識結果を取得することと、を含む
ことを特徴とする請求項１に記載の保安検査ＣＴ対象物認識方法。

【請求項3】

逆投影法により前記二次元セマンティック記述集合を三次元空間にマッピングし、三次元確率マップを取得することは、
ボクセル駆動または画素駆動により二次元セマンティック記述集合から三次元空間へのマッピングを行い、セマンティック特徴行列を取得し、セマンティック特徴行列を三次元確率マップに圧縮することを含む
ことを特徴とする請求項２に記載の保安検査ＣＴ対象物認識方法。

【請求項4】

前記ボクセル駆動は、
前記三次元ＣＴデータにおける各ボクセルを各前記二次元ビューにおける画素に対応付け、前記画素に対応する二次元セマンティック記述情報を照会して累積し、前記セマンティック特徴行列を生成することを含み、
前記画素駆動は、
前記二次元ビューにおける各画素が前記三次元ＣＴデータにおける１つの直線に対応し、各二次元ビューにおける各画素、又は前記二次元セマンティック記述集合によって与えられる関心領域の各画素をトラバースし、直線に沿って当該画素に対応する二次元セマンティック記述情報を三次元空間に伝播して、前記セマンティック特徴行列を生成することを含む
ことを特徴とする請求項３に記載の保安検査ＣＴ対象物認識方法。

【請求項5】

前記ボクセル駆動又は前記画素駆動において、マッピング関数又はルックアップテーブルにより前記ボクセルと前記画素との対応関係を取得する
ことを特徴とする請求項４に記載の保安検査ＣＴ対象物認識方法。

【請求項6】

前記三次元確率マップに対して特徴抽出を行い、前記対象物の三次元認識結果を取得することは、
前記三次元確率マップに対して、画像処理方法、クラシックな機械学習方法、ディープラーニング方法のうちの少なくとも１つ又はそれらの組み合わせを採用して特徴抽出を行うことにより、三次元画像セマンティック記述集合を取得し、前記三次元認識結果とすることを含む
ことを特徴とする請求項２に記載の保安検査ＣＴ対象物認識方法。

【請求項7】

前記三次元確率マップに対して特徴抽出を行い、前記対象物の三次元認識結果を取得することは、
三次元確率マップを二値化し、三次元二値画像を取得することと、
三次元二値画像に対して連通領域分析を行い、連通領域を取得することと、
前記連通領域に対して三次元画像セマンティック記述集合を生成することと、を含む
ことを特徴とする請求項６に記載の保安検査ＣＴ対象物認識方法。

【請求項8】

前記連通領域分析は、
前記三次元二値画像に対して連通成分標識を行い、各標識領域に対してマスク操作を行い、前記連通領域を取得することを含む
ことを特徴とする請求項７に記載の保安検査ＣＴ対象物認識方法。

【請求項9】

前記連通領域に対して三次元画像セマンティック記述集合を生成することは、
前記連通領域内の全ての確率値を抽出し、主成分分析を行って分析集合を取得し、前記分析集合を利用して、三次元画像セマンティック記述を統計することを含む
ことを特徴とする請求項７に記載の保安検査ＣＴ対象物認識方法。

【請求項10】

前記三次元画像セマンティック記述集合は、ボクセル、三次元関心領域、三次元ＣＴ画像のうちの１つ又は複数を単位として、カテゴリ情報及び／又は信頼度を含み、
或いは、前記三次元画像セマンティック記述集合は、三次元関心領域及び／又は三次元ＣＴ画像を単位として、カテゴリ情報、対象物の位置情報、信頼度のうちの少なくとも１つを含む
ことを特徴とする請求項６に記載の保安検査ＣＴ対象物認識方法。

【請求項11】

前記位置情報は、三次元バウンディングボックスを含む
ことを特徴とする請求項１０に記載の保安検査ＣＴ対象物認識方法。

【請求項12】

前記二次元セマンティック記述集合は、画素、関心領域、二次元画像のうちの１つ又は複数を単位として、カテゴリ情報及び／又は信頼度を含み、
或いは、前記二次元セマンティック記述集合は、関心領域及び／又は二次元画像を単位として、カテゴリ情報、信頼度、対象物の位置情報のうちの少なくとも１つを含む
ことを特徴とする請求項１に記載の保安検査ＣＴ対象物認識方法。

【請求項13】

前記複数の二次元ビューの各々に対して対象物認識を行うことは、
二次元画像用の画像処理方法、クラシックな機械学習方法、ディープラーニング方法のうちの少なくとも１つ又はそれらの組み合わせを採用して対象物認識を行うことを含む
ことを特徴とする請求項１に記載の保安検査ＣＴ対象物認識方法。

【請求項14】

三次元ＣＴデータに対して次元削減を行って複数の二次元次元削減ビューを生成することは、
前記三次元ＣＴデータに対して複数の方向を設定することと、
前記複数の方向に従って投影又はレンダリングを行うことと、を含む
ことを特徴とする請求項１に記載の保安検査ＣＴ対象物認識方法。

【請求項15】

前記複数の方向は任意の方向であり、検出過程における物体の進行方向の直交方向に限定されない
ことを特徴とする請求項１４に記載の保安検査ＣＴ対象物認識方法。

【請求項16】

前記複数の二次元ビューは、二次元ＤＲ画像をさらに含み、
前記二次元ＤＲ画像は、ＤＲイメージング装置によって得られる
ことを特徴とする請求項１から１５のいずれか一項に記載の保安検査ＣＴ対象物認識方法。

【請求項17】

前記三次元認識結果を前記二次元ＤＲ画像に投影し、さらに二次元ＤＲ画像の認識結果として出力する
ことを特徴とする請求項１６に記載の保安検査ＣＴ対象物認識方法。

【請求項18】

保安検査ＣＴ対象物認識装置であって、
三次元ＣＴデータに対して次元削減を行って複数の二次元次元削減ビューを生成する次元削減モジュールと、
前記複数の二次元次元削減ビューを含む複数の二次元ビューに対して対象物認識を行い、対象物の二次元セマンティック記述集合を取得する二次元認識モジュールと、
前記二次元セマンティック記述集合に対して次元拡張を行い、前記対象物の三次元認識結果を取得する次元拡張モジュールと、を含む
ことを特徴とする保安検査ＣＴ対象物認識装置。

【請求項19】

コンピュータに、
三次元ＣＴデータに対して次元削減を行って複数の二次元次元削減ビューを生成することと、
前記複数の二次元次元削減ビューを含む複数の二次元ビューに対して対象物認識を行い、対象物の二次元セマンティック記述集合を取得ことと、
前記二次元セマンティック記述集合に対して次元拡張を行い、前記対象物の三次元認識結果を取得することと、を実行させるプログラムが記憶される
コンピュータ可読記憶媒体。

【国際調査報告】