(58)【調査した分野】(Int.Cl.,DB名)
前記3D仮想禁制品画像を含む3D検査画像における少なくとも1つの領域、または前記3D仮想禁制品画像に対応する2D仮想禁制品画像を含む2D検査画像における少なくとも1つの領域に対するユーザの選択を受信するステップは、
前記3D検査画像または2D検査画像における前記選択に関連する部分の座標位置を受信することを含むことを特徴とする請求項1に記載の方法。
前記検査データに基づいて、前記被検体の少なくとも1つの空間特徴パラメーターを算出するとともに、前記空間特徴パラメーターに基づいて、前記被検体の3D検査画像に少なくとも1つの3D仮想禁制品画像を挿入することを特徴とする請求項1に記載の方法。
前記3D検査画像の3D描画過程において、被検体を示す点群情報を記録し、前記選択に応答して、前記3D検査画像に少なくとも1つの3D仮想禁制品画像が含まれることに関するフィードバックを提供するステップは、
分割によって被検体の異なる物体の点群情報クラスター序列を取得するステップと、
所定の基準に基づいて、異なる物体の点群情報クラスター序列から少なくとも1つの選択された領域を確定するステップと、
前記少なくとも1つの選択された領域に前記少なくとも1つの3D仮想禁制品画像があるか否かを判断するステップと、を含むことを特徴とする請求項6に記載の方法。
前記被検体の2D検査画像に、前記少なくとも1つの3D仮想禁制品画像に対応する2D仮想禁制品画像を挿入するステップを更に含むことを特徴とする請求項1に記載の方法。
前記データプロセッサーは、前記検査データに基づいて、前記被検体の少なくとも1つの空間特徴パラメーターを算出するとともに、前記空間特徴パラメーターに基づいて、前記被検体の3D検査画像に少なくとも1つの3D仮想禁制品画像を挿入することを特徴とする請求項14に記載のセキュリティーチェックCTシステム。
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来技術の1つまたは複数の技術課題を考慮し、本発明は、セキュリティーチェックCTシステム及びその方法を提供する。ユーザは、CT画像の容疑物を速くマークするとともに、仮想危険品画像を含むか否かのフィードバックを提供することができる。
【課題を解決するための手段】
【0005】
本発明の一局面において、セキュリティーチェックCTシステムにおける方法を提供し、被検体の検査データを読み取るステップと、前記被検体の、前記検査データから得られた3D検査画像に、少なくとも1つの3D仮想禁制品画像(Fictional Threat Image)を挿入するステップと、前記3D仮想禁制品画像を含む3D検査画像における少なくとも1つの領域または前記3D仮想禁制品画像に対応する2D仮想禁制品画像を含む2D検査画像における少なくとも1つの領域に対する選択を受信するステップと、前記選択に応答して、前記3D検査画像に少なくとも1つの3D仮想禁制品画像が含まれることに関するフィードバックを提供するステップと、を含み、前記2D検査画像は、前記3D検査画像または前記検査データから得られたものである。
【0006】
いくつかの実施例によれば、前記3D仮想禁制品画像を含む3D検査画像における少なくとも1つの領域または前記3D仮想禁制品画像に対応する2D仮想禁制品画像を含む2D検査画像における少なくとも1つの領域に対する選択を受信するステップは、前記3D検査画像または2D検査画像における前記選択に関連する部分の座標位置を受信することを含む。
【0007】
いくつかの実施例によれば、前記選択に応答して、前記3D検査画像に少なくとも1つの3D仮想禁制品画像が含まれることに関するフィードバックを提供するステップは、選択された前記少なくとも1つの領域に前記少なくとも1つの3D仮想禁制品画像があるか否かを判断するステップと、ダイアログをポップアップさせて前記3D検査画像に少なくとも1つの3D仮想禁制品画像が含まれることを確認するステップと、インターフェースにおいて、文字提示によって前記3D検査画像に少なくとも1つの3D仮想禁制品画像が含まれることを確認するステップと、前記3D検査画像又は2D検査画像における前記選択に関連する部分を強調して表示するステップと、前記3D検査画像又は2D検査画像における前記選択に関連する部分をマークするステップと、前記3D検査画像又は2D検査画像における前記選択に関連する部分を特定の色又は図形で充填するステップと、の少なくとも1つを含む。
【0008】
いくつかの実施例によれば、前記検査データに基づいて、前記被検体の少なくとも1つの空間特徴パラメーターを算出するとともに、前記空間特徴パラメーターに基づいて、前記被検体の3D検査画像に少なくとも1つの3D仮想禁制品画像を挿入する。
【0009】
いくつかの実施例によれば、前記空間特徴パラメーターは、挿入すべき3D仮想禁制品画像の位置、大きさ及び方向の少なくとも1つに関している。
【0010】
いくつかの実施例によれば、少なくとも1つの領域に対する選択は、1つの視角において、表示された3D検査画像における一部に対する選択を含む。
【0011】
いくつかの実施例によれば、前記3D検査画像の3D描画過程において、被検体を示す点群情報を記録し、前記選択に応答して、前記3D検査画像に少なくとも1つの3D仮想禁制品画像が含まれることに関するフィードバックを提供するステップは、分割によって被検体の異なる物体の点群情報クラスター序列を取得するステップと、所定の基準に基づいて、異なる物体の点群情報クラスター序列から少なくとも1つの選択された領域を確定するステップと、前記少なくとも1つの選択された領域に前記少なくとも1つの3D仮想禁制品画像があるか否かを判断するステップと、を含む。
【0012】
いくつかの実施例によれば、少なくとも1つの領域に対する選択は、複数の異なる視角において、表示された3D検査画像おける一部に対する選択を含む。
【0013】
いくつかの実施例によれば、少なくとも1つの領域に対する選択は、2つの異なる視角において、表示された3D検査画像における一部に対する選択を含み、前記2つの異なる視角はほぼ互いに直交しており、前記検査データに対して透明領域の取り除きを行い、前記検査データにおける非透明領域の階層境界ボックスを取得し、そして、前記階層境界ボックスに対してシーン深さをレンダリングし、正面深さ画像及び裏面深さ画像を取得し、前記選択に応答して、前記3D検査画像に少なくとも1つの3D仮想禁制品画像が含まれることに関するフィードバックを提供するステップは、ユーザが第1の視角に選択した領域によって、正面深さ画像及び裏面深さ画像にそれぞれ検索し、第1の境界ボックスを生成するステップと、生成した第1の境界ボックスをテクスチャーキャリアとして光線投射を行うステップと、ユーザが第1の視角にほぼ直交する第2の視角において選択した領域によって、正面深さ画像及び裏面深さ画像にそれぞれ検索し、第2の境界ボックスを生成するステップと、画像空間に第1の境界ボックス及び第2の境界ボックスに対してブーリアン演算を行い、少なくとも1つの選択された領域として3次元空間におけるマーク領域を取得するステップと、前記少なくとも1つの選択された領域に前記少なくとも1つの3D仮想禁制品画像があるか否かを判断するステップと、を含む。
【0014】
いくつかの実施例によれば、前記被検体の3D検査画像に少なくとも1つの3D仮想禁制品画像を挿入するステップは、前記3D被検査画像を分割し、被検体の複数の3Dサブ画像を取得するステップと、前記複数の3Dサブ画像の間の距離及び位置を算出ステップと、算出された距離及び位置に基づいて3D仮想禁制品画像を挿入するステップと、を含む。
【0015】
いくつかの実施例によれば、前記被検体の3D検査画像に少なくとも1つの3D仮想禁制品画像を挿入するステップは、ボクセルの非透明度に基づいて、被検体のボリュームデータにおける透明部分及び非透明部分を確定するステップと、ボリュームデータの非透明部分から、被検体ケースの位置及びサイズを確定するステップと、ケース範囲内において透明領域における候補挿入位置を確定するステップと、所定の基準に基づいて、候補挿入位置から少なくとも1つの位置を選択して、少なくとも1つの3D仮想禁制品画像を挿入するステップと、を含む。
【0016】
いくつかの実施例によれば、前記被検体の3D検査画像に少なくとも1つの3D仮想禁制品画像を挿入するステップは、2D検査画像におけるバックグランド画像を取り除いて、2D前景画像を取得するステップと、2D前景画像における2D仮想禁制品画像の2D挿入位置を確定するステップと、前記2D挿入位置の深さ方向に沿って3D検査画像における3D仮想禁制品画像の位置を確定するステップと、確定された位置に少なくとも1つの3D仮想禁制品画像を挿入するステップと、を含む。
【0017】
いくつかの実施例によれば、前記方法は、前記被検体の2D検査画像に、前記少なくとも1つの3D仮想禁制品画像に対応する2D仮想禁制品画像を挿入するステップを更に含む。
【0018】
本発明の他の局面において、セキュリティーチェックCTシステムを提供し、前記被検体の検査データを取得するCT走査機器と、前記検査データを記憶するメモリと、前記被検体の、前記検査データから得られた3D検査画像及び/又は前記3D検査画像又は前記検査データから得られた2D検査画像を表示する表示機器と、前記被検体の3D検査画像に少なくとも1つの3D仮想禁制品画像(Fictional Threat Image)を挿入するデータプロセッサーと、前記3D仮想禁制品画像を含む3D検査画像における少なくとも1つの領域、または前記3D仮想禁制品画像に対応する2D仮想禁制品画像を含む2D検査画像における少なくとも1つの領域に対する選択を受信する入力装置と、を含み、その中、前記データプロセッサーは、前記選択に応答して、前記3D検査画像に少なくとも1つの3D仮想禁制品画像が含まれることに関するフィードバックを提供する。
【0019】
いくつかの実施例によれば、前記データプロセッサーは、前記検査データに基づいて、前記被検体の少なくとも1つの空間特徴パラメーターを算出するとともに、前記空間特徴パラメーターに基づいて、前記被検体の3D検査画像に少なくとも1つの3D仮想禁制品画像を挿入する。
【0020】
いくつかの実施例によれば、前記空間特徴パラメーターは、挿入すべき3D仮想禁制品画像の位置、大きさ及び方向の少なくとも1つに関している。
【0021】
本発明の一局面において、セキュリティーチェックCTシステムにおいて容疑物をマークする方法を提出し、セキュリティーチェックCTシステムにより取得されたCTデータに対して透明領域の取り除きを行い、前記CTデータにおける非透明領域の階層境界ボックスを取得するステップと、前記階層境界ボックスに対してシーン深さをレンダリングし、正面深さ画像及び裏面深さ画像を取得するステップと、ユーザが視線方向に作成したマークを用いて正面深さ画像及び裏面深さ画像にそれぞれ検索し、第1の境界ボックスを生成するステップと、生成した第1の境界ボックスをテクスチャーキャリアとして光線投射を行うステップと、ユーザが視線方向に直交する方向に作成したマークを用いて正面深さ画像及び裏面深さ画像にそれぞれ検索し、第2の境界ボックスを生成するステップと、画像空間において、第1の境界ボックス及び第2の境界ボックスに対してブーリアン演算を行い、3次元空間におけるマーク領域を取得するステップと、3次元空間のマーク領域をCTデータに融合して表示するステップと、を含む。
【0022】
いくつかの実施例によれば、透明領域を取り除くステップは、視線方向に沿ってCTデータをサンプリングするステップと、非透明度に基づく予積分検索テーブルによって、2つごとのサンプリングポイントの間の線分に対してボリュームレンダリング積分を行い、この線分に対応する非透明度を取得するステップと、八分木コーディングアルゴリズムによって、透明領域を分割して取り除き、非透明データ領域に対応する階層境界ボックスを取得するステップと、を含む。
【0023】
いくつかの実施例によれば、シーン深さをレンダリングするステップは、深さ値が比較的に大きい部分を取り除き、正面深さ画像を取得するステップと、深さ値が比較的に小さい部分を取り除き、裏面深さ画像を取得するステップと、を含む。
【0024】
いくつかの実施例によれば、前記第1の境界ボックス及び第2の境界ボックスはいずれも任意方向の境界ボックスである。
【0025】
いくつかの実施例によれば、空間拘束による伝達関数は、3次元空間のマーク領域をCTデータに融合して表示する。
【0026】
本発明の他の局面において、セキュリティーチェックCTシステムにおいて容疑物をマークする装置を提出し、セキュリティーチェックCTシステムにより取得されたCTデータに対して透明領域の取り除きを行い、前記CTデータにおける非透明領域の階層境界ボックスを取得する装置と、前記階層境界ボックスに対してシーン深さをレンダリングし、正面深さ画像及び裏面深さ画像を取得する装置と、ユーザが視線方向に作成したマークを用いて正面深さ画像及び裏面深さ画像にそれぞれ検索し、第1の境界ボックスを生成する装置と、生成した第1の境界ボックスをテクスチャーキャリアとして光線投射を行う装置と、ユーザが視線方向に直交する方向に作成したマークを用いて正面深さ画像及び裏面深さ画像にそれぞれ検索し、第2の境界ボックスを生成する装置と、画像空間において、第1の境界ボックス及び第2の境界ボックスに対してブーリアン演算を行い、3次元空間におけるマーク領域を取得する装置と、3次元空間のマーク領域をCTデータに融合して表示する装置と、を含む。
【0027】
いくつかの実施例によれば、透明領域を取り除く装置は、視線方向に沿ってCTデータをサンプリングする装置と、非透明度に基づく予積分検索テーブルによって、2つごとのサンプリングポイントの間の線分に対してボリュームレンダリング積分を行い、この線分に対応する非透明度を取得する装置と、八分木コーディングアルゴリズムによって、透明領域を分割して取り除き、階層境界ボックスを取得する装置と、を含む。
【0028】
いくつかの実施例によれば、シーン深さをレンダリングする装置は、深さ値が比較的に大きい部分を取り除き、正面深さ画像を取得する装置と、深さ値が比較的に小さい部分を取り除き、裏面深さ画像を取得する装置と、を含む。
【発明の効果】
【0029】
上記技術案によって、ユーザは、CT画像における容疑物を速くマークするとともに、仮想危険品画像を含むか否かのフィードバックを提供することができる。
本発明をより良く理解するように、以下の図面に基づいて本発明を詳細に説明する。
【発明を実施するための形態】
【0031】
以下、本発明の具体的な実施例について詳細に説明する。なお、ここで説明した実施例は、例として説明するためのものであり、本発明は、これに限らないと理解すべきである。以下の説明において、本発明に対する透徹した理解をさせるため、大量の特定の細部を描写した。しかし、必ずこれらの特定の細部を採用して本発明を実現することではないことが当業者にとって明らかになっている。その他の実例においては、本発明との混同を避けるために、周知の回路、材料または方法に対する具体的な説明を省略した。
【0032】
本明細書の全体において、言及した「一実施例」、「実施例」、「一示例」または「示例」は、該実施例または示例に結合して描写した特定の特徴、構造または特性が、本発明の少なくとも一実施例に含まれていることを意味する。従って、明細書全体の各箇所に現れた短文「一実施例において」、「実施例において」、「一示例」または「示例」は、必ず同一の実施例または示例を指したものではない。また、何らかの適宜な組み合わせ及び/またはサブ組み合わせによって、特定の特徴、構造または特性を一つまたは複数の実施例または示例に組み合わせることができる。また、当業者は、ここの「及び/又は」という用語が一つ又は複数の関連するアイテムの任意及び全ての組合を含むことを理解すべきである。
【0033】
従来技術の3D仮想禁制品画像を速く挿入できないという課題に対して、本発明の実施例は、被検体の検査データを読み込むことを提供する。被検体の、検査データから得られた3D検査画像に少なくとも1つの3D仮想禁制品画像(Fictional Threat Image)を挿入する。この3D仮想禁制品画像を含む3D検査画像における少なくとも1つの領域、またはこの3D仮想禁制品画像に対応する2D仮想禁制品画像を含む2D検査画像における少なくとも1つの領域に対する選択を受信し、その中、この2D検査画像は、前記3D検査画像又は検査データから得られたものである。この選択に応答して、3D検査画像に少なくとも1つの3D仮想禁制品画像が含まれることに関するフィードバックを提供する。上記技術案によって、ユーザはCT画像の容疑物を速くマークして仮想危険品画像が含まれるか否かに関するフィードバックを提供することができる。
【0034】
図1は本発明の実施形態によるCTシステムの構造模式図である。
図1に示すように、本実施形態のCT機器は、フレーム20と、搭載機構40と、コントローラ50と、コンピュータデータプロセッサー60などを含む。フレーム20は、例えばX線放射器という検査用X放射線を放射する放射線源10と、探測・採集装置30とを含む。搭載機構40は、被検査荷物70をフレーム20の放射線源10と探測・採集装置30との間の走査領域を透過するように搭載するとともに、フレーム20が被検査荷物70の直進方向を取り囲むように回し、これにより、放射線源10からの放射線が被検査荷物70を通し、被検査荷物70に対してCT走査を行うことができる。
【0035】
探測・採集装置30は、例えば全体モジュール構造を有する探測器・データ採集器であり、例えば平板探測器であり、被検体を透過する放射線を探測し、アナログ信号を取得し、アナログ信号をデジタル信号に変換し、これにより、被検査荷物70のX放射線に対する投影データを出力する。コントローラ50は、システム全体の各部分を同期して動作するように制御する。コンピュータデータプロセッサー60は、データ採集器により採集されたデータを処理し、データを処理して再構成し、結果を出力する。
【0036】
図1に示すように、放射線源10は被検体が放置可能な側に置かれ、探測・採集装置30は被検査荷物70の他の側に置かれ、探測器・データ採集器を含み、被検査荷物70の多角度の投影データを取得するためである。データ採集器は、データ拡大成形回路を含み、(電流)積分方式又はパルス(カウント)方式で動作することができる。探測・採集装置30のデータ出力ケーブルはコントローラ50及びコンピュータデータプロセッサー60に接続され、トリガーコマンドに基づいて、採集されたデータをコンピュータデータプロセッサー60に記憶する。
【0037】
図2は
図1に示すようなコンピュータデータプロセッサー60の構造ブロック図を示す。
図2に示すように、データ採集器が採集したデータは、インタフェース手段68及びバス64によってメモリ61に記憶される。リードオンリーメモリ(ROM)62にコンピュータデータプロセッサーの配置情報及びプログラムが記憶される。ランダムアクセスメモリ(RAM)63は、プロセッサー66の動作過程に各種のデータを一時に記憶する。なお、メモリ61に、データ処理を行うためのコンピュータプログラムが更に記憶される。内部バス64は、上記したメモリ61、リードオンリーメモリ62、ランダムアクセスメモリ63、入力装置65、プロセッサー66、表示装置67及びインタフェース手段68を接続している。
【0038】
ユーザが例えばキーボード及びマウスなどの入力装置65によって操作コマンドを入力した後で、コンピュータプログラムの指令コードコマンドプロセッサー66は、所定のデータ処理アルゴリズムを実行し、データ処理の結果を取得した後で、それを例えばLCDディスプレイなどの表示装置67に表示し、あるいは、例えば印刷などのハードコピーの形式によって処理結果を出力する。
【0039】
図3は本発明の実施形態によるコントローラの構造ブロック図を示す。
図3に示すように、コントローラ50は、コンピュータ60からの指令によって、放射線源10、搭載機構40、探測・採集装置30を制御する制御手段51と、制御手段の制御によって、放射線源10、探測・採集装置30、搭載機構40の動作をトリガーするためのトリガーコマンドを生成するトリガー信号生成手段52と、トリガー信号生成手段52が制御手段51の制御によって生成したトリガーコマンドに基づいて、搭載機構40を被検査荷物70を伝送するように駆動する第1の駆動機器53と、トリガー信号生成手段52が制御手段51の制御によって生成したトリガーコマンドに基づいて、フレーム20を回転するように駆動する第2の駆動機器54と、を含む。探測・採集装置30により取得された投影データがコンピュータ60に記憶され、CT断層画像の再構成を行って、被検査荷物70の断層画像データを取得する。そして、コンピュータ60は、例えばソフトウェアを実行することにより、断層画像データから被検査荷物70の少なくとも1つの視角のDR画像を取得し、再構成された3次元画像と共に表示し、これにより、作業員がセキュリティーチェックを便利に行うことができる。他の実施例によって、上記CTイメージングシステムは、ダブルエネルギーCTシステムであってもよく、すなわち、フレーム20のX放射線源10は、高いエネルギー及び低いエネルギーという2つの放射線を放射することができ、探測・採集装置30が異なるエネルギーレベルの投影データを探測した後で、コンピュータデータプロセッサー60によってダブルエネルギーCTの再構成を行って、被検査荷物70の各断層の同価原子序数及び電子密度データを取得する。
【0040】
図4Aは本発明の一実施例によるセキュリティーチェックシステムの方法を説明する概略的なフローチャートである。
【0041】
図4Aに示すように、ステップS401において、被検体の検査データを読み取る。
【0042】
ステップS402において、少なくとも1つの3D仮想禁制品画像(Fictional Threat Image)を前記被検体の3D検査画像に挿入し、前記3D検査画像は前記検査データから得られたものである。例えば、データプロセッサーは、仮想危険品のイメージライブラリーから、1つ又は複数の3D画像を選択して被検体の3D検査画像に挿入する。
【0043】
ステップS403において、前記3D仮想禁制品画像を含む3D検査画像における少なくとも1つの領域、または前記3D仮想禁制品画像に対応する2D仮想禁制品画像を含む2D検査画像における少なくとも1つの領域に対する選択を受信し、その中、前記2D検査画像は、前記3D検査画像又は前記検査データから得られたものである。例えば、ユーザは、入力装置を操作して、スクリーンに表示される画像にある領域を選択し、又は描画する。
【0044】
ステップS404において、前記選択に応答して、前記3D検査画像に少なくとも1つの3D仮想禁制品画像が含まれることに関するフィードバックを提供する。
【0045】
いくつかの実施例において、前記3D仮想禁制品画像を含む3D検査画像における少なくとも1つの領域、または前記3D仮想禁制品画像に対応する2D仮想禁制品画像を含む2D検査画像における少なくとも1つの領域に対する選択を受信するステップは、前記3D検査画像又は2D検査画像において前記選択に関連する部分の座標位置を受信することを含む。
【0046】
いくつかの実施例において、前記選択に応答して、前記3D検査画像に少なくとも1つの3D仮想禁制品画像が含まれることに関するフィードバックを提供するステップは、
選択された前記少なくとも1つの領域に前記少なくとも1つの3D仮想禁制品画像があるか否かを判断するステップと、
ダイアログをポップアップさせて前記3D検査画像に少なくとも1つの3D仮想禁制品画像が含まれることを確認するステップと、
インターフェースにおいて、文字提示によって前記3D検査画像に少なくとも1つの3D仮想禁制品画像が含まれることを確認するステップと、
前記3D検査画像又は2D検査画像における前記選択に関連する部分を強調して表示するステップと、
前記3D検査画像又は2D検査画像における前記選択に関連する部分をマークするステップと、
前記3D検査画像又は2D検査画像における前記選択に関連する部分を特定の色又は図形で充填するステップと、の少なくとも1つを含む。
【0047】
例えば、前記検査データに基づいて、前記被検体の少なくとも1つの空間特徴パラメーターを算出するとともに、前記空間特徴パラメーターに基づいて、前記被検体の3D検査画像に少なくとも1つの3D仮想禁制品画像を挿入する。いくつかの実施例において、前記空間特徴パラメーターは、挿入すべき3D仮想禁制品画像の位置、大きさ及び方向の少なくとも1つに関している。そして、少なくとも1つの領域に対する選択は、1つの視角において、表示された3D検査画像の一部に対する選択を含む。例えば、前記3D検査画像の3D描画過程において、被検体を示す点群情報を記録し、前記選択に応答して、前記3D検査画像に少なくとも1つの3D仮想禁制品画像が含まれることに関するフィードバックを提供するステップは、分割によって被検体の異なる物体の点群情報クラスター序列を取得するステップと、所定の基準に基づいて、異なる物体の点群情報クラスター序列から少なくとも1つの選択された領域を確定するステップと、前記少なくとも1つの選択された領域に前記少なくとも1つの3D仮想禁制品画像があるか否かを判断するステップと、を含む。
【0048】
他の実施例において、少なくとも1つの領域に対する選択は、複数の異なる視角において、表示された3D検査画像の一部に対する選択を含む。例えば、少なくとも1つの領域に対する選択は、2つの異なる視角において、表示された3D検査画像の一部に対する選択を含み、前記2つの異なる視角はほぼ互いに直交しており、その中、前記検査データに対して透明領域の取り除きを行い、前記検査データにおける非透明領域の階層境界ボックスを取得し、そして、前記階層境界ボックスに対してシーン深さをレンダリングし、正面深さ画像及び裏面深さ画像を取得する。前記選択に応答して、前記3D検査画像に少なくとも1つの3D仮想禁制品画像が含まれることに関するフィードバックを提供するステップは、ユーザが第1の視角に選択した領域によって、正面深さ画像及び裏面深さ画像にそれぞれ検索し、第1の境界ボックスを生成するステップと、生成した第1の境界ボックスをテクスチャーキャリアとして光線投射を行うステップと、ユーザが第1の視角にほぼ直交する第2の視角に選択した領域によって、正面深さ画像及び裏面深さ画像にそれぞれ検索し、第2の境界ボックスを生成するステップと、画像空間に第1の境界ボックス及び第2の境界ボックスに対してブーリアン演算を行い、3次元空間のマーク領域を取得して少なくとも1つの選択された領域とするステップと、前記少なくとも1つの選択された領域に前記少なくとも1つの3D仮想禁制品画像があるか否かを判断するステップと、を含む。
【0049】
いくつかの実施例において、前記被検体の3D検査画像に少なくとも1つの3D仮想禁制品画像を挿入するステップは、前記3D被検査画像を分割し、被検体の複数の3Dサブ画像を取得するステップと、前記複数の3Dサブ画像の間の距離及び位置を算出ステップと、算出された距離及び位置に基づいて3D仮想禁制品画像を挿入するステップと、を含む。
【0050】
他の実施例において、前記被検体の3D検査画像に少なくとも1つの3D仮想禁制品画像を挿入するステップは、ボクセルの非透明度に基づいて、被検体のボリュームデータにおける透明部分及び非透明部分を確定するステップと、ボリュームデータの非透明部分から、被検体ケースの位置及びサイズを確定するステップと、ケース範囲内において透明領域における候補挿入位置を確定するステップと、所定の基準に基づいて、候補挿入位置から少なくとも1つの選択された領域を選択するステップと、前記少なくとも1つの選択された領域に前記少なくとも1つの3D仮想禁制品画像があるか否かを判断するステップと、を含む。
【0051】
他の実施例において、前記被検体の3D検査画像に少なくとも1つの3D仮想禁制品画像を挿入するステップは、2D検査画像における背景画像を取り除いて、2D前景画像を取得するステップと、2D前景画像における2D仮想禁制品画像の2D挿入位置を確定するステップと、前記2D挿入位置の深さ方向に沿って3D検査画像における3D仮想禁制品画像の位置を確定するステップと、確定された位置に少なくとも1つの3D仮想禁制品画像を挿入するステップと、を含む。
【0052】
上記、3D仮想危険品画像を挿入することが記載されているが、本発明のいくつかの実施例において、前記被検体の2D検査画像に前記少なくとも1つの3D仮想禁制品画像に対応する2D仮想禁制品画像を挿入してもよい。
【0053】
また、従来技術の課題に対して、本発明のいくつかの実施例に、容疑物を速くマークする技術が提出されている。データの透明領域を速く取り除いた後で、投射光線の新な入射及び出射位置を取得し、深さ画像として記録する。これに基づいて、2次元のマークをそのボクセル空間における深さ情報に還元する。画像空間において、2回で取得された幾何学体をブーリアン演算して、最終に3次元の空間におけるマーク領域を取得する。
【0054】
例えば、いくつかの実施例において、まず、透明領域の取り除きを行って、データにおける非透明領域の緊密階層境界ボックスを速く取得し、そして、上記生成した階層境界ボックスをレンダリングし、正、裏面の深さ画像を取得し、これは調整された投射光線の入射及び出射位置である。次に、現在視線の方向に第1回目のピックアップを行い、マーク点群を用いて、正、裏面の深さ画像においてそれぞれ検索し、例えばOBB境界ボックスなどの境界ボックスを生成する。そして、上記生成したOBB境界ボックスによって、光線の投射範囲を更新し、自動的に回した直交視角に、ユーザは第2回目のピックアップを行って、新なOBB境界ボックスを生成する。画像空間において、その前の2つのステップで取得したOBB境界ボックスをブーリアン演算して、最終的なマーク領域を取得する。最後に、空間拘束による伝達関数を用いて、容疑領域を元データに融合して表示する。本発明のマーク方法によって、CTデータにおける透明領域を速く、正確に取り除き、友好な操作方式によってユーザに容疑領域マークの任務を速く完成させることができる。
【0055】
図4Bは本発明の一実施例によるCTシステムにおいて容疑物をマークする方法を説明するフローチャートである。CT機器がCTデータを取得した後で、まず、CTデータにおける透明領域を取り除く。データの透明領域を速く取り除いた後で、光線の新たな入射及び出射位置を深さ画像として記録する。ピックアップ過程において、深さ画像において2次元のマークを検索することにより、そのボクセル空間における深さ情報を還元する。画像空間において、2回で取得した幾何学体をブーリアン演算して、最終に3次元の空間におけるマーク領域を取得する。
【0056】
ステップS411において、セキュリティーチェックCTシステムにより取得したCTデータに対して予積分に基づく透明領域の取り除きを行い、前記CTデータにおける非透明領域の階層境界ボックスを取得する。
【0057】
1)非透明度に基づく予積分検索テーブルの生成
ボリュームレンダリングが処理する3次元のデータフィールドは、3次元空間に定義される離散データであり、データフィールド全体は、離散的な3次元行列で示される。3次元空間の各格子は、1つのスカラーを示し、ボクセルという。実際な算出において、ボクセルは、3次元のデータフィールドのあるサンプリングポイントとしてもよく、サンプリングして取得したスカラーはsである。データフィールドs(x)に対して、まず、ボリュームデータを分類して色及び減衰係数を指定する必要がある。伝達関数(transfer function)を導入することにより、ボリュームデータ強度sを色I(s)及び減衰係数τ(s)にマッピングする。実現例において、この伝達関数は、ダブルエネルギーCTの白黒階調データ及び材料データで決定され、2次元色テーブルともいう。
【0058】
ボリュームレンダリングにおいて、3次元のスカラーフィールドs(x)をサンプリングするとき、非透明度関数τ(s(x))のNyquistサンプリング周波数は、τ(s)の最大Nyquistサンプリング周波数とスカラーs(x)のNyquistサンプリング周波数との積である。減衰係数が非線形特徴を有するため、Nyquistサンプリング周波数の急速増加の現象が発生する。伝達関数の非線形特徴によるサンプリング周波数の急速増加の問題の発生を解決するために、予積分方法を採用する。そして、予積分方法を採用した後で、あるブロックのCTデータが透明であるか否かを速く確定することができる。
【0059】
予積分は主に2つのステップを有する。第1のステップは、視線方向に沿って連続的なスカラーフィールドs(x)をサンプリングし、このとき、サンプリングの周波数は、伝達関数で影響されない。第2のステップは、テーブルを検索する方法によって、2つごとのサンプリングポイントの間の線分に対してボリュームレンダリング積分を行う。
【0060】
s(x)に対するサンプリングを完成した後で、続いて各線分に対してボリュームレンダリング積分を行い、この積分過程は、テーブルを検索する方式によって完成される。検索テーブルには、線分起点S
f=s(x(i・d))、線分終点S
b=s(x((i+1)・d))及び線分長さdという3つのパラメーターがある。線分長さdを定数とすることにより、検索テーブルの算出を行うとき、S
f及びS
bという2つのパラメーターのみを考慮すればよい。
【0061】
第i段の非透明度は以下のように示されてよい。
【0063】
この式に対して積分関数を導入して加速して、導入された後の非透明度α
i=α(S
f,S
b)は、以下のように変化してよい。
【0065】
2)八分木に基づく透明領域の取り除き
八分木は、3次元空間を説明するためのツリーデータ構造である。
図5は八分木分割アルゴリズムを説明する模式図である。八分木の各ノードは、ある立方体の体積要素を示す。各ノードは8つのサブノードを有し、この8つのサブノードが示す体積要素の総和は、親ノードの体積である。
図5に示すように、八分木は、ulf、urf、ulb、urb、llf、lrf、llb及びlrbという8つのノードを含む。八分木コーディングアルゴリズムを用いて空間データを分割するとき、仮に、表示すべきボリュームVは十分に大きい立方体Cに置かれることができれば、立方体Cの八分木について、ボリュームVは以下の再帰方法によって定義されることができる。八分木の各ノードは、Cのあるサブ立方体に対応しており、ルートは、C自身に対応している。V=Cであれば、Vの八分木は、ツリーノードのみを有する。V≠Cであれば、Cを8つのサブ立方体に均等に分割して、各サブ立方体は、ルートのあるサブノードに対応している。あるサブ立方体が全く空白または全くVで占められなければ、8つに均等に分割されて、対応するノードが8つのサブノードを有するようになる。このような再帰判断、分割は、ノードに対応する立方体が全く空白であったり、全くVで占められたり、その大きさが予め定義されたサブ立方体の大きさであるまでに行われる。
【0066】
設定された葉ノードのサイズに基づいて、層ごとにボリュームデータを分割し、データフィールドを遍歴した場合に、葉ノードに対応するサブブロック内の全てのボクセルの最大値S
max及び最小値S
min、サブブロックに対応する軸方向の境界ボックス及び容積値を統計する。そして、層ごとにノードを上へ合併して、八分木を作成する。八分木の模式図は、
図5に示すようなものである。
【0067】
本発明の実施例によれば、八分木を遍歴して、各層のノードの可視的な状態を再帰的に設置する。葉ノードでないノードに対して、透明、一部透明及び非透明という3つの状態がある。その状態は、このノードに含まれるサブノードの状態によって決定される。全てのサブノードが透明であれば、現在のノードは透明である。全てのサブノードが非透明であれば、現在のノードは非透明である。一部のサブノードが透明であれば、現在のノードは半透明である。葉ノードに対して、透明及び非透明という2つの状態のみがある。葉ノードの可視的な状態は、非透明度検索によって取得されることができる。具体的なやり方は以下の通りである。八分木を作成するとき、各サブブロックの白黒階調の最小値及び最大値(S
min,S
max)が記憶されており、上記非透明度検索関数α(S
f,S
b)によって現在のサブブロックの非透明度αを速く取得し、α≧α
εであれば、現在の葉ノードは非透明であり、ただし、α
εは設定された非透明度の閾値である。
図6に示すようなものは、透明ブロックを取り除いた後の非透明部分であり、その中、大きい直方体枠体は元データのサイズを示す。
【0068】
ステップS412において、前記階層境界ボックスに対してシーン深さをレンダリングして、正面深さ画像及び裏面深さ画像を取得する。ステップS413において、ユーザの視線方向に作成したマークを用いて正面深さ画像及び裏面深さ画像にそれぞれ検索し、第1の境界ボックスを生成する。
図7は本発明の実施例に得られた正面深さ画像の模式図である。
図8は本発明の実施例に得られた裏面深さ画像の模式図である。
【0069】
ボリュームレンダリングにおいて、3次元のモデルをボリュームテクスチャーのキャリアとする必要がある。ボリュームテクスチャーは、テクスチャー座標に基づいてモデルに対応しており、そして、放射線を視点からモデルにおける点へ引き、この放射線はモデル空間を透過し、放射線がボリュームテクスチャーを透過することに相当する。これにより、投射光線の入射及び出射位置を確定することを、光線とボリュームテクスチャーキャリアとの交点を求める問題に変換する。
図7に示すように、取得した上記階層境界ボックスに対してシーン深さ画像をレンダリングし、深さ値が比較的に大きい部分を取り除いて正面深さ画像を取得し、このとき、正面深さ画像における各画素の色値は、ある方向において視点から最も近い点の距離を示す。
図8に示すように、深さ値が比較的に小さい部分を取り除き、シーン深さ画像をレンダリングして裏面深さ画像を取得し、裏面深さ画像における各画素の色値は、ある方向において視点から最も遠い点の距離を示す。
【0070】
図9は本発明の実施例に用いられる放射線透過過程を説明する模式図である。光線投射の基本的なフローは以下の通りである。光線を画像の各画素から一定の方向に沿って放射し、光線が画像序列全体を透過し、この過程において、光線が画像序列全体を透過するまでに、画像序列に対してサンプリング及び分類を行って色値を取得するとともに、光線吸収モデルに基づいて色値を累積し、最後に取得した色値はレンダリング画像の色である。
図9に示すような投射平面は前記「画像」である。
【0071】
光線投射の最終結果として、2次元の画像を取得することであり、光線を画素に沿って投射して経過したボクセルの深さ情報を還元することができない。ボクセル空間における領域のピックアップを完成するために、
図10に示すように、投射平面に容疑領域の描画を行い、マークした結果は
図11に示すようなものである。マークした結果をボクセル空間の深さ情報に還元するために、マークした事件を点群に離散し、正、裏面深さ画像にそれぞれ検索して、マーク領域の深さ画像における投影結果を取得する。
図12は、ユーザのマークによって正面検索及び裏面検索を行う過程の模式図を示す。このとき、スクリーン画像における一回の2次元マーク操作を、ボクセル空間の3次元マークに還元する。
【0072】
一回のマークを完成した後で、このときの容疑領域に含まれる範囲も大きい。この容疑領域を更にカットするために、ボクセル空間のマーク点群に対応するOBB階層境界ボックスを算出する必要がある。
【0073】
境界ボックス法の基本的な主旨は、複雑な、おかしい幾何学体の代わりに、簡単な幾何学体を用いることである。まず、物体の境界ボックスを大体に検出し、境界ボックスが交差する場合のみにおいて、囲まれた幾何学体が交差することができる。境界ボックスが交差しない場合、それに囲まれた幾何学体も交差しない。これにより、たくさんの交差しない幾何学体及び幾何学的部位を排除して、交差する幾何学的部位を速く探すことができる。境界ボックスは、座標軸に沿う境界ボックスAABB、境界ボール、任意方向に沿う境界ボックスOBB、より広い意味を有するk−dop境界ボックスという種類がある。各境界ボックスの囲み緊密度及び算出代価を比較して、OBB境界ボックスによってマーク点群を算出する。OBB境界ボックス算出のキーポイントは、最も適宜な方向を探して、この方向において対象を囲む境界ボックスの最小のサイズを確定することである。一次行列(平均値)及び二次行列(共分散行列)によって境界ボックスの位置及び方向を算出する。第i番目の頂点をp
iとし、境界ボックスが囲む頂点の個数をnとする。境界ボックスの中心位置は以下の通りである。
【0079】
数値の方法によって共分散行列の特徴ベクトルを求めて単位化にし、Cが実対称行列であるため、行列Cの特徴ベクトルは互いに垂直しており、境界ボックスの方向軸とすることができる。囲めようとする幾何学体の頂点を方向軸に投影し、各方向軸の投影区間を探し、各投影区間の長さは求められる境界ボックスのサイズである。
図13は、本発明の実施例に得られたマーク点群のOBB境界ボックスの模式図を示す。
【0080】
ステップS414において、生成した第1の境界ボックスをテクスチャーキャリアとして光線の投射を行う。ステップS415において、ユーザが視線方向に直交する方向に行ったマークによって、正面深さ画像及び裏面深さ画像にそれぞれ検索し、第2の境界ボックスを生成する。
【0081】
1)光線の投射範囲の更新
図14に示すように、ある容疑領域の範囲を確定した後で、領域外の部分を取り除いて表示し、生成したOBB境界ボックスを新たなボリュームテクスチャーキャリアとして光線投射を行う。
【0082】
2)視角を回転した後の第2回目のピックアップ
図15は、本発明の実施例において、直交の方向に第2回目のマークを行った結果の模式図を示す。
図16は、本発明の実施例において、第2回目のマークによって正面検索及び裏面検索を行って得られた結果を示す。
図17本発明の実施例において得られたマーク点群のOBB境界ボックスの模式図を示す。ステップS416において、画像空間に、第1の境界ボックス及び第2の境界ボックスに対してブーリアン演算を行い、3次元空間におけるマーク領域を取得する。
図18は、本発明の実施例に用いられる、画像空間において2つの物体に対してブーリアン演算を行う過程の模式図を示す。
【0083】
2つのOBB境界ボックスの交差領域を速く取得するために、CSG方法によって算出する。OpenGLによってCSGモデルをレンダリングすることは、以下の2つの方向がある。その1つは、物体空間(object space)に基づくことであり、CSGモデルを多辺形の集合に直接に変換して、OpenGLによってレンダリングし、B-repモデルに変換するという典型的な方法であるが、モデルの変換により、効率が低下し、動的に補正し難しい。もう1つは、画像空間に基づくことであり、すなわち、本明細書に採用される方法である。
【0084】
画像空間において、MEET演算を行い、モデルを補正しなく、それぞれのフレームはいずれも動的演算を行って、どちらの表面が表示され、どちらの表面が隠され、又はカットされることを決定する。OpenGLのステンシルバッファ(Stencil Buffer)によってCSGのMEET演算を実現する。光線投射の主旨によって、実体の表面がスクリーンに投影する場合、その表面の画素が他の表面に交差する回数をカウントする。
【0085】
その前の操作によって、2つの立方体を取得した。両者の積集合を求めることは、実質的に、他の立方体の体積内部におけるある立方体の表面部分を探すことである。交差を求める過程において、任意に指定される部品実体は、前面と後面に分けられ、それぞれのチャネルにレンダリングされる。具体的には、毎回のレンダリング過程において、まず、現在の表面を深さバッファ(Depth Buffer)にレンダリングし、そして、ステンシル平面操作に組み合わせて、他の実体によって他の実体における現在の表面を決定する。
【0086】
ここでは、パリティチャックによって、ある点が所定の実体空間の内部にあるか否かを判断する。理論的には、パリティチャックによって空間の任意点が所定の体積の内部にあるか否かを判定できるが、OpenGL深さバッファが各画素点に対して1つの深さ値のみが保存できるため、レンダリング実体A及びBの積集合のパリティチャック過程は以下の通りである。まず、BにおけるAの部分を探して描画し、そして、AにおけるBの部分を探して描画する。このとき、BにおけるAの正面はレンダリングされた。AにおけるBの正面を取得するために、まず、深さバッファにおけるBの正面で覆われた画素を改めてレンダリングする。これは、その前の操作によって、Aの全ての部分が深さバッファにあり、AのB以外にある部分がB自身の部分を遮蔽する可能性があるためである。深さバッファにおいてBの深さ値を正しく調整した後で、AにおけるBの正面を探してレンダリングし、上記に類似するため、省略する。
図19は本発明実施例に最終的な容疑物を取得する3次元マーク領域の模式図を示す。
【0087】
ステップS417において、3次元空間のマーク領域をCTデータに融合して表示する。例えば、ピックアップされた容疑領域を取得した後で、この容疑領域を高い視覚優先順位で元データに融合して表示する必要がある。
図18から分かるように、最終的な容疑領域が規則的な直方体形状でない可能性があり、ここでは、空間拘束による伝達関数を使用する。走査ラインアルゴリズムによって、ボリュームデータの次元に基づいて1次元の検索テクスチャーを生成し、それぞれのテクセルに、対応の空間位置が容疑領域囲枠にあるか否かが記憶され、最終的な融合描画効果は
図20に示すようなものである。
【0088】
また、CTデータにTIP挿入を行い、挿入された危険品の画像がケース範囲内にあることを保証し、挿入された画像がケースの元物品を覆わないことを保証する必要があり、また、アルゴリズムのリアルタイムの要求も考慮すべき重要な要素である。いくつかの実施例によれば、非透明度に基づいてボリュームデータの透明及び非透明領域を確定し、ケースの空白領域において容積が要求を満たす部分を候補挿入位置として選択し、この位置から視平面までの距離及びその周囲の物体の数に基づいて、所定の隠し程度の挿入位置を最終に確定する。
【0089】
例えば、まず、非透明度に基づく予積分検索テーブルの生成を行って、ボリュームデータの透明及び非透明領域の快速確定に用いる。そして、ボリュームデータの非透明八分木の作成を行って、CTデータにおけるケースの位置及びサイズを確定する。次に、ボリュームデータの透明八分木の作成を行い、透明八分木がデータ領域における透明部分のみを統計し、非透明部分を完全に取り除くことによって、ケースにおける挿入可能な領域を取得する。透明領域における容積が挿入要求を満たす部分を候補挿入位置として選択する。所定の挿入隠し都合に基づいて、最終的な挿入位置を確定する。
【0090】
上記実施例の技術案は、危険品の画像をCTデータに速く挿入することができ、かつ、この挿入位置が必ずケース内にあることを保証でき、挿入された画像がケースの元物品を覆わなく、挿入の隠し都合はパラメーターに基づいて設定されることができ、アルゴリズムのリアルタイム性を保証することができる。
【0091】
以上、詳細の記載は、ブロック図、フローチャット及び/または例を使用することによって、セキュリティーチェックCTシステムセキュリティーチェックCTシステムにおいて容疑物をマークする方法および装置に係る数多くの実施例を説明した。このようなブロック図、フローチャット及び/または例が、機能及び/または操作が一つまたは複数含まれた場合には、当業者は、このようなブロック図、フローチャットまたは例における各機能及び/または操作が、各種のハードウェア、ソフトウェア、ファームウェアまたは実質上のこれらの任意の組み合わせで、個別及び/または共同で実現できると理解すべきである。一つの実施例において、本発明の実施例の前記主題のいつかの部品は、専用集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)、またはその他の集積フォーマットで実現できる。しかしながら、当業者は、ここで公開した実施例の一部が、全体または部分的に集積回路で同じく実現することができる。例えば、一台または複数台のコンピュータ上で運行する一つまたは複数のコンピュータプログラム(例えば、一台または複数台のコンピュータシステム上で運行する一つまたは複数のプログラム)によって実現させても良いし、一つまたは複数のプロセッサ上で運行する一つまたは複数のプログラム(例えば、一つまたは複数のマイクロプロセッサ上で運行する一つまたは複数のプログラム)によって実現させても良いし、ファームウェアまたは実質上に上記形態の任意組み合わせによって実現させても良いと理解すべきである。また、当業者は、本開示を元に、回路の設計及び/またはソフトウェアの書き込み及び/またはファームウェアのコーディングの能力を備える。また、当業者には理解されるように、本開示の前記主題のメカニズムは、複数の形態のプログラム製品として配分できると共に、実際に配分の信号載置媒体の具体的な類型が何かであろうか、本開示の前記主題の例示のな実施例は何れも適用できる。信号載置媒体の例示は、例えば、ソフトディスク、ハードディスクドライブ、コンパクトディスク(CD)、デジタル汎用ディスク(DVD)、デジタルテープ、コンピュータメモリ等の記録可能な記録型媒体、及び例えば、デジタル及び/またはアナログ通信媒体(例えば、光ファイバ、導波管、有線通信リング、無線通信リングなど)の搬送型媒体を含むが、それらに限らない。
【0092】
以上、本発明の典型的な実施例に基づいて本発明を説明したが、当業者は、使用された用語が、説明するための例であって、本発明を限定する用語ではないと理解すべきである。また、本発明は、精神及び主旨を逸脱しない限りに、種々の形態で具体的に実施できるので、上記の実施例は、前述の詳細に限らず、特許請求の範囲によって限定されるものとして、広く解釈できると理解すべきである。特許請求の範囲または等価の範囲内での全ての変化や改良は、特許請求の範囲内に含まれていることを理解すべきである。