特許 7476194 画像処理のためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-19

(45)【発行日】2024-04-30

(54)【発明の名称】画像処理のためのシステムおよび方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240422BHJP

【ＦＩ】

G06T7/00 300F

G06T7/00 350C

【請求項の数】 44

(21)【出願番号】P 2021531617

(86)(22)【出願日】2019-08-09

(65)【公表番号】

(43)【公表日】2021-12-09

(86)【国際出願番号】 US2019046014

(87)【国際公開番号】W WO2020033900

(87)【国際公開日】2020-02-13

【審査請求日】2022-08-09

(31)【優先権主張番号】62/717,649

(32)【優先日】2018-08-10

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】502255483

【氏名又は名称】レイドス・セキュリティ・ディテクション・アンド・オートメーション・インコーポレイテッド

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】デニス・デュミック

【審査官】千葉 久博

(56)【参考文献】

【文献】特表２０１７－５０７３９１（ＪＰ，Ａ）

【文献】特表２０１４－５２５５９４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０２４２１４８（ＵＳ，Ａ１）

【文献】荻野正，“機械学習を用いた動画の異常検出システムの検討”，電子情報通信学会技術研究報告，日本，一般社団法人電子情報通信学会，2015年11月28日，第115巻, 第353号，p.5-10

【文献】Caglar Aytekin, 外3名，"Clustering and Unsupervised Anomaly Detection with l2 Normalized Deep Auto-Encoder Representations"，2018 International Joint Conference on Neural Networks (IJCNN)，2018年07月13日

【文献】Yao-Hung Hubert Tsai, 外2名，"Learning Robust Visual-Semantic Embeddings"，2017 IEEE International Conference on Computer Vision (ICCV)，2017年10月29日，p.3591-3600

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

輸送コンテナに関連する貨物積荷目録を承認するためのコンピューティングデバイスによって実施される方法であって、
輸送コンテナをスキャンし、放射線撮影画像をレンダリングするように構成されたスキャナから、スキャンされた前記輸送コンテナのレンダリングされた前記放射線撮影画像をコンピューティングデバイスにおいて受信するステップと、
オートエンコーダニューラルネットワークを用いて、前記放射線撮影画像から特徴ベクトルを抽出するステップと、
似た物体を含む貨物積荷目録に関連する以前の輸送コンテナの放射線撮影画像の以前の特徴ベクトルの履歴的な分布との前記抽出された特徴ベクトルの比較および第2の人工ニューラルネットワークを使用した前記貨物積荷目録の分析に基づいて、前記スキャンされた輸送コンテナ内の物体が前記スキャンされた輸送コンテナに関連する貨物積荷目録に載せられた物体と一致する統計的確率を決定するステップと、
前記統計的確率に基づいて前記スキャンされた輸送コンテナに関連する自動検出インジケーションを生成するステップとを含む、方法。

【請求項2】

前記スキャンされた輸送コンテナ内の前記物体の数値的または記号的特性を数学的に表す少なくとも1つの以前の特徴ベクトルを生成するように放射線撮影画像の訓練データセットを用いて前記オートエンコーダニューラルネットワークを訓練するステップであって、前記訓練データセットが、似た物体を保有する1つまたは複数の以前の輸送コンテナの以前の放射線撮影画像の第1の組を含む、ステップを含む請求項1に記載の方法。

【請求項3】

前記第2の人工ニューラルネットワークが、単語-ベクトル型のニューラルネットワークである請求項1に記載の方法。

【請求項4】

前記第2の人工ニューラルネットワークが、前記スキャンされた輸送コンテナの前記関連する貨物積荷目録を分析するために履歴的な以前の輸送コンテナの貨物積荷目録から予め訓練された単語埋め込みを利用する請求項1に記載の方法。

【請求項5】

前記第2の人工ニューラルネットワークが、以前の輸送コンテナの貨物積荷目録の履歴的なデータベースに対して訓練された教師なし再帰型ニューラルネットワークである請求項1に記載の方法。

【請求項6】

前記自動検出インジケーションが、前記関連する貨物積荷目録との前記スキャンされたコンテナの中身の一致の度合いのグラフィカルなインジケータを提供する請求項1に記載の方法。

【請求項7】

前記自動検出インジケーションが、放射線撮影画像のランク付けの表示を提供する請求項1に記載の方法。

【請求項8】

前記スキャンされた輸送コンテナ内の物体が、貨物カテゴリに関する履歴的なパラメータの分布に対して前記貨物積荷目録と一致する度合いを定量化するパラメータのグラフィカルな表示を生成するステップをさらに含む請求項1に記載の方法。

【請求項9】

以前の特徴ベクトルの前記履歴的な分布が、前記スキャナから新しい放射線撮影画像を受信するとリアルタイムで更新される請求項1に記載の方法。

【請求項10】

以前の特徴ベクトルの前記履歴的な分布が、10未満の放射線撮影画像スキャンおよび対応する貨物積荷目録に基づく請求項1に記載の方法。

【請求項11】

人工ニューラルネットワークが、教師なしニューラルネットワークである請求項1に記載の方法。

【請求項12】

前記統計的確率に基づく貨物積荷目録の承認または拒絶のカテゴリ別の割り振りを表示するステップをさらに含む請求項1に記載の方法。

【請求項13】

前記スキャンされた輸送コンテナに関連する貨物積荷目録に似た貨物積荷目録に関連する以前の輸送コンテナのいくつかの画像が、リアルタイムで表示される請求項1に記載の方法。

【請求項14】

前記スキャンされた輸送コンテナに関連する積荷目録に似たいくつかの以前の積荷目録が、リアルタイムで表示される請求項1に記載の方法。

【請求項15】

輸送コンテナに関連する貨物積荷目録を承認するためのシステムであって、
輸送コンテナをスキャンし、少なくとも1つの放射線撮影画像をレンダリングするように構成されたスキャナと、
1つまたは複数のプロセッサを備え、前記スキャナに通信可能なように結合されたコンピューティングデバイスであって、
輸送コンテナをスキャンし、放射線撮影画像をレンダリングするように構成された前記スキャナから、スキャンされた前記輸送コンテナのレンダリングされた前記放射線撮影画像を受信し、
オートエンコーダニューラルネットワークを用いて、前記放射線撮影画像から特徴ベクトルを抽出し、
似た物体を含む貨物積荷目録に関連する以前の輸送コンテナの放射線撮影画像の以前の特徴ベクトルの履歴的な分布との前記抽出された特徴ベクトルの比較および第2の人工ニューラルネットワークを使用した前記貨物積荷目録の分析に基づいて、前記スキャンされた輸送コンテナ内の物体が前記スキャンされた輸送コンテナに関連する貨物積荷目録に載せられた物体と一致する統計的確率を決定し、
前記統計的確率に基づいて前記スキャンされた輸送コンテナに関連する自動検出インジケーションを生成するように構成された、コンピューティングデバイスと、
前記自動検出インジケーションに基づいてグラフィックスを表示するかまたは音声を生成するように構成された出力メカニズムとを含む、システム。

【請求項16】

前記オートエンコーダニューラルネットワークが、前記スキャンされた輸送コンテナ内の前記物体の数値的または記号的特性を数学的に表す少なくとも1つの以前の特徴ベクトルを生成するように放射線撮影画像の訓練データセットを用いて訓練され、前記訓練データセットが、似た物体を保有する1つまたは複数の以前の輸送コンテナの以前の放射線撮影画像の第1の組を含む請求項15に記載のシステム。

【請求項17】

前記第2の人工ニューラルネットワークが、単語-ベクトル型のニューラルネットワークである請求項15に記載のシステム。

【請求項18】

前記第2の人工ニューラルネットワークが、前記スキャンされた輸送コンテナの前記関連する貨物積荷目録を分析するために履歴的な以前の輸送コンテナの貨物積荷目録から予め訓練された単語埋め込みを利用する請求項15に記載のシステム。

【請求項19】

前記第2の人工ニューラルネットワークが、以前の輸送コンテナの貨物積荷目録の履歴的なデータベースに対して訓練された教師なし再帰型ニューラルネットワークである請求項15に記載のシステム。

【請求項20】

前記自動検出インジケーションが、前記関連する貨物積荷目録との前記スキャンされたコンテナの中身の一致の度合いのグラフィカルなインジケータを提供する請求項15に記載のシステム。

【請求項21】

前記自動検出インジケーションが、放射線撮影画像のランク付けの表示を提供する請求項15に記載のシステム。

【請求項22】

前記コンピューティングデバイスが、
前記スキャンされた輸送コンテナ内の物体が、貨物カテゴリに関する履歴的なパラメータの分布に対して前記貨物積荷目録と一致する度合いを定量化するパラメータのグラフィカルな表示を生成するようにさらに構成される請求項15に記載のシステム。

【請求項23】

以前の特徴ベクトルの前記履歴的な分布が、前記スキャナから新しい放射線撮影画像を受信するとリアルタイムで更新される請求項15に記載のシステム。

【請求項24】

以前の特徴ベクトルの前記履歴的な分布が、10未満の放射線撮影画像スキャンおよび対応する貨物積荷目録に基づく請求項15に記載のシステム。

【請求項25】

人工ニューラルネットワークが、教師なしニューラルネットワークである請求項15に記載のシステム。

【請求項26】

前記コンピューティングデバイスが、
前記統計的確率に基づく貨物積荷目録の承認または拒絶のカテゴリ別の割り振りを表示するようにさらに構成される請求項15に記載のシステム。

【請求項27】

前記コンピューティングデバイスが、
前記スキャンされた輸送コンテナに関連する貨物積荷目録に似た貨物積荷目録に関連する以前の輸送コンテナのいくつかの画像をリアルタイムで表示するようにさらに構成される請求項15に記載のシステム。

【請求項28】

前記コンピューティングデバイスが、
前記スキャンされた輸送コンテナに関連する積荷目録に似た複数の以前の積荷目録をリアルタイムで表示するようにさらに構成される請求項15に記載のシステム。

【請求項29】

前記コンピューティングデバイスが、
前記関連する貨物積荷目録に載せられた物体のカテゴリ別の割り振りを表示するようにさらに構成される請求項15に記載のシステム。

【請求項30】

輸送コンテナに関連する貨物積荷目録を承認するためにプロセッサによって実行可能な命令を記憶する非一時的コンピュータ可読媒体であって、前記命令の実行が、コンピューティングデバイスに
輸送コンテナをスキャンし、放射線撮影画像をレンダリングするように構成されたスキャナから、スキャンされた前記輸送コンテナのレンダリングされた前記放射線撮影画像を受信させ、
オートエンコーダニューラルネットワークを用いて、前記放射線撮影画像から特徴ベクトルを抽出させ、
似た物体を含む貨物積荷目録に関連する以前の輸送コンテナの放射線撮影画像の以前の特徴ベクトルの履歴的な分布との前記抽出された特徴ベクトルの比較および第2の人工ニューラルネットワークを使用した前記貨物積荷目録の分析に基づいて、前記スキャンされた輸送コンテナ内の物体が前記スキャンされた輸送コンテナに関連する貨物積荷目録に載せられた物体と一致する統計的確率を決定させ、
前記統計的確率に基づいて前記スキャンされた輸送コンテナに関連する自動検出インジケーションを生成させる、非一時的コンピュータ可読媒体。

【請求項31】

前記命令の実行が、さらに前記コンピューティングデバイスに
前記スキャンされた輸送コンテナ内の前記物体の数値的または記号的特性を数学的に表す少なくとも1つの以前の特徴ベクトルを生成するように放射線撮影画像の訓練データセットを用いて前記オートエンコーダニューラルネットワークを訓練させ、前記訓練データセットが、似た物体を保有する1つまたは複数の以前の輸送コンテナの以前の放射線撮影画像の第1の組を含む請求項30に記載の媒体。

【請求項32】

前記第2の人工ニューラルネットワークが、単語-ベクトル型のニューラルネットワークである請求項30に記載の媒体。

【請求項33】

前記第2の人工ニューラルネットワークが、前記スキャンされた輸送コンテナの前記関連する貨物積荷目録を分析するために履歴的な以前の輸送コンテナの貨物積荷目録から予め訓練された単語埋め込みを利用する請求項30に記載の媒体。

【請求項34】

前記第2の人工ニューラルネットワークが、以前の輸送コンテナの貨物積荷目録の履歴的なデータベースに対して訓練された教師なし再帰型ニューラルネットワークである請求項30に記載の媒体。

【請求項35】

前記自動検出インジケーションが、前記関連する貨物積荷目録との前記スキャンされたコンテナの中身の一致の度合いのグラフィカルなインジケータを提供する請求項30に記載の媒体。

【請求項36】

前記自動検出インジケーションが、放射線撮影画像のランク付けの表示を提供する請求項30に記載の媒体。

【請求項37】

前記命令の実行が、さらに前記コンピューティングデバイスに
前記スキャンされた輸送コンテナ内の物体が、貨物カテゴリに関する履歴的なパラメータの分布に対して前記貨物積荷目録と一致する度合いを定量化するパラメータのグラフィカルな表示を生成させる請求項30に記載の媒体。

【請求項38】

以前の特徴ベクトルの前記履歴的な分布が、前記スキャナから新しい放射線撮影画像を受信するとリアルタイムで更新される請求項30に記載の媒体。

【請求項39】

以前の特徴ベクトルの前記履歴的な分布が、10未満の放射線撮影画像スキャンおよび対応する貨物積荷目録に基づく請求項30に記載の媒体。

【請求項40】

人工ニューラルネットワークが、教師なしニューラルネットワークである請求項30に記載の媒体。

【請求項41】

前記命令の実行が、さらに前記コンピューティングデバイスに
前記統計的確率に基づく貨物積荷目録の承認または拒絶のカテゴリ別の割り振りを表示させる請求項30に記載の媒体。

【請求項42】

前記スキャンされた輸送コンテナに関連する貨物積荷目録に似た貨物積荷目録に関連する以前の輸送コンテナのいくつかの画像が、リアルタイムで表示される請求項30に記載の媒体。

【請求項43】

前記スキャンされた輸送コンテナに関連する積荷目録に似たいくつかの以前の積荷目録が、リアルタイムで表示される請求項30に記載の媒体。

【請求項44】

前記命令の実行が、さらに前記コンピューティングデバイスに
前記関連する貨物積荷目録に載せられた物体のカテゴリ別の割り振りを表示させる請求項30に記載の媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願
本出願は、2018年8月10日に出願した米国仮特許出願第62/717,649号の優先権および利益を主張するものであり、この仮出願の内容は、その全体が参照により本明細書に組み込まれる。

【背景技術】

【0002】

放射線撮影法(radiography)、コンピュータ断層撮影法(computed tomography)、核磁気共鳴画像法(MRI: magnetic resonance imaging)、陽電子放射断層撮影法(PET: positron emission tomography)、および多くのその他のものを含む撮像テクノロジーは、医用撮像と貨物検査ほどに多様な応用に広く利用されてきた。X線透過撮影法(X-ray radiography)は、今日の貨物の非開扉検査(NII: Non-Intrusive Inspection)の主たる方法であり、人による検査と併せて使用される。

【発明の概要】

【課題を解決するための手段】

【0003】

一実施形態においては、輸送コンテナに関連する貨物積荷目録(manifest)を承認するための方法が、輸送コンテナをスキャンし、放射線撮影画像をレンダリングするように構成されたスキャナから、スキャンされた輸送コンテナのレンダリングされた放射線撮影画像をコンピューティングデバイスにおいて受信するステップを含む。方法は、オートエンコーダ(autoencoder)ニューラルネットワークを用いて、放射線撮影画像から特徴ベクトルを抽出するステップと、似た物体を含む貨物積荷目録に関連する以前の輸送コンテナの放射線撮影画像の以前の特徴ベクトルの履歴的な分布との抽出された特徴ベクトルの比較によって、スキャンされた輸送コンテナ内の物体がスキャンされた輸送コンテナについての関連する貨物積荷目録に載せられた物体と一致する統計的確率を割り振るステップとをさらに含む。加えて、方法は、割り振られた統計的確率に基づいてスキャンされた輸送コンテナに関連する自動検出インジケーションを生成するステップを含む。

【0004】

別の実施形態においては、指定された空の輸送コンテナの検査のための方法が、輸送コンテナをスキャンし、放射線撮影画像をレンダリングするように構成されたスキャナから、スキャンされた輸送コンテナのレンダリングされた放射線撮影画像をコンピューティングデバイスにおいて受信するステップを含む。方法は、オートエンコーダニューラルネットワークを用いて、放射線撮影画像の各セグメントに関する特徴ベクトルを抽出するステップも含む。加えて、方法は、スキャンされた輸送コンテナの抽出された特徴ベクトルが以前の空のコンテナの放射線撮影画像の以前の特徴ベクトルの履歴的な分布に対するセグメント毎の比較と一致する統計的確率を割り振るステップを含む。方法は、割り振られた統計的確率に基づいてスキャンされた輸送コンテナが空であることに関連する自動検出インジケーションを生成するステップをさらに含む。

【0005】

さらなる実施形態においては、輸送コンテナに関連する貨物積荷目録を承認するための方法が、輸送コンテナに関する貨物積荷目録をコンピューティングデバイスにおいて受信するステップと、単語-ベクトル(word-to-vector)型のニューラルネットワークによって貨物積荷目録から特徴ベクトルを抽出するステップとを含む。方法は、似た物体を含む以前の貨物積荷目録から抽出された以前の特徴ベクトルの履歴的な分布との抽出された特徴ベクトルの比較によって、輸送コンテナに関する貨物積荷目録に載せられた物体が輸送コンテナ内にある統計的確率を割り振るステップも含む。加えて、方法は、割り振られた統計的確率に基づいて輸送コンテナに関連する自動検出インジケーションを生成するステップを含む。

【0006】

別の実施形態においては、輸送コンテナに関連する貨物積荷目録を承認するためのシステムが、スキャナと、コンピューティングデバイスと、出力メカニズムとを含む。スキャナは、輸送コンテナをスキャンし、少なくとも1つの放射線撮影画像をレンダリングするように構成される。コンピューティングデバイスは、1つまたは複数のプロセッサを備え、スキャナに通信可能なように結合され、輸送コンテナをスキャンし、放射線撮影画像をレンダリングするように構成されたスキャナから、スキャンされた輸送コンテナのレンダリングされた放射線撮影画像を受信するように構成される。コンピューティングデバイスは、オートエンコーダニューラルネットワークを用いて、放射線撮影画像から特徴ベクトルを抽出し、似た物体を含む貨物積荷目録に関連する以前の輸送コンテナの放射線撮影画像の以前の特徴ベクトルの履歴的な分布との抽出された特徴ベクトルの比較によって、スキャンされた輸送コンテナ内の物体がスキャンされた輸送コンテナについての関連する貨物積荷目録に載せられた物体と一致する統計的確率を割り振るようにさらに構成される。加えて、コンピューティングデバイスは、割り振られた統計的確率に基づいてスキャンされた輸送コンテナに関連する自動検出インジケーションを生成するように構成される。出力メカニズムは、自動検出インジケーションに基づいてグラフィックスを表示するかまたは音声を生成するように構成される。

【0007】

さらなる実施形態においては、指定された空の輸送コンテナの検査のためのシステムが、スキャナと、コンピューティングデバイスと、出力メカニズムとを含む。スキャナは、輸送コンテナをスキャンし、少なくとも1つの放射線撮影画像をレンダリングするように構成される。コンピューティングデバイスは、1つまたは複数のプロセッサを備え、スキャナに通信可能なように結合され、輸送コンテナをスキャンし、放射線撮影画像をレンダリングするように構成されたスキャナから、スキャンされた輸送コンテナのレンダリングされた放射線撮影画像を受信するように構成される。コンピューティングデバイスは、オートエンコーダニューラルネットワークを用いて、放射線撮影画像の各セグメントに関する特徴ベクトルを抽出し、スキャンされた輸送コンテナの抽出された特徴ベクトルが以前の空のコンテナの放射線撮影画像の以前の特徴ベクトルの履歴的な分布に対するセグメント毎の比較と一致する統計的確率を割り振るようにさらに構成される。加えて、コンピューティングデバイスは、割り振られた統計的確率に基づいてスキャンされた輸送コンテナが空であることに関連する自動検出インジケーションを生成するように構成される。出力メカニズムは、自動検出インジケーションに基づいてグラフィックスを表示するかまたは音声を生成するように構成される。

【0008】

一実施形態においては、輸送コンテナに関連する貨物積荷目録を承認するためのスキャンデバイスが、1つまたは複数のプロセッサと、メモリと、出力メカニズムと、スキャナとを含む。出力メカニズムは、グラフィカルな表示面および音声生成メカニズムのうちの1つまたは複数を含み、スキャナは、輸送コンテナをスキャンし、少なくとも1つの放射線撮影画像をレンダリングするように構成される。1つまたは複数のプロセッサは、スキャナから、スキャンされた輸送コンテナのレンダリングされた放射線撮影画像を受信し、オートエンコーダニューラルネットワークを用いて、放射線撮影画像から特徴ベクトルを抽出するための命令を実行するように構成される。1つまたは複数のプロセッサは、似た物体を含む貨物積荷目録に関連する以前の輸送コンテナの放射線撮影画像の以前の特徴ベクトルの履歴的な分布との抽出された特徴ベクトルの比較によって、スキャンされた輸送コンテナ内の物体がスキャンされた輸送コンテナについての関連する貨物積荷目録に載せられた物体と一致する統計的確率を割り振るようにさらに構成される。加えて、1つまたは複数のプロセッサは、割り振られた統計的確率に基づいてスキャンされた輸送コンテナに関連する自動検出インジケーションを生成し、自動検出インジケーションに基づいて出力メカニズムを介してグラフィックスを表示するかまたは音声を生成するように構成される。

【0009】

当業者は、図面が主に例示を目的としており、本明細書において説明される主題の範囲を限定するように意図されていないことを理解するであろう。図面は、必ずしも正確な縮尺でなく、場合によっては、本明細書において開示される主題の様々な態様は、異なる特徴の理解を促進するために図面において強調してまたは拡大して示される可能性がある。図面において、同様の参照符号は、概して、同様の特徴(たとえば、機能的に似たまたは構造的に似た要素)を指す。

【0010】

本開示によって提供される上述のおよびその他の特徴および利点は、添付の図面とともに読まれるとき、例示的な実施形態の以下の説明からより完全に理解されるであろう。

【図面の簡単な説明】

【0011】

【図1】例示的な実施形態による画像処理システムをモジュールを単位として示すブロック図である。

【図2】例示的な実施形態による画像処理システムによって使用される例示的な方法を示す流れ図である。

【図3】例示的な実施形態による画像処理システムによって使用される例示的なオートエンコーダニューラルネットワークを示す図である。

【図4A】例示的な実施形態による画像処理システムによって提供される出力画像を示す図である。

【図4B】例示的な実施形態による画像処理システムによって提供される出力画像を示す図である。

【図4C】例示的な実施形態による画像処理システムによって提供される出力画像を示す図である。

【図5】例示的な実施形態による画像処理システムを実装するためのシステムを示すネットワーク図である。

【図6】例示的な実施形態によって提供される方法の1つまたは複数のステップを実行するために使用され得る例示的なコンピューティングデバイスのブロック図である。

【図7】例示的な実施形態による貨物積荷目録のテキストの分析のための例示的なニューラルネットワークアーキテクチャを示す図である。

【図8】例示的な実施形態によるオペレータの検査の判断を支援するための積荷目録検証(MV: manifest verification)アルゴリズムの例示的な実装を示す図である。

【図9】例示的な実施形態による、積荷目録の検証の効率を書類に誤りのある貨物の差し止めに関連付ける受信者オペレータ特性(ROC: Receiver-Operator-Characteristics)の曲線を示す図である。

【図10】例示的な実施形態による、空であると申告されたコンテナ内の貨幣で満たされたダッフルバッグを警告した空コンテナ承認(ECV)アルゴリズムの実装を示す図である。

【図11】例示的な実施形態による異常検出のために使用されるコンテナセグメントを示す図である。

【図12】例示的な実施形態による異常検出アルゴリズムの例示的な実装の結果を示す図である。

【図13】例示的な実施形態による画像処理システムによって使用される例示的な方法を示す流れ図である。

【図14】例示的な実施形態による空の輸送コンテナを特定するために画像処理システムによって使用される例示的な方法を示す流れ図である。

【発明を実施するための形態】

【0012】

今日では、脅威の検出、違法な物質の密輸、および関税逃れに関する保安担当者による貨物の検査中に、貨物の画像が評価される。スキャナが、貨物の検査を支援するために使用されるが、スキャナによってレンダリングされた画像は、通常、適切に解釈するためにまだ多大な人的リソースを必要とするので、スキャナはこれまで、貨物輸送のほんのわずかな割合を調べるために使用されてきた。貨物がNIIにより綿密に調べられる場合、通常の画像分析は、人間の知覚、意思決定、および判断に頼る。米国税関国境取締局(U.S. Customs and Border Protection agency)は、オペレータの覚醒度およびオペレータ間の技能のばらつきを、検査プロセスを弱体化させ得る主なリスクとして特定した。本発明の実施形態は、すべての貨物の100%の検査を実現することができるようにオペレータに代わるまたはオペレータを助けることができる貨物検査のための機械学習アルゴリズムを導入することによってこれらのリスクに対処するのを助ける。

【0013】

本明細書において説明されるのは、コンテナの中身を検証し、画像および積荷目録内の異常を特定するために画像を処理するための画像処理システム、方法、およびコンピュータ可読媒体である。例示的な実施形態は、画像および積荷目録を自動的に分析するための機械学習フレームワークを含む画像処理システムを提供する。一部の実施形態において、画像は、セキュリティ検査場(security checkpoint)においてスキャナまたはスクリーニング(screening)デバイスによって得られる可能性がある放射線撮影画像を含む。概して出荷積荷目録(shipping manifest)と呼ばれる出荷書類(shipping document)は、出荷中の貨物コンテナに添えられる必須書類であり、コンテナの中身および量、出発地、目的地、荷主、出荷日を記載する。出荷書類は、税関申告書またはコンテナの中身を明らかにすることができる任意の同様の書類であることも可能である。本明細書において使用されるとき、「積荷目録」は、従来の出荷積荷目録に加えてまたはその代わりに輸送コンテナの貨物の中身を記載するその他の書類を表す可能性がある。

【0014】

通常の検査手法の1つの難しさは、高い検査の負荷のかかった人間のオペレータの不眠および異なるオペレータの間の判断のばらつきである。人間のオペレータのタスクは、積荷目録のテキストを理解し、出荷されている貨物の種類を判定し、放射線撮影画像を評価し、画像内のパターンが予測されるパターンと一致しているかどうかを判定することである。検査は、たとえば、出荷書類(積荷目録)がオペレータに理解できない可能性がある商品名、外国語の言葉、および/または専門(化学)用語を含む可能性があるので困難な可能性がある。したがって、オペレータは、検査中のコンテナの貨物の種類を知らない可能性がある。別の課題は、X線画像のパターンが所与の貨物の種類に関してどのように見えるはずであるかを理解することである。コンテナは、通常、出荷コストを最適化するために貨物で完全に満たされる。個々の物体は、放射線撮影透過画像内でその他の物体と重なり、したがって、個々の物体の形は、認識できないことが多く、貨物のグループのパターンのみが、一致を評価するために使用される。たとえば、オペレータは、放射線撮影画像内の単一のガラス瓶の形を認識する可能性があるが、コンテナに満載された空のガラス瓶の中で、個々の瓶の形は認識不可能であり、オペレータは、グループのパターンに頼らなければならない。

【0015】

当業者は、写真画像と比べて放射線撮影画像を分析することの困難を理解する。放射線撮影画像は、狭い扇状ビームを形成するためにコリメートされるX線源によってX線を生成し、貨物をビームに通し、貨物を通過するX線を検出することによって形成される。物体の画像が複数の貨物の物体を通り抜けて伝わるX線から形成されるので、画像は、所与の時間のビーム内のすべての物体の重なり合う放射線撮影プロファイル(radiographic profile)を含む。したがって、前にある物体のみを示す写真画像と異なり、放射線撮影画像は、複数の重なり合う物体を示し、それが、個々の物体の認識をより難しくする。

【0016】

例示的な実施形態において、画像処理システムは、放射線撮影画像をレンダリングするように構成された、X線撮影スキャナなどであるがこれに限定されないスキャナと通信するプロセッサを備えたコンピューティングデバイスを含む。以下でさらに検討されるように、コンピューティングデバイスは、少なくとも1つの特徴ベクトルを生成するように、少なくとも1つの放射線撮影画像を含む訓練データセットを用いて機械学習アルゴリズムを訓練するように構成される。放射線撮影画像は、物体を保管するテストコンテナの少なくとも1つの画像を含む。テストコンテナは、1つもしくは複数の物体を含むかまたは空である可能性がある。物体は、1つの物体または同じ種類の多くの物体を含む可能性がある。例示的な実施形態において、機械学習アルゴリズムは、オートエンコーダニューラルネットワークである(G.E. HintonおよびR.R. Salakhutdinov、Reducing the dimensionality of data with neural networks、Science、313(5786):504、2006)。機械学習アルゴリズムが下で説明されるように訓練された後、コンピューティングデバイスは、スキャナから少なくとも1つのレンダリングされた放射線撮影画像を受信する。レンダリングされた放射線撮影画像は、特定の種類の物体を含むかまたは空である可能性があるコンテナを示す。一実施形態において、コンピューティングデバイスは、コンテナ内の物体を列挙する出荷積荷目録の書類を検証するか、コンテナが空であることを検証するか、または少なくとも1つの特徴ベクトルを使用して物体もしくは異常を特定する。コンピューティングデバイスは、自動検出インジケーションを生成する可能性がある。

【0017】

例示的な実施形態においては、輸送コンテナの放射線撮影画像の画像分析のための機械学習アルゴリズムが、機械学習フレームワークまたはプラットフォーム、たとえば、オートエンコーダニューラルネットワークなどであるがこれに限定されないニューラルネットワークを使用する機械学習フレームワーク上で実行される。その他の方法に優るオートエンコーダ型のニューラルネットワークフレームワークを使用するいくつかの利点は、オートエンコーダ型のニューラルネットワークフレームワークが訓練のためにより少ない数の画像を必要とし、リアルタイムのライブデータで訓練されることが可能であり、画像をラベル付けするために使用されることが可能であり、自己学習のために使用されることが可能であることである。したがって、一部の実施形態において、機械学習アルゴリズムは、オートエンコーダニューラルネットワークに基づき、訓練データに関してコンテナの放射線撮影画像を使用する。訓練は、各訓練サンプルにおいて入力画像ベクトルと再構築された画像との間の差を最小化し、

【0018】

【数1】

【0019】

であり、式中、AおよびBは、それぞれ、ネットワークのエンコーダおよびデコーダの部分であり、xは、入力画像ベクトル(下で検討される図3を参照されたい)であり、Δは、訓練において損失関数として使用される特徴ベクトル空間におけるユークリッド距離の2乗である。AおよびBのパラメータは、標準的な誤差逆伝播法を使用して訓練において決定される。訓練の第2の部分において、同じ物体の種類のコンテナの特徴ベクトルが、較正データを得るために平均される。平均される物体の種類は、たとえば、ビールケース、冷蔵庫、またはバイクを有するコンテナを含む可能性がある。しかし、物体の種類は、コンテナで輸送可能な任意の1つの物体または複数の物体であることが可能である。較正データは、サンプルに関する特徴ベクトルの平均〈A(x)〉および標準偏差〈〈A²(x)〉-〈A(x)〉²〉を含み、平均することは、山括弧によって示される。この手順は、特徴パラメータが正規(ガウス)分布によって示されると仮定する。これが当てはまらない場合、同じ貨物のサンプルは、サンプルの確率密度関数がガウス近似の級数(series)によって近似されるように、2つ以上の平均および標準偏差によって示される。このようにして、複雑な形でさえも、比較的少ない数のパラメータによって示され得る。

【0020】

訓練された機械学習アルゴリズムは、訓練データセットに基づいて1つまたは複数の特徴ベクトルを生成する。特徴ベクトルは、物体の、特徴と呼ばれる数値的または記号的特性を数学的に表すために使用され、パターン処理のために使用される。訓練データセットは、物体の種類に関連するパターンを特定するように画像処理システムを訓練するために使用される。生成されたパターンは、記憶され、1つまたは複数の入力画像の特徴ベクトルを分析するために使用される。入力画像は、放射線撮影機によって得られた物体の画像である。特徴ベクトルに基づいて、一実施形態において、画像処理システムは、異常を特定することができる。

【0021】

一部の任意の実施形態においては、自然言語処理アルゴリズムを使用して出荷書類(積荷目録)を分析するために、第2の種類の機械学習アルゴリズムが使用される。例示的な実施形態において、アルゴリズムは、(Mikolov, Tomasら、(2013)、「Efficient Estimation of Word Representations in Vector Space」、arXiv:1301.3781に記載の単語-ベクトル型などの単語-ベクトル型などであるがこれに限定されない)単語埋め込みとしても知られる単語-ベクトル型のニューラルネットワークに基づいており、下でさらに検討される図7を参照されたい。手法は、積荷目録の単語および関連するラベルの辞書を生成し、単語とラベルとの間の相関を見つける。単語は、相関のある単語が似た特徴ベクトルを有する新しい特徴ベクトル空間に変換される(図3の隠れ層)。訓練手順は、たとえば、

【0022】

【数2】

【0023】

として定義される損失関数を最小化し、式中、x'は、積荷目録のサンプルnからの出力単語ベクトルの和であり、AおよびBは、x' = B・A・xのように入力単語ベクトルを変換するネットワークのエンコーダおよびデコーダの部分であり、yは、ラベルに関する単語ベクトルであり、sは、ソフトマックス関数

【0024】

【数3】

【0025】

である。訓練は、行列AおよびBのパラメータを決定するために標準的な誤差逆伝播法および勾配降下法を使用して損失関数を最小化する。当業者は、生の積荷目録の単語を使用する代わりに、単語または単語セグメント(word segment)の組合せを使用する方がよいことを知っている。すべての貨物カテゴリに現れるよくある単語(「the」、「origin」、「destination」、「weight」...)は、区別する能力がほとんどなく、無視され得る。

【0026】

本明細書において説明される画像および/または積荷目録処理システムは、放射線撮影画像および/または積荷目録を分析して、コンテナの中身を検証し、画像および/または積荷目録内の異常を特定する。実施形態は、積荷目録検証(MV)を実行して積荷目録に載せられた物体がコンテナ内の物体と一致することを検証し、空コンテナ検証(ECV: empty container verification)を実行してコンテナが空であることを検証し、貨物の種類を判定するかもしくは物体の種類の検出を実行し、特定の物体および/もしくは脅威を探し、ならびに/または異常検出を実行しておかしいパターンを探す可能性がある。それぞれの種類の分析が、下でさらに説明される。

【0027】

本明細書において説明される輸送コンテナの放射線撮影画像分析は、単独でまたは貨物の積荷目録分析と併せて実行される可能性があることを理解されたい。一部の実施形態において、単語埋め込みを使用する貨物の積荷目録分析のための技術などであるがこれに限定されない、本明細書において説明される貨物の積荷目録分析のための技術も、輸送コンテナの中身を判定するために単独で(つまり、放射線撮影画像分析を実行せずに)実行される可能性がある。

【0028】

積荷目録検証(MV)
積荷目録検証(MV)は、輸送コンテナ内にあるものが積荷目録が輸送コンテナ内にあるはずであることを示すものと同じであることを検証しようと試みる。MVは、積荷目録処理システムによって出荷積荷目録のテキストを処理し、画像処理システムによって放射線撮影画像を処理することによって実行される。画像処理システムと積荷目録処理システムとの両方が、同じ貨物カテゴリに関して似ている特徴ベクトルを導出する。たとえば、空の瓶を有する貨物に関する画像の特徴ベクトルは似ているが、放射線撮影画像内で空の瓶が作る特定のパターンが原因でその他の貨物とは異なる。積荷目録における空の瓶の貨物の記載は、空の瓶の積荷に関して似ており、したがって、積荷目録の特徴ベクトルは、この貨物カテゴリに特有である。MVは、画像の特徴ベクトルと積荷目録の特徴ベクトルとの間の相関を履歴的なデータと比較する。

【0029】

一部の実施形態においては、積荷目録が、貨物カテゴリを判定するためにまず分析される。画像処理システムは、上述のように、この貨物カテゴリの履歴的な画像との一致に関して画像のパターンを調べ、カイ2乗値を生じる。アルゴリズムは、閾値未満のカイ2乗値を有する積荷を承認することを選択し得る。閾値は、検査が所与の検証効率のレートに関して必要とされる誤警報率を満たすように設定され得る。たとえば、MVアルゴリズムの実装は、80%の積荷目録検証レート(manifest verification rate)において、書類に不備のある貨物の70%が差し止められるべきであることを要求する。(図9に示される)港の200個の貨物カテゴリに関する受信者オペレータ特性の曲線は、効率と差し止め率との間の関係を示す。

【0030】

一部の実施形態においては、画像処理が、貨物カテゴリを判定するために最初に行われ、積荷目録の処理が、履歴的な分布と比較するために使用される特徴ベクトルを導出する。

【0031】

一部の実施形態においては、貨物カテゴリが割り振られないが、積荷目録の特徴ベクトルと画像の特徴ベクトルとが、大きな空間に組み合わされる。たとえば、20次元空間を有する画像の特徴ベクトルと100次元空間内の積荷目録の特徴ベクトルとが、120次元空間において組み合わされる。積荷目録空間および画像空間において別々にクラスタを探す代わりに、データが120次元空間において履歴的なクリーンスキャン(clean scan)と一致していることが、調べられる。貨物をカテゴリに入れなくてよいことは、半教師ありおよび継続的学習を可能にする。

【0032】

一部の実施形態において、画像処理システムは、特徴ベクトルを使用して、オペレータの検査のために放射線撮影画像をランク付けする。

【0033】

一部の実施形態において、画像処理システムは、輸送コンテナの放射線撮影画像から抽出された特徴ベクトルを、検査されている輸送コンテナ内にあるはずの物体と同様の物体を載せた貨物積荷目録に関連する以前の輸送コンテナの放射線撮影画像の以前の特徴ベクトルの履歴的な分布と比較することによって、輸送コンテナの中身が積荷目録と一致する統計的確率を決定する。非限定的な例として、システム100は、所定の基準を使用して、抽出された特徴ベクトルと以前の特徴ベクトルの履歴的な分布との間の一致の度合いに基づいて、輸送コンテナの中身が関連する貨物積荷目録内の載っている物体に一致する統計的確率を生成する可能性がある。たとえば、抽出された特徴ベクトルと特徴ベクトルの履歴的な分布との間の85%の一致は、輸送コンテナの中身が関連する貨物積荷目録と一致する85%の確率をシステム100が割り振ることにまさに相当する可能性があり、またはシステムによって獲得された以前の履歴的なデータに基づいてより低いもしくはより高い確率が割り振られることに相当する可能性がある。

【0034】

一部の実施形態において、画像処理システムは、コンテナの中身(たとえば、ある物体の種類の物体)を定量化するパラメータが積荷目録と一致すると判定する。パラメータは、物体の種類の履歴的なパラメータの分布に対してグラフィカルに表示され、オペレータに提示される。

【0035】

一部の実施形態において、積荷目録処理システムは、オペレータが積荷目録のテキストの意味を理解するのを助ける。上述のように、積荷目録は、オペレータに知られていない貿易または専門用語を含む可能性がある。積荷目録の処理は、ラベル付けされた貨物積荷目録の履歴的な分布との特徴ベクトルの近さに基づいて貨物カテゴリを判定する。貨物カテゴリの判定は、オペレータ支援(Operator Assistance)の一部である。

【0036】

一部の実施形態において、画像処理システムは、オペレータが放射線撮影画像内の予測されるパターンを理解することを助ける。上述のように、コンテナは、通常、貨物で一杯であり、個々の物体の形は、認識可能でない可能性があり、その代わりに、オペレータは、グループのパターンに頼る。画像処理は、履歴的なデータに基づいて貨物カテゴリに関して予測される画像のパターンを見つける。似ている履歴的な画像の表示は、この貨物カテゴリに関してランダムに選択された履歴的な画像または検査されている画像に最も近い画像を表示する可能性があるオペレータ支援機能の一部である(たとえば、図8を参照されたい)。

【0037】

一部の実施形態において、画像処理システムは、あらゆる新しい画像によってリアルタイムで特徴ベクトルの履歴的な分布を更新する。

【0038】

一部の実施形態において、特徴ベクトルの履歴的な分布は、10未満の放射線撮影スキャンおよび対応する積荷目録に基づく。

【0039】

一部の実施形態において、人工ニューラルネットワークは、オートエンコーダニューラルネットワークである。

【0040】

一部の実施形態において、人工ニューラルネットワークは、教師なしニューラルネットワークである。

【0041】

空コンテナ検証(ECV)
空コンテナ検証は、空のコンテナの放射線撮影画像を検査することによって本明細書において説明される画像処理システムにより実行される。画像処理システムは、空であると申告されるコンテナを含むレンダリングされた放射線撮影画像を受信する。画像処理システムは、特徴ベクトルを抽出するためにオートエンコーダ型のニューラルネットワークを使用して分析される1つまたは複数のセグメントに画像を分割する。画像処理システムは、特徴ベクトルを、対応するコンテナセグメントに関する特徴ベクトルの履歴的な分布と比較する。空コンテナ検証は、そうでない場合には空であるコンテナの中の物体を探す。画像処理システムは、特徴ベクトルを使用して、空であると申告されたコンテナが確かに空であることを確認する。

【0042】

一部の実施形態において、画像処理システムは、特徴ベクトルを使用して、オペレータの検査のために空であると申告されたコンテナの放射線撮影画像をランク付けする。

【0043】

一部の実施形態において、画像処理システムは、コンテナが空である統計的確率を割り振る。

【0044】

一部の実施形態において、画像処理システムは、コンテナが空であることを定量化するパラメータを決定し、パラメータは、空のコンテナに関する履歴的なパラメータの分布に対してグラフィカルに表示され、オペレータに提示される。

【0045】

一部の実施形態において、画像処理システムは、あらゆる空のコンテナの放射線撮影画像によってリアルタイムで各セグメントに関する特徴ベクトルの履歴的な分布を更新する。

【0046】

一部の実施形態において、特徴ベクトルの履歴的な分布は、10未満の放射線撮影スキャンに基づく。

【0047】

一部の実施形態において、空であると申告されたコンテナ内で見つかった物体は、オペレータの検証のために印を付けられる(たとえば、図10を参照されたい)。

【0048】

異常検出
異常検出は、本明細書において説明される画像処理システムによって、およびコンテナの放射線撮影画像を検査して異常を検出することによって実行される。画像処理システムは、各セグメントに関する特徴ベクトルを抽出するためにオートエンコーダ型のニューラルネットワークを使用して分析される1つまたは複数のセグメントに(たとえば、図11に示されるように)画像を分割する。画像処理システムは、各特徴ベクトルをコンテナからのその他の特徴ベクトルの分布と比較する。画像処理システムは、特徴ベクトルを使用して、画像の残りの部分と著しく異なるセグメントを特定する。たとえば、下でさらに説明される図12は、その他のセグメントの平均との特徴ベクトルのカイ2乗差を示す。

【0049】

一部の実施形態において、画像処理システムは、特徴ベクトルを使用して、オペレータの検査のために放射線撮影画像をランク付けする。

【0050】

一部の実施形態において、画像処理システムは、コンテナセグメントに異常がある統計的確率を割り振る。

【0051】

一部の実施形態において、画像処理システムは、コンテナセグメントに異常がある確率を定量化するパラメータを決定し、パラメータは、コンテナセグメントに関するパラメータの分布に対してグラフィカルに表示され、オペレータに提示される。

【0052】

データ品質の監視
データ品質の監視は、データ品質の監視のために放射線撮影画像を分析することによって本明細書において説明される画像処理システムにより実行される。画像処理システムは、各セグメントに関する1つまたは複数の特徴ベクトルを抽出するためにオートエンコーダ型のニューラルネットワークを使用して分析される1つまたは複数のセグメントに画像を分割する。画像処理システムは、各特徴ベクトルを、セグメントに関する履歴的な分布の特徴ベクトルと比較する。画像処理システムは、不良検出器チャネル(bad detector channel)、カットオフ画像(cut off image)、および誤った放射線量による画像などの放射線撮影画像のデータ品質を評価するために特徴ベクトルを使用する。

【0053】

貨物の種類の検出
貨物の種類の検出は、検査されている1つまたは複数の物体の放射線撮影画像を分析することによって本明細書において説明される画像処理システムにより実行される。画像処理システムは、特徴ベクトルを抽出するために人工的ニューラルネットワーク(artificial type neural network)を使用して画像を分析する。各特徴ベクトルが、セグメントに関する履歴的な分布の特徴ベクトルと比較され、特徴ベクトルは、スキャンされている1つまたは複数の物体の各々を分類するために使用される。

【0054】

上述のアクションの各々において、画像処理システムが分析された画像内で異常または物体を特定することにより生成された出力画像に、ラベルが含められる可能性がある。一部の実施形態においては、異常または物体の位置が、出力画像内で示されるかまたは強調される。別の実施形態において、画像処理システムは、コンテナが異常を含むおよび/または積荷目録と一致しないことを保安担当者に視覚的にまたは聞こえるように示すために使用される可能性がある。

【0055】

実施形態は、保安担当者が脅威に関してコンテナの画像を評価している応用などであるがこれに限定されない様々なセキュリティの応用において使用される可能性がある。たとえば、本明細書において説明される画像処理システムは、セキュリティ検査場においてコンテナを調べるために港で米国税関国境取締局によって使用され得る。画像処理システムは、コンテナをスキャンするために米国税関国境取締局によって使用される可能性もある。画像処理システムは、輸送または配送手段の上の貨物を調べるために使用される可能性もある。

【0056】

上で実施形態の概要および利点を説明したが、実施形態のより具体的な詳細が、下で図を参照して与えられる。

【0057】

図1は、例示的な実施形態による画像処理システム100をモジュールを単位として示すブロック図である。モジュールのうちの1つまたは複数は、図5に示されるように、デバイス510、スキャンデバイス520、サーバ530、および/またはデータベース540を使用して実装される可能性がある。モジュールは、機械学習アルゴリズムモジュール110、訓練データセットモジュール120、入力データモジュール130、および出力データモジュール140を含む。モジュールは、様々な回路、回路および1つまたは複数のソフトウェア構成要素、プログラム、アプリケーション、または1つもしくは複数のプロセッサによって実行されるように構成されたコードベースもしくは命令のその他の単位を含む可能性がある。一部の実施形態において、モジュール110、120、130、140のうちの1つまたは複数は、サーバ530に含まれる可能性があり、一方、モジュール110、120、130、140のうちのその他のものは、デバイス510またはスキャンデバイス520に提供される。モジュール110、120、130、および140は図1において別個のモジュールとして示されるが、モジュール110、120、130、および140は、示されるよりも少ないまたは多いモジュールとして実装される可能性があることを理解されたい。モジュール110、120、130、および140のうちのいずれも、デバイス510、スキャンデバイス520、サーバ530、またはデータベース540などのシステム500(図5)に含まれる1つまたは複数の構成要素と通信する可能性があることを理解されたい。

【0058】

機械学習アルゴリズムモジュール110は、機械学習アルゴリズムを実行するかまたは走らせるように構成されたソフトウェアおよび/またはハードウェアによって実装されたモジュールである可能性があり、機械学習アルゴリズムを実行するために必要とされるパラメータ、変数、データ、およびその他のコンポーネントを記憶し、管理する可能性がある。例示的な実施形態において、機械学習アルゴリズムは、輸送コンテナの放射線撮影画像の画像分析を実行するために使用されるオートエンコーダ型のニューラルネットワーク110A、または輸送コンテナに関連する貨物積荷目録の分析を実行するために使用される再帰型ニューラルネットワーク110Bである。

【0059】

訓練データセットモジュール120は、画像処理システム100によって使用される機械学習アルゴリズムのための訓練データセットを管理し、記憶するように構成されたソフトウェアおよび/またはハードウェアによって実装されたモジュールである可能性がある。例示的な実施形態において、訓練データセットは、放射線撮影スクリーニングマシンまたはデバイスを使用して取得されたコンテナの画像を含む。画像は、1つまたは複数の物体を保管するコンテナを示す可能性がある。

【0060】

入力データモジュール130は、画像処理システム100によって分析される入力画像を管理し、記憶するように構成されたソフトウェアおよび/またはハードウェアによって実装されたモジュールである可能性がある。

【0061】

出力データモジュール140は、機械学習アルゴリズムの出力を管理し、記憶するように構成されたソフトウェアおよび/またはハードウェアによって実装されたモジュールである可能性がある。一部の実施形態において、出力は、入力画像が異常を含むかどうかのインジケーションである。例示的な実施形態において、出力は、出力画像内の異常を視覚的に目立たせるまたは強調することによって異常の存在を示す出力画像である。一実施形態において、出力画像は、異常を特定するラベルを含む可能性がある。別の例示的な実施形態において、出力は、画像の分析に基づいてコンテナが異常を含むおよび/または積荷目録と一致しないことをオペレータまたは保安担当者に示すためにセキュリティスクリーニングマシンまたはデバイスにおいて生成された警報またはアラートである。

【0062】

図1のモジュールは、放射線撮影画像および積荷目録の分析に関連して上で検討された機能の一部またはすべてを提供する可能性があることを理解されたい。上で検討されたように、一部の実施形態において、機械学習アルゴリズムは、オートエンコーダニューラルネットワークに基づき、訓練データに関してコンテナの放射線撮影画像を使用する。訓練は、各訓練サンプルにおいて入力画像ベクトルと再構築された画像との間の差を最小化し、

【0063】

【数4】

【0064】

であり、式中、AおよびBは、それぞれ、ネットワークのエンコーダおよびデコーダの部分であり、xは、入力画像ベクトル(下で検討される図3を参照されたい)であり、Δは、訓練において損失関数として使用される特徴ベクトル空間におけるユークリッド距離の2乗である。AおよびBのパラメータは、標準的な誤差逆伝播法を使用して訓練において決定される。訓練の第2の部分において、同じ物体の種類のコンテナの特徴ベクトルが、較正データを得るために平均される。平均される物体の種類は、たとえば、ビールケース、冷蔵庫、またはバイクを有するコンテナを含む可能性がある。しかし、物体の種類は、コンテナで輸送可能な任意の1つの物体または複数の物体であることが可能である。較正データは、サンプルに関する特徴ベクトルの平均〈A(x)〉および標準偏差〈〈A²(x)〉-〈A(x)〉²〉を含み、平均することは、山括弧によって示される。この手順は、特徴パラメータが正規(ガウス)分布によって示されると仮定する。これが当てはまらない場合、同じ貨物のサンプルは、サンプルの確率密度関数がガウス近似の級数によって近似されるように、2つ以上の平均および標準偏差によって示される。このようにして、複雑な形でさえも、比較的少ない数のパラメータによって示され得る。

【0065】

訓練された機械学習アルゴリズムは、訓練データセットに基づいて1つまたは複数の特徴ベクトルを生成する。特徴ベクトルは、物体の、特徴と呼ばれる数値的または記号的特性を数学的に表すために使用され、パターン処理のために使用される。訓練データセットは、物体の種類に関連するパターンを特定するように画像処理システムを訓練するために使用される。生成されたパターンは、記憶され、1つまたは複数の入力画像の特徴ベクトルを分析するために使用される。入力画像は、放射線撮影機によって得られた物体の画像である。特徴ベクトルに基づいて、一実施形態において、画像処理システムは、異常を特定することができる。

【0066】

一部の任意の実施形態においては、自然言語処理アルゴリズムを使用して出荷書類(積荷目録)を分析するために、第2の種類の機械学習アルゴリズムが使用される。例示的な実施形態において、アルゴリズムは、(Mikolov, Tomasら、(2013)、「Efficient Estimation of Word Representations in Vector Space」、arXiv:1301.3781に記載の単語-ベクトル型などの単語-ベクトル型などであるがこれに限定されない)単語埋め込みとしても知られる単語-ベクトル型のニューラルネットワークに基づいており、下でさらに検討される図7を参照されたい。手法は、積荷目録の単語および関連するラベルの辞書を生成し、単語とラベルとの間の相関を見つける。単語は、相関のある単語が似た特徴ベクトルを有する新しい特徴ベクトル空間に変換される(図3の隠れ層)。訓練手順は、たとえば、

【0067】

【数5】

【0068】

として定義される損失関数を最小化し、式中、x'は、積荷目録のサンプルnからの出力単語ベクトルの和であり、AおよびBは、x' = B・A・xのように入力単語ベクトルを変換するネットワークのエンコーダおよびデコーダの部分であり、yは、ラベルに関する単語ベクトルであり、sは、ソフトマックス関数

【0069】

【数6】

【0070】

である。訓練は、行列AおよびBのパラメータを決定するために標準的な誤差逆伝播法および勾配降下法を使用して損失関数を最小化する。当業者は、生の積荷目録の単語を使用する代わりに、単語または単語セグメントの組合せを使用する方がよいことを知っている。すべての貨物カテゴリに現れるよくある単語(「the」、「origin」、「destination」、「weight」...)は、区別する能力がほとんどなく、無視され得る。

【0071】

本明細書において説明される画像および/または積荷目録処理システムは、放射線撮影画像および/または積荷目録を分析して、コンテナの中身を検証し、画像および/または積荷目録内の異常を特定する。実施形態は、積荷目録検証(MV)を実行して積荷目録に載せられた物体がコンテナ内の物体と一致することを検証し、空コンテナ検証(ECV)を実行してコンテナが空であることを検証し、貨物の種類を判定するかもしくは物体の種類の検出を実行し、特定の物体および/もしくは脅威を探し、ならびに/または異常検出を実行しておかしいパターンを探す可能性がある。

【0072】

図2は、例示的な実施形態による画像処理システムによって使用される例示的な方法200を示す流れ図である。方法200は、上述のシステム100の1つまたは複数のモジュールを使用して実行される可能性がある。

【0073】

ブロック202において、画像処理システム100で使用される機械学習アルゴリズムが、訓練データセットを使用してコンテナ内の特定の物体の種類を分析するために訓練される。機械学習アルゴリズムモジュール110は、機械学習アルゴリズムを実行するように構成される可能性がある。訓練データモジュール120は、訓練のために機械学習アルゴリズムモジュール110に訓練データセットを提供するように構成される可能性がある。

【0074】

例示的な実施形態において、訓練データセットは、指定された物体の種類を含むコンテナの少なくとも1つの放射線撮影画像を含む。たとえば、訓練データセットは、冷蔵庫を含むコンテナの放射線撮影画像を含む可能性がある。訓練データセットは、放射線撮影画像内の異常を特定するように機械学習アルゴリズムを訓練するために使用され得る。たとえば、訓練データセットは、冷蔵庫を含むコンテナの放射線撮影画像が異常を含むかどうかを判定するように機械学習アルゴリズムを訓練するために使用され得る。

【0075】

非限定的な例において、訓練データセットのための画像は、港または国境管理、ハイウェイステーション(highway way station)などの施設のセキュリティ検査場に設置されたスキャンデバイスから得られる。

【0076】

例示的な実施形態において、訓練データセットは、2Dまたは3D画像を含む可能性がある。別の例において、訓練データセットは、物体の異なるレイヤを表す複数の2D画像を含む可能性がある。2D画像は、物体の断面画像またはスライス(slice)である可能性がある。さらに別の例において、訓練データセットは、それぞれが物体の異なる見方を表す複数の画像を含む可能性がある。

【0077】

ブロック204において、入力データモジュール130が、コンテナを含む少なくとも1つのレンダリングされた放射線撮影画像を受信する。

【0078】

一実施形態において、画像処理システム100は、各セグメントに関する特徴ベクトルを抽出するためにオートエンコーダ型のニューラルネットワークを使用して分析される1つまたは複数のセグメントに入力画像を分割することによって入力画像を分析し、異常の存在を特定する。各特徴ベクトルが、このコンテナからのその他の特徴ベクトルの分布と比較される。特徴ベクトルは、画像の残りの部分と著しく異なるセグメントを特定するために使用される。

【0079】

ブロック206において、機械学習アルゴリズムモジュール110が、ブロック204において受信された入力画像を分析し、入力画像がコンテナ内の物体の種類を載せている積荷目録の書類と一致しているかどうか、入力画像が空のコンテナと一致しているかどうか、入力画像が物体を含むかどうか、または入力画像が異常を含むかどうかを自動的に判定するように構成される。たとえば、画像処理システム100は、入力画像が冷蔵庫内の異常を含むと判定する可能性がある。

【0080】

ブロック208において、出力データモジュール140が、ステップ206の分析に基づいて自動検出インジケーションを生成する。たとえば、自動検出インジケーションは、入力画像内で特定された異常に関連付けられる可能性がある。例示的な実施形態において、自動検出インジケーションは、入力画像内の異常を特定するテキストのラベルまたはその他のグラフィカルなインジケーションである。自動検出インジケーションは、ユーザデバイスのディスプレイに表示されるかまたはユーザデバイスのディスプレイにおいて提供される出力画像に含められる可能性がある。出力画像は、異常の存在のインジケーションをともなう入力画像(たとえば、レンダリングされた放射線撮影画像)である可能性がある。本明細書において説明されるように、出力または自動検出インジケーションがユーザに提供されるユーザデバイスは、セキュリティスキャンデバイス、コンピューティングデバイス、またはサーバに通信可能なように結合されたディスプレイデバイスを含む可能性がある。別の実施形態において、自動検出インジケーションは、入力画像内の異常の位置を示す視覚的なインジケーションである可能性がある。そのような視覚的なインジケーションは、異常を包含する色付きの四角形である可能性がある。別の実施形態において、自動検出インジケーションは、入力画像内で異常が検出されていることをユーザに注意喚起するグラフィカルなインジケーションおよび/または可聴のインジケーションである可能性がある。別の実施形態において、自動検出インジケーションは、入力画像が積荷目録の書類と一致しているかどうか、または入力画像が空のコンテナと一致しているかどうかを示す可能性がある。

【0081】

自動検出インジケーションは、施設内のセキュリティスキャンデバイスに結合されたユーザデバイスまたはコンピューティングデバイスに送信される可能性がある。一部の実施形態において、セキュリティスキャンデバイスは、入国港またはその他の安全な施設のX線スクリーニングマシンである可能性がある。自動検出インジケーションは、入力画像が画像処理システム100において受信されるときに対してリアルタイムまたは準リアルタイムで生成され、送信される可能性がある。

【0082】

一部の実施形態において、画像処理システム100は、ブロック206の特定された異常が物体の種類に関するよくある誤警報異常(false-alarm anomaly)であると判定する。例示的な実施形態においては、よくある誤警報異常のリストが、データベースに記憶される。例示的な実施形態において、画像処理システムによって特定される可能性があるが、よくある誤警報異常である異常は、特定の機械学習アルゴリズムが誤警報異常を考慮に入れることを可能にするためによくある誤警報異常のリストを生成するために集約される可能性がある。

【0083】

本明細書において説明される画像処理システムを実装するために、例示的な実施形態は、LINUX(登録商標)を実行するコンピューティングデバイス、1つまたは複数のグラフィックス処理カードまたはユニット(GPU)、訓練のための1つまたは複数の画像、およびオートエンコーダフレームワークを使用する。

【0084】

図3は、例示的な実施形態による画像処理システムによって使用される例示的なオートエンコーダニューラルネットワークトポロジーを示す。オートエンコーダは、3つの層の段階、すなわち、入力層段階302、隠れ(符号化)層段階304、および復号層段階306を有するニューラルネットワークである。ネットワークは、その入力を再構築するように訓練され、これは、隠れ層段階に入力の良好な表現を学習しようと試みることを強いる。画像は、一連の隠れ層によって元のサイズから20次元の特徴ベクトルに切り詰められる。ネットワークは、特徴ベクトルを元のサイズに拡大し、損失関数を適用して元の画像を復元することによって訓練される。

【0085】

オートエンコーダニューラルネットワークのエンコーダの部分によって学習されたマッピングは、データから特徴を抽出するのに役立つ。エンコーダの各ニューロンは、そのニューロンに関連する1組の重みを有し、1組の重みは、特定の視覚的特徴に反応するように調整される。オートエンコーダニューラルネットワークを用いて学習された特徴は、デジタル画像からのパターンを表す。訓練データセットは、物体の種類に関連するパターンを特定するように画像処理システムを訓練するために使用される。上述のように、生成されたパターンは、記憶され、1つまたは複数の入力画像の特徴ベクトルを分析するために使用される。

【0086】

図4A～図4Cは、例示的な実施形態による画像処理システムによって提供される出力画像を示す。図4Aは、冷蔵庫、バイク、ビール、たばこ、およびポリエチレンテレフタラート(PET)を含むよくある物体の種類を含むコンテナならびに空のコンテナの放射線撮影画像400を示す。

【0087】

物体の種類の間の相違を定量化するために、システムは、図4Bに示されるように、トポロジーを有するオートエンコーダ型のニューラルネットワークを使用して画像分析を実行する。検査されているコンテナ内の物体の種類は、同じ物体の種類の履歴的な分布の外形と比較され、そして、それらは、図4Cに示されるようにプロットされる。

【0088】

図4Cは、グラフにプロットされた4つの物体の種類(たばこ、ビール、冷蔵庫、およびバイク)の約120個の画像セグメントならびに空のコンテナおよびPETのコンテナに関する画像セグメントからの特徴ベクトルを示す。同じ物体の種類からの点のクラスタリング430A、430B、430C、430D、430E、および430Fは、物体の種類が画像の特徴に基づいて区別され得ることを示す。

【0089】

コンテナの中身の検証は、積荷目録データと放射線撮影画像とを比較することによって実現され得る。一部の実施形態において、システムは、積荷目録を解析し、画像のパターンが積荷目録に載せられた物体と一致することを自動的に検証する。その他の実施形態において、セキュリティ検査場のオペレータは、コンテナの放射線撮影画像および/または各コンテナに関する中身の情報を有する積荷目録を受け取る可能性がある。そのような実施形態において、オペレータは、画像のパターンが積荷目録に載せられた物体と一致することを検証する。

【0090】

図5は、例示的な実施形態による画像処理システムを実装するためのシステム500を示すネットワーク図を示す。システム500は、ネットワーク505、複数のデバイス、たとえば、デバイス510、スキャンデバイス520、サーバ530、およびデータベース540を含み得る。デバイス510、520、サーバ530、およびデータベース540の各々は、ネットワーク505と通信する。

【0091】

例示的な実施形態において、ネットワーク505の1つまたは複数の部分は、アドホックネットワーク、イントラネット、エクストラネット、仮想プライベートネットワーク(VPN)、ローカルエリアネットワーク(LAN)、ワイヤレスLAN(WLAN)、広域ネットワーク(WAN)、ワイヤレス広域ネットワーク(WWAN)、メトロポリタンエリアネットワーク(MAN)、インターネットの一部、公衆交換電話網(PSTN)の一部、セルラ電話ネットワーク、ワイヤレスネットワーク、Wi-Fiネットワーク、WiMaxネットワーク、任意のその他の種類のネットワーク、または2つ以上のそのようなネットワークの組合せである可能性がある。

【0092】

デバイス510は、ワークステーション、コンピュータ、多目的コンピュータ、インターネット家電、ハンドヘルドデバイス、ワイヤレスデバイス、ポータブルデバイス、ウェアラブルコンピュータ、セルラまたはモバイル電話、ポータブルデジタルアシスタント(PDA)、スマートフォン、タブレット、ウルトラブック、ネットブック、ラップトップ、デスクトップ、マルチプロセッサシステム、マイクロプロセッサに基づくまたはプログラミング可能な家庭用電化製品、ネットワークPC、ミニコンピュータなどを含む可能性があるがこれらに限定されない。デバイス510は、有線またはワイヤレス接続によってネットワーク505に接続する可能性がある。

【0093】

スキャンデバイス520は、コンテナをスキャンし、スキャンデバイス520に結合されたディスプレイデバイス上でスキャンされたコンテナのレンダリングされた放射線撮影画像を生成するための放射線撮影マシンまたはシステムを含む可能性がある。例示的な実施形態において、スキャンデバイス520は、検査場のセキュリティスクリーニングシステムである。スキャンデバイス520は、セキュリティの目的のために輸送コンテナをスキャンするために使用される可能性がある。例示的な実施形態においては、スキャンデバイス520によって生成された画像が、本明細書において説明されるように機械学習アルゴリズムを訓練するためのデータセットとして使用される。その他の実施形態において、スキャンデバイス520は、画像処理システム100のための入力画像を生成する。入力画像が処理された後、出力画像が、スキャンデバイス520に結合されたディスプレイデバイスにおいて表示される可能性があり、出力画像は、異常のラベルおよび画像内の異常の位置のインジケーションを含む可能性がある。

【0094】

アドオンモジュールとして、本明細書において説明される画像処理システムは、既存のセキュリティ検査場のデバイス、または1つもしくは複数のデバイスにネットワークによって接続された既存のサーバにソフトウェアモジュールとしてロードされ得る。それらのデバイスまたはサーバにインストールされる可能性がある任意のその他の検出テクノロジーに加えて、画像処理システムは、警報を生成し、セキュリティ検査場のデバイスのオペレータに検出された異常を注意喚起する。

【0095】

当業者は、アドオン能力が様々な放射線撮影デバイスに追加される可能性があることを理解し得る。このようにして、本明細書において説明される画像処理システムのアドオンによって生成されたアラートが、その他の検出ソフトウェアによって生成された警報と一緒に画面上に表示される可能性がある。

【0096】

例示的な実施形態において、デバイス510、520は、本明細書において説明される画像処理システム100の機能のうちの1つまたは複数を実行する可能性がある。デバイス510、520は、図5のコンピューティングデバイス500の1つまたは複数の構成要素を含み得る。デバイス510、520は、機械学習アルゴリズムを訓練し、それから、入力画像に対して訓練されたアルゴリズムを使用して異常の存在を特定するために使用される可能性がある。たとえば、デバイス510、520は、放射線撮影画像の分析を実行するための第1のニューラルネットワーク550および輸送コンテナに関する貨物積荷目録の分析を実行するための第2のニューラルネットワーク560を記憶し、実行する可能性がある。

【0097】

例示的な実施形態において、画像処理システム100は、サーバ530に含まれる可能性があり、サーバ530は、本明細書において説明される画像処理システム100の機能のうちの1つまたは複数を実行する。一部の実施形態において、デバイス510、520は、機能の一部を実行する可能性があり、サーバ530は、本明細書において説明されるその他の機能を実行する。

【0098】

データベース540およびサーバ530の各々は、有線またはワイヤレス接続によってネットワーク505に接続される。サーバ530は、ネットワーク505を介してデバイス510、520と通信するように構成された1つまたは複数のコンピュータまたはプロセッサを含む。サーバ530は、図6のデバイス600の1つまたは複数の構成要素を含み得る。サーバ530は、デバイス510、520によってアクセスされる本明細書において説明される画像処理システムを含む1つまたは複数のアプリケーションもしくはウェブサイトをホストし、および/またはデータベース540の内容へのアクセスを容易にする。データベース540は、サーバ530および/またはデバイス510、520によって使用するためのデータおよび/または命令(もしくはコード)を記憶するための1つまたは複数のストレージデバイスを含む。データベース540およびサーバ530は、互いにまたはデバイス510、520から地理的に分散された1つまたは複数の位置に置かれる可能性がある。代替的に、データベース540は、サーバ530に含まれる可能性がある。

【0099】

例示的なシステム500は、第1のニューラルネットワーク550および第2のニューラルネットワーク560を含む。第1のニューラルネットワーク550は、本明細書において説明されるように、放射線撮影画像から特徴ベクトルを抽出するために使用される。第2のニューラルネットワーク560は、本明細書において説明されるように、貨物積荷目録のテキストの分析のために使用される。一部の実施形態において、デバイス510および/またはサーバ520は、本明細書において説明されるように、画像および貨物積荷目録を処理してコンテナの内容を検証し、ならびに/または画像および貨物積荷目録内の異常を特定するために第1のニューラルネットワーク550および/または第2のニューラルネットワーク560を利用する。

【0100】

図6は、例示的な実施形態によって提供される方法の1つまたは複数のステップを実行するために使用され得る例示的なコンピューティングデバイス600のブロック図である。たとえば、コンピューティングデバイス600は、図5に示されたデバイス510、520、およびサーバ530である可能性があるがこれらに限定されない。コンピューティングデバイス600は、例示的な実施形態を実装するための1つまたは複数のコンピュータで実行可能な命令またはソフトウェアを記憶するための1つまたは複数の非一時的コンピュータ可読媒体を含む。非一時的コンピュータ可読媒体は、1つまたは複数の種類のハードウェアメモリ、非一時的な有形の媒体(たとえば、1つまたは複数の磁気ストレージディスク、1つまたは複数の光ディスク、1つまたは複数のUSBフラッシュドライブ)などを含み得るがこれらに限定されない。たとえば、コンピューティングデバイス600に含まれるメモリ606は、例示的な実施形態を実装するためのコンピュータが読み取り可能なおよびコンピュータが実行可能な命令またはソフトウェアを記憶し得る。コンピューティングデバイス600は、メモリ606に記憶されたコンピュータが読み取り可能なおよびコンピュータが実行可能な命令またはソフトウェア、ならびにシステムハードウェアを制御するためのその他のプログラムを実行するためのプロセッサ602および関連するコア604ならびに任意で1つまたは複数の追加的なプロセッサ602'および関連するコア604'(たとえば、コンピュータシステムが複数のプロセッサ/コアを有する場合)も含む。プロセッサ602およびプロセッサ602'は、それぞれ、単一コアプロセッサまたは複数コア(604および604')プロセッサであることが可能である。コンピューティングデバイス600は、グラフィックス処理ユニット(GPU)605も含む。一部の実施形態において、コンピューティングデバイス600は、複数のGPUを含む。

【0101】

コンピューティングデバイスのインフラストラクチャおよびリソースが動的に共有され得るように、コンピューティングデバイス600において仮想化が使用され得る。プロセスが複数のコンピューティングリソースではなくただ1つのコンピューティングリソースを使用しているように見えるように複数のプロセッサで実行されるプロセスを処理するための仮想マシン614が、提供され得る。複数の仮想マシンが、1つのプロセッサによって使用されることも可能である。

【0102】

メモリ606は、DRAM、SRAM、EDO RAMなどのコンピュータシステムメモリまたはランダムアクセスメモリを含み得る。メモリ606は、その他の種類のメモリも含むかまたはこれらの組合せを含み得る。ユーザは、1つまたは複数のユーザインターフェース622を表示し得るタッチスクリーンディスプレイまたはコンピュータモニタなどの視覚的なディスプレイデバイス618を通じてコンピューティングデバイス600とインタラクションすることができる。視覚的なディスプレイデバイス618は、例示的な実施形態に関連するその他の様相、要素、および/または情報もしくはデータを表示することもできる。コンピューティングデバイス600は、ユーザから入力を受け取るためのその他のI/Oデバイス、たとえば、キーボードまたは任意の好適な多点タッチインターフェース608、ポインティングデバイス610(たとえば、ペン、スタイラス、マウス、またはトラックパッド)を含み得る。キーボード608およびポインティングデバイス610は、視覚的なディスプレイデバイス618に結合され得る。コンピューティングデバイス600は、その他の好適な通常のI/O周辺機器を含み得る。

【0103】

コンピューティングデバイス600は、データならびにコンピュータ可読命令および/またはディスプレイ618上でユーザインターフェース622を生成するために実行され得る、本明細書において説明される通知システムの例示的な実施形態もしくはその一部を実装する図1に示されたシステム100の1つもしくは複数のモジュールなどのソフトウェアを記憶するための、ハードドライブ、CD-ROM、またはその他のコンピュータ可読媒体などの1つまたは複数のストレージデバイス624も含み得る。例示的なストレージデバイス624は、例示的な実施形態を実装するために必要とされる任意の好適な情報を記憶するための1つまたは複数のデータベースも記憶し得る。データベースは、データベース内の1つまたは複数のオブジェクトを追加、削除、または更新するために任意の好適な時間にユーザによってまたは自動的に更新され得る。例示的なストレージデバイス624は、訓練データ100A、第1のニューラルネットワーク100B、第2のニューラルネットワーク100C、ならびに/またはアルゴリズム110D(積荷目録検証アルゴリズム、空コンテナ検証アルゴリズム、貨物の種類検出アルゴリズム、異常検出アルゴリズム、および/もしくはデータ品質監視アルゴリズムなどであるがこれらに限定されない)を含む画像処理システム100の一部もしくはすべてを記憶し得る。

【0104】

コンピューティングデバイス600は、標準的な加入電話回線、ローカルエリアネットワーク(LAN)もしくは広域ネットワーク(WAN)リンク(たとえば、802.11、T1、T3、56kb、X.25)、ブロードバンド接続(たとえば、ISDN、フレームリレー、ATM)、ワイヤレス接続、コントローラエリアネットワーク(CAN)、または以上のいずれかもしくはすべての何らかの組合せを含むがこれらに限定されない様々な接続を通じて1つまたは複数のネットワークデバイス620によって1つまたは複数のネットワーク、たとえば、LAN、WAN、またはインターネットとインターフェースをとるように構成されたネットワークインターフェース612を含み得る。ネットワークインターフェース612は、組み込みネットワークアダプタ、ネットワークインターフェースカード、PCMCIAネットワークカード、カードバスネットワークアダプタ、ワイヤレスネットワークアダプタ、USBネットワークアダプタ、モデム、またはコンピューティングデバイス600と他の任意の種類のネットワークとのインターフェースをとり、本明細書において説明される動作を実行することに好適な任意のその他のデバイスを含み得る。さらに、コンピューティングデバイス600は、ワークステーション、デスクトップコンピュータ、サーバ、ラップトップ、ハンドヘルドコンピュータ、タブレットコンピュータ(たとえば、iPad(登録商標)タブレットコンピュータ)、モバイルコンピューティングもしくは通信デバイス(たとえば、iPhone(登録商標)通信デバイス)、または通信することができ、本明細書において説明される動作を実行するのに十分なプロセッサの能力およびメモリ容量を有するその他の形態のコンピューティングもしくは電気通信デバイスなどの任意のコンピュータシステムであることが可能である。

【0105】

コンピューティングデバイス600は、Microsoft(登録商標) Windows(登録商標)オペレーティングシステム、モバイルOS、AndroidおよびiOSのバージョンのいずれか、UnixおよびLinux(登録商標)オペレーティングシステムの異なるリリース、Macintoshコンピュータ用のMacOS(登録商標)の任意のバージョン、任意の組み込みオペレーティングシステム、任意のリアルタイムオペレーティングシステム、任意のオープンソースのオペレーティングシステム、任意の独自仕様のオペレーティングシステム、モバイルコンピューティングデバイス用の任意のオペレーティングシステム、またはコンピューティングデバイス上で実行され、本明細書において説明される動作を実行することができる任意のその他のオペレーティングシステムなどの任意のオペレーティングシステム616を実行し得る。例示的な実施形態において、オペレーティングシステム616は、ネイティブモードまたはエミュレートモードで実行され得る。例示的な実施形態において、オペレーティングシステム616は、1つまたは複数のクラウドマシンインスタンス上で実行され得る。

【0106】

図7は、例示的な実施形態による積荷目録のテキストの分析のための例示的なニューラルネットワークアーキテクチャを示す。入力ニューロンは、貨物の種類のラベルを含む積荷目録データ内で見つかった単語セグメント(n-gram)である。ニューラルネットの訓練の目的は、関連する単語が似た特徴ベクトルを持つように同じ文脈で現れる単語セグメントの間の相関を発見することである。訓練は、ネットワークのエンコーダとデコーダとの両方の部分を使用し、一方、積荷目録の評価は、特徴ベクトルを計算するエンコーダの部分のみを使用する。貨物は、積荷目録のテキストの平均と最も近い特徴ベクトルを有する貨物ラベルを選択することによって分類される。

【0107】

図8は、例示的な実施形態によるオペレータの検査の判断を支援するための積荷目録検証(MV)アルゴリズムの例示的な実装を示す。オペレータは、検査されている画像802および/または生の積荷目録のテキストを見る。MVアルゴリズムの結果804が、オペレータに対して表示される。結果804に示されるように、MVは、積荷目録を解釈し、オペレータに貨物の中身を明らかにするラベル806を割り振る。MVは、同じ貨物の中身をともなう以前のスキャンの画像808も表示する。MVは、画像が積荷目録と一致する信頼レベル810を表示する。MVアルゴリズムの結果804は、概して、ユーザインターフェースを介して表示される。

【0108】

図9は、例示的な実施形態による、積荷目録の検証の効率を書類に誤りのある貨物の差し止めに関連付ける例示的な受信者オペレータ特性(ROC)の曲線902を示す。積荷目録の検証の効率は、アルゴリズムによって通される書類に誤りのない貨物の割合として定義される。差し止め率は、アルゴリズムによって警告される書類に誤りのある貨物の割合である。それぞれのROCの曲線は、貨物カテゴリに属し、プロットは、約200のカテゴリを示す。例示的な実装において、すべての貨物カテゴリは、80%の積荷目録通過率(manifest clearing rate)において少なくとも70%の差し止め率を有する。

【0109】

図10は、例示的な実施形態による、空であると申告されたコンテナ内の貨幣で満たされたダッフルバッグを警告した空コンテナ承認(ECV)アルゴリズムの実装を示す。不審な領域1002が、オペレータの注意を引くために画像内で印を付けられる。写真1004が、テストターゲットを示すために図に追加される。

【0110】

図11は、例示的な実施形態による異常検出のために使用されるコンテナセグメント1102を示す。(セグメンテーションをはっきりさせるための格子の上張りを使用することによって示される)各セグメント1102は、例示的な実施形態によれば、特徴ベクトルを与えるオートエンコーダニューラルネットワークを用いて評価される。結果は、セグメントの残りの部分と著しく異なるセグメント1102を特定することである。図11に示されるように、異常を示すいくつかのセグメント1104が、特定された。

【0111】

図12は、例示的な実施形態による異常検出アルゴリズムの例示的な実施の結果を示す。ニューラルネットワークは、各セグメントに関する特徴ベクトルを生成し、出力モジュールは、(特徴ベクトルを比較することによって)カイ2乗ヒートマップを作成する。一部の実施形態においては、色が、その他のセグメントからの検査されているセグメントのカイ2乗値を示す。カイ2乗は、セグメントの特徴ベクトルとその他のセグメントの特徴ベクトルの平均との間の距離の2乗をその他のセグメントの特徴ベクトルの標準偏差の2乗で割った値として計算される。このカイ2乗は、自由度、つまり、特徴の数引く1に正規化される。結果は、(図11に示される)輸送コンテナの特定のセグメント内で検出された異常1204を示す。たとえば、異常は、空であるはずのコンテナ内の物体、または貨物積荷目録に載せられた種類の物体と異なる種類の物体を示す可能性がある。

【0112】

図13は、例示的な実施形態による画像処理システムによって使用される貨物積荷目録を承認するための例示的な方法を示す流れ図である。ステップ1302において、コンピューティングデバイスが、画像内に輸送コンテナを含むレンダリングされた放射線撮影画像をスキャナから受信する。ステップ1304において、特徴ベクトルが、オートエンコーダニューラルネットワークを使用してスキャンされた輸送コンテナの放射線撮影画像から抽出される。ステップ1306において、画像処理システムが、スキャンされた輸送コンテナに関してコンテナが関連する貨物積荷目録に載せられた物体と一致する統計的確率を割り振る。上で検討されたように、任意のステップ1308において、第2の人工ニューラルネットワークを使用して貨物積荷目録の単語に対して追加の分析を実行することによって、統計的確率がさらに決定される可能性がある。ステップ1310において、それから、スキャンされた輸送コンテナに関連する自動検出インジケーションが、割り振られた統計的確率に基づいて画像処理システムによって生成される。検出インジケーションは、警告の表示または可聴の警報を生成することなどであるがこれに限定されないいくつかの形態をとる可能性がある。

【0113】

図14は、例示的な実施形態による、指定された空の輸送コンテナが実際に空であることを確認するために画像処理システムによって使用される例示的な方法を示す流れ図である。ステップ1402において、コンピューティングデバイスが、輸送コンテナのレンダリングされた放射線撮影画像を受信する。ステップ1404において、特徴ベクトルが、オートエンコーダニューラルネットワークを使用して画像から抽出される。ステップ1406において、画像処理システムが、以前の空の輸送コンテナに関連する放射線撮影画像から抽出された特徴ベクトルの履歴的な分布との抽出された特徴ベクトルの比較に基づいてスキャンされた輸送コンテナの空である統計的確率を割り振る。

【0114】

例示的な実施形態を説明する際、明瞭にするために特定の用語が使用されている。説明のために、それぞれの特定の用語は、少なくとも、同様の目的を達成するために同様に働くすべての技術的および機能的な同義の語を含むように意図される。さらに、特定の例示的な実施形態が複数のシステムの要素、デバイスの構成要素、または方法のステップを含むいくつかの場合、それらの要素、構成要素、またはステップは、単一の要素、構成要素、またはステップによって置き換えられる可能性がある。同様に、単一の要素、構成要素、またはステップが、同じ目的のために働く複数の要素、構成要素、またはステップによって置き換えられる可能性がある。さらに、例示的な実施形態がその特定の実施形態に関連して示され、説明されたが、当業者は、形態および詳細の様々な置き換えおよび変更が本開示の範囲を逸脱することなくそれらの実施形態において行われ得ることを理解するであろう。さらに、その他の実施形態、機能、および利点も、本開示の範囲内にある。

【符号の説明】

【0115】

100 画像処理システム
100A 訓練データ
100B 第1のニューラルネットワーク
100C 第2のニューラルネットワーク
110 機械学習アルゴリズムモジュール
110A オートエンコーダ型のニューラルネットワーク
110B 再帰型ニューラルネットワーク
110D アルゴリズム
120 訓練データセットモジュール
130 入力データモジュール
140 出力データモジュール
200 方法
400 放射線撮影画像
500 システム
505 ネットワーク
510 デバイス
520 スキャンデバイス
530 サーバ
540 データベース
550 第1のニューラルネットワーク
560 第2のニューラルネットワーク
600 コンピューティングデバイス
602 プロセッサ
602' プロセッサ
604 コア
604' コア
606 メモリ
608 キーボード、多点タッチインターフェース
610 ポインティングデバイス
612 ネットワークインターフェース
614 仮想マシン
616 オペレーティングシステム
618 視覚的なディスプレイデバイス
620 ネットワークデバイス
622 ユーザインターフェース
624 ストレージデバイス
802 検査されている画像
804 結果
806 ラベル
808 画像
810 信頼レベル
902 受信者オペレータ特性(ROC)の曲線
1002 不審な領域
1004 写真
1102 コンテナセグメント
1104 セグメント
1204 異常

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】