特表 2022-514859 自動検査システムおよび出荷用コンテナの状態を評価する関連方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-02-16

(54)【発明の名称】自動検査システムおよび出荷用コンテナの状態を評価する関連方法

(51)【国際特許分類】

   G06Q 50/26 20120101AFI20220208BHJP

   G06T 7/00 20170101ALI20220208BHJP

【ＦＩ】

G06Q50/26

G06T7/00 350C

G06T7/00 600

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2021535276

(86)(22)【出願日】2019-12-19

(85)【翻訳文提出日】2021-08-11

(86)【国際出願番号】 CA2019051865

(87)【国際公開番号】W WO2020124247

(87)【国際公開日】2020-06-25

(31)【優先権主張番号】62/783,824

(32)【優先日】2018-12-21

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】521265634

【氏名又は名称】キャンスキャン・ソフトウェアズ・アンド・テクノロジーズ・インコーポレーテッド

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100106208

【弁理士】

【氏名又は名称】宮前 徹

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾 淳一

(74)【代理人】

【識別番号】100173565

【弁理士】

【氏名又は名称】末松 亮太

(72)【発明者】

【氏名】イベンス，ジェニファー

(72)【発明者】

【氏名】リウ，ジョン

(72)【発明者】

【氏名】イベンス，ブルース

(72)【発明者】

【氏名】アブドゥルバセット，アリ

【テーマコード（参考）】

5L049

5L096

【Ｆターム（参考）】

5L049CC35

5L096AA06

5L096BA03

5L096CA02

5L096DA02

5L096EA07

5L096EA35

5L096FA25

5L096FA44

5L096FA69

5L096GA34

5L096GA51

5L096GA55

5L096HA09

5L096HA11

5L096KA04

(57)【要約】

出荷用コンテナの状態を識別し評価する自動検査方法およびシステムを提供する。この方法は、画像を分析するステップであって、各画像が出荷用コンテナの下面、背面、前面、側面、および／または屋根の内１つの少なくとも一部分を含む、ステップと、前記画像の少なくとも１つに現れるコンテナ・コードを検出するステップと、少なくとも前記複数の画像に基づいて、出荷用コンテナの１つ以上の特性を識別し、前記識別した物理的特性に基づいて、出荷用コンテナの状態を判定するステップであって、前記コンテナ・コードおよび特性が、種々の照明および環境条件においてキャプチャされた出荷用コンテナ画像に対して予め訓練された機械学習アルゴリズムによって判定される、ステップと、前記コンテナ・コードを前記出荷用コンテナの前記状態と関連付け、コンテナ検査結果をターミナル運用システムに送信するステップとを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

出荷用コンテナの物理的状態を評価する自動検査方法であって、
少なくとも１つのプロセッサを使用して、複数の画像を分析するステップであって、各画像が、出荷用コンテナの下側、背面、前面、側面、および／または上面の内１つの少なくとも一部を含む、ステップと、
前記画像の少なくとも１つに現れるコンテナ・コードを検出するステップと、
少なくとも前記複数の画像に基づいて、前記出荷用コンテナの特性を識別し、前記特性に基づいて、前記出荷用コンテナの物理的状態を評価するステップであって、前記コンテナ・コードおよび特性が、種々の照明および環境条件においてキャプチャされた出荷用コンテナの画像について予め訓練された機械学習アルゴリズムによって判定される、ステップと、
前記コンテナ・コードを前記出荷用コンテナの前記物理的状態と関連付けるステップと、
コンテナ検査結果をターミナル運用システムに送信するステップと、
を含む、自動検査方法。

【請求項2】

請求項１記載の方法において、前記出荷用コンテナのコンテナ・コードおよび特性を検出するステップが、畳み込みニューラル・ネットワーク（ＣＮＮ）アルゴリズムを含む画像分類フレームワークを使用して実行される、方法。

【請求項3】

請求項１または２記載の方法において、前記コンテナ・コードを識別するステップが、前記画像において前記コンテナ・コードが横向きに表示されるかまたは縦向きに表示されるかには関係なく、実行される、方法。

【請求項4】

請求項１から３までのいずれか１項記載の方法において、前記コンテナ・コードを検出するステップが、前記コンテナ・コード判定の精度を高めるために、前記コンテナ・コードが横向きに表示される画像の１つにおいて認識された横向きのコンテナ・コード・キャラクタを、前記コンテナ・コードが縦向きに表示される画像の他の１つにおいて認識された縦向きのコンテナ・コード・キャラクタと比較するステップを含む、方法。

【請求項5】

請求項１から４までのいずれか１項記載の方法において、前記画像の１つにおいて前記コンテナ・コードが縦向きに表示されるとき、前記コンテナ・コードを形成する各キャラクタを分離し、個々の各キャラクタに前記畳み込みニューラル・ネットワーク・アルゴリズムを適用する、方法。

【請求項6】

請求項１から４までのいずれか１項記載の方法において、前記画像の１つにおいて前記コンテナ・コードが縦向きに表示されるとき、前記コンテナ・コードを最初に検出して切り取り、切り取って回転させた画像において９０度回転させることによって、前記コンテナ・コードを横向きの文字列として表示し、前記横向きの文字列に対して畳み込み回帰ニューラル・ネットワーク（ＣＲＮＮ）アルゴリズムを使用して、前記切り取って回転させた画像から前記コンテナ・コードを認識し、前記ＣＲＮＮアルゴリズムが、各英数字キャラクタをスキャンして、シンボルとして処理して、前記コンテナ・コードを検出および識別する、方法。

【請求項7】

請求項１から６までのいずれか１項記載の方法において、前記コンテナ・コードを検出する前記ステップが、所有者コード、カテゴリ識別子フィールド、連番、およびチェック・ディジットを検出するステップを含む、方法。

【請求項8】

請求項１から７までのいずれか１項記載の方法において、前記コンテナ・コードを検出するステップが、画像前処理によって前記コンテナ・コードの位置を特定し、ディープ・ニューラル・ネットワーク（ＤＮＮ）フレームワークによって前記コンテナ・コードを認識するステップを含む、方法。

【請求項9】

請求項１から８までのいずれか１項記載の方法において、前記出荷用コンテナの特性を識別するステップが、前記画像におけるハンドルおよびカム・キーパ上の保証シールを識別するステップを含む、方法。

【請求項10】

請求項１から９までのいずれか１項記載の方法において、保証シールを識別するステップが、検索領域を減らすために、前記コンテナの背面を示す画像の少なくとも１つにおいて保証シールの可能な位置を判定し、分類モデル・アルゴリズムを適用して、前記可能な位置に保証シールが存在するか否か認識するステップを含む、方法。

【請求項11】

請求項９または１０記載の方法であって、更に、保証シールの種類を識別するステップを含む、方法。

【請求項12】

請求項８から１１までのいずれか１項記載の方法において、前記出荷用コンテナの特性を識別するステップが、損傷、ラベル、およびプラカードを識別するステップを含む、方法。

【請求項13】

請求１２記載の方法であって、それぞれの損傷、ラベル、プラカード、および保証シール訓練データ集合を使用して、前記ディープ・ニューラル・ネットワーク（ＤＮＮ）フレームワークを訓練して、前記損傷、ラベル、プラカード、および保証シールを識別し、既定のクラスにしたがって前記損傷、ラベル、プラカード、および保証シールを分類するステップを含む、方法。

【請求項14】

請求項９から１３までのいずれか１項記載の方法であって、前記複数の画像において、新たに見つかった損傷、ラベル、保証シール、およびプラカードが識別される毎に、前記ディープ・ニューラル・ネットワーク（ＤＮＮ）フレームワークを継続的に更新するステップを含む、方法。

【請求項15】

請求８記載の方法において、前記ディープ・ニューラル・ネットワーク（ＤＮＮ）フレームワークが、高速化Ｒ－ＣＮＮモデル（領域ベースの畳み込みニューラル・ネットワーク）、見るのは一度だけ（ＹＯＬＯ）モデル、領域ベースの完全畳み込みネットワーク（Ｒ－ＦＣＮ）モデル、およびシングル・ショット・マルチボックス・ディテクタ（ＳＳＤ）モデルの内少なくとも１つを採用する、方法。

【請求項16】

請求項１から１５までのいずれか１項記載の方法であって、前記出荷用コンテナの特性を識別するステップが、海上運送業者のロゴ、出荷用コンテナの寸法、機器のカテゴリ、風袋重量、最大有償搭載量、正味重量、容積、最大総重量、危険プラカード、および高さ／幅警告標識を識別するステップを含む、方法。

【請求項17】

請求項１２から１６までのいずれか１項記載の方法であって、前記出荷用コンテナの１つ以上の特性を識別するステップが、上下レールの損傷および変形、ドア・フレーム損傷および変形、角支柱損傷および変形、ドア・パネル、側面パネル、および屋根パネル損傷ならびに変形、角鋳造物損傷および変形、ドア部品および変形の内少なくとも１つを識別するステップを含む、方法。

【請求項18】

請求項１２から１７までのいずれか１項記載の方法において、前記出荷用コンテナの１つ以上の物理的特性を識別するステップが、窪み、変形、さび当て金、孔、紛失した部品、および歪んだ部品を識別するステップを含む、方法。

【請求項19】

請求項１８記載の方法であって、サイズ、広がり、および／または向きの内少なくとも１つにしたがって、前記識別された出荷用コンテナの損傷を特徴付けるステップを含む、方法。

【請求項20】

請求項１８または１９記載の方法であって、前記識別した出荷用コンテナの損傷を分類するステップを含み、前記ターミナル運用システムに送信される前記検査結果が、コンテナ機器データ交換（ＣＥＤＥＸ）および国際コンテナ貸主協会（ＩＩＣＬ）規格を含む海上運送業者指針にしたがって供給される、方法。

【請求項21】

請求項１から２０までのいずれか１項記載の方法であって、ウェブサイト、ウェブ・アプリケーション、および／またはアプリケーション・プログラム・インターフェース（ＡＰＩ）を通じて、前記コンテナ・コードおよび関連する出荷用コンテナの状態を表示するステップを含む、方法。

【請求項22】

請求項１から２１までのいずれか１項記載の方法において、ターミナル・チェッカが前記検査結果の妥当性を判断すること可能にするために、前記検査結果をグラフィカル・ユーザ・インターフェース上に表示し、前記グラフィカル・ユーザ・インターフェースを通じて供給されるフィードバックが、前記機械学習アルゴリズムを調節するために使用される、方法。

【請求項23】

請求項１から２２までのいずれか１項記載の方法であって、前記出荷用コンテナの前記物理的状態を経時的に継続して記録するステップと、前記出荷用コンテナの前記状態の劣化を時間の関数として予測するステップとを含む、方法。

【請求項24】

請求項１から２３までのいずれか１項記載の方法であって、前記判定された物理的状態に基づいて、前記出荷用コンテナに対する保守および修理作業の予定を立てるステップを含む、方法。

【請求項25】

請求項１から２４までのいずれか１項記載の方法であって、トラック、鉄道、または港湾ターミナルにしかるべく配置された既存の高品位カメラによって、前記複数の画像をキャプチャするステップを含む、方法。

【請求項26】

請求項１から２５までのいずれか１項記載の方法において、前記複数の画像が、高品位カメラからキャプチャされた少なくとも１つのビデオ・ストリームから抽出される、方法。

【請求項27】

請求項１から２６までのいずれか１項記載の方法において、前記複数の画像の少なくとも一部が、前記出荷用コンテナの位置から離れた、１つ以上のクラウド・サーバ上に格納される、方法。

【請求項28】

請求項１から２７までのいずれか１項記載の方法において、前記複数の画像が、エッジ処理デバイスによってローカルに前処理され、ぼけがなくされ、前記コンテナ・コードが前記エッジ処理デバイスによって検出され、前記コンテナの特性が、前記エッジ処理デバイスおよび／またはリモート・クラウド・サーバによって識別される、方法。

【請求項29】

請求項１から２8までのいずれか１項記載の方法であって、画像センサ（１つまたは複数）と、処理能力と、ワイヤレス接続機能とが備えられた移動体デバイスによって、追加画像をキャプチャするステップを含み、前記移動体デバイスが、スマート・フォン、タブレット、携帯カメラ、またはスマート・グラスの内少なくとも１つを含む、方法。

【請求項30】

請求項１から２９までのいずれか１項記載の方法であって、前記複数の画像をキャプチャする前に、前記カメラを較正するステップを含む、方法。

【請求項31】

請求項１から３０までのいずれか１項記載の方法であって、コンテナ機器データ交換（ＣＥＤＥＸ）に基づいて仮想座標系を構築し、前記仮想座標系に前記コンテナ・コードおよび／または物理的特性を位置付けるために、前記仮想座標系にしたがって、座標を前記出荷用コンテナのコンテナ・コードおよび物理的特性と関連付けるステップを含む、方法。

【請求項32】

請求項１から３１までのいずれか１項記載の方法であって、品質指標にしたがって、前記コンテナの状態を格付けするステップを含む、方法。

【請求項33】

請求項１から３２までのいずれか１項記載の方法であって、前記複数の画像から作成された２．５Ｄ画像を生成し、前記２．５Ｄ画像を表示するステップを含み、前記２．５Ｄ画像が、損傷の可視化を可能にするために、前記出荷用コンテナの特性の内少なくとも１つの視覚的シンボルまたは表現を含む、方法。

【請求項34】

請求項１７から１８までのいずれか１項記載の方法であって、ニューラル・ボリューム・アルゴリズムを使用して、前記複数の画像に基づいて、前記出荷用コンテナ部品の３Ｄ表現を仮想再現するステップを含む、方法。

【請求項35】

請求項１から３４までのいずれか１項記載の方法において、前記出荷用コンテナの特性を識別するステップが、前記コンテナの表面の少なくとも１つに、仮想パターンの形態で投影された基準線を使用して、既定の寸法規格に対して、前記特性を定量的に評価し、前記基準線と選択されたコンテナの物理的表面または点との間の相対距離を判定するステップを含む、方法。

【請求項36】

請求項１から２８までのいずれか１項記載の方法であって、追加の画像をキャプチャし、前記検出された損傷に関する情報を表示することによって、ターミナル・チェッカの視覚象を拡張するためにスマート移動体デバイスを使用するステップを含む、方法。

【請求項37】

出荷用コンテナの状態を評価する自動検査システムであって、
ターミナル・カメラによってキャプチャされた複数の画像を格納する出荷用コンテナ画像ストレージであって、各画像が前記出荷用コンテナの背面、前面、側面、および／または屋根の内所与の１つの少なくとも一部を含む、出荷用コンテナ画像ストレージと、
種々の照明および環境条件においてキャプチャされた出荷用コンテナ画像に対して予め訓練された機械学習アルゴリズムを含む、処理ユニットおよび非一時的記憶媒体であって、前記処理ユニットが、
前記ターミナル・カメラによってキャプチャされた前記複数の画像の内少なくとも１つに現れるコンテナ・コードを検出する命令と、
少なくとも前記複数の画像に基づいて、前記出荷用コンテナの１つ以上の特性を識別し、前記訓練された機械学習アルゴリズムを使用して、前記識別された特性に基づいて、前記出荷用コンテナの物理的状態を評価する命令と、
前記コンテナ・コードを前記出荷用コンテナの物理的状態と関連付ける命令と、
コンテナ検査結果をターミナル運用システムに送信する命令と、
を実行する、処理ユニットおよび非一時的記憶媒体と、
前記プロセッサ実行可能命令を格納し、前記出荷用コンテナの前記コンテナ・コード、特性、および状態を格納するデータ・ストレージと、
を備える、自動検査システム。

【請求項38】

請求項３７記載の自動解明および検査システムにおいて、前記処理ユニットが、畳み込みニューラル・ネットワーク（ＣＮＮ）アルゴリズムを含む画像分類フレームワークを含む、自動解明および検査システム。

【請求項39】

請求項３７または３８記載の自動解明および検査システムにおいて、前記非一時的記憶媒体が、横向きコード検出モジュールと、縦向き検出コード・モジュール(vertical detection code module)と、前記画像から選択されたものにおいて横向きおよび縦向きに表示されたコンテナ・コードを識別し比較するコンテナ・コード比較モジュールとを含む、自動解明および検査システム。

【請求項40】

請求項３７から３９までのいずれか１項記載の自動解明および検査システムにおいて、前記非一時的記憶媒体が、ハンドルおよびカム・キーパ検出モジュールと、シール検出および分類モジュールとを含む、自動解明および検査システム。

【請求項41】

請求項３７から４０までのいずれか１項記載の自動解明および検査システムにおいて、前記非一時的記憶媒体が、クラック検出モジュールと、変形検出モジュールと、腐食検出モジュールと、３Ｄモデリング・モジュールとを含む、自動解明および検査システム。

【請求項42】

請求項３７から４１までのいずれか１項記載の自動解明および検査システムにおいて、前記非一時的記憶媒体が、損傷推定モジュールと、残存耐用年数推定モジュールとを含む、自動解明および検査システム。

【請求項43】

請求項３７から４２までのいずれか１項記載の自動解明および検査システムであって、前記複数の画像をキャプチャするために、トラック、鉄道、および港湾ターミナルに配置された高品位カメラを備える、自動解明および検査システム。

【請求項44】

請求項３７から４３までのいずれか１項記載の自動解明および検査システムにおいて、前記画像記憶手段、および前記処理ユニットが、前記出荷用コンテナから離れて配置された１つ以上のクラウド・サーバを含む、自動解明および検査システム。

【請求項45】

請求項３７から４４までのいずれか１項記載の自動解明および検査システムにおいて、前記画像記憶手段、および前記処理ユニットが、前記ターミナル構内に近接して位置するエッジ・コンピューティング処理デバイスを含む、自動解明および検査システム。

【請求項46】

請求項３７から４５までのいずれか１項記載の自動解明および検査システムにおいて、前記データ・ストレージが、コンテナのコード、ラベル、保証シール、およびプラカード・モデル、出荷用コンテナの種類、ならびに幅、長さ、および高さのような関連する標準的特性の内少なくとも１つを含む、出荷用コンテナに関する情報を格納する出荷用コンテナ・データベースを含む、自動解明および検査システム。

【請求項47】

請求項３７から４６までのいずれか１項記載の自動解明および検査システムにおいて、前記データ・ストレージが、出荷用コンテナ損傷分類および特徴付けパラメータに関する情報を格納する、自動解明および検査システム。

【請求項48】

請求項３７から４７までのいずれか１項記載の自動解明および検査システムにおいて、前記データ・ストレージが、物理的損傷および／または紛失した部品を含む、出荷用コンテナの物理的ステータスを格付けするための指標を含む、自動解明および検査システム。

【請求項49】

請求項３７から４９までのいずれか１項記載の自動解明および検査システムにおいて、前記フレームワークが、ＤＮＮ（ディープ・ニューラル・ネットワーク）ベースの物体検出アルゴリズムを含む、自動解明および検査システム。

【請求項50】

請求項３７から４９までのいずれか１項記載の自動解明および検査システムであって、ウェブサイトと、ウェブ・アプリケーションと、前記コンテナ・コードおよび関連する出荷用コンテナ状態を送信および表示するアプリケーション・プログラム・インターフェース（ＡＰＩ）とを備える、自動解明および検査システム。

【請求項51】

請求項３７から５０までのいずれか１項記載の自動解明および検査システムであって、追加画像をキャプチャする、および／または前記検出された損傷に関する情報を表示することによって、検査官の視覚象を拡張するスマート移動体デバイスを備える、自動解明および検査システム。

【発明の詳細な説明】

【技術分野】

【0001】

[0001] 本発明は、一般的には、出荷または貨物用コンテナの分野に関し、更に特定すれば、マシン・ビジョンを使用して出荷用コンテナを自動的に検査しそれらの状態を評価するシステムおよび方法に関する。

【背景技術】

【0002】

[0002] 世界の人口が急速に増えるに連れて、国際的な取引およびグローバリゼーションが地球経済の基礎になりつつある。出荷用コンテナの海上輸送は、世界全体において一般的な貨物を輸送する主要な手段である。世界中の船団において三千八百万個以上の２０フィート換算コンテナ(twenty-foot equivalent containers)があり、出荷用コンテナは国際取引の最も重要な資産の１つである。世界の最も環境的に過酷な状態(environmentally punishing conditions)にも耐えるように構築されており、これらの大型金属製箱の完全性は多くの場合過大評価され、その結果コンテナ船団の一部が頻繁に点検修理下に置かれることになる。湾港および鉄道のターミナルにおいて膨大な量のコンテナを処理するには、ターン・アラウンド時間を増々短縮する必要があるため、出荷用コンテナを検査する機会は殆ど残されない。コンテナの損傷が見逃され、健全性および安全性の問題、環境に対する悪影響、および商品の損失を含む、種々の有害な結果が生ずるに至る。

【0003】

[0003] 出荷用コンテナを運航業者間で移送するとき、運航業者はコンテナ外部の視覚検査を行わなければ、社会的責任および法的責任(responsibility and the liability)を移管することができない。視覚試験は、プラカード、ドア保証シール(door security seal)、および構造用部品のような品目の識別を伴う。

【発明の概要】

【発明が解決しようとする課題】

【0004】

[0004] 輸送業界は、ターミナル・ゲートを通る循環の高速化を可能にして、出荷用コンテナ貨物に相応しい迅速性に対する保証を高めるように改良された方法およびシステムに対する強い要望を表明している。

【課題を解決するための手段】

【0005】

[0005] 一態様によれば、本明細書では、出荷用コンテナを識別し分析推論し(profile)、更にそれらの状態および物理的完全性を評価するための自動検査システムおよびその関連方法を開示する。

【0006】

[0006] 可能な実施態様によれば、提案するシステムおよび方法は、出荷用コンテナの保守および管理を予測することを可能にする。可能な実施態様では、本システムは、複数の画像を格納する画像記憶手段を備え、各画像は、出荷用コンテナの背面、前面、側面、および／または屋根即ち上面の内所与の１つの少なくとも一部を含む。また、このシステムは、以下の命令を実行する処理機器または処理デバイス（１つまたは複数）も備える。（１）前記画像の少なくとも１つに現れるコンテナ・コードを検出する命令、（２）前記複数の画像に少なくとも基づいて、出荷用コンテナの１つ以上の物理特性を識別し、前記識別した物理特性に基づいて、出荷用コンテナの状態を判定する命令、および（３）前記コンテナ・コードを出荷用コンテナの前記状態と関連付ける命令。好ましくは、このシステムは、プロセッサ実行可能命令を格納し、更に、出荷用コンテナの前記コンテナ・コード、物理的特性、および状態を記憶するデータ・ストレージも備える。

【0007】

[0007] 有利なこととして、コンテナ・コード、ラベル認識、およびシールの存在を通じてコンテナを分析推論することにより、出荷用コンテナの登録および追跡プロセスを容易にすることができる。また、コンテナ状態評価および格付けも、事故、環境的悪影響、および商品損失の発生を低減することができる。出荷用コンテナの潜在的な劣化を予測できるので、物流業務(logistical operation)を最適化し、ダウンタイムを最小化し、最大の商業的利益を得るのに役立つことができる。

【0008】

[0008] 出荷用コンテナ分析推論(profile)および検査システムは、コンテナ作業設備に配置されたビデオ・カメラによってキャプチャされる高品位画像を使用する。取り込まれた画像を分析することによって、コンテナ・プロファイル情報を識別し、コンテナ英数字コード、標識、ラベル、シール、およびプラカードから抽出する。また、見分けられた損傷および紛失部品を含む、出荷用コンテナの物理的特性にしたがって、コンテナ状態を格付けすることもできる。現場にあるサーバによって何らかの選択計算および処理をローカルに実行することができ、分析機能を提供するために、ウェブ・サービス・クラウド・プラットフォームを含むリモート・クラウド－サーバ・アーキテクチャを使用することができる。結果的に得られた分析推論および検査情報を直接ターミナルの運用システム(operating system)に送信し、ウェブ・サービスおよびスマート・タブレット、電話機、または他の移動体デバイス上のアプリを通じて、エンド・ユーザにデプロイすることができる。

【0009】

[0009] 可能な実施態様によれば、出荷用コンテナの物理的状態を評価するための自動検査方法を提供する。この方法は、少なくとも１つのプロセッサを使用して、複数の画像を分析するステップを含む。各画像は、出荷用コンテナの下側、背面、前面、側面、および／または上面の内１つの少なくとも一部を含む。また、この方法は、前記画像の少なくとも１つに現れるコンテナ・コードを検出するステップも含む。また、この方法は、少なくとも前記複数の画像に基づいて、出荷用コンテナの特性を識別し、前記特性に基づいて、出荷用コンテナの物理的状態を評価するステップも含む。種々の照明および環境条件においてキャプチャされた出荷用コンテナの画像について予め訓練された機械学習アルゴリズムによって、コンテナ・コードおよび特性を判定する。また、この方法は、コンテナ・コードを出荷用コンテナの物理的状態と関連付けるステップと、コンテナ検査結果をターミナル運用システムに送信するステップも含む。

【0010】

[0010] 可能な実施態様では、出荷用コンテナのコンテナ・コードおよび特性を検出するステップは、従来のニューラル・ネットワーク（ＣＮＮ）アルゴリズムを含む画像分類フレームワークを使用して実行される。

【0011】

[0011] コンテナ・コードの識別は、前記画像においてコンテナ・コードが横向きまたは縦向きのどちらで表示されても、実行することができる。また、コンテナ・コードが横向きに表示された画像の１つにおいて認識された横向きのコンテナ・コード・キャラクタを、コンテナ・コードが縦向きに表示された画像の他の１つにおいて認識された縦向きのコンテナ・コード・キャラクタと比較し、コンテナ・コード判定の精度を高めることも可能である。コンテナ・コードが画像において縦向きに表示されるとき、コンテナ・コードを形成する各キャラクタを分離し、従来のニューラル・ネットワーク・アルゴリズムを個々の各キャラクタに適用することができる。

【0012】

[0012] １つの可能な実施態様では、コンテナ・コードが画像において縦向きに表示されるとき、最初にコンテナ・コードを検出して切り抜き、切り抜いて回転させた画像において９０度回転させることができ、これによって、コンテナ・コードは横向きの文字列として表示され、これに対して畳み込み回帰ニューラル・ネットワーク（ＣＲＮＮ：convolutional recurrent neural network）を使用して、切り取って回転させた画像から、コンテナ・コードを認識する。ＣＲＮＮは、各英数字キャラクタをスキャンしシンボルとして処理して、コンテナ・コードを検出し識別する。好ましくは、コンテナ・コードを検出するステップは、所有者コード、カテゴリ識別子フィールド、連番、およびチェック・ディジット(check digit)を検出するステップを含む。また、コンテナ・コードの位置を特定するステップは、好ましくは、画像を前処理し、ディープ・ニューラル・ネットワーク（ＤＮＮ）フレームワークによってコンテナ・コードを認識することによって実行する。

【0013】

[0013] ある可能な実施態様では、出荷用コンテナの特性を識別するステップは、前記画像におけるハンドルおよびカム・キーパ(cam keeper)上にある保証シールを識別するステップを含む。一例としてに過ぎないが、保証シールを識別するステップは、検索領域を狭めるために、コンテナの背面を示す画像の少なくとも１つにおいて保証シールの可能な位置を判定し、前記可能な位置において保証シールがあるか否か認識するために、分類モデル・アルゴリズムを適用するステップを含むことができる。ある可能な実施態様では、保証シールの種類を識別することができる。

【0014】

[0014] その上、更に他の実施態様によれば、出荷用コンテナの特性を識別するステップは、好ましくは、損傷、ラベル、およびプラカードを識別するステップを含む。検査方法は、ディープ・ニューラル・ネットワーク（ＤＮＮ）フレームワークを訓練して、前記損傷、ラベル、プラカード、およびシールを、それぞれの損傷、ラベル、プラカード、および保証シール訓練データ集合を使用して識別するステップと、既定のクラスにしたがって損傷、ラベル、プラカード、および保証シールを分類するステップとを含むことができる。好ましくは、ディープ・ニューラル・ネットワーク（ＤＮＮ）フレームワークは、複数の画像において、新たに導入された損傷、ラベル、保証シール、およびプラカードが識別されるに連れて、継続的に更新される。一例としてに過ぎないが、ディープ・ニューラル・ネットワーク（ＤＮＮ）フレームワークは、高速化Ｒ－ＣＮＮ（領域ベース畳み込みニューラル・ネットワーク）、見るのは一度だけ（ＹＯＬＯ： You Look Only Once）、領域ベース完全畳み込みネットワーク（Ｒ－ＦＣＮ）、および単発マルチボックス検出器（ＳＳＤ：Single Shot Multibox Detector）の内少なくとも１つを採用する。

【0015】

[0015] 可能な実施態様では、出荷用コンテナの特性を識別するステップは、海上運送業者のロゴ、出荷用コンテナの寸法、機器のカテゴリ、風袋重量(tare weight)、最大有償搭載量、正味重量、容積、最大総重量、危険プラカード、および高さ／幅警告標識を識別するステップを含む。好ましくは、この方法は、更に、以下の損傷、上下レールの損傷および変形、ドア・フレーム損傷および変形、角支柱損傷および変形、ドア・パネル、側面パネル、および屋根パネルの損傷ならびに変形、角鋳造物(corner cast)の損傷および変形、ドア部品および変形、窪み、変形、さび当て金(rust patches)、孔、紛失した部品、および歪んだ部品の内１つ以上の識別も含む。好ましくは、識別された出荷用コンテナの損傷を、サイズ、広がり、および／または向きの内少なくとも１つにしたがって特徴付ける。

【0016】

[0016] 可能な実施態様では、この方法は、識別された出荷用コンテナの損傷を分類するステップと、検査結果をターミナル運用システムに送信するステップとを含む。検査結果は、好ましくは、海上運送業者指針にしたがって供給され、海上運送業者指針は、コンテナ機器データ交換（ＣＥＤＥＸ：Container Equipment Data Exchange）および国際コンテナ貸主協会（ＩＩＣＬ：Institute of International Container Lessors）規格を含む。更に好ましくは、コンテナ・コードおよび関連する出荷用コンテナ状態を、ウェブサイト、ウェブ・アプリケーション、および／またはアプリケーション・プログラム・インターフェース（ＡＰＩ）を通じて、供給または表示することができる。検査結果がグラフィカル・ユーザ・インターフェース上に表示されるとき、ターミナル・チェッカ(terminal checker)がこの検査結果の妥当性を判断することができ、機械学習アルゴリズムを調節するために、グラフィカル・ユーザ・インターフェースを通じて供給されるフィードバックを使用することができる。

【0017】

[0017] 可能な実施態様では、出荷用コンテナの経時的な物理的状態を記録することができ、これらの今後の状態を予測することができ、出荷用コンテナの状態の劣化が、時間の関数として予測される。前記判定した物理的状態に基づいて、出荷用コンテナに対する保守および修理作業を予定することができる。

【0018】

[0018] 可能な実施態様では、トラック、鉄道、または港湾ターミナルに適当に位置付けられた既存の高品位カメラによって、複数の画像をキャプチャする。複数の画像を、高品位カメラからキャプチャした少なくともと１つのビデオ・ストリームから抽出することができる。複数の画像は、ローカルに、または１つ以上のクラウド・サーバ上にリモートに、または混合モデルのいずれかで、格納することができる。混合モデルでは、画像の一部がローカルに格納および処理され、他の部分はリモートに格納および処理される。例えば、エッジ処理デバイスによって画像をローカルで前処理してぼけをなくすことができる。ここで、前記エッジ処理デバイスによってコンテナ・コードを検出し、前記エッジ処理デバイスおよび／またはリモート・クラウド・サーバによって、コンテナ特性を識別する。画像センサ（１つまたは複数）、処理能力、およびワイヤレス接続機能(connectivity)が設けられた移動体デバイスによって追加の画像をキャプチャすることができる。移動体デバイスには、スマート・フォン、タブレット、携帯カメラ、またはスマート・グラスの内少なくとも１つが含まれる。

【0019】

[0019] 可能な実施態様では、コンテナ機器データ交換（ＣＥＤＥＸ）に基づく仮想座標系を構築することができ、前記仮想座標系にしたがって、座標を出荷用コンテナのコンテナ・コードおよび物理的特性と関連付けて、前記仮想座標系内に前記コンテナ・コードおよび／または物理的特性を位置付けることができる。

【0020】

[0020] また、この検査方法は、好ましくは、品質指標にしたがって、コンテナの状態を格付けするステップを含む。複数の画像から２．５Ｄ画像を作成し、出荷用コンテナの特性の少なくとも１つの視覚的シンボルまたは表現を含むように表示することができ、損傷の可視化を可能にする。

【0021】

[0021] 可能な実施態様では、前記複数の画像に基づいて、ニューラル・ボリューム・アルゴリズム(neural volumes algorithm)を使用して、出荷用コンテナの仮想３Ｄ表現を再現する(reconstruct)ことができる。

【0022】

[0022] 他の態様によれば、出荷用コンテナの状態を評価するために、自動検査システムを提供する。このシステムは、ターミナル・カメラによってキャプチャされた複数の画像を格納する出荷用コンテナ画像ストレージであって、各画像が、出荷用コンテナの背面、前面、側面、および／または屋根の内所与の１つの少なくとも一部を含む、出荷用コンテナ画像ストレージと、処理ユニットまたはデバイスと、種々の照明および環境条件においてキャプチャされた出荷用コンテナ画像に対して予め訓練されている機械学習アルゴリズムを含む非一時的記憶媒体とを備える。処理ユニット（１つまたは複数）は、ターミナル・カメラによってキャプチャされた前記複数の画像の内少なくとも１つに現れるコンテナ・コードを検出する命令と、少なくとも前記複数の画像に基づいて、出荷用コンテナの1つ以上の特性を識別し、前記識別した特性に基づいて、訓練済みの機械学習アルゴリズムを使用して、出荷コンテナの物理的状態を評価する命令と、前記コンテナ・コードを出荷用コンテナの前記物理的状態と関連付ける命令と、コンテナ検査結果をターミナル運用システムに送信する命令とを実行する。また、このシステムは、前記プロセッサ実行可能命令を格納し、更に出荷用コンテナの前記コンテナ・コード、特性、および状態を格納するデータ・ストレージも含む。

【0023】

[0023] 好ましくは、このシステムは、畳み込みニューラル・ネットワーク（ＣＮＮ）アルゴリズムを構成する画像分類用フレームワークを含む。また、非一時的記憶媒体は、横向きコード検出モジュール(horizontal code detection module)、縦向き検出コード・モジュール(vertical detection code module)、およびコンテナ・コードを識別するコンテナ・コード比較モジュールも含むことができる。可能な実施態様では、このシステムは、ハンドルおよびカム・キーパ検出モジュールと、シール検出および分類モジュールとを含む。更に可能なこととして、このシステムは、クラック検出モジュール、変形検出モジュール、腐食検出モジュール、および３Ｄモデリング・モジュールを備えることができる。また、このシステムは、損傷推定モジュールと、残存耐用年数推定モジュールも備えることができる。ある実施態様では、ターミナル構内に近接して、エッジ・コンピューティング処理デバイスを配置する。

【0024】

[0024] ある実施態様では、データ・ストレージは、出荷用コンテナに関する情報を格納する出荷用コンテナ・データベースを構成することができる。出荷用コンテナに関する情報は、コンテナ・コード、ラベル、保証シール、およびプラカード・モデル、出荷用コンテナの種類、ならびに幅、長さ、および高さのような、関連する標準的特性(standard characteristics)の内少なくとも１つを含む。データ・ストレージは、出荷用コンテナの損傷分類および特徴付けパラメータに関する情報を格納することができる。また、出荷用コンテナの物理的ステータスを格付けするための指標を含むことができる。物理的ステータスには、物理的損傷および／または紛失した部品が含まれる。

【0025】

[0025] 好ましい実施態様では、フレームワークはＤＮＮ（ディープ・ニューラル・ネットワーク）に基づく物体検出アルゴリズムを含む。また、このシステムは、１つ以上のウェブサイト、ウェブ・アプリケーション、ならびにコンテナ・コードおよび関連付けられた出荷用コンテナの状態を送信および表示するためのアプリケーション・プログラム・インターフェース（ＡＰＩ）も含むことができる。また、このシステムは、スマート移動体デバイスと組み合わせて使用して、追加の画像をキャプチャし、および／または検出された損傷に関する情報を表示することによって、検査官(human inspector)の視覚象(visual imaging)を増強することができる。

【図面の簡単な説明】

【0026】

【図1】可能な実施態様による出荷用コンテナ検査方法の上位フロー・チャートである。

【図2】可能な実施態様による自動出荷用コンテナ検査システムのコンポーネントの模式図である。

【図2A】可能な実施態様による、ターミナルに位置するコンポーネント、リモート処理サーバ、およびターミナル運用システムまたはウェブ・アプリケーションのグラフィカル・インターフェース間におけるデータ転送を示す上位アーキテクチャ図であり、殆どの画像処理がターミナルから離れて実行される。

【図2B】他の可能な実施態様による、ターミナルに位置するコンポーネント、リモート処理サーバ、およびターミナル運用システムまたはウェブ・アプリケーションのグラフィカル・インターフェース間におけるデータ転送を示す上位アーキテクチャ図であり、画像処理の少なくとも一部が、エッジ処理デバイスによってローカルに実行される。

【図3】可能な実施態様による、自動出荷用コンテナ検査システムのコンポーネントおよびモジュールの一部を示す図である。

【図4】提案する検査方法およびシステムと共に使用することが可能な、出荷用コンテナを検査するために使用されるカメラの設置を示す写真である。

【図5】出荷用コンテナ検査システムおよび方法の可能な実施態様にしたがって、出荷用コンテナの画像を取り込むためのカメラが設けられたスマート・グラスの使用を示す模式図である。

【図6A】標準的な出荷用コンテナの背面斜視図である。

【図6B】図６Ａの出荷用コンテナの前面斜視図である。

【図6C】可能な業界標準によるコンテナ・コードの一例である。

【図7】可能な実施態様にしたがって、コンテナ種類、コンテナ・コード、警告プラカード、保証シール、およびコンテナ容量が自動検査方法およびシステムによって識別される、コンテナの背面を示す、グラフィカル・ユーザ・インターフェースの可能な図である。

【図8】図７は、 自動検査方法およびシステムの可能な実施態様による、出荷用コンテナ上に縦向きに表示されたコンテナ・コードの処理を示す模式ワークフロー図である。

【図9A】カメラによってキャプチャした画像であり、自動検査方法およびシステムによって識別されたケーブルおよびＪ－バー保証シール(J-bar security seal)の異なる例を示す。

【図9B】カメラによってキャプチャした画像であり、自動検査方法およびシステムによって識別されたケーブルおよびＪ－バー保証シールの異なる例を示す。

【図9C】カメラによってキャプチャした画像であり、自動検査方法およびシステムによって識別されたケーブルおよびＪ－バー保証シールの異なる例を示す。

【図9D】カメラによってキャプチャした画像であり、自動検査方法およびシステムによって識別されたケーブルおよびＪ－バー保証シールの異なる例を示す。

【図10A】自動検査方法およびシステムによって識別されたスナッパ(snapper)およびボルト保証シールの異なる例を示す、カメラによってキャプチャした画像である。

【図10B】自動検査方法およびシステムによって識別されたスナッパおよびボルト保証シールの異なる例を示す、カメラによってキャプチャした画像である。

【図11A】自動検査方法およびシステムによって識別された共通ケーブル保証シールの異なる例を示す、カメラによってキャプチャした画像である。

【図11B】自動検査方法およびシステムによって識別された共通ケーブル保証シールの異なる例を示す、カメラによってキャプチャした画像である。

【図11C】自動検査方法およびシステムによって識別された共通ケーブル保証シールの異なる例を示す、カメラによってキャプチャした画像である。

【図12A】自動検査方法およびシステムによって識別された共通ケーブル保証シールの異なる例を示す、カメラによってキャプチャした画像である。

【図12B】自動検査方法およびシステムによって識別された共通ケーブル保証シールの異なる例を示す、カメラによってキャプチャした画像である。

【図13】自動検査方法およびシステムの可能な実施態様にしたがって、カスタム化畳み込み回帰ニューラル・ネットワークを使用して、保証シールを検出および識別するための、出荷用コンテナの背面画像の処理を示す模式ワークフロー図である。

【図14】クレーンによって持ち上げられた出荷用コンテナを示す、グラフィカル・ユーザ・インターフェースの他の可能な図であり、画像は、ターミナル・カメラによってキャプチャされ、出荷用コンテナ検査システムによって処理され、ドア・ハンドル、カム・キーパ、および保証シールが、ターミナル操作員による妥当性判断(validation)のために識別されている。

【図15A】カメラによってキャプチャした画像であり、自動検査方法およびシステムによって識別された、腐食当て金がある側面パネルの異なる例を示す。

【図15B】カメラによってキャプチャした画像であり、自動検査方法およびシステムによって識別された、腐食当て金がある側面パネルの異なる例を示す。

【図15C】カメラによってキャプチャした画像であり、自動検査方法およびシステムによって識別された、腐食当て金がある側面パネルの異なる例を示す。

【発明を実施するための形態】

【0027】

[0026] 出荷用コンテナは、世界規模の商取引において中心的な役割を果たす。商用輸送インフラストラクチャは、主に、航海船または内航船、列車、およびトラック用の出荷用コンテナに要求される規格専用となっている。また、出荷用コンテナは、国際出荷および国際貿易の重要な資産を表す。貿易量が増えるに連れて、ターミナルの検査官がコンテナの品質検査を行う時間は短くなる。ここに説明するシステムおよび方法は、高品位カメラおよび機械学習アルゴリズムを使用する、自動出荷用コンテナ検査システムを提供する。

【0028】

[0027] 提案するシステムおよび方法は、ターミナル設備内の戦略的エリア内に配置されたビデオ・カメラからキャプチャされた、出荷用コンテナの二次元（２－Ｄ）高品位画像を使用する。このシステムおよび方法は、コンテナ・コード、モデル、種類、用途、ならびにコンテナの表面上に設けられるラベル、シール、標識、およびプラカード上で発見することができる、他の関連情報を検出することによって、各コンテナの情報プロファイルを作成することができる。このシステムおよび方法は、損傷の種類および損傷の広がり(extent)を含む、出荷用コンテナの物理的特性を評価する。ある実施態様では、このシステムおよび方法は、劣化を予測し、更なる劣化を防止するおよび／または抑えるために、保守指針を提示することもできる。予測保守ツールを含むことによって、本明細書において説明するシステムおよび方法は、事故の発生を減らし、環境への影響を最小限に抑え、更に提携設備のための物流業務を最適化するのに役立つことができる。予測的保守では、高度な分析および機械学習技法を使用し、事業運営に影響を及ぼす可能性がある潜在的損傷を予測することによって、資産信頼性リスクを識別する。

【0029】

[0028] 以下に、図を参照しながら種々の実施形態について説明する。尚、図は常に同じ拡縮率で描かれる訳ではないこと、そして同様の構造または機能のエレメントは全ての図を通じて同様の参照番号によって表されることは、注記してしかるべきである。また、図面は、実施形態の説明をし易くすることを意図するに過ぎないことも注記してしかるべきである。図は、発明の網羅的な記述であることも、発明の範囲に対する限定であることも意図していない。加えて、図示する実施形態は、必ずしも示される態様または利点を全て有する訳ではない。実施形態と関連付けて説明する態様または利点は、必ずしもその実施形態に限定されるのではなく、そのように図示されていなくても、他のあらゆる実施形態においても実施することができる。

【0030】

[0029] 図１を参照すると、可能な応用による、検査プロセスの上位フロー・チャートが示されている。ターミナル（５２）においてトラック上にコンテナが到着し、ターミナル・カメラ（５４）によってビデオ・フレームをキャプチャする。ビデオ・フレームは、コンテナの側面、背面、および上面の画像を含む。エッジ処理デバイスがビデオ・フレームを受け取り、アップロードのサイズおよびコストを抑えるために、ビデオ・ストリームからキー・フレーム画像（５６）を選択する。次いで、選択した画像を計算／分析プラットフォームにアップロードする。画像からコンテナ・プロファイル・データを抽出し、コンテナについての識別情報(identity)を作成する（５８）。次いで、画像から物理的状態を抽出し、記録する（６０）。コンテナ・プロファイルまたは識別と状態評価とを組み合わせて、コンテナ・データ・ログを作成する。検査結果をホスト・コンピュータに返送する（６２）。通例、ホスト・コンピュータは、ターミナルにおける主要なオフィス監視ステーションの一部である。検査結果をスマート・デバイスに送り、トラックがその経路を進むことができるか否かについてターミナル・チェッカに知らせることができる（６４）。

【0031】

[0030] この説明において、「出荷用コンテナ」という用語は、あらゆる種類の製品および原材料の出荷、貯蔵、および取り扱いに適した出荷用コンテナを指す。また、これらは、「貨物用コンテナ」(cargo container)または「一貫輸送出荷用コンテナ」(intermodal shipping container)とも呼ばれ、通例では閉じた矩形のコンテナであり、長さが２４または４０フィート（６．１または１２．２ｍ）、高さが８’６”（２．６ｍ）および９’６”（２．９ｍ）の間である。支持フレームは、構造用形鋼で作られ、壁およびドア面は波形鋼板で作られる。特殊貨物には、他のコンテナ形状および構成も利用可能である。図６Ａ、図６Ｂ、図７、および図１４は、標準的コンテナおよびコンテナ部品の異なる図を示す。

【0032】

[0031] 以下に説明する自動出荷用コンテナ検査システムは、任意の適した既存のまたは新たなターミナル・カメラによってキャプチャされた画像を使用して、出荷用コンテナ・コード、ならびにラベリング(labelling)、保証シール、および損傷を含む出荷用コンテナ特性を検出および識別し、前記特性に基づいて、出荷用コンテナの物理的状態を評価する。ある実施態様では、このシステムは、コンテナの損傷を分類し、コンテナ状態の判定に基づいて、保守作業を予測することもできる。効果的にコンテナ特性を認識するために、コード、ロゴ、標識、プラカード、およびラベルを含む、異なる物理的状態の種々の出荷用コンテナの画像によって、開示するシステムを訓練する。機械学習アルゴリズムを訓練するために使用される１組の画像を、種々の照明および環境条件、即ち、日中および夜間、ならびに晴天、雨天、雪、および霧の状態においてキャプチャする。保証シールの存在を検出するために、機械学習アルゴリズムを使用し、異なるコンテナの背面の画像データ集合に対して訓練する。異なる種類のシールが、コンテナ・ドア上の様々な位置に添付されている。

【0033】

[0032] 提案する自動出荷用コンテナ検査システム１００の、可能な実施態様による、全体的なアーキテクチャを図２、図２Ａ、図２Ｂ、および図３に示す。

【0034】

[0033] 図２を参照すると、システム１００は、少なくとも、クラウド－コンピューティング・プラットフォーム５００と、フロント・エンド・アプリケーション７００とを備える。クラウド－コンピューティング・プラットフォーム５００は、ターミナル画像取得システム２００、およびターミナル所有者のターミナル運用システム６００と相互作用する。実施態様に応じて、画像取得システム２００およびターミナル運用システム６００のコンポーネントが出荷用コンテナ検査システム１００の一部になることができる。

【0035】

画像取得
[0034] 引き続き図２を参照し、更に図４も参照すると、画像取得システム２００は、検査されるコンテナ１０の画像をキャプチャするために、１つ以上の高品位ディジタル・カメラまたは画像センサ２１０、２１０’を含む。カメラ２１０、２１０’は、好ましくは、図４に示すように、出荷用コンテナの側面１６、背面および／または前面端、ならびに上面および／または底面の内少なくとも１つの画像をキャプチャするために、専用構造またはフレーム２１４上に位置決めされ配置される。カメラには、ビデオ・ストリーム２１１の一部として画像を連続的にキャプチャするビデオ・カメラ２１０、または出荷用コンテナ１０の数枚の画像および／または特定領域だけをキャプチャする単一フレーム・カメラ２１０’が可能である。両方の場合において、最小でも１０８０画素の高品位画像が生成されることが好ましい。検査システム１００は、他の既存の検査システムの場合のように、追加のカメラおよび／またはカメラ用の具体的な測位システムの設置を必要としないことが好ましい。計算プラットフォーム５００は、例えば、トラック、鉄道、および湾港ターミナルにおいてしかるべく配置されたセキュリティ・カメラのような、既存の高品位ターミナル・カメラによってキャプチャされたコンテナ画像を処理するように構成される(adapted and configured)。コンテナを移動させるために使用されるガントリー・クレーン上のカメラも、使用することができる。可能な実施態様によれば、センサ・コンポーネントをアレイ状に配列し、編成された集合体における撮像を供給することができる。例えば、あるグループは全てのドア構造の詳細に焦点を当てることができ、一方第２センサ・アレイはドア閉鎖装置、および添付された保証シールの証拠に焦点を当てることができる。勿論、本発明から逸脱することなく、コンポーネントの区分けを変えることもできる。

【0036】

[0035] 最初に、カメラの位置ならびに光学特性および画像再現に対して結果的に生ずる影響を考慮するために、複数のカメラを較正することが好ましい。カメラの較正は、ＯｐｅｎＣＶ（ＯｐｅｎＳｏｕｒｃｅ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｌｉｂｒａｒｙ）の組み込み関数によって実施することができるが、他の較正方法も可能である。可能な実施態様によれば、較正オブジェクトを使用する。例えば、較正オブジェクトは、画像において、検討しなければならない放射方向および接線方向歪みを表示するチェス－ボード・パターンによって表すことができる。他の可能な実施態様によれば、基準コンポーネントを選択的に選ぶことによって、画像における出荷用コンテナを直接使用して、カメラの較正を行うことができる。この場合も、写真に対して必要な補正を推定するために、様々な手法を考慮することができる。第１の可能な手法によれば、１台のカメラを使用して、位置または姿勢の推定を行い、または第２の手法として、複数のカメラを使用して、Ｓｙｌｖｅｓｔｅｒの式によって位置または姿勢の推定を行う。

【0037】

仮想パターン
[0036] 引き続き図２を参照して、既定の寸法規格に対する出荷用コンテナの物理的ステータスの定量的評価は、コンテナ表面の画像上に引いた仮想パターンの形態とした基準線を使用することによって、容易に行うことができ、プログラミングによって、基準パターン線と選択されたコンテナの物理的表面または点との間において、相対距離を判定する。最初に、設計されたフィルタをカメラ・レンズ上に追加することによって、仮想パターンを生成することができる。更なる進展によって、画像プロセッサ内において仮想パターンをプログラミングから供給することができる。カメラ・レチクル・グリッド線と、各コンテナ上における既知の寸法エレメントとの連続光学比較によって、倍率を決定することができる。次いで、結果的に得られた倍率を、判定された相対距離に適用して、メートルまたは百分率の形態で定量値を生成することができる。代替実施形態では、カメラ２１０、２１０’、２１０”によって撮影するときに、コンテナ上にレーザ・マーカ２８０を投射することができる。必要であれば、観察可能な画像の詳細を改良するために、解明用(profiling)カメラ照明２６０を追加することができる。

【0038】

ターミナル運用システム
[0037] 引き続き図２を参照すると、ローカル処理デバイス６１０は、ターミナル運用システム６００の一部であるか、またはこれと相互作用する。ローカル処理デバイス６１０は、検査システム１００のフロント・エンド・アプリケーション７００の一部を通じて、全てのカメラ画像を受け取り、既定の判断基準にしたがって、キー・フレームを選択する。キー画像(key image)の選択は、ターミナル操作員によって行うことができ、またはフロント・エンド・アプリケーション７００によって自動的に行うこともできる。その目的は、画像をフィルタリングし、所定の判断基準に従う画像を選択することである。所定の判断基準に従う画像とは、システムによって検出された構造およびコンポーネントを位置付けるためならびにカメラを較正するための基準を設けるように、コンテナの表面上に特定のレーザ光パターンまたは点を表示する、設定された数の画像のような画像である。これらの画像は、次のステップのために十分な情報を伝える。周囲の照明というような、他の潜在的な品質の問題に取り組むために、数値座標と対応付けなければ、生成された画像が人間の目には視覚的に有用にならない、最も難しい検査作業に対して、近赤外線光による撮像を検討してもよい。

【0039】

[0038] これらのキー・フレーム画像（ＫＦＩ）を、次に、ローカルで前処理するか、または代わりにクラウド・ベース画像処理システム５００に送ることができる。１０８０ｐ以上の既存の出荷設備カメラが利用可能な場合、本発明の検査システム１００と共に、プロファイルの生成および状態評価のために、これらを転用することができる。他の実施態様では、高解像度カメラを有する専用取得システムを使用することができ、特殊レンズによってマシン・ビジョン・カメラ（５メガ画素以上）を、出荷用コンテナの状態評価の範囲を広げ改善するために、適合させることができる。図２に示す実施形態では、画像取得システム２００は、カメラと関連コンポーネントとを含み、検査システム１００の一部を形成する。しかしながら、出荷用コンテナ検査システムが、中間画像記憶サブシステムからの画像にアクセスすることも考慮することができる。つまり、コンテナ・ターミナル港湾、鉄道、およびトラック設備において既に使用されており、他の目的に使用される既存のターミナル・カメラを通じてというようにして、出荷用コンテナの画像をサード・パーティによって供給することができる。

【0040】

[0039] 図２Ａおよび図２Ｂを参照して説明するように、画像記憶および初期画像処理は、ローカルで実行することができ、または図２Ｂにおけるように、ターミナル構内もしくはその付近で実行することができる。または、代わりに、図２Ａにおけるように、クラウド・ベース・サーバを通じて、画像記憶および前処理をリモートで実行し、画像処理の殆どをクラウド・ベース・サーバにおいて実現することもできる。また、ターミナルにおける処理およびネットワーク容量に応じて、および／またはデータ・セキュリティの理由で、画像記憶および処理を、ローカルおよびリモート・サーバおよび／またはデータベース間で分散することもできる。したがって、バック・エンド・システム５００は、１つのローカル・サーバ、または離れて分散されたサーバのクラスタを、サーバ・ファームまたはサーバ・クラスタの一部として含んでもよい。尚、「サーバ」という用語は、ハードウェアおよびソフトウェア・リソースが共有される、物理および仮想サーバ双方を包含することを注記しておく。クラスタ化したサーバは、物理的に、同じ場所に配置すること、または種々の地理的位置に分散させることができる。サーバ、更に一般的には、処理デバイスは、プロセッサ実行可能命令およびソフトウェアを格納するメモリまたは記憶手段と、異なる命令およびタスクを実行するプロセッサまたは処理ユニットとを含む。

【0041】

[0040] 可能な実施態様によれば、画像取得システム２００は、更に、ワイヤレス接続機能を有するカメラおよびスクリーン・ディスプレイの双方を提供する携帯用デバイス２２０および／または２３０も含む。これらの例を図５に示す。検査官は、移動体タブレットまたはスマート・フォンを携行し、コンテナ撮像プロセスを監視することができ、必要なときに、主カメラ２１０によってキャプチャされるが更に検証が必要となる、損傷の追加画像を供給することができる。

【0042】

画像処理および計算プラットフォーム
[0041] 引き続き図２を参照すると、画像処理は、サード・パーティのウェブ・サービスからのカスタム化機能を含む、機械学習および人工知能（ＡＩ）アルゴリズムを使用して、クラウド・ベース・サーバ５００上で殆どが実行されることが好ましい。図３を参照しながら説明するように、コンテナの損傷を検出し、識別し、特徴付けるために、バック・エンド・システム５００の一部として、異なるソフトウェア・モジュールが設けられる。可能な実施形態によれば、画像データ分析の一部を実行するために、ＡｍａｚｏｎのＷｅｂ Ｓｅｒｖｉｃｅ（ＡＷＳ）を採用することができる。ストリーム・ビデオ・データの分析のためには、ＡｍａｚｏｎのＬａｍｂｄａおよびＫｉｎｅｓｉｓもこの実施態様において検討することができる。勿論、Ｇｏｏｇｌｅプラットフォーム、ＭｉｃｒｏｓｏｆｔＡｚｕｒｅ、およびＩＢＭ Ｂｌｕｅｍｉｘのような、他の同様のプラットフォームを代わりに使用することができる。Ａｍａｚｏｎ ＡＷＳプラットフォームを使用することができるが、検査システムは、データ分量、計算の必要性、通信帯域幅、および利用可能なリソースの均衡を取るために、ビデオ・フレーム分析にサーバレス・パイプライン(serverless pipeline)を使用して実装することができる。

【0043】

[0042] 引き続き図２を参照し、更に図７も参照すると、システムが品質指標７１５にしたがって出荷用コンテナを格付けできるように、編成ベンチマーク(organizational benchmark)に関して得られた証拠に基づいて、コンテナの状態についての格付けを判定することができる。出荷用コンテナの基準データベースを、バック・エンド・システム５００の一部として含ませ、基準線コンテナ・コード、損傷の種類、状態の格付け、および比較の目的等のための標準的な無損傷コンテナについての他の情報を格納することもできる。クラウドにおけるインテリジェント・カスタム化ソフトウェア・モジュールおよびアルゴリズムによって、印刷して出荷用コンテナ上に提供される情報、例えば、コード、ラベル、シール、および標識を検出し、自動的に認識する。ターミナル操作員には、デプロイされたウェブまたは移動体アプリケーションおよびインターフェース７１０からの情報へのアクセスを、フロント・エンド・アプリケーション７００を通じて付与することができる。

【0044】

リモート処理
[0043] これより図２Ａを参照して、検査システム１００の１つの可能な実施態様によるアーキテクチャを示す。この例では、出荷用コンテナの２Ｄ高品位画像２１２を、ビデオ・ストリーム２１１から抽出し、サーバおよびロジックのクラスタ５００に送信する。リモート・サーバ５０５は、画像格納および画像処理双方のために使用される。キー・フレーム画像は、ローカルに選択され、キー・フレーム画像データはリモートに格納および処理されるのが好ましい。この場合、計算プラットフォーム５３５は、ぼけをなくすため、フィルタリング、歪み除去、エッジ強調等のために画像を前処理する前処理ソフトウェア・モジュール５２１を含む。一旦前処理されると、コンテナ・コードおよびラベルの検出および識別のために、ソフトウェア・モジュール５２２によって画像を分析する。また、処理された画像は、モジュール５２３による損傷検出、モジュール５２４による損傷の分類および特徴付け、ならびにモジュール５２５によるコンテナ状態格付けのために、分析されることもある。コンテナの検査結果は、次いで、ウェブ・サービスまたはアプリ７００を通じて、エンド・ユーザのタブレット６１２、スマート・フォン６１０、またはデスクトップ／ラップトップに送信される。これらは、安全が確認された接続を通じて、ターミナルの中央コンピュータ・システム６００に接続されるのが好ましい。

【0045】

[0044] 検査結果は、スプレッドシート、ｘｍｌ、表、．ｔｘｔのようなファイルの形式で供給することができ、少なくとも、出荷用コンテナ・コード、およびコンテナの状態の格付けを含む。とは言え、結果は、既存の貨物運送コンテナ機器データ交換指針(freight container equipment data exchange guidelines)にしたがってフォーマットされるのが好ましく、この指針にしたがって、コードおよびメッセージが、コンテナ状態、修理状態、外塗、満載／空状態、コンテナ・パネル位置等に対して標準化される。例えば、コンテナの右側面の底部にある窪みは、「ＲＢ２Ｎ ＤＴ」によって識別することができ、特殊な修理が求められる場合、コード「ＳＰ」が使用され、コンテナの全体的な構造状態が貧弱な場合、「Ｐ」として格付けされる。このように、検査システム１００は、殆どリアル・タイムで、既存のターミナル・カメラ、ならびに完全にカスタム化および訓練された計算プラットフォーム５３５からのキャプチャ画像を使用して、人間の介入なくまたは僅かな介入で、検査報告をターミナル運用システム６００に供給することができ、ターミナル運用システム６００が使用できるフォーマットで検査報告を生成することができる。例示的な出荷用コンテナを図６Ａおよび図６Ｂに示す。異なるコンテナの側面は、ＣＥＤＥＸコード化規格を使用して識別される。

【0046】

[0045] また、検査結果は、ターミナル操作員による鑑定のために、グラフィカル・ユーザ・インターフェース上に視覚的に提示することもでき、コンテナの処理された２．５Ｄ画像が表示され、損傷が強調され、図１５Ａから図１５Ｃの例のように、種類、サイズ、位置、過酷さ等によって特徴付けられる。

【0047】

エッジおよびリモート処理
[0046] これより図２Ｂを参照すると、検査システム１００の他の可能な実施態様によるアーキテクチャが示されている。図２Ａのアーキテクチャと同様、セキュリティ・カメラのような、既存のターミナル・カメラ２１０によって、出荷用コンテナ１０の２Ｄ高品位画像をキャプチャする。しかしながら、この場合、画像５１９においてコンテナを検出し、画像５２１を前処理するために、エッジ処理デバイス５０７を使用する。残りの画像処理および分析は、離れたクラウド・ベース・サーバ５０５上において、コード認識５２２、モジュール５２３、５２４、および５２５による状態評価のため、そしてシール検出５２６のために実行される。分析／検査結果は、データ・ストレージ５２０（データベースのような）に格納され、処理され、ユーザ端末／コンピュータ６１６、ターミナル運用システム６００の一部に送ることができる。以下で更に詳しく説明するが、処理ユニット／計算プラットフォーム５３５は、畳み込みニューラル・ネットワーク（ＣＮＮ）アルゴリズム５２８を含む画像分類用フレームワークを構成する。更に他の実施態様では、もっと多くの画像処理をエッジ処理デバイス５０７上において、コンテナ・コード、ラベル、およびプラカードを識別するために、ローカルに実行させることも検討することができるが、これらは一例に過ぎない。

【0048】

[0047] 図３を参照すると、システム１００の可能な実施態様による、出荷用コンテナ検査システム１００の主なソフトウェア・モジュールの更に詳細な図が示されている。既に説明したように、トラック、港湾、または鉄道ターミナルにおけるビデオ・カメラによってキャプチャされたビデオ・ストリーム２１１から、高品位２Ｄ画像を抽出する。出荷用コンテナ検出５１９およびビデオ／画像ぼけ除去および処理５２１は、１つ以上のエッジまたはリモート処理デバイス上で実行される。１つ以上のエッジまたはリモート処理デバイスは、１つ以上のサーバ、単一ボード・コンピュータ（ＳＢＣ）デスクトップ・コンピュータ、専用フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）カード、グラフィカル・カード等を含むことができる。コンテナ存在の識別は、コンテナに直接向き合う１台のカメラによって行うことができる。あるいは、コンテナ・コード認識プロセスによって、存在を確認することができる。次いで、処理画像データをサーバのクラスタ５０５に送る。サーバのクラスタ５０５は、ターミナルに対して近くにまたは離れて配置することができ、機械学習およびＡＩアルゴリズムを使用して画像データを処理および分析する計算プラットフォーム５３５を含む。

【0049】

コンテナ・コード（英数字キャラクタ）検出
[0048] 更に具体的には、計算プラットフォーム５３５は、出荷用コンテナ・コード検出／認識モジュール５２２を含む。提案する出荷用コンテナ・コード検出／認識方法は、深層学習ＡＩフレームワーク５２２に基礎を置く。深層学習ＡＩフレームワーク５２２は、特徴抽出、シーケンス・モデリング、および転記(transcription)を使用するニューラル・ネットワーク・アーキテクチャを使用する。出荷用コンテナ・コード認識モジュール５２２は、テキスト領域を検出し、カスタム化深層畳み込み回帰ニューラル・ネットワークを使用して、コンテナ・キャラクタ識別文字列(container character identification sequence)を予測する。

【0050】

[0049] これより図６Ｃを参照すると、ＩＳＯ６３４６（第３版）の下で指定されている、１１文字の英数字コードから成る、出荷用コンテナ識別コード２０の一例が示されている。あらゆる出荷用コンテナは、それ自体の一意の識別コードを有する。コンテナ・コードは、所有者コード、カテゴリ識別子フィールド、連番、およびチェック・ディジットを含む。出荷用コンテナ識別コードは、通例、背面、上面、そして場合によっては前面に横向きに示され、一方左および右側面は、縦向きに並べられたコンテナ・コードを示す。側面パネルの波打ち、異なる照明、変化する気象条件というような、出荷用コンテナの検出および識別には多くの困難がある。テキスト検出器および／またはＯＣＲウェブ・サービスというような自動横向きテキスト検出および認識には、いくつかの発展もあるが、これらの設計は、出荷用コンテナの縦向きのコードを検出することができない。

【0051】

[0050] 再度図３を参照すると、可能な実施態様によれば、出荷用コンテナ・コード認識モジュール５２２は、横向きコード検出モジュール５２２１、縦向き検出コード・モジュール５２２２、およびコンテナ・コード識別の精度を高めるためにコンテナ・コード比較モジュール５２２３を含む。一般に同じコンテナ・コードが横向きおよび縦向き双方で表示されることから、異なるコンテナ・パネル上におけるコード判定を比較すれば、最終的なコード判定の精度を高めることができる。したがって、コンテナ・コードが画像において横向きに表示されるかまたは縦向きに表示されるかには関係なく、コンテナ・コードの識別が実行される。コンテナ・コード検出モジュールは、所有者コード、カテゴリ識別子フィールド、連番、およびチェック・ディジットを検出することを可能にする。コンテナ・コードが縦向きに表示されている画像では、コンテナ・コードを形成するキャラクタを分離し、畳み込みニューラル・ネットワーク・アルゴリズムを個々の各キャラクタに適用する。横向きおよび縦向きのコンテナ・コード双方に対して、コードの検出は、画像前処理によってそして連結成分ラベリング手法(connected component labelling approach)を使用して、コンテナ・コードの位置を特定する一般的なステップと、ディープ・ニューラル・ネットワーク（ＤＮＮ）フレームワークを使用して、コンテナ・コードを認識するステップとを含む。

【0052】

[0051] 図８を参照して、側面パネル１６上に縦向きに表示された出荷用コンテナ・コード２０を識別するための縦向きテキスト検出および認識方法を提案する。縦向きテキスト検出および認識モジュール５２２２は、縦向きに表示されたコンテナ・コードを判定するために使用される。１つの可能な実施態様では、検出は、コンテナ表面上でキャラクタの位置を特定し、キャラクタの向き（縦向きまたは横向き）を識別することから開始する。このプロセスは、場面テキスト検出器(scene text detector)によって実施される。出荷用コンテナ・コード２０の位置を検出した後、出荷用コンテナ・コードの特定エリアを切り抜く（２０’）。次いで、コード・エリアにおけるキャラクタを、関連キャラクタ２０”によって分離する。最後に、例えば、ビジュアル・ジオメトリ・グループ（ＶＧＧ）畳み込みニューラル・ネットワークを使用して、各コード・タイプの個々のキャラクタを１つずつ認識し、コンテナ・コード２０’”の判定に至る。

【0053】

[0052] 既に述べたように、縦向きの１１桁出荷用コンテナ・コードは、一般に、コンテナの左側および右側の側面パネル上に表示される。他の可能な実施態様によれば、これら２箇所の側面から取り込まれた画像は、縦向きコード検出および認識システムのための入力として使用することができる。出荷用コンテナ・コード認識モジュールは、この場合、２モジュールで構成され、第１モジュールはコード検出サブモジュールであり、第２モジュールは、検出されたエリアにおけるコード認識用である。

【0054】

[0053] 第１モジュールにおいて、Ｕ－ＮｅｔおよびＲｅｓＮｅｔに基づく深層学習モデルを使用して、縦向きの１１桁出荷用コンテナ・コードの位置を精度高く特定することができる。このモデルの出力は、出荷用コンテナ・コードをキャプチャすることができる矩形の境界ボックスである。次いで、検出されたコード・エリアを、第２モジュールのための入力として、切り抜く。第２モジュールにおいて、切り抜いた画像を最初に９０度反時計回り方向に回転させる。次いで、コード列(code permutation)を縦向きアレイから横向きアレイに変更する。次いで、畳み込み回帰ニューラル・ネットワーク（ＣＲＮＮ）を使用して、回転させた画像からコードを認識することができる。ＣＲＮＮは、回転させた画像を左から右にスキャンし、あらゆる英数字キャラクタをシンボルとして扱う。ＣＲＮＮがシンボルを検出すると、対応するキャラクタまたは数値を出力する。最後に、認識モジュールが１１桁の出荷用コンテナ・コード・シーケンスを与える。

【0055】

プラカードおよび標識の検出
[0054] 再度図３を参照して、プラカードおよび標識の認識には、モジュール５２２を使用することができる既定の分類プロセスが必要となる。つまり、複数のプラカードおよび標識を識別するために、訓練手順を採用して、ディープ・ニューラル・ネットワーク（ＤＮＮ）モデルを訓練することができる。可能な実施態様によれば、ＤＮＮは、予め定められたクラスのカテゴリを参照する、教師データ集合(labelled training dataset)を使用する。好ましくは、新たなクラスがコンテナの背面端(rear end)上にポストされる前に、プラカードおよび標識モデルを更新し、新たなモデルを最初から訓練することを不要にする。

【0056】

保証シール検出
[0055] 引き続き図３を参照すると、計算プラットフォーム５３５は、更に、出荷用コンテナの画像においてハンドルおよびカム・キーパ上の保証シールを識別するために、出荷用コンテナ・シール検出モジュール５２６を含む。保証シールの認識は、最初に、検索領域を減らすために、コンテナの背面を示す画像の少なくとも１つにおいて保証シールの可能な位置を判定し、分類モデル・アルゴリズムを適用して、前記可能な位置に保証シールが存在するか否か認識することによって行われる。画像の解像度が許す場合、検出モジュール５２６は保証シールの種類も識別することができる。異なる保証シール３４ａ～３４ｉの例を、図９Ａから図９Ｄ、図１０Ａおよび図１０Ｂ、図１１Ａから図１１Ｃ、ならびに図１２Ａおよび図１２Ｂに示す。図３の例示的な実施態様では、出荷用コンテナ・シール検出モジュール５２６は、ハンドルおよびカム・キーパ検出モジュール５２６１と、シール検出および分類モジュール５２６２とを含む。

【0057】

[0056] 保証シールの検出は、非常に難しい。何故なら、これらはハンドルおよび／またはカム・キーパ上に位置付けられる可能性があるからであり、更にその幾何学的形状／物理的側面(physical aspect)がシールの種類毎に大きく異なるからである。また、これらは、図９Ａから図９Ｄに示す例のように、チェーンおよびケーブルも含む場合があり、一貫して検出するのが一層難しくなる。何故なら、ケーブルおよびチェーンがドア・ハンドルまたはカム・キーパにどのように取り付けられたかに応じて、同じ種類のシールでも、異なる構成を取る可能性があるからである。コンテナ保証シールは、通例、標準的な出荷用コンテナのドア上において、８箇所の可能な位置、即ち、４つのハンドルおよび４つのカム・キーパに固定される。計算的に効率的でしかも精度が高いことが証明された可能な実施態様によれば、出荷用コンテナ・シール検出モジュール５２６は、最初に、画像内においてコンテナを識別し、その周囲に境界ボックスを作成する。次いで、その境界ボックス内において、システムは、ハンドルおよびカム・キーパ検出モジュール５２６１によって、８箇所の可能なシールの位置を識別し、これらの各々の周囲に境界ボックスを作成する。訓練されたシール検出および分類モジュール５２６２は、次に、ボックス内のエリアが、「シールが存在しない」(“no seal present” )ことに基づいて行われたその広範な訓練と一致するか否か判定する。ボックスがハンドルおよびカム・キーパ以外の何かを含む場合、次に画像を数学的に処理して、画像の一致しない部分(non-compliant part)が保証シールに対応するか否か判定する。可能な実施態様によれば、モジュール５２６１は、通例締結メカニズム(locking mechanism)を構成する主要シールを検出し、更にチェーンおよびケーブルを含む副シールを検出するように訓練することができる。

【0058】

[0057] 図１３を参照すると、例示的なコンテナ保証シールの自動検出方法が模式的に示されている。あらゆる出荷用コンテナは、貨物が安全であることを保証するために、正しい位置に締結された保証シールを有しなければならない。出荷用コンテナの後部ドア (back door) にシール・ロックがあるか否か検出するために、ハンドルおよびカム・キーパ検出モジュール５２６１は、最初に、カスタム化高速化Ｒ－ＣＮＮアルゴリズムを使用して、可能な位置を検出する。これらの可能な位置には、ドア・ハンドル３０およびカム・キーパ３２のエリアが含まれる。次いで、訓練されたシール検出および分類モジュール５２６２は、ＶＧＧおよびＲｅｓｎｅｔのようなカスタム化分類モデルを使用して、ハンドルおよびカム・キーパに近い、もっと小さな対象領域内に、締結シール３４があるか否か認識する。

【0059】

[0058] 引き続き図１３を参照すると、第１ステップにおいて、カスタム化高速化Ｒ－ＣＮＮモデルを採用して、狭いエリアにおいて出荷用コンテナの後部ドア上にハンドラ(handlers)およびキャンプ・キーパを含む、対象領域を識別する。画像は、ポータルにおけるマシン・ビジョン・システムによってキャプチャされる。第２ステップにおいて、検出された対象領域からシールの存在を識別するために、注意機構ベースの(attention-based)ＶＧＧ１６分類ネットワークを採用する。この検出は、自動エンド・ツー・エンド解決策(end-to-end solution)を提供する。これは、出荷用コンテナの画像を入力として取り込み、シールの存在を示す二進出力を与える。検出はロバストであり、天候条件が変化しても正しく機能する。

【0060】

[0059] 保証シール分類性能を高めるために、訓練データを連続的にシール検出および分類モジュール５２６２に供給し、より小さな抜き取り画像エリアにおいて保証シールを認識するために、異なる深層学習モデルを組み合わせることができる。深層学習モデルの例にはＳＴＮ、ならびにＲｅｓｎｅｔおよび注意機構メカニズムの異なるバージョンが含まれる。保証シールが特に難しいのは、これらが、出荷用コンテナの背面ドア(rear door)のサイズと比較して、相対的に小さな物体であるからである。

【0061】

[0060] 第２の可能な実施態様では、そして画像の解像度が許す場合に限り、深層学習によるインスタンス・セグメント化を、全ドア／背面画像に適用することができる。シールの位置を特定することができる個々のゾーンを識別し、次いで潜在的な各ゾーンに一意のＩＤまたはマスク層を付与する。次いで、ＡＩアルゴリズムによってというようにして、これらのゾーンを数学的に処理して、保証シールが存在するか否か判定する。

【0062】

出荷用コンテナ状態評価
[0061] 再度図３を参照すると、計算プラットフォーム５３５は、出荷用コンテナ状態評価モジュール５２４を含む。出荷用コンテナは、輸送中に損傷を受けるおそれがある。出荷用コンテナは、提案する方法およびシステムによる評価の前に、有効な証明書を有することが期待される。国際的な輸送では、ＣＳＣプレート（安全なコンテナに関する条約）が通例であり、国内の場合、輸出適格（ＣＷ：Cargo Worthy）のような証明書またはこれと同様の証明書を使用する。

【0063】

[0062] 特定の出荷用コンテナの部品に関連する損傷の部分的リストを、以下の表１に列挙する。

【表1】

【0064】

[0063] 出荷用コンテナの全体的な完全性状態を評価するために、損傷の種類の認識し、出荷用コンテナの損傷度を推定する。損傷の種類には、例えば、窪み、変形、およびさびを含むことができる。計算プラットフォーム５３５は、損傷部品のエリアを検出する、訓練されカスタム化された高速化Ｒ－ＣＮＮモデルを含む。次いで、損傷の種類および範囲を識別するために、適応画像閾値法を使用して、損傷部品の画像画素を分離する。次いで、この出力データを、予測コストおよび修理予定立案モデルの基準として使用する。

【0065】

[0064] 出荷用コンテナ状態評価モジュール５２４は、損傷の輪郭を導き出すことによって精度高く損傷を検出し定量化するために開発された。このモジュールは、出荷用コンテナの左、右、上面、および背面／後部からの画像を取り込み、損傷についての総合的な情報を取得する。この総合検出システムは、２つのモジュール、損傷位置特定および状態評価から成る。第１モジュールは、インスタンス・セグメント化モデルによって実装され、マスクＲ－ＣＮＮ（領域畳み込みニューラル・ネットワーク）上に構築される。インスタンス・セグメント化モデルは、損傷の縁端輪郭を出力する。第２モジュールは、弱い損傷および間違った予測を除去し、次いで出荷用コンテナの最終的評価を行う。このモジュールは、損傷の種類および損傷位置情報を入力として取り込む。最初に、損傷分類モデル、即ち、ＲｅｓＮｅｔによって、間違った予測（偽警報）を除去する。次いで、適応閾値を損傷エリアに適用して、「弱い」(weak)損傷を除去する。弱い損傷は、出荷用コンテナに対する損傷として扱われる。実例をあげると、小さい窪みは、状態に影響を及ぼさないので、損傷とは見なされない。しかしながら、小さな孔は、損傷としてカウントされてしかるべきである。最終的に、総損傷エリアを計算し、損傷の過酷さを推定する。状態評価モジュールは、最終的に、異なる種類の損傷の過酷さおよび位置の報告を生成する。

【0066】

[0065] 図３の例示的な実施態様では、出荷用コンテナ状態評価モジュール５２４は、損傷位置特定モジュール内に、クラック検出モジュール５２４１、変形検出モジュール５２４２、腐食検出モジュール５２４３、および３Ｄモデリング・モジュール５２４４を含む。変形検出モジュール５２４２は、出荷用コンテナの以下の特性、上面および底面レールの損傷ならびに変形、ドア・フレームの損傷および変形、角支柱の損傷および変形、ドア・パネル、側面パネル、および屋根パネルの損傷ならびに変形、角鋳造品の損傷および変形、ドア部品および損傷の内、１つ以上を識別するように訓練および構成されている。クラック検出モジュール５２４１および腐食検出モジュール５２４３は、窪み、さび当て金、孔、紛失した部品、および歪んだ部品を識別するように訓練および構成されている。損傷推定モジュール５３１が開発され、識別された出荷用コンテナの損傷を、そのサイズ、広がり、および／または向きにしたがって定性化することができる。例えば、損傷の広がりは、損傷エリアの出荷用コンテナ・パネルの表面積に対する比として表現することができる。

【0067】

３Ｄ再現
[0066] ３Ｄモデリング・モジュール５２４４に関して、検査評価方法は、検査される出荷用コンテナの「３Ｄ再現」(3D reconstruction)を実行して、コンテナ表面の深さまたは組織分布的情報、即ち、表面の詳細および損傷を得るステップを含むことができる。ここで、「３Ｄ再現」とは、コンピュータ・ビジョンの研究組織において使用される同じ用語ではなく、表面プロファイルの更に一般的な再現を指す。

【0068】

[0067] 図４に示す例示的な実施態様では、４台のカメラ２１０が、左側面および右側面視野、上面視野、および後面／背面視野のために設けられている。複数の重複する入力画像が必要な、２Ｄ画像またはビデオ・シーケンスのみを使用する３Ｄ再現のために、多視点画像からの三次元形状復元（ＳｆＭ： structure from motion）アルゴリズムを採用することができる。可能な３Ｄ再現方法には、ＤｅＭｏＮ（単眼ステレオを学習するための深度および運動ネットワーク）、ＳｆＭ－Ｎｅｔ（ＳｆＭ－Ｎｅｔ：ビデオからの構造および運動の学習）、およびＣＮＮベースのＳｆＭ（高密度ＣＮＮ構造をキーポイント再局在化と共に使用する多視点画像からの三次元形状復元）方法が含まれ、これらは深層学習に基づく。

【0069】

腐食検出および定量化
[0068] 図１５Ａから図１５Ｃを参照すると、自動検査システムによって識別されたさび当て金を含む異なる画像が示され、境界ボックスが当て金の周囲を囲み、各境界ボックスが、識別された損傷の種類（この例では、さび）の指示、およびコンテナのパネルの表面に対するさび当て金の広がり／面積を含む。出荷用コンテナ状態評価モジュール５２６は、グラフィカル・ユーザ・インターフェース上における表示のために、２．５Ｄ画像を生成することができる。この２．５Ｄ画像は、キャプチャされた画像から作成され、出荷用コンテナの特性の内少なくとも１つ（損傷の種類のような）を表す視覚的シンボルまたは表現を含み、損傷の可視化を可能にする。

【0070】

[0069] 引き続き図１５Ａから図１５Ｃを参照し、更に図３も参照すると、腐食検出および定量化モジュール５２４３は、出荷用コンテナの表面上における腐食エリアの推定を行う。第１ステップにおいて、ポータルにおけるマシン・ビジョン・システムによってキャプチャされた出荷用コンテナ画像のシーケンスを、背景減算方法によって処理して、出荷用コンテナの本体（領域）を得る。第２ステップにおいて、高速Ｒ－ＣＮＮモデルを採用して、出荷用コンテナの表面上における腐食領域を検出する。物体検出の出力は、腐食エリアを含む境界ボックスである。次いで、画像処理技法、例えば、ガボール・フィルタおよび画像セグメント化を、境界ボックスに適用して、正確な腐食エリアを抽出する。第３ステップにおいて、このエリアの実際のサイズを定量化するために、出荷用コンテナの長さまたは高さをその実際の長さまたは高さと照合することによって、画素に基づく大きさを実際のサイズ（平方メートル単位）にマッピングする。出荷用コンテナの実際のサイズは、その種類から得ることができる。出荷用コンテナの長さまたは高さは、ステップ１からのセグメント化画像から導き出すことができる。コンテナの一部だけが１つの画像において示されるシナリオでは、連続画像シーケンスの画像縫合(image stitching)を適用して、複数の画像から完全な出荷用コンテナを得る。エッジからエッジまでの長さは、画素数によって表され、したがって実際のサイズにマッピングすることができる。

【0071】

[0070] これは、出荷用コンテナの画像を入力として取り込み、腐食損傷の実際のサイズを出力する、エンド・ツー・エンド解決策である。この出力は、更に、出荷用コンテナの条件を格付けするために使用することができる。

【0072】

拡張視覚象
[0071] 図５を参照して、必要であれば、ターミナル・チェッカによって追加の画像をキャプチャするために、スマート移動体デバイス２２０を使用することができるが、検出された損傷に関する情報を表示することによって、ターミナル・チェッカの視覚象を拡張するためにもスマート移動体デバイス２２０を使用することができる。例えば、出荷用コンテナの状態が適正か、または修正処置／保守を必要とするかの評価において補助するために、損傷のパラメータ（種類、サイズ、過酷度）を、ターミナル・チェッカの視野内に表示することができる。スマート・フォン、タブレット、および携帯カメラを含む、画像センサ（１つまたは複数）、処理機能、およびワイヤレス接続機能が備えられた他の移動体デバイスも使用することができる。以下の技術も検討することができる。

【0073】

・ＲＧＢ－Ｄカメラおよび立体テレビジョン：可能な実施態様によれば、ＩｎｔｅｌのＲｅａｌＳｅｎｓｅ深度カメラを使用することができる。ＦＬＩＲからのＢｕｍｂｌｅｂｅｅステレオ・カメラは、深度測定値を提供する他の選択肢である。一般的な正しい表面状態に関して局所的な組織分布的プロファイルに基づいて、詳細な深度画像から損傷をセグメント化することができる。

【0074】

・レーザ・スキャナ：レーザ・ベースのスキャニングは、高解像度の結果が得られ、撮像プロセスのために瞬時的な位置較正に対応することができる。

【0075】

[0072] 自動コンテナ検査は、図３を参照して先に説明したモジュールを使用して実行することができ、状態が「貧弱」と評価されたコンテナについて、スマート移動体デバイス２２０によって追加の画像を撮影することによってコンテナの視覚検査を補完するために、および／またはコンテナの状態を確認するために、ターミナルにおけるコンテナの位置にターミナル・チェッカを送ることができる。ターミナル・チェッカは、検査メモを生成することができ、キャプチャした画像を、文字および／または音のコメントと共にまたは単独で、クラウドにおけるデータ・レポジトリ５２０に転送することができる。移動体デバイスにおける埋め込みプロセッサは、コンテナに対する疑わしい損傷の高速選別を可能にすることができる。このように、提案する方法およびシステムは、意志決定プロセスに必要な支援を提供することができるリモート・オフィスと画像を共有しつつ、現場の検査官がコンテナ上の問題を迅速にそして効率的に特定するのを補助することができる。

【0076】

[0073] 再度図３を参照すると、好ましくは、ＣＥＤＥＸまたはＩＩＣＬのような、海運業者指定の指針にしたがって、コンテナの物理的パラメータの報告を提出する(provide)。残存耐用年数推定モジュール５２９は、損傷修理予定立案および費用管理のために予測モデリングを実行し、更に海運業界の指針にしたがって検査結果を提出し、異なる大陸にある異なる海運資材調達企業(shipping and maritime logistics enterprises)に適した構造の報告を行う。

【0077】

[0074] 損傷検出のために、異なるディープ・ニューラル・ネットワーク（ＤＮＮベースの）物体検出アルゴリズムを、出荷用コンテナ評価モジュール５２４の一部として、訓練し、カスタム化し、適応させることができ、例えば、見るのは一度だけ（ＹＯＬＯ）、領域ベースの完全畳み込みネットワーク（Ｒ－ＦＣＮ）、およびシングル・ショット・マルチボックス・ディテクタ（ＳＳＤ：Single Shot Multibox Detector）が含まれる。これらのモデルは、異なる物体検出の利点を有する。実例をあげると、ＳＳＤおよびＹＯＬＯは、高速Ｒ－ＣＮＮよりも遙かに速く実行するが、精度に関しては劣る場合もある。したがって、これらのモデルを組み合わせて、カスタム化することができ、ＳＳＤおよびＹＯＬＯモデルの変形をリアル・タイム応答のために使用し、カスタム化高速化Ｒ－ＣＮＮモデルを、正確さを高めるために使用する。画素レベルの損傷予測のために、適応ＳｅｇｎｅｔおよびＭａｓｋＲＣＮＮを使用し、Ｓｅｇｎｅｔモジュールは画素レベルのセグメント化を実行し、修正マスクＲＣＮＮモデルが、検出された物体の境界ボックスを作成し、境界ボックスの内側において曲線（マスク）によって損傷エリアの輪郭を描く。

【0078】

[0075] 引き続き図３を参照すると、３Ｄモデリング・モジュール５２４４は、ニューラル・ボリューム・アルゴリズム(neural volume algorithm)を使用して、出荷用コンテナの画像に基づいて、出荷用コンテナの部品の仮想再現３Ｄ表現を生成することができる。このエンコーダ－デコーダ・モジュールは、動的場面の潜在表現を学習し、変形エリアの形状のような、損傷レベルの高精度な表面情報の再現を可能にする。

【0079】

[0076] 要約すると、リモート・サーバ５０５上に設けられた計算プラットフォーム５３５は、損傷、ラベル、およびプラカードを含む、出荷用コンテナの様々な異なる特性を識別することができる。ラベルおよびプラカードについては、ニューラル・ネットワーク・モデルを事前に訓練することによって、モジュール５２２を使用することができる。ディープ・ニューラル・ネットワーク（ＤＮＮ）ネットワークの訓練は、フレームワークにそれぞれの損傷、ラベル、プラカード、および保証シール訓練データ集合を供給することによって、そして既定のクラスにしたがって損傷、ラベル、プラカード、および保証シールを分類することによって行われる。出荷用コンテナ検査を実行している間、検査結果がほぼリアル・タイムで改善されるように、分析画像において、損傷、ラベル、保証シール、およびプラカードが 新たに見つかって(introduced)識別される毎に、ディープ・ニューラル・ネットワーク（ＤＮＮ）フレームワークを継続的に更新する。既に述べたように、ディープ・ニューラル・ネットワーク（ＤＮＮ）フレームワークは、特定の出荷用コンテナの画像について訓練された、複数のカスタム化モデルを含み、例えば、高速化Ｒ－ＣＮＮ（領域ベースの畳み込みニューラル・ネットワーク）、見るのは一度だけ（ＹＯＬＯ）、領域ベースの完全畳み込みネットワーク（Ｒ－ＦＣＮ）、およびシングル・ショット・マルチボックス・ディテクタ（ＳＳＤ）が含まれる。金属パネルの波打つ性質および反射する性質を仮定すると、画像がキャプチャされる間の種々の照明および環境条件にしたがって、ニューラル・ネットワークを訓練しカスタム化する必要がある。検査システムによって検出および識別することができる出荷用コンテナの特性には、海上運送業者のロゴ、出荷用コンテナの寸法、機器のカテゴリ、風袋重量(tare weight)、最大有償搭載量、正味重量、容積、最大総重量、危険プラカード、および／または高さ／幅警告標識を含むことができる。

【0080】

検査結果
[0077] 引き続き図３を参照すると、検査システム１００は、例えば、コンテナ・コード、ラベル、保証シール、およびプラカード・モデル、出荷用コンテナの種類、ならびに幅、長さ、および高さというような、関連する標準的特性を含む、出荷用コンテナに関する情報を格納するために、１つ以上の出荷用コンテナ・データベース５２０を備える。また、データ・ストレージ５２０は、出荷用コンテナの損傷分類および特徴付けパラメータに関する情報も格納することができる。また、物理的損傷および／または紛失した部品を含む、出荷用コンテナの物理的ステータスを格付けするための指標を含んでもよい。データ・ストレージ５２０において、コンテナ・コードは、出荷用コンテナの関連する物理的状態と共に格納され、コンテナ検査結果は、以下のチャネル、ウェブサイト、ウェブ・アプリケーション、および／またはアプリケーション・プログラム・インターフェース（ＡＰＩ）を通じて、ターミナル運用システムに送信し表示することができる。

【0081】

[0078] 機械ベースの検査からの分析結果は、このように、クラウドにおけるデータベース５２０に格納することができ、異なるＡＰＩを通じてエンド・ユーザに配信することができる。エンド・ユーザの環境を考慮すると、検査結果にアクセスするために、対応するＡＩを設けることができる。損傷について導き出された定量的情報によって、認定されている規制、規則、および経験に基づいて、コンテナの状態を格付けすることができる。例えば、損傷または状態が、予め設定された閾値を超えるとき、検査官の注意を引くために、アラームを発することができる。続いて、検査官は、タブレットまたはＧｏｏｇｌｅグラスのような、拡張現実デバイスを使用して、視覚的検査を実行することができる。デバイスは、検査官を問題エリアに導き、宛先および用法にしたがって、コンテナに関して人間が素早く判断を下すことを可能にする。

【0082】

[0079] 図３ならびに図４、図７、図１４、および図１５Ａ～図１５Ｃを参照すると、ターミナル・チェッカが検査結果の妥当性を判断することを可能にするために、グラフィカル・ユーザ・インターフェース７１０上に検査結果を表示することができる。図１４によって最良に示すように、グラフィカル・ユーザ・インターフェース７１０を通じて供給されるフィードバックを、機械学習アルゴリズムを調節するために、使用することができる。

【0083】

予測保守
[0080] 引き続き図３を参照すると、出荷用コンテナ状態評価モジュール５２４は、出荷用コンテナ・データベース５２０を通じて、経時的な出荷用コンテナの物理的状態を継続的に記録することができる。以前に記録した状態および／または損傷を使用して、残存耐用年数推定モジュールは、時間の関数として、出荷用コンテナの状態の劣化を予測する。ＣＥＤＥＸの概要を使用し、経験から導き出された費用関連係数を各損傷点に適用して、コンテナに必要とされる修理の大まかなレベルを示すために、１つの格付け指定を計算することができる。

【0084】

[0081] 出荷用コンテナ検査システム１０は、このように、状態評価および予測を行うことができる。状態評価モジュール５２４は、業界標準に準拠し、「損傷検出」ならびに「腐食検出および定量化」からの出力を使用する。ファジー論理ベースの状態格付けを応用する。モジュール５２９の状態予測は、統計的分析に基づくことができる。各出荷用コンテナは、その状態格付け、稼働年数、移動距離、および作業状態等から成る特徴ベクトルによって特徴付けることができる。総合データベースは、出荷用コンテナから収集したデータを含む。予測は、新たな入力をデータベース５２０におけるデータと共にクラスタ化することによって、行われる。

【0085】

[0082] このように、コンテナの物理的状態の継続的追跡に基づいて、出荷用コンテナに対する保守予定立案および修理作業を計画することができる。コンテナ保守の予定立案のための管理判断を支援するために、検査システム１００がカスタム化可能な情報を提供することができるように、履歴データを記録し、計画された今後のコンテナ使用を格納および維持することによって、ダウンタイムを極力減らし、コンテナの可用性を極力高める。蓄積されたコンテナ画像データは、必要な業務判断を支援するための確固たる証拠を提供し、その結果、コンテナ出荷の価格効率的で、効率的で、ロバストな管理が行われる。

【0086】

結論
[0083] 提案した出荷用コンテナ検査システムおよび方法の利点は、次のように、コンテナ損傷の識別ならびに健全性および安全性の問題を表すものを中心に据えた評価、既存のおよび入来するコンテナ・トラフィックの機械検査、および作業員の検査を重大な問題のみに限定することによる、ターン・アラウンド時間の短縮、劣化の予測および積極的な修理費用予算編成、出荷用コンテナの予定立案、および所有者の最大利益に適するように選択された場所において修理を実行することを含む計画に沿った経路設定があげられる。

【0087】

[0084] 以上の説明では、実施形態の例を示したが、説明した実施形態の内一部の特徴および／または機能は、説明した実施形態の動作原理から逸脱することなく、変更する余地があることは認められよう。したがって、以上で説明したことは、例示であって非限定的であることを意図しており、添付する特許請求の範囲において定められる通りの、発明の範囲から逸脱することなく、他の異形および変更も可能であることは、当業者には理解されよう。

【図1】

【図2】

【図2A】

【図2B】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図7】

【図8】

【図9A】

【図9B】

【図9C】

【図9D】

【図10A】

【図10B】

【図11A】

【図11B】

【図11C】

【図12A】

【図12B】

【図13】

【図14】

【図15A】

【図15B】

【図15C】

【国際調査報告】