知財求人 - 知財ポータルサイト「IP Force」
特表2024-542578画像ピクセルを保管システムにおけるグリッドポイントにマッピングするためにカメラを較正すること
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-11-15
(54)【発明の名称】画像ピクセルを保管システムにおけるグリッドポイントにマッピングするためにカメラを較正すること
(51)【国際特許分類】
G06T 7/70 20170101AFI20241108BHJP
G06V 10/82 20220101ALI20241108BHJP
G06T 7/00 20170101ALI20241108BHJP
H04N 23/60 20230101ALI20241108BHJP
【ＦＩ】
G06T7/70 Z
G06V10/82
G06T7/00 350C
H04N23/60 500
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024531343
(86)(22)【出願日】2022-11-25
(85)【翻訳文提出日】2024-07-19
(86)【国際出願番号】 EP2022083366
(87)【国際公開番号】W WO2023094635
(87)【国際公開日】2023-06-01
(31)【優先権主張番号】2117102.0
(32)【優先日】2021-11-26
(33)【優先権主張国・地域又は機関】GB
(81)【指定国・地域】
(71)【出願人】
【識別番号】515134368
【氏名又は名称】オカド・イノベーション・リミテッド
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】ツゥイ、シャオカイ
(72)【発明者】
【氏名】ピアマン、クリストファー
(72)【発明者】
【氏名】シューハルト、ジョナサン
【テーマコード（参考）】
5C122
5L096
【Ｆターム（参考）】
5C122EA58
5C122FH11
5C122HA35
5C122HA48
5C122HB01
5C122HB10
5L096CA02
5L096DA02
5L096EA14
5L096EA16
5L096EA27
5L096EA28
5L096FA62
5L096FA64
5L096FA67
5L096FA69
5L096HA11
5L096KA04
(57)【要約】
保管システムのグリッドの上に配設された広角または超広角カメラを較正するための方法およびシステム。グリッドセクションの画像とカメラに対応する複数のパラメータの初期値とが取得される。上記画像は、上記画像中にキャプチャされた、平行なトラックのセットのモデルを生成するために、広角または超広角カメラによってキャプチャされたグリッドセクションの画像中の平行なトラックのセットを検出／予測するようにトレーニングされたニューラルネットワークを使用して、処理される。モデル中の選択されたピクセルが、複数のパラメータに基づくマッピングを使用して、グリッド上の対応するポイントにマッピングされ、初期値は、マッピングへの入力として使用される。誤差関数が、ポイントのマッピングされたグリッド座標と知られているグリッド座標との間の不一致に基づいて決定される。パラメータの初期値は、誤差関数に基づいて更新され、更新された値は、カメラによってキャプチャされたグリッドセクションの画像中のピクセルを、保管システムのグリッド上の対応するポイントにマッピングするために記憶される。
【特許請求の範囲】
【請求項1】
保管システムのグリッドの上に配設された広角または超広角カメラを較正する方法であって、前記グリッドが、Ｘ方向に延在する平行なトラックの第１のセットと、実質的に水平な平面において前記第１のセットに直交する、Ｙ方向に延在する平行なトラックの第２のセットとによって形成され、前記グリッドが、複数のグリッド空間を備え、単一のグリッド空間のフットプリント内で前記トラックの下にスタックされたコンテナを取り扱うために、前記トラック上で前記Ｘ方向または前記Ｙ方向のうちの少なくとも１つにおいて選択的に移動可能である、１つまたは複数の搬送デバイスを支持するように配置され、
前記方法は、
前記カメラによってキャプチャされた前記グリッドのグリッドセクションの画像を取得することと、
前記カメラに対応する複数のパラメータの初期値を取得することと、前記複数のパラメータが、前記カメラの焦点距離と、前記グリッドセクションの上の前記カメラの位置を表現する並進ベクトルと、前記カメラの傾きおよび回転を表現する回転ベクトルとを含む、
前記画像を、前記グリッドセクションの前記画像中にキャプチャされた、平行なトラックの前記第１のセットおよび前記第２のセットのモデルを生成するために、広角または超広角カメラによってキャプチャされたグリッドセクションの画像中の平行なトラックの前記第１のセットおよび前記第２のセットを検出／予測するようにトレーニングされたニューラルネットワークを使用して、処理することと、
前記複数のパラメータに基づくマッピングを使用して、前記モデル中の選択されたピクセルを、前記グリッド上の対応するポイントにマッピングすることと、ここにおいて、前記初期値が、前記マッピングへの入力として使用される、
前記マッピングによって決定された前記ポイントのグリッド座標と知られているグリッド座標との間の不一致に基づいて、誤差関数を決定することと、
前記誤差関数に基づいて、前記初期値を前記複数のパラメータの更新された値に更新することと、
前記マッピングを介して、前記カメラによってキャプチャされた前記グリッドセクションの画像中のピクセルを、前記保管システムの前記グリッド上の対応するポイントにマッピングするために、前記複数のパラメータの前記更新された値を記憶することと
を備える、方法。
【請求項2】
前記複数のパラメータの前記初期値を更新することが、ブロイデン－フレッチャー－ゴールドファーブ－シャンノアルゴリズムを適用することを備える、請求項１に記載の方法。
【請求項3】
前記誤差関数を反復的に決定することと、さらに、前記誤差関数が所定のしきい値未満だけ低減されるまで、前記複数のパラメータの前記更新された値を更新することとを備える、請求項１または２に記載の方法。
【請求項4】
前記複数のパラメータについてのそれぞれの境界値が、前記複数のパラメータのそれぞれの値を更新するときに適用される、請求項１から３のいずれかに記載の方法。
【請求項5】
前記回転ベクトルに関連する回転角についての前記境界値が、実質的に０度および実質的に＋５度である、請求項４に記載の方法。
【請求項6】
前記並進ベクトルの平面成分についての前記境界値が、グリッドセルの長さの±０．６である、請求項４または５に記載の方法。
【請求項7】
前記並進ベクトルの高さ成分についての前記境界値が、前記グリッドの１８００ｍｍおよび２１００ｍｍ上である、請求項４から６のいずれか一項に記載の方法。
【請求項8】
前記焦点距離についての前記境界値が、０．２３および０．２６ｃｍである、請求項４から７のいずれか一項に記載の方法。
【請求項9】
前記記憶することが、前記カメラに関連する保管ロケーションにおいて、データベース中に、前記更新された値を記憶することを備える、請求項１から８のいずれかに記載の方法。
【請求項10】
前記画像を、前記画像中の前記グリッドセクションのグリッドセル中にあるグリッドセルマーカーを検出するために、グリッドセクションの画像中のグリッドセルマーカーのインスタンスを検出するようにトレーニングされた物体検出モデルを使用して、処理することと、前記グリッドセルマーカーに符号化されたグリッドセル座標データを抽出することと、
前記抽出されたセル座標データに基づいて、前記グリッド上のポイントへの前記画像中のピクセルの前記マッピングによって生成された、グリッド座標を較正することと
を備える、請求項１から９のいずれかに記載の方法。
【請求項11】
平行なトラックの前記第１のセットおよび前記第２のセットの中心線のみを表現するように前記グリッドセクションの前記モデルを改良することを備え、前記改良することが、水平線および垂直線検出カーネルで前記モデルをフィルタ処理することを備える、請求項１から１０のいずれかに記載の方法。
【請求項12】
前記フィルタ処理することが、前記水平線および垂直線検出カーネルを使用して前記モデルのピクセル値を収縮させることと膨張させることとのうちの少なくとも１つを備える、請求項１１に記載の方法。
【請求項13】
２次中心線を作り出すために前記中心線をそれぞれの２次軌道に適合させることと、前記モデルを生成するために前記２次中心線からピクセルのランダムサブセットを抽出することと
を備える、請求項１１または１２に記載の方法。
【請求項14】
前記マッピングが、前記画像中の所与のピクセルと前記グリッド上の対応するポイントとについて、前記画像中の前記ピクセルの画像座標に基づいて、前記対応するポイントの第２のデカルト座標を決定することと、
前記第２のデカルト座標を第２の極座標にコンバートすることと、
第１の極座標を生成するために前記第２の極座標に逆ひずみモデルを適用することと、
前記第１の極座標を前記ポイントの第１のデカルト座標にコンバートすることと、
前記ポイントを、前記カメラに対応する第２の平面におけるデカルト座標系から整合解除することと、
前記グリッドに対する前記ポイントのグリッド座標を決定するために、前記第２の平面から前記グリッドに対応する第１の平面上に前記ポイントを投影することと
を備える、請求項１から１３のいずれかに記載の方法。
【請求項15】
前記逆ひずみモデルが、【数1】
ここにおいて、ｒ’が前記ポイントのひずんだ半径方向座標であり、ｒが前記ポイントのひずんでいない半径方向座標であり、ｆが前記カメラの前記焦点距離である、
請求項１４に記載の方法。
【請求項16】
前記第２のデカルト座標を決定することが、前記画像座標をセンタリングすることまたは正規化することのうちの少なくとも１つを含む、前記画像中の前記ピクセルを初期化することを備える、請求項１４または１５に記載の方法。
【請求項17】
前記第２のデカルト座標を決定することが、前記画像座標の縦座標を反転させることを備える、請求項１４から１６のいずれか一項に記載の方法。
【請求項18】
前記ポイントを前記デカルト座標系から整合解除することが、前記ポイントを前記画像中の前記グリッドの配向と整合させるために、前記ポイントに回転変換を適用することを備える、請求項１４から１７のいずれか一項に記載の方法。
【請求項19】
前記グリッドに対応する前記第１の平面上に前記ポイントを投影することが、【数2】
ここにおいて、
【数3】
ここにおいて、ｐが、前記グリッドに対応する前記第１の平面におけるポイント座標を備え、ｆが前記カメラの前記焦点距離であり、ｔが平面並進ベクトルであり、ｑが前記第２の平面における前記第１のデカルト座標を備え、ｚが前記カメラと前記グリッドとの間の距離であり、Ｒが、回転ベクトルに関係する３次元回転行列である、
請求項１４から１８のいずれか一項に記載の方法。
【請求項20】
保管システムのグリッドの上に配設された広角または超広角カメラを較正するための較正システムであって、前記グリッドが、Ｘ方向に延在する平行なトラックの第１のセットと、実質的に水平な平面において前記第１のセットに直交する、Ｙ方向に延在する平行なトラックの第２のセットとによって形成され、前記グリッドが、複数のグリッド空間を備え、単一のグリッド空間のフットプリント内で前記トラックの下にスタックされたコンテナを取り扱うために、前記トラック上で前記Ｘ方向または前記Ｙ方向のうちの少なくとも１つにおいて選択的に移動可能である、１つまたは複数の搬送デバイスを支持するように配置され、
前記較正システムは、
前記カメラによってキャプチャされた前記グリッドのグリッドセクションの画像を取得することと、前記カメラに対応する複数のパラメータの初期値を取得することと、前記複数のパラメータが、前記カメラの焦点距離と、前記グリッドセクションの上の前記カメラの位置を表現する並進ベクトルと、前記カメラの傾きおよび回転を表現する回転ベクトルとを含む、を行うための少なくとも１つのインターフェースと、
前記画像を、前記グリッドセクションの前記画像中にキャプチャされた、平行なトラックの前記第１のセットおよび前記第２のセットのモデルを生成するために、広角または超広角カメラによってキャプチャされたグリッドセクションの画像中の平行なトラックの前記第１のセットおよび前記第２のセットを検出／予測するようにトレーニングされたニューラルネットワークを使用して、処理することと、
前記複数のパラメータに基づくマッピングを使用して、前記モデル中のピクセルを、前記グリッド上の対応するポイントにマッピングすることと、ここにおいて、前記初期値が、前記マッピングへの入力として使用される、
前記マッピングによって決定された前記ポイントのグリッド座標と知られているグリッド座標との間の不一致に基づいて、誤差関数を決定することと、
前記誤差関数に基づいて、前記初期値を前記複数のパラメータの更新された値に更新することと、
前記マッピングを介して、前記カメラによってキャプチャされた前記グリッドセクションの画像中のピクセルを、前記保管システムの前記グリッド上の対応するポイントにマッピングするために、前記複数のパラメータの前記更新された値をストレージに出力することと
を行うように構成された、少なくとも１つのプロセッサと
を備える、較正システム。
【請求項21】
前記少なくとも１つのプロセッサが、前記画像を、前記画像中の前記グリッドセクションのグリッドセル中にあるグリッドセルマーカーを検出するために、グリッドセクションの画像中のグリッドセルマーカーのインスタンスを検出するようにトレーニングされた物体検出モデルを使用して、処理することと、
前記グリッドセルマーカーに符号化されたグリッドセル座標データを抽出することと、
前記抽出されたセル座標データに基づいて、前記グリッド上のポイントへの前記画像中のピクセルの前記マッピングによって生成された、グリッド座標を較正することと
を行うように構成された、請求項２０に記載の較正システム。
【請求項22】
前記グリッドセルマーカーが、サインボードを備え、前記セル座標データが、前記サインボード上にマークされる、請求項２１に記載の較正システム。
【請求項23】
前記マッピングが、前記画像中の所与のピクセルと前記グリッド上の対応するポイントとについて、前記画像中の前記ピクセルの画像座標に基づいて、前記対応するポイントの第２のデカルト座標を決定することと、
前記第２のデカルト座標を第２の極座標にコンバートすることと、
第１の極座標を生成するために前記第２の極座標に逆ひずみモデルを適用することと、
前記第１の極座標を前記ポイントの第１のデカルト座標にコンバートすることと、
前記ポイントを、前記カメラに対応する第２の平面におけるデカルト座標系から整合解除することと、
前記グリッドに対する前記ポイントのグリッド座標を決定するために、前記第２の平面から前記グリッドに対応する第１の平面上に前記ポイントを投影することと
を備える、請求項２０から２２のいずれか一項に記載の較正システム。
【請求項24】
前記逆ひずみモデルが、【数4】
ここにおいて、ｒ’が前記ポイントのひずんだ半径方向座標であり、ｒが前記ポイントのひずんでいない半径方向座標であり、ｆが前記カメラの前記焦点距離である、
請求項２３に記載の較正システム。
【請求項25】
前記ニューラルネットワークが、畳み込みニューラルネットワークを備える、請求項２０から２４のいずれかに記載の較正システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に、ビンまたはコンテナのスタックがグリッドフレームワーク構造内に配置された、保管またはフルフィルメントシステムの分野に関し、より詳細には、グリッドフレームワーク構造の上に配設された広角または超広角カメラを較正することに関する。
【背景技術】
【0002】
オンライン食料雑貨店およびスーパーマーケットなど、複数の製品ラインを販売するオンライン小売ビジネスは、数十または数十万もの異なる製品ラインを保管することができるシステムを必要とする。そのような場合、単一製品のスタックの使用は、必要とされるスタックのすべてを収容するために莫大な床面積が必要とされることになるので、実際的でないことがある。さらに、腐りやすいものまたはまれに注文される商品など、少量のいくつかのアイテムを保管することが望ましいことがあり、これは、単一製品のスタックを非効率的なソリューションにする。
【0003】
その内容が参照により本明細書に組み込まれる、国際特許出願第ＷＯ９８／０４９０７６Ａ号（Ａｕｔｏｓｔｏｒｅ）は、コンテナの複数製品のスタックがフレーム構造内に配置されるシステムについて説明する。
【0004】
ＰＣＴ公開番号第ＷＯ２０１５／１８５６２８Ａ号（Ｏｃａｄｏ）は、コンテナのスタックがグリッドフレームワーク構造内に配置される、さらなる知られている保管およびフルフィルメントシステムについて説明する。コンテナは、グリッドフレームワーク構造の上部にあるトラック上で動作可能な、場合によっては「ボット」として知られる、１つまたは複数の積荷取扱デバイス（load handling device）によってアクセスされる。このタイプのシステムが、添付の図面の図１～図３に概略的に示されている。
【0005】
図１および図２に示されているように、「ビン」としても知られる、スタック可能なコンテナ１０が、互いの上部にスタックされて、スタック１２を形成する。スタック１２は、たとえば、倉庫保管環境または製造環境において、グリッドフレームワーク構造１４において配置される。グリッドフレームワーク構造１４は、複数の保管列またはグリッド列からなる。グリッドフレームワーク構造における各グリッドが、コンテナのスタックを保管するための少なくとも１つのグリッド列を有する。図１は、グリッドフレームワーク構造１４の概略斜視図であり、図２は、フレームワーク構造１４内に配置されたビン１０のスタック１２を示す概略トップダウン図である。各ビン１０が、一般に、複数の製品アイテム（図示せず）を保持する。ビン１０内の製品アイテムは、適用例に応じて、同等のまたは異なる製品タイプであり得る。
【0006】
グリッドフレームワーク構造１４は、水平部材１８、２０を支持する複数の直立部材１６を備える。平行な水平グリッド部材１８の第１のセットが、直立部材１６によって支持された水平グリッド構造１５を形成するように、平行な水平部材２０の第２のセットに直角に、グリッドパターンにおいて配置される。部材１６、１８、２０は、一般に金属から製造される。ビン１０は、グリッドフレームワーク構造１４が、ビン１０のスタック１２の水平移動に対してガードし、ビン１０の垂直移動を誘導するように、グリッドフレームワーク構造１４の部材１６、１８、２０の間にスタックされる。
【0007】
グリッドフレームワーク構造１４の最上レベルは、スタック１２の上部にわたってグリッドパターンにおいて配置されたレール２２を含む、グリッドまたはグリッド構造１５を備える。図３を参照すると、レールまたはトラック２２は、複数の積荷取扱デバイス３０を誘導する。平行なレール２２の第１のセット２２ａが、グリッドフレームワーク構造１４の上部にわたって、第１の方向（たとえば、Ｘ方向）においてロボット積荷取扱デバイス３０の移動を誘導する。第１のセット２２ａに直角に配置された、平行なレール２２の第２のセット２２ｂが、第１の方向に直角な、第２の方向（たとえば、Ｙ方向）において積荷取扱デバイス３０の移動を誘導する。このようにして、レール２２は、ロボット積荷取扱デバイス３０が、水平Ｘ－Ｙ平面における２つの次元において横方向に移動することを可能にする。積荷取扱デバイス３０は、スタック１２のいずれかの上の位置に移動され得る。
【0008】
図４、図５、図６Ａおよび図６Ｂに示されている、積荷取扱デバイス３０の知られている形態が、参照により本明細書に組み込まれる、ＰＣＴ特許公報第ＷＯ２０１５／０１９０５５号（Ｏｃａｄｏ）において説明され、各積荷取扱デバイス３０が、グリッドフレームワーク構造１４の単一のグリッド空間１７をカバーする。この構成は、積荷ハンドラのより高い密度、したがって、所与のサイズの保管システムについてのより高いスループットを可能にする。
【0009】
例示的な積荷取扱デバイス３０は車両３２を備え、車両３２は、フレーム構造１４のレール２２上で進むように配置される。車両３２の前面におけるホイール３４のペアと車両３２の背面におけるホイール３４のペアとからなる、ホイール３４の第１のセットが、レール２２の第１のセット２２ａの２つの隣接するレールと係合するように配置される。同様に、車両３２の各側におけるホイール３６のペアからなる、ホイール３６の第２のセットが、レール２２の第２のセット２２ｂの２つの隣接するレールと係合するように配置される。積荷取扱デバイス３０の移動中いつでも、ホイール３４の第１のセットまたはホイール３６の第２のセットのいずれかがレールのそれぞれのセット２２ａ、２２ｂと係合されるように、ホイール３４、３６の各セットが持ち上げられおよび降ろされ得る。たとえば、ホイール３４の第１のセットがレールの第１のセット２２ａと係合され、ホイール３６の第２のセットがレール２２から離れて持ち上げられたとき、ホイール３４の第１のセットは、Ｘ方向において積荷取扱デバイス３０を移動させるように、車両３２中に格納された駆動機構（図示せず）によって、駆動され得る。Ｙ方向における移動を達成するために、ホイール３４の第１のセットは、レール２２から離れて持ち上げられ、ホイール３６の第２のセットは降ろされて、レール２２の第２のセット２２ｂと係合する。駆動機構は、次いで、Ｙ方向において積荷取扱デバイス３０を移動させるようにホイール３６の第２のセットを駆動するために使用され得る。
【0010】
積荷取扱デバイス３０は、上から保管コンテナを持ち上げるための持ち上げ機構、たとえば、クレーン機構を装備している。持ち上げ機構は、スプールまたはリール（図示せず）に巻かれたウインチテザーまたはケーブル３８と、グリッパーデバイス３９とを備える。図５に示されている持ち上げ機構は、垂直方向に延在する４つの持ち上げテザー３８のセットを備える。テザー３８は、保管コンテナ１０への解放可能な接続のために、グリッパーデバイス３９、たとえば、持ち上げフレームの、それぞれの４つのコーナーにおいてまたはその近くで接続される。たとえば、それぞれのテザー３８が、持ち上げフレーム３９の４つのコーナーの各々においてまたはその近くに配置される。グリッパーデバイス３９は、保管コンテナ１０の上部を解放可能に把持して、図１および図２に示されているタイプの保管システム１におけるコンテナのスタックからそれを持ち上げるように、構成される。たとえば、持ち上げフレーム３９は、ビン１０の上面を形成するリム中の対応するホール（図示せず）と嵌合するピン（図示せず）と、ビン１０を把持するためにリムと係合可能である摺動クリップ（図示せず）とを含み得る。クリップは、持ち上げフレーム３９内に格納され、ケーブル３８自体または別個の制御ケーブル（図示せず）を通して運ばれる信号によって電力供給および制御される、好適な駆動機構によって、ビン１０と係合するように駆動される。
【0011】
スタック１２の上部からビン１０を除去するために、積荷取扱デバイス３０は、最初に、スタック１２の上にグリッパーデバイス３９を位置決めするようにＸ方向およびＹ方向において移動される。グリッパーデバイス３９は、次いで、図４および図６Ｂに示されているように、スタック１２の上部のビン１０と係合するようにＺ方向において垂直方向に降ろされる。グリッパーデバイス３９は、ビン１０を把持し、次いで、ビン１０が取り付けられた状態で、ケーブル３８によって上方に引かれる。その垂直方向進行の上部において、ビン１０は、車両本体３２内に収容されたレール２２の上に保持される。このようにして、積荷取扱デバイス３０は、それとともにビン１０を運んで、ビン１０を別のロケーションに搬送するために、Ｘ－Ｙ平面において異なる位置に移動され得る。ターゲットロケーション（たとえば、別のスタック１２、保管システム中のアクセスポイント、またはコンベヤベルト）に到着すると、ビンまたはコンテナ１０は、コンテナ受入部分から降ろされ、グラバーデバイス３９から解放され得る。ケーブル３８は、たとえば、フロアレベルを含む、スタック１２の任意のレベルから、積荷取扱デバイス３０がビンを取り出し、置くことを可能にするのに十分に長い。
【0012】
図３に示されているように、複数の同等の積荷取扱デバイス３０が、各積荷取扱デバイス３０が、システムのスループットを増加させるために同時に動作することができるように、提供される。図３に示されているシステムは、ビン１０が、そこにおいてシステム中にまたはシステムの中から移され得る、ポートとして知られる、特定のロケーションを含み得る。追加のコンベヤシステム（図示せず）が、積荷取扱デバイス３０によってポートに搬送されたビン１０が、ピッキングステーション（図示せず）など、別のロケーションにそのコンベヤシステムによって移され得るように、各ポートに関連する。同様に、ビン１０は、外部ロケーションからポートに、たとえば、ビン充填ステーション（図示せず）に、コンベヤシステムによって移動され、システム中のストックを補充するために、積荷取扱デバイス３０によってスタック１２に搬送され得る。
【0013】
各積荷取扱デバイス３０は、一度に、１つのビン１０を持ち上げ、移動させることができる。積荷取扱デバイス３０は、それの下側部分に、コンテナ受入キャビティまたはリセス４０を有する。リセス４０は、図６Ａおよび図６Ｂに示されているように、持ち上げ機構３８、３９によって持ち上げられたとき、コンテナ１０を収容するようにサイズ決定される。リセス中にあるときに、コンテナ１０は、車両３２が、異なるグリッドロケーションに横方向に移動することができるように、下のレール２２から離れて持ち上げられる。
【0014】
スタック１２の上部にないビン１０ｂ（「ターゲットビン」）を取り出すことが必要である場合、上にあるビン１０ａ（「非ターゲットビン」）は、ターゲットビン１０ｂへのアクセスを可能にするために、最初に移動されなければならない。これは、以下、「掘り出し（digging）」と呼ばれる動作によって達成される。図３を参照すると、掘り出し動作中に、積荷取扱デバイス３０のうちの１つが、ターゲットビン１０ｂを含んでいるスタック１２から各非ターゲットビン１０ａを連続的に持ち上げ、それを別のスタック１２内の空いている位置に置く。ターゲットビン１０ｂは、次いで、積荷取扱デバイス３０によってアクセスされ、さらなる搬送のためのポートに移動され得る。
【0015】
各積荷取扱デバイス３０は、中央コンピュータ、たとえば、マスタコントローラの制御下でリモートで動作可能である。また、システム中の各個々のビン１０は、適切なビン１０が、必要に応じて取り出され、搬送され、交換され得るように、追跡される。たとえば、掘り出し動作中に、各非ターゲットビンロケーションが、非ターゲットビン１０ａが追跡され得るように、ロギングされる。
【0016】
ワイヤレス通信およびネットワークが、マスタコントローラから、たとえば、１つまたは複数の基地局を介して、グリッド構造１５上で動作可能な１つまたは複数の積荷取扱デバイス３０に通信インフラストラクチャを提供するために使用され得る。マスタコントローラから命令を受信することに応答して、積荷取扱デバイス３０中のコントローラが、積荷取扱デバイスの移動を制御するように様々な駆動機構を制御するように構成される。たとえば、積荷取扱デバイス３０は、グリッド構造１５上の特定のロケーションにおいてターゲット保管列からコンテナを取り出すように命令され得る。命令は、グリッド構造１５のＸ－Ｙ平面における様々な移動を含むことができる。前に説明されたように、ターゲット保管列に着くと、持ち上げ機構３８、３９は、保管コンテナ１０を把持し、持ち上げるように動作され得る。コンテナ１０が積荷取扱デバイス３０のコンテナ受入空間４０中に収容されると、コンテナ１０は、その後、グリッド構造１５上の別のロケーション、たとえば、「ドロップオフ（drop-off）ポート」に搬送される。ドロップオフポートにおいて、コンテナ１０は、保管コンテナ中の任意のアイテムの取出しを可能にするために、好適なピックステーションに降ろされる。グリッド構造１５上での積荷取扱デバイス３０の移動は、積荷取扱デバイス３０が、通常、グリッド構造１５の周辺にある、充電ステーションに移動するように命令されることをも伴い得る。
【0017】
グリッド構造１５上で積荷取扱デバイス３０を動かすために、積荷取扱デバイス３０の各々が、ホイール３４、３６を駆動するためのモーターを装備している。ホイール３４、３６は、ホイールに接続された１つまたは複数のベルトを介して駆動されるか、またはホイールに組み込まれたモーターによって個々に駆動され得る。単一セル積荷取扱デバイスの場合（積荷取扱デバイス３０のフットプリントが単一のグリッドセル１７を占有する場合）、ホイールを駆動するためのモーターは、車両本体内の空間の限られた利用可能性により、ホイールに組み込まれ得る。たとえば、単一セル積荷取扱デバイス３０のホイールは、それぞれのハブモーターによって駆動される。各ハブモーターが、内側固定子を形成するコイルを備えるホイールハブを中心として回転するように配置された複数の永久磁石をもつ外側回転子を備える。
【0018】
図１～図６Ｂを参照しながら説明されたシステムは、多くの利点を有し、広範囲の保管および取出し動作に好適である。特に、それは、製品の極めて高密度の保管を可能にし、ビン１０中に広範囲の異なるアイテムを保管する極めて経済的な方法を提供しながら、ピッキングのために必要とされるときにビン１０のすべてへの適度に経済的なアクセスをも可能にする。
【0019】
しかしながら、本開示の目的は、保管システムにおいてリモートで動作される積荷取扱デバイスの正しいロケーションを確実に決定するための方法およびシステムを提供することである。
【発明の概要】
【0020】
保管システムのグリッドの上に配設された広角または超広角カメラを較正する方法であって、グリッドが、Ｘ方向に延在する平行なトラックの第１のセットと、実質的に水平な平面において第１のセットに直交する、Ｙ方向に延在する平行なトラックの第２のセットとによって形成され、グリッドが、複数のグリッド空間を備え、単一のグリッド空間のフットプリント内でトラックの下にスタックされたコンテナを取り扱うために、トラック上でＸ方向またはＹ方向のうちの少なくとも１つにおいて選択的に移動可能である、１つまたは複数の搬送デバイスを支持するように配置される、方法が提供される。本方法は、カメラによってキャプチャされたグリッドのグリッドセクションの画像を取得することと、カメラに対応する複数のパラメータの初期値を取得することと、複数のパラメータが、カメラの焦点距離と、グリッドセクションの上のカメラの位置を表現する並進ベクトルと、カメラの傾きおよび回転を表現する回転ベクトルとを含む、上記画像を、グリッドセクションの画像中にキャプチャされた、平行なトラックの第１のセットおよび第２のセットのモデルを生成するために、広角または超広角カメラによってキャプチャされたグリッドセクションの画像中の平行なトラックの第１のセットおよび第２のセットを検出／予測するようにトレーニングされたニューラルネットワークを使用して、処理することと、複数のパラメータに基づくマッピングを使用して、モデル中の選択されたピクセルを、グリッド上の対応するポイントにマッピングすることと、ここにおいて、初期値が、マッピングへの入力として使用される、マッピングによって決定されたポイントのグリッド座標と知られているグリッド座標との間の不一致に基づいて、誤差関数を決定することと、誤差関数に基づいて、初期値を複数のパラメータの更新された値に更新することと、マッピングを介して、カメラによってキャプチャされたグリッドセクションの画像中のピクセルを、保管システムのグリッド上の対応するポイントにマッピングするために、複数のパラメータの更新された値を記憶することとを備える。
【0021】
また、本方法を実施するように構成されたプロセッサを備えるデータ処理装置が、提供される。また、コンピュータプログラムであって、上記プログラムがコンピュータによって実行されたとき、コンピュータに本方法を行わせる命令を備えるコンピュータプログラムが、提供される。同様に、コンピュータによって実行されたとき、コンピュータに本方法を行わせる命令を備える、コンピュータ可読記憶媒体が、提供される。
【0022】
さらに、保管システムのグリッドの上に配設された広角または超広角カメラを較正するための較正システムであって、グリッドが、Ｘ方向に延在する平行なトラックの第１のセットと、実質的に水平な平面において第１のセットに直交する、Ｙ方向に延在する平行なトラックの第２のセットとによって形成され、グリッドが、複数のグリッド空間を備え、単一のグリッド空間のフットプリント内でトラックの下にスタックされたコンテナを取り扱うために、トラック上でＸ方向またはＹ方向のうちの少なくとも１つにおいて選択的に移動可能である、１つまたは複数の搬送デバイスを支持するように配置される、較正システムが提供される。本較正システムは、カメラによってキャプチャされたグリッドのグリッドセクションの画像を取得することと、カメラに対応する複数のパラメータの初期値を取得することと、複数のパラメータが、カメラの焦点距離と、グリッドセクションの上のカメラの位置を表現する並進ベクトルと、カメラの傾きおよび回転を表現する回転ベクトルとを含む、を行うための少なくとも１つのインターフェースと、上記画像を、グリッドセクションの画像中にキャプチャされた、平行なトラックの第１のセットおよび第２のセットのモデルを生成するために、広角または超広角カメラによってキャプチャされたグリッドセクションの画像中の平行なトラックの第１のセットおよび第２のセットを検出／予測するようにトレーニングされたニューラルネットワークを使用して、処理することと、複数のパラメータに基づくマッピングを使用して、モデル中のピクセルを、グリッド上の対応するポイントにマッピングすることと、ここにおいて、初期値が、マッピングへの入力として使用される、マッピングによって決定されたポイントのグリッド座標と知られているグリッド座標との間の不一致に基づいて、誤差関数を決定することと、誤差関数に基づいて、初期値を複数のパラメータの更新された値に更新することと、マッピングを介して、カメラによってキャプチャされたグリッドセクションの画像中のピクセルを、保管システムのグリッド上の対応するポイントにマッピングするために、複数のパラメータの更新された値をストレージに出力することとを行うように構成された、少なくとも１つのプロセッサとを備える。
【0023】
大まかに言えば、この説明は、保管システムの作業空間の上の広角または超広角カメラを較正するためのシステムおよび方法を紹介する。較正は、広角または超広角角度レンズによってひずんだ、カメラによってキャプチャされた画像との対話が、作業空間に正しくマッピングされることを可能にする。したがって、ひずんだ画像中のピクセルの選択されたエリアが、たとえば、作業空間中のグリッド空間の対応するエリアにマッピングされ得る。たとえば、本明細書で説明されるシステムおよび方法を使用して広角または超広角カメラを較正することが、作業空間の広い視野をもつカメラによってキャプチャされた画像が、その上で動作する搬送デバイスを検出し、そのロケーションを特定する（localise）ために使用されることを可能にする。これは、他のカメラタイプのものと比較して、画像中に存在する比較的高いひずみにもかかわらずである。
【0024】
次に、同様の参照番号が同じまたは対応する部分を指定する、添付の図面を参照しながら、実施形態が単に例として説明される。
【図面の簡単な説明】
【0025】
【図1】知られているシステムによる、グリッドフレームワーク構造の概略図。
【図3】グリッドフレームワーク構造上で動作可能な積荷取扱デバイスを示す知られている保管システムの概略図。
【図4】グリッドフレームワーク構造の一部分上の積荷取扱デバイスの概略斜視図。
【図5】上からコンテナを把持する持ち上げ機構を示す積荷取扱デバイスの概略斜視図。
【図7】実施形態による、グリッドフレームワーク構造上で動作可能な積荷取扱デバイスを、グリッドフレームワーク構造の上に位置するカメラとともに示す、保管システムの概略図。
【図8A】実施形態による、グリッドフレームワーク構造の上に位置するカメラによってキャプチャされた画像の概略表現の図。
【図8B】実施形態による、グリッドフレームワーク構造の上に位置するカメラによってキャプチャされた画像の概略表現の図。
【図9】実施形態による、ニューラルネットワークの概略図。
【図10A】実施形態による、グリッドフレームワーク構造のトラックの生成されたモデルの概略図。
【図10B】実施形態による、グリッドフレームワーク構造のトラックの生成されたモデルの概略図。
【図11】実施形態による、グリッドフレームワーク構造のキャプチャされた画像の平坦化を示す概略図。
【図12】実施形態による、グリッドフレームワーク構造のキャプチャされた画像の修正を示す概略図。
【図13】実施形態による、保管システムのグリッドの上に配設された超広角カメラを較正する方法を示すフローチャート。
【図14】実施形態による、グリッドを備える作業空間中の搬送デバイスを検出する方法を示すフローチャート。
【図15】実施形態による、グリッドを備える作業空間中の搬送デバイス上の識別マーカーを検出する方法を示すフローチャート。
【図16】作業空間中で動作する１つまたは複数の搬送デバイスの移動の制御を支援するための方法を示すフローチャート。
【発明を実施するための形態】
【0026】
図１～図３に示されているタイプの保管システムでは、マスタコントローラから独立してグリッド構造１５上で動作する所与の積荷取扱デバイス３０の位置を決定することが有用である。各積荷取扱デバイス３０が、グリッド構造上のあるロケーションから別のロケーションに所定の経路に沿って移動するように、マスタコントローラから制御信号を送られる。たとえば、所与の積荷取扱デバイス３０が、グリッド構造１５上の特定のロケーションに移動して、その特定のロケーションにおいてコンテナのスタックからターゲットコンテナを持ち上げるように、命令され得る。複数のそのようなデバイス３０がグリッド構造１５上でそれぞれの軌道に沿って移動する場合、たとえば、所与の積荷取扱デバイスとマスタコントローラとの間の通信が失われた場合に、グリッド構造１５に対する所与の積荷取扱デバイス３０の正確な位置を決定することが可能であることが有用である。たとえば、グリッド構造上でのまたはその周りでの、積荷取扱デバイスと別の物体、たとえば別の積荷取扱デバイスとの間の衝突が、その積荷取扱デバイス、または各積荷取扱デバイスが、マスタコントローラからの通信に無反応になることを、たとえば、それへの接続の喪失、および／またはグリッド構造１５のトラック２２からの係合解除によって、引き起こし得る。衝突は、たとえば、１つまたは複数の積荷取扱デバイスが、トラック２２と不整合すること、またはグリッド構造上で倒れることを生じ得る。
【0027】
グリッド構造１５とその上で移動する積荷取扱デバイス３０とをモニタすることが、複数の積荷取扱デバイスの動作を解決するために検出および／または作用されることになるような、積荷取扱デバイスの無反応のインスタンス（instance）を可能にすることができる。グリッド構造１５に対する所与の積荷取扱デバイス３０の位置の独立した評価を有することが、他の技術目的、たとえば、グリッド構造１５上の積荷取扱デバイス３０のあらかじめ決定された軌道をそれの真の位置に対してモニタすることのためにも、有用であり得る。
【0028】
図７は、前に説明された、保管システムのグリッド構造（または単に「グリッド」）１５を示す。グリッドは、Ｘ方向に延在する平行なトラックの第１のセット２２ａと、実質的に水平な平面において第１のセットに直交する、Ｙ方向に延在する平行なトラックの第２のセット２２ｂとによって形成される。グリッド１５は、複数のグリッド空間１７を有する。１つまたは複数の積荷取扱デバイス、または「搬送デバイス」３０は、トラック２２上でＸ方向またはＹ方向のうちの少なくとも１つにおいて選択的に移動することと、単一のグリッド空間１７のフットプリント内でトラック２２の下にスタックされたコンテナ１０を取り扱うこととを行うように配置される。例では、１つまたは複数の搬送デバイス３０は、１つのグリッド空間を占有する所与の搬送デバイスが、隣接するグリッド空間を占有するかまたは横断する別の搬送デバイスを妨害しないように、各々、同じく単一のグリッド空間のみを占有するフットプリントを有する。
【0029】
グリッド１５の上に、カメラ７１が配設される。例では、カメラ７１は、超広角カメラであり、すなわち、（「スーパー広角（super wide-angle）」レンズまたは「魚眼」レンズとも呼ばれる）超広角レンズを備える。カメラ７１は、レンズ、たとえば、魚眼レンズを通して集束される入射光を受けるための画像センサーを含む。カメラ７１は、グリッド１５の少なくともセクションを含む視野７２を有する。複数のカメラが、グリッド１５全体を観測するために使用され得、たとえば、各カメラ７１が、グリッド１５のセクションをカバーするそれぞれの視野７２を有する。超広角レンズは、他のレンズタイプと比較して、たとえば、１８０度立体角までの、その比較的大きい視野７２のために選択され得、これは、グリッド１５をカバーするためにより少数のカメラが必要とされることを意味する。また、空間は、グリッド１５の上部と、周囲構造、たとえば倉庫屋根との間で限られており、したがって、グリッド１５の上のカメラ７１の高さを制約し得る。超広レンズカメラが、他のカメラタイプと比較してグリッド１５の上の比較的低い高さにおいて比較的大きい視野を提供することができる。
【0030】
１つまたは複数のカメラ７１は、搬送デバイス３０の作業空間をモニタするために使用され得、作業空間は、グリッド構造１５を含む。たとえば、１つまたは複数のカメラ７１からの画像供給が、欠陥のある、たとえば、無反応な、搬送デバイスのインスタンスを監視するために、グリッド１５からリモートにある１つまたは複数のコンピュータモニタ上に表示され得る。したがって、オペレータは、そのようなインスタンスを検出し、たとえば、搬送デバイスとマスタコントローラとの間の通信リンクをリセットすること、または機械的問題に対する手動介入を要求することによって、問題点を解決するように作用し得る。
【0031】
作業空間のための効果的なモニタリングまたは監視システムは、作業空間の上に位置する１つまたは複数の超広角カメラの較正を組み込む。超広角カメラの正確な較正は、超広角レンズによってひずんだ、超広角カメラによりキャプチャされた画像との対話が、作業空間に正しくマッピングされることを可能にする。したがって、オペレータは、ひずんだ画像中のピクセルのエリアを選択することができ、これは、たとえば、作業空間中のグリッド空間の対応するエリアにマッピングされる。他のシナリオでは、カメラ７１からのひずんだ画像は、作業空間中の欠陥のある搬送デバイス３０を検出し、作業空間中のそれのロケーションと、さらには、一意のＩＤラベルなど、検出された搬送デバイス３０の識別情報とを出力するために、処理され得る。そのような例は、以下の実施形態において説明される。
【0032】
較正プロセス
較正プロセス１３０は、図１３に示されている例に従って、超広角カメラ７１によってキャプチャされた、グリッド１５のセクション、すなわちグリッドセクションの画像を取得すること１３１を含む。画像を取得することは、たとえば、プロセッサにおいて、画像を表現する画像データを取得すること、たとえば、受信することを含む。たとえば、画像データは、インターフェース、たとえば、カメラシリアルインターフェース（ＣＳＩ）を介して、受信され得る。画像信号プロセッサ（ＩＳＰ）が、画像データを表示のために準備するために、画像データの初期処理、たとえば、飽和補正、再正規化、ホワイトバランス調整および／またはデモザイキングを実施し得る。
較正プロセス１３０は、図１３に示されている例に従って、超広角カメラ７１によってキャプチャされた、グリッド１５のセクション、すなわちグリッドセクションの画像を取得すること１３１を含む。画像を取得することは、たとえば、プロセッサにおいて、画像を表現する画像データを取得すること、たとえば、受信することを含む。たとえば、画像データは、インターフェース、たとえば、カメラシリアルインターフェース（ＣＳＩ）を介して、受信され得る。画像信号プロセッサ（ＩＳＰ）が、画像データを表示のために準備するために、画像データの初期処理、たとえば、飽和補正、再正規化、ホワイトバランス調整および／またはデモザイキングを実施し得る。
【0033】
超広角カメラ７１に対応する複数のパラメータの初期値も取得される１３２。それらのパラメータは、超広角カメラの焦点距離と、グリッドセクションの上の超広角カメラの位置を表現する並進ベクトルと、超広角カメラの傾きおよび回転を表現する回転ベクトルとを含む。これらのパラメータは、カメラ７１の超広角レンズによってひずんだ画像中のピクセルを、保管システムの直交グリッド１５に対して配向された平面にマッピングするための、マッピングアルゴリズムにおいて使用可能である。マッピングアルゴリズムは、以下でより詳細に説明される。
【0034】
較正プロセス１３０は、画像を、超広角カメラによってキャプチャされたグリッドセクションの画像中のトラックを検出／予測するようにトレーニングされたニューラルネットワークを使用して、処理すること１３３を含む。
【0035】
ニューラルネットワーク
図９は、ニューラルネットワークアーキテクチャの一例を示す。例示的なニューラルネットワーク９０は、畳み込みニューラルネットワーク（ＣＮＮ）である。ＣＮＮの一例は、フライブルク大学のコンピュータサイエンス学部によって開発されたＵ－Ｎｅｔアーキテクチャであるが、他のＣＮＮ、たとえば、ＶＧＧ－１６ ＣＮＮが使用可能である。ＣＮＮ９０への入力９１が、この例では画像データを備える。入力画像データ９１は、所与の数のピクセル幅および所与の数のピクセル高さであり、１つまたは複数の色チャネル（たとえば、赤色、緑色および青色チャネル）を含む。
図９は、ニューラルネットワークアーキテクチャの一例を示す。例示的なニューラルネットワーク９０は、畳み込みニューラルネットワーク（ＣＮＮ）である。ＣＮＮの一例は、フライブルク大学のコンピュータサイエンス学部によって開発されたＵ－Ｎｅｔアーキテクチャであるが、他のＣＮＮ、たとえば、ＶＧＧ－１６ ＣＮＮが使用可能である。ＣＮＮ９０への入力９１が、この例では画像データを備える。入力画像データ９１は、所与の数のピクセル幅および所与の数のピクセル高さであり、１つまたは複数の色チャネル（たとえば、赤色、緑色および青色チャネル）を含む。
【0036】
ＣＮＮ９０の畳み込み層９２、９４が、一般に、特徴マップを作成するために、入力データ９１から特定の特徴を抽出し、画像の小さい部分に対して動作し得る。全結合層９６は、出力９７、たとえば、入力画像９１中に存在することが予測される物体のクラスを指定する分類データを決定するために、特徴マップを使用する。
【0037】
図９の例では、第１の畳み込み層９２の出力は、第２の畳み込み層９４に入力される前に、プーリング層９３においてプーリングを受ける。プーリングは、たとえば、画像または特徴マップの領域のための値が、たとえば領域内の最も高い値をとることによって、アグリゲートされるかまたは組み合わせられることを可能にする。たとえば、２×２の最大プーリングでは、出力全体を移すのではなく、第１の畳み込み層９２から出力された特徴マップの２×２ピクセルパッチ内の第１の畳み込み層９２の出力の最も高い値が、第２の畳み込み層９４への入力として使用される。したがって、プーリングは、ニューラルネットワーク９０の後続の層のための算出量を低減することができる。プーリングの効果は、関係する層におけるフレームのサイズの低減として、図９に概略的に示されている。さらなるプーリングが、第２のプーリング層９５において、第２の畳み込み層９４と全結合層９６との間で実施される。図９中のニューラルネットワーク９０の概略表現が、説明しやすいように大幅に簡略化されており、一般的なニューラルネットワークは、著しくより複雑であり得ることを諒解されたい。
【0038】
概して、図９のニューラルネットワーク９０などのニューラルネットワークは、そのニューラルネットワークが特定の目的のためにトレーニングされる、「トレーニングフェーズ」と呼ばれるものを受け得る。ニューラルネットワークは、一般に、グラフの（ニューロンに対応する）頂点または（結合に対応する）エッジが、それぞれ、重みに関連する、有向の、重み付けされたグラフを形成する相互結合された人工ニューロンの層を含む。重みは、トレーニング全体にわたって調整され得、個々のニューロンの、および、したがって、全体としてニューラルネットワークの出力を変更する。ＣＮＮでは、全結合層９６は、一般に、１つの層中のあらゆるニューロンを別の層中のあらゆるニューロンに結合し、したがって、画像が、特定のクラスの物体、または特定のクラスに属する特定のインスタンスを含むかどうかなど、画像の全体的特性を識別するために使用され得る。
【0039】
本コンテキストでは、ニューラルネットワーク９０は、たとえば、所定のクラスの物体のうちのある物体が画像中に存在するかどうかを決定するために、画像データを処理することによって物体識別を実施するようにトレーニングされる（とはいえ、他の例では、代わりに、ニューラルネットワーク９０が画像の他の画像特性を識別するようにトレーニングされていることがある）。たとえば、このようにしてニューラルネットワーク９０をトレーニングすることは、画像データに適用されるべき重みを表現する重みデータを生成する（たとえば、異なる重みが、多層ニューラルネットワークアーキテクチャの異なるそれぞれの層に関連する）。これらの重みの各々が、たとえば、重みのカーネルを画像パッチと畳み込むために、画像パッチの対応するピクセル値を乗算される。
【0040】
超広角カメラ較正のコンテキストに特有なことには、ニューラルネットワーク９０は、グリッドセクションの所与の画像中のグリッド１５のトラック２２を検出するために、超広角カメラによってキャプチャされたグリッドセクションの入力画像のトレーニングセットを用いてトレーニングされる。例では、トレーニングセットは、入力画像に対応する、抽出されたトラック特徴のみを示す、マスク画像を含む。たとえば、マスク画像は、手動で作り出される。したがって、マスク画像は、画像のトレーニングセットを使用することでトレーニングすべきニューラルネットワーク９０についての所望の結果として働くことができる。トレーニングされると、ニューラルネットワーク９０は、超広角カメラによってキャプチャされたグリッド構造１５の少なくとも一部の画像中のトラック２２を検出するために使用され得る。
【0041】
較正プロセス１３０は、超広角カメラ７１によってキャプチャされたグリッドセクションの画像を、画像中のトラック２２を検出するために、トレーニングされたニューラルネットワーク９０を用いて、処理すること１３３を含む。少なくとも１つのプロセッサ（たとえば、ニューラルネットワークアクセラレータ）が、処理１３３を行うために使用され得る。画像処理１３３は、グリッドセクションの画像中にキャプチャされた、トラック、特に、平行なトラックの第１のセットおよび第２のセットのモデルを生成する。たとえば、モデルは、ニューラルネットワーク９０によって決定された、グリッドセクションのひずんだ画像中のトラックの予測の表現を備える。トラックのモデルは、例ではマスクまたは確率マップに対応する。
【0042】
次いで、決定されたトラックモデル中の選択されたピクセルが、超広角カメラに対応する複数のパラメータを組み込むマッピング、たとえば、マッピングアルゴリズムを使用して、グリッド１５上の対応するポイントにマッピングされる１３４。取得された初期値は、マッピングアルゴリズムへの入力として使用される。
【0043】
誤差関数（または「損失関数」）が、マッピングされたグリッド座標と、選択されたピクセルに対応するポイントの「真の」、たとえば知られている、グリッド座標との間の不一致に基づいて、決定される１３５。たとえば、Ｘ方向トラック２２ａの中心にある選択されたピクセルが、Ｙ方向における半整数値をもつグリッド座標、たとえば（ｘ，ｙ．５）に対応するべきであり、ここで、ｘは知られていない数であり、ｙは知られていない整数である。同様に、Ｙ方向トラック２２ｂの中心にある選択されたピクセルが、Ｘ方向における半整数値をもつグリッド座標、たとえば（ｘ’．５，ｙ’）に対応するべきであり、ここで、ｘ’は知られていない整数であり、ｙ’は知られていない数である。例では、グリッドセルの幅および長さ（またはその比）が、たとえば、キーポイントについてセルｘ，ｙ座標を計算し、それらがトラック上にある（たとえば、ｎ．５の座標値、ここで、ｎは整数である）かどうかを確認するために、損失関数において使用される。
【0044】
超広角カメラに対応する複数のパラメータの初期値は、次いで、決定された誤差関数に基づいて、更新された値に更新される１３６。たとえば、ブロイデン－フレッチャー－ゴールドファーブ－シャンノ（ＢＦＧＳ）アルゴリズムが、誤差関数と初期パラメータ値とを入力として使用して適用される。例では、複数のパラメータの更新された値は、反復的に決定され、誤差関数が各更新とともに再計算される。反復は、誤差関数が、たとえば、連続反復間で、または初期誤差関数と比較して、所定のしきい値未満だけ低減されるまで、あるいは誤差関数の絶対値が所定のしきい値を下回るまで、続き得る。他の反復アルゴリズム、たとえば、逐次２次計画法（ＳＱＰ：sequential quadratic programming）または逐次最小２乗２次計画法（ＳＬＳＱＰ：sequential least-squares quadratic programming）が、複数のパラメータについての近似解を改善するシーケンスを生成するために、初期値とともに使用され得、シーケンスにおける所与の近似が、前のものから導出される。場合によっては、反復アルゴリズムは、複数のパラメータの値を最適化するために使用される。たとえば、更新された値は、複数のパラメータの最適化された値である。
【0045】
超広角カメラに対応する複数のパラメータの初期値を更新すること１３６は、複数のパラメータについて１つまたは複数のそれぞれの境界値を適用することを伴う。たとえば、回転ベクトルに関連する回転角についての境界値は、実質的に０度および実質的に＋５度である。追加または代替として、並進ベクトルの平面成分についての境界値は、グリッドセルの長さの±０．６である。追加または代替として、並進ベクトルの高さ成分についての境界値は、グリッドの１８００ｍｍおよび２１００ｍｍ、または１９５０ｍｍおよび２５５０ｍｍ、または２０００ｍｍおよび２５５０ｍｍ上である。たとえば、カメラ高さについての下限が、１８００～２０００ｍｍの範囲内である。たとえば、カメラ高さについての上限が、２１００～２６００ｍｍの範囲内である。追加または代替として、カメラの焦点距離についての境界値は、０．２３および０．２６ｃｍである。複数のパラメータについて１つまたは複数のそれぞれの境界値を適用することは、更新、たとえば最適化、プロセスが、実現可能な領域または解空間、すなわち、１つまたは複数の境界条件を満たすすべての可能な値のセットにおいて、実施されることを意味することができる。
【0046】
複数のパラメータの更新された値は、マッピングアルゴリズムを介した、超広角カメラ７１によってキャプチャされたグリッドセクション画像中のピクセルの、グリッド１５上の対応するポイントへの将来のマッピングのために、電子的に記憶される１３７。たとえば、複数のパラメータの記憶された値は、データストレージから取り出され、超広角カメラ７１によってキャプチャされたグリッドセクションの所与の画像中の所与のピクセルに対応するグリッド座標を算出するために、マッピングアルゴリズムにおいて使用される。例では、更新された値は、超広角カメラ７１に関連する保管ロケーション（storage location）において、たとえば、データベース中に、記憶される。たとえば、ルックアップ機能またはテーブルが、グリッド１５の上で保管システム１において採用された任意の所与の超広角カメラに関連する記憶されたパラメータ値を見つけるためにデータベースとともに使用され得る。
【0047】
グリッド１５の上に配設された所与のカメラ７１の較正に続いて、カメラ７１によってキャプチャされたグリッドセクションの画像（たとえば、「スナップショット」）が、オペレータによる対話のために、平坦化され、すなわち、ひずんでいないようにされ得る。たとえば、説明される画像からグリッドへのマッピング（image-to-grid mapping）機能を使用して、グリッドセクションのひずんだ画像８１は、図１１の例に示されているように、グリッドセクションの平坦化された画像１１１にコンバートされ得る。平坦化は、ひずんだ画像８１中で平坦化すべきグリッドセルのエリアを選択することと、それらのセルに対応するグリッド座標をマッピング機能に入力することとを伴い、マッピング機能は、ひずんだ画像８１からのどのそれぞれのピクセル値が、それぞれのグリッド座標についての平坦化された画像１１１にコピーされるべきであるかを決定する。たとえば、グリッドセルごとのピクセルの、ターゲット解像度が、平坦化された画像１１１について設定され得、ターゲット解像度は、グリッドセル寸法の比に対応する比を有し得る。（ターゲット解像度とグリッドセルの選択された数とに従う）平坦化された画像中で必要とされるすべてのピクセル値が決定されると、平坦化された画像１１１が生成され得る。
【0048】
スナップショットは、所定の間隔において、たとえば１０秒ごとに、カメラ７１によってキャプチャされ、対応する平坦化された画像１１１にコンバートされ得る。直近の平坦化された画像１１１は、たとえば、カメラ７１によってカバーされたグリッドセクションを閲覧することを望むオペレータによって、ディスプレイ上で閲覧するためにストレージに記憶される。オペレータは、代わりに、グリッドショットのスナップショットを撮り直し、それを平坦化させることを選定し得る。したがって、オペレータは、平坦化された画像１１１中の領域、たとえば、ピクセルを選択し、本明細書で説明される、画像からグリッドへのマッピング機能に基づいて、それらの選択された領域をグリッド座標にコンバートさせることができる。いくつかの場合には、平坦化された画像１１１は、平坦化された画像１１１中で閲覧可能なグリッド空間についてのグリッド座標のアノテーション（annotation）を含む。各カメラ７１に対応する平坦化された画像１１１は、ひずんだ画像８１、８２と比較して、グリッド１５をモニタするためによりユーザフレンドリであり得る。
【0049】
グリッドから画像へのマッピング（grid to image mapping）
グリッド１５上の現実世界のポイントを、カメラによってキャプチャされた画像中のピクセルにマッピングすることが、算出アルゴリズムによって行われる。グリッドポイントは、最初に、超広角カメラ７１に対応する平面上に投影される。たとえば、回転行列を使用する回転と、Ｘ方向およびＹ方向における平面並進とのうちの少なくとも１つが、グリッドフレームワーク構造１４中のｘ、ｙ、およびｚ座標を有するポイントに適用される。超広角カメラの焦点距離ｆは、グリッド１５に対する３次元座標をもつポイントを、超広角カメラ７１に対する２次元平面上に投影するために使用され得る。たとえば、超広角カメラ７１の平面におけるマッピングされたポイントｑの座標は、ｑ＝ｆ・ｐ[x,y]÷ｐzとして計算され、ここで、ｐ[x,y]およびｐzは、それぞれ、グリッド１５に対するポイントｐの平面ｘ－ｙ座標および第３のｚ座標である。
グリッド１５上の現実世界のポイントを、カメラによってキャプチャされた画像中のピクセルにマッピングすることが、算出アルゴリズムによって行われる。グリッドポイントは、最初に、超広角カメラ７１に対応する平面上に投影される。たとえば、回転行列を使用する回転と、Ｘ方向およびＹ方向における平面並進とのうちの少なくとも１つが、グリッドフレームワーク構造１４中のｘ、ｙ、およびｚ座標を有するポイントに適用される。超広角カメラの焦点距離ｆは、グリッド１５に対する３次元座標をもつポイントを、超広角カメラ７１に対する２次元平面上に投影するために使用され得る。たとえば、超広角カメラ７１の平面におけるマッピングされたポイントｑの座標は、ｑ＝ｆ・ｐ[x,y]÷ｐzとして計算され、ここで、ｐ[x,y]およびｐzは、それぞれ、グリッド１５に対するポイントｐの平面ｘ－ｙ座標および第３のｚ座標である。
【0050】
超広角カメラ平面上に投影されたポイントｑは、ポイントの第１のデカルト座標を決定するために、その平面におけるデカルト座標系と整合され得る。たとえば、ポイントをデカルト座標系と整合させることは、ポイント、または平面におけるポイントの位置ベクトル（たとえば、原点からポイントへのベクトル）を回転させることを伴う。したがって、回転は、たとえば、カメラによってキャプチャされた画像中の典型的なグリッド配向と整合するためのものであるが、グリッドのＸ方向およびＹ方向が、キャプチャされた画像とすでに整合されている場合、必要でないことがある。回転は、例では実質的に９０度である。図８Ａおよび図８Ｂに示されているように、グリッドのＸ方向およびＹ方向は、画像の水平軸および垂直軸に関して９０度だけオフセットされ、したがって、回転は、グリッドのＸ方向およびＹ方向が、キャプチャされた画像の水平軸および垂直軸と整合するように、このオフセットを「補正」する。
【0051】
グリッドから画像へのマッピング（grid-to-image mapping）アルゴリズムは、標準的三角法を使用して、第１のデカルト座標を第１の極座標にコンバートすることを続ける。次いで、ひずみモデルが、第２の、たとえば「ひずんだ」極座標を生成するために、ポイントの第１の極座標に適用される。例では、ひずみモデルは、ｒ’＝ｆ・ａｒｃｔａｎ（ｒ／ｆ）によって与えられるひずみのタンジェントモデルを備え、ここで、ｒおよびｒ’は、それぞれ、ポイントのひずんでいない半径方向座標およびひずんだ半径方向座標であり、ｆは超広角カメラの焦点距離である。
【0052】
第２の極座標は、次いで、同じ標準的三角法を逆に使用して、（第２の）デカルト座標に逆にコンバートされる。次いで、第２のデカルト座標に基づいて、画像中のピクセルの画像座標が決定される。例では、この決定は、第２のデカルト座標をセンタリング解除する（de-center）ことまたは再スケーリングすることのうちの少なくとも１つを含む。追加または代替として、第２のデカルト座標の縦座標（ｙ座標）は反転され、たとえばｘ軸においてミラーリングされる。
【0053】
画像からグリッドへのマッピング
カメラ７１によってキャプチャされた画像中のピクセルをグリッド１５上の現実世界のポイントにマッピングすることが、異なる算出アルゴリズムによって行われる。たとえば、画像からグリッドへのマッピングアルゴリズムは、上記で説明されたグリッドから画像へのマッピングアルゴリズムの逆であり、各数学演算が反転される。
カメラ７１によってキャプチャされた画像中のピクセルをグリッド１５上の現実世界のポイントにマッピングすることが、異なる算出アルゴリズムによって行われる。たとえば、画像からグリッドへのマッピングアルゴリズムは、上記で説明されたグリッドから画像へのマッピングアルゴリズムの逆であり、各数学演算が反転される。
【0054】
画像中の所与のピクセルについて、画像中のピクセルの画像座標に基づいて、マッピングされたポイントの（第２の）デカルト座標が決定される。たとえば、この決定は、たとえば、画像座標をセンタリングすることまたは正規化することのうちの少なくとも１つを含む、画像中のピクセルを初期化することを伴う。前述のように、縦座標は、いくつかの例では反転される。第２のデカルト座標は、前述の標準的三角法を使用して第２の極座標にコンバートされる。ラベル「第２の」の使用は、説明されるグリッドから画像へのアルゴリズムにおいて行われるコンバージョンとの一貫性のために使用されるが、任意である。
【0055】
逆ひずみモデルが、第１の、たとえば「ひずんでいない」、極座標を生成するために第２の極座標に適用される。例では、逆ひずみモデルは、ｒ＝ｆ・ｔａｎ（ｒ’／ｆ）によって与えられるひずみのタンジェントモデルに基づき、ここで、この場合も、ｒ’はポイントのひずんだ半径方向座標であり、ｒはポイントのひずんでいない半径方向座標であり、ｆは超広角カメラの焦点距離である。したがって、例では、画像からグリッドへのマッピングにおいて使用される逆ひずみモデルは、グリッドから画像へのマッピングにおいて使用されるひずみモデルの逆関数、または「反関数（anti-function）」である。
【0056】
画像からグリッドへのマッピングアルゴリズムは、第１の極座標を第１のデカルト座標にコンバートすることを続ける。第１のデカルト座標は、超広角カメラに対応する平面におけるデカルト座標系と、整合解除、または非整合され得る。たとえば、ポイントをデカルト座標系と整合解除させることは、ポイント、または平面におけるポイントの位置ベクトル（たとえば、原点からポイントへのベクトル）に回転変換を適用することを伴う。回転は、例では実質的に９０度である。したがって、この回転は、グリッドから画像へのマッピングにおいて前に説明された、グリッドのＸ方向およびＹ方向と、キャプチャされた画像の水平軸および垂直軸との間のオフセットへの何らかの「補正」を「元に戻し」得る。
【0057】
最終的に、ポイントは、グリッドに対するポイントのグリッド座標を決定するために、カメラ７１に対応する（第２の）平面から、グリッド１５に対応する（第１の）平面上に投影される。
【0058】
例では、グリッド１５に対応する平面上にポイントを投影することは、ｐ＝Ｂ-1・（ｆ・ｔ－ｑ・ｚ）を算出することを伴い、ここで、Ｂ＝ｑ・Ｒ3,[1,2]－ｆ・Ｒ[1,2],[1,2]である。これらの方程式では、ｐはグリッド平面におけるポイント座標を備え、ｑはカメラ平面におけるデカルト座標を備え、ｆは、前述のように超広角カメラの焦点距離である。さらに、ｔは平面並進ベクトルであり、ｚは、超広角カメラとグリッドとの間の距離（たとえば高さ）であり、Ｒは、回転ベクトルに関係する３次元回転行列である。回転ベクトルは、回転の回転軸を表現する方向と回転の角度を表現する大きさとを備える。角度－軸回転ベクトルに対応する回転行列Ｒは、たとえば、ロドリゲスの回転公式を使用して、ベクトルから決定され得る。
【0059】
次に、カメラ平面からのひずんでいない２Ｄポイントｑを投影するための機能の数学的導出が、完全のために提供される。上からの、グリッドから画像への投影から始めると、ｑ＝ｆ・ｐ’[x,y]÷ｐ’zであり、ここで、ｐ’は、回転および並進されたグリッドポイントｐであり、すなわち、ｐ’＝Ｒ・ｐ＋（ｔx，ｔy，ｚ）Tであり、ｑからｐを導出することを目的としている。ｐ’について整理し、代入を行うと、以下のようになる。
【0060】
【数1】
【0061】
【数2】
【0062】
【数3】
【0063】
【数4】
【0064】
【数5】
【0065】
カメラからのグリッド上のポイントｐの所望の距離が高さパラメータｚによって与えられるので、ポイントの並進において、ｐz＝０であると仮定され得る。したがって、すべてのｐz項が除去されて、以下のようになり得る。
【0066】
【数6】
【0067】
【数7】
【0068】
行列Ｂ＝（ｑ・Ｒ3,[1,2]－ｆ・Ｒ）を定義することによって、式は、Ｂ・ｐ[x,y]＝ｆ・ｔ－ｚ・ｑにさらに簡略化され得、これは、逆行列Ｂ-1を使用することによって、ポイントｐを算出するための上記の方程式として帰着する。
【0069】
較正プロセス１３０に戻ると、いくつかの場合には、グリッド１５に関して位置決めされた、グリッドセルマーカーに符号化されたグリッドセル座標データが、キャプチャされた画像中のピクセルに対応する算出されたグリッド座標を較正するために使用され得る。たとえば、グリッドセルマーカーは、たとえば所定のグリッドセル１７中に置かれた、サインボードであり、対応するセル座標データが各サインボード上にマークされる。プロセス１３０は、たとえば、キャプチャされた画像を、画像中のグリッドセルマーカーを検出するために、処理することと、次いで、マッピングされたグリッド座標を較正する際に使用するために、グリッドセルマーカーに符号化されたグリッドセル座標データを抽出することとを含む。各グリッドセルマーカーは、それぞれのグリッドセル中にあり、たとえば、それぞれのカメラ７１の下に、それの視野７２内にある。
【0070】
画像処理は、グリッドセクションの画像中のグリッドセルマーカーのインスタンスを検出するようにトレーニングされた、物体検出モデル、たとえばニューラルネットワークを使用することを伴い得る。コンピュータビジョンプラットフォーム、たとえば、Ｇｏｏｇｌｅ（登録商標）によるＣｌｏｕｄ Ｖｉｓｉｏｎ ＡＰＩ（アプリケーションプログラミングインターフェース）が、物体検出モデルを実装するために使用され得る。物体検出モデルは、グリッドセルマーカーを含むグリッドセクションの画像を用いてトレーニングされ得る。物体検出モデルが、ニューラルネットワーク、たとえばＣＮＮを含む、例では、図９を参照する説明が、それに応じて適用される。
【0071】
キャプチャされた画像中で表現されたグリッドセクション上のポイントへの画像中のピクセルのマッピングによって生成された、グリッド座標は、抽出されたセル座標データに基づいてグリッド全体に較正され得る。たとえば、所与のピクセルに対応するマッピングされたグリッドポイントは、グリッドセルの単位の座標、たとえば、Ｘ方向におけるグリッドセルの数ｘとＹ方向におけるグリッドセルの数ｙとをもつ（ｘ，ｙ）を備える。しかしながら、カメラ７１によってキャプチャされたグリッドセルは、グリッドセクション、すなわちグリッド１５のセクションのものであり、したがって、必ずしもグリッド１５全体であるとは限らない。したがって、画像中にキャプチャされたグリッドセクションに対するマッピングされたグリッド座標（ｘ，ｙ）は、グリッド全体に関するグリッドセクションの相対ロケーションに基づいて、グリッド全体に対するグリッド座標（ｘ’，ｙ’）に較正され得る。グリッド全体に対するグリッドセクションのロケーションは、説明されるように、画像中にキャプチャされたグリッドセルマーカーに符号化されたグリッドセル座標データを抽出することによって決定され得る。
【0072】
図１０Ａは、超広角カメラ７１によってキャプチャされた、グリッドセクションの画像８１を、画像中のトラック２２を検出するために、トレーニングされたニューラルネットワーク９０を用いて、処理することによって生成された、トラックの例示的なモデル１０１を示す。モデル１０１は、ニューラルネットワーク９０によって決定された、グリッドセクションのひずんだ画像中のトラック２２ａ、２２ｂの予測の表現を備える。トラックモデル１０１からグリッド１５上の対応するポイントにピクセルをマッピングすることが、説明されるようにカメラ７１を較正するために行われ得る。たとえば、較正は、キャプチャされた画像８１、８２中のピクセルとグリッド１５上のポイントとの間のマッピングのために使用される、カメラ７１に関連する複数のパラメータを更新すること、たとえば最適化することを伴う。
【0073】
例では、グリッドセクションのモデル１０１は、平行なトラックの第１のセット２２ａおよび第２のセット２２ｂの中心線のみを表現するように改良され得る。したがって、トラックモデル１０１からグリッド１５上の対応するポイントにマッピングされるべきピクセルは、たとえば、生成されたモデル１０１中の平行なトラックの第１のセット２２ａおよび第２のセット２２ｂの中心線上にあるピクセルである。改良することは、たとえば、水平線および垂直線検出カーネルでモデルをフィルタ処理することを伴う。それらのカーネルは、たとえば、他のカーネルが、エッジ検出におけるエッジなど、画像の他の特徴を識別するために使用され得るのと同じようにして、トラックの中心線がモデル１０１中で識別されることを可能にする。各カーネルは、所与のサイズ、たとえば３×３行列であり、これは、所与のストライドでモデル１０１中の画像データと畳み込まれ得る。たとえば、水平線検出カーネルは、行列
【0074】
【数8】
【0075】
として表現可能である。
【0076】
同様に、垂直線検出カーネルは、たとえば、行列
【0077】
【数9】
【0078】
として表現可能である。
【0079】
例では、フィルタ処理することは、水平線および垂直線検出カーネルを使用してモデル１０１のピクセル値を収縮させる（erode）ことと膨張させる（dilate）こととのうちの少なくとも１つを伴う。たとえば、収縮（erosion）機能と膨張（dilation）機能とのうちの少なくとも１つが、カーネルを使用してモデル１０１に適用される。収縮機能は、カーネルをモデルと畳み込むことによって、前景物体、この場合、生成されたモデル１０１中のトラック２２ａ、２２ｂの境界を効果的に「収縮させる」。収縮中に、カーネルの下で畳み込まれるすべてのピクセルが「１」に等しい場合のみ、元のモデル中のピクセル値（「１」または「０」のいずれか）は、「１」の値に更新され、他の場合、それは収縮させられる（「０」の値に更新される）。事実上、モデル１０１中のトラック２２ａ、２２ｂの境界の近くのすべてのピクセルが、トラック２２ａ、２２ｂの各々の厚さが実質的にその中心線まで減少するように、収縮において使用されるカーネルのサイズに応じて、破棄されることになる。膨張機能は、収縮機能の反対であり、収縮の後に残る中心線を効果的に「膨張させる」または広げるために、収縮の後に適用され得る。この膨張は、改良されたモデル１０１中のトラック２２ａ、２２ｂの中心線を安定させることができる。膨張中に、カーネルの下で畳み込まれる少なくとも１つのピクセルが「１」に等しい場合、ピクセル値は「１」の値に更新される。収縮機能および膨張機能は、それぞれ、元の生成されたモデル１０１に適用され、たとえば、得られた水平中心線および垂直中心線「骨格」が、改良されたモデルを作り出すために組み合わせられる。
【0080】
いくつかの場合には、生成されたモデル１０１は、たとえば、カメラ７１によって閲覧可能なグリッドセクションの１つまたは複数の領域が不明瞭にされた、トラック２２ａ、２２ｂの欠落したセクションを有し得る。搬送デバイス３０、ピラーまたは他の構造など、グリッド１５上の物体が、キャプチャされた画像中のトラックの一部を不明瞭にし得る。したがって、生成されたモデル１０１は、トラックの同じ欠落した領域を有することがある。同様に、トラックのフォールスポジティブ予測が、生成されたモデル１０１中に存在し得る。
【0081】
これらの問題を助けるために、生成されたモデル中に存在するトラック２２ａ、２２ｂ（たとえばその中心線）は、たとえば、トラック２２ａ、２２ｂについて２次軌道を作り出すために、それぞれの２次方程式に適合され得る。図１０Ｂは、モデル１０１中のトラックの第１のセット２２ａのうちのトラックが第１の２次軌道１０２に適合されることと、モデル１０１中のトラックの第２のセット２２ｂのうちのトラックが第２の２次軌道１０３に適合されることとの一例を示す。次いで、２次トラック中心線が、たとえば、モデル１０１中のギャップを埋めるかまたはフォールスポジティブを除去するように、２次軌道に沿ってピクセル値を外挿することによって、２次軌道に基づいて作り出され得る。たとえば、予測されたグリッドモデル１０１から生成されたサブ線（sub-line）が、少なくとも１つの他の線とともに所与の２次曲線に適合され得ない場合、そのサブ線は、グリッドの一部である可能性が極めて低く、除外されるべきである。
【0082】
モデル１０１中のトラックを適合させるために使用される２次方程式、ｙ＝ａｘ2＋ｂｘ＋ｃはまた、指定された境界条件、たとえば、
【0083】
【数10】
【0084】
、－９．９×１０-4＜ａ＜９．９×１０-4、－５＜ｂ＜５、および０＜ｃ＜３２００を有し得る。
【0085】
例では、所定の数のピクセルが、たとえば、モデルを記憶するためのストレージ要件を低減するために、トラックの改良されたモデル１０１から抽出される。たとえば、トラックの最終の改良されたモデル１０１を与えるために、ピクセルのランダムサブセットが抽出される。
【0086】
本明細書で説明されるシステムおよび方法を使用して超広角カメラ７１を較正することが、たとえば、グリッド１５の広い視野をもつカメラ７１によってキャプチャされた画像が、その上の搬送デバイスを検出し、そのロケーションを特定するために使用されることを可能にする。これは、他のカメラタイプのものと比較して、画像中に存在する比較的高いひずみにもかかわらずである。
【0087】
上記で概説された自動較正プロセスはまた、それぞれのカメラ７１に関連するパラメータをチューニングする手動方法と比較して、保管システムのグリッド１５の上に設置された各カメラ７１を較正するためにかかる時間を低減することができる。たとえば、説明された較正パイプラインを実装するために、ニューラルネットワークモデル、たとえばＵ－Ｎｅｔを、カスタマイズされた最適化機能と組み合わせることが、標準的較正方法と比較して誤差の８０％超を除去することができる。さらに、本明細書で説明される較正システムおよび方法は、たとえば、異なる寸法、スケール、およびレイアウトをもつ、複数の倉庫保管システム中のカメラを較正するのに十分に汎用性があり、一貫性があることが判明した。
【0088】
さらに、グリッドの、出力される平坦化された較正された画像１１１は、グリッド１５とその上で移動する搬送デバイス３０とをモニタするための、人間と機械の両方による、画像１１１とのより容易な対話を可能にする。したがって、グリッド上の所与の搬送デバイスの無反応のインスタンスが、搬送デバイス３０の一団の動作を解決するために検出および／または作用されることが、より効率的であり得る。
【0089】
作業空間中の搬送デバイスを検出すること
グリッド上の搬送デバイス３０を検出するために、カメラ７１によってキャプチャされたひずんだ画像８２を処理するための方法およびシステムが、本明細書で提供される。たとえば、グリッド１５に対する検出された搬送デバイス３０のロケーションが、出力され得る。いくつかの例では、検出された搬送デバイス３０の識別情報、たとえば一意のＩＤラベルが、出力され得る。次に、そのような例がより詳細に説明される。
グリッド上の搬送デバイス３０を検出するために、カメラ７１によってキャプチャされたひずんだ画像８２を処理するための方法およびシステムが、本明細書で提供される。たとえば、グリッド１５に対する検出された搬送デバイス３０のロケーションが、出力され得る。いくつかの例では、検出された搬送デバイス３０の識別情報、たとえば一意のＩＤラベルが、出力され得る。次に、そのような例がより詳細に説明される。
【0090】
図１４は、グリッド１５を備える作業空間中の搬送デバイス３０を検出するコンピュータ実装方法１４０を示す。方法１４０は、作業空間の少なくとも一部の画像を表現する画像データを取得すること１４１と、グリッド上の搬送デバイスのインスタンスを検出するようにトレーニングされた物体検出モデルにより、その画像データを処理すること１４２とを伴う。たとえば、画像は、作業空間の少なくとも一部をカバーする視野をもつカメラ７１によってキャプチャされ、画像データは、検出方法１４０を実装するためのコンピュータに移される。画像データは、たとえば、コンピュータのインターフェース、たとえばＣＳＩにおいて、受信される。
【0091】
物体検出モデルは、作業空間のグリッド１５上の搬送デバイス３０の物体検出を実施するようにトレーニングされたニューラルネットワーク、たとえば畳み込みニューラルネットワークであり得る。したがって、図９に関するニューラルネットワークの説明は、これらの特定の例において適用される。本コンテキストでは、物体検出モデル、たとえばＣＮＮ９０は、所定のクラスの物体のうちのある物体（すなわち搬送デバイス）が画像中に存在するかどうかを決定するために、取得された画像データを処理することによって物体識別を実施するようにトレーニングされる。ニューラルネットワーク９０をトレーニングすることは、たとえば、搬送デバイスが存在する作業空間セクションのトレーニング画像をニューラルネットワーク９０に提供することを伴う。重みデータが、多層ニューラルネットワークアーキテクチャのそれぞれの（畳み込み）層９２、９４について生成され、トレーニングされたニューラルネットワークを実装する際に使用するために記憶される。例では、物体検出モデルは、ＣＮＮベースアーキテクチャを有する、「Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ」（ＹＯＬＯ）物体検出モデル、たとえばＹＯＬＯｖ４またはＳｃａｌｅｄ－ＹＯＬＯｖ４を備える。他の例示的な物体検出モデルは、ＲｅｔｉｎａｔＮｅｔまたはＲ－ＣＮＮ（ＣＮＮ特徴をもつ領域（Regions with CNN features））など、ニューラルベース手法と、決定された特徴、たとえば、Ｈａａｒ－ｌｉｋｅ特徴または配向勾配ヒストグラム（ＨＯＧ）特徴に基づいて物体分類を行うためのサポートベクターマシン（ＳＶＭ）など、非ニューラル手法とを含む。
【0092】
方法１４０は、処理１４２に基づいて、画像が搬送デバイス３０を含むかどうかを決定すること１４３を伴う。たとえば、物体検出モデルは、搬送デバイス３０が作業空間のキャプチャされた画像中に存在するかどうかを検出するように、構成、たとえばトレーニングまたは学習される。例では、物体検出モデルは、画像が搬送デバイス３０を含む可能性に対応する信頼性のレベル、たとえば確率スコアを用いて、決定１４３を行う。したがって、ポジティブ決定が、所定のしきい値、たとえば９０％または９５％を上回る、信頼性レベルに対応し得る。画像が搬送デバイスを含むと決定すること１４３に応答して、画像中の予測された搬送デバイスを示すアノテーションデータ（たとえば予測データまたは推論データ）が、出力される１４４。アノテーションデータを含む画像の更新されたバージョンが、たとえば、方法１４０の一部として出力され得る。
【0093】
例では、アノテーションデータは、バウンディングボックスを備える。図１２は、バウンディングボックス１２０ａ、１２０ｂでアノテーションを付け（annotate）られた、超広角カメラ７１によってキャプチャされた画像８２の更新されたバージョン８３の一例を示す。バウンディングボックス１２０ａ、１２０ｂは、それぞれ、物体検出モデルによって検出された、第１の搬送デバイス３０ａおよび第２の搬送デバイス３０ｂに対応する。所与のバウンディングボックスが、たとえば、検出された物体を囲む矩形を備え、位置と、識別されたクラス（たとえば搬送デバイス）と、信頼性スコア（たとえば、物体がボックス内に存在することになる可能性がどのくらいあるか）とのうちの１つまたは複数を指定し得る。所与のバウンディングボックスを定義するバウンディングボックスデータが、ボックスの２つのコーナーの座標、またはボックスについての幅および高さパラメータをもつ中心座標を含み得る。例では、検出方法１４０は、出力するためにアノテーションデータ１２０ａ、１２０ｂを生成することを伴う。
【0094】
いくつかの場合には、物体検出モデルは、さらに、作業空間中の欠陥のある搬送デバイス、たとえば、マスタコントローラからの通信に無反応な、および／またはグリッドと不整合な、および／または作動した（engaged）警告信号をもつ、搬送デバイス、のインスタンスを検出するようにトレーニングされる。
【0095】
たとえば、方法１４０は、物体検出モデルにより画像データを処理して、その処理に基づいて、画像が、グリッドと不整合な搬送デバイスを含むかどうかを決定することを伴う。物体検出モデルは、搬送デバイスを検出するために使用された同じものであるか、または異なるものであり得る。物体検出モデルは、たとえば、たとえば、直交トラック２２からオフセットされた角度における、グリッド１５と不整合な搬送デバイスの画像のトレーニングセットを用いてトレーニングされる。画像が不整合な搬送デバイスを含むと決定することに応答して、方法は、アノテーションデータまたはアラートのうちの少なくとも１つを出力することを含み得る。アノテーションデータは、たとえば、画像中の予測された不整合な搬送デバイスを示す。前述のように、アノテーションは、グリッド上の予測された不整合な搬送デバイスを囲むバウンディングボックスを備え得る。出力されたアラートは、たとえば、画像が不整合な搬送デバイスを含むことをシグナリングする。
【0096】
同様に、方法１４０は、物体検出モデルにより画像データを処理して、その処理に基づいて、画像が、作動した警告信号をもつ搬送デバイスを含むかどうかを決定することを伴い得る。搬送デバイスの警告信号は、発光ダイオード（ＬＥＤ）など、搬送デバイス上の光源によって放出される、所定の光、または光の色を備える。たとえば、搬送デバイスは、マスタコントローラからの通信に反応するときに光の第１の波長（色）を放出することと、マスタコントローラからの通信に反応しないときに光の第２の異なる色波長（色）を放出することとを行うように構成された、ＬＥＤを含む。搬送デバイスは、マスタコントローラとの通信が失われたとき、無反応状態になり得、たとえば、したがって、警告信号を作動させる。光源からの警告信号の他のタイプ、たとえば点滅などの放出の所定のパターンが、可能である。画像が不整合な搬送デバイスを含むと決定することに応答して、方法１４０は、アノテーションデータまたはアラートのうちの少なくとも１つを出力することを含み得る。アノテーションデータは、画像中の、作動した警告信号をもつ予測された搬送デバイスを示す。たとえば、アノテーションデータは、画像中の、作動した警告信号をもつ予測された搬送デバイスを囲むバウンディングボックスを備える。同様に、出力されたアラートは、画像が、作動した警告信号をもつ搬送デバイスを含むことをシグナリングする。出力されるアラートの例は、たとえば、オペレータによる閲覧のためのスクリーン上に、表示されるべきテキストまたは他の視覚メッセージを含む。
【0097】
搬送デバイスのロケーション特定（localisation）
作業空間中の搬送デバイス３０を検出する方法１４０は、画像８２中の複数のそれぞれのグリッド空間１７における複数の仮想搬送デバイスに対応するさらなるアノテーションデータを生成することを含むことができる。グリッド１５上の検出された搬送デバイス３０のロケーションは、次いで、画像中の検出された搬送デバイスを示すアノテーションデータを、複数の仮想の搬送するデバイスに対応するさらなるアノテーションデータと比較することによって、決定され得る。たとえば、比較は、アノテーションデータを使用して和集合の共通部分（ＩｏＵ：intersection over union）値を計算することを含む。最高ＩｏＵ値に関連するさらなるアノテーションデータに対応するグリッド空間は、次いで、検出された搬送デバイスのグリッドロケーションとして選択され得る。
作業空間中の搬送デバイス３０を検出する方法１４０は、画像８２中の複数のそれぞれのグリッド空間１７における複数の仮想搬送デバイスに対応するさらなるアノテーションデータを生成することを含むことができる。グリッド１５上の検出された搬送デバイス３０のロケーションは、次いで、画像中の検出された搬送デバイスを示すアノテーションデータを、複数の仮想の搬送するデバイスに対応するさらなるアノテーションデータと比較することによって、決定され得る。たとえば、比較は、アノテーションデータを使用して和集合の共通部分（ＩｏＵ：intersection over union）値を計算することを含む。最高ＩｏＵ値に関連するさらなるアノテーションデータに対応するグリッド空間は、次いで、検出された搬送デバイスのグリッドロケーションとして選択され得る。
【0098】
例では、さらなるアノテーションデータは、複数の仮想搬送デバイスに対応する複数のバウンディングボックスを備える。したがって、ＩｏＵ値を計算することは、２つのバウンディングボックス間の重複、または「共通部分」のエリアを、２つのバウンディングボックスの和集合のエリア（たとえば、２つのボックスによってカバーされた総エリア）で除算することを伴い得る。たとえば、検出された搬送デバイスのバウンディングボックスと所与の仮想搬送デバイスに対応する所与のバウンディングボックスとの間のエリア重複が、算出され、同じ２つのバウンディングボックスについての和集合のエリアで除算される。この計算は、ＩｏＵ値のセットを与えるために、検出された搬送デバイスのバウンディングボックスと、それぞれの仮想の搬送するデバイスに対応する各バウンディングボックスとについて繰り返される。次いで、ＩｏＵ値のセット中の最も高いＩｏＵ値が選択され得、対応するバウンディングボックスのグリッドロケーションは、検出された搬送デバイスのグリッドロケーションとして推論される。
【0099】
検出システムが、本明細書で説明される検出方法のいずれかを実施するように構成され得る。たとえば、検出システムは、作業空間の少なくとも一部の画像をキャプチャするための画像センサーと、画像データを取得するためのインターフェースとを含む。検出システムは、搬送デバイス３０を検出するコンピュータ実装方法１４０の処理および決定ステップを行うための、たとえば、グラフィックス処理ユニット（ＧＰＵ）または専用ニューラル処理ユニット（ＮＰＵ）上で実装された、トレーニングされた物体検出モデルを含む。
【0100】
搬送デバイス上の識別マーカーを検出すること
図１５は、グリッド１５を備える作業空間中の搬送デバイス上の識別マーカーを検出するコンピュータ実装方法１５０を示す。方法は、搬送デバイスを含む画像部分を表現する画像データを取得すること１５１を伴う。画像部分は、たとえば図７に示されているように、グリッドの上に位置するカメラ７１によってキャプチャされた、たとえば図８Ｂに示されている、画像８２の部分、たとえばその少なくとも一部であり得る。
図１５は、グリッド１５を備える作業空間中の搬送デバイス上の識別マーカーを検出するコンピュータ実装方法１５０を示す。方法は、搬送デバイスを含む画像部分を表現する画像データを取得すること１５１を伴う。画像部分は、たとえば図７に示されているように、グリッドの上に位置するカメラ７１によってキャプチャされた、たとえば図８Ｂに示されている、画像８２の部分、たとえばその少なくとも一部であり得る。
【0101】
図１２は、それぞれの搬送デバイス３０ａ、３０ｂを含む例示的な画像部分１２１ａ、１２１ｂを示す。画像部分１２１ａ、１２１ｂは、画像８２中の検出された搬送デバイス３０ａ、３０ｂに対応する、アノテーションデータ、たとえばバウンディングボックス１２０ａ、１２０ｂに基づいて、画像８２から抽出され得る。たとえば、作業空間中の搬送デバイスを検出するための方法１４０の出力アノテーションデータは、画像８２から画像部分１２１ａ、１２１ｂを取得、たとえば抽出するために、使用される。アノテーションデータが１つまたは複数のバウンディングボックスを表現する場合、たとえば、アノテーション付き画像８３上にオーバーレイされた１つまたは複数のバウンディングボックス１２０ａ、１２０ｂ中に含まれている画像データに対応する１つまたは複数の画像部分１２１ａ、１２１ｂが、画像８２から抽出される。たとえば、方法１５０は、画像中の１つまたは複数の搬送デバイスを示すアノテーションデータ１２０ａ、１２０ｂを含む、アノテーション付き画像データ８３を取得することと、それぞれの１つまたは複数の搬送デバイス３０ａ、３０ｂを含む１つまたは複数の画像部分１２１ａ、１２１ｂを作り出すために、アノテーション付き画像データ８３をクロップすることとを伴う。
【0102】
代替例では、画像部分は、カメラ７１によってキャプチャされた画像８２全体を備える。画像部分は、１つまたは複数の搬送デバイス３０を含み得る。言い換えれば、画像部分は、たとえば、カメラ７１によってキャプチャされた画像８２の少なくとも一部を備える。
【0103】
方法１５０は、第１のニューラルネットワークと第２のニューラルネットワークとを連続して用いて、取得された画像データを処理すること１５２をさらに伴う。第１のニューラルネットワークは、画像中の搬送デバイス上の識別マーカーのインスタンスを検出するようにトレーニングされる。第２のニューラルネットワークは、画像中の、識別マーカーに関連する、マーカー情報を認識するようにトレーニングされる。識別（「ＩＤ」）マーカーは、たとえば、テキストラベル、または搬送デバイス上の（バーコード、ＱＲコード（登録商標）またはそのようなものなどの）他のコードである。ＩＤマーカーは、そのマーカーに関連するマーカー情報、たとえばテキストまたはＱＲコードを含む。マーカー情報は、搬送デバイスについてのＩＤ情報と対応し、たとえば、より広いシステムにおける搬送デバイスの、たとえば名前または他の記述子と対応する。マーカー情報は、ＩＤマーカーに、たとえばテキストまたは他のコードとして、符号化され、対応するＩＤ情報は、所与の搬送デバイスをシステム中で動作する他の搬送デバイスと区別するために使用され得る。
【0104】
例では、第１のニューラルネットワークは、第１の入力データとして画像部分を受信し、たとえば、第２のニューラルネットワークへの入力としてそれに移すために、中間データとして特徴ベクトルを作り出すように構成、たとえばトレーニングまたは学習される。たとえば、第１のニューラルネットワークは、たとえば異なるサイズの、視覚特徴を抽出するために畳み込みを使用し、特徴ベクトルを作り出すように構成された、ＣＮＮ９０を備える。「効率的なおよび正確なシーンテキスト」（ＥＡＳＴ：Efficient and Accurate Scene Text）検出器が、搬送デバイス上の識別マーカー、たとえばテキストラベル、のインスタンスを識別するために、第１のニューラルネットワークとして使用され得る。
【0105】
いくつかの場合には、第１のニューラルネットワークは、画像部分中の検出された識別マーカーに対応する、たとえばバウンディングボックスを定義する、さらなるアノテーションデータを出力する。たとえば、処理１５２は、第１のニューラルネットワークを用いた処理に基づいて、画像部分が搬送デバイス上の識別マーカーを含むかどうかを決定することを伴う。決定がポジティブである場合、画像部分中の識別マーカーのロケーションに対応するさらなるアノテーションデータが、方法１５０の一部として生成および出力される。さらなるアノテーションデータは、画像または画像部分に対する画像座標を備え得る。たとえば、画像座標は、画像部分中の識別マーカーについてのバウンディングボックスの少なくとも２つのコーナーに対応する。バウンディングボックスは、たとえば、２つの反対コーナーの座標によって定義され得る。
【0106】
例では、画像データを処理すること１５２は、画像部分のサブ部分を抽出することを伴い、サブ部分は、搬送デバイス上の検出された識別マーカーに対応する。たとえば、画像部分は、識別マーカーを含むサブ部分を生成するようにクロップされる。図１２は、画像部分１２１ａから抽出された、搬送デバイス３０ａ上の検出された識別マーカーに対応する例示的なサブ部分１２２を示す。サブ部分１２２は、図１２の例に示されているように、識別マーカーの長手方向軸がサブ部分１２２に対して実質的に水平になるように、回転され得る。方法１５０は、次いで、画像中のマーカー情報を認識するように構成、たとえばトレーニングまたは学習された、第２のニューラルネットワークを用いて、サブ部分１２２を処理することを含むことができる。
【0107】
方法１５０は、第２のニューラルネットワークによって決定されたマーカー情報を表現するマーカーデータを出力すること１５３で終わる。たとえば、第２のニューラルネットワークは、ＩＤマーカーを含む画像サブ部分からマーカーデータを導出するように構成される。ＩＤマーカーがテキストラベルを備える例では、第２のニューラルネットワークは、ラベルを含む画像サブ部分を、ラベルシーケンスデータ、たとえば、文字、数字、句読点、または他の記号のシーケンス（または「ストリング」）を備えるマーカーデータに転写するように構成され得る。図１２に示されている例示的なサブ部分１２２について、第２のニューラルネットワークは、たとえば、搬送デバイス３０ａの識別ラベルについてのラベルシーケンスデータ「ＡＡ－Ｚ８２」としてマーカーデータを出力することになる。代替例では、ＩＤマーカーは、たとえば、ラベル上で搬送デバイスに適用された、搬送デバイス上のコード、たとえばＱＲ（「クイックレスポンス」）コードまたはバーコードである。第２のニューラルネットワークは、たとえば、搬送デバイス上のＩＤマーカーの画像からコードを決定するように構成、たとえばトレーニングまたは学習される。コード、たとえばマーカーデータは、次いで、出力され得る。たとえば、コードは、そこに符号化されたＩＤ情報を復号するためにさらに処理され得る。言い換えれば、検出されたＱＲコードまたはバーコードは、たとえば、搬送デバイスのＩＤ情報、たとえば名前を決定するために復号される。
【0108】
例では、第２のニューラルネットワークは、画像サブ部分から視覚特徴を抽出するために畳み込みを適用し、その特徴をシーケンスで配置するように構成された、畳み込みリカレントニューラルネットワーク（ＣＲＮＮ）を備える。ＣＲＮＮは、２つのニューラルネットワーク、たとえば、ＣＮＮおよびさらなるニューラルネットワークを備える。いくつかの場合には、第２のニューラルネットワークは、双方向リカレントニューラルネットワーク（ＲＮＮ）、たとえば双方向長短期記憶（ＬＳＴＭ）モデルを含む。たとえば、双方向ＲＮＮは、たとえば、図１２の例では、ＩＤシーケンスが、文字「Ａ」から開始し、数字で終了する可能性が極めて高いなど、特徴シーケンスにおけるパターンから学習されたシーケンシャルな手がかりを適用して、マーカーに符号化されたＩＤシーケンスを予測するために、ＣＮＮの特徴シーケンス出力を処理するように構成される。したがって、第２のニューラルネットワークは、２つ以上のニューラルネットワークのパイプライン、たとえば、深層双方向ＬＳＴＭにパイピングされたＣＮＮを備え得、したがって、ＣＮＮの特徴シーケンス出力は、それを入力として受信するそのｂｉＬＳＴＭにパスされる。他の例では、第２のニューラルネットワークは、異なるタイプの深層学習アーキテクチャ、たとえば深層ニューラルネットワークを備える。
【0109】
検出システムが、本明細書で説明される検出方法のいずれかを実施するように構成され得る。たとえば、検出システムは、作業空間の少なくとも一部の画像をキャプチャするための画像センサーと、画像データを取得するためのインターフェースとを含む。検出システムは、搬送デバイス３０上の識別マーカーを検出するコンピュータ実装方法１５０の処理および決定ステップを行うための、たとえば、グラフィックス処理ユニット（ＧＰＵ）または専用ニューラル処理ユニット（ＮＰＵ）上で実装された、トレーニングされた物体検出モデルを含む。
【0110】
除外ゾーン（exclusion zone）を決定すること
作業空間中の除外ゾーンを決定するための方法およびシステムが、本明細書で提供される。除外ゾーンは、搬送デバイスのマスタコントローラによって実装され得、作業空間中で動作する搬送デバイスが除外ゾーンに入るのを禁止するように機能する。たとえば、除外ゾーンは、たとえば、倒れた、および／またはマスタコントローラとの通信を失った、欠陥のある搬送デバイスの周りで決定され得、したがって、欠陥のある搬送デバイスは、後で、注意を払われ、たとえば作業空間から取り出され得る。これは、他の搬送デバイスが欠陥のある搬送デバイスと衝突するリスクを低下させながら、作業空間が使用可能なままであることを可能にする。いくつかの場合には、決定された除外ゾーンは、実装の前に、たとえばオペレータに、提案され得、これは、決定された除外ゾーンが、作業空間中の欠陥のある搬送デバイスの実際の位置をカバーすることになることを保証するのを助けることができる。
作業空間中の除外ゾーンを決定するための方法およびシステムが、本明細書で提供される。除外ゾーンは、搬送デバイスのマスタコントローラによって実装され得、作業空間中で動作する搬送デバイスが除外ゾーンに入るのを禁止するように機能する。たとえば、除外ゾーンは、たとえば、倒れた、および／またはマスタコントローラとの通信を失った、欠陥のある搬送デバイスの周りで決定され得、したがって、欠陥のある搬送デバイスは、後で、注意を払われ、たとえば作業空間から取り出され得る。これは、他の搬送デバイスが欠陥のある搬送デバイスと衝突するリスクを低下させながら、作業空間が使用可能なままであることを可能にする。いくつかの場合には、決定された除外ゾーンは、実装の前に、たとえばオペレータに、提案され得、これは、決定された除外ゾーンが、作業空間中の欠陥のある搬送デバイスの実際の位置をカバーすることになることを保証するのを助けることができる。
【0111】
【0112】
方法１６０は、１つまたは複数の画像センサーによってキャプチャされた作業空間の画像表現を取得すること１６１から開始する。たとえば、１つまたは複数の画像センサーは、作業空間のビューをもつ１つまたは複数のカメラ７１の一部である。カメラ７１は、図７に示されているように作業空間のグリッド１５の上に配設され得る。作業空間の画像は、たとえば、１つまたは複数の画像センサーに通信可能に結合されたインターフェース、たとえばカメラインターフェースまたはＣＳＩにおいて受信される。
【0113】
作業空間の画像表現のターゲット画像部分が、インターフェース、たとえば、画像を受信するために使用されるものとは異なるインターフェースにおいて、取得される１６２。ターゲット画像部分は、作業空間中のターゲットロケーションにマッピングされる１６３。マッピング１６３に基づいて、１つまたは複数の搬送デバイスが入るのを禁止されることになる、作業空間中の除外ゾーンが決定される１６４。除外ゾーンは、ターゲット画像部分からマッピングされたターゲットロケーションを含む。除外ゾーンを表現する除外ゾーンデータが、作業空間中の除外ゾーンを実装するために制御システム、たとえばマスタコントローラに出力される１６５。
【0114】
たとえば、作業空間の画像表現を閲覧するユーザが、ターゲット画像部分を取得するように構成されたインターフェースを介してターゲット画像部分を選択する。インターフェースは、たとえば、ユーザが対話するためのユーザインターフェースであり得る。ユーザインターフェースは、画像センサーによってキャプチャされた作業空間の画像表現を表示するためのディスプレイスクリーンを含み得る。ユーザインターフェースは、ユーザがそれを用いてターゲット画像部分を選択することができる入力手段、たとえば、タッチスクリーンディスプレイ、キーボード、マウス、または他の好適な手段をも含み得る。
【0115】
例では、ターゲット画像部分は、作業空間中の欠陥のある搬送デバイスの少なくとも一部を含む。たとえば、ターゲット画像部分は、画像センサーによってキャプチャされた作業空間の画像から選択された１つまたは複数のピクセルのサブセットである。１つまたは複数のピクセルは、作業空間の画像中に示された欠陥のある搬送デバイスの少なくとも一部に対応する。たとえば、ターゲット画像部分は、画像中に示された欠陥のある搬送デバイス全体を含む。他の例では、ターゲット画像部分は、画像中に示された欠陥のある搬送デバイスの一部に対応する単一のピクセルのみである。
【0116】
たとえば、作業空間がセル１７のグリッド１５を備える、他の例では、ターゲット画像部分は、セルのグリッド中の所与のセルに対応する。たとえば、ターゲット画像部分は、所与のセルの少なくとも一部に対応する１つまたは複数のピクセルのサブセットである。いくつかの場合には、ターゲット画像部分はセル全体を含み、他の場合には、ターゲット画像部分は、セルの一部に対応する単一のピクセルのみである。
【0117】
上記で説明されたように、いくつかの例では、ユーザは、インターフェース、たとえばユーザインターフェースを介してターゲット画像部分を選択する。しかしながら、他の例では、ターゲット画像部分は、作業空間の画像から欠陥のある搬送デバイスを検出するように構成された物体検出システムから取得される。たとえば、方法１６０は、物体検出システムが、画像センサーによってキャプチャされた作業空間の画像を取得することと、物体分類モデルを使用して、欠陥のある搬送デバイスが画像データ中に存在することを決定することとを伴う。
【0118】
物体分類モデル、たとえば物体分類器は、概して図９を参照しながら説明された、例におけるニューラルネットワークを備え、これは、相応に適用されると解釈される。たとえば、物体分類器は、画像センサーによってその後キャプチャされる画像を、作業空間中の欠陥のある搬送デバイスを含んでいるものまたは含んでいないものとして分類するように、作業空間中の欠陥のある搬送デバイスの画像のトレーニングセットを用いてトレーニングされる。
【0119】
トレーニングされた物体分類器によるポジティブ分類の場合、物体検出システムは、次いで、ターゲット画像部分を出力することができる。たとえば、物体検出システムは、たとえば、バウンディングボックスなどのアノテーションデータを使用して、画像センサーからの元の画像中のターゲット画像部分を示し得る。代替的に、物体検出システムは、画像センサーから受信された元の入力画像のクロップされたバージョンとしてターゲット画像部分を出力し、クロップされたバージョンは、作業空間中の識別された欠陥のある搬送デバイスを含む。
【0120】
例では、物体検出システムは、画像データ中の欠陥のある搬送デバイスとそのロケーションとを検出するようにトレーニングされたニューラルネットワークを備える。たとえば、物体検出システムは、欠陥のある搬送デバイスが存在する入力画像の領域を決定する。その領域は、次いで、たとえば、ターゲット画像部分として出力され得る。そのような場合、ニューラルネットワークのトレーニングは、作業空間中の欠陥のある搬送デバイスを示す作業空間のアノテーション付き画像を使用することを伴う。したがって、ニューラルネットワークは、作業空間中の物体を欠陥のある搬送デバイスとして分類することと、欠陥のある搬送デバイスが画像中のどこにあるかを検出すること、すなわち、作業空間の画像に対する欠陥のある搬送デバイスのロケーションを特定することとの両方を行うようにトレーニングされる。
【0121】
本明細書で説明されるように、物体検出システムによって出力されたターゲット画像部分は、作業空間中の欠陥のある搬送デバイスの少なくとも一部を含み得る。たとえば、ターゲット画像部分は、画像センサーによってキャプチャされた画像から、たとえば、欠陥のある搬送デバイスのポジティブロケーション特定に基づいて、物体検出システムによって選択された１つまたは複数のピクセルのサブセットである。
【0122】
例では、決定された除外ゾーンは、離散数（discrete number）のグリッド空間を含む。たとえば、欠陥のある搬送デバイスがグリッド１５上の単一のグリッド空間１７内にあることが決定され得る。したがって、除外ゾーンは、たとえば、他の搬送デバイスがその単一のグリッド空間に入るのを禁止されるように、そのグリッド空間に延在すると決定される。したがって、他の搬送デバイスと欠陥のある搬送デバイスとの間の衝突が防がれ得る。代替的に、除外ゾーンは、欠陥のある搬送デバイスがあるグリッドセルを中心とするグリッドセルの領域、たとえば３×３セルエリアとして、設定され得る。したがって、除外ゾーンは、欠陥のある搬送デバイスがある、影響を受けるグリッドセルの周りのバッファエリアを含む。いくつかの場合には、欠陥のある搬送デバイスは、たとえば、それが、グリッドセル間に位置するか、倒れたか、またはトラック２２と不整合である場合、２つ以上のグリッドセルにわたる。そのような場合、（ターゲットロケーションを含む）マッピングされたグリッドセルの周りのバッファエリアは、マッピングされたグリッドセルのみを除外することに対して除外ゾーンの有効性を改善することができる。バッファエリアのサイズは、たとえば、除外するためのマッピングされたグリッドセルが決定されると適用されることになる、グリッドセルの設定されたエリアとして、あらかじめ決定され得る。追加または代替として、バッファエリアのサイズは、制御システムにおいて除外ゾーンを実装するときの選択可能なパラメータである。
【0123】
作業空間中で動作する搬送デバイスの移動をリモートで制御する制御システム、たとえばマスタコントローラは、方法１６０の一部としての除外ゾーンデータ出力１６５に基づいて除外ゾーンを実装することができる。たとえば、１つまたは複数の搬送デバイス３０の各々が、制御システム、たとえば中央コンピュータの制御下でリモートで動作可能である。グリッド１５上の１つまたは複数の搬送デバイス３０の移動を制御するために、たとえば、１つまたは複数の基地局を実装する、ワイヤレス通信ネットワークを介して、制御システムから１つまたは複数の搬送デバイス３０に命令が送られ得る。
【0124】
各搬送デバイス３０中のコントローラが、その移動を制御するために、搬送デバイス、たとえば車両３２の様々な駆動機構を制御するように構成される。たとえば、命令は、所与の搬送デバイスについての定義された軌道にカプセル化され得る、グリッド構造１５のＸ－Ｙ平面における様々な移動を含む。したがって、除外ゾーンは、定義された軌道が、除外ゾーンデータによって表現された除外ゾーンを回避するように、中央制御システム、たとえばマスタコントローラによって実装され得る。たとえば、除外ゾーンが実装されたとき、グリッド上の１つまたは複数の搬送デバイス３０に対応する１つまたは複数のそれぞれの軌道が、除外ゾーンを回避するように更新される。
【0125】
例では、ターゲット画像部分（たとえば画像中の１つまたは複数のピクセル）をターゲットロケーション（たとえばグリッド構造上のポイント）にマッピングすることが、作業空間の画像のひずみを逆にすることを伴う。たとえば、画像センサーが超広角レンズと組み合わせて使用される場合、そのレンズは、作業空間のビューをひずませる。したがって、そのひずみは、たとえば、画像ピクセルとグリッドポイントとの間のマッピングの一部として、逆にされる。逆ひずみモデルが、この目的でターゲット画像部分に適用され得る。以前の例における画像からグリッドへのマッピングアルゴリズムの説明は、ここで相応に適用される。たとえば、ターゲット画像部分をターゲットグリッドロケーションにマッピングすることが、本明細書で説明される、画像からグリッドへのマッピングアルゴリズムを適用することを伴う。
【0126】
作業空間中の搬送デバイス移動を制御するための制御システムを支援する方法１６０は、実施形態では支援システムによって実装される。たとえば、支援システムは、作業空間の画像表現をキャプチャするための１つまたは複数の画像センサーと、画像のターゲット画像部分を取得するためのインターフェースとを含む。支援システムは、方法１６０の、マッピングすること１６３、決定すること１６４、および出力する１６５のステップを実施するように構成される。たとえば、支援システムは、制御システム、たとえばマスタコントローラが、入力として受信し、作業空間中で実装するために、除外ゾーンデータを出力する。除外ゾーンデータは、支援システムと制御システムとの間で直接移され得るか、または制御システムによってアクセス可能なストレージに支援システムによって記憶され得る。
【0127】
支援システムを採用する実施形態では、作業空間中の欠陥のある搬送デバイスを検出するように構成された物体検出システムは、たとえば、支援システムの一部である。支援システムのインターフェースは、例において説明されるように、物体検出システムからターゲット画像部分を取得し得る。
【0128】
支援システムは、作業空間と、作業空間中の搬送デバイス移動を制御するための制御システムとを含む、保管システム１、たとえば図７に示されている例に組み込まれ得る。図７を参照する例において説明されたように、作業空間は、Ｘ方向に延在する平行なトラックの第１のセット２２ａと、実質的に水平な平面において第１のセットに直交する、Ｙ方向に延在する平行なトラックの第２のセット２２ｂとによって形成された、グリッド１５を含む。グリッド１５は、複数のグリッド空間１７を含み、１つまたは複数の搬送デバイス３０は、単一のグリッド空間１７のフットプリント内でトラック２２の下にスタックされたコンテナ１０を取り扱うために、トラック上で周辺を選択的に移動するように配置される。各搬送デバイス３０は、１つのグリッド空間を占有する所与の搬送デバイスが、隣接するグリッド空間を占有するかまたは横断する別の搬送デバイスを妨害しないように、単一のグリッド空間１７のみを占有するフットプリントを有し得る。
【0129】
例において説明されるように、除外ゾーンは、離散数のグリッド空間１７に対応することができる。たとえば、支援システムは、グリッド１５の上のカメラ７１によってキャプチャされた画像中で検出された欠陥のある搬送デバイス３０に対応する、グリッド１５上のターゲットロケーションを決定する。ターゲットロケーションは、たとえば、前の例において説明された較正方法に基づいて、グリッド全体に対するグリッド空間座標にコンバートされ、除外ゾーンが、ターゲットロケーションのグリッド空間に基づいて決定される。たとえば、除外ゾーンは、ターゲットロケーションの少なくともグリッド空間を含むが、例において説明されるように、たとえばバッファエリアとして、さらなる周囲グリッド空間を含み得る。保管システムの制御システム、たとえばマスタコントローラは、作業空間中で動作する搬送デバイス３０が除外ゾーンに入るのを禁止されるように、支援システムによって決定された除外ゾーンデータに基づいて、作業空間中の除外ゾーンを実装するように構成される。
【0130】
上記の例は、例示的な例として理解されるべきである。さらなる例が想定される。たとえば、グリッド１５の上に配設されたカメラ７１は、多くの例では超広角カメラとして説明された。しかしながら、カメラ７１は広角カメラであり得、これは、超広角レンズよりも比較的長い焦点距離を有する広角レンズを含むが、人間観測者にとって「自然」に見える視野を再現する通常レンズと比較して、依然としてひずみをもたらす。
【0131】
同様に、説明される例は、「画像」または「画像データ」を取得および処理することを含む。そのような画像は、いくつかの場合には、たとえば、フレームのシーケンスを備えるビデオから選択された、ビデオフレームであり得る。ビデオは、本明細書で説明されるようにグリッドの上に位置するカメラによってキャプチャされ得る。したがって、画像を取得および処理することは、ビデオ、たとえばビデオストリームからのフレームを取得および処理することを含むと解釈されるべきである。たとえば、説明されるニューラルネットワークは、複数の画像を備えるビデオストリーム中の物体（たとえば、搬送デバイス、その上のＩＤマーカーなど）のインスタンスを検出するようにトレーニングされ得る。さらに、搬送デバイス上のＩＤマーカーを検出することを伴う説明される例では、画像データは、第１のニューラルネットワークと第２のニューラルネットワークとを連続して用いて処理される。しかしながら、代替例では、第１のニューラルネットワークと第２のニューラルネットワークとは、たとえば単一のニューラルネットワークとして、エンドツーエンドＩＤマーカー検出パイプラインまたはアーキテクチャにおいてマージされる。たとえば、Ｘ方向に延在する平行なトラックの第１のセットと、実質的に水平な平面において第１のセットに直交する、Ｙ方向に延在する平行なトラックの第２のセットとによって形成された、グリッドを備える作業空間中の搬送デバイス上の識別マーカーを検出する方法であって、グリッドが、複数のグリッド空間を備え、ここにおいて、１つまたは複数の搬送デバイスが、トラック上でＸ方向またはＹ方向のうちの少なくとも１つにおいて選択的に移動することと、単一のグリッド空間のフットプリント内でトラックの下にスタックされたコンテナを取り扱うこととを行うように配置される、方法も提供される。本方法は、１つまたは複数の搬送デバイスのうちの搬送デバイスを含む画像部分を表現する画像データを取得することと、画像中の搬送デバイス上の識別マーカーのインスタンスを検出すること、および画像中の、識別マーカーに関連する、マーカー情報を認識することを行うようにトレーニングされた、少なくとも１つのニューラルネットワークを用いて画像データを処理することと、第２のニューラルネットワークによって決定されたマーカー情報を表現するマーカーデータを出力することとを備える。この代替例による、検出システムのコンテキストでは、１つまたは複数のプロセッサは、画像中の搬送デバイス上の識別マーカーのインスタンスを検出すること、および画像中の、識別マーカーに関連する、マーカー情報を認識することを行うようにトレーニングされた、少なくとも１つのニューラルネットワークを実装するように構成される。検出システムは、搬送デバイス上の識別マーカー上に存在する（たとえばそれに符号化された）マーカー情報（たとえば搬送デバイスの記述子）を表現するマーカーデータ（たとえばテキストストリングまたはコード）を生成するために、少なくとも１つのニューラルネットワークを用いて、取得された画像データを処理することと、マーカーデータを出力することとを行うように構成される。
【0132】
さらに、搬送デバイスのロケーション特定に関する説明される例では、グリッド１５上の検出された搬送デバイス３０のロケーションは、画像中の検出された搬送デバイスを示すアノテーションデータを、複数の仮想の搬送するデバイスに対応するさらなるアノテーションデータと比較することによって、決定可能である。代替例では、グリッド１５上の検出された搬送デバイス３０のロケーションは、２つのステッププロセスにおいて決定され得る。第１に、複数の仮想搬送デバイスはフィルタ処理され、これは、たとえば、搬送デバイス３０の予測／推論データと、複数の仮想搬送デバイスのすべての可能なロケーションのアノテーションデータとを使用して、和集合の共通部分（ＩｏＵ）値を計算することを含む。たとえば、所定のしきい値よりも小さい計算されたＩｏＵ値をもつ仮想搬送デバイスが、フィルタで除去される。第２に、すべての残りの仮想搬送デバイスが、カメラの視野の中心に最も近い距離によって（たとえば昇順で）ソートされ、第１の（たとえば最も近い）仮想搬送デバイスが、マッピングとしてとられる。搬送デバイス３０のグリッドロケーションは、次いで、たとえば、マッピングされた仮想搬送デバイスのアノテーションデータがそこから作成される、グリッドロケーションに設定される。
【0133】
データを記憶するためにストレージを採用する例では、ストレージは、ＤＤＲ－ＳＤＲＡＭ（ダブルデータレート同期ダイナミックランダムアクセスメモリ）などのランダムアクセスメモリ（ＲＡＭ）であり得る。他の例では、ストレージ３３０は、読取り専用メモリ（ＲＯＭ）などの不揮発性メモリ、またはフラッシュメモリなどのソリッドステートドライブ（ＳＳＤ）を含み得る。ストレージは、いくつかの場合には、他の記憶媒体、たとえば、磁気、光またはテープ媒体、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）または他のデータ記憶媒体を含む。ストレージは、関係するシステムから取外し可能であるか、または取外し不可能であり得る。
【0134】
データ処理を採用する例では、プロセッサが、関係するシステムの一部として採用され得る。プロセッサは、中央処理ユニット（ＣＰＵ）、マイクロプロセッサ、グラフィックス処理ユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または別のプログラマブル論理デバイス、個別ゲートまたはトランジスタ論理、個別ハードウェア構成要素、あるいは本明細書で説明されるデータ処理機能を実施するように設計されたそれらの任意の好適な組合せなど、汎用プロセッサであり得る。
【0135】
ニューラルネットワークを伴う例では、専用プロセッサが、関係するシステムの一部として採用され得る。専用プロセッサは、ＮＰＵ、ニューラルネットワークアクセラレータ（ＮＮＡ）、またはニューラルネットワーク機能について専用化されたハードウェアアクセラレータの他のバージョンであり得る。追加または代替として、ニューラルネットワーク処理作業負荷は、１つまたは複数の標準プロセッサ、たとえばＣＰＵまたはＧＰＵによって、少なくとも部分的に共有され得る。
【0136】
「アイテム」という用語が説明全体にわたって使用されたが、それは、ケース、アセット、ユニット、パレット、機器など、他の用語を含むことが想定される。「アノテーションデータ」という用語が、説明全体にわたって同様に使用された。しかしながら、その用語は、代替の命名法では予測データまたは推論データと対応することが想定される。たとえば、（たとえばニューラルネットワークを備える）物体検出モデルは、モデルについてのグランドトゥルース、たとえば、１００％または正規化されたときに１の信頼性をもつ予測または推論として働く、アノテーション付き画像、たとえば、バウンディングボックスなどのアノテーションをもつ画像を使用して、トレーニングされ得る。これらのアノテーションは、たとえば、モデルをトレーニングする目的のために人間によって行われ得る。したがって、本開示の物体検出は、画像中の搬送デバイスの予測または推論を示すために、（たとえば「アノテーションデータ」の代わりに）予測データまたは推論データを出力することを伴うと解釈され得る。予測データまたは推論データは、画像に適用されるアノテーション、たとえばバウンディングボックスおよび／またはラベルとして表現され得る。予測データまたは推論データは、たとえば、画像中の搬送デバイスの予測または推論に関連する信頼性を含む。アノテーションは、たとえば、生成された予測データまたは推論データに基づいて画像に適用され得る。たとえば、画像は、たとえば、割合値、または０から１の間の正規化された値として、予測の信頼性レベルを示すラベルをもつ、予測された搬送デバイスを囲むバウンディングボックスを含むように更新され得る。
【0137】
また、任意の一例に関して説明される特徴が、単独で、または説明される他の特徴と組み合わせて使用され得、また、例のうちの任意の他のものの１つまたは複数の特徴と組み合わせて、または例のうちの任意の他のものの任意の組合せで使用され得ることを理解されたい。さらに、上記で説明されない等価物および修正も、添付の特許請求の範囲の範囲から逸脱することなく採用され得る。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8A】
【図8B】
【図9】
【図10A】
【図10B】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【手続補正書】
【提出日】2024-07-19
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
保管システムのグリッドの上に配設された広角または超広角カメラを較正する方法であって、前記グリッドが、Ｘ方向に延在する平行なトラックの第１のセットと、実質的に水平な平面において前記第１のセットに直交する、Ｙ方向に延在する平行なトラックの第２のセットとによって形成され、前記グリッドが、複数のグリッド空間を備え、単一のグリッド空間のフットプリント内で前記トラックの下にスタックされたコンテナを取り扱うために、前記トラック上で前記Ｘ方向または前記Ｙ方向のうちの少なくとも１つにおいて選択的に移動可能である、１つまたは複数の搬送デバイスを支持するように配置され、
前記方法は、
前記カメラによってキャプチャされた前記グリッドのグリッドセクションの画像を取得することと、
前記カメラに対応する複数のパラメータの初期値を取得することと、前記複数のパラメータが、前記カメラの焦点距離と、前記グリッドセクションの上の前記カメラの位置を表現する並進ベクトルと、前記カメラの傾きおよび回転を表現する回転ベクトルとを含む、
前記画像を、前記グリッドセクションの前記画像中にキャプチャされた、平行なトラックの前記第１のセットおよび前記第２のセットのモデルを生成するために、広角または超広角カメラによってキャプチャされたグリッドセクションの画像中の平行なトラックの前記第１のセットおよび前記第２のセットを検出／予測するようにトレーニングされたニューラルネットワークを使用して、処理することと、
前記複数のパラメータに基づくマッピングを使用して、前記モデル中の選択されたピクセルを、前記グリッド上の対応するポイントにマッピングすることと、ここにおいて、前記初期値が、前記マッピングへの入力として使用される、
前記マッピングによって決定された前記ポイントのグリッド座標と知られているグリッド座標との間の不一致に基づいて、誤差関数を決定することと、
前記誤差関数に基づいて、前記初期値を前記複数のパラメータの更新された値に更新することと、
前記マッピングを介して、前記カメラによってキャプチャされた前記グリッドセクションの画像中のピクセルを、前記保管システムの前記グリッド上の対応するポイントにマッピングするために、前記複数のパラメータの前記更新された値を記憶することと
を備える、方法。
【請求項2】
前記複数のパラメータの前記初期値を更新することが、ブロイデン－フレッチャー－ゴールドファーブ－シャンノアルゴリズムを適用することを備える、請求項１に記載の方法。
【請求項3】
前記誤差関数を反復的に決定することと、さらに、前記誤差関数が所定のしきい値未満だけ低減されるまで、前記複数のパラメータの前記更新された値を更新することとを備える、請求項１または２に記載の方法。
【請求項4】
前記複数のパラメータについてのそれぞれの境界値が、前記複数のパラメータのそれぞれの値を更新するときに適用される、請求項１または２に記載の方法。
【請求項5】
前記回転ベクトルに関連する回転角についての前記境界値が、実質的に０度および実質的に＋５度である、請求項４に記載の方法。
【請求項6】
前記並進ベクトルの平面成分についての前記境界値が、グリッドセルの長さの±０．６である、請求項４に記載の方法。
【請求項7】
前記並進ベクトルの高さ成分についての前記境界値が、前記グリッドの１８００ｍｍおよび２１００ｍｍ上である、請求項４に記載の方法。
【請求項8】
前記焦点距離についての前記境界値が、０．２３および０．２６ｃｍである、請求項４に記載の方法。
【請求項9】
前記記憶することが、前記カメラに関連する保管ロケーションにおいて、データベース中に、前記更新された値を記憶することを備える、請求項１または２に記載の方法。
【請求項10】
前記画像を、前記画像中の前記グリッドセクションのグリッドセル中にあるグリッドセルマーカーを検出するために、グリッドセクションの画像中のグリッドセルマーカーのインスタンスを検出するようにトレーニングされた物体検出モデルを使用して、処理することと、前記グリッドセルマーカーに符号化されたグリッドセル座標データを抽出することと、
前記抽出されたセル座標データに基づいて、前記グリッド上のポイントへの前記画像中のピクセルの前記マッピングによって生成された、グリッド座標を較正することと
を備える、請求項１または２に記載の方法。
【請求項11】
平行なトラックの前記第１のセットおよび前記第２のセットの中心線のみを表現するように前記グリッドセクションの前記モデルを改良することを備え、前記改良することが、水平線および垂直線検出カーネルで前記モデルをフィルタ処理することを備える、請求項１または２に記載の方法。
【請求項12】
前記フィルタ処理することが、前記水平線および垂直線検出カーネルを使用して前記モデルのピクセル値を収縮させることと膨張させることとのうちの少なくとも１つを備える、請求項１１に記載の方法。
【請求項13】
２次中心線を作り出すために前記中心線をそれぞれの２次軌道に適合させることと、前記モデルを生成するために前記２次中心線からピクセルのランダムサブセットを抽出することと
を備える、請求項１１に記載の方法。
【請求項14】
前記マッピングが、前記画像中の所与のピクセルと前記グリッド上の対応するポイントとについて、前記画像中の前記ピクセルの画像座標に基づいて、前記対応するポイントの第２のデカルト座標を決定することと、
前記第２のデカルト座標を第２の極座標にコンバートすることと、
第１の極座標を生成するために前記第２の極座標に逆ひずみモデルを適用することと、
前記第１の極座標を前記ポイントの第１のデカルト座標にコンバートすることと、
前記ポイントを、前記カメラに対応する第２の平面におけるデカルト座標系から整合解除することと、
前記グリッドに対する前記ポイントのグリッド座標を決定するために、前記第２の平面から前記グリッドに対応する第１の平面上に前記ポイントを投影することと
を備える、請求項１または２に記載の方法。
【請求項15】
前記逆ひずみモデルが、【数1】
ここにおいて、ｒ’が前記ポイントのひずんだ半径方向座標であり、ｒが前記ポイントのひずんでいない半径方向座標であり、ｆが前記カメラの前記焦点距離である、
請求項１４に記載の方法。
【請求項16】
前記第２のデカルト座標を決定することが、前記画像座標をセンタリングすることまたは正規化することのうちの少なくとも１つを含む、前記画像中の前記ピクセルを初期化することを備える、請求項１４に記載の方法。
【請求項17】
前記第２のデカルト座標を決定することが、前記画像座標の縦座標を反転させることを備える、請求項１４に記載の方法。
【請求項18】
前記ポイントを前記デカルト座標系から整合解除することが、前記ポイントを前記画像中の前記グリッドの配向と整合させるために、前記ポイントに回転変換を適用することを備える、請求項１４に記載の方法。
【請求項19】
前記グリッドに対応する前記第１の平面上に前記ポイントを投影することが、【数2】
ここにおいて、
【数3】
ここにおいて、ｐが、前記グリッドに対応する前記第１の平面におけるポイント座標を備え、ｆが前記カメラの前記焦点距離であり、ｔが平面並進ベクトルであり、ｑが前記第２の平面における前記第１のデカルト座標を備え、ｚが前記カメラと前記グリッドとの間の距離であり、Ｒが、回転ベクトルに関係する３次元回転行列である、
請求項１４に記載の方法。
【請求項20】
保管システムのグリッドの上に配設された広角または超広角カメラを較正するための較正システムであって、前記グリッドが、Ｘ方向に延在する平行なトラックの第１のセットと、実質的に水平な平面において前記第１のセットに直交する、Ｙ方向に延在する平行なトラックの第２のセットとによって形成され、前記グリッドが、複数のグリッド空間を備え、単一のグリッド空間のフットプリント内で前記トラックの下にスタックされたコンテナを取り扱うために、前記トラック上で前記Ｘ方向または前記Ｙ方向のうちの少なくとも１つにおいて選択的に移動可能である、１つまたは複数の搬送デバイスを支持するように配置され、
前記較正システムは、
前記カメラによってキャプチャされた前記グリッドのグリッドセクションの画像を取得することと、前記カメラに対応する複数のパラメータの初期値を取得することと、前記複数のパラメータが、前記カメラの焦点距離と、前記グリッドセクションの上の前記カメラの位置を表現する並進ベクトルと、前記カメラの傾きおよび回転を表現する回転ベクトルとを含む、を行うための少なくとも１つのインターフェースと、
前記画像を、前記グリッドセクションの前記画像中にキャプチャされた、平行なトラックの前記第１のセットおよび前記第２のセットのモデルを生成するために、広角または超広角カメラによってキャプチャされたグリッドセクションの画像中の平行なトラックの前記第１のセットおよび前記第２のセットを検出／予測するようにトレーニングされたニューラルネットワークを使用して、処理することと、
前記複数のパラメータに基づくマッピングを使用して、前記モデル中のピクセルを、前記グリッド上の対応するポイントにマッピングすることと、ここにおいて、前記初期値が、前記マッピングへの入力として使用される、
前記マッピングによって決定された前記ポイントのグリッド座標と知られているグリッド座標との間の不一致に基づいて、誤差関数を決定することと、
前記誤差関数に基づいて、前記初期値を前記複数のパラメータの更新された値に更新することと、
前記マッピングを介して、前記カメラによってキャプチャされた前記グリッドセクションの画像中のピクセルを、前記保管システムの前記グリッド上の対応するポイントにマッピングするために、前記複数のパラメータの前記更新された値をストレージに出力することと
を行うように構成された、少なくとも１つのプロセッサと
を備える、較正システム。
【請求項21】
前記少なくとも１つのプロセッサが、前記画像を、前記画像中の前記グリッドセクションのグリッドセル中にあるグリッドセルマーカーを検出するために、グリッドセクションの画像中のグリッドセルマーカーのインスタンスを検出するようにトレーニングされた物体検出モデルを使用して、処理することと、
前記グリッドセルマーカーに符号化されたグリッドセル座標データを抽出することと、
前記抽出されたセル座標データに基づいて、前記グリッド上のポイントへの前記画像中のピクセルの前記マッピングによって生成された、グリッド座標を較正することと
を行うように構成された、請求項２０に記載の較正システム。
【請求項22】
前記グリッドセルマーカーが、サインボードを備え、前記セル座標データが、前記サインボード上にマークされる、請求項２１に記載の較正システム。
【請求項23】
前記マッピングが、前記画像中の所与のピクセルと前記グリッド上の対応するポイントとについて、前記画像中の前記ピクセルの画像座標に基づいて、前記対応するポイントの第２のデカルト座標を決定することと、
前記第２のデカルト座標を第２の極座標にコンバートすることと、
第１の極座標を生成するために前記第２の極座標に逆ひずみモデルを適用することと、
前記第１の極座標を前記ポイントの第１のデカルト座標にコンバートすることと、
前記ポイントを、前記カメラに対応する第２の平面におけるデカルト座標系から整合解除することと、
前記グリッドに対する前記ポイントのグリッド座標を決定するために、前記第２の平面から前記グリッドに対応する第１の平面上に前記ポイントを投影することと
を備える、請求項２０から２２のいずれか一項に記載の較正システム。
【請求項24】
前記逆ひずみモデルが、【数4】
ここにおいて、ｒ’が前記ポイントのひずんだ半径方向座標であり、ｒが前記ポイントのひずんでいない半径方向座標であり、ｆが前記カメラの前記焦点距離である、
請求項２３に記載の較正システム。
【請求項25】
前記ニューラルネットワークが、畳み込みニューラルネットワークを備える、請求項２０から２２のいずれかに記載の較正システム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０１３７
【補正方法】変更
【補正の内容】
【0137】
また、任意の一例に関して説明される特徴が、単独で、または説明される他の特徴と組み合わせて使用され得、また、例のうちの任意の他のものの１つまたは複数の特徴と組み合わせて、または例のうちの任意の他のものの任意の組合せで使用され得ることを理解されたい。さらに、上記で説明されない等価物および修正も、添付の特許請求の範囲の範囲から逸脱することなく採用され得る。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
保管システムのグリッドの上に配設された広角または超広角カメラを較正する方法であって、前記グリッドが、Ｘ方向に延在する平行なトラックの第１のセットと、実質的に水平な平面において前記第１のセットに直交する、Ｙ方向に延在する平行なトラックの第２のセットとによって形成され、
前記グリッドが、複数のグリッド空間を備え、単一のグリッド空間のフットプリント内で前記トラックの下にスタックされたコンテナを取り扱うために、前記トラック上で前記Ｘ方向または前記Ｙ方向のうちの少なくとも１つにおいて選択的に移動可能である、１つまたは複数の搬送デバイスを支持するように配置され、
前記方法は、
前記カメラによってキャプチャされた前記グリッドのグリッドセクションの画像を取得することと、
前記カメラに対応する複数のパラメータの初期値を取得することと、前記複数のパラメータが、前記カメラの焦点距離と、前記グリッドセクションの上の前記カメラの位置を表現する並進ベクトルと、前記カメラの傾きおよび回転を表現する回転ベクトルとを含む、
前記画像を、前記グリッドセクションの前記画像中にキャプチャされた、平行なトラックの前記第１のセットおよび前記第２のセットのモデルを生成するために、広角または超広角カメラによってキャプチャされたグリッドセクションの画像中の平行なトラックの前記第１のセットおよび前記第２のセットを検出／予測するようにトレーニングされたニューラルネットワークを使用して、処理することと、
前記複数のパラメータに基づくマッピングを使用して、前記モデル中の選択されたピクセルを、前記グリッド上の対応するポイントにマッピングすることと、ここにおいて、前記初期値が、前記マッピングへの入力として使用される、
前記マッピングによって決定された前記ポイントのグリッド座標と知られているグリッド座標との間の不一致に基づいて、誤差関数を決定することと、
前記誤差関数に基づいて、前記初期値を前記複数のパラメータの更新された値に更新することと、
前記マッピングを介して、前記カメラによってキャプチャされた前記グリッドセクションの画像中のピクセルを、前記保管システムの前記グリッド上の対応するポイントにマッピングするために、前記複数のパラメータの前記更新された値を記憶することと
を備える、方法。
［Ｃ２］
前記複数のパラメータの前記初期値を更新することが、ブロイデン－フレッチャー－ゴールドファーブ－シャンノアルゴリズムを適用することを備える、Ｃ１に記載の方法。
［Ｃ３］
前記誤差関数を反復的に決定することと、さらに、前記誤差関数が所定のしきい値未満だけ低減されるまで、前記複数のパラメータの前記更新された値を更新することとを備える、Ｃ１または２に記載の方法。
［Ｃ４］
前記複数のパラメータについてのそれぞれの境界値が、前記複数のパラメータのそれぞれの値を更新するときに適用される、Ｃ１から３のいずれかに記載の方法。
［Ｃ５］
前記回転ベクトルに関連する回転角についての前記境界値が、実質的に０度および実質的に＋５度である、Ｃ４に記載の方法。
［Ｃ６］
前記並進ベクトルの平面成分についての前記境界値が、グリッドセルの長さの±０．６である、Ｃ４または５に記載の方法。
［Ｃ７］
前記並進ベクトルの高さ成分についての前記境界値が、前記グリッドの１８００ｍｍおよび２１００ｍｍ上である、Ｃ４から６のいずれか一項に記載の方法。
［Ｃ８］
前記焦点距離についての前記境界値が、０．２３および０．２６ｃｍである、Ｃ４から７のいずれか一項に記載の方法。
［Ｃ９］
前記記憶することが、前記カメラに関連する保管ロケーションにおいて、データベース中に、前記更新された値を記憶することを備える、Ｃ１から８のいずれかに記載の方法。
［Ｃ１０］
前記画像を、前記画像中の前記グリッドセクションのグリッドセル中にあるグリッドセルマーカーを検出するために、グリッドセクションの画像中のグリッドセルマーカーのインスタンスを検出するようにトレーニングされた物体検出モデルを使用して、処理することと、
前記グリッドセルマーカーに符号化されたグリッドセル座標データを抽出することと、
前記抽出されたセル座標データに基づいて、前記グリッド上のポイントへの前記画像中のピクセルの前記マッピングによって生成された、グリッド座標を較正することと
を備える、Ｃ１から９のいずれかに記載の方法。
［Ｃ１１］
平行なトラックの前記第１のセットおよび前記第２のセットの中心線のみを表現するように前記グリッドセクションの前記モデルを改良することを備え、前記改良することが、水平線および垂直線検出カーネルで前記モデルをフィルタ処理することを備える、Ｃ１から１０のいずれかに記載の方法。
［Ｃ１２］
前記フィルタ処理することが、前記水平線および垂直線検出カーネルを使用して前記モデルのピクセル値を収縮させることと膨張させることとのうちの少なくとも１つを備える、Ｃ１１に記載の方法。
［Ｃ１３］
２次中心線を作り出すために前記中心線をそれぞれの２次軌道に適合させることと、
前記モデルを生成するために前記２次中心線からピクセルのランダムサブセットを抽出することと
を備える、Ｃ１１または１２に記載の方法。
［Ｃ１４］
前記マッピングが、前記画像中の所与のピクセルと前記グリッド上の対応するポイントとについて、
前記画像中の前記ピクセルの画像座標に基づいて、前記対応するポイントの第２のデカルト座標を決定することと、
前記第２のデカルト座標を第２の極座標にコンバートすることと、
第１の極座標を生成するために前記第２の極座標に逆ひずみモデルを適用することと、
前記第１の極座標を前記ポイントの第１のデカルト座標にコンバートすることと、
前記ポイントを、前記カメラに対応する第２の平面におけるデカルト座標系から整合解除することと、
前記グリッドに対する前記ポイントのグリッド座標を決定するために、前記第２の平面から前記グリッドに対応する第１の平面上に前記ポイントを投影することと
を備える、Ｃ１から１３のいずれかに記載の方法。
［Ｃ１５］
前記逆ひずみモデルが、
によって与えられるひずみのタンジェントモデルに基づき、
ここにおいて、ｒ’が前記ポイントのひずんだ半径方向座標であり、ｒが前記ポイントのひずんでいない半径方向座標であり、ｆが前記カメラの前記焦点距離である、
Ｃ１４に記載の方法。
［Ｃ１６］
前記第２のデカルト座標を決定することが、前記画像座標をセンタリングすることまたは正規化することのうちの少なくとも１つを含む、前記画像中の前記ピクセルを初期化することを備える、Ｃ１４または１５に記載の方法。
［Ｃ１７］
前記第２のデカルト座標を決定することが、前記画像座標の縦座標を反転させることを備える、Ｃ１４から１６のいずれか一項に記載の方法。
［Ｃ１８］
前記ポイントを前記デカルト座標系から整合解除することが、前記ポイントを前記画像中の前記グリッドの配向と整合させるために、前記ポイントに回転変換を適用することを備える、Ｃ１４から１７のいずれか一項に記載の方法。
［Ｃ１９］
前記グリッドに対応する前記第１の平面上に前記ポイントを投影することが、
を算出することを備え、
ここにおいて、
であり、
ここにおいて、ｐが、前記グリッドに対応する前記第１の平面におけるポイント座標を備え、ｆが前記カメラの前記焦点距離であり、ｔが平面並進ベクトルであり、ｑが前記第２の平面における前記第１のデカルト座標を備え、ｚが前記カメラと前記グリッドとの間の距離であり、Ｒが、回転ベクトルに関係する３次元回転行列である、
Ｃ１４から１８のいずれか一項に記載の方法。
［Ｃ２０］
保管システムのグリッドの上に配設された広角または超広角カメラを較正するための較正システムであって、前記グリッドが、Ｘ方向に延在する平行なトラックの第１のセットと、実質的に水平な平面において前記第１のセットに直交する、Ｙ方向に延在する平行なトラックの第２のセットとによって形成され、
前記グリッドが、複数のグリッド空間を備え、単一のグリッド空間のフットプリント内で前記トラックの下にスタックされたコンテナを取り扱うために、前記トラック上で前記Ｘ方向または前記Ｙ方向のうちの少なくとも１つにおいて選択的に移動可能である、１つまたは複数の搬送デバイスを支持するように配置され、
前記較正システムは、
前記カメラによってキャプチャされた前記グリッドのグリッドセクションの画像を取得することと、前記カメラに対応する複数のパラメータの初期値を取得することと、前記複数のパラメータが、前記カメラの焦点距離と、前記グリッドセクションの上の前記カメラの位置を表現する並進ベクトルと、前記カメラの傾きおよび回転を表現する回転ベクトルとを含む、を行うための少なくとも１つのインターフェースと、
前記画像を、前記グリッドセクションの前記画像中にキャプチャされた、平行なトラックの前記第１のセットおよび前記第２のセットのモデルを生成するために、広角または超広角カメラによってキャプチャされたグリッドセクションの画像中の平行なトラックの前記第１のセットおよび前記第２のセットを検出／予測するようにトレーニングされたニューラルネットワークを使用して、処理することと、
前記複数のパラメータに基づくマッピングを使用して、前記モデル中のピクセルを、前記グリッド上の対応するポイントにマッピングすることと、ここにおいて、前記初期値が、前記マッピングへの入力として使用される、
前記マッピングによって決定された前記ポイントのグリッド座標と知られているグリッド座標との間の不一致に基づいて、誤差関数を決定することと、
前記誤差関数に基づいて、前記初期値を前記複数のパラメータの更新された値に更新することと、
前記マッピングを介して、前記カメラによってキャプチャされた前記グリッドセクションの画像中のピクセルを、前記保管システムの前記グリッド上の対応するポイントにマッピングするために、前記複数のパラメータの前記更新された値をストレージに出力することと
を行うように構成された、少なくとも１つのプロセッサと
を備える、較正システム。
［Ｃ２１］
前記少なくとも１つのプロセッサが、
前記画像を、前記画像中の前記グリッドセクションのグリッドセル中にあるグリッドセルマーカーを検出するために、グリッドセクションの画像中のグリッドセルマーカーのインスタンスを検出するようにトレーニングされた物体検出モデルを使用して、処理することと、
前記グリッドセルマーカーに符号化されたグリッドセル座標データを抽出することと、
前記抽出されたセル座標データに基づいて、前記グリッド上のポイントへの前記画像中のピクセルの前記マッピングによって生成された、グリッド座標を較正することと
を行うように構成された、Ｃ２０に記載の較正システム。
［Ｃ２２］
前記グリッドセルマーカーが、サインボードを備え、前記セル座標データが、前記サインボード上にマークされる、Ｃ２１に記載の較正システム。
［Ｃ２３］
前記マッピングが、前記画像中の所与のピクセルと前記グリッド上の対応するポイントとについて、
前記画像中の前記ピクセルの画像座標に基づいて、前記対応するポイントの第２のデカルト座標を決定することと、
前記第２のデカルト座標を第２の極座標にコンバートすることと、
第１の極座標を生成するために前記第２の極座標に逆ひずみモデルを適用することと、
前記第１の極座標を前記ポイントの第１のデカルト座標にコンバートすることと、
前記ポイントを、前記カメラに対応する第２の平面におけるデカルト座標系から整合解除することと、
前記グリッドに対する前記ポイントのグリッド座標を決定するために、前記第２の平面から前記グリッドに対応する第１の平面上に前記ポイントを投影することと
を備える、Ｃ２０から２２のいずれか一項に記載の較正システム。
［Ｃ２４］
前記逆ひずみモデルが、
によって与えられるひずみのタンジェントモデルに基づき、
ここにおいて、ｒ’が前記ポイントのひずんだ半径方向座標であり、ｒが前記ポイントのひずんでいない半径方向座標であり、ｆが前記カメラの前記焦点距離である、
Ｃ２３に記載の較正システム。
［Ｃ２５］
前記ニューラルネットワークが、畳み込みニューラルネットワークを備える、Ｃ２０から２４のいずれかに記載の較正システム。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
保管システムのグリッドの上に配設された広角または超広角カメラを較正する方法であって、前記グリッドが、Ｘ方向に延在する平行なトラックの第１のセットと、実質的に水平な平面において前記第１のセットに直交する、Ｙ方向に延在する平行なトラックの第２のセットとによって形成され、
前記グリッドが、複数のグリッド空間を備え、単一のグリッド空間のフットプリント内で前記トラックの下にスタックされたコンテナを取り扱うために、前記トラック上で前記Ｘ方向または前記Ｙ方向のうちの少なくとも１つにおいて選択的に移動可能である、１つまたは複数の搬送デバイスを支持するように配置され、
前記方法は、
前記カメラによってキャプチャされた前記グリッドのグリッドセクションの画像を取得することと、
前記カメラに対応する複数のパラメータの初期値を取得することと、前記複数のパラメータが、前記カメラの焦点距離と、前記グリッドセクションの上の前記カメラの位置を表現する並進ベクトルと、前記カメラの傾きおよび回転を表現する回転ベクトルとを含む、
前記画像を、前記グリッドセクションの前記画像中にキャプチャされた、平行なトラックの前記第１のセットおよび前記第２のセットのモデルを生成するために、広角または超広角カメラによってキャプチャされたグリッドセクションの画像中の平行なトラックの前記第１のセットおよび前記第２のセットを検出／予測するようにトレーニングされたニューラルネットワークを使用して、処理することと、
前記複数のパラメータに基づくマッピングを使用して、前記モデル中の選択されたピクセルを、前記グリッド上の対応するポイントにマッピングすることと、ここにおいて、前記初期値が、前記マッピングへの入力として使用される、
前記マッピングによって決定された前記ポイントのグリッド座標と知られているグリッド座標との間の不一致に基づいて、誤差関数を決定することと、
前記誤差関数に基づいて、前記初期値を前記複数のパラメータの更新された値に更新することと、
前記マッピングを介して、前記カメラによってキャプチャされた前記グリッドセクションの画像中のピクセルを、前記保管システムの前記グリッド上の対応するポイントにマッピングするために、前記複数のパラメータの前記更新された値を記憶することと
を備える、方法。
［Ｃ２］
前記複数のパラメータの前記初期値を更新することが、ブロイデン－フレッチャー－ゴールドファーブ－シャンノアルゴリズムを適用することを備える、Ｃ１に記載の方法。
［Ｃ３］
前記誤差関数を反復的に決定することと、さらに、前記誤差関数が所定のしきい値未満だけ低減されるまで、前記複数のパラメータの前記更新された値を更新することとを備える、Ｃ１または２に記載の方法。
［Ｃ４］
前記複数のパラメータについてのそれぞれの境界値が、前記複数のパラメータのそれぞれの値を更新するときに適用される、Ｃ１から３のいずれかに記載の方法。
［Ｃ５］
前記回転ベクトルに関連する回転角についての前記境界値が、実質的に０度および実質的に＋５度である、Ｃ４に記載の方法。
［Ｃ６］
前記並進ベクトルの平面成分についての前記境界値が、グリッドセルの長さの±０．６である、Ｃ４または５に記載の方法。
［Ｃ７］
前記並進ベクトルの高さ成分についての前記境界値が、前記グリッドの１８００ｍｍおよび２１００ｍｍ上である、Ｃ４から６のいずれか一項に記載の方法。
［Ｃ８］
前記焦点距離についての前記境界値が、０．２３および０．２６ｃｍである、Ｃ４から７のいずれか一項に記載の方法。
［Ｃ９］
前記記憶することが、前記カメラに関連する保管ロケーションにおいて、データベース中に、前記更新された値を記憶することを備える、Ｃ１から８のいずれかに記載の方法。
［Ｃ１０］
前記画像を、前記画像中の前記グリッドセクションのグリッドセル中にあるグリッドセルマーカーを検出するために、グリッドセクションの画像中のグリッドセルマーカーのインスタンスを検出するようにトレーニングされた物体検出モデルを使用して、処理することと、
前記グリッドセルマーカーに符号化されたグリッドセル座標データを抽出することと、
前記抽出されたセル座標データに基づいて、前記グリッド上のポイントへの前記画像中のピクセルの前記マッピングによって生成された、グリッド座標を較正することと
を備える、Ｃ１から９のいずれかに記載の方法。
［Ｃ１１］
平行なトラックの前記第１のセットおよび前記第２のセットの中心線のみを表現するように前記グリッドセクションの前記モデルを改良することを備え、前記改良することが、水平線および垂直線検出カーネルで前記モデルをフィルタ処理することを備える、Ｃ１から１０のいずれかに記載の方法。
［Ｃ１２］
前記フィルタ処理することが、前記水平線および垂直線検出カーネルを使用して前記モデルのピクセル値を収縮させることと膨張させることとのうちの少なくとも１つを備える、Ｃ１１に記載の方法。
［Ｃ１３］
２次中心線を作り出すために前記中心線をそれぞれの２次軌道に適合させることと、
前記モデルを生成するために前記２次中心線からピクセルのランダムサブセットを抽出することと
を備える、Ｃ１１または１２に記載の方法。
［Ｃ１４］
前記マッピングが、前記画像中の所与のピクセルと前記グリッド上の対応するポイントとについて、
前記画像中の前記ピクセルの画像座標に基づいて、前記対応するポイントの第２のデカルト座標を決定することと、
前記第２のデカルト座標を第２の極座標にコンバートすることと、
第１の極座標を生成するために前記第２の極座標に逆ひずみモデルを適用することと、
前記第１の極座標を前記ポイントの第１のデカルト座標にコンバートすることと、
前記ポイントを、前記カメラに対応する第２の平面におけるデカルト座標系から整合解除することと、
前記グリッドに対する前記ポイントのグリッド座標を決定するために、前記第２の平面から前記グリッドに対応する第１の平面上に前記ポイントを投影することと
を備える、Ｃ１から１３のいずれかに記載の方法。
［Ｃ１５］
前記逆ひずみモデルが、
【数11】
ここにおいて、ｒ’が前記ポイントのひずんだ半径方向座標であり、ｒが前記ポイントのひずんでいない半径方向座標であり、ｆが前記カメラの前記焦点距離である、
Ｃ１４に記載の方法。
［Ｃ１６］
前記第２のデカルト座標を決定することが、前記画像座標をセンタリングすることまたは正規化することのうちの少なくとも１つを含む、前記画像中の前記ピクセルを初期化することを備える、Ｃ１４または１５に記載の方法。
［Ｃ１７］
前記第２のデカルト座標を決定することが、前記画像座標の縦座標を反転させることを備える、Ｃ１４から１６のいずれか一項に記載の方法。
［Ｃ１８］
前記ポイントを前記デカルト座標系から整合解除することが、前記ポイントを前記画像中の前記グリッドの配向と整合させるために、前記ポイントに回転変換を適用することを備える、Ｃ１４から１７のいずれか一項に記載の方法。
［Ｃ１９］
前記グリッドに対応する前記第１の平面上に前記ポイントを投影することが、
【数12】
ここにおいて、
【数13】
ここにおいて、ｐが、前記グリッドに対応する前記第１の平面におけるポイント座標を備え、ｆが前記カメラの前記焦点距離であり、ｔが平面並進ベクトルであり、ｑが前記第２の平面における前記第１のデカルト座標を備え、ｚが前記カメラと前記グリッドとの間の距離であり、Ｒが、回転ベクトルに関係する３次元回転行列である、
Ｃ１４から１８のいずれか一項に記載の方法。
［Ｃ２０］
保管システムのグリッドの上に配設された広角または超広角カメラを較正するための較正システムであって、前記グリッドが、Ｘ方向に延在する平行なトラックの第１のセットと、実質的に水平な平面において前記第１のセットに直交する、Ｙ方向に延在する平行なトラックの第２のセットとによって形成され、
前記グリッドが、複数のグリッド空間を備え、単一のグリッド空間のフットプリント内で前記トラックの下にスタックされたコンテナを取り扱うために、前記トラック上で前記Ｘ方向または前記Ｙ方向のうちの少なくとも１つにおいて選択的に移動可能である、１つまたは複数の搬送デバイスを支持するように配置され、
前記較正システムは、
前記カメラによってキャプチャされた前記グリッドのグリッドセクションの画像を取得することと、前記カメラに対応する複数のパラメータの初期値を取得することと、前記複数のパラメータが、前記カメラの焦点距離と、前記グリッドセクションの上の前記カメラの位置を表現する並進ベクトルと、前記カメラの傾きおよび回転を表現する回転ベクトルとを含む、を行うための少なくとも１つのインターフェースと、
前記画像を、前記グリッドセクションの前記画像中にキャプチャされた、平行なトラックの前記第１のセットおよび前記第２のセットのモデルを生成するために、広角または超広角カメラによってキャプチャされたグリッドセクションの画像中の平行なトラックの前記第１のセットおよび前記第２のセットを検出／予測するようにトレーニングされたニューラルネットワークを使用して、処理することと、
前記複数のパラメータに基づくマッピングを使用して、前記モデル中のピクセルを、前記グリッド上の対応するポイントにマッピングすることと、ここにおいて、前記初期値が、前記マッピングへの入力として使用される、
前記マッピングによって決定された前記ポイントのグリッド座標と知られているグリッド座標との間の不一致に基づいて、誤差関数を決定することと、
前記誤差関数に基づいて、前記初期値を前記複数のパラメータの更新された値に更新することと、
前記マッピングを介して、前記カメラによってキャプチャされた前記グリッドセクションの画像中のピクセルを、前記保管システムの前記グリッド上の対応するポイントにマッピングするために、前記複数のパラメータの前記更新された値をストレージに出力することと
を行うように構成された、少なくとも１つのプロセッサと
を備える、較正システム。
［Ｃ２１］
前記少なくとも１つのプロセッサが、
前記画像を、前記画像中の前記グリッドセクションのグリッドセル中にあるグリッドセルマーカーを検出するために、グリッドセクションの画像中のグリッドセルマーカーのインスタンスを検出するようにトレーニングされた物体検出モデルを使用して、処理することと、
前記グリッドセルマーカーに符号化されたグリッドセル座標データを抽出することと、
前記抽出されたセル座標データに基づいて、前記グリッド上のポイントへの前記画像中のピクセルの前記マッピングによって生成された、グリッド座標を較正することと
を行うように構成された、Ｃ２０に記載の較正システム。
［Ｃ２２］
前記グリッドセルマーカーが、サインボードを備え、前記セル座標データが、前記サインボード上にマークされる、Ｃ２１に記載の較正システム。
［Ｃ２３］
前記マッピングが、前記画像中の所与のピクセルと前記グリッド上の対応するポイントとについて、
前記画像中の前記ピクセルの画像座標に基づいて、前記対応するポイントの第２のデカルト座標を決定することと、
前記第２のデカルト座標を第２の極座標にコンバートすることと、
第１の極座標を生成するために前記第２の極座標に逆ひずみモデルを適用することと、
前記第１の極座標を前記ポイントの第１のデカルト座標にコンバートすることと、
前記ポイントを、前記カメラに対応する第２の平面におけるデカルト座標系から整合解除することと、
前記グリッドに対する前記ポイントのグリッド座標を決定するために、前記第２の平面から前記グリッドに対応する第１の平面上に前記ポイントを投影することと
を備える、Ｃ２０から２２のいずれか一項に記載の較正システム。
［Ｃ２４］
前記逆ひずみモデルが、
【数14】
ここにおいて、ｒ’が前記ポイントのひずんだ半径方向座標であり、ｒが前記ポイントのひずんでいない半径方向座標であり、ｆが前記カメラの前記焦点距離である、
Ｃ２３に記載の較正システム。
［Ｃ２５］
前記ニューラルネットワークが、畳み込みニューラルネットワークを備える、Ｃ２０から２４のいずれかに記載の較正システム。
【国際調査報告】