▶ コニカ ミノルタ ビジネス ソリューションズ ユー．エス．エー．， インコーポレイテッドの特許一覧
特開2024-96034２Ｄカメラおよび深度センサの組合せを使用して３Ｄ空間における平面フィーチャを測定するための方法およびシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024096034
(43)【公開日】2024-07-11
(54)【発明の名称】２Ｄカメラおよび深度センサの組合せを使用して３Ｄ空間における平面フィーチャを測定するための方法およびシステム
(51)【国際特許分類】
G01B 11/02 20060101AFI20240704BHJP
G06T 7/60 20170101ALI20240704BHJP
G06T 7/62 20170101ALI20240704BHJP
【ＦＩ】
G01B11/02 H
G06T7/60 180B
G06T7/62
【審査請求】有
【請求項の数】20
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023217938
(22)【出願日】2023-12-25
(31)【優先権主張番号】18/091453
(32)【優先日】2022-12-30
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡ
(71)【出願人】
【識別番号】519448326
【氏名又は名称】コニカ ミノルタ ビジネス ソリューションズ ユー．エス．エー．， インコーポレイテッド
(74)【代理人】
【識別番号】110001254
【氏名又は名称】弁理士法人光陽国際特許事務所
(72)【発明者】
【氏名】クルビダ， ジエ
【テーマコード（参考）】
2F065
5L096
【Ｆターム（参考）】
2F065AA22
2F065AA26
2F065EE05
2F065FF01
2F065FF05
2F065FF31
2F065HH07
2F065JJ03
2F065JJ09
2F065JJ26
2F065QQ01
2F065QQ24
2F065QQ26
5L096AA02
5L096AA03
5L096AA06
5L096AA09
5L096CA05
5L096CA14
5L096FA32
5L096FA54
5L096FA64
5L096FA66
5L096FA69
(57)【要約】 （修正有）
【課題】２Ｄカメラ、深度カメラ、およびコンピュータシステムを含む、平面フィーチャを測定するためのシステムを提供する。
【解決手段】２Ｄカメラがオブジェクトの２Ｄ画像を取り込み、深度カメラがオブジェクトの深度画像を取り込む。オブジェクトは、オブジェクト面にフィーチャを含む。コンピュータシステムは、２Ｄカメラと深度カメラと較正面との間の対応を確立する較正データを取得する。コンピュータシステムは、深度画像および較正データを使用して、２Ｄカメラとオブジェクト面との間の距離をさらに判定し、２Ｄ画像に取り込まれたフィーチャおよび上記距離に基づいてフィーチャの真の測定値を計算する。
【選択図】図１
【解決手段】２Ｄカメラがオブジェクトの２Ｄ画像を取り込み、深度カメラがオブジェクトの深度画像を取り込む。オブジェクトは、オブジェクト面にフィーチャを含む。コンピュータシステムは、２Ｄカメラと深度カメラと較正面との間の対応を確立する較正データを取得する。コンピュータシステムは、深度画像および較正データを使用して、２Ｄカメラとオブジェクト面との間の距離をさらに判定し、２Ｄ画像に取り込まれたフィーチャおよび上記距離に基づいてフィーチャの真の測定値を計算する。
【選択図】図１
【特許請求の範囲】
【請求項1】
平面フィーチャを測定するためのシステムであって、
第１のオブジェクト面に第１のフィーチャを含むオブジェクトの２Ｄ画像を取り込む２Ｄカメラと、
前記オブジェクトの深度画像を取り込む深度カメラと、
コンピュータシステムであって、
前記２Ｄカメラと前記深度カメラと較正面との間の対応を確立する較正データを取得し、
前記深度画像および前記較正データを使用して、前記２Ｄカメラと前記第１のオブジェクト面との間の第１の距離を判定し、
前記２Ｄ画像に取り込まれた前記第１のフィーチャおよび前記第１の距離に基づいて前記第１のフィーチャの真の測定値を計算する、コンピュータシステムと
を備えるシステム。
第１のオブジェクト面に第１のフィーチャを含むオブジェクトの２Ｄ画像を取り込む２Ｄカメラと、
前記オブジェクトの深度画像を取り込む深度カメラと、
コンピュータシステムであって、
前記２Ｄカメラと前記深度カメラと較正面との間の対応を確立する較正データを取得し、
前記深度画像および前記較正データを使用して、前記２Ｄカメラと前記第１のオブジェクト面との間の第１の距離を判定し、
前記２Ｄ画像に取り込まれた前記第１のフィーチャおよび前記第１の距離に基づいて前記第１のフィーチャの真の測定値を計算する、コンピュータシステムと
を備えるシステム。
【請求項2】
前記オブジェクトが第２のオブジェクト面に第２のフィーチャをさらに備え、前記コンピュータシステムが、さらに、
前記２Ｄカメラと前記第２のオブジェクト面との間の第２の距離を判定し、
前記２Ｄ画像に取り込まれた前記第２のフィーチャおよび前記第２の距離に基づいて前記第２のフィーチャの真の測定値を計算する、
請求項１に記載のシステム。
前記２Ｄカメラと前記第２のオブジェクト面との間の第２の距離を判定し、
前記２Ｄ画像に取り込まれた前記第２のフィーチャおよび前記第２の距離に基づいて前記第２のフィーチャの真の測定値を計算する、
請求項１に記載のシステム。
【請求項3】
前記第１の距離を判定することが、
前記深度画像から、前記深度カメラと前記第１のオブジェクト面との間の距離を判定することと、
前記２Ｄカメラと前記深度カメラとの間の深度オフセットに関して、前記深度カメラと前記第１のオブジェクト面との間の前記距離を調節することによって前記第１の距離を計算することであって、前記深度オフセットが前記較正データから取得される、前記第１の距離を計算することと
を含む、請求項１に記載のシステム。
前記深度画像から、前記深度カメラと前記第１のオブジェクト面との間の距離を判定することと、
前記２Ｄカメラと前記深度カメラとの間の深度オフセットに関して、前記深度カメラと前記第１のオブジェクト面との間の前記距離を調節することによって前記第１の距離を計算することであって、前記深度オフセットが前記較正データから取得される、前記第１の距離を計算することと
を含む、請求項１に記載のシステム。
【請求項4】
前記真の測定値を計算することが、
前記第１の距離と、前記２Ｄカメラと前記較正面との間の距離との比を使用して、前記較正面における前記画素のスケーリングされた画素サイズを乗算することにより、実際の画素サイズを有する２Ｄカメラの画素に関して、前記第１のオブジェクト面におけるスケーリングされた画素サイズを計算することであって、前記較正面における前記スケーリングされた画素サイズおよび前記２Ｄカメラと前記較正面との間の距離が、前記較正データから取得される、計算することと、
前記２Ｄ画像において、前記２Ｄ画像へとスケーリングされた前記真の測定値を表す、前記２Ｄカメラの前記画素の部分集合の濃度を判定して、前記濃度に、前記第１のオブジェクト面に投影された前記画素の前記スケーリングされた画素サイズを乗算することにより、前記第１のフィーチャの前記真の測定値を取得することと
を含む、請求項１に記載のシステム。
前記第１の距離と、前記２Ｄカメラと前記較正面との間の距離との比を使用して、前記較正面における前記画素のスケーリングされた画素サイズを乗算することにより、実際の画素サイズを有する２Ｄカメラの画素に関して、前記第１のオブジェクト面におけるスケーリングされた画素サイズを計算することであって、前記較正面における前記スケーリングされた画素サイズおよび前記２Ｄカメラと前記較正面との間の距離が、前記較正データから取得される、計算することと、
前記２Ｄ画像において、前記２Ｄ画像へとスケーリングされた前記真の測定値を表す、前記２Ｄカメラの前記画素の部分集合の濃度を判定して、前記濃度に、前記第１のオブジェクト面に投影された前記画素の前記スケーリングされた画素サイズを乗算することにより、前記第１のフィーチャの前記真の測定値を取得することと
を含む、請求項１に記載のシステム。
【請求項5】
前記２Ｄカメラが、前記較正面における較正ターゲットの２Ｄ画像を取り込み、
前記深度カメラが、前記較正面における前記較正ターゲットの深度画像を取り込み、
前記コンピュータシステムが、前記較正データを取得する前に較正を実行して、前記較正ターゲットの既知の形状寸法および前記２Ｄカメラの既知の焦点距離に基づいて前記較正データを判定する、
請求項１に記載のシステム。
前記深度カメラが、前記較正面における前記較正ターゲットの深度画像を取り込み、
前記コンピュータシステムが、前記較正データを取得する前に較正を実行して、前記較正ターゲットの既知の形状寸法および前記２Ｄカメラの既知の焦点距離に基づいて前記較正データを判定する、
請求項１に記載のシステム。
【請求項6】
前記較正データを判定することが、
前記取り込まれた２Ｄ画像および前記較正ターゲットの前記既知の形状寸法に基づいて、前記２Ｄカメラの倍率係数を判定することと、
前記２Ｄカメラの前記倍率係数および焦点距離を使用して、前記２Ｄカメラと前記較正面との間の距離を判定することと
を含む、請求項５に記載のシステム。
前記取り込まれた２Ｄ画像および前記較正ターゲットの前記既知の形状寸法に基づいて、前記２Ｄカメラの倍率係数を判定することと、
前記２Ｄカメラの前記倍率係数および焦点距離を使用して、前記２Ｄカメラと前記較正面との間の距離を判定することと
を含む、請求項５に記載のシステム。
【請求項7】
前記較正データを判定することが、
前記深度画像を使用して、前記深度カメラと前記較正面との間の距離を判定することと、
前記２Ｄカメラと前記較正面との間の前記距離および前記深度カメラと前記較正面との間の前記距離を使用して、前記２Ｄカメラと前記深度カメラとの間の深度オフセットを判定することと
をさらに含む、請求項６に記載のシステム。
前記深度画像を使用して、前記深度カメラと前記較正面との間の距離を判定することと、
前記２Ｄカメラと前記較正面との間の前記距離および前記深度カメラと前記較正面との間の前記距離を使用して、前記２Ｄカメラと前記深度カメラとの間の深度オフセットを判定することと
をさらに含む、請求項６に記載のシステム。
【請求項8】
前記較正データを判定することが、
前記較正ターゲットの前記既知の形状寸法を使用して、前記較正面に投影された、前記２Ｄカメラの画素のスケーリングされた画素サイズを判定することを含む、
請求項５に記載のシステム。
前記較正ターゲットの前記既知の形状寸法を使用して、前記較正面に投影された、前記２Ｄカメラの画素のスケーリングされた画素サイズを判定することを含む、
請求項５に記載のシステム。
【請求項9】
平面フィーチャを測定するための方法であって、
２Ｄカメラを使用して、第１のオブジェクト面に第１のフィーチャを含むオブジェクトの２Ｄ画像を取り込むステップと、
深度カメラを使用して、前記オブジェクトの深度画像を取り込むステップと、
前記２Ｄカメラと前記深度カメラと較正面との間の対応を確立する較正データを取得するステップと、
前記深度画像および前記較正データを使用して、前記２Ｄカメラと前記第１のオブジェクト面との間の第１の距離を判定するステップと、
前記２Ｄ画像に取り込まれた前記第１のフィーチャおよび前記第１の距離に基づいて前記第１のフィーチャの真の測定値を計算するステップと
を備える方法。
２Ｄカメラを使用して、第１のオブジェクト面に第１のフィーチャを含むオブジェクトの２Ｄ画像を取り込むステップと、
深度カメラを使用して、前記オブジェクトの深度画像を取り込むステップと、
前記２Ｄカメラと前記深度カメラと較正面との間の対応を確立する較正データを取得するステップと、
前記深度画像および前記較正データを使用して、前記２Ｄカメラと前記第１のオブジェクト面との間の第１の距離を判定するステップと、
前記２Ｄ画像に取り込まれた前記第１のフィーチャおよび前記第１の距離に基づいて前記第１のフィーチャの真の測定値を計算するステップと
を備える方法。
【請求項10】
前記２Ｄカメラと、前記オブジェクトの第２のフィーチャを含む第２のオブジェクト面との間の第２の距離を判定するステップと、
前記２Ｄ画像に取り込まれた前記第２のフィーチャおよび前記第２の距離に基づいて前記第２のフィーチャの真の測定値を計算するステップと
をさらに含む、請求項９に記載の方法。
前記２Ｄ画像に取り込まれた前記第２のフィーチャおよび前記第２の距離に基づいて前記第２のフィーチャの真の測定値を計算するステップと
をさらに含む、請求項９に記載の方法。
【請求項11】
前記第１の距離を判定するステップが、
前記深度画像から、前記深度カメラと前記第１のオブジェクト面との間の距離を判定するステップと、
前記２Ｄカメラと前記深度カメラとの間の深度オフセットに関して、前記深度カメラと前記第１のオブジェクト面との間の前記距離を調節することによって前記第１の距離を計算するステップであって、前記深度オフセットが前記較正データから取得される、前記第１の距離を計算するステップと
を含む、請求項９に記載の方法。
前記深度画像から、前記深度カメラと前記第１のオブジェクト面との間の距離を判定するステップと、
前記２Ｄカメラと前記深度カメラとの間の深度オフセットに関して、前記深度カメラと前記第１のオブジェクト面との間の前記距離を調節することによって前記第１の距離を計算するステップであって、前記深度オフセットが前記較正データから取得される、前記第１の距離を計算するステップと
を含む、請求項９に記載の方法。
【請求項12】
前記真の測定値を計算するステップが、
前記第１の距離と、前記２Ｄカメラと前記較正面との間の距離との比を使用して、前記較正面における前記画素のスケーリングされた画素サイズを乗算することにより、実際の画素サイズを有する２Ｄカメラの画素に関して、前記第１のオブジェクト面におけるスケーリングされた画素サイズを計算するステップであって、前記較正面における前記スケーリングされた画素サイズおよび前記２Ｄカメラと前記較正面との間の距離が、前記較正データから取得される、計算するステップと、
前記２Ｄ画像において、前記２Ｄ画像へとスケーリングされた前記真の測定値を表す、前記２Ｄカメラの前記画素の部分集合の濃度を判定して、前記濃度に、前記第１のオブジェクト面に投影された前記画素の前記スケーリングされた画素サイズを乗算することにより、前記第１のフィーチャの前記真の測定値を取得するステップと
を含む、請求項９に記載の方法。
前記第１の距離と、前記２Ｄカメラと前記較正面との間の距離との比を使用して、前記較正面における前記画素のスケーリングされた画素サイズを乗算することにより、実際の画素サイズを有する２Ｄカメラの画素に関して、前記第１のオブジェクト面におけるスケーリングされた画素サイズを計算するステップであって、前記較正面における前記スケーリングされた画素サイズおよび前記２Ｄカメラと前記較正面との間の距離が、前記較正データから取得される、計算するステップと、
前記２Ｄ画像において、前記２Ｄ画像へとスケーリングされた前記真の測定値を表す、前記２Ｄカメラの前記画素の部分集合の濃度を判定して、前記濃度に、前記第１のオブジェクト面に投影された前記画素の前記スケーリングされた画素サイズを乗算することにより、前記第１のフィーチャの前記真の測定値を取得するステップと
を含む、請求項９に記載の方法。
【請求項13】
前記２Ｄカメラを使用して前記較正面における較正ターゲットの２Ｄ画像を取り込むステップと、
前記深度カメラを使用して前記較正面における前記較正ターゲットの深度画像を取り込むステップと、
前記較正データを取得する前に較正を実行して、前記較正ターゲットの既知の形状寸法および前記２Ｄカメラの既知の焦点距離に基づいて前記較正データを判定するステップと
をさらに備える、請求項９に記載の方法。
前記深度カメラを使用して前記較正面における前記較正ターゲットの深度画像を取り込むステップと、
前記較正データを取得する前に較正を実行して、前記較正ターゲットの既知の形状寸法および前記２Ｄカメラの既知の焦点距離に基づいて前記較正データを判定するステップと
をさらに備える、請求項９に記載の方法。
【請求項14】
前記較正データを判定するステップが、
前記取り込まれた２Ｄ画像および前記較正ターゲットの前記既知の形状寸法に基づいて、前記２Ｄカメラの倍率係数を判定するステップと、
前記２Ｄカメラの前記倍率係数および焦点距離を使用して、前記２Ｄカメラと前記較正面との間の距離を判定するステップと
を含む、請求項１３に記載の方法。
前記取り込まれた２Ｄ画像および前記較正ターゲットの前記既知の形状寸法に基づいて、前記２Ｄカメラの倍率係数を判定するステップと、
前記２Ｄカメラの前記倍率係数および焦点距離を使用して、前記２Ｄカメラと前記較正面との間の距離を判定するステップと
を含む、請求項１３に記載の方法。
【請求項15】
前記較正データを判定するステップが、
前記深度画像を使用して、前記深度カメラと前記較正面との間の距離を判定するステップと、
前記２Ｄカメラと前記較正面との間の距離および前記深度カメラと前記較正面との間の前記距離を使用して、前記２Ｄカメラと前記深度カメラとの間の深度オフセットを判定するステップと
をさらに含む、請求項１４に記載の方法。
前記深度画像を使用して、前記深度カメラと前記較正面との間の距離を判定するステップと、
前記２Ｄカメラと前記較正面との間の距離および前記深度カメラと前記較正面との間の前記距離を使用して、前記２Ｄカメラと前記深度カメラとの間の深度オフセットを判定するステップと
をさらに含む、請求項１４に記載の方法。
【請求項16】
前記較正データを判定するステップが、
前記較正ターゲットの前記既知の形状寸法を使用して、前記較正面に投影された、前記２Ｄカメラの画素のスケーリングされた画素サイズを判定するステップを含む、
請求項１３に記載の方法。
前記較正ターゲットの前記既知の形状寸法を使用して、前記較正面に投影された、前記２Ｄカメラの画素のスケーリングされた画素サイズを判定するステップを含む、
請求項１３に記載の方法。
【請求項17】
平面フィーチャを測定するためのコンピュータ可読プログラムコードを記憶している非一時的コンピュータ可読媒体（ＣＲＭ）であって、前記コンピュータ可読プログラムコードによって、コンピュータシステムが、
２Ｄカメラから、第１のオブジェクト面に第１のフィーチャを含むオブジェクトの２Ｄ画像を取得し、
深度カメラから、前記オブジェクトの深度画像を取得し、
前記２Ｄカメラと前記深度カメラと較正面との間の対応を確立する較正データを取得し、
前記深度画像および前記較正データを使用して、前記２Ｄカメラと前記第１のオブジェクト面との間の第１の距離を判定して、
前記２Ｄ画像に取り込まれた前記第１のフィーチャおよび前記第１の距離に基づいて前記第１のフィーチャの真の測定値を計算する、
非一時的コンピュータ可読媒体。
２Ｄカメラから、第１のオブジェクト面に第１のフィーチャを含むオブジェクトの２Ｄ画像を取得し、
深度カメラから、前記オブジェクトの深度画像を取得し、
前記２Ｄカメラと前記深度カメラと較正面との間の対応を確立する較正データを取得し、
前記深度画像および前記較正データを使用して、前記２Ｄカメラと前記第１のオブジェクト面との間の第１の距離を判定して、
前記２Ｄ画像に取り込まれた前記第１のフィーチャおよび前記第１の距離に基づいて前記第１のフィーチャの真の測定値を計算する、
非一時的コンピュータ可読媒体。
【請求項18】
前記真の測定値を計算することが、
前記第１の距離と、前記２Ｄカメラと前記較正面との間の距離との比を使用して、前記較正面における前記画素のスケーリングされた画素サイズを乗算することにより、実際の画素サイズを有する前記２Ｄカメラの画素に関して、前記第１のオブジェクト面におけるスケーリングされた画素サイズを計算することであって、前記較正面における前記スケーリングされた画素サイズおよび前記２Ｄカメラと前記較正面との間の前記距離が、前記較正データから取得される、計算することと、
前記２Ｄ画像において、前記２Ｄ画像へとスケーリングされた前記真の測定値を表す、前記２Ｄカメラの前記画素の部分集合の濃度を判定して、前記濃度に、前記第１のオブジェクト面に投影された前記画素の前記スケーリングされた画素サイズを乗算することにより、前記第１のフィーチャの前記真の測定値を取得することと
を含む、請求項１７に記載の非一時的コンピュータ可読媒体。
前記第１の距離と、前記２Ｄカメラと前記較正面との間の距離との比を使用して、前記較正面における前記画素のスケーリングされた画素サイズを乗算することにより、実際の画素サイズを有する前記２Ｄカメラの画素に関して、前記第１のオブジェクト面におけるスケーリングされた画素サイズを計算することであって、前記較正面における前記スケーリングされた画素サイズおよび前記２Ｄカメラと前記較正面との間の前記距離が、前記較正データから取得される、計算することと、
前記２Ｄ画像において、前記２Ｄ画像へとスケーリングされた前記真の測定値を表す、前記２Ｄカメラの前記画素の部分集合の濃度を判定して、前記濃度に、前記第１のオブジェクト面に投影された前記画素の前記スケーリングされた画素サイズを乗算することにより、前記第１のフィーチャの前記真の測定値を取得することと
を含む、請求項１７に記載の非一時的コンピュータ可読媒体。
【請求項19】
前記２Ｄカメラが、前記較正面における較正ターゲットの２Ｄ画像を取り込み、
前記深度カメラが、前記較正面における前記較正ターゲットの深度画像を取り込み、
前記コンピュータ可読プログラムコードによりさらに、前記コンピュータシステムが、前記較正データを取得する前に較正を実行して、前記較正ターゲットの既知の形状寸法および前記２Ｄカメラの既知の焦点距離に基づいて前記較正データを判定する、
請求項１８に記載の非一時的コンピュータ可読媒体。
前記深度カメラが、前記較正面における前記較正ターゲットの深度画像を取り込み、
前記コンピュータ可読プログラムコードによりさらに、前記コンピュータシステムが、前記較正データを取得する前に較正を実行して、前記較正ターゲットの既知の形状寸法および前記２Ｄカメラの既知の焦点距離に基づいて前記較正データを判定する、
請求項１８に記載の非一時的コンピュータ可読媒体。
【請求項20】
前記較正データを判定することが、
前記較正ターゲットの前記既知の形状寸法を使用して、前記較正面に投影された、前記２Ｄカメラの画素のスケーリングされた画素サイズを判定するステップを含む、
請求項１９に記載の非一時的コンピュータ可読媒体。
前記較正ターゲットの前記既知の形状寸法を使用して、前記較正面に投影された、前記２Ｄカメラの画素のスケーリングされた画素サイズを判定するステップを含む、
請求項１９に記載の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、２Ｄカメラおよび深度センサの組合せを使用して３Ｄ空間における平面フィーチャを測定するための方法およびシステムに関する。
【発明の概要】
【発明が解決しようとする課題】
【0002】
カメラを使用して物体の寸法を測定するための多くの異なる方法が存在する。しかしながら、製造工場における品質管理などのために高精度を必要とする用途については、ノギスまたは座標測定器などの従来の装置が標準のままである。これらの装置の使用は、人の介入を伴い、測定する物体と接触する必要があり、したがって、退屈で、時間がかかるうえに、高くつく。したがって、そのような測定を実行するための代替のシステムおよび方法が望ましい。
【課題を解決するための手段】
【0003】
概して、本発明の１つまたは複数の実施形態は、平面フィーチャを測定するためのシステムに関し、このシステムは、第１のオブジェクト面に第１のフィーチャを含むオブジェクトの２Ｄ画像を取り込む２Ｄカメラと、オブジェクトの深度画像を取り込む深度カメラと、コンピュータシステムであって、２Ｄカメラと深度カメラと較正面との間の対応を確立する較正データを取得し、深度画像および較正データを使用して、２Ｄカメラと第１のオブジェクト面との間の第１の距離を判定し、２Ｄ画像に取り込まれた第１のフィーチャおよび第１の距離に基づいて第１のフィーチャの真の測定値を計算する、コンピュータシステムとを備える。
【0004】
概して、本発明の１つまたは複数の実施形態は、平面フィーチャを測定するための方法に関し、この方法は、２Ｄカメラを使用して、第１のオブジェクト面に第１のフィーチャを含むオブジェクトの２Ｄ画像を取得するステップと、深度カメラを使用して、オブジェクトの深度画像を取り込むステップと、２Ｄカメラと深度カメラと較正面との間の対応を確立する較正データを取得するステップと、深度画像および較正データを使用して、２Ｄカメラと第１のオブジェクト面との間の第１の距離を判定するステップと、２Ｄ画像に取り込まれた第１のフィーチャおよび第１の距離に基づいて第１のフィーチャの真の測定値を計算するステップとを含む。
【0005】
概して、本発明の１つまたは複数の実施形態は、平面フィーチャを測定するためのコンピュータ可読プログラムコードを記憶している非一時的コンピュータ可読媒体（ＣＲＭ）に関し、コンピュータ可読プログラムコードにより、コンピュータシステムは、２Ｄカメラから、第１のオブジェクト面に第１のフィーチャを含むオブジェクトの２Ｄ画像を取得し、深度カメラから、オブジェクトの深度画像を取得し、２Ｄカメラと深度カメラと較正面との間の対応を確立する較正データを取得し、深度画像および較正データを使用して、２Ｄカメラと第１のオブジェクト面との間の第１の距離を判定して、２Ｄ画像に取り込まれた第１のフィーチャおよび第１の距離に基づいて第１のフィーチャの真の測定値を計算する。
【0006】
以下の説明および添付の特許請求の範囲から、本発明の他の態様が明らかになるであろう。
【図面の簡単な説明】
【0007】
【発明を実施するための形態】
【0008】
次に、本発明の特定の実施形態が、添付図面を参照しながら詳細に説明される。一貫性のために、様々な図における同様の要素は同様の符号で表される。
【0009】
以下の、本発明の実施形態の詳細な説明では、本発明のより十分な理解を提供するために、多くの特定の詳細が説明される。しかしながら、本発明は、これら特定の詳細なしで実施され得ることが、当業者には明らかであろう。他の事例では、説明を不必要に複雑化することのないように、周知の特徴は詳細に説明されることはない。
【0010】
本出願の全体にわたって、序数（たとえば、第１の、第２の、第３の）は、要素（すなわち本出願における任意の名詞）の形容詞として使用されることがある。序数の使用は、要素の特定の順序を意味したり生成したりするものではなく、「前」、「後」、「単一」などの用語や他のそのような用語の使用によって明確に開示されない限り、単一の要素のみに限定することはない。むしろ、序数は、要素を識別するために使用される。一例として、第１の要素は第２の要素と異なり、第１の要素は、複数の要素を包含し得、要素の順序において第２の要素の後（または前）に位置することができる。
【0011】
概して、本発明の実施形態は、２Ｄカメラと深度センサの組合せを使用して、３Ｄ空間における平面フィーチャを測定するための装置、方法、および非一時的コンピュータ可読媒体（ＣＲＭ）を提供するものである。
【0012】
本開示の実施形態は、高解像度の２Ｄカメラと低解像度の深度カメラの組合せを使用して、オブジェクト（たとえば円筒）の平面フィーチャ（たとえば平面上の円形フィーチャの直径）の真の寸法を測定することができる。次に、図を参照しながら説明する。
【0013】
図１は、１つまたは複数の実施形態による、平面フィーチャを測定するためのシステム（１００）を概略的に示す。システム（１００）は、２Ｄカメラ（１１０）、深度カメラ（１２０）、およびコンピュータシステム（１４０）を含む。コンピュータシステム（１４０）は、２Ｄカメラ（１１０）から、測定されるフィーチャを有するオブジェクト（１９８）の２Ｄ画像（１１２）を受け取る。コンピュータシステム（１４０）は、深度カメラ（１２０）から、オブジェクト（１９８）の深度画像（１２２）をさらに受け取る。コンピュータシステムの測定エンジン（１４４）は、２Ｄ画像（１１２）および深度画像（１２２）を使用して、２Ｄ画像（１１２）に取り込まれたフィーチャに基づき、フィーチャの真の測定値（１５０）を予測する。測定エンジン（１４４）は、較正エンジン（１４２）によって供給された較正データ（１４６）に頼る。１つまたは複数の実施形態では、以下でさらに論じられるように、較正データ（１４６）は、２Ｄカメラと深度カメラの間の対応、および各カメラと較正面の間の対応を確立する。較正エンジン（１４２）は、較正ターゲット（１９６）の２Ｄ画像および較正ターゲット（１９６）の深度画像に基づいて較正データ（１４６）を生成する。
【0014】
２Ｄカメラ（１１０）は、たとえば白黒またはカラーのＣＣＤカメラまたはＣＭＯＳカメラといった任意のタイプの２Ｄカメラでよい。１つまたは複数の実施形態では、２Ｄカメラは高解像度になるように選択される。たとえば、２Ｄカメラ（１１０）は、たとえば最大５４０ｍｍ×３６０ｍｍの寸法を有するオブジェクトを撮像するように設定されたとき、たとえば１００μｍの画素サイズを用いた５４７２×３６４８画素の構成で、２０メガピクセルの解像度を有し得る。２Ｄカメラ（１１０）は任意の光学特性を有し得る。たとえば、２Ｄカメラのレンズの任意の組合せを含む２Ｄカメラは、光の可視スペクトルまたは不可視スペクトルにおける任意の波長で動作し得、任意の焦点距離、任意の倍率、任意のセンササイズなどを有し得る。２Ｄカメラ（１１０）は、較正ターゲット（１９６）またはオブジェクト（１９８）が配置され得る領域に向けられてよい。たとえば、２Ｄカメラは、測定テーブル、コンベアベルトなどに設置され得る。２Ｄカメラ（１１０）は、概して較正ターゲット（１９６）またはオブジェクト（１９８）に向けられ得るが、特定の距離や整列は必要としない。おおまかに言えば、２Ｄカメラ（１１０）の選択は、２Ｄカメラ（１１０）のレンズの選択および／もしくは構成、ならびに／または位置の選択を含めて、たとえばオブジェクト（１９８）のサイズおよび取付位置の制約によって規定される視野の要件、ならびに／または精度要件に基づいて行われ得る。センサの利用を最大化することによってシステム（１００）全体の感度限界を最大化するために、２Ｄカメラのセンサ上のオブジェクト（１９８）または較正ターゲット（１９６）の画像のサイズを最大化するのが望ましい。これは様々なやり方で達成され得る。たとえば、２Ｄカメラ（１１０）の取付位置がオブジェクトから遠ければ、より高い倍率のレンズが使用され得る。加えて、またはその代わりに、オブジェクトとカメラとの間の距離は、小さいオブジェクト用の短距離と大きいオブジェクト用の長距離との選択によって調節され得る。しかしながら、２Ｄカメラ（１１０）を、較正ターゲット／オブジェクトから特定の既知の距離に設置する必要はない。さらに、較正プロセスより以前の２Ｄカメラ／レンズの組合せの倍率の知見も不要である。
【0015】
２Ｄ画像（１１２）は２Ｄカメラ（１１０）の出力である。２Ｄ画像は、較正ターゲット（１９６）またはオブジェクト（１９８）の２Ｄ表示を含み得る。２Ｄ画像（１１２）は、コンピュータシステム（１４０）がサポートする任意のタイプのインターフェースを使用して、任意のフォーマットでコンピュータシステム（１４０）に供給され得る。
【0016】
深度カメラ（１２０）は、たとえば、構造化光／コード光カメラ、ステレオ深度カメラ、飛行時間／ＬＩＤＡＲカメラなどの任意のタイプの深度カメラでよい。深度カメラ（１２０）は、２Ｄカメラ（１１０）の感度限界よりもより低い感度限界を有してよい。たとえば、深度カメラ（１２０）は、１ミリメートルの範囲の感度限界を有し得る。深度カメラ（１２０）は、２Ｄカメラ（１１０）と同様に、全体的に較正ターゲットまたはオブジェクトに向けられるが、深度カメラの精密な整列や厳密な位置／配向の知見は不要である。
【0017】
深度画像（１２２）は深度カメラ（１２０）の出力である。深度画像は、較正ターゲットまたはオブジェクトの、（深度における）少なくとも２Ｄの表示を含み得る。したがって、深度画像の各画素は、深度カメラ（１２０）から較正ターゲットまたはオブジェクトへの深度測定値を表し得る。したがって、異なる平面（深度カメラ（１２０）から異なる距離）であっても、深度画像（１２２）を使用して識別され得る。深度画像（１２２）は、コンピュータシステム（１４０）がサポートする任意のタイプのインターフェースを使用して、任意のフォーマットでコンピュータシステム（１４０）に供給され得る。
【0018】
２Ｄカメラ（１１０）と深度カメラ（１２０）は、個別のユニットでよく、組立体に組み合わされてもよい。そのような例の１つには、マイクロソフトのＫｉｎｅｃｔシステムがある。２Ｄカメラ（１１０）および深度カメラ（１２０）は、ガントリまたは他の機械的支持物に装着されてよい。較正ターゲット／オブジェクトからの距離は調節可能であり得る。２Ｄカメラ（１１０）のセンサの利用を最大化するために、小さいフィーチャの測定には短距離が選択され得、大きいフィーチャの測定には長距離が選択され得る。
【0019】
１つまたは複数の実施形態において、コンピュータシステム（１４０）は、２Ｄ画像（１１２）および深度画像（１２２）を受け取ってフィーチャの真の測定値（１５０）を生成する。コンピュータシステムは、たとえば図６を参照しながら説明されるような任意のタイプのコンピュータシステムでよい。
【0020】
以下で論じられるように、１つまたは複数の実施形態では、コンピュータシステム（１４０）上で較正エンジン（１４２）が実行されて較正データ（１４６）を生成する。図３に示される方法などの方法が、較正データ（１４６）を生成するために使用され得る。
【0021】
１つまたは複数の実施形態では、コンピュータシステム（１４０）上で測定エンジン（１４４）が実行されて、フィーチャの真の測定値（１５０）を生成する。図５に示される方法などの方法が、真の測定値（１５０）を生成するために使用され得る。真の測定値は、測定されるオブジェクト（１９８）の実際のフィーチャの推定値と見なされ得る。真の測定値（１５０）は、円形の構造体の直径、長方形の長さまたは幅などの任意のタイプのフィーチャの任意の寸法（たとえばｍｍの単位）であり得る。
【0022】
図１は、ハードウェア構成要素および／またはソフトウェア構成要素の様々な構成を示しているが、本開示の範囲から逸脱することなく他の構成も使用され得る。たとえば、種々の動作原理に基づくカメラおよび／または種々の解像度を有し得るカメラの種々の組合せが使用され得、および／または図１の様々な構成要素が組み合わされて単一の構成要素を生成し得る。別の例として、単一の構成要素によって実行される機能が、２つ以上の構成要素によって実行されてもよい。
【0023】
図２は、１つまたは複数の実施形態による、較正用の構成（２００）を概略的に示す。較正用の構成は、図３に示される方法を実行するために使用され得る。較正用の構成（２００）では、２Ｄカメラ（１１０）および深度カメラ（１２０）は、それぞれ較正ターゲット（Ｔ）の２Ｄ画像（１１２）および深度画像（１２２）を取り込む。較正ターゲット（Ｔ）は、２Ｄカメラ（１１０）によって検知可能な目に見えるフィーチャを有し得る。たとえば、較正ターゲットは、チェス盤のパターン、ドットマトリクスなどを含み得る。１つまたは複数の実施形態では、目に見えるフィーチャは、較正を可能にするための既知の幾何構造およびサイズを有する。目に見えるフィーチャは、任意のタイプ、形状、および／またはサイズでよい。一実施形態では、較正ターゲット（Ｔ）はＡｒＵｃｏマーカの形式の基準マーカを含む。較正ターゲット（Ｔ）の既知の形状寸法は、基準マーカによって形成された基準長方形の真の高さ（Ｙｔ）もしくは真の幅、および／または較正ターゲット（Ｔ）内の基準マーカの相対位置を含む他の既知の寸法を含み得る。較正ターゲット（Ｔ）は較正面（Ｐ０）にある。較正用の構成（２００）は、最高分解能のために、ターゲット（Ｔ）の高さが２Ｄカメラ（１１０）のセンサの大半または全体を占有するように設計され得る。較正面（Ｐ０）は、較正（Ｐ０）における種々の位置に関して類似の深度が測定されることを保証するために、深度カメラ（１２０）の深度軸に対してほぼ垂直であると想定される。較正面（Ｐ０）は、深度カメラ（１２０）から、深度カメラと較正面との間の距離（ｄ’）だけ離れている。較正面（Ｐ０）は、２Ｄカメラ（１１０）から、２Ｄと較正面との間の距離（ｄｏ）だけ離れている。２Ｄカメラ（１１０）と深度カメラ（１２０）との間のオフセットは、距離オフセット（ｄｄ）に組み込まれ得る。画像距離（ｄｉ）は、２Ｄカメラの前部から画像が実際に形成される画像面へのオフセットを特徴付ける。次に、図３を参照して、較正用の構成（２００）のこれらの特徴の適用が論じられる。
【0024】
図３は、１つまたは複数の実施形態による、平面フィーチャを測定するシステムを較正するための方法のフローチャートを示す。この方法は、図６に示されるようなコンピュータシステムによって実行され得る、非一時的媒体に記憶された命令を使用して実施され得る。
【0025】
図３における様々なステップは順次に提示されて説明されるが、当業者なら、ブロックのうちいくつかまたはすべては、異なる順序で実行され得、組合せもしくは省略が可能であり、また、ブロックのうちいくつかまたはすべては、並行して実行され得ることを理解するであろう。さらに、ブロックは、能動的または受動的に実行され得る。
【0026】
次に説明される方法は、後続の図５の方法を実行するために使用される較正データを確立するために使用され得る。較正は、既知の形状寸法を有する較正ターゲット（Ｔ）を使用して、較正面（Ｐ０）に投影されたカメラの画素のスケーリングされた画素サイズを判定する。較正面（Ｐ０）におけるこの画素サイズは、後に、任意の平面における画素サイズを判定するために使用され得、それによって、（画素の数およびサイズに基づいて）この任意の平面における真の測定値を判定することが可能になり、この任意の平面に関して、２Ｄカメラに隣接して配置された深度カメラによって距離が測定される。
【0027】
図３のフローチャートを参照すると、ステップ３０２において、較正面（Ｐ０）における較正ターゲット（Ｔ）の２Ｄ画像が取り込まれる。
【0028】
ステップ３０４において、２Ｄ画像を処理することによって、較正ターゲット（Ｔ）に組み込まれていた基準マーカが検出される。オブジェクト検知に適する任意の方法が使用され得る。これらの方法は、レンズ歪み、透視歪みなどを補正するためのステップも含み得る。基準マーカによって形成された（２Ｄカメラの画素における）長方形の高さ（Ｙｐ）が（実際の画素サイズを使用して）計算される。
【0029】
ステップ３０６において、２Ｄカメラの倍率係数が判定される。較正面（Ｐ０）における倍率係数（Ｍ）は、２Ｄカメラのセンサ配列の既知の高さ（Ｙｉ）および基準長方形の真の（既知の）高さ（Ｙｔ）を使用して、次式のように導出される。
【0030】
【数1】
言い換えれば、倍率係数（Ｍ）は、センサに結像された（すなわちセンサ配列にスケーリングされた）真の高さと基準長方形自体の真の高さの比である。
【0031】
ステップ３０８において、２Ｄカメラと較正面（Ｐ０）との間の距離（ｄｏ）は次のレンズ式を使用して計算され、ここで、２Ｄカメラの焦点距離（ｆ）は既知である。
【0032】
【数2】
レンズによってもたらされる倍率は、画像距離とオブジェクト距離の比と等しいので、
【0033】
【数3】
は、
【数4】
と書き換えられ得る。式（４）を使用して、ｄｏに関して式（２）を解くことにより、２Ｄカメラと較正面との間の距離（ｄｏ）は次式で得られる。
【0034】
【数5】
【0035】
ステップ３１０において、較正面（Ｐ０）における較正ターゲット（Ｔ）の深度画像が取り込まれる。
【0036】
ステップ３１２において、深度カメラと較正面との間の距離（ｄ’）が判定される。較正面について得られた複数の深度測定値が平均され得、よりロバストな距離（ｄ’）を取得するために外れ値が除去され得る。深度画像から距離（ｄ’）を判定するために、３Ｄ画像データを処理する任意の方法が使用され得る。
【0037】
ステップ３１４において、次式を使用して、２Ｄカメラと深度カメラとの間の深度オフセット（ｄｄ）が導出される。
【数6】
【0038】
ステップ３１６において、画素において測定された高さ（Ｙｐ）と、長方形の真の（既知の）高さ（Ｙｔ）とを使用して、較正面（Ｐ０）におけるスケーリングされた画素サイズ（ｐｓ０）が、次式で導出される。
【0039】
【数7】
【0040】
ステップ３１８において、ｐｓ０、ｄｏ、およびｄｄを含む較正データが、図５の方法を実行するために揮発性記憶装置および／または不揮発性記憶装置に記憶される。
【0041】
図３の方法を実行した後に、２つのカメラと測定されるフィーチャが存在し得る３Ｄ空間との間の正確な較正が確立され、それによって、２Ｄカメラの画素数と、たとえばｍｍの単位の真の寸法との間のマッピングが可能になる。
【0042】
図４は、１つまたは複数の実施形態による、測定用の構成（４００）を概略的に示す。測定用の構成は、図５に示される方法を実行するために使用され得る。測定用の構成（４００）は、較正用の構成（２００）と実質的に類似である。しかしながら、測定用の構成（４００）では、２Ｄカメラ（１１０）および深度カメラ（１２０）は、それぞれオブジェクト面（Ｐｘ）における測定されるフィーチャ（Ｘ）の２Ｄ画像（１１２）および深度画像（１２２）を取り込む。オブジェクト面（Ｐｘ）は較正面（Ｐ０）とは異なり得る。オブジェクト面（Ｐｘ）は、２Ｄカメラ（１１０）からオブジェクトフィーチャ距離（ｄｘ）だけ離れている。図４は、図３の方法を使用して以前に判定された、２Ｄカメラ（１１０）と深度カメラ（１２０）との間のオフセット（ｄｄ）も示す。次に、測定用の構成（４００）を使用して測定を実行するための方法が、図５を参照して論じられる。
【0043】
図５は、１つまたは複数の実施形態による、フィーチャを測定するための方法のフローチャートを示す。この方法は、図６に示されるようなコンピュータシステムによって実行され得る、非一時的媒体に記憶された命令を使用して実施され得る。
【0044】
図５における様々なステップは順次に提示されて説明されるが、当業者なら、ブロックのうちいくつかまたはすべては、異なる順序で実行され得、組合せもしくは省略が可能であり、また、ブロックのうちいくつかまたはすべては、並行して実行され得ることを理解するであろう。さらに、ブロックは、能動的または受動的に実行され得る。
【0045】
図５のフローチャートを参照すると、ステップ５０２において、オブジェクト面（Ｐｘ）における、測定されるフィーチャ（Ｘ）を有するオブジェクトの２Ｄ画像が取り込まれる。
【0046】
ステップ５０４において、２Ｄ画像を処理することにより、フィーチャ（Ｘ）が検出される。フィーチャ検知に適する任意の方法が使用され得る。これらの方法は、レンズ歪み、透視歪みなどを補正するためのステップも含み得る。ステップ５０４の実行の結果は、フィーチャ（Ｘ）の、画素における測定値（Ｘｐ）であり得る。たとえば、フィーチャが、円形の構造体の直径であると想定すると、円形の構造体の直径を表す、画素の部分集合の数（すなわち濃度）は、たとえばこれらの画素をカウントすることによって取得される。
【0047】
ステップ５０６において、オブジェクト面（Ｐｘ）にフィーチャ（Ｘ）を有するオブジェクトの深度画像が取り込まれる。
【0048】
ステップ５０８において、深度画像から、深度カメラとオブジェクト面（Ｐｘ）との間の距離（ｄ’ｘ）が取得される。オブジェクト面について得られた複数の深度測定値が平均され得、よりロバストな距離（ｄ’ｘ）を取得するために外れ値が除去され得る。深度画像から距離（ｄ’ｘ）を取得するために、３Ｄ画像データを処理する任意の方法が使用され得る。
【0049】
ステップ５１０において、次式の較正で導出される深度オフセット（ｄｄ）を適用することにより、２Ｄカメラとオブジェクト面（Ｐｘ）との間の距離（ｄｘ）が取得される。
言い換えれば、深度カメラとオブジェクト面との間の距離（ｄ’ｘ）は、深度オフセット（ｄｄ）に関して調節される。
【数8】
言い換えれば、深度カメラとオブジェクト面との間の距離（ｄ’ｘ）は、深度オフセット（ｄｄ）に関して調節される。
【0050】
ステップ５１２において、オブジェクト面におけるスケーリングされた画素サイズ（ｐｓｘ）を取得するために、２Ｄカメラの画素の画素サイズ（実際の画素サイズ）がオブジェクト面（Ｐｘ）へとスケーリングされる。ｐｓｘは、ｄｘと、較正面におけるスケーリングされた画素サイズ（ｐｓ０）と、較正面からカメラまでの距離（ｄｏ）とを使用して、次式で計算される。
【0051】
【数9】
【0052】
ステップ５１４において、フィーチャＸの真の測定値（Ｘｔ）が、画素における測定値（Ｘｐ）（たとえば、２Ｄ画像へとスケーリングされた真の測定値を表す、２Ｄカメラの画素の部分集合の濃度）に、オブジェクト面におけるスケーリングされた画素サイズ（ｐｓｘ）を乗算することによって次式で計算される。
真の測定値は、後に、ユーザに報告され得る。図５の方法は、任意のオブジェクト面において実行され得る。図５の方法は、同一のオブジェクト面または別のオブジェクト面にあり得る別のオブジェクトについて繰り返されてよい。同一のオブジェクトが複数のオブジェクト面を有する可能性がある。
【数10】
真の測定値は、後に、ユーザに報告され得る。図５の方法は、任意のオブジェクト面において実行され得る。図５の方法は、同一のオブジェクト面または別のオブジェクト面にあり得る別のオブジェクトについて繰り返されてよい。同一のオブジェクトが複数のオブジェクト面を有する可能性がある。
【0053】
図６は、１つまたは複数の実施によるコンピューティングシステムを示す。実施形態は、コンピュータシステム上で実施され得る。図６は、一実装形態による、本開示に記述された、説明されたアルゴリズム、方法、機能、プロセス、流れ、およびプロシージャに関連した計算機能を提供するために使用されるコンピュータシステム（６０２）のブロック図である。図示のコンピュータ（６０２）は、高性能計算（ＨＰＣ）装置、サーバ、デスクトップコンピュータ、ラップトップ／ノート型コンピュータ、無線データポート、スマートフォン、携帯情報端末（ＰＤＡ）、タブレットコンピューティングデバイス、これらの装置内の１つまたは複数のプロセッサ、あるいはコンピューティングデバイスの物理インスタンスまたは仮想インスタンス（またはその両方）を含む他の適切な処理装置など、あらゆるコンピューティングデバイスを包含するように意図されている。加えて、コンピュータ（６０２）は、キーパッド、キーボード、タッチスクリーン、またはユーザ情報を受け取ることができる他の装置などの入力装置と、デジタルデータ、視覚情報もしくは音声情報（もしくは情報の組合せ）、またはＧＵＩを含む、コンピュータ（６０２）の動作に関連する情報を搬送する出力装置とを含む、コンピュータを含み得る。
【0054】
コンピュータ（６０２）は、本開示に記述された内容を実行するための、クライアント、ネットワーク構成要素、サーバ、データベースもしくは他の持続性、またはコンピュータシステムの他の構成要素（または役割の組合せ）としての役割を果たすことができる。図示のコンピュータ（６０２）は、ネットワーク（６３０）と通信可能に結合されている。いくつかの実装形態では、コンピュータ（６０２）の１つまたは複数の構成要素は、クラウドコンピューティングベースの環境、ローカル環境、グローバル環境、または他の環境（または環境の組合せ）を含む環境で動作するように構成され得る。
【0055】
高いレベルでは、コンピュータ（６０２）は、説明された内容に関連するデータおよび情報を、受信、送信、処理、記憶、または管理するように機能する電子的コンピューティングデバイスである。いくつかの実装形態によれば、コンピュータ（６０２）はまた、アプリケーションサーバ、電子メールサーバ、ウェブサーバ、キャッシュサーバ、ストリーミングデータサーバ、ビジネスインテリジェンス（ＢＩ）サーバ、もしくは他のサーバ（もしくはサーバの組合せ）を含み得、またはこれらと通信可能に結合され得る。
【0056】
コンピュータ（６０２）は、（たとえば別のコンピュータ（６０２）上で実行中の）クライアントアプリケーションから、ネットワーク（６３０）を通じて要求を受け取って、適切なソフトウェアアプリケーションで前記要求を処理することにより、受け取った要求に応えることができる。加えて、コンピュータ（６０２）には、内部ユーザ（たとえば命令コンソールから、または他の適切なアクセス方式によって）、外部またはサードパーティ、他の自動化されたアプリケーション、ならびに他の適切なエンティティ、各個人、システム、またはコンピュータからも要求が送られ得る。
【0057】
コンピュータ（６０２）の構成要素の各々が、システムバス（６０３）を使用して通信することができる。いくつかの実装形態では、コンピュータ（６０２）の、ハードウェアとソフトウェアの両方（またはハードウェアとソフトウェアの組合せ）の構成要素のいずれかまたはすべてが、アプリケーションプログラムインターフェース（ＡＰＩ）（６１２）またはサービスレイヤ（６１３）（またはＡＰＩ（６１２）とサービスレイヤ（６１３）の組合せ）を使用して、システムバス（６０３）を通じて、他の構成要素またはインターフェース（６０４）（または両方の組合せ）とインターフェース接続し得る。ＡＰＩ（６１２）は、ルーチン、データ構造、およびオブジェクトクラスに関する仕様を含み得る。ＡＰＩ（６１２）は、コンピュータ言語に依存してもしなくてもよく、完全なインターフェース、単一の機能、またはＡＰＩのセットも指すことができる。サービスレイヤ（６１３）は、コンピュータ（６０２）またはコンピュータ（６０２）に対して通信可能に結合された他の（図示されている／図示されていない）構成要素に、ソフトウェアサービスを提供する。すべてのサービス消費者が、このサービスレイヤを使用して、コンピュータ（６０２）の機能にアクセスすることができる。サービスレイヤ（６１３）によって提供されるものなどのソフトウェアサービスは、定義されたインターフェースを通じて、再利用可能な、定義されたビジネス機能を提供する。たとえば、インターフェースは、ＪＡＶＡ、Ｃ＋＋、またはエクステンシブルマークアップランゲージ（ＸＭＬ）フォーマットもしくは他の適切なフォーマットでデータを供給する他の適切な言語で記述されたソフトウェアでよい。ＡＰＩ（６１２）またはサービスレイヤ（６１３）は、コンピュータ（６０２）に組み込まれた構成要素として示されているが、代替実装形態では、コンピュータ（６０２）の他の構成要素、またはコンピュータ（６０２）に対して通信可能に結合された（図示されている／図示されていない）他の構成要素に関連したスタンドアロンの構成要素として示されることもある。また、ＡＰＩ（６１２）またはサービスレイヤ（６１３）のいずれかまたはすべての部分が、本開示の範囲から逸脱することなく、別のソフトウェアモジュールの子モジュールもしくはサブモジュール、企業アプリケーション、またはハードウェアモジュールとして実装され得る。
【0058】
コンピュータ（６０２）はインターフェース（６０４）を含む。図６には単一のインターフェース（６０４）として示されているが、特定の必要性、要求、またはコンピュータ（６０２）の特定の実装形態に応じて２つ以上のインターフェース（６０４）が使用されてもよい。インターフェース（６０４）は、コンピュータ（６０２）によって、ネットワーク（６３０）に接続された分散環境における他のシステムと通信するために使用される。概して、インターフェース（６０４）は、ソフトウェアまたはハードウェア（またはソフトウェアとハードウェアの組合せ）の中に、符号化された論理を含み、ネットワーク（６３０）と通信するように機能する。より具体的には、インターフェース（６０４）は、ネットワーク（６３０）またはインターフェースのハードウェアが、図示のコンピュータ（６０２）の内外の物理信号を通信するように機能するように、通信に関連する１つまたは複数の通信プロトコルをサポートするソフトウェアを含み得る。
【0059】
コンピュータ（６０２）は、少なくとも１つのコンピュータプロセッサ（６０５）を含む。図６には単一のコンピュータプロセッサ（６０５）として示されているが、特定の必要性、要求、またはコンピュータ（６０２）の特定の実装形態に応じて２つ以上のプロセッサが使用されてもよい。概して、コンピュータプロセッサ（６０５）は、命令を実行してデータを処理し、コンピュータ（６０２）の動作、ならびに本開示に記述された任意のアルゴリズム、方法、機能、プロセス、流れ、およびプロシージャを実行する。
【0060】
コンピュータ（６０２）は、コンピュータ（６０２）に関するデータまたはネットワーク（６３０）に接続され得る他の構成要素（または両方の組合せ）に関するデータを保持する記憶装置（６０６）も含む。たとえば、記憶装置（６０６）は、本開示に一致するデータを記憶するデータベースであり得る。図６には単一の記憶装置（６０６）として示されているが、特定の必要性、要求、またはコンピュータ（６０２）の特定の実装形態および記述された機能に応じて２つ以上の記憶装置が使用されてもよい。記憶装置（６０６）は、コンピュータ（６０２）の一体の構成要素として示されているが、代替実装形態ではコンピュータ（６０２）の外部に存在し得る。
【0061】
アプリケーション（６０７）は、特に本開示で説明された機能に関して、特定の必要性、要求、またはコンピュータ（６０２）の特定の実装形態に応じた機能を提供するアルゴリズムのソフトウェアエンジンである。たとえば、アプリケーション（６０７）は、１つまたは複数のコンポーネント、モジュール、アプリケーションなどとして働くことができる。さらに、アプリケーション（６０７）は、単一のアプリケーション（６０７）として示されているが、コンピュータ（６０２）上の複数のアプリケーション（６０７）として実装されてもよい。加えて、アプリケーション（６０７）は、コンピュータ（６０２）に一体化して示されているが、代替実装形態ではコンピュータ（６０２）の外部に存在し得る。
【0062】
ネットワーク（６３０）を通じて各々が通信するコンピュータ（６０２）を含有しているコンピュータシステムに関連して、またはその外部に、任意の数のコンピュータ（６０２）があってもよい。さらに、「クライアント」、「ユーザ」という用語や他の適切な用語が、必要に応じて、本開示の範囲から逸脱せずに区別なく使用され得る。また、本開示は、多くのユーザが１つのコンピュータ（６０２）を使用してもよいこと、または１人のユーザが複数のコンピュータ（６０２）を使用してもよいことを企図するものである。
【0063】
いくつかの実施例では、コンピュータ（６０２）はクラウドコンピューティングシステムの一部として実装される。たとえば、クラウドコンピューティングシステムは、クラウド記憶ユニットおよびエッジサーバなどの様々な他のクラウド構成要素とともに１つまたは複数のリモートサーバを含み得る。詳細には、クラウドコンピューティングシステムは、ユーザデバイスまたはローカルコンピュータシステムによる直接的な積極的運用なしで、１つまたは複数の計算動作を実行し得る。そのため、クラウドコンピューティングシステムは、１つまたは複数のインターネット接続を使用して実行され得る、中央サーバから複数の位置にわたって分散された種々の機能を有し得る。より具体的には、クラウドコンピューティングシステムは、インフラストラクチャアズアサービス（ＩａａＳ）、プラットフォームアズアサービス（ＰａａＳ）、ソフトウェアアズアサービス（ＳａａＳ）、モバイル「バックエンド」アズアサービス（ＭＢａａＳ）、サーバレスコンピューティング、人工知能（ＡＩ）アズアサービス（ＡＩａａＳ）、および／またはファンクションアズアサービス（ＦａａＳ）などの１つまたは複数のサービスモデルに従って動作し得る。
【0064】
本開示の実施形態のうち１つまたは複数が、以下の利点のうち１つまたは複数を有し得る。本開示の実施形態は、固定されたカメラを使用する非接触の測定を可能にする。したがって、動く構成要素は不要である。較正は、初期化時に一回だけでよいが、カメラが動くときには、較正の更新が必要になることがある。
【0065】
フィーチャを有するオブジェクトが３次元であっても、本開示の実施形態は、２Ｄのコンピュータビジョンアルゴリズムの大部分を実行し、それによって計算の複雑さを大幅に低減し、処理を速める。必要な撮像および後続の計算に要する時間が非常に短いため、測定は遅延なく即座に実行され得る。さらに、本開示の実施形態はコスト効率が良く、もたらされる測定の精度はカメラの解像度によってのみ制限され得る。カメラ距離を調節し、および／または２Ｄカメラ用に異なるレンズを選択することによって、種々のサイズのフィーチャが簡単に測定され得る。
【0066】
限られた数の実施形態に関して本開示が説明されてきたが、本開示の利益を有する当業者なら、本発明の範囲から逸脱することなく様々な他の実施形態が考案され得ることを理解するであろう。したがって、本発明の範囲は、添付の特許請求の範囲によってのみ限定されるべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【手続補正書】
【提出日】2024-04-08
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
平面フィーチャを測定するためのシステムであって、
第１のオブジェクト面に第１のフィーチャを含むオブジェクトの２Ｄ画像を取り込む２Ｄカメラと、
前記オブジェクトの深度画像を取り込む深度カメラと、
コンピュータシステムであって、
前記２Ｄカメラと前記深度カメラと較正面との間の対応を確立する較正データを取得し、
前記深度画像および前記較正データを使用して、前記２Ｄカメラと前記第１のオブジェクト面との間の第１の距離を判定し、
前記２Ｄ画像に取り込まれた前記第１のフィーチャおよび前記第１の距離に基づいて前記第１のフィーチャの真の測定値を計算する、コンピュータシステムと
を備えるシステム。
第１のオブジェクト面に第１のフィーチャを含むオブジェクトの２Ｄ画像を取り込む２Ｄカメラと、
前記オブジェクトの深度画像を取り込む深度カメラと、
コンピュータシステムであって、
前記２Ｄカメラと前記深度カメラと較正面との間の対応を確立する較正データを取得し、
前記深度画像および前記較正データを使用して、前記２Ｄカメラと前記第１のオブジェクト面との間の第１の距離を判定し、
前記２Ｄ画像に取り込まれた前記第１のフィーチャおよび前記第１の距離に基づいて前記第１のフィーチャの真の測定値を計算する、コンピュータシステムと
を備えるシステム。
【請求項2】
前記オブジェクトが第２のオブジェクト面に第２のフィーチャをさらに備え、前記コンピュータシステムが、さらに、
前記２Ｄカメラと前記第２のオブジェクト面との間の第２の距離を判定し、
前記２Ｄ画像に取り込まれた前記第２のフィーチャおよび前記第２の距離に基づいて前記第２のフィーチャの真の測定値を計算する、
請求項１に記載のシステム。
前記２Ｄカメラと前記第２のオブジェクト面との間の第２の距離を判定し、
前記２Ｄ画像に取り込まれた前記第２のフィーチャおよび前記第２の距離に基づいて前記第２のフィーチャの真の測定値を計算する、
請求項１に記載のシステム。
【請求項3】
前記第１の距離を判定することが、
前記深度画像から、前記深度カメラと前記第１のオブジェクト面との間の距離を判定することと、
前記２Ｄカメラと前記深度カメラとの間の深度オフセットに関して、前記深度カメラと前記第１のオブジェクト面との間の前記距離を調節することによって前記第１の距離を計算することであって、前記深度オフセットが前記較正データから取得される、前記第１の距離を計算することと
を含む、請求項１又は２に記載のシステム。
前記深度画像から、前記深度カメラと前記第１のオブジェクト面との間の距離を判定することと、
前記２Ｄカメラと前記深度カメラとの間の深度オフセットに関して、前記深度カメラと前記第１のオブジェクト面との間の前記距離を調節することによって前記第１の距離を計算することであって、前記深度オフセットが前記較正データから取得される、前記第１の距離を計算することと
を含む、請求項１又は２に記載のシステム。
【請求項4】
前記真の測定値を計算することが、
前記第１の距離と、前記２Ｄカメラと前記較正面との間の距離との比を使用して、前記較正面における前記画素のスケーリングされた画素サイズを乗算することにより、実際の画素サイズを有する２Ｄカメラの画素に関して、前記第１のオブジェクト面におけるスケーリングされた画素サイズを計算することであって、前記較正面における前記スケーリングされた画素サイズおよび前記２Ｄカメラと前記較正面との間の距離が、前記較正データから取得される、計算することと、
前記２Ｄ画像において、前記２Ｄ画像へとスケーリングされた前記真の測定値を表す、前記２Ｄカメラの前記画素の部分集合の濃度を判定して、前記濃度に、前記第１のオブジェクト面に投影された前記画素の前記スケーリングされた画素サイズを乗算することにより、前記第１のフィーチャの前記真の測定値を取得することと
を含む、請求項１又は２に記載のシステム。
前記第１の距離と、前記２Ｄカメラと前記較正面との間の距離との比を使用して、前記較正面における前記画素のスケーリングされた画素サイズを乗算することにより、実際の画素サイズを有する２Ｄカメラの画素に関して、前記第１のオブジェクト面におけるスケーリングされた画素サイズを計算することであって、前記較正面における前記スケーリングされた画素サイズおよび前記２Ｄカメラと前記較正面との間の距離が、前記較正データから取得される、計算することと、
前記２Ｄ画像において、前記２Ｄ画像へとスケーリングされた前記真の測定値を表す、前記２Ｄカメラの前記画素の部分集合の濃度を判定して、前記濃度に、前記第１のオブジェクト面に投影された前記画素の前記スケーリングされた画素サイズを乗算することにより、前記第１のフィーチャの前記真の測定値を取得することと
を含む、請求項１又は２に記載のシステム。
【請求項5】
前記２Ｄカメラが、前記較正面における較正ターゲットの２Ｄ画像を取り込み、
前記深度カメラが、前記較正面における前記較正ターゲットの深度画像を取り込み、
前記コンピュータシステムが、前記較正データを取得する前に較正を実行して、前記較正ターゲットの既知の形状寸法および前記２Ｄカメラの既知の焦点距離に基づいて前記較正データを判定する、
請求項１又は２に記載のシステム。
前記深度カメラが、前記較正面における前記較正ターゲットの深度画像を取り込み、
前記コンピュータシステムが、前記較正データを取得する前に較正を実行して、前記較正ターゲットの既知の形状寸法および前記２Ｄカメラの既知の焦点距離に基づいて前記較正データを判定する、
請求項１又は２に記載のシステム。
【請求項6】
前記較正データを判定することが、
前記取り込まれた２Ｄ画像および前記較正ターゲットの前記既知の形状寸法に基づいて、前記２Ｄカメラの倍率係数を判定することと、
前記２Ｄカメラの前記倍率係数および焦点距離を使用して、前記２Ｄカメラと前記較正面との間の距離を判定することと
を含む、請求項５に記載のシステム。
前記取り込まれた２Ｄ画像および前記較正ターゲットの前記既知の形状寸法に基づいて、前記２Ｄカメラの倍率係数を判定することと、
前記２Ｄカメラの前記倍率係数および焦点距離を使用して、前記２Ｄカメラと前記較正面との間の距離を判定することと
を含む、請求項５に記載のシステム。
【請求項7】
前記較正データを判定することが、
前記深度画像を使用して、前記深度カメラと前記較正面との間の距離を判定することと、
前記２Ｄカメラと前記較正面との間の前記距離および前記深度カメラと前記較正面との間の前記距離を使用して、前記２Ｄカメラと前記深度カメラとの間の深度オフセットを判定することと
をさらに含む、請求項６に記載のシステム。
前記深度画像を使用して、前記深度カメラと前記較正面との間の距離を判定することと、
前記２Ｄカメラと前記較正面との間の前記距離および前記深度カメラと前記較正面との間の前記距離を使用して、前記２Ｄカメラと前記深度カメラとの間の深度オフセットを判定することと
をさらに含む、請求項６に記載のシステム。
【請求項8】
前記較正データを判定することが、
前記較正ターゲットの前記既知の形状寸法を使用して、前記較正面に投影された、前記２Ｄカメラの画素のスケーリングされた画素サイズを判定することを含む、
請求項５に記載のシステム。
前記較正ターゲットの前記既知の形状寸法を使用して、前記較正面に投影された、前記２Ｄカメラの画素のスケーリングされた画素サイズを判定することを含む、
請求項５に記載のシステム。
【請求項9】
平面フィーチャを測定するための方法であって、
２Ｄカメラを使用して、第１のオブジェクト面に第１のフィーチャを含むオブジェクトの２Ｄ画像を取り込むステップと、
深度カメラを使用して、前記オブジェクトの深度画像を取り込むステップと、
前記２Ｄカメラと前記深度カメラと較正面との間の対応を確立する較正データを取得するステップと、
前記深度画像および前記較正データを使用して、前記２Ｄカメラと前記第１のオブジェクト面との間の第１の距離を判定するステップと、
前記２Ｄ画像に取り込まれた前記第１のフィーチャおよび前記第１の距離に基づいて前記第１のフィーチャの真の測定値を計算するステップと
を備える方法。
２Ｄカメラを使用して、第１のオブジェクト面に第１のフィーチャを含むオブジェクトの２Ｄ画像を取り込むステップと、
深度カメラを使用して、前記オブジェクトの深度画像を取り込むステップと、
前記２Ｄカメラと前記深度カメラと較正面との間の対応を確立する較正データを取得するステップと、
前記深度画像および前記較正データを使用して、前記２Ｄカメラと前記第１のオブジェクト面との間の第１の距離を判定するステップと、
前記２Ｄ画像に取り込まれた前記第１のフィーチャおよび前記第１の距離に基づいて前記第１のフィーチャの真の測定値を計算するステップと
を備える方法。
【請求項10】
前記２Ｄカメラと、前記オブジェクトの第２のフィーチャを含む第２のオブジェクト面との間の第２の距離を判定するステップと、
前記２Ｄ画像に取り込まれた前記第２のフィーチャおよび前記第２の距離に基づいて前記第２のフィーチャの真の測定値を計算するステップと
をさらに含む、請求項９に記載の方法。
前記２Ｄ画像に取り込まれた前記第２のフィーチャおよび前記第２の距離に基づいて前記第２のフィーチャの真の測定値を計算するステップと
をさらに含む、請求項９に記載の方法。
【請求項11】
前記第１の距離を判定するステップが、
前記深度画像から、前記深度カメラと前記第１のオブジェクト面との間の距離を判定するステップと、
前記２Ｄカメラと前記深度カメラとの間の深度オフセットに関して、前記深度カメラと前記第１のオブジェクト面との間の前記距離を調節することによって前記第１の距離を計算するステップであって、前記深度オフセットが前記較正データから取得される、前記第１の距離を計算するステップと
を含む、請求項９又は１０に記載の方法。
前記深度画像から、前記深度カメラと前記第１のオブジェクト面との間の距離を判定するステップと、
前記２Ｄカメラと前記深度カメラとの間の深度オフセットに関して、前記深度カメラと前記第１のオブジェクト面との間の前記距離を調節することによって前記第１の距離を計算するステップであって、前記深度オフセットが前記較正データから取得される、前記第１の距離を計算するステップと
を含む、請求項９又は１０に記載の方法。
【請求項12】
前記真の測定値を計算するステップが、
前記第１の距離と、前記２Ｄカメラと前記較正面との間の距離との比を使用して、前記較正面における前記画素のスケーリングされた画素サイズを乗算することにより、実際の画素サイズを有する２Ｄカメラの画素に関して、前記第１のオブジェクト面におけるスケーリングされた画素サイズを計算するステップであって、前記較正面における前記スケーリングされた画素サイズおよび前記２Ｄカメラと前記較正面との間の距離が、前記較正データから取得される、計算するステップと、
前記２Ｄ画像において、前記２Ｄ画像へとスケーリングされた前記真の測定値を表す、前記２Ｄカメラの前記画素の部分集合の濃度を判定して、前記濃度に、前記第１のオブジェクト面に投影された前記画素の前記スケーリングされた画素サイズを乗算することにより、前記第１のフィーチャの前記真の測定値を取得するステップと
を含む、請求項９又は１０に記載の方法。
前記第１の距離と、前記２Ｄカメラと前記較正面との間の距離との比を使用して、前記較正面における前記画素のスケーリングされた画素サイズを乗算することにより、実際の画素サイズを有する２Ｄカメラの画素に関して、前記第１のオブジェクト面におけるスケーリングされた画素サイズを計算するステップであって、前記較正面における前記スケーリングされた画素サイズおよび前記２Ｄカメラと前記較正面との間の距離が、前記較正データから取得される、計算するステップと、
前記２Ｄ画像において、前記２Ｄ画像へとスケーリングされた前記真の測定値を表す、前記２Ｄカメラの前記画素の部分集合の濃度を判定して、前記濃度に、前記第１のオブジェクト面に投影された前記画素の前記スケーリングされた画素サイズを乗算することにより、前記第１のフィーチャの前記真の測定値を取得するステップと
を含む、請求項９又は１０に記載の方法。
【請求項13】
前記２Ｄカメラを使用して前記較正面における較正ターゲットの２Ｄ画像を取り込むステップと、
前記深度カメラを使用して前記較正面における前記較正ターゲットの深度画像を取り込むステップと、
前記較正データを取得する前に較正を実行して、前記較正ターゲットの既知の形状寸法および前記２Ｄカメラの既知の焦点距離に基づいて前記較正データを判定するステップと
をさらに備える、請求項９又は１０に記載の方法。
前記深度カメラを使用して前記較正面における前記較正ターゲットの深度画像を取り込むステップと、
前記較正データを取得する前に較正を実行して、前記較正ターゲットの既知の形状寸法および前記２Ｄカメラの既知の焦点距離に基づいて前記較正データを判定するステップと
をさらに備える、請求項９又は１０に記載の方法。
【請求項14】
前記較正データを判定するステップが、
前記取り込まれた２Ｄ画像および前記較正ターゲットの前記既知の形状寸法に基づいて、前記２Ｄカメラの倍率係数を判定するステップと、
前記２Ｄカメラの前記倍率係数および焦点距離を使用して、前記２Ｄカメラと前記較正面との間の距離を判定するステップと
を含む、請求項１３に記載の方法。
前記取り込まれた２Ｄ画像および前記較正ターゲットの前記既知の形状寸法に基づいて、前記２Ｄカメラの倍率係数を判定するステップと、
前記２Ｄカメラの前記倍率係数および焦点距離を使用して、前記２Ｄカメラと前記較正面との間の距離を判定するステップと
を含む、請求項１３に記載の方法。
【請求項15】
前記較正データを判定するステップが、
前記深度画像を使用して、前記深度カメラと前記較正面との間の距離を判定するステップと、
前記２Ｄカメラと前記較正面との間の距離および前記深度カメラと前記較正面との間の前記距離を使用して、前記２Ｄカメラと前記深度カメラとの間の深度オフセットを判定するステップと
をさらに含む、請求項１４に記載の方法。
前記深度画像を使用して、前記深度カメラと前記較正面との間の距離を判定するステップと、
前記２Ｄカメラと前記較正面との間の距離および前記深度カメラと前記較正面との間の前記距離を使用して、前記２Ｄカメラと前記深度カメラとの間の深度オフセットを判定するステップと
をさらに含む、請求項１４に記載の方法。
【請求項16】
前記較正データを判定するステップが、
前記較正ターゲットの前記既知の形状寸法を使用して、前記較正面に投影された、前記２Ｄカメラの画素のスケーリングされた画素サイズを判定するステップを含む、
請求項１３に記載の方法。
前記較正ターゲットの前記既知の形状寸法を使用して、前記較正面に投影された、前記２Ｄカメラの画素のスケーリングされた画素サイズを判定するステップを含む、
請求項１３に記載の方法。
【請求項17】
平面フィーチャを測定するためのプログラムであって、前記プログラムによって、コンピュータシステムが、
２Ｄカメラから、第１のオブジェクト面に第１のフィーチャを含むオブジェクトの２Ｄ画像を取得し、
深度カメラから、前記オブジェクトの深度画像を取得し、
前記２Ｄカメラと前記深度カメラと較正面との間の対応を確立する較正データを取得し、
前記深度画像および前記較正データを使用して、前記２Ｄカメラと前記第１のオブジェクト面との間の第１の距離を判定して、
前記２Ｄ画像に取り込まれた前記第１のフィーチャおよび前記第１の距離に基づいて前記第１のフィーチャの真の測定値を計算する、
プログラム。
２Ｄカメラから、第１のオブジェクト面に第１のフィーチャを含むオブジェクトの２Ｄ画像を取得し、
深度カメラから、前記オブジェクトの深度画像を取得し、
前記２Ｄカメラと前記深度カメラと較正面との間の対応を確立する較正データを取得し、
前記深度画像および前記較正データを使用して、前記２Ｄカメラと前記第１のオブジェクト面との間の第１の距離を判定して、
前記２Ｄ画像に取り込まれた前記第１のフィーチャおよび前記第１の距離に基づいて前記第１のフィーチャの真の測定値を計算する、
プログラム。
【請求項18】
前記真の測定値を計算することが、
前記第１の距離と、前記２Ｄカメラと前記較正面との間の距離との比を使用して、前記較正面における前記画素のスケーリングされた画素サイズを乗算することにより、実際の画素サイズを有する前記２Ｄカメラの画素に関して、前記第１のオブジェクト面におけるスケーリングされた画素サイズを計算することであって、前記較正面における前記スケーリングされた画素サイズおよび前記２Ｄカメラと前記較正面との間の前記距離が、前記較正データから取得される、計算することと、
前記２Ｄ画像において、前記２Ｄ画像へとスケーリングされた前記真の測定値を表す、前記２Ｄカメラの前記画素の部分集合の濃度を判定して、前記濃度に、前記第１のオブジェクト面に投影された前記画素の前記スケーリングされた画素サイズを乗算することにより、前記第１のフィーチャの前記真の測定値を取得することと
を含む、請求項１７に記載のプログラム。
前記第１の距離と、前記２Ｄカメラと前記較正面との間の距離との比を使用して、前記較正面における前記画素のスケーリングされた画素サイズを乗算することにより、実際の画素サイズを有する前記２Ｄカメラの画素に関して、前記第１のオブジェクト面におけるスケーリングされた画素サイズを計算することであって、前記較正面における前記スケーリングされた画素サイズおよび前記２Ｄカメラと前記較正面との間の前記距離が、前記較正データから取得される、計算することと、
前記２Ｄ画像において、前記２Ｄ画像へとスケーリングされた前記真の測定値を表す、前記２Ｄカメラの前記画素の部分集合の濃度を判定して、前記濃度に、前記第１のオブジェクト面に投影された前記画素の前記スケーリングされた画素サイズを乗算することにより、前記第１のフィーチャの前記真の測定値を取得することと
を含む、請求項１７に記載のプログラム。
【請求項19】
前記２Ｄカメラが、前記較正面における較正ターゲットの２Ｄ画像を取り込み、
前記深度カメラが、前記較正面における前記較正ターゲットの深度画像を取り込み、
前記コンピュータ可読プログラムコードによりさらに、前記コンピュータシステムが、前記較正データを取得する前に較正を実行して、前記較正ターゲットの既知の形状寸法および前記２Ｄカメラの既知の焦点距離に基づいて前記較正データを判定する、
請求項１８に記載のプログラム。
前記深度カメラが、前記較正面における前記較正ターゲットの深度画像を取り込み、
前記コンピュータ可読プログラムコードによりさらに、前記コンピュータシステムが、前記較正データを取得する前に較正を実行して、前記較正ターゲットの既知の形状寸法および前記２Ｄカメラの既知の焦点距離に基づいて前記較正データを判定する、
請求項１８に記載のプログラム。
【請求項20】
前記較正データを判定することが、
前記較正ターゲットの前記既知の形状寸法を使用して、前記較正面に投影された、前記２Ｄカメラの画素のスケーリングされた画素サイズを判定するステップを含む、
請求項１９に記載のプログラム。
前記較正ターゲットの前記既知の形状寸法を使用して、前記較正面に投影された、前記２Ｄカメラの画素のスケーリングされた画素サイズを判定するステップを含む、
請求項１９に記載のプログラム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【0005】
概して、本発明の１つまたは複数の実施形態は、平面フィーチャを測定するためのプログラムに関し、コンピュータシステムは、２Ｄカメラから、第１のオブジェクト面に第１のフィーチャを含むオブジェクトの２Ｄ画像を取得し、深度カメラから、オブジェクトの深度画像を取得し、２Ｄカメラと深度カメラと較正面との間の対応を確立する較正データを取得し、深度画像および較正データを使用して、２Ｄカメラと第１のオブジェクト面との間の第１の距離を判定して、２Ｄ画像に取り込まれた第１のフィーチャおよび第１の距離に基づいて第１のフィーチャの真の測定値を計算する。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【0011】
概して、本発明の実施形態は、２Ｄカメラと深度センサの組合せを使用して、３Ｄ空間における平面フィーチャを測定するためのシステム、方法、およびプログラムを提供するものである。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【0023】
図２は、１つまたは複数の実施形態による、較正用の構成（２００）を概略的に示す。較正用の構成は、図３に示される方法を実行するために使用され得る。較正用の構成（２００）では、２Ｄカメラ（１１０）および深度カメラ（１２０）は、それぞれ較正ターゲット（Ｔ）の２Ｄ画像（１１２）および深度画像（１２２）を取り込む。較正ターゲット（Ｔ）は、２Ｄカメラ（１１０）によって検知可能な目に見えるフィーチャを有し得る。たとえば、較正ターゲットは、チェス盤のパターン、ドットマトリクスなどを含み得る。１つまたは複数の実施形態では、目に見えるフィーチャは、較正を可能にするための既知の幾何構造およびサイズを有する。目に見えるフィーチャは、任意のタイプ、形状、および／またはサイズでよい。一実施形態では、較正ターゲット（Ｔ）はＡｒＵｃｏマーカの形式の基準マーカを含む。較正ターゲット（Ｔ）の既知の形状寸法は、基準マーカによって形成された基準長方形の真の高さ（Ｙｔ）もしくは真の幅、および／または較正ターゲット（Ｔ）内の基準マーカの相対位置を含む他の既知の寸法を含み得る。較正ターゲット（Ｔ）は較正面（Ｐ０）にある。較正用の構成（２００）は、最高分解能のために、ターゲット（Ｔ）の高さが２Ｄカメラ（１１０）のセンサの大半または全体を占有するように設計され得る。較正面（Ｐ０）は、較正面（Ｐ０）における種々の位置に関して類似の深度が測定されることを保証するために、深度カメラ（１２０）の深度軸に対してほぼ垂直であると想定される。較正面（Ｐ０）は、深度カメラ（１２０）から、深度カメラと較正面との間の距離（ｄ’）だけ離れている。較正面（Ｐ０）は、２Ｄカメラ（１１０）から、２Ｄカメラと較正面との間の距離（ｄｏ）だけ離れている。２Ｄカメラ（１１０）と深度カメラ（１２０）との間のオフセットは、距離オフセット（ｄｄ）に組み込まれ得る。画像距離（ｄｉ）は、２Ｄカメラの前部から画像が実際に形成される画像面へのオフセットを特徴付ける。次に、図３を参照して、較正用の構成（２００）のこれらの特徴の適用が論じられる。
【外国語明細書】