特開2024-102018 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ シック　アイヴィピー　エービーの特許一覧

特開2024-102018画像におけるオブジェクトモデルインスタンスと撮像オブジェクトインスタンスとの照合のための方法および装置

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1A
1B
1C
1D
2A
2B
3
4
5

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024102018

(43)【公開日】2024-07-30

(54)【発明の名称】画像におけるオブジェクトモデルインスタンスと撮像オブジェクトインスタンスとの照合のための方法および装置

(51)【国際特許分類】

G06T 7/00 20170101AFI20240723BHJP

【ＦＩ】

G06T7/00 300Z

【審査請求】有

【請求項の数】9

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024005245

(22)【出願日】2024-01-17

(31)【優先権主張番号】23152321

(32)【優先日】2023-01-18

(33)【優先権主張国・地域又は機関】EP

(71)【出願人】

【識別番号】504048696

【氏名又は名称】シックアイヴィピーエービー

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部達彦

(72)【発明者】

【氏名】ケヴィン・シェーレン

(72)【発明者】

【氏名】クリストフェル・マルムグレーン

(72)【発明者】

【氏名】アンデシュ・モエ

(72)【発明者】

【氏名】クリストファー・エフィエール

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096FA64

5L096FA67

5L096FA77

(57)【要約】（修正有）

【課題】画像におけるオブジェクトモデルインスタンスと撮像オブジェクトインスタンスとの照合のための方法およびデバイスを提供する。
【解決手段】オブジェクトモデルインスタンス１０５ａ～１０５ｃは、オブジェクトのオブジェクトモデルのインスタンスである。照合方法は、撮像オブジェクトインスタンス１０３ａ～１０３ｃとの照合のために画像１０１中に、それぞれ仮説変換を有するオブジェクトモデルインスタンスから始まり、照合は、それぞれのオブジェクトモデルインスタンスを、画像中のそれぞれの撮像オブジェクトインスタンスと、より正確に一致するように変換することに基づき、撮像オブジェクトインスタンスが画像中で互いにどのように関連するかに関する所定の情報を、オブジェクトモデル自体が画像中のそれぞれの撮像オブジェクトインスタンスについて開示するものに加えて取得し、次いで、取得した所定の情報を使って照合を実施する。
【選択図】図２Ｂ

【特許請求の範囲】

【請求項1】

画像(101)におけるオブジェクトモデルインスタンス(105a～c)と撮像オブジェクトインスタンス(103a～c)との照合のために、1つまたは複数のデバイス(400)によって実施される方法であって、前記オブジェクトモデルインスタンス(105a～c)はオブジェクトのオブジェクトモデル(105)のインスタンスであり、前記照合は、前記撮像オブジェクトインスタンス(103a～c)との照合のために、それぞれ、前記画像(101)中の、仮説変換を有する前記オブジェクトモデルインスタンス(105a～c)から始まり、前記照合は、それぞれのオブジェクトモデルインスタンス(105a、b、c)を、前記画像(101)中のそれぞれの撮像オブジェクトインスタンス(103a、b、c)とより正確に一致するように変換することに基づき、前記方法は、
・前記オブジェクトモデル(105)自体が前記画像(101)中のそれぞれの撮像オブジェクトインスタンス(103a、b、c)について開示するものに加え、前記撮像オブジェクトインスタンス(103a～c)が前記画像(101)中で互いにどのように関連するかに関する所定の情報を取得するステップ(301)と、
・前記取得された所定の情報を使って前記照合を実施するステップ(302)とを含む、方法。

【請求項2】

前記所定の情報は、前記撮像オブジェクトインスタンス(103a～c)が、前記画像(101)中で同じ1つまたは複数の寸法を有するべきであること、前記撮像オブジェクトインスタンス(103a～c)が、前記画像(101)中で同じ回転を有するべきであること、前記撮像オブジェクトインスタンス(103a～c)が、前記画像中の1つまたは複数の最近傍撮像オブジェクトインスタンスに対して、前記画像(101)中で、あらかじめ定義された回転を有するべきであること、前記撮像オブジェクトインスタンス(103a～c)が、前記画像(101)中で同じ形状を有するべきであること、前記撮像オブジェクトインスタンス(103a～c)が、前記画像(101)中で互いと重なるべきでないこと、1つまたは複数の方向の前記撮像オブジェクトインスタンス(103a～c)が、前記画像(101)中でそれらの間に間隙を有するべきではないことのうちの1つまたは複数についてである、請求項1に記載の方法。

【請求項3】

前記照合は、前記撮像オブジェクトインスタンス(103a～c)が前記画像(101)中で互いにどのように関連するかに関する前記所定の情報を考慮に入れる前記オブジェクトモデルインスタンス(105a～c)の変換を含む、請求項1または2に記載の方法。

【請求項4】

前記変換によって考慮に入れられる前記所定の情報は、前記撮像オブジェクトインスタンス(103a～c)が前記画像(101)の中で同じ1つまたは複数の寸法を有し、かつ/または前記画像(101)の中で同じ回転を有し、かつ/または前記画像(101)中の1つもしくは複数の最近傍撮像オブジェクトインスタンスに関して、前記画像(101)中で、あらかじめ定義された回転を有し、かつ/または前記画像(101)中で同じ形状を有することを含む、請求項3に記載の方法。

【請求項5】

前記照合は、総コストを最小限にし、または総スコアを最大限にすることを含み、前記総コストまたは総スコアは、あらかじめ定義されたオブジェクトモデル特徴と、それぞれのオブジェクトモデルインスタンス(105a、b、c)の前記あらかじめ定義されたオブジェクトモデル特徴に最も近いと識別された前記画像中の対応するオブジェクト特徴との間の距離に関する、第1の関数によって与えられる第1のコストまたはスコアを含み、前記総コストまたは総スコアは、前記所定の情報に従って、前記撮像オブジェクトインスタンス(103a～c)が前記画像(101)中で互いにどのように関連するか、からの逸脱に関する1つまたは複数の第2の関数によって与えられる1つまたは複数の第2のコストまたはスコアをさらに含む、請求項1から4のいずれか一項に記載の方法。

【請求項6】

前記照合は、第2の照合ステップであり、前記オブジェクトモデルインスタンス(105a～c)の前記仮説変換は、実施され、前記オブジェクトモデルインスタンス(105a～c)の前記仮説変換を生じた、先行する第1の照合ステップからの結果である、請求項1から5のいずれか一項に記載の方法。

【請求項7】

画像(101)におけるオブジェクトモデルインスタンス(105a～c)と撮像オブジェクトインスタンス(103a～c)との照合のための1つまたは複数のデバイス(400)であって、前記オブジェクトモデルインスタンス(105a～c)はオブジェクトのオブジェクトモデル(105)のインスタンスであり、前記照合は、前記撮像オブジェクトインスタンス(103a～c)との照合のために、それぞれ、前記画像(101)中の、仮説変換を有する前記オブジェクトモデルインスタンス(105a～c)から始まり、前記照合は、それぞれのオブジェクトモデルインスタンス(105a、b、c)を、前記画像(101)中のそれぞれのオブジェクトインスタンス(103a、b、c)とより正確に一致するように変換することに基づき、前記1つまたは複数のデバイスは、
前記オブジェクトモデル(105)自体が前記画像(101)中のそれぞれの撮像オブジェクトインスタンス(103a、b、c)について開示するものに加え、前記撮像オブジェクトインスタンス(103a～c)が前記画像(101)中で互いにどのように関連するかに関する所定の情報を取得することと、
前記取得された所定の情報を使って前記照合を実施することとを行うように構成される、デバイス。

【請求項8】

命令を備えるコンピュータプログラム(403)であって、前記命令は、1つまたは複数のプロセッサ(404)によって実行されると、請求項7に記載の1つまたは複数のデバイス(400)に、請求項1から6のいずれか一項に記載の方法を実施させる、コンピュータプログラム。

【請求項9】

請求項8に記載のコンピュータプログラム(403)を備えるキャリアであって、前記キャリアは、電子信号、光信号、無線信号またはコンピュータ可読記憶媒体(501)のうちの1つである、キャリア。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書における実施形態は、画像におけるオブジェクトモデルインスタンスと撮像オブジェクトインスタンスとのオブジェクト照合に関し、前記オブジェクトモデルインスタンスは、オブジェクトのオブジェクトモデルのインスタンスであり、照合は、それぞれのオブジェクトモデルインスタンスを変換することに基づく。

【背景技術】

【0002】

画像中のオブジェクト照合、つまり、視覚的オブジェクト照合を記述する方法は、ライブ画像と呼ばれることがある画像中で、特定のオブジェクトの1つもしくはいくつかのインスタンスを見つけること、つまり、オブジェクトが画像の中に存在するかどうかを見つけ出し、かつ/または存在するときは、画像中でのその位置、配向および/もしくはスケールなど、撮像オブジェクトに関する属性についての情報を見つけることについてである。オブジェクト照合を行うことができるためには、オブジェクト照合に使われる照合アルゴリズムが、画像中で見つけるべきオブジェクトについて知らされ、つまり、「教えられる」。これは通常、見つけられるべきオブジェクトの特定の特性的特徴、たとえばオブジェクトのエッジを指定する、オブジェクトのモデル、すなわちオブジェクトモデルを通して行われる。

【0003】

いくつかの照合アルゴリズムは、特定の部分を有し、かつ/または、オブジェクトの1つもしくは複数の参照画像に対して動作する、特定の別個のオブジェクトモデル構築アルゴリズムに関連付けられ、そうすることによって、見つけるべきオブジェクトについて知らされる、すなわち「学習する」か、または「教えられ」、それに基づいて、実際の照合のための照合アルゴリズムが次いで使うオブジェクトモデルを形成する。そのようなオブジェクトモデル構築アルゴリズムはしたがって、たとえばライブ画像中で、実際の照合が実施されるべきであるときに使用するためのオブジェクトモデルを構築する。オブジェクトモデルは、言い換えると、たとえばライブ画像中での照合中に、ライブ画像中のオブジェクトの1つまたは複数のインスタンスを見つけるのに使われることになる。オブジェクトモデルがどのように形成されるかは、したがって照合とは別個であるが、各照合アルゴリズムは通常、特定のタイプのオブジェクトモデルを照合のために、たとえば特定のフォーマットで要求する。使用および互換性を簡素化するために、照合アルゴリズムがオブジェクトモデル構築アルゴリズムに関連付けられることが、しばしば実際的であるが、必要ではない。

【0004】

オブジェクトモデルはしたがって、参照オブジェクトを撮像する参照画像から生成され得る。そのような参照画像は、モデル教示画像と呼ばれ得る。オブジェクトモデルは、モデル教示画像によって撮像された参照オブジェクトのオブジェクト特徴を抽出することによって生成することができる。どのような特徴が原理に特に適さないかは、適用分野によっても変わる場合があり、どの特徴が利用可能であり、モデル教示画像から抽出することが可能であるか、および照合がどのように行われるべきであるかにも依存し得る。特徴が、いずれの場合も、見つけられるべきオブジェクトに対して特徴的であり、かつ/または画像、たとえばライブ画像中の撮像オブジェクトインスタンスとの照合に適した種類の特徴であるべきである。したがって、照合が行われるべき1つの画像または複数の画像の中に対応がある特徴であるべきである。当然ながら、どのような特徴を照合アルゴリズムが使うことができるかも重要であり、これは、オブジェクトの1つまたは複数の参照画像から、すなわち上述したようなモデル教示画像から、使うことができるオブジェクトモデルを構築するための機能に関連付けられるか、または機能を有し得る照合アルゴリズムが有益であり得るもう1つの理由である。オブジェクトモデルの特徴の例、およびしたがって、オブジェクトモデルを構築するために参照画像から抽出される特徴でもあり得るものは、撮像された参照オブジェクトのエッジまたは類似の特性特徴、たとえばコーナーなどの特徴点またはランドマーク点である。特徴点としてのコーナーは、コーナーを含むエッジの周囲点をもつコーナー点の形であってよい。

【0005】

オブジェクトの形状に関する特徴は共通である。形状関連特徴をもつオブジェクトモデルに基づく照合は、形状ベースの照合と呼ばれ得る。

【0006】

参照画像からではない、オブジェクトについての他の情報に基づいてオブジェクトモデルを構築することも可能である。たとえば、オブジェクトが矩形ボックスであり、そうであることによって画像の中の撮像オブジェクトインスタンスが矩形の形状を有することになる場合、オブジェクトモデルは単に、そのような矩形に対応する線分によって形成され得る。

【0007】

オブジェクトモデルは次いで、したがって、照合アルゴリズムによって、オブジェクト照合の際に、たとえばライブ画像との照合のために、1つまたは複数の撮像オブジェクトインスタンスを画像中で見つけ、通常、それぞれの撮像オブジェクトインスタンスに関する前記属性、たとえば画像中でのその位置、配向および/またはスケールについての情報も見つけるために使われる。照合アルゴリズムが、それぞれのオブジェクトモデルインスタンスの異なる姿勢など、異なる変換を画像と照合すること、および結果の評価、たとえば、各変換が画像とどの程度一致するかに基づくことが一般的である。たとえば、それぞれのオブジェクトモデルインスタンスの各変換は、オブジェクトモデルインスタンスの、特定の並進もしくは位置、回転、スケール、形状の微調節またはそれらの組合せに対応し得る。何らかの基準または複数の基準による十分に良好な一致がある場合、一致であると、すなわち、オブジェクトの撮像されたインスタンスが画像中で見つかり、一致を生じた、変換されたオブジェクトモデルインスタンスが、画像中の、見つかった画像オブジェクトインスタンスについての情報、たとえばその位置、配向および/またはスケールを提供すると見なされる。

【0008】

理想としては、すべての一致が正しいものであるべきであり、すなわち、一致が十分に良好である場合、一致は、常に正しい、つまり、照合アルゴリズムによるだけでなく、現実においても実際の一致である一致となるべきである。ただし、実際には、これは常に成り立つわけではない。オブジェクトモデルが、オブジェクトを見つけるための照合アルゴリズムとともに使われるとき、正しくない一致が起こり、問題を引き起こし得る。正しくない一致はしたがって、照合アルゴリズムおよび依然として正しい一致ではないが一致であると判断するために照合アルゴリズムが適用する1つまたは複数の閾など、1つまたは複数の基準による一致である。正しくない一致である、照合アルゴリズムによる一致は、たとえば、人的検査および実際に見つかるべきであるものについての情報によって、通常は照合アルゴリズムの外で照合アルゴリズム結果が基づく何らかの他の基準またはいくつかの基準によって判断することができる。

【0009】

正しくない一致はしたがって、照合アルゴリズムが、1つまたは複数の基準による一致に対応する結果を提供する一致として記述されてよく、一致は、これによる一致に対して、正しい一致ではないが十分に正確に見える。つまり、照合アルゴリズムは、実際の一致または正確な一致を提供できていないが、アルゴリズムは、十分に正確な一致があると評価している。正しくない一致はしたがって、照合アルゴリズムが、本当に正しい一致とは区別することができない一致として記述されてよい。

【0010】

上ですでに指摘したように、照合は、画像中のオブジェクトの複数のインスタンスを見つけることに関し、つまり、同じオブジェクトモデルを使って、たとえば照合用に同じオブジェクトモデルのいくつかのインスタンスを使って、画像中のいくつかの撮像オブジェクトインスタンスをすべて見つけるためであることがある。オブジェクトモデルのいくつかの異なるインスタンス、たとえばオブジェクトの撮像されたインスタンスごとに1つが、照合の際に使われ得る。照合から、次いで、画像中の撮像オブジェクトインスタンスの数についての情報ならびに/または各々についての詳細、たとえば位置、配向および/もしくはスケールを与えられ得る。そのような照合から得られる情報は、たとえばライブ画像の場合、ライブ画像中の見つかった撮像オブジェクトインスタンスに対応する実オブジェクトがどこに位置するかについて、たとえば、選び、ソートするなどのために、対応する実オブジェクトを操作することができるようにするために、ロボットに知らせるのに使うことができる。

【0011】

オブジェクト照合を通して見つかる撮像オブジェクトインスタンスについての詳細な情報は概して、様々な決定に使うことができ、いくつかは重大であり、いくつかは画像中のオブジェクトについての正確な情報を必要とする。照合がどの程度正確であることが必要とされるか、および/または照合から生じた任意の詳細がどの程度正確であるかは、アプリケーションによって変わり得る。それぞれのオブジェクトモデルインスタンスと、照合からの結果としての画像中のそれぞれの撮像オブジェクトインスタンスとの間の対応が良好であるほど、照合はより正確であると見なすことができる。

【0012】

画像中のオブジェクトの複数のインスタンスを見つけることに関する照合はしばしば、少なくとも2つの異なるステップで実施される。画像中の撮像オブジェクトインスタンスとの照合のための、オブジェクトモデルインスタンスのより粗い仮説変換を提供するための第1のより粗い照合ステップと、次いで、より粗い一致の結果から、すなわち仮説変換から始まる、後続のより細かい照合ステップがあってよい。これらのステップは、粗い照合および微調整または細かい照合と呼ばれ得る。

【0013】

より粗い照合は、オブジェクトモデル、たとえば一度に1つのオブジェクトモデルインスタンスを画像と比較し、何らかの基準または複数の基準に従って十分粗い一致の所で停止し、新たなオブジェクトモデルインスタンスでテストするなどして、この、およびより粗い照合が、粗い一致であるのにも十分に良好であると見なされるいかなる一致も生じなくなるまで、たとえば、オブジェクトモデルの異なる位置、回転などをテストするなど、何らかの全数探索を行うことによって行うことができる。より粗い照合の別の例は、見つけるべき撮像オブジェクトの形状がほぼ知られているかまたは推定されるとき、予想される外見の粗テンプレートで畳み込むことである。

【0014】

いずれの場合も、より粗い照合の後は、それぞれ、画像中で、画像オブジェクトインスタンスと粗く照合され、画像中で仮説姿勢を有するなど、前記仮説変換を有するオブジェクトモデルインスタンスが存在する。いくつかのアプリケーションにとっては、これで十分であり得るが、より正確な照合および撮像オブジェクトインスタンスについての詳細を得ることが重要であるときは、前記追加のより細かい照合が、さらなる第2のステップにおいて続いてよい。

【0015】

より粗い照合に対する代替は、撮像オブジェクトインスタンスが画像中に位置することになるか、または位置することになる見込みがある所についての何らかの情報が存在し、次いで、オブジェクトモデルインスタンスをこれらのロケーションに、自動的に、または手作業でも置くことができる場合、それはしたがって、前記仮説変換に対応し、通常は少なくとも、オブジェクトモデルインスタンスが少なくとも、仮説ロケーションにあり、たとえばいくつかのデフォルト寸法および配向をもつことを含む。それに続く、すなわちより細かい照合に対応する照合は、仮説変換から始まる。そのようなより細かい照合は、それぞれ、オブジェクトモデルインスタンスと撮像オブジェクトインスタンスの、向上した、したがってより細かい照合、つまり、より正確な照合を得るために、何らかの反復的改善または最適化を使うことが一般的である。

【0016】

MVTec HALCONは、統合開発環境(HDevelop)をもつマシンビジョンのための標準ソフトウェアである。刊行物「Solution Guide II-B Shape-Based Matching」、Edition 5、2008年12月(HALCON9.0)、MVTec Software GmbH、ドイツ、ミュンヘンは、上述した形状ベースの照合に関するいくつかの原理を開示し、形状ベースの照合のためのHALCONのオペレータが、単一のモデル画像に基づいてオブジェクトを見つけ、突き止めるためにどのように使われ得るかを例示している。第1のフェーズでは、使われるべきモデルが指定され、作成され、異なる機会における、および異なるアプリケーションにおける照合のために再利用されるべきファイルに記憶され得る。第2のフェーズでは、モデルは、撮像オブジェクトを見つけ、突き止めるのに使われる。サーチスペースを制限することによって、出力結果がどのように最適化され得るかも開示される。

【先行技術文献】

【非特許文献】

【0017】

【非特許文献1】「Solution Guide II-B Shape-Based Matching」、Edition 5、2008年12月(HALCON9.0)、MVTec Software GmbH、ドイツ、ミュンヘン

【発明の概要】

【発明が解決しようとする課題】

【0018】

上記を鑑み、目的は、従来技術に対する1つまたは複数の改善または代替を、特に、およびより具体的には、オブジェクトモデルインスタンスがオブジェクトのオブジェクトモデルのインスタンスであり、照合が、それぞれのオブジェクトモデルインスタンスを、画像中のそれぞれの撮像オブジェクトインスタンスと、より正確に一致するように変換することに基づくときの、画像における前記オブジェクトモデルインスタンスと撮像オブジェクトインスタンスとの前記照合に関する改善を提供することである。

【課題を解決するための手段】

【0019】

本明細書における実施形態の第1の態様によると、目的は、画像におけるオブジェクトモデルインスタンスと撮像オブジェクトインスタンスとの照合のための、1つまたは複数のデバイスによって実施される方法によって達成される。前記オブジェクトモデルインスタンスは、オブジェクトのオブジェクトモデルのインスタンスである。前記照合は、撮像オブジェクトインスタンスとの照合のために画像中に、それぞれ仮説変換を有するオブジェクトモデルインスタンスから始まり、前記照合は、それぞれのオブジェクトモデルインスタンスを、画像中のそれぞれの撮像オブジェクトインスタンスと、より正確に一致するように変換することに基づく。前記デバイスは、撮像オブジェクトインスタンスが画像中で互いにどのように関連するか、およびどの所定の情報が、前記オブジェクトモデル自体が画像中のそれぞれの撮像オブジェクトインスタンスについて開示するものに加えられるかに関する所定の情報を取得する。前記デバイスは次いで、前記取得された所定の情報を使って前記照合を実施する。

【0020】

本明細書における実施形態の第2の態様によると、目的は、オブジェクトモデルインスタンスと、画像中の撮像オブジェクトインスタンスとの照合のための1つまたは複数のデバイス、つまり、デバイス(1つまたは複数)によって達成される。前記オブジェクトモデルインスタンスは、オブジェクトのオブジェクトモデルのインスタンスである。前記照合は、撮像オブジェクトインスタンスとの照合のために画像中に、それぞれ仮説変換を有するオブジェクトモデルインスタンスから始まり、前記照合は、それぞれのオブジェクトモデルインスタンスを、画像中のそれぞれの撮像オブジェクトインスタンスと、より正確に一致するように変換することに基づく。前記デバイスは、撮像オブジェクトインスタンスが画像中で互いにどのように関連するか、およびどの所定の情報が、前記オブジェクトモデル自体が画像中のそれぞれの撮像オブジェクトインスタンスについて開示するものに加えられるかに関する所定の情報を取得するように構成される。前記デバイスは、前記取得された所定の情報を使って前記照合を実施するようにさらに構成される。

【0021】

本明細書における実施形態の第3の態様によると、目的は、1つまたは複数のプロセッサによって実行されると、1つまたは複数のデバイスに、第1の態様による方法を実施させる命令を含むコンピュータプログラムによって達成される。

【0022】

本明細書における実施形態の第4の態様によると、目的は、第3の態様によるコンピュータプログラムを含むキャリアによって達成される。

【0023】

前記所定の情報を照合の際に使うと、照合が不正確または正しくない一致にはまる、すなわちそのような結果に終わる危険を減らすことによって、オブジェクト照合を向上することが可能になる。言い換えると、所定の情報を用いる、本明細書における実施形態は、それぞれのオブジェクトモデルインスタンスを、画像中のそれぞれの撮像オブジェクトインスタンスにより正確に照合することを可能にする。

【0024】

本明細書における実施形態の例について、添付の概略図を参照してより詳しく記載するが、概略図について、以下で手短に説明する。

【図面の簡単な説明】

【0025】

【図1A】画像中のオブジェクトモデルインスタンスの仮説変換から始まり、次いで、不正確および/または正しくない一致にはまる、従来技術に基づく照合に関する例を概略的に示す図である。

【図1B】画像中のオブジェクトモデルインスタンスの仮説変換から始まり、次いで、不正確および/または正しくない一致にはまる、従来技術に基づく照合に関する例を概略的に示す図である。

【図1C】画像中のオブジェクトモデルインスタンスの仮説変換から始まり、次いで、不正確および/または正しくない一致にはまる、従来技術に基づく照合に関する例を概略的に示す図である。

【図1D】画像中のオブジェクトモデルインスタンスの仮説変換から始まり、次いで、不正確および/または正しくない一致にはまる、従来技術に基づく照合に関する例を概略的に示す図である。

【図2A】本明細書における実施形態に基づく、照合からの例証結果を示す図である。

【図2B】本明細書における実施形態に基づく、照合からの例証結果を示す図である。

【図3】本明細書における実施形態による方法およびアクションの実施形態を概略的に示すためのフローチャートである。

【図4】1つまたは複数のデバイスが、図3に関連して論じる方法およびアクションを実施するようにどのように構成され得るかという実施形態を示すための概略ブロック図である。

【図5】コンピュータプログラムおよびそのキャリアに関するいくつかの実施形態を示す概略図である。

【発明を実施するための形態】

【0026】

本明細書における実施形態は、例示的な実施形態である。これらの実施形態は、必ずしも相互に排他的ではないことに留意されたい。一実施形態にある構成要素または部分は、別の実施形態において存在することが暗黙のうちに想定されてよく、それらの構成要素または部分が他の例示的な実施形態においてどのように使われ得るかは、当業者には明らかであろう。

【0027】

本明細書における実施形態に向けての開発として、最初に、背景技術における状況についてさらに詳述する。

【0028】

オブジェクトのオブジェクトモデルを、画像と照合して、画像中のオブジェクトのそれぞれの撮像オブジェクトインスタンスとの一致を見つけるとき、これは実際には、効率の理由から、背景技術に示した、少なくとも2ステップ照合、つまり、第1のより粗い照合ステップと、その後に続く少なくとも1つのより細かい照合ステップ、または「微調整」に共通である。それぞれのステップは、独自の照合アルゴリズムに関連付けられてよく、または2つの別個のステップで動作する照合アルゴリズムであってよい。いずれの場合も、より細かい照合の観点から、それぞれ、オブジェクトモデルインスタンスが撮像オブジェクトインスタンスとの照合のために画像中で仮説変換を有する状況から始まる。

【0029】

そのようなより細かい照合はしばしば、オブジェクトモデルインスタンスの不正確な変換、たとえば正しくない姿勢で「はまる」可能性があることがわかっている。言い換えると、より細かい照合は、それがするべきであり、実際にすることができる程に正確な照合を遂行することができない。これは、前のステップにおける、より粗い照合からの結果が十分に正確でないときに起こり得る。より細かい照合は、たとえば、正しくないか、または少なくとも、照合が可能であるよりも不正確な一致に「はまる」場合がある。より細かい照合のために関与する照合アルゴリズムは、結果が正しくないか、または不正確であることを知っている場合があるが、通常は知らない。照合アルゴリズム、およびそのアルゴリズムが適用する照合基準の観点から、十分な一致でなくてもそう見える場合があり、これは、人的視覚検査によって容易に検証することができる。

【0030】

図1A～図1Dは、画像101の中のオブジェクトモデルインスタンスの仮説変換から始まるとともに、望ましくない変換にはまる、従来技術に基づく照合に関する例を概略的に示し、すなわち、結果は、照合アルゴリズムおよびオブジェクトモデルが実際には他の状況において可能であるほど正しくも正確でもない一致である。

【0031】

図1Aは、ボックスが支持面の上にあり、互いの上に積まれているときに側面から撮像された、小包など、正方形のボックスである実オブジェクトに対応する撮像オブジェクトインスタンス103a～cをもつ、照合が実施されるべきである画像101を示す。

【0032】

図1Bは、側面から、単一のボックスの1つまたは複数の参照画像からエッジを抽出することによって形成されているか、または単に撮像オブジェクトについての知られている情報、たとえば、特定の幅および/または高さをもつ正方形のボックスであることから形成される可能性がある、矩形の形の簡略化オブジェクトモデル105を概略的に示す。オブジェクトモデルは、たとえば、均一もしくは不均一に、たとえば、コーナーの所ではより高いサンプル密度で分散され得るか、またはエッジに対応する線分によって形成され得るとともに数学的に記述され得る、抽出されたエッジに沿って、サンプルに対応し得る。さらに、理解されるべきであるように、オブジェクトモデルは実際には、オブジェクトモデルを使うための照合アルゴリズムに適合する、従来はオブジェクトモデル向けに使われるようなフォーマットである。フォーマットは、標準または固有であってよい。

【0033】

図1Cは、撮像オブジェクトインスタンス103a～cとの照合のために、画像101中に仮説開始変換を有するオブジェクトモデル105のオブジェクトモデルインスタンス105a～cを概略的に示す。画像中の、ロケーションを含む姿勢などの仮説変換は、実施されたか、または単に、オブジェクトモデルのインスタンス、つまり、ここではオブジェクトモデルインスタンス105a～cが、撮像オブジェクトインスタンスが起こる見込みがある、かつ/または起こることが予想される、画像中の粗ロケーションに置かれている、何らかの従来のより粗い照合からの結果であり得る。了解されるように、および実際に通常はそうであるように、単一のオブジェクトモデル105は、一致するようなそれぞれの撮像オブジェクトインスタンスの厳密な寸法またはサイズをほとんど有していない。図示する例において、オブジェクトモデルインスタンス105a～cの高さは、画像101中の撮像オブジェクトインスタンス103a～cの高さとは異なる。画像中のオブジェクトのサイズがどのように撮像されるかは、知られていない場合があり、かつ/またはオブジェクトモデルがそこから形成されている可能性がある参照画像におけるのと同じでなくてよい。照合アルゴリズムによる照合は通常、並進に加え、画像中のオブジェクトモデルインスタンスの少なくともスケーリングおよび/またはサイズ変更を伴う。また、回転、およびときには形状の何らかの調節もあり得る。ロケーションを含む、それぞれの仮説変換におけるそれぞれのオブジェクトモデルインスタンス105a～cは、同じ寸法であって、たとえば、同一の名目もしくはデフォルト寸法およびサイズを有してよく、かつ/または、図1Cに示すように1つまたは複数の寸法が異なってよい。図において、さらなる(より細かい)照合がそこから始まる仮説ロケーションを含む、その仮説変換をもつそれぞれのオブジェクトモデルインスタンス105a～cは、それぞれの撮像オブジェクトインスタンス103a～cと比較して高さが異なる。

【0034】

図1Dは、図1Cのような仮説変換をもつオブジェクトモデルインスタンス105a～cから始まった、従来の(より細かい)照合の後の結果を示す。ここでの照合は、オブジェクトモデルインスタンス105a～cの位置、幅および高さの変更を伴う変換を含んでおり、各オブジェクトモデルインスタンスのための最適化された位置、幅および高さを見つけようと試みる。これは、それぞれのオブジェクトモデルインスタンスのオブジェクトモデルインスタンス特徴(ここでは、上で説明したエッジに対応する特徴)と、画像101中の対応する特徴、したがってエッジとの間の距離を最小限にすることによって行われ得る。いかなる特定の制約も使われていない。最適化はしたがって、コスト関数の最小化として記述することができ、コスト関数はこの場合、単に以下に従って記述することができる。
CostFunction=ΣDistanceToEdges (式1)

【0035】

図1Dに見ることができるように、すべてのオブジェクトモデルインスタンス105a～cは、実施された照合を通して、図1Cにおけるそれらの仮説変換から変わっている。ただし、2つの上の方のオブジェクトモデルインスタンス105a～bは、撮像オブジェクトインスタンス103a～bとの不正確な、それどころか正しくない一致を表すそれぞれの変換にはまっている。オブジェクトモデルインスタンス105cは一方、オブジェクトモデルインスタンス105cとの良好な一致を生じている。

【0036】

不正確な一致は、各撮像オブジェクトインスタンス103a～c上では水平線として見え、照合アルゴリズムが照合を実施したエッジとして扱った各ボックス上の水平な折り目、または継ぎ目があることによることが了解されよう。

【0037】

図1に関連して示した種類の、正しくないか、または不正確な照合は、たとえば、先行するより粗い照合からの仮説変換がより正確である場合、起こらないか、または少なくともあまり頻繁には起こらない可能性がある。1つのソリューションはしたがって、先行するより粗い照合をより正確にすることになり得るが、これはまた、不正確な一致に対応するオブジェクトモデルインスタンスの変換からさらなる照合を始めることができるためにより粗い照合を有する理由を打ち消す。さらなる照合をそこから始めるための仮説変換は、それらが粗一致に対応することを満足する場合、より簡単に、より速く与えられ得る。また、多くの状況のために、正確な粗い照合では必要とされず、より細かい照合がうまくいく。より粗い照合がより正確であることを要すると、部分的に最適になり、性能が全体的に低下し得る。

【0038】

照合を、上述したように望ましくなく「はめ」させる、識別される全般的理由は、何らかの理由で、各撮像されたボックス上に前記折り目または継ぎ目がある、図1A～図1Dの例でのように、画像中の撮像オブジェクトインスタンスの特徴ではないが適合をもたらす、通常は反復的なパターンが画像中にある場合である。言い換えると、撮像オブジェクトインスタンスの特徴と同様のパターンであって、良好な一致がないのにあると信じるように照合アルゴリズムを「だます」パターンであって、そうすることによって、照合アルゴリズムは、パターンとオブジェクト特徴を区別することができない。パターンはしたがって、照合の際、偽のオブジェクト特徴として見える。そのようなパターンは、実際には回避するのが難しい場合があり、画像中のオブジェクトインスタンスごとに起こり得る。

【0039】

そこから始まるべき、より正確な仮説変換をもつ、上で示したソリューションは、さらなる、たとえばより細かい照合が、そうすることによって、パターンとの一致をかなりの程度まで回避することができる場合、そのようなパターンの問題を解決することができよう。ただし、偽のオブジェクト特徴として見える前記パターンが、より粗い照合もだまし、結果として、より細かい照合が、以前よりもパターンに近い可能性がある仮説変換から始まり、そうすることによって、それらを回避するのを一層難しくする場合、より細かい照合を始めるためのより良好な仮説変換をもたらすという意図がある、正確さの増したより粗い照合が、問題を解決しないどころか悪化させるということが起こり得る。

【0040】

いずれの場合も、本明細書における実施形態は、オブジェクトモデルインスタンスのより正確または「より良好」であり得る仮説変換からさらなる照合が始まることに基づくことも、そのことを要求することもない。そうではなく、本明細書における実施形態は、オブジェクトモデルインスタンスの仮説変換から始まる、より粗いおよび/またはより細かい照合、ただし特により細かい照合、または概してさらなる照合が、撮像オブジェクトインスタンスが画像中で互いにどのように関連するか、およびどの所定の情報が、前記オブジェクトモデルがそれぞれの撮像オブジェクトインスタンスについて開示するようなものに加えられるかに関する所定の情報を使うことを見つけることに基づき、図1Dに関して記載する部分最適照合を回避することができ、前記反復的パターンなど、偽のオブジェクト特徴による不正確または正しくない一致の危険を減らすことができる。従来技術でのように、そこから、たとえばより粗い照合から始まるべきオブジェクトモデルインスタンスの仮説変換を提供するのが簡単であり速いものが、使われ続けてよい。

【0041】

了解されるべきであるように、本明細書における実施形態は、そのようなインスタンスが画像中で互いにどのように関連するかに関するので、画像の中に複数のオブジェクトインスタンスがあるときに、および前記種類の所定の情報が存在するときに適用可能である。

【0042】

本明細書における実施形態のための有用な所定の情報の存在および種類は、アプリケーションおよび実際的状況に依存する。所定の情報は、実際には、アプリケーションおよび状況に基づいて識別され、指定される必要があり得る。ただし、大部分ではないとしても多くの実状況では、たとえば「ライブ画像」中の、撮像される予定の実オブジェクトが、互いにどのように関連し、または関連することになるか、およびしたがって、撮像オブジェクトインスタンスが画像中で互いにどのように関連するかについての何らかの情報が知られており、したがって存在し、これによって、照合の際にオブジェクトモデルインスタンスにも適する。たとえば、図1でのような実用的アプリケーションおよび状況では、画像中のオブジェクトインスタンスは、重なりを有しなくてよく、有しなくなること、また、それらの間に垂直方向には距離を有しなくてよく、有しなくなることが知られており、したがってこれは、本明細書における実施形態を適用するとき、所定の情報として使うことができる。

【0043】

より全般的には、以下は、いくつかの実用的アプリケーションおよび状況において適用可能であり有用であると識別された所定の情報の例であり、言い換えると、実施形態における所定の情報は、以下のうちの1つまたは複数に対応するか、または基づき得る。すなわち、撮像オブジェクトインスタンスは、画像中で同じ1つまたは複数の寸法であるか、または有するべきである、撮像オブジェクトインスタンスは、画像中で同じ回転を有するか、または有するべきである、撮像オブジェクトインスタンスは、画像中の1つまたは複数の最近傍撮像オブジェクトインスタンスに対して、画像中であらかじめ定義された回転を有するか、または有するべきである、撮像オブジェクトインスタンスは、画像中で同じ形状を有するか、または有するべきである、撮像オブジェクトインスタンスは、画像中で互いと重なっていないか、または重なるべきでない、1つまたは複数の方向での撮像オブジェクトインスタンスは、画像中でそれらの間に間隙を有しないか、または有するべきではない。

【0044】

以下で別々に例示されるようなコスト関数とともに実装されるような、いくつかの実施形態では、「同じ」からのある程度の逸脱を、所定の情報について許容することができ、そのことは、本明細書における実施形態とともに使われ得る様々なタイプの所定の情報の上記列挙では、「べきである」の使用によって示される。

【0045】

上のコンテキストでは、「画像中で同じ1つまたは複数の寸法」は、少なくとも1つの寸法、たとえば撮像オブジェクト幅、またはx寸法が、画像中の撮像オブジェクトインスタンス向けに同じであることを指す。別の例では、xおよびy寸法など、高さと幅の両方が、画像中の撮像オブジェクトインスタンス向けに同じである。さらに、上で、「1つまたは複数の最近傍撮像オブジェクトインスタンスに対して」は、画像中の少なくとも1つの方向において、最も近い、たとえば最も隣接するものに関連することを指す。たとえば、撮像されるオブジェクトが、1つまたは複数の最も近いネイバーによっておよび/または関連して判断される傾きを有する状況があってよく、この傾きにより、撮像オブジェクトインスタンスは、異なる回転を有して見えることになる。この情報は次いで、本明細書における実施形態において使用され、前記所定の情報の一部であってよい。

【0046】

所定の情報、およびそれが照合においてどのように適用され得るかに関するいくつかの詳細な例が、以下に続く。

【0047】

図2A～図2Bは、本明細書における実施形態に基づく、照合からの例証結果を示す。図示する例は、上述したようにそのような所定の情報を使ったことに基づいて、改善効果がどのように遂行され得るかを示す。図2A～図2Bの例における照合は、図1Dに関連して上で論じた照合の拡張と見なすことができる。図2A～図2Bに示すものをもたらした照合は、図1Dを生じる照合において、図1Cでのような仮説変換をもつオブジェクトモデルインスタンス105a～cから始まった。違いは、上述した所定の情報に基づく制約が適用されたことである。

【0048】

図2Aにおいて、制約は、撮像オブジェクトインスタンス103a～cが同じ寸法であるべきである、ここでは同じ幅および高さを有するべきであることである。この情報は、これに加えて、図1Dに示すものを生じた照合に対応し得る照合を実施するときに追加され、使われる。ここでの実施形態の実装は、ここでは単に、式1によるコスト関数に、追加の第2のコスト関数を加えることによって遂行され得る。したがって、照合中に最小化されるべき総コストについての新たな総コスト関数は、以下に従って記述され得る。
TotalCostFunction=FirstCostFunction+SecondCostFunction==ΣDistanceToEdges+ΣdimensionDifferences (式2)

【0049】

式2は、2つのコスト関数から形成される総コストに対応し、第1のコスト関数は式1のものに対応し、追加の第2のコスト関数は、所定の情報に基づく、制約からの逸脱であって、ここでは、撮像オブジェクトインスタンス103a～cが同じ寸法を有することから逸脱するためのコストに関することが了解されよう。したがって、たとえばオブジェクトモデルインスタンスの幅および高さが互いによらずに変えられてよい照合の間、結果が、いくつかのオブジェクトモデルインスタンスの間の幅および/または高さの差である場合、このことが追加コストを生じることとなる。したがって、寸法差を生じる、照合中の変更にはペナルティがあり、そうすることによって、図1Dでのような状況に終わる危険を減らす。

【0050】

図2Aに見ることができるように、結果は、図1Dにおける結果と比較した、照合における差である。オブジェクトモデルインスタンス105a～cは今ではほぼ同じサイズを有するが、全体的結果は、この場合、良い方ではない。すべてのオブジェクトモデルインスタンス105a～cが、実施された照合を通って、今では、各ボックス上の折り目によって引き起こされたパターンとの一致のせいで、撮像オブジェクトインスタンス103a～cとの不正確な一致にはまっている。

【0051】

図2Bでは、所定の情報、すなわち、撮像オブジェクトインスタンス103a～cが画像中でそれらの間に間隙を有するべきでないこと、より具体的には、近隣撮像オブジェクトインスタンスがその間に垂直方向には間隙を有するべきではないことに基づいて、さらなる制約が追加されている。したがって、上記と同じ原理に基づいて、照合中に最小化されるべき総コストについての別の新たな総コスト関数は、以下に従って記述され得る。
TotalCostFunction=FirstCostFunction+SecondCostFunction=ΣDistanceToEdges+ΣdimensionDifferences+ΣyGapBetweenBoxes (式3)

【0052】

式3は、式1のものに対応する第1のコスト関数、および所定の情報に基づいて制約から逸脱するためのコストに関する追加の第2のコスト関数から形成される総コストにも対応することが了解されよう。第2のコスト関数はここでは、撮像オブジェクトインスタンス103a～cが同じ寸法を有するべきであること、および近隣撮像オブジェクトインスタンスがそれらの間に垂直方向には間隙を有するべきではないことからの逸脱についてである。この例では、制約ごとに1つの第2のコスト関数がある。図2Bに見ることができるように、改善は明白である。オブジェクトモデルインスタンス105a～cはすべて、それぞれ、オブジェクトモデルインスタンス105a～cとの良好な一致を生じた。

【0053】

したがって、いくつかの実施形態では、たとえば、上で論じたより細かい照合に対応する照合は、従来技術でのように、適切なコスト関数を最小限にすること、または何らかのスコア関数を最大限にすることに基づく。このために適用することができる、いくつかの従来技術技法があることが、当業者には認識されよう。いずれの場合も、たとえば第1のコスト関数によるコストの最小化またはスコアの最大化は従来、通常は、画像と一致するべき、それぞれのオブジェクトモデルインスタンスの、またはその上の特徴、または特徴点と、画像の中の、対応する特徴または特徴点、たとえばフィルタアウトされ得るエッジとの間の距離に基づく。画像中のエッジは、画像中の撮像オブジェクトインスタンスのエッジを含むことになる。

【0054】

使うことができる従来技術技法の具体例は反復最近接点(Iterative Closest Point:ICP)であり、オブジェクトモデル、またはそれぞれのオブジェクトモデルインスタンスの点が、画像に、つまり、撮像オブジェクトインスタンスを含む、撮像された「ライブシーン」をもつ画像に変換され、次いで、変換されたオブジェクトモデル点と、画像中の最も近い対応する点との間の距離が最小化される。

【0055】

別の例は、オブジェクトモデルのエッジの間の距離を最小限にすることであり、または参照画像を直接使うこともでき、画像、たとえば「ライブ画像」中でエッジを見つけることができる。

【0056】

コストを最小限にするための関数はたとえば、

【0057】

【数1】

【0058】

と表すことができ、上式で、Tは、オブジェクトモデルインスタンスが画像中の撮像オブジェクトインスタンスと一致するための、たとえば並進および回転を含む、求められる変換を表す。Pは、たとえばエッジの特徴点であり、dist(..)は、使われる距離メトリックである。コストはここでは、すべての特徴点TotPoints、つまり、オブジェクトモデルのi=1...TotPointsについて、すなわち、すべてのオブジェクトモデル点について計算される。ここではT(P_model,i)と名づけられる、それぞれの変換されたオブジェクトモデル点と、ここではP_liveと名づけられる、画像、たとえばライブ画像中の最も近い対応する点との間の距離を、測度として使うことが一般的である。したがって、上の距離dist(...)は、

【0059】

【数2】

【0060】

と表すことができ、上式で、kはしたがって、最短距離を有する、すなわち、変換されたオブジェクトモデル点に最も近い、対応する画像点、たとえばエッジ点を示す。適用される変換Tが、最良一致を見つけるための並進、回転およびサイズについての探索を伴う場合、求められる変換は、
T(t_m,R_m,s_m) (式6)
と書くことができ、上式で、mは、オブジェクトインデックス、つまり、それぞれの撮像オブジェクトインスタンスと一致するべきオブジェクトモデルインスタンスごとに異なるインデックスである。たとえば、整数であるM個のオブジェクトモデルインスタンスがある場合、m=1..Mである。したがって、各オブジェクトモデルインスタンスごとに1つの変換である。これらの変換は、互いに依存しないので、一度に1つ求められ得る。

【0061】

オブジェクトモデルインスタンス点のそれぞれの特徴点からの距離、および画像中の最も近い対応する点に基づいて、上の式4～6の式について合計が形成される場合、これは、式1でのように、最小化されるべきコストに対応する。つまり、最も低いコストを有する、たとえば並進、回転および/またはサイズ変更を含む、それぞれのオブジェクトモデルインスタンスの変換が、最適化されていると、および最良一致であると見なされる。理想としては、コストはゼロであるべきであり、オブジェクトモデルの特徴点すべてが、厳密に、および同じときに、画像中の対応する点と一致し、オブジェクトモデルインスタンスが画像中の画像オブジェクトインスタンスと完璧に一致した変換が見られたことを意味する。ただし、実際にはそのような完全一致は、遂行することが可能でない場合があり、通常、ある程度の閾または同様のものが、一致が十分に良好であると判断するのに使われ、かつ/または何回かの反復の後でコストが最も低い変換が「最良一致」として使われる。

【0062】

式4～6の式に関する上記考察は、従来技術技法に基づいて照合がどのように実施され得るかを例示しており、図1A～図1Dおよび図2A～図2Bに関して上述したそのような照合が基づき得るものについての、ある程度のさらなる詳細を与える。

【0063】

ここで、上で例示した従来技術照合が、本明細書における実施形態を実装するように、様々なやり方でどのように修正され得るかについて論じる。

【0064】

撮像オブジェクトインスタンスが画像中で互いにどのように関連するか、およびどの所定の情報が、撮像オブジェクトインスタンスが同じ寸法である、たとえば同じサイズを有することを含むかに関する所定の情報があるとすれば、図2A～図2Bに関して上述した状況の場合、式6での変換はむしろ、以下のように書くことができる。
T(t_m,R_m,s) (式7)

【0065】

したがって、式7の式によって示されるように、すべてのオブジェクトモデルインスタンスが、同じサイズ、またはスケーリング、変換を有し、したがって、同じ寸法を有する。これに伴う欠点は、すべてのオブジェクトが依存するので、それらのための変換を同じときに最適化することが必要とされ得ることである。これは、ソリューションが、最適化するべきより少ないパラメータを有するにもかかわらず、より遅く実行することになる結果をもたらす見込みがあるより複雑な最適化問題をもたらす。これは例にすぎないことに留意されたい。所定の情報が、変換の一部であり得る他のパラメータ向けにも使用され得る。たとえば、照合されるべきオブジェクトの粗形状のみが知られているが、形状が同じであることが知られているということになるであろう。つまり、所定の情報は、形状が同じであることを含み得る。

【0066】

所定の情報を使うための追加または代替法は、図2A～図2Bおよび式1～5の式に関して論じた、つまり、たとえば、照合が最小限にすることを目指す総コストを計算するために、1つまたはいくつかの追加コストまたはスコア関数を加えるための例におけるようなものであってよい。

【0067】

従来の第1のコスト関数、すなわち、たとえば、それぞれのオブジェクトモデルインスタンスの特徴の間の距離に基づくとともに、エッジなど、対応する画像特徴に対するとともに、適用される照合アルゴリズムに従って照合中に変えられる変換Tに対して動作する、上述したコスト(T)がある場合、総コスト関数は概して、

【0068】

【数3】

【0069】

と表すことができ、上式で、cost_n(T)はしたがって、所定の情報に基づく追加の第2のコスト関数である。所定の情報のタイプおよび性質に依存して、1つまたは複数の、つまり、N個の、そのような追加の第2のコスト関数が形成されてよく、ここでNは0より大きい整数である。各第2のコスト関数は通常、ただし当然ながら、従来の第1のコスト関数コスト(T)とは別のやり方で、変換Tにも依存する。たとえば、式3の式の例では、2つの追加コスト関数があるので、N=2である。重み因子μ_nが、それぞれのコスト関数が評価するそれぞれのコストを重みづけるのに使われ得る。重みは当然ながら、したがってそれぞれの第2のコスト関数cost_n(T)の一部であってよいが、総コストの一部であるとともに十分な照合改善をもたらす、つまり、少なくとも第1のコスト関数のみが使われるものと比較して、不正確または正しくない一致の数を減らすコストの適切なバランスを見つけるためにテスト中に変えることができる明示的な別個のパラメータを有することが有益な場合がある。適切な重み因子はしたがって、特定のマシンビジョンシステムセットアップおよびアプリケーション向けなど、特定のケース、たとえば実用的アプリケーションにおいて、ルーチン試験および実験を通して所定であってよい。

【0070】

それぞれの第2のコスト関数が基づき得る、所定、または言い換えると、事前の情報のいくつかの例はたとえば、以下のものから構築される。
・重なり。たとえば、画像中のオブジェクトインスタンスは重なるか、または重なることができないことが、特定の実用的アプリケーションについて知られていてよい。それはしたがって、もしもオブジェクトモデルインスタンスが互いと重なり、コストが重なりの増大とともに増大し得るときに第2のコスト関数によって形成されるコストであってよい。
・間隙。たとえば、撮像されるオブジェクトが互いの上に積まれることがわかっている場合、それらの間に間隙は垂直方向にはあるべきでない。それはしたがって、オブジェクトモデルインスタンスがそれらの間に垂直方向にある程度の間隙を有し、間隙の増大とともにコストが増大し得る場合に第2のコスト関数によって形成されるコストであってよい。当然ながら、間隙は、代替または追加として、垂直方向とは他の方向であってよく、または間隙なしではなくて、画像中のすべての撮像オブジェクトインスタンスの間で同じであるか、または同じであるべき所定の間隙であってよい。
・寸法またはサイズ。たとえば、撮像されるオブジェクトが、たとえばすべて同じ種類のオブジェクトであるので、厳密な寸法またはサイズはわからない可能性があるが、同じまたはほぼ同じ寸法またはサイズであることが知られている場合。それは次いで、オブジェクトモデルインスタンスの変換の結果、差が、オブジェクトモデルインスタンスの間のサイズである場合、第2のコスト関数によって形成されるコストであってよく、コストは、サイズ差の増大とともに増大し得る。サイズは、同じ幅および/または高さおよび/または深さなど、1つまたは複数の寸法でのサイズを指し得ることに留意されたい。
・形状。たとえば、撮像されるオブジェクトが、たとえばすべて同じ種類のオブジェクトなので、厳密な形状はわからない可能性があるが、同じまたはほぼ同じ形状を有することがわかっている場合。それは次いで、オブジェクトモデルインスタンスの変換の結果、差が、オブジェクトモデルインスタンスの間の形状である場合、第2のコスト関数によって形成されるコストであってよく、コストは、形状差の増大とともに増大し得る。

【0071】

所定の情報が明記するものからの逸脱による追加コスト、すなわちペナルティは、前記重みパラメータμ_nによって制御され得る。たとえば、実際に認められる寸法変動が、サイズ差に対するコストを生成するコスト関数のための重み因子によって制御され得る。

【0072】

所定の情報の上記例について、重なりおよび間隙は変換Tにより、したがって、つまり、式6～7の式に関して論じたように実装することができないが、すべてがこのように、適切な追加の第2のコスト関数を用いて実装され得ることが了解されよう。コスト関数手法に関わる利益は、変動性を認めることであり、これは通常、実際に、および撮像オブジェクトインスタンスの間の実画像中で成り立ち、たとえば、オブジェクトはほぼ同じサイズおよび/または形状である。欠点は、より多くの知られていないもの、すなわち変数があることであり、これは、特に、照合するべき多くのオブジェクトモデルインスタンス、およびしたがって照合するべき多くの撮像オブジェクトインスタンスがある画像のケースでは、重大な計算上の欠点となり得る。たとえば、総数I個のオブジェクトモデルインスタンスのうちの各オブジェクトモデルインスタンスi、したがって規模3*I個のi変数のための非依存並進、回転およびサイズを伴う式6の変換を、非依存並進、回転を伴うが同じであるサイズは伴わない、したがって規模が2*I+1個の変数の式7の変換と比較する。

【0073】

上ですでに指摘したように、同じまたは対応する所定の情報が、代替または追加として、(より細かい)照合がその後で始まる、仮説オブジェクトモデルインスタンスロケーションおよび姿勢を生じる第1の粗い照合ステップにおいて使われてよい。たとえば、第1の粗い照合ステップは、異なるオブジェクトサイズとのテンプレート一致に基づいてよく、次いで、すべてのオブジェクトモデルインスタンスに対して最良一致をまとめて与えた、つまり、画像中の撮像オブジェクトインスタンスとの最良の粗い一致を与えたサイズが選択される。そのサイズは次いで、より細かい照合において開始サイズとして使われ得る。

【0074】

上で論じた変換およびコスト関数手法に対するさらなる代替は、所定の情報をランダムサンプルコンセンサス(RANSAC)マッチャーの中に含めるものであってよい。これは、より粗い照合ステップとより細かい照合ステップの両方に適用可能であり得る。このRANSAC手法に関する問題は、実際的関心となることを十分に速くすることであり得る。

【0075】

図3は、本明細書における実施形態による方法の実施形態を概略的に示すためのフローチャートである。方法を形成する以下のアクションは、オブジェクトモデルインスタンスと画像中の撮像オブジェクトインスタンスの照合のためである。前記オブジェクトモデルインスタンスは、オブジェクトのオブジェクトモデルのインスタンスである。前記照合は、それぞれ、画像中の撮像オブジェクトインスタンスとの照合のための、仮説変換を有するオブジェクトモデルインスタンスから始まる。前記照合は、それぞれのオブジェクトモデルインスタンスを、画像中のそれぞれの撮像オブジェクトインスタンスとより正確に一致するように変換することに基づくオブジェクト照合、つまり、オブジェクトモデルインスタンスの変換に基づく種類のオブジェクト照合である。以下では、理解を容易にするための非限定的例として、前記オブジェクトモデルがオブジェクトモデル105によって、前記画像が画像101によって、前記撮像オブジェクトインスタンスが撮像オブジェクトインスタンス103a～cによって、および前記オブジェクトモデルインスタンスがオブジェクトモデルインスタンス105a～cによって例示される場合がある。

【0076】

以下の方法および/またはアクションは、デバイス、すなわち、コンピュータまたはコンピュータと同様の処理能力をもつデバイス、たとえば、画像101を提供している撮像システムおよび/または計算能力をもつカメラもしくはカメラユニットに関連付けられたコンピュータまたはデバイスなどの1つまたは複数のデバイスによって実施され得る。デバイスは、画像処理能力も有し得る。方法はしたがって、コンピュータ実装されるが、必ずしも従来のコンピュータによって実施されなくてよい。形状に基づく照合など、従来技術のオブジェクト照合を実施するために使われる従来のデバイスは通常、本明細書における実施形態による方法およびアクションも実施するように構成されることが適している。まさに原則どのコンピュータ実装方法とも同様に、いくつかのコンピューティングデバイスおよび/またはいくつかのプロセッサを伴う、方法およびアクションも、分散させて実施され得ること、ならびに/あるいは方法および/またはアクションは、コンピュータクラウド、もしくは単にクラウドにおいて、および/またはそれによって、たとえばクラウドサービスとして実施され得ることに留意されたい。そのような場合、1つまたは複数のデバイスが、方法および/またはアクション、たとえばその計算を実施するのに関与するが、外部的には、どの特定のデバイスが関与するかを識別するのが難しい場合がある。方法およびそのアクションを実施するためのデバイスについても、以下で、ある程度のさらなる詳細を個別に記載する。

【0077】

以下のアクションは、どの適切な順序でとられてもよく、かつ/または可能であり適切なときは、時間が全体的もしくは部分的に重なって実践されてよい。

【0078】

アクション301
前記デバイスは、撮像オブジェクトインスタンス103a～cが、好ましくは空間的に、画像101中で互いにどのように関連するかに関する所定の情報を、前記オブジェクトモデル105自体が画像101中のそれぞれの撮像オブジェクトインスタンス103a、b、cについて開示するものに加えて取得する。

【0079】

本明細書で使用する限り、画像中で互いに空間的に関連する撮像オブジェクトインスタンスは、撮像オブジェクトおよび/またはそのエッジなどの特性的特徴が、それらを、画像中で互いに関してどのようにおよび/またはどこに並べるか、たとえば、位置、配向、形状、寸法、サイズに関して、どのように画像中で互いに関連するかを含む。空間関係はしたがって、たとえば、撮像オブジェクトの色が互いにどのように関連するかは除外する。

【0080】

アクション302
前記デバイスは、前記取得された所定の情報を使って前記照合を実施する。

【0081】

上ですでに論じたように、照合の際に所定の情報を使うと、照合が、不正確な、または正しくさえない一致にはまる、すなわちそれで終わる危険を減らすことによって、オブジェクト照合を向上することが可能になる。言い換えると、それぞれのオブジェクトモデルインスタンスを、画像中のそれぞれの撮像オブジェクトインスタンスにより正確に照合することを可能にする。

【0082】

所定の情報は、撮像オブジェクトインスタンスが画像中で互いにどのように関連するかについてなので、所定の情報は、画像と照合されるオブジェクトモデルインスタンスにも適し、というのは、照合が、オブジェクトモデルインスタンスを撮像オブジェクトインスタンスに対応させることについてだからである。

【0083】

所定の情報を使って実施される照合は、特に所定の情報が、撮像オブジェクトインスタンスが画像中で互いに空間的にどのように関連するかについてであるとき、それぞれのオブジェクトモデルインスタンスの変換が、所定の情報によって影響される、たとえば考慮に入れることを伴い得る。たとえば、上の例でのように、所定の情報に基づいて、互いに依存してそれぞれの変換を行うこと、および/またはそれぞれのオブジェクトモデルインスタンスの変換を、追加の第2のコストを介して所定の情報を間接的に考慮に入れるように行うことにより。

【0084】

いくつかの実施形態では、前記照合は、撮像オブジェクトインスタンス103a～cが画像101中で互いにどのように関連するかに関する前記所定の情報を考慮に入れるオブジェクトモデルインスタンス105a～cの変換を含む。さらに、これらの実施形態のうちのいくつかにおいて、前記変換によって考慮に入れられる前記所定の情報は、撮像オブジェクトインスタンス103a～cが画像101の中で同じ1つもしくは複数の寸法を有し、かつ/または画像101の中で同じ回転を有し、かつ/または画像101中の1つもしくは複数の最近傍撮像オブジェクトインスタンスに関して、画像101中で、あらかじめ定義された回転を有し、かつ/または画像101中で同じ形状を有することを含む。

【0085】

これらの実施形態に関する例については、式2～8の式、特に式7に関して上で論じた。

【0086】

いくつかの実施形態では、前記照合は、総コストを最小限にすること、または総スコアを最大限にすることを含む。前記総コストまたは総スコアは、第1のコストまたはスコアを含み、これらは第1の関数によって与えられ、あらかじめ定義されたオブジェクトモデル特徴と、それぞれのオブジェクトモデルインスタンス105a、b、cの前記あらかじめ定義されたオブジェクトモデル特徴に最も近いものであると画像中で識別される、対応するオブジェクト特徴との間の距離に関する。前記総コストまたは総スコアは、1つまたは複数の第2のコストまたはスコアをさらに含み、これらは1つまたは複数の第2の関数によって与えられ、撮像オブジェクトインスタンス103a～cが、前記所定の情報に従って、画像101中で互いに空間的にどのように関連するかということからの逸脱に関する。照合は、画像中のオブジェクトモデルインスタンスの仮説変換から始まるので、照合がそこから始まり得るいくつかの最も近いオブジェクト特徴があることに留意されたい。これらの実施形態に関する例については、式2～8の式に関して上で論じた。

【0087】

以下は、これらの実施形態における照合の背景にある原理についてさらに記載するが、原理はしたがって、スコア最小化などのコストまたはスコア最適化に基づく、従来技術の照合とは異なるものではない必要がある。違いは、たとえば、上で論じたそのような追加の第2のコスト関数による、追加スコアまたはコストである。その仮説変換、たとえば仮説ロケーション、回転およびサイズから始まるそれぞれのオブジェクトインスタンス105a～cに対して、オブジェクトモデルインスタンスは、照合アルゴリズムに従って照合中に、変換され、たとえば、わずかに並進および/または回転および/またはスケーリングおよび/または形状変換され、新たなコスト(またはスコア)がそれぞれの変換、およびしたがって変更について計算されてよく、つまり、照合は反復プロセスである。各反復において何が変えられるか、および/または変えられる程度に関する決定は、使われる照合アルゴリズムにより、たとえば、第1の関数および先行する反復における変換から生じたコストに基づき得る。前記変換および変更は、先行する反復が、以前よりも低い、それとも高いコストを生じたかに依存してよい。この手順、すなわちコスト関数を使い、照合を向上するようにオブジェクトモデルを変換することはしたがって、従来行われているやり方と異なるものではなく、照合アルゴリズムはしたがって、(第1の)コスト関数に基づく、知られているそのようなアルゴリズムに基づき得る。違いはしたがって、照合アルゴリズムが検討する総コストを、前記所定の情報を使う第2のコスト関数からのコストコントリビューションも含むようにすることについてである。

【0088】

例:所定の情報がたとえば、すべてのオブジェクトインスタンスが同じ回転を有するべきであると明記し、すべてのオブジェクトモデルインスタンスが、同じ回転を含むそれらの仮説変換にある場合、さらなる照合が始まると、単一のオブジェクトモデルインスタンスを回転すること、または、距離を削減し、そうすることによって第1の関数によるコストを削減することによってより良好な一致を遂行しようと試みて、オブジェクトモデルインスタンスを異なるように回転することは、逸脱、およびしたがって第2の関数によるコストの加算を意味する。第2の関数によるコストは、「同じ回転」からの小さい逸脱に対しては小さくなり得るが、より大きい逸脱に対しては、原理的に不可能または非常に見込みが低い場合、大きくなるべきである。所定の情報が、すべてのオブジェクトインスタンスが、オブジェクトモデルとオブジェクトインスタンスの照合中に同じ相対的回転を有するものとするとのみ述べる場合、それらはすべて、第2の関数によるいかなるコスト増大も生じることなく、同じ量で回転されてよいことに留意されたい。

【0089】

距離は、変換されたオブジェクトモデル点と、画像中の最も近い対応する点との間、またはオブジェクトモデルのエッジと、画像中に見られるエッジとの間の距離など、上で例示したようなものであってよい。さらに別の例は、オブジェクトモデルが線分から形成され、たとえば数学的に記述されるときであり、線分はオブジェクトのエッジに対応し得る。これは、ボックスなど、比較的単純なオブジェクトに対して成り立ち得る。線分オブジェクトモデルの場合、距離は、そのような線分までの直交距離であってよい。その場合、それぞれの距離は、たとえばエッジに対応する、画像中のそれぞれの特徴点から、1つまたは複数のそのような線分までのものであってよい。たとえば、最短直交距離をもつ線分まで、すなわち、最も近い線分まで、または画像中のそれぞれの特徴点までの一定の、通常はあらかじめ定義されるか、もしくは所定の局所性以内のすべての線分までの距離が使われ得る。

【0090】

照合は、上述したように、より細かい照合ステップに対応し得る。したがって、いくつかの実施形態では、前記照合は第2の照合ステップであり、第2の照合ステップがそこから始まるオブジェクトモデルインスタンス105a～cの前記仮説変換は、実施され、前記仮説変換を生じた、先行する第1の照合ステップからの結果である。

【0091】

第1の照合ステップは、前記取得された所定の情報を使い得る。その場合、取得された所定の情報の、異なるおよび/または同じ、つまり、完全に重なる、部分的に重なる、またはまったく重ならない部分が、第1および第2の照合ステップにおいて使われ得る。たとえば、第1の照合ステップは、撮像オブジェクトインスタンス103a～cが同じサイズであるという所定の情報の一部を使ってよく、第2の照合ステップも、情報のこの部分および/または撮像オブジェクトインスタンス103a～cがそれらの間に間隙を有しないということを使ってよい。

【0092】

本明細書で使用する限り、画像101など、撮像オブジェクトインスタンスをもつ画像は、2Dまたは3D画像であってよい。たとえば、オブジェクトモデルを割り当てられたオブジェクトの複数の実世界インスタンスの従来の(2D)撮像から得られた従来の2D画像である。3D画像、つまり、3D撮像から、たとえば光またはレーザー三角測量に基づく3D撮像システム3D画像からの3D画像に対応する画像データである。3D画像はしたがって、いくつかの2D画像からの画像情報によって形成され得る。ただし、3D画像が厳密にどのように遂行されたかは、本明細書における実施形態には適さない。3D画像は、オブジェクトモデルに関連付けられたオブジェクトの実世界インスタンスを含む3Dシナリオの画像であってよい。3D画像は、たとえばレーザー三角測量におけるレーザーおよび通常は何らかの処理によって、たとえばシナリオの3D走査から生じた、シナリオにおける表面のサンプルを含んでよく、そうであることによって、サンプルは、オブジェクトの前記実世界インスタンス、通常はその表面を含む、走査されたものの3Dのサンプルになる。この種類の3D画像は、3D表面の点、またはサンプルをもつ3D空間、またはクラウドと見なすことができること、そうすることによって、撮像されたものに関する3D情報を参照して、点群とも呼ばれ得る。そのような3D画像における撮像オブジェクトインスタンスの点は、撮像オブジェクトインスタンスの表面を記述するものと見なすことができる。そのような表面は、2Dの場合でのエッジであるものに対応するものと見なすことができる。

【0093】

また、2D画像と比較して、さらに別の寸法では、3D画像はより多くの情報を含むことに留意されたい。これは、何らかの表現の意味が、2Dまたは3Dの場合において使われる場合は異なることも意味する。たとえば、撮像されたときに、あるオブジェクトが別のオブジェクトの背後で部分的に可視的であった場合、2D画像中の撮像オブジェクトインスタンスの間には重なりがあってよいが、実際の3D世界でのオブジェクトは重なっておらず、オブジェクトはしたがって、オブジェクトの3D画像の中で重なっていないはずである。ただし、所定の情報は、撮像オブジェクトインスタンスが画像中で互いにどのように関連するかについてであるので、それが実際には2Dまたは3D画像のいずれであるかは問題ではない。

【0094】

以下の方法および/またはアクションは、デバイス、すなわち、コンピュータまたはコンピュータと同様の処理能力をもつデバイス、たとえば、画像101を提供している撮像システムおよび/または計算能力をもつカメラもしくはカメラユニットに関連付けられたコンピュータまたはデバイスなどの1つまたは複数のデバイスによって実施され得る。デバイスは、画像処理能力も有し得る。方法はしたがって、コンピュータ実装されるが、必ずしも従来のコンピュータによって実施されなくてよい。形状に基づく照合など、従来技術のオブジェクト照合を実施するために使われる従来のデバイスは通常、本明細書における実施形態による方法およびアクションも実施するように構成されることが適している。まさに原則どのコンピュータ実装方法とも同様に、いくつかのコンピューティングデバイスおよび/またはいくつかのプロセッサを伴う、方法およびアクションも、分散させて実施され得ること、ならびに/あるいは方法および/またはアクションは、コンピュータクラウド、もしくは単にクラウドにおいて、および/またはそれによって、たとえばクラウドサービスとして実施され得ることに留意されたい。そのような場合、1つまたは複数のデバイスが、方法および/またはアクション、たとえばその計算を実施するのに関与するが、外部的には、関与する特定のデバイスを識別するのが難しい場合がある。方法およびそのアクションを実施するためのデバイスについても、以下で、ある程度のさらなる詳細を個別に記載する。

【0095】

図4は、上ですでに述べたような1つまたは複数のデバイス400が、図3に関して論じた方法およびアクションを実施するようにどのように構成され得るかという実施形態を示すための概略ブロック図である。したがって、デバイス400は、前記オブジェクトモデルインスタンスを、画像中の前記撮像オブジェクトインスタンスと照合するためのものである。前記オブジェクトモデルインスタンスは、前記オブジェクトの前記オブジェクトモデルのインスタンスであり、前記照合は、画像中の撮像オブジェクトインスタンスとの照合のために、それぞれ、前記仮説変換を有するオブジェクトモデルインスタンスから始まる。照合は、前記それぞれのオブジェクトモデルインスタンスを、画像中の前記それぞれの撮像オブジェクトインスタンスとより正確に一致するように変換することに基づくオブジェクト照合である。

【0096】

デバイス400は、処理手段などの処理モジュール401、たとえば、プロセッサなどの1つもしくは複数の処理回路、回路構成を含む1つもしくは複数のハードウェアモジュール、ならびに/または前記方法および/もしくはアクションを実施するための1つもしくは複数のソフトウェアモジュールを備え得る。

【0097】

デバイス400は、コンピュータプログラム403を備え得る、たとえば含み得るか、または記憶し得るメモリ402をさらに備え得る。コンピュータプログラム403は、前記方法および/またはアクションを実施するようにデバイス400によって直接または間接的に実行可能な「命令」または「コード」を備える。メモリ402は、1つまたは複数のメモリユニットを備えてよく、さらに、本明細書における実施形態の機能およびアクションを実施することに関与するか、または実施するための構成、データおよび/または値のようなデータを記憶するように配列されてよい。

【0098】

その上、デバイス400は、例示のためのハードウェアモジュールとして、処理に関与し、たとえばデータを符号化する処理回路構成404を備えてよく、1つまたは複数のプロセッサまたは処理回路を備えるか、またはそれらに対応してよい。処理モジュール401は、処理回路構成404を備え、たとえば「その形で具現化され」または「それによって実現され」得る。これらの実施形態において、メモリ402は、処理回路構成404によって実行可能なコンピュータプログラム403を備えてよく、そうすることによってデバイス400は、前記方法および/またはアクションを実施するように動作可能であるか、または構成される。

【0099】

デバイス400、たとえば処理モジュール401は、他のデバイスとの間で情報を送り、かつ/または受信し、たとえば画像101、所定の情報を受信し、実施された照合からの結果を与えるなど、他のユニットおよび/またはデバイスとのどの通信にも、たとえば通信を実施することによって関与するように構成された入力/出力(I/O)モジュール405を備え得る。I/Oモジュール405は、適用可能なとき、取得たとえば受信モジュールおよび/または提供たとえば送付モジュールによって例示され得る。

【0100】

さらに、いくつかの実施形態では、デバイス400、たとえば処理モジュール401は、本明細書における実施形態のアクションを実践するための、例証ハードウェアおよび/またはソフトウェアモジュールとして、取得および実施モジュールのうちの1つまたは複数を備える。これらのモジュールは、処理回路構成404によって全体的または部分的に実装されてよい。

【0101】

したがって、
デバイス400、および/または処理モジュール401、および/または処理回路構成404、および/またはI/Oモジュール405、および/または取得モジュールは、撮像オブジェクトインスタンスが画像中で互いにどのように関連するかに関する前記所定の情報を取得するように動作可能であるか、または構成される。

【0102】

デバイス400、および/または処理モジュール401、および/または処理回路構成404、および/またはI/Oモジュール405、および/または実施モジュールは、前記取得された所定の情報を使って前記照合を実施するようにさらに動作可能であるか、または構成される。

【0103】

図5は、上で論じた前記デバイス400に、前記方法およびアクションを実施させるためのコンピュータプログラム、およびそれらのキャリアに関するいくつかの実施形態を示す概略図である。

【0104】

コンピュータプログラムはコンピュータプログラム403であってよく、処理回路構成404および/または処理モジュール401によって実行されると、デバイス400を上述したように実施させる命令を備える。いくつかの実施形態では、キャリア、またはより具体的にはデータキャリア、たとえばコンピュータプログラムを備えるコンピュータプログラム製品が提供される。キャリアは、電子信号、光信号、無線信号、およびコンピュータ可読記憶媒体、たとえば図に概略的に示すコンピュータ可読記憶媒体501のうちの1つであってよい。コンピュータプログラム403はしたがって、コンピュータ可読記憶媒体501上に記憶され得る。キャリアによって、一時的な伝搬信号が除外されてよく、データキャリアは相応的に、非一時的データキャリアと名づけられ得る。コンピュータ可読記憶媒体であるデータキャリアの非限定的例は、メモリカードもしくはメモリスティック、ディスク記憶媒体、または通常はハードドライブもしくは固体状態ドライブ(SSD)に基づく大容量記憶デバイスである。コンピュータ可読記憶媒体501は、コンピュータネットワーク502、たとえばインターネットまたはローカルエリアネットワーク(LAN)を介してアクセス可能なデータを記憶するために使われ得る。コンピュータプログラム403はさらに、純粋なコンピュータプログラムとして提供されるか、または1つのファイルもしくは複数のファイルに含まれてよい。1つのファイルまたは複数のファイルが、コンピュータ可読記憶媒体501上に記憶され、たとえばサーバを介した、図に示されるような、たとえばコンピュータネットワーク502を介した、たとえばダウンロードにより入手可能であり得る。サーバはたとえば、ウェブもしくはファイル転送プロトコル(FTP)サーバまたは同様のものであってよい。1つのファイルまたは複数のファイルはたとえば、たとえば処理回路構成404による実行によって、前記デバイスを上述したように実施させるための、前記デバイスへの直接または間接ダウンロードおよびそこでの実行のための実行可能ファイルであってよい。1つのファイルまたは複数のファイルは、同じくまたは代替的に、前記デバイス400を上述したように実施させるさらなるダウンロードおよび実行の前にファイルを実行可能にするために同じまたは別のプロセッサを伴う中間ダウンロードおよびコンパイル用であってよい。

【0105】

上で言及したどの処理モジュールおよび回路も、ソフトウェアおよび/またはハードウェアモジュールとして、たとえば既存のハードウェアで、および/または特定用途向け集積回路(ASIC)、フィールドプログラム可能ゲートアレイ(FPGA)などとして実装されてよいことに留意されたい。また、上で言及したどのハードウェアモジュールおよび/または回路も、たとえば、単一のASICもしくはFPGAに含まれるか、または個別にパッケージされるかシステムオンチップ(SoC)に組み立てられるかにかかわらず、いくつかの別個のハードウェア構成要素に分散されてよいことにも留意されたい。

【0106】

本明細書で論じるモジュールおよび回路構成は、ハードウェアモジュール、ソフトウェアモジュール、アナログおよびデジタル回路、ならびに/または、1つもしくは複数のプロセッサによって実行されると、デバイス、センサーなどを、上で記載した方法およびアクションを実施するように構成させ、かつ/もしくは実施させる、たとえばメモリに記憶されたソフトウェアおよび/もしくはファームウェアで構成された1つもしくは複数のプロセッサの組合せを指し得ることも、当業者には諒解されよう。

【0107】

本明細書におけるいかなる識別子による識別も、暗黙的または明示的であり得る。識別は、特定のコンテキストにおいて、たとえば特定のコンピュータプログラムまたはプログラム提供元に対して一意であり得る。

【0108】

本明細書で使用する「メモリ」という用語は、デジタル情報を記憶するためのデータメモリ、通常はハードディスク、磁気ストレージ、媒体、可搬型コンピュータディスケットまたはディスク、フラッシュメモリ、ランダムアクセスメモリ(RAM)などを指し得る。さらに、メモリは、プロセッサの内部レジスタメモリであってよい。

【0109】

また、第1のデバイス、第2のデバイス、第1の表面、第2の表面などのような、どの数え上げ用語も、非限定的なものとして見なされるべきであり、そのような用語は特定の階層関係を含意しないことにも留意されたい。反対にいかなる明示的情報もない場合、列挙による命名は、単に異なる名称を遂行するためのものと見なされるべきである。

【0110】

本明細書で使用する限り、「ように構成される」という表現は、処理回路が、ソフトウェアまたはハードウェア構成を用いて、本明細書に記載するアクションのうちの1つまたは複数を実施するように構成されるか、またはそうするように適合されることを意味し得る。

【0111】

本明細書で使用する「数」または「値」という用語は、2進数、実数、虚数または有理数などのような、どの種類の数字も指し得る。その上、「数」または「値」は、文字または文字列など、1つまたは複数のキャラクタであってよい。また、「数」または「値」はビット列によって表され得る。

【0112】

本明細書で使用する限り、「し得る(may)」および「いくつかの実施形態では」という表現は通常、記載した特徴が、本明細書で開示したどの他の実施形態とも組み合わされてよいことを示すために使われている。

【0113】

図面において、いくつかの実施形態のみに存在し得る特徴は通常、点線または破線を使って描かれる。

【0114】

「備える(comprise)」または「備える(comprising)」という単語を使うときは、非限定的であると解釈されるべきであり、すなわち「少なくとも～からなる」ことを意味する。

【0115】

本明細書における実施形態は、上で記載した実施形態に限定されない。様々な代替、修正および等価物が使われてよい。したがって、上記実施形態は、本開示の範囲を限定するものととられるべきでなく、本開示の範囲は、添付の請求項によって定義される。