特許 6168235 専用のベイヤ―カメラを有するカメラアレイ設計

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6168235

(24)【登録日】2017年7月7日

(45)【発行日】2017年7月26日

(54)【発明の名称】専用のベイヤ―カメラを有するカメラアレイ設計

(51)【国際特許分類】

   H04N 5/232 20060101AFI20170713BHJP

   H04N 5/369 20110101ALI20170713BHJP

   H04N 9/04 20060101ALI20170713BHJP

   H04N 9/07 20060101ALI20170713BHJP

【ＦＩ】

   H04N5/232 450

   H04N5/369

   H04N9/04 B

   H04N9/07 A

【請求項の数】13

【全頁数】10

(21)【出願番号】特願2016-530634(P2016-530634)

(86)(22)【出願日】2014年7月3日

(65)【公表番号】特表2016-528822(P2016-528822A)

(43)【公表日】2016年9月15日

(86)【国際出願番号】IB2014062810

(87)【国際公開番号】WO2015019209

(87)【国際公開日】20150212

【審査請求日】2016年1月27日

(31)【優先権主張番号】13/962,204

(32)【優先日】2013年8月8日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニー株式会社

(74)【代理人】

【識別番号】100095957

【弁理士】

【氏名又は名称】亀谷 美明

(74)【代理人】

【識別番号】100096389

【弁理士】

【氏名又は名称】金本 哲男

(74)【代理人】

【識別番号】100101557

【弁理士】

【氏名又は名称】萩原 康司

(74)【代理人】

【識別番号】100128587

【弁理士】

【氏名又は名称】松本 一騎

(72)【発明者】

【氏名】リナケル、ダニエル

(72)【発明者】

【氏名】エリ、ヨハンネス

(72)【発明者】

【氏名】グルタフソン、ヨーナス

(72)【発明者】

【氏名】ヴァルナルッソン、マッツ

【審査官】 佐藤 直樹

(56)【参考文献】

【文献】 米国特許出願公開第２０１２／０１８８４２２（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２００８／０１６５２５７（ＵＳ，Ａ１）

【文献】 特表２０１３−５２６８０１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ５／３６９

Ｈ０４Ｎ ９／０４

Ｈ０４Ｎ ９／０７

(57)【特許請求の範囲】

【請求項1】

カメラアレイを用いて画像を取得する方法であって、
カメラアレイを用いて画像を取得することと関連付けられたアプリケーションを決定することと、ここで、前記カメラアレイは単一の第１のセンサおよび複数の第２のセンサを含む格子状のセンサを有し、前記単一の第１のセンサは、少なくとも１の赤フィルタ、少なくとも１の緑フィルタおよび少なくとも１の青フィルタを含むベイヤ―フィルタを含み、前記第２のセンサの各々は赤フィルタ、緑フィルタまたは青フィルタを有し、
前記画像の取得に先立って、（１）前記画像が所定の解像度以上の第１の解像度を有すること、および（２）前記画像に関連付けられた深度情報、を前記アプリケーションが要求するかを判断することと、
（１）前記画像が所定の解像度以上の第１の解像度を有すること、および（２）前記深度情報を、前記アプリケーションが要求しないという判断に応じて、前記第１のセンサを有効化し、前記複数の第２のセンサを非有効化し、前記ベイヤ―フィルタを含む前記単一の第１のセンサを用いて前記画像を取得することと、
を含む、方法。

【請求項2】

前記アプリケーションは、動画記録アプリケーションを含む、請求項１に記載の方法。

【請求項3】

前記アプリケーションは、カメラプレビューアプリケーションを含む、請求項１に記載の方法。

【請求項4】

前記少なくとも１つの第２のセンサを非有効化することは、前記少なくとも１つの第２のセンサに関連する少なくとも１つの電源ソースを非有効化することを含む、請求項１に記載の方法。

【請求項5】

（１）前記画像が所定の解像度以上の第１の解像度を有すること、および（２）前記深度情報を、前記アプリケーションが要求しないという判断に応じて、前記複数の第２のセンサを有効化し、前記複数の第２のセンサを用いて前記画像を取得することをさらに含む、請求項１に記載の方法。

【請求項6】

（１）前記画像が所定の解像度以上の第１の解像度を有すること、および（２）前記深度情報を、前記アプリケーションが要求しないという判断に応じて、前記単一の第１のセンサを非有効化することをさらに含む、請求項５に記載の方法。

【請求項7】

前記単一の第１のセンサは前記格子状の実質的に中央付近に位置する、請求項１に記載の方法。

【請求項8】

前記単一の第１のセンサは前記格子状のエッジ付近に位置する、請求項１に記載の方法。

【請求項9】

前記単一の第１のセンサの前記少なくとも１の赤フィルタ、前記少なくとも１の緑フィルタおよび前記少なくとも１の青フィルタは、第２の格子状に設けられる、請求項１に記載の方法。

【請求項10】

前記アプリケーションは、前記カメラアレイのユーザにより決定される、請求項１に記載の方法。

【請求項11】

前記単一の第１のセンサを有効化することは、前記単一の第１のセンサに関連する電源ソースを有効化することを含む、請求項１に記載の方法。

【請求項12】

画像を取得する装置であって、
メモリと、
前記メモリと通信可能なプロセッサと、
少なくとも１の赤フィルタ、少なくとも１の緑フィルタおよび少なくとも１の青フィルタを含むベイヤフィルターを含む単一の第１のセンサ、
赤フィルタ、緑フィルタおよび青フィルタのいずれかを含む複数の第２のセンサ、および、
前記メモリに格納され、前記プロセッサにより実行されるモジュールであって、
前記画像の取得に先立って、（１）前記画像が所定の解像度以上の第１の解像度を有すること、および（２）前記画像に関連付けられた深度情報、を前記画像の取得に関連付けられたアプリケーションが要求するかを判断し、
（１）前記画像が所定の解像度以上の第１の解像度を有すること、および（２）前記深度情報を、前記アプリケーションが要求しないという判断に応じて、前記第１のセンサを有効化し、前記複数の第２のセンサを非有効化し、前記ベイヤ―フィルタを含む前記単一の第１のセンサを用いて前記画像を取得する、ように構成されたモジュール、
を有する、格子状のセンサからなり、前記プロセッサと通信可能なカメラアレイと、
を備える、装置。

【請求項13】

カメラアレイを用いて画像を取得するためのコードのセットを含むコンピュータ読み取り可能な非一時的な記憶媒体であって、前記コードのセットは、
コンピュータに、
カメラアレイを用いて画像を取得することと関連付けられたアプリケーションを決定し、ここで、前記カメラアレイは単一の第１のセンサおよび少なくとも複数の第２のセンサを含む格子状のセンサを有し、前記単一の第１のセンサは、少なくとも１の赤フィルタ、少なくとも１の緑フィルタおよび少なくとも１の青フィルタを含むベイヤ―フィルタを含み、前記第２のセンサの各々は赤フィルタ、緑フィルタまたは青フィルタを有し、
前記画像の取得に先立って、（１）前記画像が所定の解像度以上の第１の解像度を有すること、および（２）前記画像に関連付けられた深度情報、を前記アプリケーションが要求するかを判断し、
（１）前記画像が所定の解像度以上の第１の解像度を有すること、および（２）前記深度情報を、前記アプリケーションが要求しないという判断に応じて、前記単一の第１のセンサを有効化し、前記複数の第２のセンサを非有効化し、前記ベイヤ―フィルタを含む前記単一の第１のセンサを用いて前記画像を取得させる、記憶媒体。

【発明の詳細な説明】

【背景技術】

【0001】

カメラアレイが用いられるアプリケーションに基づくカメラアレイの計算負荷および消費電力を減らす必要があった。

【発明の概要】

【0002】

本発明の実施形態は、カメラアレイを用いて画像を取得するシステム、方法およびコンピュータプログラムプロダクトを対象とする。方法は、カメラアレイを用いて画像を取得することと関連付けられたアプリケーションを決定することと、ここで、前記カメラアレイは第１のセンサおよび少なくとも１つの第２のセンサを有し、前記第１のセンサは、赤フィルタ、緑フィルタおよび青フィルタを有し、前記第２のセンサの各々は赤フィルタ、緑フィルタまたは青フィルタを有し、前記画像が所定の解像度以上の第１の解像度を有することを前記アプリケーションが要求するかを判断することと、前記画像に関連付けられた深度情報を前記アプリケーションが要求するかを判断することと、前記画像が所定の解像度以上の第１の解像度を有すること前記アプリケーションが要求しないという判断、および前記深度情報を前記アプリケーションが要求しないという判断に応じて、前記第１のセンサを有効化し、前記第１のセンサを用いて前記画像を取得することと、を含む。

【0003】

ある実施形態では、前記方法は、前記画像が所定の解像度以上の第１の解像度を有すること前記アプリケーションが要求しないという判断、および前記深度情報を前記アプリケーションが要求しないという判断に応じて、さらに、前記少なくとも１つの第２のセンサを非有効化することを含む。

【0004】

ある実施形態では、前記少なくとも１つの第２のセンサを非有効化することは、前記少なくとも１つの第２のセンサに関連する少なくとも１つの電源ソースを非有効化することを含む。

【0005】

ある実施形態では、前記方法は、前記画像が所定の解像度以上の第１の解像度を有すること前記アプリケーションが要求するという判断、および前記深度情報を前記アプリケーションが要求するという判断に応じて、前記少なくとも１つの第２のセンサを有効化し、前記少なくとも１つの第２のセンサを用いて前記画像を取得することをさらに含む。

【0006】

ある実施形態では、前記方法は、前記画像が所定の解像度以上の第１の解像度を有すること前記アプリケーションが要求するという判断、および前記深度情報を前記アプリケーションが要求するという判断に応じて、前記第１のセンサを非有効化することをさらに含む。

【0007】

ある実施形態では、前記カメラアレイは、格子状に位置する複数のカメラを含む。

【0008】

ある実施形態では、前記第１のカメラは前記格子状の実質的に中央付近に位置する。

【0009】

ある実施形態では、前記第１のカメラは前記格子状のエッジ付近に位置する。

【0010】

ある実施形態では、前記赤フィルタ、緑フィルタおよび青フィルタは、ベイヤ―フィルタを含む。

【0011】

ある実施形態では、前記赤フィルタ、緑フィルタおよび青フィルタは、第２の格子状に設けられる。

【0012】

ある実施形態では、前記アプリケーションは、前記カメラアレイのユーザにより決定される。

【0013】

ある実施形態では、前記方法は、前記第１のセンサに関連する電源ソースを有効化することを含む前記第１のセンサを有効化することを含む。

【0014】

ある実施形態では、画像を取得する装置が提供される。前記装置は、赤フィルタ、緑フィルタおよび青フィルタを有する第１のセンサ、および赤フィルタ、緑フィルタまたは青フィルタを含む少なくとも１つの第２のセンサを含む格子状のセンサからなるカメラアレイを備える。

【0015】

ある実施形態では、前記装置は、メモリと、プロセッサと、前記メモリに格納され、前記プロセッサにより実行されるモジュールであって、カメラアレイを用いて画像を取得することと関連付けられたアプリケーションを決定し、前記画像が所定の解像度以上の第１の解像度を有することを前記アプリケーションが要求するかを判断し、前記画像に関連付けられた深度情報を前記アプリケーションが要求するかを判断し、前記画像が所定の解像度以上の第１の解像度を有すること前記アプリケーションが要求しないという判断、および前記深度情報を前記アプリケーションが要求しないという判断に応じて、前記第１のセンサを有効化し、前記第１のセンサを用いて前記画像を取得する、ように構成されるモジュールと、をさらに備える。

【0016】

ある実施形態では、カメラアレイを用いて画像を取得するためのコンピュータプログラムプロダクトが提供される。前記コンピュータプログラムプロダクトは、コンピュータに、カメラアレイを用いて画像を取得することと関連付けられたアプリケーションを決定し、ここで、前記カメラアレイは第１のセンサおよび少なくとも１つの第２のセンサを有し、前記第１のセンサは、赤フィルタ、緑フィルタおよび青フィルタを有し、前記第２のセンサの各々は赤フィルタ、緑フィルタまたは青フィルタを有し、前記画像が所定の解像度以上の第１の解像度を有することを前記アプリケーションが要求するかを判断し、前記画像に関連付けられた深度情報を前記アプリケーションが要求するかを判断し、前記画像が所定の解像度以上の第１の解像度を有すること前記アプリケーションが要求しないという判断、および前記深度情報を前記アプリケーションが要求しないという判断に応じて、前記第１のセンサを有効化し、前記第１のセンサを用いて前記画像を取得させる、ためのコードのセットを含むコンピュータ読み取り可能な非一時的な記憶媒体を備える。

【図面の簡単な説明】

【0017】

本発明の実施形態は概略的に説明され、ここで添付図面への言及がされる。

【図1】図１は、本発明の実施形態に従う、カメラアレイを用いて画像を取得する例示的な処理フローである。

【図2】図２は、本発明の実施形態に従う、カメラアレイにおける例示的な格子状のカメラおよび例示的なベイヤーフィルタを示す。

【発明を実施するための形態】

【0018】

本発明の実施形態は、添付の図面を参照して、以降により充分に説明される。幾つかの、しかし全てではない、本発明の実施形態が示される。実際、本発明は多様な形態で実施され得て、以降に説明される実施形態に限定されると解釈されるべきではない。むしろ、これらの実施形態は、本開示が法的な出願要求を満たすように提供される。至る場所で、同じ番号は同じ要素を参照する。

【0019】

本発明の実施形態は、画像の取得または生成プロセスにおいて高解像度キャパシティ（例えば、所定の解像度以上の解像度）または深度情報が求められないアプリケーションの計算負荷を減らすための、カメラアレイにおいて専用ベイヤ―カメラ（例えば、単一の専用ベイヤ―カメラ）を用いる、システム、方法およびコンピュータプログラムプロダクトを対象とする。

【0020】

典型的なカメラアレイは、格子状（例えば、四辺形格子）に配置された幾つかの低解像度カメラ（またはセンサ）を備える。ここでは、低解像度カメラは、所定の解像度未満の解像度で画像を取得するカメラである。格子状のカメラにおける各カメラは、異なる角度から実質的に同時に画像を取得し得る。代替の実施形態において、各カメラは異なる時間に画像を取得してもよい。さらに、各カメラは、単一色フィルタ（例えば、赤、緑または青フィルタ）を用いて画像を取得する。画像に関連付けられた深度情報を判断する機能（視差キャリブレーション）、または、赤、緑および青画像の各々を補間することにより最終画像の解像度を向上する機能を用いて、各カメラにより取得された画像が共に編集される場合、高解像度ＲＧＢ（赤緑青）画像が得られる。これらの機能は、カメラアレイを用いた画像の取得の後または実質的に同時のいずれにおいても実行され得る。これらの機能は、カメラアレイまたはカメラアレイと通信する他の演算装置によって実行され得る。画像に関連する深度情報の判断の機能および画像の解像度を増加させる機能の計算負荷および電力消費は高い（例えば、所定の計算負荷レベルおよび／または電力消費レベル以上）。

【0021】

画像の中のオブジェクトに関連する深度情報を判断する機能、および画像の解像度を向上する機能は、幾つかのアプリケーション（例えば、プレビューアプリケーション、動画記録アプリケーションなど）では要求されない。このため、カメラアレイが用いられるアプリケーションのタイプに基づいてこれらの機能を選択的に有効化するカメラアレイが求められる。

【0022】

ここで図１を参照すると、図１は、カメラアレイを用いて画像を取得する処理フロー１００を示す。図１に示された多様なブロックは、図１に示されたものと異なる順序で実行されてもよい。ブロック１００で、処理フローは、カメラアレイを用いて画像を取得することと関連付けられたアプリケーションを決定することを含み、ここで、カメラアレイは第１のセンサおよび少なくとも１つの第２のセンサを有し、第１のセンサは、赤フィルタ、緑フィルタおよび青フィルタを有し、第２のセンサの各々は赤フィルタ、緑フィルタまたは青フィルタを有する。ブロック１２０で、処理フローは、画像が所定の解像度（高解像度）以上の第１の解像度を有することをアプリケーションが要求するかを判断することを含む。ブロック１３０で、処理フローは、画像に関連付けられた深度情報を前記アプリケーションが要求するかを判断することを含む。ブロック１４０で、処理フローは、画像が所定の解像度以上の第１の解像度を有することを前記アプリケーションが要求しないという判断、および深度情報を前記アプリケーションが要求しないという判断に応じて、第１のセンサを有効化し、第１のセンサを用いて前記画像を取得することを含む。

【0023】

本発明の実施形態によれば、カメラアレイは、図２に示したように格子状のカメラ２００を備えてもよい。格子状のカメラ２００からのカメラは、個別の赤、緑または青フィルタではなく、ＲＧＢカラーフィルタを用いて画像を取得し得る。このカメラは、第１のカメラまたはベイヤ―カメラとして称され得る。一方、ある実施形態ではアレイカメラは第１のカメラを有するが、他の実施形態ではアレイカメラは２以上の第１のカメラを有してもよい。第１のカメラは、格子状の中央に近いカメラ（例えば、カメラ２１０）または格子状のエッジに近いカメラ（例えば、カメラ２２０）であってもよい。格子状のカメラ２００の残りカメラは、単一色（例えば、赤、緑、または青）に関連するフィルタを有してもよい。残りのカメラは、第２のカメラとして称され得る。

【0024】

第１のカメラは、動画記録またはカメラプレビューの目的のために有効化される。カメラアレイが長期に渡る動画記録（例えば、少なくとも所定期間の動画記録）およびカメラプレビューに用いられる場合、第１のカメラは、単独または組み合わせで、第２のカメラと比較して少ない電力を消費する（例えば、少ない熱を生成する）。このため、カメラアレイは、許容可能なフレームレート（例えば、所定のフレームレート以上のフレームレート）で動画を記録することができる。

【0025】

ここで、動画記録はカメラアレイを用いる記録処理に属する。ここで、カメラプレビューは、カメラアレイにより画像が取得される前に画像（例えば、スチール画像）のユーザへのプレビューを有効化する処理に属する。

【0026】

また、図２は、第１のカメラに用いられる例示的なベイヤーフィルタ２５０を示す。フィルタ２５１、２５３、２５９および２６１は青フィルタである。フィルタ２５２、２５４、２５５、２５７、２６０、２６２、２６３および２６５は緑フィルタである。フィルタ２５６、２５８，２６４および２６６は赤フィルタである。カメラが単一色フィルタを用いて画像を取得する場合、取得された画像はフィルタと同じ色を有するであろう。カメラがベイヤーフィルタを用いて画像を取得した場合、取得された画像は多色になるであろう。

【0027】

高解像度の最終画像が必要（例えば、高解像度のスチール画像）または最終画像のオブジェクトに関連する深度情報が必要なアプリケーションについて、第２のカメラが有効化され、各画像を取得するために用いられる。これらの各画像は、最終画像を生成するために処理され得る（例えば、１または２以上の信号処理機能を利用して）。このようなアプリケーションに関し、第１のカメラは非有効化され、画像の取得に用いられなくてもよい。しかし、他の実施形態では、第１のカメラは、第２のカメラに加えて有効化され、画像の取得に用いられてもよい。

【0028】

高解像度の最終画像が必要でないアプリケーション（例えば、画像プレビューおよび動画記録）および最終画像のオブジェクトに関連する深度情報が必要でなアプリケーションについては、第１のカメラが有効化され、画像の取得に用いられる。この取得された画像は、最終画像の生成のために処理されてもよい（例えば、１または２以上の信号処理機能）。このような実施形態では、第２のカメラは非有効化され、画像の取得に用いられない。高解像度の最終画像および／または深度情報が求められないアプリケーションについての最終画像の生成のための電力および計算負荷は、高解像度画像および／または深度情報が求められるアプリケーションについての最終画像の生成のための電力および計算負荷よりも低い。

【0029】

ある実施形態では、画像の取得に先立ち、カメラアレイは、画像が取得されるアプリケーションのタイプを決定する。そして、カメラアレイは、アプリケーションのタイプに基づいて第１のカメラおよび／または第２のカメラを有効化する。画像が取得されるアプリケーションのタイプをカメラアレイが決定できない実施形態では、カメラアレイは、画像が取得されるアプリケーションのタイプの特定をユーザに促してもよい（例えば、カメラアレイと通信するディスプレイを介して）。ある実施形態では、ユーザは、第１のカメラおよび／または第２のカメラを有効化または非有効化することができる。

【0030】

ある代替の実施形態では、第１のカメラは第２のカメラの１つとしてもまた機能し得る。すなわち、第１のカメラは、ベイヤーフィルタでなく、赤、緑または青フィルタを用いて画像を取得してもよい。他の代替の実施形態では、第２のカメラの各々は、第１のカメラとして機能し得る。すなわち、第２のカメラの各々は、個別の赤、緑または青フィルタでなく、ベイヤーフィルタを用いて画像を取得してもよい。このため、そのような実施形態では、カメラアレイの各カメラは、画像が取得されるアプリケーションのタイプに基づいてベイヤ―フィルタが単一色フィルタに、またはその逆に交換され得る交換可能なフィルタを含んでもよい。従って、画像が取得されるアプリケーションのタイプをカメラアレイが一度決定すると、カメラアレイは、格子状のカメラの各カメラの現在のフィルタを判断し、アプリケーションに求められる各カメラのフィルタのタイプを判断し、各カメラの現在のフィルタを交換するか否かを判断する。

【0031】

ある実施形態では、カメラアレイは、多様な処理、機能またはここで説明されたアプリケーションを実行する計算装置プロセッサおよびメモリを有する独立した装置であってもよい。メモリは、ここで説明された多様な所定の値を記憶するために用いられてもよい。他の実施形態では、カメラアレイは、計算装置（例えば、携帯電話、タブレット計算装置、ラップトップコンピュータ、時計など）の一部であってもよい。ここで、センサは、カメラまたは画像取得装置と称され得る。

【0032】

本発明の多様な実施形態が正に上述されたが、本発明は、多様な形態で実施され得て、ここで説明された実施形態に限定されると解釈されるべきでない。むしろ、これらの実施形態は、本開示が法的な出願要求を満たすように提供される。また、可能であれば、ここで説明されたおよび／または予期される本発明のいずれの実施形態のどのような利点、特徴、機能、装置および／または動作観点は、ここで説明された／または予期される本発明の他の実施形態に含まれ得ること、および／またはその逆もあることが理解される。さらに、可能であれば、ここで単数形で表現された全ての表現は、他の明示的な記載がない限り、複数形および／またはその逆を含むことを意味する。ここで、「少なくとも１つの」は、「１または２以上の」を意味し、これらのフレーズは互いに代替可能であることを意図している。したがって、「ａ」、および／または「ａｎ」は、「１または２以上の」または「少なくとも１つの」というフレーズがまたここで用いられていても、「少なくとも１つの」または「１または２以上の」を意味するものである。至る場所で、同じ番号は同じ要素を参照する。

【0033】

本開示を考慮してある当業者により理解されるように、本発明は、装置（例えば、システム、マシン、装置、コンピュータプログラムプロダクトおよび／または同類のものを含む）、方法（例えば、ビジネス方法、コンピュータ実行処理および／または同類のものを含む）、または前述のいずれの組合わせ、を含んでもよい、および／または、として実現されてもよい。従って、本発明の実施形態は、もっぱらビジネス方法実施形態、もっぱらソフトウェア実施形態（ファームウェア、常駐ソフトウェア、マイクロコード、データベースに格納された手順などを含む）、もっぱらハードウェア実施形態、または、典型定期にはシステムとここで称され得るビジネス方法、ソフトウェアおよびハードウェアの組合わせの実施形態の態様をとりえる。さらに、本発明の実施形態は、１または２以上のコンピュータ実行可能なプログラムコード部分を記憶するコンピュータ読み取り可能な記憶媒体を含むコンピュータプログラムプロダクトの態様をとってもよい。ここで、１または２以上のプロセッサを含み得るプロセッサは、多様な方法で所定の機能を実行するように構成されてもよく、例えば、コンピュータ読み取り可能な媒体に実現された１または２以上のコンピュータ実行可能プログラムコード部分を１または２以上の汎用回路に実行させること、および／または、１または２以上の特定用途向け集積回路に機能を実行させることを含む。

【0034】

適切などのようなコンピュータ読み取り可能な媒体も使用され得ることを理解されたい。コンピュータ読み取り可能な媒体は、具体的な電気的、磁気的、光学的、電磁気的、赤外線、および／または半導体システム、装置および／または他の装置のような、非一時的コンピュータ読み取り可能な媒体を含むが、これに限定されない。例えば、ある実施形態では、非一時的コンピュータ読み取り可能な媒体は、ポータブルフロッピーディスク、ハードディスク、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭまたはフラッシュメモリ、ＣＤ−ＲＯＭ、および／または他の幾つかの触れられる光学および／または磁気記憶装置のような触れられる媒体を含む。しかし、本発明の他の実施形態では、コンピュータ読み取り可能な媒体は、例えばコンピュータ実行可能なプログラムコード部分が実現される伝播信号のように、一時的であってもよい。

【0035】

本発明の動作を実行するための１または２以上のコンピュータ実行可能なプログラムコード部分は、Java、Perl、Smalltalk、C++、SAS、SQL、Python、Objective、C、JavaScriptおよび／またはその同種のもののような、オブジェクト指向、スクリプト、および／またはアンスクリプトプログラム言語を含んでもよい。ある実施形態では、本発明の動作を実行するための１または２以上のコンピュータ実行可能なプログラムコード部分は、Ｃ言語および／または類似のプログラミング言語のような、慣用の手順プログラミング言語により書かれてもよい。コンピュータプログラムは、代替的におよび／または追加的に、例えばＦ＃のような、１または２以上のマルチパラダイムプログラミング言語で書かれてもよい。

【0036】

本発明の幾つかの実施形態は、フローチャート図および／または、装置および／または方法のブロック図を参照してここで説明された。フローチャート図および／またはブロック図に含まれる各ブロック、および／または、フローチャート図および／またはブロック図に含まれるブロックの組合わせは、１または２以上のコンピュータ実行可能なプログラムコード部分により実現され得ることを理解されたい。これらの１または２以上のコンピュータ実行可能なプログラムコード部分は、コンピュータおよび／または他のプログラミング可能なデータ処理装置を介して実行する１または２以上のコンピュータ実行可能なプログラムコード部分が、フローチャートおよび／またはブロック図により示されたステップおよび／または機能を実施するためのメカニズムを作り出すように、汎用コンピュータ、特定用途コンピュータ、および／または他の幾つかのプログラミング可能なデータ処理装置のプロセッサに提供され得る。

【0037】

１または２以上のコンピュータ実行可能なプログラムコード部分は、一時的および／または非一時的コンピュータ読み取り可能な媒体（例えば、メモリなど）に記憶されてもよい。それは、コンピュータ読み取り可能な媒体に記憶されたコンピュータ実行可能なプログラムコード部分が、フローチャートおよび／またはブロック図において特定されたステップおよび／または機能を実現する指示メカニズムを含む製品を作り出すように、コンピュータおよび／または他のプログラミング可能なデータ処理装置が特定の方法で機能するよう、指示、命令および/または引き起こさせることができる。

【0038】

１または２以上のコンピュータ実行可能なプログラムコード部分はまた、コンピュータおよび／または他のプログラミング可能な装置において一連の動作ステップが実行されるように、コンピュータおよび／または他のプログラミング可能なデータ処理装置にロードされ得る。ある実施形態では、コンピュータおよび／または他のプログラミング可能な装置上で実行する１または２以上のコンピュータ実行可能なプログラムコード部分がフローチャートおよび／またはブロック図において特定されたステップを実行する動作ステップを提供するように、これはコンピュータ実装手順を作り出す。代わりに、コンピュータ実装ステップは、本発明の実施形態を実行するために、オペレータおよび/または人間実施ステップと組み合わせられても、および／または、置き変えられてもよい。

【0039】

ある例示的な実施形態が説明され添付の図面に示されたが、これらの実施形態は、広範な本発明の単なる実例であり、限定で無く、上述の段落で説明されたものに加え、多様な変形、組み合わせ、省略、修正および代用が可能であるので、本発明は説明または示された特定の構成および配置に限定されないことを理解されたい。説明された実施形態の多様な適用、修正、および組み合わせが本発明の範囲および精神から離れずに構成可能であることを当業者は理解するであろう。従って、本発明は、ここで具体的に説明された以外の添付の請求項の範囲内において実施され得る。

【図1】

【図2】