特許 6640992 アンカー・フレームに基づくマルチフレーム画像を修正するための方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6640992

(24)【登録日】2020年1月7日

(45)【発行日】2020年2月5日

(54)【発明の名称】アンカー・フレームに基づくマルチフレーム画像を修正するための方法および装置

(51)【国際特許分類】

   H04N 9/73 20060101AFI20200127BHJP

   H04N 1/60 20060101ALI20200127BHJP

   G06T 1/00 20060101ALI20200127BHJP

【ＦＩ】

   H04N9/73 B

   H04N1/60 750

   G06T1/00 280

【請求項の数】11

【全頁数】17

(21)【出願番号】特願2018-510827(P2018-510827)

(86)(22)【出願日】2016年8月23日

(65)【公表番号】特表2018-533858(P2018-533858A)

(43)【公表日】2018年11月15日

(86)【国際出願番号】IB2016055018

(87)【国際公開番号】WO2017033124

(87)【国際公開日】20170302

【審査請求日】2018年4月25日

(31)【優先権主張番号】14/837,061

(32)【優先日】2015年8月27日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】515076873

【氏名又は名称】ノキア テクノロジーズ オサケユイチア

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100141162

【弁理士】

【氏名又は名称】森 啓

(74)【代理人】

【識別番号】100196829

【弁理士】

【氏名又は名称】中澤 言一

(72)【発明者】

【氏名】ベルダンディ ムニンデール

(72)【発明者】

【氏名】ダニエル バケーロ

【審査官】 西谷 憲人

(56)【参考文献】

【文献】 特開２００２−０２７４４８（ＪＰ，Ａ）

【文献】 特開２００４−３１０４９９（ＪＰ，Ａ）

【文献】 特開２００２−３２４２３５（ＪＰ，Ａ）

【文献】 特開２００７−３２９５５５（ＪＰ，Ａ）

【文献】 特開２００９−００４９６６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００４／００１７５５０（ＵＳ，Ａ１）

【文献】 国際公開第２０１５／０６４０９５（ＷＯ，Ａ１）

【文献】 特開２００７−３１１９７０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ９／７３

Ｇ０６Ｔ １／００

Ｈ０４Ｎ １／６０

(57)【特許請求の範囲】

【請求項1】

マルチフレーム画像内の１つ以上の第１のアンカー・フレームを決定するステップと、
前記マルチフレーム画像に対するユーザの視線方向を決定するステップと、
前記ユーザの視線方向に基づいて、少なくとも１つの第２のアンカー・フレームを識別するステップと、
前記１つ以上の第１のアンカー・フレームおよび前記少なくとも１つの第２のアンカー・フレームに基づいて、前記視線方向に関するフレームの１つ以上の色調変更パラメータを決定するステップと、
前記１つ以上の色調変更パラメータに基づいて複数の修正されたフレームをプロセッサで生成するステップと、
を含む方法であって、
前記マルチフレーム画像内の前記１つ以上の第１のアンカー・フレームを決定するステップは、
複数の画像を受信するステップと、
１つ以上の画像特性における類似性に基づいて、前記複数の画像を複数のサブセットに分類するステップと、を含む、
方法。

【請求項2】

前記複数の画像を前記複数のサブセットに分類するステップは、
前記複数の画像によって規定される複数の色補正マトリクスまたは複数の自動ホワイトバランスパラメータを分析するステップと、
前記複数の色補正マトリクスまたは前記複数の自動ホワイトバランスパラメータに基づいて、前記複数の画像を前記複数のサブセットにクラスタリングするステップと、
各クラスタからのそれぞれの画像を第１のアンカー・フレームと識別するステップと、を含む、
請求項１に記載の方法。

【請求項3】

前記１つ以上の色調変更パラメータに基づいて前記複数の修正されたフレームを生成するステップは、前記複数の修正されたフレームを、ヘッドマウント・ディスプレイ装置によって表示させるステップを含む、請求項１に記載の方法。

【請求項4】

前記複数の画像を受信するステップは、所定の焦点に関して複数の方向で取り込まれた１つ以上の画像を受け取るステップと、
パノラマ画像の形態の前記マルチフレーム画像を形成するために前記１つ以上の画像を組み合わせるステップと、を含み、
前記１つ以上の第１のアンカー・フレームおよび前記少なくとも１つの第２のアンカー・フレームは、前記マルチフレーム画像の異なる画像である、
請求項１に記載の方法。

【請求項5】

前記ユーザの視線方向に基づいて視線方向範囲を定義するステップと、
前記視線方向範囲の左側および右側のそれぞれに、少なくとも１つの第１のアンカー・フレームを選択するステップと、を更に含み、
前記少なくとも１つの第２のアンカー・フレームを識別するステップは、前記視線方向範囲内に位置する前記少なくとも１つの第２のアンカー・フレームを選択することを含む、
請求項１に記載の方法。

【請求項6】

前記視線方向範囲内に位置する前記少なくとも１つの第２のアンカー・フレームを選択するステップは、前記視線方向範囲の中央部分において前記少なくとも１つの第２のアンカー・フレームを選択することを含む、請求項５に記載の方法。

【請求項7】

前記１つ以上の色調変更パラメータを決定するステップは、前記視線方向範囲内の前記少なくとも１つの第２のアンカー・フレームおよび前記少なくとも１つの第２のアンカー・フレームからそれぞれのフレームの左側または右側にある前記第１のアンカー・フレームに基づいて前記視線方向範囲内の前記それぞれのフレームの前記１つ以上の色調変更パラメータを決定するステップを含む、
請求項５に記載の方法。

【請求項8】

前記視線方向に関連する前記１つ以上の色調変更パラメータを計算するステップは、前記１つ以上の第１のアンカー・フレームおよび少なくとも１つの第２のアンカー・フレームに、それぞれ、複数のウェイト寄与係数を動的に割り当てるステップを含む、
請求項１に記載の方法。

【請求項9】

マルチフレーム画像内の１つ以上の第１のアンカー・フレームを決定する手段と、
前記マルチフレーム画像に対するユーザの視線方向を決定する手段と、
前記ユーザの視線方向に基づいて少なくとも１つの第２のアンカー・フレームを識別する手段と、
前記１つ以上の第１のアンカー・フレームおよび前記少なくとも１つの第２のアンカー・フレームに基づいて、前記視線方向に関するフレームの１つ以上の色調変更パラメータを決定する手段と、
前記１つ以上の色調変更パラメータに基づいて複数の修正されたフレームを生成する手段と
を備える装置であって、
前記マルチフレーム画像内の前記１つ以上の第１のアンカー・フレームを決定する手段は、
複数の画像を受信する手段と、
１つ以上の画像特性における類似性に基づいて、前記複数の画像を複数のサブセットに分類する手段と、を含む、
装置。

【請求項10】

処理手段とメモリ手段とを備える装置であって、該メモリ手段は、該装置に、該処理手段の上で動作するときに、請求項１ないし８のいずれか１項に記載の方法を実行させるように構成されるプログラム命令を格納する、装置。

【請求項11】

装置に、該装置の処理手段の上で動作するときに、請求項１ないし８のいずれか１項に記載の方法を実行させるように構成されるプログラム命令を含むコンピュータ・プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願の例示的な実施形態は、概してコンテンツを変更することに関し、より詳細には、その中で識別されたアンカー・フレームに基づいて、マルチフレーム画像を修正するための方法および装置に関する。

【背景技術】

【0002】

パノラマ画像は、様々な目的のために生成することができる。休暇先のパノラマ画像、景色のよい場所、またはイベントのような個人的楽しみのために作成されたパノラマ画像に加えて、パノラマ画像は、ビデオゲーム、または、仮想現実または拡張現実アプリケーションを含む他の視覚的に没入型技術によって利用され得る。パノラマ画像は様々な方法で提示することができるが、ヘッドマウント・ディスプレイ・ヘッドセット、立体ゴーグル、スマートフォン、ポータブル・ビデオ・ゲーム・プレイヤーなどは、パノラマ画像を表示するように構成することができる。

【0003】

パノラマ画像は、パノラマ画像を形成するために結合され、互いに縫い合わされる、異なる視線方向から取り込まれた複数の画像から生成することができる。複数の個々の画像の組み合わせでパノラマ画像を形成するために、パノラマ画像は一様に見えず、その代わりに、個々の画像の異なる画像特性によりパノラマ画像を構成する個々の画像を容易に区別することができる。そのように、パノラマ画像を含む全ての画像の全体的な色調補正のための画像修正システムが開発されている。パノラマ画像の個々の画像を混合するのに有用であるが、これらのシステムは、画像パラメータの局所的な変動を低減または排除する傾向があるが、それは、現実の世界に存在し、パノラマ画像において、望ましく維持されるが、しかし、色調が異なるために、不均一な色調変動および目に見える視覚的縫い目が生じる。

【発明の概要】

【0004】

パノラマ画像などのマルチフレーム画像のフレームを修正するため、画像パラメータ内において、少なくともある程度の局部的な変化を保存しながらフレームをブレンドするための方法、装置およびコンピュータ・プログラム製品が、例示的な実施形態にしたがって提供される。このように、ユーザによって見られるパノラマ画像のフレームのサブセットの画像パラメータは、より局所化された画像パラメータのセットに基づいて修正することができ、それによって、局所化されたバリエーションを保存しながらフレームをブレンドする役割を果たす。そのようなものとして、任意の時点でヘッドマウント・ディスプレイ装置のコンテキストに適用されるとき、３６０°ビューのサブセットであるローカル・コンテンツのみをユーザが見ることができるような局所化されたバリエーションのために目視体験が強化され得る。

【0005】

例示的な実施形態において、マルチフレーム画像内の１つ以上の第１のアンカー・フレームを決定することを含む方法が提供される。この例示的な実施形態の方法はまた、マルチフレーム画像に対するユーザの視線方向を決定することを含む。この例示的な実施形態の方法はまた、ユーザの視線方向に基づいて少なくとも１つの第２のアンカー・フレームを識別することを含む。この例示的な実施形態の方法はまた、１つ以上の第１のアンカー・フレームおよび少なくとも１つの第２のアンカー・フレームに基づいて、視線方向に関するフレームの１つ以上の色調変更パラメータを決定することを含む。このように、複数の修正されたフレームなどの画像コンテンツは、１つ以上の色調修正パラメータに基づいて生成することができる。

【0006】

例示的な実施形態の方法は、複数の画像を受信することによって、および、１つ以上の画像特性における類似性に基づいて複数の画像を複数のサブセットに分類することによって、マルチフレーム画像内の１つ以上の第１のアンカー・フレームを決定することができる。例示的な実施形態の方法はまた、複数の色補正マトリクスまたは複数の画像によって定義される複数の自動ホワイト・バランス・パラメータを分析することによって、複数の色補正マトリクスまたは複数の自動ホワイト・バランス・パラメータに基づいて複数の画像を複数のサブセットにクラスタリングすることによって、および、各クラスタからのそれぞれの画像を第１のアンカー・フレームと識別することによって、複数の画像を複数のサブセットに分類することを含むことができる。例示的な実施形態では、１つ以上の色調修正パラメータに基づいて複数の修正されたフレームを生成するステップは、複数の補正されたフレームをヘッドマウント・ディスプレイ装置によって表示させるステップを含む。

【0007】

例示的な実施形態の方法は、所定の焦点に関して複数の方向からキャプチャされた１つ以上の画像を受信することによって複数の画像を受信し、複数の画像を合成して、パノラマ画像の形態のマルチフレーム画像を形成し、前記１つ以上の第１のアンカー・フレームおよび前記少なくとも１つの第２のアンカー・フレームは、前記マルチフレーム画像の異なる画像である。例示的な実施形態の方法はまた、ユーザの視線方向に基づいて視線方向範囲を定義するステップと、視線方向範囲内に位置する少なくとも１つの第２のアンカー・フレームを選択するステップと、視線方向範囲の対向する辺のそれぞれの外側および上の少なくとも１つの第１のアンカー・フレームを選択するステップとを含む。例示的な実施形態では、本願方法は、視線方向範囲の中心部において少なくとも１つの第２のアンカー・フレームを選択することによって、視線方向範囲内に位置する少なくとも１つの第２のアンカー・フレームを選択することができる。例示的な実施形態の方法は、視線方向範囲内の少なくとも１つの第２のアンカー・フレーム、および、視線方向範囲の外側にあり、少なくとも１つの第２のアンカー・フレームからそれぞれのフレームの反対側にある第１のアンカー・フレームに基づいて視線方向範囲内のそれぞれのフレームについて１つ以上の色調変更パラメータを決定することによって、１つ以上の色調変更パラメータを決定することができる。例示的な実施形態では、本願方法は、第１および第２の複数のアンカー・フレームのそれぞれに複数のウェイト寄与係数を動的に割り当てることによって、視線方向に関連する複数の色調変更パラメータを計算することができる。

【0008】

別の例示的な実施形態では、少なくとも１つのプロセッサと、少なくとも１つのメモリおよびコンピュータ・プログラム・コードを含む少なくとも１つのメモリとを含む装置が提供され、その少なくとも１つのプロセッサと、コンピュータ・プログラム・コードは、プロセッサを用いて、その装置に、マルチフレーム画像内の１つ以上の第１のアンカー・フレームを決定させ、マルチフレーム画像に対するユーザの視線方向を決定させるように構成される。少なくとも１つのメモリおよびコンピュータ・プログラム・コードは、また、プロセッサを用いて、この例示的な実施形態の装置に、ユーザの視線方向に基づいて少なくとも１つの第２のアンカー・フレームを識別させるように構成される。例えば、視線方向に関するフレームの１つ以上の色調パラメータを、１つ以上の第１のアンカー・フレームおよび少なくとも１つの第２のアンカー・フレームに基づいて、決定することができる。少なくとも１つのメモリおよびコンピュータ・プログラム・コードは、また、プロセッサを用いて、この例示的な実施形態の装置に、１つ以上の色調変更パラメータに基づいて複数の修正されたフレームを生成させるように構成される。

【0009】

少なくとも１つのメモリおよびコンピュータ・プログラム・コードは、また、プロセッサを用いて、例示的な実施形態の装置に、複数の画像を受信することによって、および、１つ以上の画像特性における類似性に基づいて複数の画像を複数のサブセットに分類することによって、マルチフレーム画像内の１つ以上の第１のアンカー・フレームを決定させるように構成される。少なくとも１つのメモリおよびコンピュータ・プログラム・コードは、プロセッサを用いて、例示的な実施形態の装置に、複数の修正されたフレームをヘッドマウント・ディスプレイ装置によって表示されるようにすることによって、１つ以上の色調変更パラメータに基づいて複数の修正されたフレームを生成させるように構成することができる。例示的な実施形態では、少なくとも１つのメモリおよびコンピュータ・プログラム・コードは、また、プロセッサを用いて、その装置に、ユーザの視線方向に基づいて視線方向範囲を定義させ、視線方向範囲内に位置する少なくとも１つの第２のアンカー・フレームを選択させ、視線方向範囲の対向する側のそれぞれの外側および外側の少なくとも１つの第１のアンカー・フレームを選択させるように構成することができる。例示的な実施形態において、少なくとも１つのメモリおよびコンピュータ・プログラム・コードは、また、プロセッサを用いて、その装置に、前記視線方向範囲内の前記少なくとも１つの第２のアンカー・フレームと、前記視線方向範囲外の、および、その少なくとも１つの第２のアンカー・フレームからのそれぞれのフレームの反対側における、前記第１のアンカー・フレームとに基づいて、前記視線方向範囲内のそれぞれのフレームについての１つ以上の色調パラメータを決定することによって、１つ以上の色調パラメータを決定させるように構成することができる。例示的な実施形態では、本願方法は、少なくとも１つのメモリおよびコンピュータ・プログラム・コードは、また、プロセッサを用いて、その装置に、前記第１および第２の複数のアンカー・フレームのそれぞれに複数のウェイト寄与係数を動的に割り当てることによって、前記視線方向に関連する前記複数の色調変更パラメータを計算させるように構成することができる。

【0010】

更なる例示的実施形態において、その中に記憶されたコンピュータ実行可能プログラム・コード部分を有する少なくとも１つの固定コンピュータ読取り可能記憶媒体を含むコンピュータ・プログラム製品が提供される。そのコンピュータ実行可能プログラム・コード部分は、マルチフレーム画像内の１つ以上の第１のアンカー・フレームを決定するための、および、マルチフレーム画像に対するユーザの視線方向を決定するためのプログラム・コード命令を備える。この例示的実施形態のコンピュータ実行可能プログラム・コード部分は、また、ユーザの視線方向に基づいて少なくとも１つの第２のアンカー・フレームを識別するためのプログラム・コード命令を含む。この例示的実施形態のコンピュータ・実行可能プログラム・コード部分は、また、前記１つ以上の第１のアンカー・フレームおよび前記少なくとも１つの第２のアンカー・フレームに基づいて、前記視線方向に関するフレームの１つ以上の色調変更パラメータを決定し、前記１つ以上の色調変更パラメータに基づいて、複数の修正されたフレームを生成するためのプログラム・コード命令を含む。

【0011】

例示的な実施形態では、本願方法は、マルチフレーム画像内の１つ以上の第１のアンカー・フレームを決定するためのプログラム・コード命令は、複数の画像を受信し、前記複数の画像を、１つ以上の画像特性における類似性に基づいて複数のサブセットに分類するためのプログラム・コード命令を含むことができる。

【0012】

例示的実施形態のコンピュータ実行可能プログラム・コード部分は、また、ユーザの視線方向に基づいて視線方向範囲を定義し、視線方向範囲内に位置する少なくとも１つの第２のアンカー・フレームを選択するためのプログラム・コード命令を含むことができる。この例示的実施形態のコンピュータ・実行可能プログラム・コード部分は、また、視線方向範囲の対向する側の外、および、そのそれぞれの上において、少なくとも１つの第１のアンカー・フレームを選択するためのプログラム・コード命令を含む。例示的な実施形態では、１つ以上の色調パラメータを決定するための前記プログラム・コード命令は、前記視線方向範囲内の前記少なくとも１つの第２のアンカー・フレームと、前記視線方向範囲外の、および、少なくとも１つの第２のアンカー・フレームからのそれぞれのフレームの反対側における、前記第１のアンカー・フレームとに基づいて、前記視線方向範囲内のそれぞれのフレームについての１つ以上の色調変更パラメータを決定するのためのプログラム・コード命令を含む。代替的実施形態において、視線方向に関連する複数の色調変更パラメータを計算するための前記プログラム・コード命令は、前記第１および第２の複数のアンカー・フレームのそれぞれに複数のウェイト寄与係数を動的に割り当てるためのプログラム・コード命令を含むことができる。

【0013】

さらに別の例示的な実施形態では、マルチフレーム画像内の１つ以上の第１のアンカー・フレームを決定するための手段を含む装置が提供される。この例示的な実施形態の装置はまた、マルチフレーム画像に対するユーザの視線方向を決定するための手段を含む。この例示的な実施形態の装置はまた、ユーザの視線方向に基づいて少なくとも１つの第２のアンカー・フレームを識別する手段を含む。この例示的な実施形態の装置はまた、１つ以上の第１のアンカー・フレームおよび少なくとも１つの第２のアンカー・フレームに基づいて、視線方向に関するフレームの１つ以上の色調変更パラメータを決定する手段を含む。このように、複数の修正されたフレームなどの画像コンテンツは、１つ以上の色調修正パラメータに基づいて生成することができる。

【図面の簡単な説明】

【0014】

本発明の特定の実施形態を一般的な用語で説明したが、次に、添付の図面を参照する。これらの図面は、必ずしも原寸に比例して描かれていない。

【図1】図１は、本願発明の例示的な実施形態にしたがう、画像修正と共に使用されるパノラマ画像内の視線方向範囲図を示す。

【図2】図２は、本願発明の例示的な実施形態にしたがう、視線方向に関するアンカー・フレームの図を示す。

【図3】図３は、本願発明の例示的な実施形態にしたがう、具体的に構成することができる単純化されたブロック図を図示する。

【図4】図４は、本願発明の例示的な実施形態にしたがう、図３の装置などの実行される動作を図示するフローチャートである。

【図5】図５は、本願発明の例示的実施形態にしたがって、１つ以上の第１のアンカー・フレームを決定するための図３の装置などの実行される動作を図示するフローチャートである。

【発明を実施するための形態】

【0015】

本願発明のいくつかの実施形態が、以下に、添付の図面を参照して、より詳細に記述される。本願発明の実施形態のすべてではないが、そのいくつかが示される。実際に、本願発明の種々の例示的実施形態は、多くの異なる形で具体化することができ、そして、ここに述べられる実施形態に限られているように解釈されてはならない。むしろ、これらの実施形態は、この開示が適用可能な法的要求を満たすように提供されるものである。以下を通して、同様の参照番号は、同様の要素を参照する。ここで用いられるように、「データ」、「コンテンツ」、「情報」および同様の用語は、本願発明の実施形態にしたがって、送信され、受信され、および／または、格納されることが可能なデータを指すために、互換的に用いることができる。このように、いかなるこのような用語の使用も、本願開示の要旨および本願発明の実施形態の範囲を制限するためであると理解してはならない。

【0016】

加えて、ここで用いられるように、「回路」という用語は、（ａ）ハードウェアのみの回路インプリメンテーション（例えばアナログおよび／またはデジタル回路だけのインプリメンテーション）、（ｂ）回路と、装置にここに記述される１つ以上の機能を実行させるように一緒に動作する１つ以上のコンピュータで読取り可能メモリに格納されるソフトウェアやファームウェア命令を備えるコンピュータ・プログラム・プロダクトとの組合せ、および、（ｃ）回路、例えば、たとえソフトウェアまたはファームウェアが物理的に存在しないとしても動作のためにソフトウェアまたはファームウェアを要求するマイクロプロセッサ、または、マイクロプロセッサの部分を指す。この「回路」の定義は、ここにおける、すべての請求項を含む、すべてのこの用語の使用に適用される。さらなる例として、ここに使われるように、用語「回路」は、また、１つ以上のプロセッサやその部分、および、付随するソフトウェアやファームウェアを含むインプリメンテーションを含む。別の例として、ここで用いられる用語「回路」は、また、たとえば、ベースバンド集積回路、または、携帯電話のための応用プロセッサ集積回路、または、サーバ、セルラー・ネットワーク装置、他のネットワーク装置や他のコンピュータ装置における同様の集積回路を含む。

【0017】

ここに規定されるように、「コンピュータ読取り可能ストレージ・メディア」は、物理的ストレージ・メディア（例えば、揮発性あるいは揮発性メモリ・デバイス）を指し、電磁気信号を指す「コンピュータで読取り可能な伝達媒体」と区別することができる。

【0018】

パノラマ画像などのマルチフレーム画像を見ることができる視線方向１０に関連して修正された画像コンテンツを生成するための方法、装置３０およびコンピュータ・プログラム製品が、例示的な実施形態にしたがって提供される。このように、例示的な実施形態の方法、装置およびコンピュータ・プログラム製品は、視線方向１０に基づいて、１つ以上のアンカー・フレームおよび色調変更パラメータの識別を可能にする。この点に関して、ユーザの視線方向を監視することによって、例示的な実施形態の方法、装置およびコンピュータ・プログラム製品は、現在の視線方向１０内に対応して変更および表示される画像コンテンツを提供し、これにより、マルチフレーム画像のフレームをブレンドしながら、画像パラメータのローカライズされたセットを保存することが可能になる。したがって、得られたユーザ経験は、本発明の例示的な実施形態にしたがって、パノラマ画像のようなマルチフレーム画像の色調変更によって強調することができる。

【0019】

マルチフレーム画像は、複数の単一画像を結合して縫い合わせることによって形成することができる。各画像は、複数の個々の画像を組み合わせることにより、より大きな角度範囲にわたるより大きなマルチフレーム画像が生成されるように、異なる方向において、および、関連して、キャプチャすることができる。図１の実施形態において、マルチフレーム画像は、パノラマ画像となるように、見る人の周りに、３６０°広がっている。マルチフレーム画像は、単一の静止画像であることもでき、または、マルチフレーム画像は、ビデオ画像を含む複数のマルチフレーム画像のうちの１つであることもできる。

【0020】

例として、図１は、パノラマ画像の、目視者などのユーザを示す。この例のユーザは、パノラマ画像の中央に位置することができ、また、１つの例示的実施形態において、ユーザが見ている方向に応じて、パノラマ画像の異なる部分を提示するなどして表示するための画面を有するヘッドマウント・ディスプレイ装置１４を着用することができる。マルチフレーム画像を構成する個々の画像は、様々な方向から取り込まれ、したがって、互いに異なるものである。画像のコンテンツは、例えば、２次元（２Ｄ）表現、３Ｄ表現、および／または、立体視表現を含むことができる。さらに、いくつかの画像コンテンツは、透視投影、ディメトリック投影、および／または、正射投影を含むことができる。いくつかの実施形態では、異なる潜在的な視線方向からの画像コンテンツは、後述するように、例えば、色調変更パラメータの点で、キャプチャされ、事前に較正されることができ、種々のバーチャル・リアリティまたは他のアプリケーションにおけるような、マルチフレーム画像のその後の目視中の処理速度を増加させることができる。代替的実施形態において、画像コンテンツをキャプチャして格納することができるが、ユーザが、視線方向範囲が定義されるような特定の方向を見るときにのみ処理される。

【0021】

上述のように、ユーザは、例えば、ヘッドマウント・ディスプレイ装置１４を介することを含む様々な方法でマルチフレーム画像を見ることができる。この例示的な実施形態では、ヘッドマウント・ディスプレイは、ディスプレイを含むヘッドマウント・ディスプレイ装置１４が傾いている場合であっても、画像コンテンツの向きおよび軌道の両方が対応するようにヘッドマウントされたディスプレイを含む。図１に示すように、例えば、ヘッドマウント・ディスプレイを装着しているユーザのようなユーザは、水平面内で、例えば、３０°の視線方向１０を中心とする角度範囲１６を有することができる。例示的な実施形態では、角度範囲１６は、特定の頭部装着ディスプレイ装置１４に対してなどのように、予め定めることができる。別の実施形態では、角度範囲１６は、マルチフレーム画像の用途に応じてなど、ユーザにより調整可能であることができる。例えば、角度範囲は、仮想都市ツアー・アプリケーションの場合は３０°と９０°との間でユーザにより調整可能であることができ、角度範囲は、仮想面接ミーティング・アプリケーションの場合、２０°と４０°との間でユーザにより調整可能であることができ、または、角度範囲は、仮想的な軍事訓練のアプリケーションの場合、６０°と４０°との間で調整可能であることができる。

【0022】

本願の例示的な実施形態にしたがって、色調修正パラメータを定義するために、複数のアンカー・フレームが識別される。一例として、図２は、視線方向１０に関して共に縫い合された複数のフレームを含むパノラマ画像内のアンカー・フレームの構造図を示す。上述したように、視線方向範囲については、視線方向範囲内で定義され、視線方向範囲内では、視線方向１０またはその近傍の第１の可変アンカー・フレーム２４が選択される。可変アンカー・フレームに加えて、複数のアンカー・フレームは、それぞれがフレームの異なるサブセットを表す１つ以上の固定アンカー・フレームを含むことができる。以下で説明するように、フレームの各サブセットは、同じ光源によって照明されているサブセットのフレームに起因するものなど、サブセットのフレームの１つ以上の画像特性における類似性に基づいて識別される。同じサブセットのフレームは、物理的に連続している場合がある。一実施形態では、第１の固定アンカー・フレーム１８および第２の固定アンカー・フレーム２０は、マルチフレーム画像の第１および第２のサブセットからそれぞれ選択される。第１および第２のアンカー・フレームは、視線方向範囲１６の対向する側のそれぞれの外側に、および、それらの上に配置される。後述するように、視線方向範囲内であって、第１の固定アンカー・フレームと第１の可変アンカー・フレームとの間のフレーム２２は、次に、第１の固定アンカー・フレーム１８と第１の可変アンカー・フレーム１８との両方のパラメータを混合することによって、色調変更パラメータに基づいて変更することができる。同様に、視線方向範囲内で、第２の固定アンカー・フレームと第１の可変アンカー・フレームとの間のフレーム２６を、第２の固定アンカー・フレーム２０と第１の可変アンカー・フレーム２４との両方のパラメータを混合することによって、色調変更パラメータに基づいて修正することができる。これらの例が示すように、色調修正パラメータは、それぞれのフレームの反対側に位置するアンカー・フレーム（可変アンカー・フレームおよび固定アンカー・フレーム）の画像パラメータに基づいて、視線方向範囲内の各フレームに対して生成されてもよい。色調変更パラメータに対するアンカー・フレームの画像パラメータの相対的な寄与は、各アンカー・フレームに関連するウェイト寄与係数などのような様々な方法で定義することができる。例えば、フレーム２２の色調変更パラメータは、第１の固定アンカー・フレーム１８に５０％のウェイト寄与係数を割り当て、第１の可変アンカー・フレーム２４に５０％のウェイト寄与係数を割り当てることによって生成することができる。同様に、第２の固定アンカー・フレーム２０に２０％のウェイト寄与係数を割り当て、第１の可変アンカー・フレーム２４に８０％のウェイト寄与係数を割り当てることによって、フレーム２６の色調変更パラメータを生成することができる。例示的な実施形態において、ヘッドマウント・ディスプレイ装置１４の移動速度によって定義されるように、ユーザの頭部の速度または加速度が変化する場合、ウェイト寄与係数は、移動速度に基づいて再割り当てまたは再生成される。

【0023】

図３は、装置を具体化するコンピューティング装置の簡略ブロック図である。装置３０は、プロセッサ３２、メモリ装置３４、および、通信インタフェース３６を含む、または、さもなければそうでなければ通信することができる。その装置が、ヘッドマウント・ディスプレイ装置などのポータブルディスプレイ装置によって具現化される実施形態では、その装置は、また、ユーザインタフェース３８、センサモジュール４０（例えば、画像センサ４２、モーションセンサ４４等）を含むか、結び付いているか、あるいは、通信状態にある。代替の実施形態は、所望の機能に応じて、構成要素を追加、省略、分離、および／または、組み合わせることができる。当業者は多くのバリエーションを認識する。

【0024】

例示的な実施形態の装置３０は、様々な異なるタイプのコンピューティング装置によって具体化することができる。例えば、この装置は、ヘッドマウント・ディスプレイ、立体視ゴーグルまたは眼鏡、立体ヘルメット、携帯情報端末（ＰＤＡ）、携帯電話、スマートフォン、コンパニオンデバイス、ゲームデバイス、ラップトップ・コンピュータ、カメラ、タブレットコンピュータ、タッチ面、または前述のタイプの任意の組み合わせ、および、他のタイプの画像およびビデオ通信システムなどのポータブルディスプレイ装置によって具体化することができる。代替的に、コンピューティング装置は、パーソナルコンピュータ、デスクトップコンピュータ、コンピュータワークステーション、サーバ、シミュレータなどのような、ユーザが携行するディスプレイ装置１４と通信して、視線方向に関する情報、および、いくつかの実施形態では、ユーザの頭部が動いているスピードに関する情報を受信し、および、表示装置１４による提示のための色調変更された画像コンテンツを提供する固定コンピューティング装置であることができる。

【0025】

装置３０が具現化される方法にかかわらず、例示的な実施形態の装置が図３に示されている。この装置は、プロセッサ３２およびメモリ・デバイス３４と、そして、オプションとして通信インタフェース３６およびユーザインタフェース３８を含むか、さもなければ、通信することができる。いくつかの実施形態では、プロセッサ３２（および／または、コプロセッサまたはプロセッサを補助する他の処理回路）は、装置３０のコンポーネント間で情報を渡すためのバスを介して、メモリ・デバイス３４と通信状態にあることができる。メモリ・デバイスは、固定メモリであることができ、例えば、１つ以上の揮発性および／または不揮発性メモリを含むことができる。言い換えれば、例えば、記憶装置は、機械（例えば、プロセッサのようなコンピューティング装置）によって取り出すことができるデータ（例えば、ビット）を記憶するように構成されたゲートを含む電子記憶装置（例えば、コンピュータ可読記憶媒体）であることができる。メモリ・デバイスは、本願発明の例示的な実施形態にしたがって、装置が様々な機能を実行することを可能にする情報、データ、コンテンツ、アプリケーション、命令などを格納するように構成することができる。例えば、メモリ装置は、プロセッサによる処理のために入力データをバッファするように構成することができる。これに加えて、またはこれに代えて、メモリ・デバイスは、プロセッサによる実行のための命令を格納するように構成することができる。

【0026】

上述のように、装置３０は、コンピューティング装置によって具体化することができる。しかしながら、いくつかの実施形態において、装置は、チップまたはチップ・セットとして具体化することができる。言い換えると、装置は、構造アセンブリ（例えば、回路基板）上に、材料、構成要素および／またはワイヤを含む１つ以上の物理パッケージ（例えば、チップ）を含むことができる。構造アセンブリは、それに含まれる、コンポーネント回路の物理的強度、サイズの保存、および／または、電気的相互作用の制限を提供することができる。したがって、装置は、いくつかの場合には、単一のチップ上に、または単一の「チップ上のシステム」として、本願発明の実施形態を実装するように構成することができる。このように、いくつかの場合には、チップまたはチップ・セットは、ここに記載された機能を提供するための１つ以上の動作を実行するための手段を構成することができる。

【0027】

プロセッサ３２は、いくつかの異なる方法で具体化することができる。例えば、プロセッサは、コプロセッサ、マイクロプロセッサ、コントローラ、デジタル信号プロセッサ（ＤＳＰ）、付随するＤＳＰを伴うまたは伴わない処理要素、あるいは、例えば、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、マイクロコントローラユニット（ＭＣＵ）、ハードウェアアクセラレータ、専用コンピュータチップ、その他の集積回路を含む他の様々な処理回路のような様々なハードウェア処理手段の１つ以上として具体化することができる。このように、いくつかの実施形態では、プロセッサは、独立して実行するように構成された１つ以上の処理コアを含むことができる。マルチコアプロセッサは、単一の物理パッケージ内でマルチプロセッシングを可能にすることができる。追加的または代替的に、プロセッサは、命令の独立した実行、パイプライン化および／またはマルチスレッディングを可能にするために、バスを介してタンデムに構成された１つ以上のプロセッサを含むことができる。

【0028】

例示的な実施形態では、プロセッサ３２は、メモリ・デバイス３４に格納された命令を実行するように、または、プロセッサにアクセス可能な命令を実行するように構成することができる。代替的または追加的に、プロセッサは、ハードコードされた機能を実行するように構成することができる。したがって、ハードウェアまたはソフトウェア方法によって、または、それらの組み合わせによって構成されているかどうかにかかわらず、そのプロセッサは、それに応じて構成された本発明の実施形態による動作を実行することができる（例えば、回路内に物理的に具現化される）エンティティであらわされる。したがって、例えば、プロセッサがＡＳＩＣ、ＦＰＧＡなどとして具体化される場合、プロセッサは、本明細書で説明される動作を実行するために具体的に構成されたハードウェアであることができる。あるいは、別の例として、プロセッサがソフトウェア命令の実行者として具体化される場合、その命令は、命令が実行されるときに、本明細書で説明されるアルゴリズムおよび／または動作を実行するようプロセッサを具体的に構成することができる。しかしながら、場合によっては、プロセッサは、本願明細書に記載されたアルゴリズムおよび／または動作を実行するための命令によるプロセッサのさらなる構成によって、本願発明の実施形態を使用するように構成された特定の装置（例えば、コンピューティング装置）であることができる。このプロセッサは、とりわけ、プロセッサの動作をサポートするように構成された、クロック、算術論理装置（ＡＬＵ）、および、論理ゲートを含むことができる。

【0029】

例示的な実施形態の装置３０は、また、オプションとして、ユーザインタフェース３８を含むか、さもなければ、通信することができる。ユーザインタフェース３８は、ディスプレイ、タッチスクリーンディスプレイ、キーボード、マウス、あるいは、他の入力／出力メカニズムを含むことができる。いくつかの実施形態では、ユーザインタフェースは、ユーザに出力を提供するように構成されてもよい。この例示的な実施形態では、プロセッサ３２は、１つ以上の入力／出力メカニズムの少なくともいくつかの機能を制御するように構成されたユーザインタフェース３８の回路を備えることができる。プロセッサを含むプロセッサおよび／またはユーザインタフェース回路は、プロセッサにアクセス可能なメモリ（例えば、メモリ・デバイス３４等）に格納されたコンピュータ・プログラム命令（たとえば、ソフトウェアおよび／またはファームウェア）を介して、１つ以上の入出力メカニズムの１つ以上の機能を制御するように構成することができる。

【0030】

図示された実施形態の装置３０は、また、通信インタフェース３６を任意選択的に含むことができ、通信インタフェース３６は、ハードウェアまたはハードウェアとソフトウェアの組み合わせで実施される装置または回路などの任意の手段であってよく、装置との通信において、センサモジュール４０のような他の電子デバイスとの間で、データを受信および／または送信するように構成される。これに関して、通信インタフェースは、例えば、無線通信ネットワークとの通信を可能にするための、アンテナ（複数のアンテナ）と、サポートハードウェアおよび／またはソフトウェアとを含むことができる。追加的または代替的に、通信インタフェースは、アンテナを介して信号の送信をさせるため、または、アンテナを介して受信された信号を処理するために、アンテナとインタラクトするための回路を含むことができる。いくつかの環境では、通信インタフェースは、有線通信を代替的にまたは有線通信をサポートしてもよい。

【0031】

装置３０の、または、装置３０に接続するセンサモジュールは、また、画像センサ４２、モーションセンサ４４および／またはその他のうちの１つ以上を含むことができる。画像センサは、異なる方向に複数の画像をキャプチャするように様々な方法で具体化することができる。例えば、画像センサは、３６０度のカメラ、または、パノラマ画像、ビデオおよび／または空間オーディオをキャプチャするために特定の速度で回転するカメラによって具体化されてもよい。しかし、画像センサは、他の実施形態では、他の方法で具体化することができる。

【0032】

モーションセンサ４４に関して、モーションセンサは、ユーザの頭の動きの速度をキャプチャするために、速度センサの形の、および／または、動きを捕捉する他の手段を、動き検出のために提供することができる。さらに、モーションセンサ４４は、また、ユーザの頭の向きを決定するために様々な方法で実施される方位センサを備えることができる。例えば、方位センサは、磁力計、加速度計、ジャイロスコープなどによって具体化することができる。その装置が、ヘッドマウント・ディスプレイ装置１４によって、または、それに接続されることによって、具体化される例示的な実施形態では、ヘッドマウント・ディスプレイは、画像センサおよびモーションセンサを含むことができる。

【0033】

ここで図４を参照すると、例えば図３の具体的に構成された装置３０によって実行される動作が示されている。ブロック５０に示すように、装置３０は、パノラマ画像などのマルチフレーム画像内の１つ以上のアンカー・フレームを決定するための、プロセッサ３２などの手段を含む。アンカー・フレームは、メモリ３４に格納されたマルチフレーム画像に対して決定することができるが、例示的な実施形態の装置は、また、プロセッサ３２、メモリ３４などの、パノラマまたは他のマルチフレーム画像、または、共通の位置から、すなわち所定の焦点から、異なる視線方向にキャプチャされた複数の画像のような複数の画像を受信するための手段を含むことができる。異なる視線方向にキャプチャされた複数の画像が受信される場合、装置は、プロセッサなどの、画像に関連する異なる視線方向に基づいて画像を縫い合わせるなどでパノラマ画像などのマルチフレーム画像を形成するために、複数の画像を合成する手段を含む。

【0034】

マルチフレーム画像から決定されるアンカー・フレームは、視線方向１０および１つ以上の固定アンカー・フレームに依存する少なくとも１つの可変アンカー・フレームを含む。したがって、ブロック５２に示すように、装置３０は、また、マルチフレーム画像に対するユーザの視線方向１０を決定するためのセンサモジュール４０、プロセッサ３２その他の手段を含む。この装置は、また、プロセッサその他の、上述したように、その範囲が、ユーザが対話しているアプリケーションのタイプに基づいて予め定義されている視線方向範囲を規定するために、現在の視線方向１０を中心とする角度範囲を決定するための手段を含む。

【0035】

１つ以上の固定アンカー・フレーム（第１のアンカー・フレームとしても知られている）を決定するために、例示的な実施形態の装置３０は、プロセッサ３２、メモリ３４その他の、図５のブロック７０に示すように、（そのそれぞれがマルチフレーム画像のフレームである）複数の画像を受信するための手段を含む。この装置は、また、１つ以上の画像特性の類似性に基づいて複数の画像を複数のサブセットに分類するための、プロセッサなどの手段を含む。画像特性の類似性は、マルチフレーム画像の様々なフレームを異なる光源に対して露光することによって駆動することができる。例えば、マルチフレーム画像のフレームの第１のサブセットは、第１のウィンドウを通して自然光などの第１の光源によって主に照明され、マルチフレーム画像のフレームの第２のサブセットは、第２のウィンドウを通して自然光などの第２の光源によって主に照明され、マルチフレーム画像のフレームの第３のサブセットは、ランプなどの第３の光源によって主に照明される。画像は様々な方法で異なるサブセットに分類することができる。１つの例示的な実施形態では、各画像は、色補正マトリクスおよび／または自動ホワイト・バランス・パラメータに関連付けられる。この例示的な実施形態では、この装置３０は、複数の画像によって定義される複数の色補正マトリクスおよび／または自動ホワイト・バランス・パラメータを分析するための、プロセッサなどの手段を含み、前記複数の色補正マトリクスおよび／または前記自動ホワイト・バランス・パラメータに基づいて、前記複数の画像を前記複数の部分集合にクラスタリングするための、プロセッサなどの手段を含む。図５のブロック７２および７４を参照のこと。これに関して、画像は、複数の色補正マトリクス間の類似性、および／または、それぞれの画像の自動ホワイト・バランス・パラメータに基づいて、部分集合にクラスタリングすることができる。さらに、サブセットにクラスタ化された画像は、一般に、マルチフレーム画像からの画像の連続するサブセットを定義するように互いに隣接している。

【0036】

この例示的な実施形態の装置３０は、また、各クラスタからのそれぞれの画像を第１のアンカー・フレーム、すなわち固定アンカー・フレームを識別するためのプロセッサ３２などの手段を含む。図５のブロック７６を参照のこと。サブセットの固定アンカー・フレームは、例えば、サブセットの他の画像に対する中央画像パラメータを有するサブセットのアンカー・フレームを含む様々な方法で定義することができる。

【0037】

マルチフレーム画像に関するユーザの視線方向１０に基づいて、例示的な実施形態の装置３０は、少なくとも１つの第２のアンカー・フレーム、すなわち、可変アンカー・フレームを識別するためのプロセッサ３２などの手段も含む。第２のアンカー・フレームは様々な方法で規定することができるが、例示的な実施形態の装置は、視線方向範囲の中央部などの視線方向範囲内に位置する少なくとも１つの第２のアンカー・フレームを選択するための、プロセッサなどの手段を含む。例えば、奇数個のフレームが視線方向範囲内にある場合、第２のアンカー・フレームは、視線方向範囲内の中央フレームであることができる。あるいは、偶数フレームが視線方向範囲内にある場合には、視線方向範囲内の２つの中央のフレームを第２のアンカー・フレームとして選択することができる。

【0038】

視線方向範囲が定義されると、装置３０は、また、視線方向範囲の反対側のそれぞれの上に少なくとも１つの第１のアンカー・フレームを選択するためのプロセッサ３２などの手段も含む。単一の第１のアンカー・フレームのみがマルチフレーム画像内に存在する場合、その単一のアンカー・フレームが第１のアンカー・フレームとして選択される。しかし、マルチフレーム画像内に第１のアンカー・フレームが２つ以上存在する場合、第１のアンカー・フレームとして２つのアンカー・フレームが選択される。例えば、視線方向範囲の反対側に最も近いアンカー・フレームを第１のアンカー・フレームとして選択することができる。

【0039】

例示的な実施形態の装置３０は、また、これらのアンカー・フレームの色調変更パラメータの組み合わせに基づくなど、前記少なくとも１つの第２のアンカー・フレームと前記１つ以上の第１のアンカー・フレームとの組み合わせに基づいて、視線方向１０の範囲内のそれぞれのフレームについての色調変更パラメータを決定するための、プロセッサ３２などの手段を含む。図４のブロック５６を参照のこと。第２のアンカー・フレーム２４と第１のアンカー・フレーム１８との間に位置するフレーム２２の色調変更パラメータなどの、第２のアンカー・フレームと第１のアンカー・フレームのうちの１つとの間に位置する視線方向範囲内のフレームの色調変更パラメータは、第２のアンカー・フレームの音調変更パラメータと第１のアンカー・フレームの１つとの組み合わせに基づいている。同様に、第２のアンカー・フレーム２４と第１のアンカー・フレーム２０との間に位置するフレーム２６の色調変更パラメータなどの、第２のアンカー・フレームと、第１のアンカー・フレームのうちの他の１つとの間に位置する視線方向範囲内のフレームの色調変更パラメータは、第２のアンカー・フレームの音調変更パラメータと第１のアンカー・フレームの他の１つとの組み合わせに基づいている。

【0040】

例えば、色補正、自動ホワイトバランシングまたは露出変動修正から選択された修正パラメータを含む、様々な色調修正パラメータを決定することができる。色調変更パラメータの種類に関わらず、視線方向範囲内のフレームの色調修正パラメータは、例示的な実施形態では、少なくとも１つの第２のアンカー・フレームと１つ以上の第１のアンカー・フレームとの色調変更パラメータの平均に基づいて定義することができる。追加的または代替的に、プロセッサなどの装置は、可変および固定のアンカー・フレームのそれぞれに複数のウェイト寄与係数を動的に割り当てるように構成することができ、ここで、視線方向範囲内のフレームの色調変更パラメータは、この例示的な実施形態では、少なくとも１つの第２のアンカー・フレームと、１つ以上の第１のアンカー・フレームとの色調パラメータの加重平均に基づいて定義される。ウェイト寄与係数は、様々な方法で定義することができ、例示的な実施形態では、ユーザの頭部がアンカー・フレームと共に回転している方向および速度に基づいて、定義される。その方向は、ユーザの頭部が他のアンカー・フレームよりも大きく重み付けされて回転している方向であり、ユーザの頭部が回転している方向のアンカー・フレームが、ユーザの頭部がより低速で回転している場合よりも、ユーザの頭部がより高速で回転している場合には、より大きなウェイトを有するように、重み付けにおける差異が、速度に比例して変化する。例示的な実施形態では、各アンカー・フレームの調整マップが決定され、その後、重み付けされた組み合わせなどで利用されて、色調変更パラメータを決定することができる。アンカー・フレームの調整マップの決定とアプリケーションの詳細については、Ｆａｒｂｍａｎらの、「Ｔｏｎａｌ Ｓｔａｂｉｌｉｚａｔｉｏｎ ｏｆ Ｖｉｄｅｏ、ＳＩＧＧＲＡＰＨ ２０１１」を参照のこと。

【0041】

また、装置３０は、プロセッサ３２またはユーザインタフェース３８などの手段を含み、１つ以上の色調パラメータに基づいて複数の修正フレームを生成し、１つの実施形態では、複数の修正フレームを、ヘッドマウント・ディスプレイ１４の上に表示させる。また、図４のブロック５８およびフロック６２を参照のこと。これに関して、フレームは、上述のように、アンカー・フレームに基づいて視線方向範囲内のフレームに色調変更パラメータを適用することによって修正することができる。加えて、または代替的に、例示的な実施形態の装置３０は、また、ヘッドマウント・ディスプレイ装置１４の視線方向１０が異なる方向に変化したことを決定するためのプロセッサ３２、センサモジュール４０などの手段を含む。図４のブロック６４を参照のこと。これに関して、図４のブロック５０−５８に示されるように、この例示的な実施形態のプロセッサ３２などの装置３０は、次に、異なる視線方向に関連する画像コンテンツ情報を受信し、ヘッドマウント・ディスプレイ上などに、表示される前記複数の修正フレームを生成するプロセスを繰り返す。このように、ユーザに提示された画像内容およびそれに関連する色調変更情報は、ヘッドマウント・ディスプレイ装置１４の視線方向１０および／または位置が変化するにつれて変化する。したがって、それに関連するヘッドマウント・ディスプレイ装置１４を含む装置は、新しい視線方向を見ているユーザに応答してタイムリーに調整された画像コンテンツにアクセスして見ることができる。

【0042】

図４および図５は、本発明の例示的な実施形態による装置、方法、およびコンピュータ・プログラム製品のフローチャートを示す。フローチャートの各ブロックおよびフローチャートのブロックの組み合わせは、ハードウェア、ファームウェア、プロセッサ、回路、および／または、１つ以上のコンピュータ・プログラム命令を含むソフトウェアの実行に関連する他の通信装置などの様々な手段によって実装され得ることが理解される。例えば、上述した手順の１つまたは複数は、コンピュータ・プログラム命令によって具体化することができる。これに関して、上述の手順を具体化するコンピュータ・プログラム命令は、本発明の実施形態を採用する装置のメモリ装置３４によって記憶され、装置のプロセッサ３２によって実行される。理解されるように、そのようなコンピュータ・プログラム命令は、コンピュータまたは他のプログラム可能な装置（例えば、ハードウェア）にロードされて機械を生成し、結果として得られるコンピュータまたは他のプログラム可能装置がフローチャート・ブロックで指定された機能を実行する。これらのコンピュータ・プログラム命令はまた、コンピュータ可読メモリに格納され、コンピュータ可読メモリに格納された命令が、フローチャート・ブロックで特定された機能の実装を実行する製造物品を生成するように、コンピュータまたは他のプログラム可能装置を特定の方法で機能させることができる。コンピュータ・プログラム命令は、コンピュータまたは他のプログラム可能な装置にロードされて、コンピュータまたは他のプログラム可能な装置上で一連の動作を実行して、コンピュータ上で実行される命令または他のプログラム可能なプログラム装置は、フローチャート・ブロックで指定された機能を実施するための動作を提供するようにコンピュータで実行されるプロセスを生成する。

【0043】

したがって、フローチャートのブロックは、指定された機能を実行するための手段と、指定された機能を実行するための動作の組み合わせとの組み合わせをサポートする。また、フローチャートの１つ以上のブロックおよびフローチャートのブロックの組み合わせは、特定の機能を実行する専用ハードウェアベースのコンピュータシステム、または専用ハードウェアとコンピュータ命令の組み合わせによって実装できることが理解される。

【0044】

いくつかの実施形態では、上記操作の特定のものは、変更することができ、さらに、拡大することができる。さらに、いくつかの実施形態では、追加の操作のオペレーションが含まれてもよく、そのうちのいくつかは上で説明されている。上記の操作に対する修正、追加、または拡大は、任意の順序および任意の組み合わせで行うことができる。

【0045】

本明細書に記載された本発明の多くの修正および他の実施形態は、前述の説明と関連する図面の中で提示された教示の利益を有することに関係するこれらの発明が、当業者には思い浮かぶであろう。したがって、本願発明は、開示された特定の実施形態に限られていないこと、および、修正や他の実施形態が、本願に添付された特許請求の範囲の中に含まれることを意図するものであることが理解されるべきである。さらに、前述の記載、そして、関連する図面は、要素や機能の特定の例の組合せのコンテキストにおいて、例示的実施形態を記述するものであるけれども、要素や機能の異なる組合せを、添付の請求項の範囲を逸脱することなく、代替的な実施形態によって、提供されることができることが理解されるべきである。これに関して、たとえば、明示的に上述された以外の要素や機能の異なる組合せを、また、添付の請求項のいくつかにおいて述べられるように考えられる。特定の用語がここにおいて使用されるが、それらは、一般的、説明的な意味においてのみ使用されており、制限の目的のためではない。

【図1】

【図2】

【図3】

【図4】

【図5】