特許 6298540 画像表示方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6298540

(24)【登録日】2018年3月2日

(45)【発行日】2018年3月20日

(54)【発明の名称】画像表示方法及び装置

(51)【国際特許分類】

   G06T 1/00 20060101AFI20180312BHJP

   H04N 5/232 20060101ALI20180312BHJP

   H04N 5/225 20060101ALI20180312BHJP

   G06T 15/20 20110101ALI20180312BHJP

【ＦＩ】

   G06T1/00 200E

   H04N5/232

   H04N5/225

   G06T15/20 500

【請求項の数】22

【全頁数】18

(21)【出願番号】特願2016-560524(P2016-560524)

(86)(22)【出願日】2015年12月28日

(65)【公表番号】特表2017-518556(P2017-518556A)

(43)【公表日】2017年7月6日

(86)【国際出願番号】CN2015099164

(87)【国際公開番号】WO2016155377

(87)【国際公開日】20161006

【審査請求日】2016年9月30日

(31)【優先権主張番号】201510150163.2

(32)【優先日】2015年3月31日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】512015127

【氏名又は名称】バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド

(74)【代理人】

【識別番号】100169797

【弁理士】

【氏名又は名称】橋本 浩幸

(74)【代理人】

【識別番号】100130225

【弁理士】

【氏名又は名称】洗 理恵

(72)【発明者】

【氏名】艾 鋭

(72)【発明者】

【氏名】杜 堂武

(72)【発明者】

【氏名】蒋 昭炎

(72)【発明者】

【氏名】劉 麗

(72)【発明者】

【氏名】郎 咸朋

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１２−１０３７５８（ＪＰ，Ａ）

【文献】 特開２００８−１９９５４９（ＪＰ，Ａ）

【文献】 特開２００６−２４６４４６（ＪＰ，Ａ）

【文献】 特開２００６−１２１６１（ＪＰ，Ａ）

【文献】 特開平１１−１１５２５５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｇ０６Ｔ １５／２０

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

同じシーンを含む原画像集合を取得するステップと、
前記原画像集合から前記シーンの三次元構造を再構成するための再構成画像集合を選択して、及び前記再構成画像集合における再構成画像を使用して前記シーンの三次元構造を再構成するステップであって、前記シーンの三次元構造は三次元特徴点を含むステップと、
前記再構成画像集合から表示しようとする画像集合を選択するステップであって、選択された前記表示しようとする画像集合は、前記表示しようとする画像集合における複数の表示しようとする画像の間に含まれた異なる三次元特徴点が前記再構成されたシーンの三次元構造をカバーすることができる条件を満たす画像集合であるステップと、
前記表示しようとする画像集合における表示しようとする画像の表示順序を確定して、及び前記表示しようとする画像の表示順序に基づいて画像表示配列を生成するステップと、
前記画像表示配列における画像を連続的に表示するステップと、を含む
ことを特徴とする画像表示方法。

【請求項2】

前記原画像集合から前記シーンの三次元構造を再構成するための再構成画像集合を選択するステップは、
前記原画像集合における原画像のスケール不変特徴点を抽出するステップと、
前記原画像の間のスケール不変特徴点のマッチング関係に基づいて、前記原画像集合から前記シーンの三次元構造を再構成するための再構成画像集合を選択するステップと、を含む
ことを特徴とする請求項１に記載の方法。

【請求項3】

前記再構成画像集合における再構成画像を使用して前記シーンの三次元構造を再構成するステップは、
前記再構成画像集合における再構成画像のスケール不変特徴点に基づいて、焦点距離、主点オフセット量を含むカメラ内部パラメータと、カメラ外部パラメータとを含むカメラパラメータを回復するステップと、
前記再構成画像のスケール不変特徴点及び前記カメラパラメータに基づいて、前記シーンの三次元構造を再構成するステップと、を含む
ことを特徴とする請求項２に記載の方法。

【請求項4】

前記再構成画像集合から表示しようとする画像集合を選択するステップは、
前記再構成画像集合から基準の表示しようとする画像を選択するステップと、
前記基準の表示しようとする画像によって、順次に前記再構成画像集合から第１所定条件を満たす複数の後続の表示しようとする画像を選択するステップと、を含み、
前記基準の表示しようとする画像に含まれた三次元特徴点の数は再構成画像集合におけるその他の再構成画像に含まれた三次元特徴点の数より多く、
前記第１所定条件は、前記後続の表示しようとする画像と前の選択された後続の表示しようとする画像との間に含まれた異なる三次元特徴点の数が、後続の表示しようとする画像として選択されていない再構成画像と前の選択された後続の表示しようとする画像との間に含まれた異なる前記三次元特徴点の数より多い
ことを特徴とする請求項１〜３のいずれか１項に記載の方法。

【請求項5】

前記表示しようとする画像集合における表示しようとする画像の表示順序を確定して、更に前記表示しようとする画像の表示順序に基づいて画像表示配列を生成するステップは、
前記表示しようとする画像の間の属性パラメータの相関関係に基づいて、前記表示しようとする画像の表示順序を確定するステップと、
前記表示しようとする画像の表示順序に基づいて、画像表示配列を生成するステップと、を含み、
前記表示しようとする画像の属性パラメータは撮影位置パラメータと、撮影角度パラメータとを含む
ことを特徴とする請求項４に記載の方法。

【請求項6】

前記表示しようとする画像集合における表示しようとする画像の表示順序を確定して、更に前記表示しようとする画像の表示順序に基づいて画像表示配列を生成するステップは、
前記表示しようとする画像の間のレンダリングコストに基づいて、前記表示しようとする画像の表示順序を確定するステップと、
前記表示しようとする画像の表示順序に基づいて、２つの隣接する前記表示しようとする画像ごとの間に遷移画像を挿入し、画像表示配列を生成するステップと、を含み、
前記レンダリングコストは前記表示しようとする画像の間に遷移画像を挿入する代償を指す
ことを特徴とする請求項４に記載の方法。

【請求項7】

前記表示しようとする画像の間のレンダリングコストに基づいて、前記表示しようとする画像の表示順序を確定するステップの前に、更に、
前記表示しようとする画像のレンダリング関連パラメータに基づいて、前記レンダリング関連パラメータにおける各レンダリング関連パラメータに対応するレンダリングサブコストをそれぞれ計算するステップと、
前記各レンダリング関連パラメータに対応するレンダリングサブコストに基づいて、前記表示しようとする画像の間のレンダリングコストを確定するステップと、を含み、
前記レンダリング関連パラメータはねじれ量パラメータ、撮影位置パラメータ、撮影角度パラメータ、解像度パラメータ、オプティカルフローパラメータの少なくとも１つを含む
ことを特徴とする請求項６に記載の方法。

【請求項8】

前記表示しようとする画像の表示順序に基づいて、２つの隣接する前記表示しようとする画像ごとの間に遷移画像を挿入して、画像表示配列を生成するステップは、
前記表示しようとする画像の表示順序に基づいて、２つの隣接する前記表示しようとする画像の撮影位置ごとの間の少なくとも１つの位置に仮想カメライメージング面を含む仮想カメラを挿入して、更に２つの前記表示しようとする画像ごとを撮影する前記カメラの内部パラメータに対して補間操作を行って前記仮想カメラの内部パラメータを取得するステップと、
前記仮想カメラの内部パラメータに基づいて、それぞれ２つの隣接する前記表示しようとする画像ごとに含まれた三次元特徴点を前記仮想カメライメージング面にマッピングして前記遷移画像を挿入し、且つ画像表示配列を生成するステップと、を含む
ことを特徴とする請求項７に記載の方法。

【請求項9】

前記同じシーンを含む原画像集合を取得するステップは、
前記シーンに対応する地理位置情報を含むシーン選択命令を受信するステップと、
前記地理位置情報に基づいて、前記地理位置情報に対応する原画像集合を取得するステップと、を含む
ことを特徴とする請求項１に記載の方法。

【請求項10】

前記同じシーンを含む原画像集合を取得するステップの後に、前記原画像集合に対して前処理操作を行うステップを更に含み、
前記前処理操作は、
前記原画像集合における画像品質が所定値より低い原画像のフィルタリングを行う操作、
及び、
前記原画像集合における原画像の撮影位置を正常の撮影姿勢に矯正する操作の中のいずれか１つを少なくとも含む
ことを特徴とする請求項９に記載の方法。

【請求項11】

同じシーンを含む原画像集合を取得するための取得モジュールと、
前記原画像集合から前記シーンの三次元構造を再構成するための再構成画像集合を選択して、更に前記再構成画像集合における再構成画像を使用して前記シーンの三次元構造を再構成するための再構成モジュールであって、前記シーンの三次元構造は三次元特徴点を含む再構成モジュールと、
前記再構成画像集合から表示しようとする画像集合を選択するための選択モジュールであって、選択された前記表示しようとする画像集合は、前記表示しようとする画像集合における複数の表示しようとする画像の間に含まれた異なる三次元特徴点が前記再構成されたシーンの三次元構造をカバーすることができる条件を満たす画像集合である選択モジュールと、
前記表示しようとする画像集合における表示しようとする画像の表示順序を確定して、更に前記表示しようとする画像の表示順序に基づいて画像表示配列を生成するための確定モジュールと、
前記画像表示配列における画像を連続的に表示するための表示モジュールと、を備える
ことを特徴とする画像表示装置。

【請求項12】

前記再構成モジュールは再構成画像選択サブモジュールを更に備え、
前記再構成画像選択サブモジュールは、前記原画像集合における原画像のスケール不変特徴点を抽出することに用いられ、
前記再構成画像選択サブモジュールは更に、前記原画像の間のスケール不変特徴点のマッチング関係に基づいて、前記原画像集合から前記シーンの三次元構造を再構成するための再構成画像集合を選択することに用いられる
ことを特徴とする請求項１１に記載の装置。

【請求項13】

前記再構成モジュールはシーン再構成サブモジュールを更に備え、
前記シーン再構成サブモジュールは、前記再構成画像集合における再構成画像のスケール不変特徴点に基づいて、焦点距離、主点オフセット量を含むカメラ内部パラメータと、カメラ外部パラメータとを含むカメラパラメータを回復することに用いられ、
前記シーン再構成サブモジュールは更に、前記再構成画像のスケール不変特徴点及び前記カメラパラメータに基づいて、前記シーンの三次元構造を再構成することに用いられる
ことを特徴とする請求項１２に記載の装置。

【請求項14】

前記選択モジュールは前記再構成画像集合から基準の表示しようとする画像を選択ことに用いられ、前記基準の表示しようとする画像に含まれた三次元特徴点の数は再構成画像集合におけるその他の再構成画像に含まれた三次元特徴点の数より多く、
前記選択モジュールは更に、前記基準の表示しようとする画像によって、順次に前記再構成画像集合から第１所定条件を満たす複数の後続の表示しようとする画像を選択することに用いられ、前記第１所定条件は、前記後続の表示しようとする画像と前の選択された後続の表示しようとする画像との間に含まれた異なる三次元特徴点の数が、後続の表示しようとする画像として選択されていない再構成画像と前の選択された後続の表示しようとする画像との間に含まれた異なる前記三次元特徴点の数より多いことを含む
ことを特徴とする請求項１１〜１３のいずれか１項に記載の装置。

【請求項15】

前記確定モジュールは前記表示しようとする画像の間の属性パラメータの相関関係に基づいて、前記表示しようとする画像の表示順序を確定し、前記表示しようとする画像の表示順序に基づいて、画像表示配列を生成することに用いられ、前記表示しようとする画像の属性パラメータは撮影位置パラメータ、撮影角度パラメータを含む
ことを特徴とする請求項１４に記載の装置。

【請求項16】

前記確定モジュールは更に前記表示しようとする画像の間のレンダリングコストに基づいて、前記表示しようとする画像の表示順序を確定することに用いられ、前記レンダリングコストは前記表示しようとする画像の間に遷移画像を挿入する代償を示し、
前記確定モジュールは更に、前記表示しようとする画像の表示順序に基づいて、２つの隣接する前記表示しようとする画像ごとの間に遷移画像を挿入して、画像表示配列を生成することに用いられる
ことを特徴とする請求項１４に記載の装置。

【請求項17】

前記確定モジュールはレンダリングコスト確定サブモジュールを備え、
前記レンダリングコスト確定サブモジュールは、前記表示しようとする画像のレンダリング関連パラメータに基づいて、前記レンダリング関連パラメータにおける各レンダリング関連パラメータに対応するレンダリングサブコストをそれぞれ計算することに用いられ、前記レンダリング関連パラメータはねじれ量パラメータ、撮影位置パラメータ、撮影角度パラメータ、解像度パラメータ、オプティカルフローパラメータの少なくとも１つを含み、
前記レンダリングコスト確定サブモジュールは更に前記各レンダリング関連パラメータに対応するレンダリングサブコストに基づいて、前記表示しようとする画像の間のレンダリングコストを確定することに用いられる
ことを特徴とする請求項１６に記載の装置。

【請求項18】

前記確定モジュールは遷移画像挿入サブモジュールを備え、
前記遷移画像挿入サブモジュールは、前記表示しようとする画像の表示順序に基づいて、２つの隣接する前記表示しようとする画像の撮影位置ごとの間の少なくとも１つの位置に仮想カメラを挿入して、更に前記カメラ内部パラメータに対して補間操作を行って前記仮想カメラの内部パラメータを取得することに用いられ、前記仮想カメラは仮想カメライメージング面を含み、
前記遷移画像挿入サブモジュールは更に、前記仮想カメラの内部パラメータに基づいて、前記表示しようとする画像に含まれた三次元特徴点を前記仮想カメライメージング面にそれぞれマッピングして前記遷移画像を挿入し、画像表示配列を生成することに用いられる
ことを特徴とする請求項１７に記載の装置。

【請求項19】

前記取得モジュールは更に、前記シーンに対応する地理位置情報を含むシーン選択命令を受信して、且つ前記地理位置情報に基づいて、前記地理位置情報に対応する原画像集合を取得することに用いられる
ことを特徴とする請求項１１に記載の装置。

【請求項20】

前記装置は前処理モジュールを更に備え、前記前処理モジュールは前記原画像集合に対して前処理操作を行うことに用いられ、
前記前処理モジュールは画像フィルタリングサブモジュールと画像矯正サブモジュールの少なくとも１つを備え、
前記画像フィルタリングサブモジュールは前記原画像集合における画像品質が所定値より低い原画像のフィルタリングに用いられ、
前記画像矯正サブモジュールは前記原画像集合における原画像の撮影位置を矯正することに用いられる
ことを特徴とする請求項１９に記載の装置。

【請求項21】

プロセッサ、及び
メモリを備え、
前記メモリに前記プロセッサによって実行可能なコンピュータ読み取り可能なコマンドが記憶され、前記コンピュータ読み取り可能なコマンドが実行される際に、前記プロセッサは請求項１〜１０のいずれか１項に記載の方法を実行する
ことを特徴とする機器。

【請求項22】

プロセッサによって実行可能なコンピュータ読み取り可能なコマンドが記憶され、前記コンピュータ読み取り可能なコマンドがプロセッサによって実行される際に、前記プロセッサは請求項１〜１０のいずれか１項に記載の方法を実行する
ことを特徴とする不揮発性コンピュータ記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の参照）
本出願は２０１５年０３月３１日に提出された中国特許出願番号が「２０１５１０１５０１６３．２」の優先権を主張し、当該特許出願の全文を援用するように本願に組み込んだ。
本出願はコンピュータ技術分野に関し、具体は画像処理分野に関し、特に画像表示方法及び装置に関する。

【背景技術】

【0002】

従来、いくつかのアプリケーションにおいて、ユーザがシェアする画像の間の関連性を向上させるように、ユーザがシェアする同じシーンを含む複数枚の画像（例えばユーザが観光名所で撮った写真）を表示し、それによりユーザエクスペリエンスを向上する。従来技術において、ユーザがアップロードした画像を取得した後に、同じシーンを含む画像が無秩序に置かれ、画像によって表示された画像におけるシーンが単一であり、更に、画像におけるシーンの特点を全体的に反映できず、それにより画像が表現するシーンの内容が豊かではなく、ユーザが画像を閲覧するエクスペリエンスを低下させる。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本出願は、以上の背景技術に記載された技術問題を解決するために、画像表示方法及び装置を提供する。

【課題を解決するための手段】

【0004】

一様態において、本出願は画像表示方法を提供して、この方法は、同じシーンを含む原画像集合を取得するステップと、原画像集合から三次元特徴点を含むシーンの三次元構造を再構成するための再構成画像集合を選択して、更に再構成画像集合における再構成画像を使用して前記シーンの三次元構造を再構成するステップと、再構成画像集合から表示しようとする画像集合を選択するステップと、表示しようとする画像集合における表示しようとする画像の表示順序を確定し、更に表示しようとする画像の表示順序に基づいて画像表示配列を生成するステップと、画像表示配列における画像を連続的に表示するステップと、を含んでおり、ここで、前記表示しようとする画像集合に含まれた三次元特徴点の数が予め設定された閾値より大きい。

【0005】

他の様態において、本出願は画像表示装置を提供し、この装置は、同じシーンを含む原画像集合を取得するための取得モジュールと、原画像集合から三次元特徴点を含むシーンの三次元構造を再構成するための再構成画像集合を選択して、更に再構成画像集合における再構成画像を使用して前記シーンの三次元構造を再構成するための再構成モジュールと、再構成画像集合から表示しようとする画像集合を選択するための選択モジュールと、表示しようとする画像集合における表示しようとする画像の表示順序を確定し、更に表示しようとする画像の表示順序に基づいて画像表示配列を生成するための確定モジュールと、画像表示配列における画像を連続的に表示するための表示モジュールと、を備えており、ここで、前記表示しようとする画像集合に含まれた三次元特徴点の数が予め設定された閾値より大きい。

【0006】

本出願による画像表示方法及び装置は、同じシーンを含む画像を取得して、画像の間の相関関係に基づいて画像の表示順序を確定して、確定された表示順序に従って連続的に画像を表示することによって、画像を表示する際に、画像におけるシーンが空間での連続性を高め、それにより画像に表現されたシーンの内容を豊かにして、更に、画像の間に遷移画像を挿入することによって、画像におけるシーンが空間での連続表示の過程において、円滑な遷移を実現させる。

【図面の簡単な説明】

【0007】

以下、図面を参照しながら非限定的な実施例を詳細に説明することにより、本発明の他の特徴、目的、及び利点は、より明らかになる。
図１は、本出願の画像表示方法の一実施例を示すフローチャートである。
図２は、出願の画像表示方法の他の実施例を示すフローチャートである。
図３は、本出願の画像表示方法における遷移画像の挿入を示す１つの例示的な原理図である。
図４は、本出願の画像表示装置の一実施例を示す構造模式図である。
図５は、本出願に適用されるコンピュータシステムの構造模式図である。

【発明を実施するための形態】

【0008】

以下、図面及び実施例を参照しながら、本発明をさらに詳しく説明する。ただし、ここで説明されている具体的な実施例は、係る発明を解釈するためのものに過ぎず、本発明の範囲を制限するものではないと理解されるべきである。また、説明の便宜上、図面に本発明と関連する部分のみが示されている。

【0009】

ただし、衝突がない限り、本願における実施例、及び実施例における特徴は、互いに組み合せてもよい。以下、図面を参照しながら実施例に基づいて本発明を詳細に説明する。

【0010】

本出願の画像表示方法による一実施例を示すフロー１００である図１を参照する。当該方法は、以下のステップを含み、
ステップ１０１：同じシーンを含む原画像集合を取得する。

【0011】

本実施例において、同じシーン（例えば観光名所）を含む原画像はユーザがシェアしたＵＧＣ(Ｕｓｅｒ Ｇｅｎｅｒａｔｅｄ Ｃｏｎｔｅｎｔ、ユーザ生成コンテンツ)画像であってもよい。一実施形態において、異なるウェブサイトから主動的に画像をキャプチャするように同じシーンを含む原画像を取得することができる。例えば、異なるウェブサイトから画像名称において同一の観光名所の名称を含む原画像をキャプチャして、同一の観光名所を含む原画像を取得してもよい。

【0012】

本実施例のいくつかの選択的な実現方式において、同じシーンを含む原画像集合を取得するステップにおいては、シーンに対応する地理位置情報を含むシーン選択命令を受信するステップと、地理位置情報に基づいて、地理位置情報に対応する原画像集合を取得するステップと、を含む。まず複数の異なるシーン（例えば観光名所）画像をユーザに表示することができ、ユーザが画像に対する選択操作（例えばクリック操作）に基づいて、ユーザが閲覧したいシーンを確定することができる。ユーザが閲覧したいシーンを確定した後に、更に当該シーンに対応するアドレス情報を確定して、シーンとシーンとのアドレス情報の間の対応関係を予め確立することができる。シーンのアドレス情報を確定した後に、オリジナル情報に記録された撮影位置情報とシーンのアドレス情報をマッチして、撮影位置情報に記録された撮影位置がシーンのアドレス情報に一致する画像を選択することができ、それにより同じシーンを含む原画像を選択する。

【0013】

本実施例のいくつかの選択的な実現方式において、同じシーンを含む原画像集合を取得した後に、原画像集合に対して前処理操作を行うステップを更に含み、この前処理操作は、原画像集合において画像品質が所定値より低い原画像のフィルタリングを行うステップ、及び原画像集合における原画像の撮影位置を正常の撮影姿勢に矯正するステップのうちの少なくとも１つを含む。

【0014】

画像におけるＥＸＩＦ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ、交換可能な画像ファイル）情報に基づいて、原画像にフィルタリング操作を行い、画像品質が悪い画像フィルタリングを行うことができる。同時に、原画像に対して画像矯正操作を行うことができ、即ち原画像における画像を回転操作して、画像を正常の撮影姿勢に調整することができ。画像を選択することでシーンの三次元構造の再構成との関連性が低い画像を除去することができる。

【0015】

ステップ１０２：原画像集合からシーンの三次元構造を再構成するための再構成画像集合を選択して、更に再構成画像集合における再構成画像を使用してシーンの三次元構造を再構成する。

【0016】

本実施例において、同じシーンを含む原画像を取得した後に、同じシーンを含む原画像を利用してシーンの三次元構造を再構成することができる。同じシーンを含む原画像のそれぞれから一定の数の特徴点を選択し、シーンの三次元構造を再構成することに用いられることができる。特徴点は原画像におけるシーンの輪郭を特徴付ける点であってもよい。原画像におけるシーンが観光名所の龍門石窟であることを例として、特徴点は原画像におけるシーンの輪郭を特徴付けるための点であってもよく、龍門石窟における仏像の複数の対象（例えば仏像の顔部、眼部、手部）の輪郭から特徴点を選択することができる。特徴点を利用してシーンの三次元構造を再構成した後に、ユーザがＵＧＣ画像を閲覧するインターフェイスにシーンの三次元構造を表示するとともに、シーンの三次元構造を合成するための画像の撮影位置がシーンの三次元構造の相応位置にマーキングされることができ、それにより更に画像とシーンとの間の関連性を強化する。

【0017】

本実施例のいくつかの選択的な実現方式において、原画像集合からシーンの三次元構造を再構成するための再構成画像集合を選択するステップにおいては、原画像集合における原画像のスケール不変（Scale-Invariant）特徴点を抽出するステップと、原画像の間のスケール不変特徴点のマッチング関係に基づいて、原画像集合からシーンの三次元構造を再構成するための再構成画像集合を選択するステップと、を含む。

【0018】

選択的に、原画像のＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ、スケール不変特徴）特徴点に基づいて、原画像からシーンの三次元構造を再構成するための再構成画像を選択できる。まず原画像の間のＳＩＦＴ特徴点のマッチング関係に基づいて、原画像の間に相関関係が存在するか否かを確定することができる。以下、一枚の原画像とその他の原画像との間に相関関係が存在するか否かを確定する方式を例として上記の過程を説明する。一枚の原画像とその他の原画像との間に相関関係が存在するか否かを確定する方式は、当該原画像とその他の元のＳＩＦＴ特徴点をマッチ（例えば２つの特徴点の間のユークリッド距離を計算する方式）して、画像の間にマッチしたＳＩＦＴ特徴点の数を確定することであってもよい。マッチしたＳＩＦＴ特徴点の数が予め設定された閾値より大きい際に、当該原画像とその他の原画像との間に相関関係が存在することを確定することができる。上記方式に基づいて、複数の原画像の中の各原画像とその他の原画像におけるその他の原画像との間に相関関係が存在するか否かをそれぞれ確定することができる。

【0019】

例えば、まず原画像の間の相関関係を特徴付けるデータ構造におけるＫ-Ｄツリー構造を確立することができ、ここで、原画像のそれぞれはＫ-Ｄツリーにおいて１つのノードで示され、Ｋ-Ｄツリー構造を利用してノードの間の相関関係を取得することができ、それによりノードに対応する原画像の間の相関関係を確定する。

【0020】

原画像の間の相関関係を確定した後に、相関関係が存在する原画像に基づいて、シーンを再構成するための三次元の画像（再構成画像とも呼ばれる）を選択することができる。例えばデータ構造における図構造を採用し、ここで、相関関係がある原画像におけるそれぞれの原画像は図構造において１つのノードで示され、原画像の間の相関関係は接続線で示されてもよい。ノードの間の接続関係を特徴付けるサブ画像から、ノード数が最も多いサブ画像を選択することができる。当該サブ画像におけるノードに対応する原画像をシーンの三次元構造を再構成する再構成画像とする。

【0021】

本実施例のいくつかの選択的な実現方式において、再構成画像集合における再構成画像を使用して三次元特徴点を含むシーンの三次元構造を再構成するステップにおいては、再構成画像集合における再構成画像のスケール不変特徴点に基づいて、焦点距離、主点オフセット量を含むカメラ内部パラメータ、及びカメラ外部パラメータを含むカメラパラメータを回復するステップと、再構成画像のスケール不変特徴点及びカメラパラメータに基づいて、シーンの三次元構造を再構成するステップと、を含む。主点オフセット量は、カメラレンズ主軸とカメラのセンサーアレイが位置する平面との交点から画像の中心点までの距離であってもよい。カメラ外部パラメータはカメラ座標系が世界座標係に対する回転及び平行移動を特徴付けることに用いられることができ、カメラ外部パラメータはカメラ内部パラメータに基づいて確定されてもよい。

【0022】

選択的に、再構成画像集合における再構成画像のスケール不変特徴点に基づいて、カメラパラメータを回復する過程において、回復されたカメラパラメータを最適化することができ、優先的にカメラ外部パラメータを最適化することができる。

【0023】

ステップ１０３：再構成画像集合から表示しようとする画像集合を選択して、表示しようとする画像集合に含まれた三次元特徴点の数が予め設定された閾値より大きい。

【0024】

本実施例において、シーンの三次元構造を再構成した後に、シーンの三次元構造を再構成するための画像（再構成画像とも呼ばれる）から、ユーザに表示する画像（表示しようとする画像とも呼ばれる）をいくつか選択することができる。本実施例において、再構成画像から複数の表示しようとする画像を選択でき、選択された複数の表示しようとする画像は、選択された複数の表示しようとする画像の間に含まれた異なる特徴点が再構成したシーンの三次元構造をカバーすることができる条件を満たす画像であってもよい。表示しようとする画像の特徴点はシーンの三次元構造を再構成することに用いられるため、複数の表示しようとする画像の特徴点とシーンの三次元構造の三次元特徴点との間の対応関係を確定することができる。選択された複数の表示しようとする画像の間に含まれた異なる特徴点は再構成したシーンの三次元構造をカバーすることができる際に、表示しようとする画像がより豊かにシーンを表現することができ、即ち表示しようとする画像が複数の角度でシーンを表示することができる。

【0025】

本実施例のいくつかの選択的な実現方式において、ステップ１０３においては、再構成画像から基準の表示しようとする画像を選択してするステップと、基準の表示しようとする画像によって、順次に再構成画像から第１所定条件を満たす複数の後続の表示しようとする画像を選択するステップと、を含み、ここで、基準の表示しようとする画像に含まれた三次元特徴点の数がその他の任意の再構成画像に含まれた三次元特徴点の数より多く、第１所定条件は、後続の表示しようとする画像と前の選択された後続の表示しようとする画像との間に含まれた異なる三次元特徴点の数が、後続の表示しようとする画像として選択されていない再構成画像と前の選択された後続の表示しようとする画像との間に含まれた異なる三次元特徴点の数より多いことを含む。

【0026】

選択的に、表示しようとする画像に含まれた三次元特徴点の意味は三次元特徴点に対応する、シーンの三次元構造の再構成に参加するＳＩＦＴ特徴点を指し、ここで、当該ＳＩＦＴ特徴点は再構成画像の間のマッチしたＳＩＦＴ特徴点であってもよい。再構成画像の間のマッチしたＳＩＦＴ特徴点を使用してシーンの三次元構造を再構成する際に、ＳＩＦＴ特徴点とシーンの三次元構造の三次元特徴点との間に対応関係が存在する。

【0027】

以下、複数の再構成画像におけるシーン（例えば龍門石窟）の中の１つの対象（例えば仏像眼部の対象）を例として、表示しようとする画像を選択する過程を説明する。まず再構成画像から含まれた三次元特徴点が最も多い画像を一番目の表示しようとする画像として選択される画像を選択し、次に、二番目の表示しようとする画像として選択される画像の満たすべき条件は、その他の再構成画像に比べて、一番目の表示しようとする画像との間に含まれた異なる三次元点特徴点が最も多い。以上の原理に基づいて、表示しようとする画像に含まれた異なる三次元特徴点が閾値に達し、即ち表示しようとする画像集合に含まれた異なる三次元特徴点の数が予め設定された閾値より大きくなるまで、順次に表示しようとする画像を選択する。

【0028】

ステップ１０４：表示しようとする画像集合における表示しようとする画像の表示順序を確定し、更に表示しようとする画像の表示順序に基づいて画像表示配列を生成する。

【0029】

本実施例において、ユーザに表示するための表示しようとする画像を確定した後に、表示しようとする画像の表示順序を確定してから、表示しようとする画像をユーザに表示することができる。表示しようとする画像の関連する情報、例えば、表示しようとする画像の撮影位置、撮影角度に基づいて、表示しようとする画像の表示順序を確定することができる。

【0030】

本実施例のいくつかの選択的な実現方式において、表示しようとする画像集合における表示しようとする画像の表示順序を確定し、更に表示しようとする画像の表示順序に基づいて画像表示配列を生成するステップにおいては、表示しようとする画像の間の、撮影位置パラメータ、撮影角度パラメータを含む属性パラメータの相関関係に基づいて、表示しようとする画像の表示順序を確定するステップと、表示しようとする画像の表示順序に基づいて、画像表示配列を生成するステップと、を含む。

【0031】

以下、表示しようとする画像の撮影位置及び撮影角度パラメータに基づいて、表示しようとする画像の表示順序を確定することを例として表示しようとする画像の表示順序を確定する過程を説明する。表示しようとする画像の順序の確定は例えば以下の方式を採用することができ、表示しようとする画像の撮影位置からシーン（例えば龍門石窟）までの距離に基づいて、当該距離が大きいから小さいまでの順序に表示しようとする画像をソートして、それにより表示しようとする画像の表示順序、即ち龍門石窟から遠い処から近い処までの表示順序を確定し、表示しようとする画像が遠い処から近い処までユーザに画像におけるシーンを表示でき、それにより画像におけるシーンに空間での連続性を有させ、画像に表現された内容を更に豊かにする。

【0032】

なお、更に撮影角度に基づいて表示しようとする画像の表示順序を確定することもできる。例えば、撮影角度がシーン（例えば龍門石窟）の軸線に対するオフセット角度に基づいて、当該オフセット角度が小さいから大きいまでの順序で表示しようとする画像の表示順序を確定して、表示しようとする画像が異なる視角でユーザに画像におけるシーンを表示でき、それにより画像におけるシーンに空間の連続性を有させる。

【0033】

なお、上記の表示しようとする画像の表示順序を確定する方式を使用する際に用いられた関連情報を組み合わせることができ、表示しようとする画像の表示順序を共同に確定することができ、例えば、表示しようとする画像の撮影位置、撮影角度によって表示しようとする画像の表示順序を確定し、なお、例えば撮影位置と撮影角度の属性パラメータに対して異なる重み値を設置して、それにより最後の表示順序を確定する。

【0034】

ステップ１０５：画像表示配列における画像を連続的に表示する。

【0035】

本実施例において、表示しようとする画像の表示順序を確定した後に、画像表示配列における画像を連続的で順次に表示できる。画像配列における画像を連続的に表示する際に、画像のそれぞれを回転でき、それにより更に複数の角度で画像におけるシーンを表示して、画像に表現されたシーン内容を強調する。

【0036】

本出願の上記実施例による画像表示方法は、同じシーンを含む画像を取得して、画像の間の相関関係に基づいて画像の表示順序を確定し、確定された表示順序に連続的に画像を表示することによって、画像を表示する際に、画像におけるシーンが空間での連続性を高め、それにより画像に表現されたシーンの内容を豊かにして、更に、画像の間に遷移画像を挿入することによって、画像におけるシーンが空間での連続表示の過程において、円滑な遷移を実現する。

【0037】

本出願の画像表示方法による他の実施例を示すフロー２００である図２を参照する。当該方法は以下のステップを含む。

【0038】

ステップ２０１：同じシーンを含む原画像集合を取得する。

【0039】

ステップ２０２：原画像集合からシーンの三次元構造を再構成するための再構成画像集合を選択して、更に再構成画像集合における再構成画像を使用してシーンの三次元構造を再構成する。

【0040】

ステップ２０３：再構成画像集合から表示しようとする画像集合を選択して、表示しようとする画像集合に含まれた三次元特徴点の数が予め設定された閾値より大きい。

【0041】

ステップ２０４：表示しようとする画像の間のレンダリングコストに基づいて、表示しようとする画像の表示順序を確定して、表示しようとする画像の表示順序に基づいて、２つの隣接する表示しようとする画像ごとの間に遷移画像を挿入して、画像表示配列を生成する。

【0042】

本実施例において、表示しようとする画像を確定した後に、表示しようとする画像の間のレンダリングコストに基づいて、表示しようとする画像の表示順序を確定して、且つ表示しようとする画像を連続的に表示する際に、表示しようとする画像に遷移画像（仮想画像とも呼ばれる）を挿入でき、それにより表示しようとする画像を連続的に表示する際に、円滑な表示過程を形成させ、それにより円滑な遷移を形成する。

【0043】

本出願の画像表示方法における遷移画像の挿入を示す例示的な原理図である図３を参照する。図３はシーン対象３０１、表示しようとする画像３０２及び表示しようとする画像３０２の間にある遷移画像３０３を示す。本実施例において、表示しようとする画像３０２の間に挿入された遷移画像３０３はレンダリング過程とも呼ばれ、表示しようとする画像の間に挿入された遷移画像３０３は表示しようとする画像に基づいて生成されたものであり、同時に、２つの異なる表示しようとする画像３０２の間に遷移画像３０３を挿入することは、異なるレンダリングコストに対応する。表示しようとする画像の間のレンダリングコストに基づいて、表示しようとする画像の表示順序を確定でき、それによりレンダリングコストを小さく払う場合に、表示しようとする画像の間に遷移画像を挿入することを実現し、それにより円滑な遷移効果を形成する。

【0044】

本実施例のいくつかの選択的な実現方式において、表示しようとする画像の間のレンダリングコストに基づいて、表示しようとする画像の表示順序を確定する前に、表示しようとする画像のレンダリング関連パラメータに基づいて、レンダリング関連パラメータにおける各レンダリング関連パラメータに対応するレンダリングサブコストをそれぞれ計算するステップと、各レンダリング関連パラメータに対応するレンダリングサブコストに基づいて、表示しようとする画像の間のレンダリングコストを確定するステップと、を更に含んでおり、ここで、レンダリング関連パラメータは、ねじれ量パラメータ、撮影位置パラメータ、撮影角度パラメータ、解像度パラメータ、オプティカルフローパラメータの少なくとも１つを含む。

【0045】

本実施例において、レンダリング関連パラメータにおけるねじれ量パラメータは、２つの表示しようとする画像３０２の間に遷移画像３０３を挿入する過程において、表示しようとする画像３０２に含まれた三次元特徴点を仮想カメライメージング面にマッピングする際に発生された変形量を特徴付けることに用いられる。

【0046】

選択的に、隣接する表示しようとする画像３０２の間のねじれ量に対応するレンダリングサブコストは、表示しようとする画像３０２に含まれた三次元特徴点が仮想カメライメージング面にマッピングされた際に、表示しようとする画像３０２が矩形から非多角形角度に変わったサイズに基づいて確定されることができる。撮影位置パラメータに対応するレンダリングサブコストは表示しようとする画像３０２の撮影位置の座標に基づいて確定されることができる。例えば２つの隣接する表示しようとする画像３０２である場合に、撮影位置パラメータに対応するレンダリングサブコストは式

【数1】

によって計算されることができる。撮影角度に対応するレンダリングサブコストは隣接する表示しようとする画像３０２の撮影角度の差の絶対値を計算することによって確定されることができる。オプティカルフローに対応するレンダリングコストは隣接する表示しようとする画像のマッチしたＳＩＦＴ特徴点が２枚の写真に所在する画素位置に基づいて確定されることができ、例えば、２つの隣接する表示しようとする画像のマッチしたＳＩＦＴ特徴点は一対の特徴点を構成でき、その画素座標はそれぞれ (Ｘｉ１,Ｙｉ１)、(Ｘｉ２,Ｙｉ２)で示され、ｉはこの一対のマッチした特徴点が複数のマッチしたＳＩＦＴ特徴点の対に所在する位置を示し、オプティカルフローに対応するレンダリングサブ代償は式

【数2】

によって計算でき、解像度に対応するレンダリングコストは三次元点がカメラ平面でのイメージング範囲に基づいて確定されることができる。

【0047】

選択的に、上記パラメータに対応するレンダリングサブ代償を確定した後に、各パラメータに対応するレンダリングコストを０〜１の範囲に正規化することができる。

【0048】

一実施形態において、正規化する際に、パラメータに対して異なる重み値を設置でき、例えば、ねじれ量パラメータの重み値を最大とし、撮影位置及び撮影角度の重み値をより小さくにし、オプティカルフロー及び解像度のパラメータの重み値を最小にする。以上の重み値の設置に基づいて、画像の変化が大きすぎ、及びズーム状況が発生することを防止できる。このようにして、パラメータの重み値と正規化後のレンダリングサブコスト値に基づいて、レンダリングしようとする画像の間のレンダリングコストを確定できる。各表示しようとする画像とその他の表示しようとする画像との間のレンダリングコストを確定した後に、図構造を採用して、各表示しようとする画像を図で１つのノードで示し、ノードの間のレンダリングコスト値をノードの間の接続線における重み値で特徴付けることができる。ノードの間の接続線における重み値に基づいて、最短経路アルゴリズム、例えばダイクストラアルゴリズムによって、複数のノードの接続線における重み値の和が最小値を取得する際に対応する経路を計算し、それにより当該経路を表示しようとする画像順序を特徴付ける経路として確定でき、当該経路におけるノードに対応する順序は表示しようとする画像の表示順序である。

【0049】

本実施例のいくつかの選択的な実現方式において、表示しようとする画像の表示順序に基づいて、２つの隣接する表示しようとする画像ごとの間に遷移画像を挿入して、画像表示配列を生成するステップにおいては、表示しようとする画像の表示順序に基づいて、２つの隣接する表示しようとする画像の撮影位置ごとの間の少なくとも１つの位置に仮想カメライメージング面を含む仮想カメラを挿入し、更にカメラ内部パラメータに対して補間操作を行って仮想カメラの内部パラメータを取得するステップと、仮想カメラの内部パラメータに基づいて、表示しようとする画像に含まれた三次元特徴点をそれぞれ仮想カメライメージング面にマッピングして遷移画像を挿入し、画像表示配列を生成する。

【0050】

ステップ２０５：画像表示配列における画像を連続的に表示する。

【0051】

本実施例において、表示しようとする画像の表示順序を確定した後に、画像表示配列における画像を連続的で順次に表示できる。画像配列における表示しようとする画像を連続的に表示する過程において、表示配列における表示しようとする画像に位置する遷移画像を挿入し、即ち表示しようとする画像の間に仮想カメラを挿入し、仮想カメラと表示しようとする画像に対応する真実のカメラの間のカメラパラメータの間の関係に基づいて、表示しようとする画像に含まれた三次元特徴点を仮想カメラの仮想イメージング面にマッピングする。それにより表示配列における表示しようとする画像を連続的に表示するとともに、遷移画像を挿入し、画像の表示過程における円滑な遷移を実現する。

【0052】

本出願の画像表示装置の一実施例を示す構造模式図である図４を参照する。画像表示装置４００は、同じシーンを含む原画像集合を取得するための取得モジュール４０１と、原画像集合から三次元特徴点を含むシーンの三次元構造を再構成するための再構成画像集合を選択して、更に再構成画像集合における再構成画像を使用してシーンの三次元構造を再構成する再構成モジュール４０２と、再構成画像集合から表示しようとする画像集合を選択するための選択モジュール４０３と、表示しようとする画像集合における表示しようとする画像の表示順序を確定し、更に表示しようとする画像の表示順序に基づいて画像表示配列を生成するための確定モジュール４０４と、画像表示配列における画像を連続的に表示するための表示モジュール４０５と、を備えており、ここで、表示しようとする画像集合に含まれた三次元特徴点の数が予め設定された閾値より大きい。

【0053】

本実施例のいくつかの選択的な実現方式において、再構成モジュール４０２は、再構成画像選択サブモジュールを更に備え、画像選択サブモジュールは原画像集合における原画像のスケール不変特徴点を抽出することに用いられ、画像選択サブモジュールは更に、原画像の間のスケール不変特徴点のマッチング関係に基づいて、原画像集合から前記シーンの三次元構造を再構成するための再構成画像集合を選択することに用いられる。

【0054】

本実施例のいくつかの選択的な実現方式において、再構成モジュール４０２はシーン再構成サブモジュールを更に備え、シーン再構成サブモジュールは前記再構成画像集合における再構成画像のスケール不変特徴点に基づいて、焦点距離、主オフセット量を含むカメラ内部パラメータ、及びカメラ外部パラメータを含むカメラパラメータを回復することに用いられ、シーン再構成サブモジュールは更に再構成画像のスケール不変特徴点及びカメラパラメータに基づいて、シーンの三次元構造を再構成することに用いられる。

【0055】

本実施例のいくつかの選択的な実現方式において、選択モジュール４０３は再構成画像から基準の表示しようとする画像を選択することに用いられ、基準の表示しようとする画像に含まれた三次元特徴点の数が再構成画像集合におけるその他の再構成画像に含まれた三次元特徴点の数より多く、選択モジュール４０３は更に、基準の表示しようとする画像によって、順次に再構成画像集合から第１所定条件を満たす複数の後続の表示しようとする画像を選択することに用いられ、第１所定条件は、後続の表示しようとする画像と前の選択された後続の表示しようとする画像との間に含まれた異なる三次元特徴点の数が、後続の表示しようとする画像として選択されていない再構成画像と前の選択された後続の表示しようとする画像との間に含まれた異なる三次元特徴点の数より多いことを含む。

【0056】

本実施例のいくつかの選択的な実現方式において、確定モジュール４０４は表示しようとする画像の間の、撮影位置パラメータ、撮影角度パラメータを含む属性パラメータの相関関係に基づいて、表示しようとする画像の表示順序を確定し、表示しようとする画像の表示順序に基づいて、画像表示配列を生成することに用いられる。

【0057】

本実施例のいくつかの選択的な実現方式において、確定モジュール４０４は更に表示しようとする画像の間のレンダリングコストに基づいて、表示しようとする画像の表示順序を確定することに用いられ、レンダリングコストは表示しようとする画像の間に遷移画像を挿入する代償を指し、確定モジュール４０４は更に、表示しようとする画像の表示順序に基づいて、２つの隣接する表示しようとする画像ごとの間に遷移画像を挿入して、画像表示配列を生成する。

【0058】

本実施例のいくつかの選択的な実現方式において、確定モジュール４０４はレンダリングコスト確定サブモジュールを備え、レンダリングコスト確定サブモジュールは表示しようとする画像のレンダリング関連パラメータに基づいて、レンダリング関連パラメータにおける各レンダリング関連パラメータに対応するレンダリングサブコストをそれぞれ計算することに用いられ、レンダリング関連パラメータは、ねじれ量パラメータ、撮影位置パラメータ、撮影角度パラメータ、解像度パラメータ、オプティカルフローパラメータの少なくとも１つを含み、レンダリングコスト確定サブモジュールは更に、各レンダリング関連パラメータに対応するレンダリングサブコストに基づいて、表示しようとする画像の間のレンダリングコストを確定することに用いられる。

【0059】

本実施例のいくつかの選択的な実現方式において、確定モジュール４０４は遷移画像挿入サブモジュールを備え、遷移画像挿入サブモジュールは表示しようとする画像の表示順序に基づいて、２つの隣接する表示しようとする画像の撮影位置ごとの間の少なくとも１つの位置に仮想カメライメージング面を含む仮想カメラを挿入し、更にカメラ内部パラメータに対して補間操作を行って仮想カメラの内部パラメータを取得することに用いられ、遷移画像挿入サブモジュールは更に、仮想カメラの内部パラメータに基づいて、それぞれ表示しようとする画像に含まれた三次元特徴点を仮想カメライメージング面にマッピングして遷移画像を挿入し、画像表示配列を生成することに用いられる。

【0060】

本実施例のいくつかの選択的な実現方式において、取得モジュール４０１は更にシーンに対応する地理位置情報を含むシーン選択命令を受信し、地理位置情報に基づいて、地理位置情報に対応する原画像集合を取得することに用いられる。

【0061】

本実施例のいくつかの選択的な実現方式において、装置４００は前処理モジュールを更に備え、前処理モジュールは原画像集合に対して前処理操作を行うことに用いられ、前処理モジュールは画像フィルタリングサブモジュールと画像矯正サブモジュールの少なくとも１つを備え、画像フィルタリングサブモジュールは原画像集合における画像品質が所定値より低い原画像フィルタリングに用いられ、画像矯正サブモジュールは原画像集合における原画像の撮影位置を矯正することに用いられる。

【0062】

図５は本出願の実施例によるコンピュータシステムの構造模式図である。

【0063】

本出願の実施例の機器に適用されるコンピュータシステム５００の構造模式図である図５を参照する。

【0064】

図５に示すように、コンピュータシステム５００は、読み出し専用メモリ（ＲＯＭ）５０２に記憶されているプログラム又は記憶部５０８からランダムアクセスメモリ（ＲＡＭ）５０３にロードされたプログラムに基づいて様々な適当な動作及び処理を実行することができる中央処理装置（ＣＰＵ）５０１を備える。ＲＯＭ５０２に記憶されているプログラム又は記憶部５０８からＲＡＭ５０３にロードされたプログラムがＣＰＵ５０１により実行される場合に、ＣＰＵ５０１が本出願に記載されている方法を実施する。ＲＡＭ５０３には、システム５００の操作に必要な様々なプログラム及びデータがさらに記憶されている。ＣＰＵ５０１、ＲＯＭ５０２及びＲＡＭ５０３は、バス５０４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インターフェース５０５もバス５０４に接続されている。

【0065】

キーボード、マウスなどを含む入力部５０６、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）など、及びスピーカなどを含む出力部５０７、ハードディスクなどを含む記憶部５０８、及びＬＡＮカード、モデムなどを含むネットワークインターフェースカードの通信部５０９は、Ｉ／Ｏインターフェース５０５に接続されている。通信部５０９は、例えばインターネットのようなネットワークを介して通信処理を実行する。ドライバ５１０は、必要に応じてＩ／Ｏインターフェース５０５に接続される。リムーバブルメディア５１１は、例えば、マグネチックディスク、光ディスク、光磁気ディスク、半導体メモリなどのようなものであり、必要に応じてドライバ５１０に取り付けられ、したがって、ドライバ５１０から読み出されたコンピュータプログラムが必要に応じて記憶部５０８にインストールされる。

【0066】

特に、本発明の実施例によれば、上記のフローチャートを参照しながら記載されたプロセスは、コンピュータのソフトウェアプログラムとして実現されてもよい。例えば、本発明の実施例は、コンピュータプログラム製品を含み、当該コンピュータプログラム製品は、機械可読媒体に有形に具現化されるコンピュータプログラムを含み、前記コンピュータプログラムは、フローチャートで示される方法を実行するためのプログラムコードを含む。このような実施例では、当該コンピュータプログラムは、通信部５０９を介してネットワークからダウンロードされてインストールされてもよく、及び／又はリムーバブルメディア５１１からインストールされてもよい。

【0067】

図面におけるフローチャート及びブロック図は、本発明の各実施例に係るシステム、方法及びコンピュータプログラム製品により実現可能なアーキテクチャ、機能及び操作を示す。ここで、フローチャート又はブロック図における各枠は、１つのモジュール、プログラムセグメント、又はコードの一部を代表してもよく、前記モジュール、プログラムセグメント、又はコードの一部は、規定された論理機能を達成するための１つ以上の実行可能なコマンドを含む。また、いくつかの代替実施態様として、枠に示された機能は、図面に示された順番と異なる順番で実行されてもよい。例えば、連続して示された２つの枠は、関連する機能に応じて、実際にほぼ並行に実行されてもよく、逆の順番で実行されてもよい。また、ブロック図及び／又はフローチャートにおける各枠と、ブロック図及び／又はフローチャートにおける枠の組合せは、規定された機能又は操作を実行する、ハードウェアに基づく専用システムで実現されてもよく、あるいは、専用ハードウェアとコンピュータのコマンドとの組合せで実行されてもよい。

【0068】

一方、本発明は、コンピュータ読み取り可能な記憶媒体をさらに提供し、当該コンピュータ読み取り可能な記憶媒体は、上記実施例の前記装置に含まれるコンピュータ読み取り可能な記憶媒体であってもよく、独立に存在して端末に組み立てられていないコンピュータ読み取り可能な記憶媒体であってもよい。前記コンピュータ読み取り可能な記憶媒体には、１つ以上のプログラムが記憶され、前記１つ以上のプログラムが１つ以上のプロセッサで本出願に記載されている方法を実行するために用いられている。

【0069】

以上の記載は、本発明の好ましい実施例、及び使用された技術的原理の説明に過ぎない。本発明に係る特許請求の範囲が、上記した技術的特徴の特定な組合せからなる技術案に限定されることではなく、本発明の趣旨を逸脱しない範囲で、上記の技術的特徴又は同等の特徴の任意の組合せからなる他の技術案も含むべきであることを、当業者は理解すべきである。例えば、上記の特徴と、本発明に開示された類似の機能を持っている技術的特徴（これらに限定されない）とを互いに置き換えてなる技術案が挙げられる。

【図1】

【図2】

【図3】

【図4】

【図5】