(58)【調査した分野】(Int.Cl.,DB名)
前記1又は複数の第2ピクチャのうちの少なくとも1つを表示する前記ステップが、具体的に、前記1又は複数の第2ピクチャの中で最高解像度を有するピクチャを表示するステップであるとき、
前記方法は、
前記ディスプレイスクリーンに作用する別のプリセットジェスチャを検出するステップと、
前記別のプリセットジェスチャに応答して、別の第2ピクチャを表示するステップであって、前記別の第2ピクチャの解像度は最高解像度を有する前記ピクチャの解像度より小さい、ステップと、
を更に含む請求項6に記載の方法。
端末であって、プロセッサと、メモリと、通信インタフェースと、システムバスと、ディスプレイとを含み、前記メモリ及び前記通信インタフェースは、前記システムバスを用いて前記プロセッサに接続され通信し、前記メモリはコンピュータ実行命令を格納するよう構成され、前記通信インタフェースは別の装置と通信するよう構成され、前記プロセッサは、前記端末に請求項1乃至10のいずれか一項に記載の前記方法を実行させるために、前記コンピュータ実行命令を実行するよう構成される、端末。
【発明の概要】
【0004】
本明細書は、処理方法及び端末を提供する。端末は、第1ピクチャの目標コンテンツの特徴情報を取得し、特徴情報に従い、第1ピクチャとの一致度がプリセット閾より大きく且つ解像度が第1ピクチャの解像度より高い1又は複数の第2ピクチャを取得し、次に第2ピクチャを表示する。
【0005】
第1の態様によると、ディスプレイスクリーンを備えられた端末に適用される、ピクチャ表示方法が適用される。方法は、端末の観点から記載される。前記方法では、前記端末は、前記ディスプレイスクリーン上で第1ピクチャを表示し、前記第1ピクチャに作用するプリセットジェスチャを検出すると、前記プリセットジェスチャに応答して以下のイベント:前記プリセットジェスチャに従い前記第1ピクチャの目標コンテンツを決定すること、前記目標コンテンツの特徴情報を取得すること、前記特徴情報に従い1又は複数の第2ピクチャを取得することであって、前記第1ピクチャと前記第2ピクチャとの間の一致度はプリセット閾より大きく、前記第2ピクチャの解像度は前記第1ピクチャの解像度より高いこと、及び、前記1又は複数の第2ピクチャのうちの少なくとも1つを表示すること、をトリガする。
【0006】
端末は、第1ピクチャの目標コンテンツの特徴情報を取得し、特徴情報に従い、第1ピクチャとの一致度がプリセット閾より大きく且つ解像度が第1ピクチャの解像度より高い1又は複数の第2ピクチャを取得し、次に、より高い解像度を有するピクチャをユーザに提供するために、第2ピクチャを表示する。
【0007】
可能な実装では、特徴情報は特徴記述子を含み、端末は、目標コンテンツから特徴点を抽出して第1特徴点セットを取得し、第1特徴点セットの中の各特徴点について特徴記述子を生成する。この処理では、端末は、目標コンテンツから特徴点をローカルに抽出して、特徴記述子を取得する。
【0008】
可能な実装では、第2ピクチャと第1ピクチャとの間の一致度がプリセット閾より大きいことは、第2ピクチャ内の特徴点の中の且つ第1特徴点セット内の特徴点に一致する特徴点が、第2特徴点セットを形成することを含み、第2特徴点セット内の特徴点の数の第1特徴点セット内の特徴点の数に対する比は、プリセット閾より大きく、2つの一致する特徴点にそれぞれ対応する特徴記述子の間の距離は第1閾より小さい。
【0009】
可能な実装では、第2ピクチャの解像度が第1ピクチャの解像度より高いことは、第2ピクチャ内の特徴点の中の且つ第1特徴点セット内の特徴点に一致する特徴点が、第2特徴点セットを形成し、特徴点と第2特徴点セット内の中心点との間の平均距離が第2閾より大きく、中心点は、第2特徴点セット内の特徴点の座標の平均値であり、各特徴点と中心点との間の距離は特徴点と中心点との間のピクセル数であることを含み、
第2閾は、特徴点と第1特徴点セット内の中心点との間の平均距離である。
【0010】
可能な実装では、前記プリセットジェスチャはズームアウトジェスチャであり、前記プリセットジェスチャに従い前記第1ピクチャの目標コンテンツを決定する前記ステップは、
前記ディスプレイスクリーン上の表示コンテンツを前記目標コンテンツとして使用するステップを含む。
【0011】
可能な実装では、前記プリセットジェスチャは円形ジェスチャであり、前記プリセットジェスチャに従い前記第1ピクチャの目標コンテンツを決定する前記ステップは、
前記円形ジェスチャにより囲まれたコンテンツを前記目標コンテンツとして使用するステップを含む。
【0012】
可能な実装では、特徴情報は、全地球位置決定システムGPS情報又は慣性測定ユニットIMU情報のうちの少なくとも1つを更に含む。
【0013】
可能な実装では、前記1又は複数の第2ピクチャのうちの少なくとも1つを表示する前記ステップは、
前記1又は複数の第2ピクチャの中で最高解像度を有するピクチャを表示するステップ、又は、
前記1又は複数の第2ピクチャの全部を表示するステップ、又は、
前記1又は複数の第2ピクチャのうちの少なくとも1つをスクロールして表示するステップ、を含む。
【0014】
可能な実装では、前記1又は複数の第2ピクチャのうちの少なくとも1つを表示する前記ステップが、具体的に、前記1又は複数の第2ピクチャの中で最高解像度を有するピクチャを表示するステップであるとき、前記方法は、さらに、
前記ディスプレイに作用する別のプリセットジェスチャを検出するステップと、
前記別のプリセットジェスチャに応答して、別の第2ピクチャを表示するステップであって、前記別の第2ピクチャの解像度は最高解像度を有する前記ピクチャの解像度より小さい、ステップと、を含む。
【0015】
可能な実装では、別の第2ピクチャを表示する前記ステップの後に、前記方法は、最高解像度を有する第2ピクチャを再表示するステップを更に含む。
【0016】
可能な実装では、前記1又は複数の第2ピクチャのうちの少なくとも1つを表示する前記ステップの前に、
前記少なくとも1つの第2ピクチャと前記第1ピクチャとの間の変換行列を決定するステップと、
前記変換行列に従い前記少なくとも1つの第2ピクチャを変換するステップと、を更に含み、
前記1又は複数の第2ピクチャのうちの少なくとも1つを表示する前記ステップは、
前記変換した少なくとも1つの第2ピクチャを表示するステップを含む。
【0017】
可能な実装では、前記特徴情報に従い1又は複数の第2ピクチャを取得する前記ステップは、
前記特徴情報に従い、前記端末のメモリから、前記1又は複数の第2ピクチャを取得するステップ、又は、
前記特徴情報に従い、サーバから、前記1又は複数の第2ピクチャを取得するステップ、を含む。
【0018】
可能な実装では、前記特徴情報に従い1又は複数の第2ピクチャを取得する前記ステップは、
前記特徴情報に従い、前記端末のメモリから、前記1又は複数の第2ピクチャを取得するステップと、
第2ピクチャが前記メモリから取得されないとき、前記特徴情報をサーバへ送信し、前記サーバにより前記特徴情報に従い送信された1又は複数の第2ピクチャを受信するステップと、を含む。
【0019】
第2の態様によると、ピクチャを格納するサーバに適用される、ピクチャ表示方法が適用される。前記方法では、サーバは、目標コンテンツの且つ端末により送信された特徴情報を受信し、目標コンテンツは、プリセットジェスチャに従い第1ピクチャから端末により決定され、第1ピクチャは端末のディスプレイスクリーン上に表示され、
特徴情報に従い1又は複数の第2ピクチャを取得し、第2ピクチャと第1ピクチャとの間の一致度はプリセット閾より大きく、第2ピクチャの解像度は第1ピクチャの解像度より高く、
1又は複数の第2ピクチャを端末へ送信して、1又は複数の第2ピクチャのうちの1つを表示するよう端末をトリガする。
【0020】
サーバは、目標コンテンツの且つ端末により送信された特徴情報を受信し、特徴情報に従い、第1ピクチャとの一致度がプリセット閾より大きく且つ解像度が第1ピクチャの解像度より高い1又は複数の第2ピクチャを取得し、次に第2ピクチャを端末へ返して、端末が第2ピクチャを表示し、それにより、より高い解像度を有するピクチャをユーザに提供する。
【0021】
可能な実装では、特徴情報は特徴記述子を含む。ここで、特徴記述子は、端末が目標コンテンツから特徴点を抽出して第1特徴点セットを取得した後に、第1特徴点セットの中の各特徴点について生成される。
【0022】
可能な実装では、特徴情報は目標コンテンツを含み、特徴情報に従い1又は複数の第2ピクチャを取得する前記ステップの前に、前記方法は、目標コンテンツから特徴点を抽出して第1特徴点セットを取得し、第1特徴点セットの中の各特徴点について特徴記述子を生成するステップを更に含む。
【0023】
可能な実装では、第2ピクチャの解像度が第1ピクチャの解像度より高いことは、第2ピクチャ内の特徴点の中の且つ第1特徴点セット内の特徴点に一致する特徴点が、第2特徴点セットを形成し、特徴点と第2特徴点セット内の中心点との間の平均距離が第2閾より大きく、中心点は、第2特徴点セット内の特徴点の座標の平均値であり、各特徴点と中心点との間の距離は特徴点と中心点との間のピクセル数であることを含み、
第2閾は、特徴点と第1特徴点セット内の中心点との間の平均距離である。
【0024】
可能な実装では、特徴情報に従い1又は複数の第2ピクチャを取得するステップの前に、前記方法は、
第1ピクチャの且つ端末により送信された全地球位置決定システムGPS情報又は慣性測定ユニットIMU情報のいずれか、又は両方を受信するステップと、
GPS情報に従い格納されたピクチャから第1セットを決定し、IMU情報に従い格納されたピクチャから第2セットを決定するステップであって、第1セット内のピクチャは第1ピクチャと同じ撮影位置情報を有し、第2セット内のピクチャは第1ピクチャと同じ撮影方向情報を有する、ステップと、を更に含み、
特徴情報に従い第1セット及び第2セットから1又は複数の第2ピクチャを取得するステップは、特徴情報に従い第1セット及び第2セットから1又は複数の第2ピクチャを取得するステップを含む。
【0025】
第3の態様は、ディスプレイスクリーンを備えられた端末に適用される方法であって、
第1ピクチャに作用するズームアウトジェスチャを検出するステップであって、前記
第1ピクチャは前記ディスプレイスクリーン上に表示されるピクチャである、ステップと、
前記ズームアウトジェスチャに応答して、前記第1ピクチャのズームアウト率がプリセット値より小さいと決定し、前記第1ピクチャをズームアウトするステップ、又は、前記第1ピクチャのズーム率が前記プリセット値より小さくないと決定し、以下のイベント:第1ピクチャの目標コンテンツを決定する、前記目標コンテンツの特徴情報を取得する、前記特徴情報に従い1又は複数の第2ピクチャを取得する、及び前記1又は複数の第2ピクチャのうちの少なくとも1つを表示する、をトリガするステップであって、第2ピクチャと第1ピクチャとの間の一致度はプリセット閾より大きく、第2ピクチャの解像度は第1ピクチャの解像度より高い、ステップと、を含む方法を提供する。
【0026】
第1の態様の可能な実装の全部は、第3の態様にも適用可能である。
【0027】
第4の態様は、端末であって、
第1ピクチャを表示するよう構成されるディスプレイと、
プロセッサであって、前記第1ピクチャに作用するプリセットジェスチャを検出し、前記プリセットジェスチャに応答して以下のイベント:前記プリセットジェスチャに従い前記第1ピクチャの目標コンテンツを決定すること、
前記目標コンテンツの特徴情報を取得すること、前記特徴情報に従い1又は複数の第2ピクチャを取得すること、をトリガするよう構成されるプロセッサと、を含み、前記第1ピクチャと前記第2ピクチャとの間の一致度はプリセット閾より大きく、前記第2ピクチャの解像度は前記第1ピクチャの解像度より高く、
前記ディスプレイは、前記1又は複数の第2ピクチャのうちの少なくとも1つを表示するよう更に構成される、端末を提供する。
【0028】
可能な実装では、特徴情報は特徴記述子を含み、目標コンテンツの特徴情報を取得するステップは、前記プロセッサにより、目標コンテンツから特徴点を抽出して第1特徴点セットを取得し、第1特徴点セットの中の各特徴点について特徴記述子を生成するステップを含む。
【0029】
可能な実装では、第2ピクチャの解像度が第1ピクチャの解像度より高いことは、第2ピクチャ内の特徴点の中の且つ第1特徴点セット内の特徴点に一致する特徴点が、第2特徴点セットを形成し、特徴点と第2特徴点セット内の中心点との間の平均距離が第2閾より大きく、中心点は、第2特徴点セット内の特徴点の座標の平均値であり、各特徴点と中心点との間の距離は特徴点と中心点との間のピクセル数であることを含み、
第2閾は、特徴点と第1特徴点セット内の中心点との間の平均距離である。
【0030】
可能な実装では、プリセットジェスチャはズームアウトジェスチャであり、プロセッサは、具体的に、ディスプレイスクリーン上の表示コンテンツを目標コンテンツとして使用するよう構成される。
【0031】
可能な実装では、プリセットジェスチャは円形ジェスチャであり、プロセッサは、具体的に、円形ジェスチャにより囲まれたコンテンツを目標コンテンツとして使用するよう構成される。
【0032】
可能な実装では、特徴情報は、全地球位置決定システムGPS情報又は慣性測定ユニットIMU情報のうちの少なくとも1つを更に含む。
【0033】
可能な実装では、前記ディスプレイが、前記1又は複数の第2ピクチャのうちの少なくとも1つを表示するよう更に構成されることは、
前記ディスプレイが、
前記1又は複数の第2ピクチャの中で最高解像度を有するピクチャを表示するよう、又は、
前記1又は複数の第2ピクチャの全部を表示するよう、又は、
前記1又は複数の第2ピクチャのうちの少なくとも1つをスクロールして表示するよう、
更に構成されることを含む。
【0034】
可能な実装では、ディスプレイが、具体的に、1又は複数の第2ピクチャの中で最高解像度を有するピクチャを表示するとき、プロセッサは、ディスプレイに作用する別のプリセットジェスチャを検出し、別のプリセットジェスチャに応答して、ディスプレイが別の第2ピクチャを表示できるようにするよう更に構成され、別の第2ピクチャの解像度は最高解像度を有するピクチャの解像度より小さい。
【0035】
可能な実装では、プロセッサは、ディスプレイが1又は複数の第2ピクチャのうちの少なくとも1つの第2ピクチャを表示する前に、少なくとも1つの第2ピクチャと第1ピクチャとの間の変換行列を決定し、変換行列に従い少なくとも1つの第2ピクチャを変換するようを更に構成され、
ディスプレイは、具体的に、変換された少なくとも1つの第2ピクチャを表示するよう構成される。
【0036】
可能な実装では、前記プロセッサが前記特徴情報に従い1又は複数の第2ピクチャを取得するよう構成されることは、
前記プロセッサが、前記特徴情報に従い、前記端末のメモリから、前記1又は複数の第2ピクチャを取得する、又は、前記特徴情報に従い、サーバから、前記1又は複数の第2ピクチャを取得するよう構成されることを含む。
【0037】
可能な実装では、端末は、プロセッサが端末のメモリから第2ピクチャを取得しないとき、サーバへ特徴情報を送信し、サーバにより特徴情報に従い送信された1又は複数の第2ピクチャを受信するよう構成される通信機を更に含む。
【0038】
第5の態様は、端末であって、プロセッサと、メモリと、通信インタフェースと、システムバスと、ディスプレイとを含み、前記メモリ及び前記通信インタフェースは、前記システムバスを用いて前記プロセッサに接続され通信し、前記メモリはコンピュータ実行命令を格納するよう構成され、前記通信インタフェースは別の装置と通信するよう構成され、前記プロセッサは、第3の態様又は第3の態様の可能な実装のいずれか1つで提供される方法を実行させるために、前記コンピュータ実行命令を実行するよう構成される、端末を提供する。
【0039】
第6の態様は、サーバであって、
ピクチャを格納するよう構成されるメモリと、
目標コンテンツの且つ端末により送信された特徴情報を受信するよう構成される通信機であって、目標コンテンツは、プリセットジェスチャに従い第1ピクチャから端末により決定され、第1ピクチャは端末のディスプレイスクリーン上に表示される、通信機と、
特徴情報に従い1又は複数の第2ピクチャを取得するよう構成されるプロセッサであって、第2ピクチャと第1ピクチャとの間の一致度はプリセット閾より大きく、第2ピクチャの解像度は第1ピクチャの解像度より高い、プロセッサと、を含み、
通信機は、1又は複数の第2ピクチャを端末へ送信するよう更に構成され、端末が1又は複数の第2ピクチャのうちの1つを表示するようにする、サーバを提供する。
【0040】
可能な実装では、特徴情報は特徴記述子を含む。ここで、特徴記述子は、端末が目標コンテンツから特徴点を抽出して第1特徴点セットを取得した後に、第1特徴点セットの中の各特徴点について生成される。
【0041】
可能な実装では、特徴情報は目標コンテンツを含み、プロセッサは、目標コンテンツから特徴情報を抽出して第1特徴点セットを取得し、第1特徴点セットの中の各特徴点について特徴記述子を生成するよう更に構成される。
【0042】
可能な実装では、第2ピクチャ内の特徴点の中の且つ第1特徴点セット内の特徴点に一致する特徴点が、第2特徴点セットを形成し、特徴点と第2特徴点セット内の中心点との間の平均距離が第2閾より大きく、中心点は、第2特徴点セット内の特徴点の座標の平均値であり、各特徴点と中心点との間の距離は特徴点と中心点との間のピクセル数であり、
第2閾は、特徴点と第1特徴点セット内の中心点との間の平均距離である。
【0043】
可能な実装では、通信機は、プロセッサが特徴情報に従い1又は複数の第2ピクチャを取得する前に、第1ピクチャの且つ端末により送信された全地球位置決定システムGPS情報又は慣性測定ユニットIMU情報のいずれか、又は両方を受信するよう更に構成され、プロセッサは、GPS情報に従い格納されたピクチャから第1セットを決定し、IMU情報に従い格納されたピクチャから第2セットを決定し、第1セット内のピクチャは第1ピクチャと同じ撮影位置情報を有し、第2セット内のピクチャは第1ピクチャと同じ撮影方向情報を有し、特徴情報に従い第1セット及び第2セットから1又は複数の第2ピクチャを取得するよう更に構成される。
【0044】
第7の態様は、サーバであって、プロセッサと、メモリと、通信インタフェースと、システムバスとを含み、前記メモリ及び前記通信インタフェースは、前記システムバスを用いて前記プロセッサに接続され通信し、前記メモリはコンピュータ実行命令を格納するよう構成され、前記通信インタフェースは別の装置と通信するよう構成され、前記プロセッサは、前記サーバに第2の態様又は第2の態様の可能な実装のうちのいずれか1つで提供された前記方法を実行させるために、前記コンピュータ実行命令を実行するよう構成される、サーバを提供する。
【0045】
第8の態様は端末を提供する。端末は、前述の方法の設計における端末動作を実施する機能を有する。前記機能は、ハードウェアにより又はハードウェアにより対応するソフトウェアを実行することにより実施されて良い。ハードウェア又はソフトウェアは、前述の機能に対応する1又は複数のユニットを含む。
【0046】
可能な設計では、端末の構造は、プロセッサ及び送信機を含む。プロセッサは、前述の方法における対応する機能を実行する際に第1端末をサポートするよう構成される。送信機は、端末間の通信をサポートし、端末へ前述の方法において使用された情報又は命令を送信するよう構成される。前記端末は、メモリを更に含んで良く、前記メモリは、前記プロセッサに結合するよう構成され、前記端末のために必要なプログラム命令及びデータを格納する。
【0047】
第9の態様はサーバを提供する。サーバは、前述の方法の設計におけるサーバ動作を実施する機能を有する。前記機能は、ハードウェアにより又はハードウェアにより対応するソフトウェアを実行することにより実施されて良い。ハードウェア又はソフトウェアは、前述の機能に対応する1又は複数のユニットを含む。
ユニットは、ソフトウェア及び/又はハードウェアであって良い。
【0048】
可能な設計では、サーバの構造は、プロセッサ及び送信機を含む。プロセッサは、前述の方法における対応する機能を実行する際に前記サーバをサポートするよう構成される。送信機は、サーバと基地局との間の通信をサポートし、基地局により送信され且つ前述の方法において使用される情報又は命令を受信するよう構成される。前記サーバは、メモリを更に含んで良く、前記メモリは、前記プロセッサに結合するよう構成され、前記基地局のために必要なプログラム命令及びデータを格納する。
【0049】
第10の態様は、通信システムを提供し、前記システムは、前述の態様によるサーバ及び端末を含む。
【0050】
第11の態様は、前述の端末により使用されるコンピュータ実行可能命令を格納するよう構成されるコンピュータ記憶媒体であって、前記コンピュータ実行可能命令は、第1の態様又は第1の態様の可能な実装のいずれか1つ、又は第3の態様又は第3の態様の可能な実装のいずれか1つにおいて提供された方法を実行するために使用される命令を含む、コンピュータ記憶媒体を提供する。
【0051】
第12の態様は、前述のサーバにより使用されるコンピュータ実行可能命令を格納するよう構成されるコンピュータ記憶媒体であって、前記コンピュータ実行可能命令は、第2の態様又は第2の態様の可能な実装のいずれか1つにおいて提供された方法を実行するために使用される命令を含む、コンピュータ記憶媒体を提供する。
【0052】
第13の態様は、少なくとも1つのプロセッサと、メモリと、入力/出力部と、バスと、を含むチップシステムであって、前記少なくとも1つのプロセッサは、前記バスを用いて前記メモリから命令を取得して、前述の方法において使用される端末の設計機能を実施する。
【0053】
第14の態様は、少なくとも1つのプロセッサと、メモリと、入力/出力部と、バスと、を含むチップシステムであって、前記少なくとも1つのプロセッサは、前記バスを用いて前記メモリから命令を取得して、前述の方法において使用されるサーバの設計機能を実施する。
【0054】
第15の態様は、1又は複数のプログラムを格納するコンピュータ可読記憶媒体であって、前記1又は複数のプログラムは端末により実行され、前記端末は、端末に適用される前述の方法のステップを実行する、コンピュータ可読記憶媒体。
【0055】
第16の態様は、端末上のグラフィカルユーザインタフェースであって、前記端末は、ディスプレイと、メモリと、複数のアプリケーションプログラムと、メモリに格納された1又は複数のプログラムを実行するよう構成される1又は複数のプロセッサとを含み、前記グラフィカルユーザインタフェースは、端末に適用される前述の方法において表示されるユーザインタフェースを含む、グラフィカルユーザインタフェースを提供する。
【0056】
纏めると、端末は、第1ピクチャの目標コンテンツの特徴情報を取得し、特徴情報に従い、第1ピクチャとの一致度がプリセット閾より大きく且つ解像度が第1ピクチャの解像度より高い1又は複数の第2ピクチャを取得し、次に第2ピクチャを表示する。この処理では、端末は、第1ピクチャの目標コンテンツの特徴情報を取得し、特徴情報に従い、第1ピクチャとの一致度がプリセット閾より大きく且つ解像度が第1ピクチャの解像度より高い1又は複数の第2ピクチャを取得し、次に、より高い解像度を有するピクチャをユーザに提供するために、第2ピクチャを表示する。
【発明を実施するための形態】
【0058】
ユーザが端末でピクチャを閲覧するとき、該ピクチャ内の関心領域が鮮明に表示されない場合、ユーザは、目標コンテンツを連続的にズームアウトし、端末によりサポートされる最大ズーム率の範囲内で目標コンテンツを閲覧する。
【0059】
しかしながら、粗悪な解像度を有するピクチャでは、ピクチャ内の表示された目標コンテンツが端末によりサポートされる最大ズーム率を用いてズームアウトされた場合でさえ、目標コンテンツは依然として鮮明に表示できない。
【0060】
これに鑑み、本発明の実施形態は、ピクチャ表示方法及び端末を提供する。端末は、第1ピクチャの目標コンテンツの特徴情報を取得し、特徴情報に従い、第1ピクチャとの一致度がプリセット閾より大きく且つ解像度が第1ピクチャの解像度より高い1又は複数の第2ピクチャを取得し、次に第2ピクチャを表示する。
【0061】
本発明の実施形態では、端末は、特徴情報に従い、ローカルに格納されたピクチャから1又は複数の第
2ピクチャを取得して良い。さらに、端末は、代替として特徴情報をサーバへ送信して良く、サーバは、特徴情報に従い、サーバに格納されたピクチャから第2ピクチャを取得する。この場合、基本入力/出力モジュールに加えて、端末は、サーバに接続可能である必要もある。接続方法は、ブルートゥース、Wi−Fi、インターネット、等であって良い。端末が第2ピクチャを取得するためにサーバと相互作用するとき、本発明の実施形態が適用可能なシステムのアーキテクチャ図は、
図1に示される。
【0062】
図1は、本発明の一実施形態によるピクチャ表示方法の適用可能なシステムの概略図である。
図1に示すように、本発明の本実施形態は、端末及び/又はサーバに関する。
【0063】
具体的に、本発明の本実施形態における端末は、ディスプレイスクリーンを設けられた端末、等であって良い。端末は、ユーザに音声及び/又はデータ接続性を提供する装置、無線接続機能を備えるハンドヘルド装置、又は無線モデムに接続された別の処理装置であって良い。端末は、無線アクセスネットワーク(例えば、RAN、Radio Access Network)を通じて1又は複数のコアネットワークと通信して良い。端末は、携帯電話機(「セルラ」フォンとしても参照される)のようなモバイル端末又はモバイル端末を備えるコンピュータであって良い。例えば、端末は、ポータブルモバイル機器、ポケットサイズのモバイル機器、ハンドヘルドモバイル機器、コンピュータ内蔵モバイル機器、又は車内モバイル機器であって良く、モバイル機器は、無線アクセスネットワークと音声及び/又はデータを交換する。
【0064】
以下は、本発明を詳細に記載するために、端末が1又は複数の第2ピクチャをローカルに取得する一例を用いる。詳細については
図2を参照する。
【0065】
図2は、本発明の一実施形態によるピクチャ表示方法の概略図である。本発明の本実施形態は、端末が、目標コンテンツに一致する且つ解像度が目標コンテンツの解像度より高い第2ピクチャを表示することを要求されるシナリオに適用可能である。具体的に、本発明の本実施形態は、以下のステップを含む。
【0066】
101。端末は、端末のディスプレイスクリーン上に第1ピクチャを表示する。
【0067】
102。端末は、第1ピクチャに作用するプリセットジェスチャを検出し、プリセットジェスチャに応答して以下のイベントをトリガする。
【0068】
103。端末は、プリセットジェスチャに従い、第1ピクチャの目標コンテンツを決定する。
【0069】
ユーザがピクチャを閲覧するとき、ピクチャ内のユーザの関心領域が鮮明に表示されない場合、ユーザインタフェースは、第1ピクチャに対して操作を実行して、端末が第1ピクチャから目標コンテンツを決定するようにする。例えば、プリセットジェスチャはズームアウトジェスチャであり、端末は、ズームアウトジェスチャに従い第1ピクチャから目標コンテンツを決定する。別の例では、プリセットジェスチャは円形ジェスチャであり、端末は、円形ジェスチャにより囲まれた領域を目標コンテンツとして使用する。異なるプリセットジェスチャは、異なるトリガ条件として理解され得る。
【0070】
104。端末は、目標コンテンツの特徴情報を取得する。
【0071】
105。端末は、特徴情報に従い1又は複数の第2ピクチャを取得する。
【0072】
104及び105で、目標コンテンツを決定した後に、端末は、目標コンテンツの特徴情報を取得し、特徴情報に従い第1ピクチャに一致する第2ピクチャを見付ける。第2ピクチャと第1ピクチャとの間の一致度はプリセット閾より大きく、第2ピクチャの解像度は第
1ピクチャの解像度より高い。
【0073】
異なるピクチャ内の2つの特徴点について、2つの特徴点のそれぞれの特徴記述子が計算され、2つの特徴記述子が類似性を有する、例えば、2つの特徴記述子の間のユークリッド距離が第1閾より小さい場合、2つの特徴記述子にそれぞれ対応する特徴点は一致すると考えられる。このように、特徴点は、異なるピクチャ間で追跡され得る。さらに、特徴点追跡は、特徴点一致としても理解され得る。
【0074】
可能な設計では、端末は、ローカルに格納されたピクチャから、第1ピクチャに一致する少なくとも1つの第2ピクチャを見付ける。第2ピクチャは、第1ピクチャの目標コンテンツを含み、第2ピクチャと第1ピクチャとの間の一致度はプリセット閾より大きく、第2ピクチャの解像度は第1ピクチャの解像度より高い。概して、ピクセル密度が高いほど、高い解像度を示す。
【0075】
特徴点照合処理では、任意の格納された被照合ピクチャについて、端末は被照合ピクチャから特徴点を抽出する。これらの特徴点の中の且つ第1特徴点セットの中の特徴点に一致する特徴点は、第2特徴点セットを形成する。第2特徴点セット内の特徴点の数の第1特徴点セット内の特徴点の数に対する比がプリセット閾より大きい場合、特徴点と第2特徴点セット内の中心点との間の平均距離が第2閾より大きいか否かが、更に決定される。平均距離が第2閾より大きい場合、被照合ピクチャは第2ピクチャであると考えられる。中心点は特徴点の座標の平均値であり、各特徴点と中心点との間の距離は、特徴点と中心点との間のピクセル数である。第2閾は、特徴点と第1特徴点セット内の中心点との間の平均距離であり、又はプリセット値である。
【0076】
例えば、第1特徴点セット内の特徴点の合計数は10である。端末により格納されたピクチャの中の特定被照合ピクチャについて、端末は被照合ピクチャから特徴点を抽出する。これらの特徴点の中の且つ第1特徴点セットの中の特徴点に一致する特徴点は、第2特徴点セットを形成する。第2特徴点セットが8個の特徴点を含み、第2特徴点セット内の特徴点の数の第1特徴点セット内の特徴点の数に対する比が80%であると仮定すると、プリセット閾は80%より小さく、これは、被照合ピクチャと第1ピクチャとの間の一致度がプリセット閾より大きいことを示す。この場合、特徴点と第2特徴点セット内の中心点との間の平均距離が第2閾より大きいか否かが更に決定される。平均距離が第2閾より大きい場合、被照合ピクチャは第2ピクチャであると考えられる。
【0077】
前述の照合処理では、第2特徴点セット内の特徴点の数の第1特徴点セット内の特徴点の数に対する比がプリセット閾より大きくない場合、これは、被照合ピクチャが第1ピクチャに一致しないことを示し、特徴点と第2特徴点セット内の中心点との間の平均距離が第2閾より大きいか否かを更に決定する必要はない。さらに、第2特徴点セット内の特徴点の数の第1特徴点セット内の特徴点の数に対する比がプリセット閾より大きい場合、特徴点と第2特徴点セット内の中心点との間の平均距離が第2閾より大きくないならば、つまり、被照合ピクチャの解像度が第2閾より高くないならば、これは、被照合ピクチャは第2ピクチャとして使用できないことを示す。
【0078】
106。端末は、第2ピクチャを表示する。
【0079】
1又は複数の第2ピクチャを取得した後に、端末は、少なくとも1つの第2ピクチャを表示する。例えば、端末は、1又は複数の第2ピクチャの中で最高解像度を有するピクチャを表示する。別の例では、端末は、1又は複数の第2ピクチャの全部を表示する。更に別の例では、端末は、1又は複数の第2ピクチャのうちの少なくとも1つをスクロールして表示する。
【0080】
本発明の本実施形態で提供されるピクチャ表示方法によると、端末は、第1ピクチャの目標コンテンツの特徴情報を取得し、特徴情報に従い、第1ピクチャとの一致度がプリセット閾より大きく且つ解像度が第1ピクチャの解像度より高い1又は複数の第2ピクチャを取得し、次に第2ピクチャを表示して、より高い解像度を有するピクチャをユーザに提供する。
【0081】
図2に示す前述の実施形態では、端末は、ローカルに格納されたピクチャから、第1ピクチャに一致する少なくとも1つの第2ピクチャを見付ける。しかしながら、本発明はこれに限定されない。別の実施可能な実装では、例えば、
図1に基づき、端末は、代替として、特徴情報をサーバへ送信して良く、サーバは第1ピクチャに一致する第2ピクチャを見付ける。送信処理では、サーバがリモートサーバである場合、端末は、目標コンテンツに関する情報を、ネットワーク、Wi−Fi、ブルートゥース、等を用いてリモートサーバへ送信する。可能な実装では、端末は、代替として、先ず端末のメモリ内で、第1ピクチャに一致する第2ピクチャを探して良い。1又は複数の一致する第2ピクチャが見付かった場合、端末は1又は複数の第2ピクチャのうちの少なくとも1つを表示する。一致する第2ピクチャが見付からない場合、端末は、特徴情報をサーバへ送信し、サーバにより見付けられた1又は複数の一致する第2ピクチャを受信する。
【0082】
図3は、本発明の一実施形態による別のピクチャ表示方法の概略図である。方法は以下のステップを有する。
【0083】
201。端末は、第1ピクチャから目標コンテンツを決定する。
【0084】
目標コンテンツを決定した後に、端末は、特徴情報をサーバへ送信して、サーバが特徴情報に従い第1ピクチャに一致する第2ピクチャを見付けるようにする。具体的に、特徴情報は、特徴情報の特定コンテンツに依存して方法A又は方法Bで送信されて良い。
【0086】
2021。端末は、目標コンテンツから特徴点を抽出して第1特徴点セットを取得し、第1特徴点セット内の各特徴点について特徴記述子を生成する。
【0087】
2022。端末は、特徴記述子をサーバへ送信する。
【0089】
2023。端末は、目標コンテンツをサーバへ送信する。
【0090】
2024。サーバは、目標コンテンツから特徴点を抽出して第1特徴点セットを取得し、第1特徴点セット内の各特徴点について特徴記述子を生成する。
【0091】
方法A及び方法Bでは、ピクチャ内の特徴点は、劇的に変化するグレイスケール値を有する領域内に位置し且つ周囲ピクチャから比較的容易に区別され、且つ容易に検出される点、例えばピクチャ内の方形フレームの角(Corner)である。点は、通常、点の周辺の領域内のピクセルを用いて計算される特徴記述子(Feature Descript
or)により記述され得る。特徴記述子は、不変倍率特徴変換(Scale
−Invariant Feature Transform、SIFT)、堅牢な特徴量の高速化(Speeded Up Robust Features、SURF)、勾配方向のヒストグラム(Histogram of Oriented Gradients、HOG)、等を含む。特徴記述子は、通常、n次元ベクトルである。特徴記述子は、勾配値が重み付けされる且つ特徴点の周囲の特定領域内のピクセルを用いて構築される、勾配方向のヒストグラムを用いて生成される。
【0092】
留意すべきことに、方法A及び方法Bは並列的ソリューションであり、実際には1つの選択肢が選択される。
【0093】
203。サーバは、特徴情報に従い、第1ピクチャに一致する第2ピクチャを見付ける。
【0094】
204。サーバは、第2ピクチャを端末へ送信する。
【0095】
205。端末は、第2ピクチャを表示する。
【0096】
次に、
図1を参照して、本発明におけるピクチャコンテンツ検索方法が、幾つかの特定の実施形態を用いて詳述される。
【0097】
図4は、本発明の一実施形態による別のピクチャ表示方法の概略図である。本発明の本実施形態では、プリセットジェスチャは、具体的に、ズームアウトジェスチャである。具体的に、本発明の本実施形態は、以下のステップを含む。
【0098】
301。端末は、第1ピクチャに作用するズームアウトジェスチャを検出する。
【0099】
本ステップでは、ユーザは、ズームアウトジェスチャを用いて、例えばズームするためにつまむことを使用して、第1ピクチャをズームアウトする。相応して、端末は、ズームアウトジェスチャに応答して、第1ピクチャをズームアウトする。
【0100】
302。端末は、第1ピクチャの倍率が第3閾に達した又は超えると決定し、第1ピクチャに作用する継続的なズームアウトジェスチャが検出された場合、第1ピクチャの且つディスプレイスクリーン上で表示される領域を目標コンテンツとして使用する。
【0101】
端末は、第1ピクチャの倍率が第3閾に達した又は超え、端末が、ユーザは第1ピクチャをズームアウトし続けていると決定すると、端末は、第1ピクチャの且つディスプレイスクリーン上で表示される領域をユーザの目標コンテンツとして使用する。この場合、目標コンテンツは、可視領域として参照されても良い。詳細については
図5Aを参照する。
【0102】
図5Aは、本発明の一実施形態による第1ピクチャの概略図である。
図5Aに示すように、ユーザは、端末によりサポートされる最大倍率を用いて第1ピクチャをズームアウトしたが、依然として「こんにちは」及び「世界」以外の単語を明確に見ることができない。ユーザが第1ピクチャを再びズームアウトしようとすると、端末は、ユーザが依然として第1ピクチャを明確に見ていないと考える。この場合、ユーザは、第1ピクチャの且つディスプレイスクリーン上に表示される領域を目標コンテンツとして使用する。
【0103】
303。端末は、目標コンテンツから特徴点を抽出して第1特徴点セットを取得し、第1特徴点セット内の各特徴点について特徴記述子を生成する。
【0104】
304。端末は、特徴記述子をサーバへ送信する。
【0105】
任意で、本ステップで、特徴記述子を送信することに加えて、端末は、第1ピクチャの全地球位置決定システム(Global Positioning System、GPS)情報及び/又は慣性測定ユニット(Inertial Measurement Unit、IMU)情報を送信して良い。
【0106】
305。サーバは、特徴記述子に従い、第1ピクチャとの一致度がプリセット閾より大きいピクチャが格納されたピクチャの中に存在するか否かを決定し、ピクチャが格納されたピクチャの中に存在する場合、ステップ307を実行し、その他の場合、ステップ306を実行する。
【0107】
本ステップでは、サーバは、特徴記述子に従い、第1ピクチャとの一致度がプリセット閾より大きいピクチャが格納されたピクチャの中に存在するか否かを決定し、第1ピクチャとの一致度がプリセット閾より大きいピクチャを一致するピクチャとして使用する。一致度がプリセット閾より大きいピクチャは、以下を意味する:ピクチャ内の特徴点の中の且つ第1特徴点セット内の特徴点と一致する特徴点は第2特徴点セットを形成し、第2特徴点セット内の特徴点の数の第1特徴点セット内の特徴点の数に対する比は第1閾より大きい。
【0108】
留意すべきことに、前述のステップ304で、端末は、第1ピクチャのGPS情報及びIMU情報をサーバへ更に送信し、本ステップで、サーバは、さらに、GPS情報に従い格納されたピクチャから第1セットを決定し、及び/又はIMU情報に従い格納されたピクチャから第2セットを決定する。第1セット内のピクチャは、第1ピクチャと同じ撮影場所情報を有し、第2セット内のピクチャは第1ピクチャと同じ撮影方向情報を有する。次に、サーバは、特徴記述子に従い、第1ピクチャに一致する第2ピクチャを、第1セット及び/又は第2セットから見付ける。本処理では、サーバは、全ての格納されたピクチャから特徴点を抽出しないが、格納されたピクチャから幾つかのピクチャを選択し、該幾つかのピクチャから特徴点を抽出し、及びこれらの特徴点と第1ピクチャ内の特徴点との間の照合を実行する。このように、サーバは、検索時間を短縮するために、より狭い第2ピクチャ検索範囲を生成できる。
【0109】
306。サーバは、照合失敗メッセージを端末へ送信する。
【0110】
307。サーバは、一致するピクチャから、解像度が第2閾より高いピクチャを決定する。
【0111】
本発明の本実施形態では、一致するピクチャから決定された且つ解像度が第2閾より高いピクチャは、第2ピクチャである。サーバは、第1ピクチャとの一致度がプリセット閾より大きい全てのピクチャから、特徴点と第2特徴点セット内の中心点との間の平均距離が第2閾より大きいピクチャを決定し、一致するピクチャを第2ピクチャとして使用する。
【0112】
前述の処理において、平均距離を計算する方法については、
図6を参照する。
【0113】
図6は、本発明の一実施形態に従い平均距離を決定する概略図である。
図6を参照すると、一致するピクチャ内の特徴点の中の且つ第1特徴点セット内の特徴点に一致する特徴点により形成される第2特徴点セットは、4個の特徴点を含むと仮定する。4個の特徴点は空洞の円により示され、この
第2特徴点セット内の中心点は塗りつぶされた円により示される。4個の特徴点の座標は、それぞれP1(x1,y1)、P2(x2,y2)、P3(x3,y3)、P4(x4,y4)であり、中心点の座標は
【数1】
であると仮定する。次に、P0と4個の特徴点との間の距離は、
【数2】
として決定される。ここで、j=1,...,4である。これから、平均距離は
【数3】
であることが分かる。
【0114】
以上に基づくと、第2特徴点セットがn個の特徴点を有するとき、第2特徴点セット内の中心点p0は
【数4】
であり、P0とn個の特徴点との間の距離は
【数5】
であり、j=1,...,nである。これから、平均距離は
【数6】
であることが分かる。
【0115】
留意すべきことに、本ステップは任意的ステップである。つまり、サーバは、代替として、少なくとも1つの一致するピクチャをソートせず、全ての一致するピクチャを第2ピクチャとして使用し、全ての第2ピクチャを端末へ送信し、又は全ての第2ピクチャのうちの1つをランダムに端末へ送信して良い。もちろん、サーバは、代替として、特別な第2ピクチャを端末へ送信して良い。特別な第2ピクチャは、最高解像度を有する第2ピクチャ、等である。
【0116】
308。サーバは、第2ピクチャを端末へ送信する。
【0117】
本ステップで、サーバは、第2ピクチャを端末へ送信する。任意で、送信処理において、サーバは、例えば、第2ピクチャの第2特徴点セット内の特徴点の位置座標も端末へ送信する。
【0118】
サーバは、1つの第2ピクチャだけを端末へ送信して良い。この場合、第2ピクチャは、全ての第2ピクチャの中で最高解像度を有するピクチャである。代替として、サーバは、第2ピクチャのうちの全部又は一部を端末へ送信して良い。例えば、サーバが少なくとも1つの第2ピクチャを解像度の降順でソートした場合、本ステップで、サーバはN個の第2ピクチャを端末へ送信して良い。N個の第2ピクチャは、前述の平均距離が比較的大きいN個のピクチャである。N=1のとき、これは、サーバが端末へ、第1ピクチャに一致する全ての第2ピクチャの中で最大平均距離を有する第2ピクチャだけを送信することを意味する。最大平均距離を有する第2ピクチャは、最大解像度を有する第2ピクチャである。
【0119】
309。端末は、サーバにより送信された照合失敗メッセージ又は第2ピクチャが受信されたかを決定し、照合失敗メッセージが受信された場合、ステップ310を実行し、その他の場合、ステップ311を実行する。
【0120】
310。端末は、いかなる動作も実行しない。
【0121】
311。端末は、第2ピクチャと第1ピクチャとの間の変換行列を決定する。
【0122】
端末は、第2ピクチャと第1ピクチャとの間の変換行列を決定し、変換行列に従い第2ピクチャを変換する。
【0123】
具体的に、端末は、第1ピクチャ内の特徴点及び第2ピクチャ内の対応する特徴点に従い、2つの特徴点にそれぞれ対応する特徴点セットの間の変換行列を計算する。変換行列は、例えば3×3行列により表され、2つの特徴点にそれぞれ対応する特徴点セットの間の変換行列は、第2ピクチャと第1ピクチャとの間の変換
行列である。変換行列計算処理において、先ず、初期値が直接線形変換(Direct Linear Transformation、DLT)のような線形アルゴリズムを用いて計算され、次に、変換行列が非線形アルゴリズムを用いて更に最適化される。非線形アルゴリズムは、ガウス−ニュートン(Gauss−Newton)アルゴリズム、傾斜降下法(Gradient Descent)アルゴリズム、L−M(Levenberg−Marquardt)アルゴリズム、等を含む。
【0124】
312。端末は、変換行列に従い第2ピクチャを変換する。
【0125】
具体的に、変換された第2ピクチャ内の各点のグレイスケール値は、例えば逆補間を通じて取得されて良い。第2ピクチャを変換することは、第2ピクチャと端末のディスプレイスクリーン上に現在表示されているピクチャ、つまり第1ピクチャとの間の、回転、平行移動、又はスケーリングのような変換により引き起こされる遷移の感覚を除去できる。
【0126】
313。端末は、変換された第2ピクチャを表示する。
【0127】
本ステップでは、端末は、現在表示されている第1ピクチャを変換された第2ピクチャで置き換える。詳細については
図5Bを参照する。
【0128】
図5Bは、本発明の一実施形態による第2ピクチャの概略図である。
図5Bに示すように、始めに
図5Aで明確に表示できなかったピクチャについて、高解像度を有する第2ピクチャがサーバから見付けられ得る。
【0129】
本実施形態では、端末によりサポートされる最大倍率を用いて端末のディスプレイスクリーン上に現在表示されている第1ピクチャをズームアウトした後に、ユーザは、第1ピクチャをズームアウトし続けて、格納されたピクチャから第1ピクチャに一致する且つ高解像度を有する第2ピクチャを見付け及び該第2ピクチャを端末へ返すようサーバをトリガし、端末が第1ピクチャを第2ピクチャで置き換え、第2ピクチャを表示するようにして、より高解像度のピクチャをユーザに提供する。
【0130】
前述のステップ311で、端末は、変換に従い第2ピクチャを変換する。以下は、前述の変換を詳述する。詳細については
図7〜
図7Cを参照する。
【0131】
図7Aは、本発明の一実施形態による別の第1ピクチャの概略図である。
図7Aを参照すると、第1ピクチャが始めに端末のディスプレイスクリーン上に表示され、ユーザは、第1ピクチャ内のガム容器にある言葉を明確に見たいと望む。ユーザが最大倍率を用いて第1ピクチャをズームアウトした後に、端末のディスプレイスクリーンに表示された領域がユーザの目標コンテンツである。このとき、ユーザは、依然としてガム容器にある言葉「イーダ」を明確に見ることができない。この場合、端末は、目標コンテンツの特徴点を抽出して第1特徴点セットを取得し、第1特徴点セット内の各特徴点について特徴記述子を生成し、サーバは、格納されたピクチャから、第1ピクチャに一致する第2ピクチャを見付ける。詳細については
図7Bを参照する。
【0132】
図7Bは、本発明の一実施形態による別の第2ピクチャの概略図である。
図7Bを参照すると、サーバから返された第2ピクチャは、第1ピクチャとの高い類似性を有する。つまり、それらは互いに一致するピクチャである。さらに、第2ピクチャの解像度は、第1ピクチャの目標コンテンツの解像度より高い。ディスプレイスクリーンの領域が限られているので、第2ピクチャが変換されない場合、第2ピクチャの且つディスプレイスクリーンに表示される領域は、第1ピクチャの目標コンテンツに最も良好に一致する領域である。この場合、ディスプレイスクリーン上の第2ピクチャ内のユーザの真の関心領域を表示するために、ユーザは、端末のスクリーン上で操作を実行するよう要求される。ユーザ操作によりもたらされる不便を回避するために、第2ピクチャは変換される必要がある。詳細については
図7Cを参照する。
【0133】
図7Cは、本発明の一実施形態による、第2ピクチャが変換された後に取得されるピクチャの概略図である。
図7Cを参照すると、第2ピクチャが変換された後に、サーバから返された、高解像度を有するピクチャのユーザ目標コンテンツは、平行移動され、回転され、又はディスプレイスクリーン範囲内でスケーリングされる。
【0134】
さらに、前述の
図4中のステップは、端末上の第1ピクチャをサーバ内の第2ピクチャで置換する処理として理解され得る。
図4の前述のステップ307では、サーバは1つの第2ピクチャのみを端末に返すと仮定する。しかしながら、ユーザは、要件、つまり、ユーザにより生成される別のプリセットジェスチャに従い、別の第2ピクチャを要求して良い。以下は、端末がどのようにユーザ要件に従い次のピクチャ又は前のピクチャを表示するかを説明する。詳細については
図5C、
図8A、及び
図8Bを参照する。
【0135】
図5Cは、本発明の一実施形態による第2ピクチャ切り替えの概略図である。
図5Cに示すように、次の通り仮定する:ユーザによる右キーの押下は、解像度がサーバからの現在の第2ピクチャの解像度より低い次の第2ピクチャの取得を表し、ここで特定手順については
図8Aを参照でき、並びに、左キーは前に表示されたピクチャに戻ることを表し、ここで特定手順については
図8Bを参照できる。右キーは、右矢印ボタンであり、又はタッチスクリーンの場合には左スライド操作であって良く、左キーは左矢印ボタンであり、又はタッチスクリーンの場合には右スライド操作であって良い。右キーの押下、左キーの押下、右へのスライド、左へのスライド、等は、別のプリセットジェスチャとして理解され得る。
【0136】
図8Aは、本発明の一実施形態による次の第2ピクチャを要求するフローチャートである。本発明の本実施形態は、以下のステップを含む。
【0137】
401。端末は、ユーザが右キーを押下したか否かを決定し、ユーザが右キーを押下していない場合、ステップ402を実行し、その他の場合、ステップ403を実行する。
【0138】
ユーザが右矢印ボタンを押下した場合、これは、ユーザが次の第2ピクチャにアクセスする必要があることを示す。第2ピクチャの解像度は、前にサーバにより端末へ返された第2ピクチャの解像度より低い。
【0139】
402。端末は、いかなる処理も実行しない。
【0140】
403。端末は、サーバへ、次の第2ピクチャにアクセスするために要求メッセージを送信する。
【0141】
404。サーバは、次の第2ピクチャを端末へ返す。
【0142】
サーバにより端末に返される第2ピクチャの解像度は、前にサーバにより端末へ返された第2ピクチャの解像度より低い。送信処理において、サーバは、例えば、より低い解像度を有する第2ピクチャの第2特徴点セット内の各特徴点の位置座標も端末へ送信する。
【0143】
405。端末は、第2ピクチャと第1ピクチャとの間の変換行列を決定する。
【0144】
第2ピクチャは、サーバが端末から次のピクチャを表示する要求を受信した後に、端末に返された第2ピクチャとして理解され得る。
【0145】
406。端末は、変換行列に従い第2ピクチャを変換する。
【0146】
407。端末は、変換された第2ピクチャを表示する。
【0147】
図8Bは、本発明の一実施形態による前の第2ピクチャに戻ることを要求するフローチャートである。本発明の本実施形態は、以下のステップを含む。
【0148】
501。端末は、ユーザが左キーを押下したか否かを決定し、ユーザが左キーを押下していない場合、ステップ502を実行し、その他の場合、ステップ503を実行する。
【0149】
具体的に、本ステップで、ユーザが左矢印ボタンを押下した場合、これは、ユーザが前の第2ピクチャに戻る必要があることを示す。
【0150】
502。端末は、いかなる処理も実行しない。
【0151】
503。端末は、前の第2ピクチャを表示する。
【0152】
図4の前述の実施形態では、プリセットジェスチャは、具体的に、ズームアウトジェスチャである。別の実施形態では、プリセットジェスチャは代替として円形ジェスチャであって良い。詳細については図
9を参照する。
【0153】
図9は、本発明の一実施形態による別のピクチャ表示方法の概略図である。本実施形態では、プリセットジェスチャは具体的に円形ジェスチャである。本発明の本実施形態は、以下のステップを含む。
【0154】
601。端末は、第1ピクチャに作用する円形ジェスチャを検出し、円形ジェスチャにより囲まれた領域を目標コンテンツとして使用する。
【0155】
ユーザは、円形ジェスチャを用いて第1ピクチャから特定領域を囲む。相応して、円形ジェスチャに応答して、端末は、第1ピクチャの且つ円形ジェスチャにより囲まれた領域を目標コンテンツとして使用する。
【0156】
留意すべきことに、円形ジェスチャは閉じた円又は閉じていない円がディスプレイスクリーン上に描かれることを意味する。閉じていない円が円形ジェスチャにより描かれると、端末は、閉じていない円に従い閉じた円を取得し、閉じた円を目標コンテンツとして使用する。
【0157】
本ステップは、端末の入力/出力モジュールを用いてユーザにより、明瞭に表示されない領域を囲む処理として理解され得る。
【0158】
602。目標コンテンツから特徴点を抽出して第1特徴点セットを取得し、第1特徴点セット内の各特徴点について特徴記述子を生成する。
【0159】
603。特徴記述子をサーバへ送信する。
【0160】
詳細については
図4のステップ304を参照する。
【0161】
604。サーバは、特徴記述子に従い、第1ピクチャとの一致度がプリセット閾より大きいピクチャが格納されたピクチャの中に存在するか否かを決定し、ピクチャが格納されたピクチャの中に存在する場合、ステップ606を実行し、その他の場合、ステップ605を実行する。
【0162】
605。サーバは、照合失敗メッセージを端末へ送信する。
【0163】
606。サーバは、一致するピクチャから、解像度が第2閾より高いピクチャを決定する。
【0164】
詳細については
図4のステップ307を参照する。
【0165】
607。第2ピクチャを端末へ送信する。
【0166】
詳細については
図4のステップ308を参照する。
【0167】
608。端末は、サーバにより送信された照合失敗メッセージ又は第2ピクチャが受信されたかを決定し、照合失敗メッセージが受信された場合、ステップ609を実行し、その他の場合、ステップ610を実行する。
【0168】
609。端末は、いかなる動作も実行しない。
【0169】
610。端末は、第2ピクチャと第1ピクチャとの間の変換行列を決定する。
【0170】
第2ピクチャは、端末上で表示されるべき第2ピクチャとして理解されて良い。
【0171】
詳細については
図4のステップ313を参照する。
【0172】
611。端末は、変換行列に従い第2ピクチャを変換する。
【0173】
612。端末は、変換された第2ピクチャを表示する。
【0174】
本発明の本実施形態では、ユーザが第1ピクチャの且つ明瞭に見ることのできない特定領域を選択した後に、端末は、選択領域を目標コンテンツとして使用し、格納されたピクチャの中で第1ピクチャに一致し且つ高解像度を有する第2ピクチャを見付けて第2ピクチャを端末へ返すようサーバをトリガして、より高解像度のピクチャをユーザに提供するために、端末が、第1ピクチャを第2ピクチャで置換し、第2ピクチャを表示するようにする。
【0175】
前述の実施形態では、少なくとも1つの第2ピクチャが存在する。第2ピクチャが返されると、1つの第2ピクチャのみが返される場合、端末は1つの第2ピクチャのみを表示し、又は、複数の第2ピクチャが返される場合、端末は少なくとも1つの第2ピクチャの各々をスクロールして表示する、若しくは端末は、少なくとも1つの第2ピクチャを同時に表示して良い。
【0176】
複数の第2ピクチャをスクロールして表示するとき、少なくとも1つの第2ピクチャの1つのピクチャに作用する第1操作を検出した場合、端末は、第1操作に応答して、第1操作に対応するピクチャをズームアウトし表示する。第1操作は、例えば、ユーザの指を用いて端末上の特定キー又はディスプレイスクリーン上の特定領域を押下することである。詳細については
図10A及び
図10Bを参照する。
図10Aは、本発明の本実施形態によるスクロールして表示することを停止する概略図である。
図10Bは、本発明の本実施形態によるスクロールして表示することを停止する別の概略図である。
【0177】
図10Aに示すように、ディスプレイスクリーン上にスクロールして表示される第2ピクチャは、ピクチャ1、ピクチャ2、及びピクチャ3である。ユーザが特定キーを押下した、例えばホームキーを押下した場合、スクロールは停止される。
図10Bに示すように、ユーザが特定領域、例えばピクチャ3の位置する領域を押下した場合、スクロールは停止され、ピクチャ3はズームアウトされ表示される。
【0178】
さらに、複数の第2ピクチャを同時に表示するとき、少なくとも1つの第2ピクチャのうちの1つに作用する第2操作を検出した場合、端末は第2操作に対応するピクチャをズームアウトし表示する。
【0179】
図11は、本発明の一実施形態による端末の概略構造図である。本発明の本実施形態で提供される端末は、端末に適用され且つ本発明の実施形態のうちの任意の1つにおいて提供される方法のステップを実施して良い。具体的に、本発明の本実施形態で提供される端末は、
第1ピクチャを表示するよう構成されるディスプレイ11と、
プロセッサ12であって、第1ピクチャに作用するプリセットジェスチャを検出し、プリセットジェスチャに応答して以下のイベント:
プリセットジェスチャに従い第1ピクチャの目標コンテンツを決定すること、
目標コンテンツの特徴情報を取得すること、
特徴情報に従い1又は複数の第2ピクチャを取得することであって、第1ピクチャと第2ピクチャとの間の一致度はプリセット閾より大きく、第2ピクチャの解像度は第1ピクチャの解像度より高いこと、
をトリガするよう構成されるプロセッサ12と、を含み、ディスプレイ11は、1又は複数の第2ピクチャのうちの少なくとも1つを表示するよう更に構成される。
【0180】
本発明の本実施形態で提供される端末は、第1ピクチャの目標コンテンツの特徴情報を取得し、特徴情報に従い、第1ピクチャとの一致度がプリセット閾より大きく且つ解像度が第1ピクチャの解像度より高い1又は複数の第2ピクチャを取得し、次に第2ピクチャを表示して、より高い解像度を有するピクチャをユーザに提供する。
【0181】
任意で、特徴情報は、特徴記述子を含み、目標コンテンツの特徴情報を取得するステップは、目標コンテンツから特徴点を抽出して第1特徴点セットを取得し、第1特徴点セットの中の各特徴点について特徴記述子を生成するステップを含む。
【0182】
任意で、第2ピクチャの解像度が第1ピクチャの解像度より高いことは、
第2ピクチャ内の特徴点の中の且つ第1特徴点セット内の特徴点に一致する特徴点が、第2特徴点セットを形成し、特徴点と第2特徴点セット内の中心点との間の平均距離が第2閾より大きく、中心点は、第2特徴点セット内の特徴点の座標の平均値であり、各特徴点と中心点との間の距離は特徴点と中心点との間のピクセル数であることを含み、
第2閾は、特徴点と第1特徴点セット内の中心点との間の平均距離である。
【0183】
任意で、プリセットジェスチャはズームアウトジェスチャであり、プロセッサ12は、具体的に、ディスプレイスクリーン上の表示コンテンツを目標コンテンツとして使用するよう構成される。
【0184】
任意で、プリセットジェスチャは円形ジェスチャであり、プロセッサ12は、具体的に、円形ジェスチャにより囲まれたコンテンツを目標コンテンツとして使用するよう構成される。
【0185】
任意で、特徴情報は、全地球位置決定システムGPS情報又は慣性測定ユニットIMU情報のうちの少なくとも1つを更に含む。
【0186】
任意で、ディスプレイ11は、具体的に、1又は複数の第2ピクチャの中で最高解像度を有するピクチャを表示するよう、又は1又は複数の第2ピクチャの全部を表示するよう、又は1又は複数の第2ピクチャのうちの少なくとも1つをスクロールして表示するよう構成される。
【0187】
任意で、ディスプレイ11が、具体的に、1又は複数の第2ピクチャの中で最高解像度を有するピクチャを表示するとき、プロセッサ12は、ディスプレイ11に作用する別のプリセットジェスチャを検出し、別のプリセットジェスチャに応答して、ディスプレイが別の第2ピクチャを表示できるようにするよう更に構成され、別の第2ピクチャの解像度は最高解像度を有するピクチャの解像度より小さい。
【0188】
任意で、プロセッサ12は、ディスプレイ11が1又は複数の第2ピクチャのうちの少なくとも1つの第2ピクチャを表示する前に、少なくとも1つの第2ピクチャと第1ピクチャとの間の変換行列を決定し、変換行列に従い少なくとも1つの第2ピクチャを変換するようを更に構成され、
ディスプレイ11は、具体的に、変換された少なくとも1つの第2ピクチャを表示するよう構成される。
【0189】
任意で、プロセッサ12は、具体的に、特徴情報に従い、端末のメモリから1又は複数の第2ピクチャを取得する、又は特徴情報に従い、サーバから1又は複数の第2ピクチャを取得するよう構成される。
【0190】
任意で、更に
図11を参照すると、端末は、プロセッサ12が端末のメモリから第2ピクチャを取得しないとき、サーバへ特徴情報を送信し、サーバにより特徴情報に従い送信された1又は複数の第2ピクチャを受信するよう構成される通信機13を更に含む。
【0191】
図12は、本発明の一実施形態による別の端末の概略構造図である。本実施形態で提供される端末200は、プロセッサ21と、メモリ22と、通信インタフェース23と、システムバス24と、ディスプレイ25とを含む。メモリ22及び通信インタフェース23は、システムバス24を用いてプロセッサ21に接続され通信し、メモリ22はコンピュータ実行命令を格納するよう構成され、通信インタフェース23は別の装置と通信するよう構成され、プロセッサ21は、端末200に端末に適用される前述の方法のステップを実行させるために、コンピュータ実行命令を実行するよう構成される。
【0192】
図13は、本発明の一実施形態によるサーバの概略構造図である。本発明の本実施形態で提供されるサーバは、サーバに適用され且つ本発明の実施形態のうちの任意の1つにおいて提供される方法のステップを実施して良い。具体的に、本発明の本実施形態で提供されるサーバは、
ピクチャを格納するよう構成されるメモリ31と、
目標コンテンツの且つ端末により送信された特徴情報を受信するよう構成される通信機32であって、目標コンテンツは、プリセットジェスチャに従い第1ピクチャから端末により決定され、第1ピクチャは端末のディスプレイスクリーン上に表示される、通信機32と、
特徴情報に従い1又は複数の第2ピクチャを取得するよう構成されるプロセッサ33であって、第2ピクチャと第1ピクチャとの間の一致度はプリセット閾より大きく、第2ピクチャの解像度は第1ピクチャの解像度より高い、プロセッサ33と、を含み、
通信機32は、1又は複数の第2ピクチャを端末へ送信するよう更に構成され、端末が1又は複数の第2ピクチャのうちの1つを表示するようにする。
【0193】
本発明の本実施形態で提供されるサーバは、目標コンテンツの且つ端末により送信された特徴情報を受信し、特徴情報に従い、第1ピクチャとの一致度がプリセット閾より大きく且つ解像度が第1ピクチャの解像度より高い1又は複数の第2ピクチャを取得し、次に第2ピクチャを端末へ返して、より高い解像度を有するピクチャをユーザに提供するために、端末が第2ピクチャを表示するようにする。
【0194】
任意で、特徴情報は、特徴記述子を含む。ここで、特徴記述子は、端末が目標コンテンツから特徴点を抽出して第1特徴点セットを取得した後に、第1特徴点セットの中の各特徴点について生成される。
【0195】
任意で、特徴情報は、目標コンテンツを含み、プロセッサ33は、目標コンテンツから特徴情報を抽出して第1特徴点セットを取得し、第1特徴点セットの中の各特徴点について特徴記述子を生成するよう更に構成される。
【0196】
任意で、第2ピクチャ内の特徴点の中の且つ第1特徴点セット内の特徴点に一致する特徴点が、第2特徴点セットを形成し、特徴点と第2特徴点セット内の中心点との間の平均距離が第2閾より大きく、中心点は、第2特徴点セット内の特徴点の座標の平均値であり、各特徴点と中心点との間の距離は特徴点と中心点との間のピクセル数であり、
第2閾は、特徴点と第1特徴点セット内の中心点との間の平均距離である。
【0197】
任意で、通信機32は、プロセッサ33が特徴情報に従い1又は複数の第2ピクチャを取得する前に、第1ピクチャの且つ端末により送信された全地球位置決定システムGPS情報又は慣性測定ユニットIMU情報のいずれか、又は両方を受信するよう更に構成され、プロセッサ33は、GPS情報に従い格納されたピクチャから第1セットを決定し、IMU情報に従い格納されたピクチャから第2セットを決定し、第1セット内のピクチャは第1ピクチャと同じ撮影位置情報を有し、第2セット内のピクチャは第1ピクチャと同じ撮影方向情報を有し、特徴情報に従い第1セット及び第2セットから1又は複数の第2ピクチャを取得するよう更に構成される。
【0198】
図14は、本発明の一実施形態による別のサーバの概略構造図である。本発明の本実施形態で提供されるサーバは、プロセッサ41と、メモリ42と、通信インタフェース43と、システムバス44とを含む。メモリ42及び通信インタフェース43は、システムバス44を用いてプロセッサ41に接続され通信し、メモリ42はコンピュータ実行命令を格納するよう構成され、通信インタフェース43は別の装置と通信するよう構成され、プロセッサ41は、サーバに、サーバに適用される前述の方法のステップを実行させるために、コンピュータ実行命令を実行するよう構成される。
【0199】
さらに、本発明の一実施形態は、1又は複数のプログラムを格納するコンピュータ可読記憶媒体を更に提供する。1又は複数のプログラムが端末により実行されると、端末は、端末に適用される前述の方法のステップを実行する。
【0200】
さらに、本発明の一実施形態は、端末上のグラフィカルユーザインタフェースを提供する。端末は、ディスプレイと、メモリと、複数のアプリケーションプログラムと、メモリに格納された1又は複数のプログラムを実行するよう構成される1又は複数のプロセッサとを含み、グラフィカルユーザインタフェースは、端末に適用される前述の方法において表示されるユーザインタフェースを含む。
【0201】
前述のシステムバスは、周辺機器相互接続(peripheral component interconnect、PCI)バス、拡張業界標準アーキテクチャ(extended industry standard architecture、EISA)バス、等であって良い。システムバスは、アドレスバス、データバス、制御バス、等を含み得る。提示の便宜上、1本の太線のみが図中でバスを提示するために使用されるが、これは1本のバス又は1種類のバスのみが存在することを意味するものではない。通信インタフェースは、データベースアクセス機器と(クライアント、リード/ライトデータベース、又は読み出し専用データベースのような)別の装置との間の通信を実施するよう構成される。メモリは、ランダムアクセスメモリ(random access memory、RAM)を含んで良く、又は不揮発性メモリ(non−volatile memory)、例えば少なくとも1つのディスクメモリを更に含んで良く、又はセキュアデジタルメモリカード(Secure Digital Memory Card/SD card、SD)、等であって良い。
【0202】
プロセッサは、中央処理装置(Central Processing Unit、CPU)、ネットワークプロセッサ(Network Processor、NP)等を含む汎用プロセッサであって良く、又はデジタル信号プロセッサ(Digital Signal Processor、DSP)、特定用途向け集積回路(Application
−Specific Integrated Circuit、ASIC)、フィールドプログラマブルゲートアレイ(Field−Programmable Gate Array、FPGA)又は別のプログラマブル論理素子、個別ゲート又はトランジスタ論理装置、又は個別ハードウェアコンポーネントであって良い。
【0203】
当業者は、方法の実施形態のステップの全部又は一部が関連するハードウェアに指示するプログラムにより実装されて良いことを理解する。プログラムは、コンピュータ可読記憶媒体に格納されて良い。プログラムが実行すると、方法の実施形態のステップが実行される。前述の記憶媒体は、ROM、RAM、磁気ディスク又は光ディスクのような、プログラムコードを格納可能な任意の媒体を含む。
【0204】
最後に、留意すべきことに、前述の実施形態は、単に本発明の技術的ソリューションを説明するためであり、本発明の範囲を限定するためではない。本発明は、前述の実施形態を参照して詳細に説明されたが、当業者は、本発明の実施形態の技術的ソリューションの範囲から逸脱することなく、彼らが前述の実施形態で説明した技術的ソリューションに変更を行い、又はそれら実施形態の一部又は全部の技術的特徴を等価に置換できることを理解する。