特許 6031096 オブジェクトの位置を通じた映像ナビゲーション

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6031096

(24)【登録日】2016年10月28日

(45)【発行日】2016年11月24日

(54)【発明の名称】オブジェクトの位置を通じた映像ナビゲーション

(51)【国際特許分類】

   H04N 5/76 20060101AFI20161114BHJP

   H04N 5/93 20060101ALI20161114BHJP

   G06F 17/30 20060101ALI20161114BHJP

   G11B 27/10 20060101ALI20161114BHJP

   G11B 27/34 20060101ALI20161114BHJP

   G11B 27/02 20060101ALI20161114BHJP

   G11B 20/10 20060101ALI20161114BHJP

【ＦＩ】

   H04N5/76 B

   H04N5/93 Z

   H04N5/76 A

   G06F17/30 170B

   G06F17/30 350C

   G11B27/10 A

   G11B27/34 S

   G11B27/02 B

   G11B20/10 321Z

【請求項の数】13

【全頁数】11

(21)【出願番号】特願2014-515137(P2014-515137)

(86)(22)【出願日】2012年6月6日

(65)【公表番号】特表2014-524170(P2014-524170A)

(43)【公表日】2014年9月18日

(86)【国際出願番号】EP2012060723

(87)【国際公開番号】WO2012171839

(87)【国際公開日】20121220

【審査請求日】2015年6月3日

(31)【優先権主張番号】11305767.3

(32)【優先日】2011年6月17日

(33)【優先権主張国】EP

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】シユバリエ，ルイス

(72)【発明者】

【氏名】ペレ，パトリツク

(72)【発明者】

【氏名】ランベール，アンヌ

【審査官】 堀 洋介

(56)【参考文献】

【文献】 特開２００９−０８１８４５（ＪＰ，Ａ）

【文献】 特開２０１１−０２３８６７（ＪＰ，Ａ）

【文献】 特開平０５−１０８７３０（ＪＰ，Ａ）

【文献】 特開２０００−２８５２５３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００９／００５２８６１（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／７６

Ｇ０６Ｆ １７／３０

Ｇ１１Ｂ ２０／１０

Ｇ１１Ｂ ２７／０２

Ｇ１１Ｂ ２７／１０

Ｇ１１Ｂ ２７／３４

Ｈ０４Ｎ ５／９３

(57)【特許請求の範囲】

【請求項1】

画像シーケンス内のナビゲーションを行う方法であって、
画像を画面上に表示するステップと、
第１の入力に従って第１の位置で前記表示された画像の第１のオブジェクトを選択するステップと、
第２の入力に従って前記第１のオブジェクトを第２の位置に移動させるステップと、
前記第１のオブジェクトが前記第２の位置の近傍にある前記画像シーケンス内の少なくとも１つの画像を特定するステップと、
前記特定された画像のうちの１つから画像シーケンスの再生を開始するステップと、
を含み、
前記第１のオブジェクトを第２の位置に移動させるステップは、
・さらなる入力に従って、第３の位置で前記表示された画像の第２のオブジェクトを選択するステップと、
・前記第２のオブジェクトに関連して前記第１のオブジェクトの移動先を定義するステップと、
・前記移動先に前記第１のオブジェクトを移動させるステップと、
を含み、
前記特定するステップは、前記第１のオブジェクトの前記移動先の相対的な位置が前記第２のオブジェクトの前記位置の近傍にある前記画像シーケンス内の少なくとも１つの画像を特定することを含む、前記方法。

【請求項2】

前記第１のオブジェクトを選択するための前記第１の入力は、前記第１のオブジェクトをクリックすることと、前記第１のオブジェクトの周りに境界ボックスを描くことと、インデックスによって前記第１のオブジェクトを選択することと、のうちの１つである、請求項１に記載の方法。

【請求項3】

前記第２の位置は、前記第１の位置の座標とは異なる前記画面上の座標によって定義される、請求項１または２に記載の方法。

【請求項4】

前記第２の位置は、前記第２のオブジェクトに対して定義される、請求項１または２に記載の方法。

【請求項5】

前記第２のオブジェクトを選択するステップにおける前記さらなる入力は、前記第２のオブジェクトをクリックすること、前記第２のオブジェクトの周りに境界ボックスを描くこと、または、インデックスで前記第２のオブジェクトを選択することである、請求項１記載の方法。

【請求項6】

前記第１の及び／又は第２のオブジェクトがオブジェクト・セグメンテーション、オブジェクト検出、または、顔検出によって選択される、請求項１〜５のいずれか１項に記載の方法。

【請求項7】

前記特定するステップは、前記画像シーケンスの画像内の前記第１のオブジェクトの前記位置を定義するためにオブジェクト・トラッキングを行うことを含む、請求項１〜５のいずれか１項に記載の方法。

【請求項8】

前記第２のオブジェクトを選択するためにキー・ポイント技術が使用される、請求項１〜７のいずれか１項に記載の方法。

【請求項9】

前記第２のオブジェクトを選択するためにキー・ポイント技術が使用され、キー・ポイントの記述が前記画像シーケンス内の複数の異なる画像におけるオブジェクトの類似度を判定するために使用される、請求項１〜７のいずれか１項に記載の方法。

【請求項10】

前記画像シーケンスの画像の部分のみが、前記第２のオブジェクトが前記第２の位置の近傍にある少なくとも１つの画像を特定するために分析される、請求項１〜９のいずれか１項に記載の方法。

【請求項11】

前記画像シーケンスの画像の部分が、現在表示されている画像から特定の再生時間のある特定の数の画像、または、前記現在表示されている画像に後続する全ての画像、または、前記現在表示されている画像よりも前の全ての画像を表す、請求項１０に記載の方法。

【請求項12】

前記画像シーケンスの画像の部分が、Ｉピクチャ、Ｂピクチャ、およびＰピクチャのうちの１つを表す、請求項１０または１１に記載の方法。

【請求項13】

画像シーケンス内のナビゲーションを行う装置であって、
該装置が、請求項１〜１２のいずれか１項に従った方法を実行する、前記装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像シーケンス内、例えば、映画内でナビゲーションを行って、これをインタラクティブにレンダリングする方法、具体的には、携帯機器上で映像がレンダリングされることにより、ユーザのインタラクションが容易に行われるようにする方法に関する。さらに、本発明は、この方法を実行する装置に関する。

【背景技術】

【0002】

映像の分析関して複数の異なる技術が存在する。「オブジェクト・セグメンテーション（ｏｂｊｅｃｔ ｓｅｇｍｅｎｔａｔｉｏｎ）」と呼ばれる技術が本技術分野において知られており、この技術は、色およびテクスチャ情報に基づいて、空間画像セグメンテーション、すなわち、オブジェクト境界を作成するものである。オブジェクトは、ユーザによって、オブジェクト・セグメンテーション技術を使用して、単に、このオブジェクト内の１つ以上のポイントを選択することによって速やかに輪郭が定められる。オブジェクト・セグメンテーションのための公知のアルゴリズムは、「グラフカット」および「分水嶺」である。別の技術は、「オブジェクト・トラッキング」と呼ばれている。オブジェクトがその空間境界によって定義された後、オブジェクトは、後続する画像シーケンス内で自動的にトラッキングされる。オブジェクト・トラッキングのために、オブジェクトは、通常、その色分布によって記述される。オブジェクト・トラッキングの公知のアルゴリズムは、「平均値シフト法（ｍｅａｎ ｓｈｉｆｔ）」である。精度および堅牢性を高めるために、アルゴリズムの中には、オブジェクトの外観構造に依存するものがある。オブジェクト・トラッキングのための公知の記述は、Ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ（ＳＩＦＴ）である。別の技術は、「オブジェクト検出（ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ）」と呼ばれている。一般的なオブジェクト検出技術は、検出しようとするオブジェクトの外観の統計的なモデルを計算するために、機械学習を利用する。これには、オブジェクトの多数の例が必要となる（グラウンド・トルース（ｇｒｏｕｎｄ ｔｒｕｔｈ））。モデルを使用することによって新たな画像に対して自動的なオブジェクト検出が行われる。通常、モデルは、ＳＩＦＴ記述語に依存する。今日使用されている最も一般的な機械学習技術には、ブースティングおよびサポート・ベクトル・マシン（ＳＶＭ）が含まれる。さらに、顔検出は、特定のオブジェクト検出のアプリケーションである。この場合、使用される特徴量は、通常、フィルタ・パラメータであり、より具体的には、「ハール・ウェーブレット」・パラメータである。良く知られている実施態様は、カスケード型ブースト分類器、例えば、Ｖｉｏｌａ−Ｊｏｎｅｓ法に依存する。

【0003】

ニュースやドキュメンタリーなどの映像コンテンツを視聴するユーザは、何らかのセグメントをスキップして、または、何らかのポイントに直接進むことによって、映像とのインタラクションを望む可能性がある。この可能性は、ディスプレイとのインタラクションを容易に行うために映像のレンダリングに使用されるタブレットなどの触覚装置を使用しているときにより一層望まれる。

【0004】

このノンリニア・ナビゲーションを可能とするために、いくつかの手段があるシステムで利用可能ある。第１の例は、再生時間の固定量をスキップすること、例えば１０秒間分または３０秒間分、映像内で先送りすることである。第２の例は、次のカット、または、次のＧＯＰにジャンプすることである。これらの２つのケースでは、根本的な分析の意味的なレベルが制限されている。これらのスキップのメカニズムは、映像データに従って行っており、映画のコンテンツに従って行っているのではない。ユーザにとって、ジャンプが終わったときに何の画像が表示されるのかが明らかではない。さらに、スキップされる期間の長さは短い。

【0005】

第３の例は、次のシーンへのジャンプを行うことである。シーンとは、一連のショットからなるＴＶショーまたは映画内の単一の位置におけるアクションの部分である。ひとつのシーン全部をスキップする場合、一般的には、これは、別のアクションが開始する映画の部分、映画内の別の位置にジャンプすることを意味する。ここで、スキップする映像の部分が余りにも長くなることがある。ユーザは、より細かいステップで移動することを望むことがある。

【0006】

あるシステムでは徹底的な映像分析を利用可能なものがあり、何らかのオブジェクトや人物にインデックスが付けられることさえある。そこで、ユーザは、映像内でこれらのオブジェクト／顔が視認できるときにオブジェクト／顔をクリックすることができ、すると、システムは、これらの人物が再び現れるポイントに移動することができ、または、この特定のオブジェクト上に追加的な情報を表示することができる。この方法は、システムが実効的にインデックスを付けることができるオブジェクトの数に依存する。現状では、例えば、平均的なニュース映像において遭遇することができる多様なオブジェクトと比較して、存在する検出するものの数は比較的少ない。

【発明の概要】

【0007】

本発明の目的は、概略的に上述したような制限を克服し、よりユーザ・フレンドリで直感的に認識できるナビゲーションを提供する、ナビゲーションを行う方法およびこの方法を実施する装置を提案することにある。

【0008】

本発明に従って画像シーケンス内のナビゲーションを行う方法が提案される。
この方法は、以下のステップを含む。
・画像を画面上に表示するステップ。
・第１の入力に従って第１の位置で上記表示された画像の第１のオブジェクトを選択するステップ。この第１の入力は、ユーザ入力、または、この方法を実行する装置に接続された別の装置からの入力である。
・第２の入力に従って、上記第１のオブジェクトを第２の位置に移動させるステップ。代替的には、第１のオブジェクトは、シンボル、例えば、十字、プラス、または、円のシンボルによって示され、このシンボルは、第１のオブジェクト自体の代わりに移動される。上記第２の位置は、例えば座標によって定義される画面上の位置である。第２の位置を定義する別の方法は、画像内の少なくとも１つの他のオブジェクトに関連して第１のオブジェクトの位置を定義することである。
・上記第１のオブジェクトが上記第２の位置の近傍にある上記画像シーケンス内の少なくとも１つの画像を特定するステップ。
・上記特定された画像のうちの１つから画像シーケンスの再生を開始するステップ。上記第１のオブジェクトと第２のオブジェクトとが互いに近傍にあるという条件を満たすものとして特定された第１の画像で再生が開始される。別の解決法では、この方法は、この条件を満たす全ての画像を特定し、ユーザは条件を満たす画像のうちの１つを選択してこの画像から再生を開始する。さらなる解決法では、上記２つのオブジェクト間の距離が最も小さい画像シーケンス内の画像が再生のための開始ポイントとして使用される。オブジェクト間の距離を定義するために、例えば、絶対値が使用される。オブジェクトが別のオブジェクトの近傍にあるかどうかを定義する別の方法は、Ｘ座標およびＹ座標を使用することのみによる方法、または、複数の異なる重み係数を使用してＸ方向およびＹ方向の距離を重み付けすることによる方法である。

【0009】

本方法には、映像またはニュース番組であり、放送または記録された画像シーケンスを視聴するユーザは、画像のコンテンツに従って画像シーケンス内のナビゲーションを行い、この際主に技術的な理由から定義される放送されたストリームの何らかの固定された構造に依存することがないという利点がある。ナビゲーションは、直感的に、よりユーザ・フレンドリな方法で行われる。この方法は、ユーザがオブジェクトを実際に移動していることを感じ取れるようにリアルタイムに行われることが好ましい。特定のインタラクションによって、ユーザは、指定されたオブジェクトが画面から消える時点を要求する。

【0010】

上記第１のオブジェクトを選択するための上記第１の入力は、オブジェクトをクリックすること、または、オブジェクトの周りに境界ボックスを描くことである。従って、ユーザは、マンマシン・インタフェースのための公知の入力方法を適用する。インデックスが作成される場合には、ユーザは、さらに、このインデックスによってデータベースからオブジェクトを選択することができる。

【0011】

本発明に従って、第２の入力に従って上記第１のオブジェクトを第２の位置に移動させるステップは、
・さらなる入力に従って第３の位置で表示された画像の第２のオブジェクトを選択することと、
・上記第２のオブジェクトに関連して第１のオブジェクトの移動先を定義することと、
・上記移動先に上記第１のオブジェクトを移動させることと、を含む。

【0012】

上記特定するステップは、上記第１のオブジェクトの移動先の相対的な位置が第２のオブジェクトの位置の近傍にある画像シーケンス内の少なくとも１つの画像を特定することをさらに含む。これには、ユーザが画面の物理的な座標に関連する画面上の位置を選択できるだけでなく、オブジェクトに対し、画像内の他のオブジェクトに関してユーザーが予期するオブジェクトの位置を選択できるという利点がある。例えば、記録されたサッカーの試合において、第１のオブジェクトがボールであれば、ボールがゴールの近傍にあるとき、ユーザは、興味の有りそうなシーンが存在することを予期して、このボールをゴールの方向に移動させることができる。これは、間もなくチームが得点を得るか、選手がボールをゴールにキックする可能性があるためである。オブジェクトによるこの種のナビゲーションは、画面の座標から完全に独立しているが、画像内の２つのオブジェクトの相対距離に依存している。上記第１のオブジェクトの移動先の位置が上記第２のオブジェクトの位置の近傍にあるということは、さらに、第２のオブジェクトが上記第１のオブジェクトの移動先の位置と全く同じ位置にある場合、または、第２のオブジェクトが、移動した第１のオブジェクトの移動先と重なる場合を含む。２つのオブジェクトの互いの相対位置を定義するためにオブジェクトのサイズおよびオブジェクトの経時的な変化が考慮されることが好ましい。さらに代替的には、ユーザは、オブジェクト、例えば顔を選択し、顔のサイズを定義するために、顔の境界ボックスをズームする。その後、このサイズで、または、このサイズに近いサイズで顔が表示されている画像を画像シーケンス内でサーチする。この機能は、例えば、インタビューが再生され、ユーザが特定の人物のスピーチに興味を持っている場合に、この人物がスピーチを行う際、画面の最も大きな部分のほとんどを占めるようにこの人物の顔が表示されることを想定すれば、利点がある。従って、本発明の１つの利点は、特定の人物がインタビューされている録画の部分にジャンプする容易な方法が存在することにある。上記第１のオブジェクトおよび第２のオブジェクトは、必ずしも画像シーケンスの同一の画像内で選択される必要はない。

【0013】

上記第２のオブジェクトを選択するためのさらなる入力は、オブジェクトをクリックすること、または、オブジェクトの周りに境界ボックスを描くことである。従って、ユーザは、マンマシン・インタフェースのための公知の入力方法を適用する。インデックスが作成される場合には、ユーザは、さらに、このインデックスによってデータベースから上記オブジェクトを選択することができる。

【0014】

上記オブジェクトを選択するために、オブジェクト・セグメンテーション、オブジェクト検出、または、顔検出が用いられる。上記第１のオブジェクトが検出されると、画像シーケンスの後続する画像内のこのオブジェクトの位置のトラッキングをするためにオブジェクト・トラッキング技術が使用される。さらに、オブジェクトを選択するためにキー・ポイント技術が用いられる。さらに、キー・ポイントの記述が画像シーケンス内の複数の異なる画像におけるオブジェクトの類似度を判定するために使用される。オブジェクトを選択し、特定し、トラッキングするために、上述した技術を組み合わせたものが使用される。階層構造のセグメンテーションは、ノードおよびリーフが画像の重ね合わされた領域に対応するツリーを生成する。このセグメンテーションは、予め行われる。ユーザが画像の所与のポイントにタップすることによってオブジェクトを選択すると、このポイントを含む最小のノードが選択される。ユーザのさらなるタップが受信されると、１番目のタップで選択されたノードが２番目のタップで選択されたノードの親として考慮される。従って、オブジェクトを定義するために対応する領域が考慮される。

【0015】

本発明に従えば、画像シーケンスの画像の部分のみが、オブジェクトが第２の位置の近傍にある少なくとも１つの画像を特定するために分析される。分析されるべきこの部分は、実際の画像に後続する特定の数の画像であり、この特定の数の画像は、現在表示されている画像に後続する特定の再生時間を表している。この方法を実行する別の方法は、現在表示されている画像に後続する全ての画像、または、現在表示されている画像より前の全ての画像を分析することである。これは、早送りのナビゲーション、または、早戻しのナビゲーションを表すので、ユーザにとって画像シーケンス内でナビゲーションを行うための、なじみのある方法である。本発明の別の実施態様に従えば、Ｉピクチァのみ、または、ＩピクチャおよびＰピクチャのみ、または、全てのピクチャがオブジェクト・ベースのナビゲーションのために分析される。

【0016】

本発明は、さらに、上述した方法に従って画像シーケンス内のナビゲーションを行う装置に関する。

【0017】

さらなる良好な理解のために、以下、図面を参照して本発明をより詳細に説明する。本発明は、この例示的な実施形態に限定されるものではなく、本発明の範囲を逸脱することなく、特定の特徴事項を適宜組み合わせ、さらに／または、改変できることも理解されよう。

【図面の簡単な説明】

【0018】

【図1】画像シーケンスを再生し、本発明の方法を実行する装置を示す図である。

【図2】ナビゲーションを行う本発明の方法を示す図である。

【図3】本発明の方法を例示するフローチャートである。

【図4】本発明に係るナビゲーションの第１の例を示す図である。

【図5】本発明に係るナビゲーションの第２の例を示す図である。

【発明を実施するための形態】

【0019】

図１は、画像シーケンスを表示する再生装置を概略的に表している。この再生装置は、画面１と、ＴＶ受信機、ＨＤＤ、ＤＶＤまたはＢＤプレイヤなどの画像シーケンスのソース２と、マンマシン・インタフェース３とを含む。再生装置は、全ての機能を含む装置、例えば、タブレットであってもよく、その画面をマンマシン・インタフェース（タッチスクリーン）としても使用することができ、映画またはドキュメンタリーを記憶するハード・ディスクまたはフラッシュ・ディスクが存在し、さらに、放送受信機が装置内に組み込まれている。

【0020】

図２は、複数の画像からなる、例えば、映画、ドキュメンタリー、またはスポーツ・イベントの画像シーケンス１００を示している。現在画面上に表示されている画像１０１は、本発明の方法の開始ポイントである。最初のステップにおいて、画面ビュー１１は、この画像１０１を表示する。マンマシン・インタフェースから受信された第１の入力に従って、第１のオブジェクト１２が選択される。次に、この第１のオブジェクト１２またはこの第１のオブジェクト１２を表すシンボルは、例えば、マンマシン・インタフェースによって受信される第２の入力に従ったドラッグ・アンド・ドロップによって、画面上の別の位置１３に移動される。画面ビュー２１において、第１のオブジェクト１２の新たな位置１３が例示されている。次に、この方法は、第１のオブジェクト１２の移動先１３の近傍の位置１４に第１のオブジェクト１２がある、画像シーケンス１００内の少なくとも１つの画像１０２を特定する。この画像において、位置１４は、ドラッグ・アンド・ドロップの動きによって示されている、所望の位置１３に対してある特定の距離１５を有する。この距離１５は、所望の位置と調べられる画像内の位置とがどの程度近いかを評価する尺度として使用される。これは、画面ビュー３１に例示されている。最良の画像を特定した後、ユーザのリクエストに従って、この画像が画面ビュー４１上に表示される。この画像は、画像シーケンス１００内の画像１０２に示されているような、ある特定の位置を有する。画像シーケンス１００は、この特定の位置から再生される。

【0021】

図３は、本方法によって実行されるステップを例示している。最初のステップ２００において、第１の入力に従って、表示されている画像内でオブジェクトが選択される。第１の入力は、マンマシン・インタフェースから受信される。ここで説明している選択処理は、短期間に実行されるものと想定する。これにより、オブジェクトの外観が大きく変化しすぎることがなくなる。選択されたオブジェクトを検出するために、画像分析が実行される。現在のフレームの画像が分析され、画像内に存在するキー・ポイントのセットを捕捉する、興味のあるポイントが抽出される。これらのキー・ポイントは、強いｇｒａｄｉｅｎｔ（勾配）が存在する位置に位置する。これらのキー・ポイントは、周囲のテクスチャの記述を用いて抽出される。画像における位置が選択されると、この位置の周りのキー・ポイントが収集される。キー・ポイントが収集される領域の半径は、この方法のパラメータである。キー・ポイントの選択は、他の方法、例えば、空間セグメンテーションによって支援される。抽出されたキー・ポイントのセットは、選択されたオブジェクトの記述を構成する。第１のオブジェクトを選択した後、ステップ２１０において、第１のオブジェクトは、第２の位置に移動される。この移動は第２の入力に従って実行され、この第２の入力はマンマシン・インタフェースからの入力である。この移動は、ドラッグ・アンド・ドロップによって実現される。次に、この方法は、ステップ２２０において、第１のオブジェクトが第２の位置の近傍にある画像シーケンス内の少なくとも１つの画像を特定する。この第２の位置はユーザが指定した画像位置である。複数の異なる画像におけるオブジェクトの類似度は、キー・ポイントのセットを比較することによって判定される。ステップ２３０において、この方法は、特定された画像にジャンプし、再生が開始される。

【0022】

図４は、複数の人々が選択されたトピックについて話し合うトーク・ショーを視聴する際にこの方法を適用する例を示している。ショー全体の再生時間が矢印ｔによって示されている。時点ｔ１において、３つの顔を含む第１の画像が画面上に表示される。ユーザは、画面の左側に表示されている人物に興味を持っており、この人物を、顔の周りに境界ボックスを描くことによって選択する。次に、ユーザは、選択されたオブジェクト（奇抜な髪型を有する顔）を画面の中央にドラッグし、さらに、境界ボックスを拡大し、画面の中央で、クローズアップされたビューでこの人物を見たい旨を示す。従って、画像シーケンス内でこの条件を満たす画像がサーチされる。この画像が時点ｔ２で発見されると、この画像が表示され、この時点ｔ２で、再生が開始される。

【0023】

図５は、サッカーの試合を視聴する際に方法を適用する例を示している。時点ｔ１において、フィールドの中央の試合のシーンが示される。４人の選手が存在し、そのうちの１人は、ボールの近傍に位置している。ユーザは、特定の状況、例えば、次のペナルティに興味を持っている。従って、ユーザは、境界ボックスでボールを選択し、ペナルティ・スポットにオブジェクト・トラッキングを行い、ボールがちょうどこのポイントに位置するシーンを見たい旨を示す。時点ｔ２においてこの条件が満たされる。ボールがペナルティ・スポットにあり、選手がペナルティ・キックを行う準備をするシーンが表示される。このシーン以降の試合の再生が行われる。従って、ユーザは、自己が興味を持っている次のシーンへのナビゲーションを簡便に行うことができる。
なお、実施形態に関し以下を付記する。
（付記１） 画像シーケンス内のナビゲーションを行う方法であって、
画像を画面上に表示するステップと、
第１の入力に従って第１の位置で前記表示された画像の第１のオブジェクトを選択するステップと、
第２の入力に従って前記第１のオブジェクトを第２の位置に移動させるステップと、
前記第１のオブジェクトが前記第２の位置の近傍にある前記画像シーケンス内の少なくとも１つの画像を特定するステップと、
前記特定された画像のうちの１つから画像シーケンスの再生を開始するステップと、
を含む、前記方法。
（付記２） 前記第１のオブジェクトを選択するための前記第１の入力は、前記第１のオブジェクトをクリックすることと、前記第１のオブジェクトの周りに境界ボックスを描くことと、インデックスによって前記第１のオブジェクトを選択することと、のうちの１つである、付記１に記載のナビゲーションを行う方法。
（付記３） 前記第２の位置は、前記第１の位置の座標とは異なる前記画面上の座標によって定義される、付記１または２に記載のナビゲーションを行う方法。
（付記４） 前記第２の位置は、前記第２のオブジェクトに対して定義される、付記１または２に記載のナビゲーションを行う方法。
（付記５） 前記第２の入力に従って前記第１のオブジェクトを第２の位置に移動させるステップは、
・さらなる入力に従って、第３の位置で前記表示された画像の第２のオブジェクトを選択するステップと、
・前記第２のオブジェクトに対して相対的な前記第１のオブジェクトの移動先を定義するステップと、
・前記移動先に前記第１のオブジェクトを移動させるステップと、
を含み、
前記特定するステップは、前記第１のオブジェクトの前記移動先の相対的な位置が前記第２のオブジェクトの前記位置の近傍にある前記画像シーケンス内の少なくとも１つの画像を特定することを含む、付記１、２、または４に記載のナビゲーションを行う方法。
（付記６） 前記第２のオブジェクトを選択するための前記さらなる入力は、前記２のオブジェクトをクリックすること、前記２のオブジェクトの周りに境界ボックスを描くこと、または、インデックスで前記２のオブジェクトを選択することである、付記５記載のナビゲーションを行う方法。
（付記７） 前記オブジェクトがオブジェクト・セグメンテーション、オブジェクト検出、または、顔検出によって選択される、付記１〜６のいずれか１項に記載のナビゲーションを行う方法。
（付記８） 前記特定するステップは、前記画像シーケンスの画像内の前記第１のオブジェクトの前記位置を定義するためのオブジェクト・トラッキングを行うことを含む、付記１〜６のいずれか１項に記載のナビゲーションを行う方法。
（付記９） オブジェクトを選択するためにキー・ポイント技術が使用される、付記１〜８のいずれか１項に記載のナビゲーションを行う方法。
（付記１０） オブジェクトを選択するためにキー・ポイント技術が使用され、キー・ポイントの記述が前記画像シーケンス内の複数の異なる画像におけるオブジェクトの類似度を判定するために使用される、付記１〜８のいずれか１項に記載のナビゲーションを行う方法。
（付記１１） 前記画像シーケンスの画像の部分のみが、前記オブジェクトが前記第２の位置の近傍にある少なくとも１つの画像を特定するために分析される、付記１〜１０のいずれか１項に記載のナビゲーションを行う方法。
（付記１２） 前記画像シーケンスの画像の部分が、現在表示されている画像からの特定の再生時間、前記現在表示されている画像に後続する全ての画像、および、前記現在表示されている画像より前の全ての画像のうちの１つを表す、付記１１に記載のナビゲーションを行う方法。
（付記１３） 前記画像シーケンスの画像の部分が、Ｉピクチャ、Ｂピクチャ、およびＰピクチャのうちの１つを表す、付記１１または１２に記載のナビゲーションを行う方法。
（付記１４） 画像シーケンス内のナビゲーションを行う装置であって、
該装置が、付記１〜１３のいずれか１項に従った方法を実行する、前記装置。

【図1】

【図2】

【図3】

【図4】

【図5】