特許 6553032 ハイパーリンクが設定されたマイニングされたテキストスニペットを介する画像のブラウジング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6553032

(24)【登録日】2019年7月12日

(45)【発行日】2019年7月31日

(54)【発明の名称】ハイパーリンクが設定されたマイニングされたテキストスニペットを介する画像のブラウジング

(51)【国際特許分類】

   G06F 16/54 20190101AFI20190722BHJP

   G06F 16/58 20190101ALI20190722BHJP

【ＦＩ】

   G06F16/54

   G06F16/58

【請求項の数】6

【全頁数】27

(21)【出願番号】特願2016-533454(P2016-533454)

(86)(22)【出願日】2014年8月8日

(65)【公表番号】特表2016-529619(P2016-529619A)

(43)【公表日】2016年9月23日

(86)【国際出願番号】US2014050252

(87)【国際公開番号】WO2015023518

(87)【国際公開日】20150219

【審査請求日】2017年7月10日

(31)【優先権主張番号】13/964,516

(32)【優先日】2013年8月12日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】314015767

【氏名又は名称】マイクロソフト テクノロジー ライセンシング，エルエルシー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】ベイカー，シモン，ジョン

(72)【発明者】

【氏名】カナン，アニータ

(72)【発明者】

【氏名】ラムナス，クリシュナン

【審査官】 齊藤 貴孝

(56)【参考文献】

【文献】 米国特許出願公開第２００９／０２８５４８７（ＵＳ，Ａ１）

【文献】 特開２０１０−０９２４７６（ＪＰ，Ａ）

【文献】 特開２００９−１１６５３１（ＪＰ，Ａ）

【文献】 特開平１１−０５３３８９（ＪＰ，Ａ）

【文献】 特開２０１２−０６３８９０（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００４／０１１９７４１（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２００７／００１６５４３（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １６／００−１６／９５８

(57)【特許請求の範囲】

【請求項1】

ディスプレイデバイスを備えた、ユーザインタフェースを含むコンピュータシステムにおいて、ユーザが情報リポジトリ内に記憶されている画像をブラウジングすることを可能にするための、コンピュータにより実施されるプロセスであって、前記プロセスは、前記コンピュータシステムを使用して実行される、
前記ディスプレイデバイス上に画像ブラウジンググラフィカルユーザインタフェース（ＧＵＩ）を表示する動作であって、前記画像ブラウジングＧＵＩは、現在画像セクタと、前記ユーザが以前に閲覧した画像の時系列に編成された履歴を前記ユーザに提供する画像履歴セクタと、を含む、動作と、
前記ユーザからの、前記情報リポジトリ内の所望の画像を閲覧するリクエストを受信する動作と、
前記現在画像セクタ内に前記所望の画像を表示する動作と、
前記所望の画像の上に１以上のホットスポットを表示する動作であって、前記１以上のホットスポットの各ホットスポットには、前記所望の画像に意味論的に関連している、前記所望の画像に関する異なるテキストスニペットであって、１以上のキータームを含む、前記所望の画像に関する異なるテキストスニペットへのハイパーリンクが設定され、前記１以上のキータームの各キータームは、前記所望の画像に関連しているコンセプト又は前記所望の画像に関連しているエンティティを表し、前記１以上のキータームの各キータームには、当該キータームに関連付けられている、前記情報リポジトリ内の各他の画像へのハイパーリンクが設定される、動作と、
前記１以上のホットスポットのうちの１つのホットスポットの前記ユーザの選択を検出する動作と、
前記画像ブラウジングＧＵＩ内に、選択された前記１つのホットスポットにハイパーリンクが設定されているテキストスニペットを表示する動作と、
表示された前記テキストスニペットにおける前記１以上のキータームのうちの１つのキータームの前記ユーザの選択を検出する動作と、
選択された前記１つのキータームに関連付けられている、前記情報リポジトリからの別の画像を選択する動作と、
前記現在画像セクタ内に、選択された前記別の画像を表示する動作と、
選択された前記別の画像の上に１以上のホットスポットを表示する動作であって、該１以上のホットスポットの各ホットスポットには、選択された前記別の画像に意味論的に関連している、選択された前記別の画像に関する異なるテキストスニペットであって、１以上のキータームを含む、選択された前記別の画像に関する異なるテキストスニペットへのハイパーリンクが設定され、該１以上のキータームの各キータームは、選択された前記別の画像に関連しているコンセプト又は選択された前記別の画像に関連しているエンティティを表し、該１以上のキータームの各キータームには、当該キータームに関連付けられている、前記情報リポジトリ内の各他の画像へのハイパーリンクが設定される、動作と、
前記画像履歴セクタ内に、前記所望の画像のサムネイルを表示する動作と、
前記サムネイルの前記ユーザの選択を検出する動作と、
前記現在画像セクタ内に前記所望の画像を再表示する動作と、
前記所望の画像の上に前記１以上のホットスポットを再表示する動作と、
を含む、プロセス。

【請求項2】

前記ユーザが、表示された前記テキストスニペットにおける前記１以上のキータームの各キータームと、表示された前記テキストスニペットにおける残りのテキストと、を区別できるように、表示された前記テキストスニペットにおいて前記１以上のキータームの各キータームを強調表示する動作
をさらに含む、請求項１記載のプロセス。

【請求項3】

前記画像ブラウジングＧＵＩ内に、選択された前記１つのホットスポットにハイパーリンクが設定されているテキストスニペットを表示する前記動作は、
前記所望の画像の上に、選択された前記１つのホットスポットに隣接して、前記テキストスニペットをポップアップする動作、
前記所望の画像の横に、前記テキストスニペットをポップアップする動作、又は
前記所望の画像の上の所定の固定位置に、前記テキストスニペットをポップアップする動作
を含む、請求項１記載のプロセス。

【請求項4】

前記ユーザが、表示された前記テキストスニペットにおける前記１以上のキータームの各キータームと、表示された前記テキストスニペットにおける残りのテキストと、を区別できるように、表示された前記テキストスニペットにおいて前記１以上のキータームの各キータームを強調表示する前記動作は、
表示された前記テキストスニペットにおける前記１以上のキータームの各キータームの文字を太字にする動作と、
表示された前記テキストスニペットにおける前記１以上のキータームの各キータームの文字の色を変える動作と、
表示された前記テキストスニペットにおける前記１以上のキータームの各キータームの文字に下線を引く動作と、
のうちの１以上を含む、請求項２記載のプロセス。

【請求項5】

選択された前記１つのキータームに関連付けられている、前記情報リポジトリからの別の画像を選択する前記動作は、
選択された前記１つのキータームに最大回数関連付けられている、前記情報リポジトリからの別の画像を選択する動作
を含む、請求項１記載のプロセス。

【請求項6】

前記所望の画像に関する各異なるテキストスニペットは、関連度と関心度とを組み合わせたスコアを有し、前記プロセスは、
前記画像ブラウジングＧＵＩ内に、前記所望の画像に関するデフォルトのテキストスニペットを表示する動作
をさらに含み、
前記デフォルトのテキストスニペットは、
最高の前記関連度と関心度とを組み合わせたスコアを有する、前記所望の画像に関するテキストスニペット、
前記ユーザが最も直近に選択した特定のキータームが最大回数現れる、前記所望の画像に関するテキストスニペット、又は
前記ユーザが前記所望の画像を検索するために元々使用した特定のクエリ語が最大回数現れる、前記所望の画像に関するテキストスニペット
を含む、請求項１記載のプロセス。

【発明の詳細な説明】

【背景技術】

【0001】

インターネットは、世界中の数十億ものユーザに情報を提供する全地球データ通信システムである。インターネットは、ワールドワイドウェブ、イントラネットベースの企業等により提供されるものを含め、無数のオンライン情報リソース及びサービスへのユーザアクセスを提供する。ワールドワイドウェブは、各ウェブサイトがウェブページの集合として編成されるウェブサイトの集合として編成される。所与のウェブページは、テキスト、画像、グラフィック、オーディオ、及びビデオ等の多種多様なタイプのオンライン情報を含み得る。ワールドワイドウェブは、約１兆個の画像を集合的に現在ホストしている数十億ものウェブページを現在ホストしており、これらの数は、急速なペースで増え続けている。特定のコンピューティングデバイス上又はインターネット若しくはプライベートネットワーク等のネットワーク上の所望のオンライン情報を探し出す機能をユーザに提供する多くの異なる検索エンジンが、今日存在している。今日存在している様々なタイプのパーソナルコンピューティングデバイス（パーソナルコンピュータ、ラップトップ／ノートブックコンピュータ、スマートフォン、及びタブレットコンピュータ等）の普及及びインターネットの普及の結果、ユーザは、ユーザが関心を持っている特定の画像を探し出すために、日常的に１以上の検索エンジンを使用している。

【発明の概要】

【0002】

この概要は、発明を実施するための形態において以下でさらに説明するコンセプトのうち選択したものを簡略化した形で紹介するために提供される。この概要は、特許請求される主題の主要な特徴又は必要不可欠な特徴を特定することを意図するものではないし、特許請求される主題の範囲を決定する際の助けとして使用されることを意図するものでもない。

【0003】

本明細書に記載の画像ブラウジングフレームワークの実施形態は、一般に、ユーザが、複数の画像及びテキストを含む情報リポジトリ内に記憶されている画像をブラウジングすることを可能にすることに適用可能である。１つの例示的な実施形態において、画像は、ブラウジングのために次のように準備される。情報リポジトリ内の画像の各々について、情報リポジトリ内のテキストがマイニングされて、この画像に関する１以上のテキストスニペットが抽出される。ここで、この１以上のテキストスニペットの各々は、この画像に意味論的に（semantically）関連している。次いで、この画像に関する抽出されたテキストスニペットの各々について、１以上のキーターム（keyterm）が、このテキストスニペットにおいて検出される。ここで、１以上のキータームの各々は、この画像に関連しているコンセプト（concept）又はこの画像に関連しているエンティティ（entity）を表す。このテキストスニペット及び１以上のキータームが、この画像に関連付けられる。次いで、情報リポジトリ内の画像の各々に関連付けられているキータームの各々に、このキータームに関連付けられている、情報リポジトリ内の各他の画像へのハイパーリンクが設定される。

【0004】

情報リポジトリ内の画像及びテキストが、各ウェブページがハイパーテキストマークアップ言語（ＨＴＭＬ）コードを用いて構造化されているウェブページの形態で記憶されている別の例示的な実施形態において、情報リポジトリがマイニングされて、情報リポジトリ内の特定の画像に関するテキストスニペットが抽出される。特定の画像を含む、情報リポジトリ内のウェブページの全てが識別される。次いで、三つ組（triple）のリストが生成される。ここで、各三つ組は、識別されたウェブページのうちの異なるウェブページに対応するものであり、特定の画像のユニフォームリソースロケータ（ＵＲＬ）、識別されたウェブページのＵＲＬ、及び識別されたウェブページのためのＨＴＭＬコードを含む。次いで、所定数の三つ組が、三つ組のリストからランダムに選択される。ここで、このランダムな選択は、三つ組のランダムなサブセットを生成させる。次いで、三つ組のランダムなサブセットにおける識別されたウェブページの各々について、次の動作が生じる。この識別されたウェブページのためのＨＭＴＬコードが解析されて解析ツリー（parse tree）が生成される。次いで、解析ツリーにおける画像ノード及びテキストノードが探し出される。次いで、この識別されたウェブページにおけるこれらのノードの線形順序（linear ordering）が決定される。次いで、画像ノードのうち、特定の画像のＵＲＬを含む１つの画像ノードが識別される。ここで、この識別は、画像ノードのうちのどの画像ノードも特定の画像のＵＲＬを含まない場合、又は、画像ノードのうちの２以上の画像ノードが特定の画像のＵＲＬを含む場合には常に、三つ組のランダムなサブセットからこの識別されたウェブページを削除することを含む。次いで、テキストノードの各々が、１以上の文章に分割され、次いで、大文字で始まらない全ての文章及び適切な句読点で終わらない全ての文章を除去するために、この１以上の文章がフィルタリングされる。次いで、フィルタリングされた文章の各々から識別された画像ノードまでの文字単位の距離（distance in characters）が算出される。次いで、フィルタリングされた文章の各々について、文章単語ベクトル（sentence word vector）が生成される。次いで、三つ組のランダムなサブセットにおける識別されたウェブページの各々における識別された画像ノードに関連付けられているテキストが収集され、この収集されたテキストについて、画像単語ベクトル（image word vector）が生成される。次いで、三つ組のランダムなサブセットにおける識別されたウェブページの各々におけるフィルタリングされた文章の各々について、次の動作が生じる。このフィルタリングされた文章がどれくらい特定の画像に関連しているかの推定量（estimate）を表す、このフィルタリングされた文章に関する関連度スコアが生成され、このフィルタリングされた文章がどれくらいユーザにとって関心のあるものであるかの推定量を表す、このフィルタリングされた文章に関する関心度スコアが生成される。次いで、このフィルタリングされた文章に関する総合スコアが、これらの関連度スコア及び関心度スコアから生成される。ここで、この総合スコアは、このフィルタリングされた文章がどれくらい関連していてどれくらい関心のあるものであるかを示す。所定の閾スコアよりも高い関連度と関心度とを組み合わせたスコア（combined relevance and interestingness score）を有するフィルタリングされた文章の全てが選択され、これら選択されたフィルタリングされた文章が、特定の画像に関するテキストスニペットに割り当てられる。

【0005】

さらに別の例示的な実施形態において、画像ブラウジンググラフィカルユーザインタフェース（ＧＵＩ）が、ディスプレイデバイス上に表示される。ここで、このＧＵＩは、現在画像セクタ（current image sector）を含む。次いで、ユーザからの、情報リポジトリ内の所望の画像を閲覧するリクエストが受信される。次いで、所望の画像が、現在画像セクタ内に表示され、１以上のホットスポット（hotspot）が、所望の画像の上に表示される。ここで、１以上のホットスポットの各々には、所望の画像に意味論的に関連しており、１以上のキータームを含む、所望の画像に関する異なるテキストスニペットへのハイパーリンクが設定される。１以上のキータームの各々は、所望の画像に関連しているコンセプト又は所望の画像に関連しているエンティティを表し、１以上のキータームの各々には、このキータームに関連付けられている、情報リポジトリ内の各他の画像へのハイパーリンクが設定される。

【図面の簡単な説明】

【0006】

本明細書に記載の画像ブラウジングフレームワークの実施形態の具体的な特徴、態様、及び利点が、以下の説明、添付の特許請求の範囲、及び添付の図面に関して、より良く理解されるようになる。

【図1】情報リポジトリ内に記憶されている画像をブラウジングのために準備するためのプロセスの例示的な実施形態を、簡略化された形で示すフロー図。

【図2】情報リポジトリ内のテキストをマイニングして、情報リポジトリ内の所与の画像に関する１以上のテキストスニペットを抽出するためのプロセスの例示的な実施形態を、簡略化された形で示すフロー図。

【図3A】画像を含むものとして識別された、情報リポジトリ内のウェブページから完全な文章を抽出し、抽出された完全な文章の各々について、関連度と関心度とを組み合わせたスコアを算出するためのプロセスの例示的な実施形態を、簡略化された形で示すフロー図。

【図3B】画像を含むものとして識別された、情報リポジトリ内のウェブページから完全な文章を抽出し、抽出された完全な文章の各々について、関連度と関心度とを組み合わせたスコアを算出するためのプロセスの例示的な実施形態を、簡略化された形で示すフロー図。

【図4】所定の閾スコアよりも高い関連度と関心度とを組み合わせたスコアを有する抽出された完全な文章の全てを選択するためのプロセスの例示的な実施形態を、簡略化された形で示すフロー図。

【図5】上位スコアの抽出された完全な文章のソートされたリストをフィルタリングするためのプロセスの例示的な実施形態を、簡略化された形で示すフロー図。

【図6】ユーザが準備された画像をブラウジングすることを可能にするためのプロセスの例示的な実施形態を、簡略化された形で示すフロー図。

【図7】ユーザが情報リポジトリ内に記憶されている画像を意味論的にブラウジングすることを可能にするグラフィカルユーザインタフェース（ＧＵＩ）の一般化されたレイアウトの例示的な実施形態を、簡略化された形で示す図。

【図8】ユーザが情報リポジトリ内に記憶されている画像を意味論的にブラウジングすることを可能にするＧＵＩの一般化されたレイアウトの例示的な実施形態を、簡略化された形で示す図。

【図9】ユーザが情報リポジトリ内に記憶されている画像を意味論的にブラウジングすることを可能にするＧＵＩの一般化されたレイアウトの例示的な実施形態を、簡略化された形で示す図。

【図10】ユーザが情報リポジトリ内に記憶されている画像を意味論的にブラウジングすることを可能にするＧＵＩの一般化されたレイアウトの例示的な実施形態を、簡略化された形で示す図。

【図11】ユーザが情報リポジトリ内に記憶されている画像を意味論的にブラウジングすることを可能にするＧＵＩの一般化されたレイアウトの例示的な実施形態を、簡略化された形で示す図。

【図12】ユーザが情報リポジトリ内に記憶されている画像を意味論的にブラウジングすることを可能にするＧＵＩの一般化されたレイアウトの例示的な実施形態を、簡略化された形で示す図。

【図13】ユーザが情報リポジトリ内に記憶されている画像を意味論的にブラウジングすることを可能にするＧＵＩの一般化されたレイアウトの例示的な実施形態を、簡略化された形で示す図。

【図14】ユーザが情報リポジトリ内に記憶されている画像を意味論的にブラウジングすることを可能にするＧＵＩの一般化されたレイアウトの例示的な実施形態を、簡略化された形で示す図。

【図15】ユーザが情報リポジトリ内に記憶されている画像を意味論的にブラウジングすることを可能にするＧＵＩの一般化されたレイアウトの例示的な実施形態を、簡略化された形で示す図。

【図16】本明細書に記載の画像ブラウジングフレームワークの様々な実施形態及び要素を実装することができる汎用目的のコンピュータシステムの簡略化された例を示す図。

【図17】ユーザが情報リポジトリ内に記憶されている画像を意味論的にブラウジングすることを可能にするＧＵＩの一般化されたレイアウトの代替実施形態を、簡略化された形で示す図。

【発明を実施するための形態】

【0007】

画像ブラウジングフレームワークの実施形態の以下の説明において、説明の一部を形成する添付の図面が参照される。添付の図面において、例示として、画像ブラウジングフレームワークを実施することができる具体的な実施形態が示されている。画像ブラウジングフレームワークの実施形態の範囲から逸脱することなく、他の実施形態も使用可能であり、構造的変更が可能であることを理解されたい。

【0008】

本明細書に記載の画像ブラウジングフレームワークの実施形態を説明する際、明瞭さのために、特定の用語が使用されるが、実施形態は、そのように選択された特定の用語に限定されることを意図するものではないことにも留意されたい。さらに、各特定の用語は、同様の目的を達成するために広く同様に機能するその全ての技術的均等物を含むことを理解されたい。「一実施形態」、「別の実施形態」、「例示的な実施形態」、「代替実施形態」、「一実施例」、「別の実施例」、「例示的な実施例」、又は「代替実施例」との本明細書における言及は、その実施形態又は実施例に関して説明される特定の特徴、特定の構造、又は特定の特性が、画像ブラウジングフレームワークの少なくとも１つの実施形態に含まれ得ることを意味する。本明細書の様々な箇所における「一実施形態において」、「別の実施形態において」、「例示的な実施形態において」、「代替実施形態において」、「一実施例において」、「別の実施例において」、「例示的な実施例において」、及び「代替実施例において」という語句の出現は、必ずしも同じ実施形態又は実施例を指しているとは限らず、他の実施形態／実施例と相互に排他的な別の実施形態／実施例又は代替の実施形態／実施例であるとも限らない。さらに、画像ブラウジングフレームワークの１以上の実施形態又は実施例を表すプロセスフローの順序は、本質的に、画像ブラウジングフレームワークのいかなる特定の順序を示すものでもないし、画像ブラウジングフレームワークのいかなる制限を暗示するものでもない。

【0009】

「画像」という用語は、コンピュータディスプレイデバイス（とりわけ、コンピュータモニタ等）上で閲覧することができるデジタル画像を指すものとして、本明細書で使用される。「ユーザ」という用語は、画像をブラウジングするためにコンピュータ（本明細書ではコンピューティングデバイスとも呼ばれる）を使用している個人を指すものとして、本明細書で使用される。「セクタ」という用語は、特定のタイプのグラフィカルユーザインタフェース（ＧＵＩ）及び／又は情報（とりわけ、１以上の画像及びテキスト）が表示され得る、あるいは、特定のタイプの動作がユーザにより実行され得る、コンピュータディスプレイデバイスの表示画面の分割された領域を指すものとして、本明細書で使用される。ここで、そのようなＧＵＩ／情報／動作は、一般に、コンピュータ上で実行中の特定のアプリケーションプログラムに関連付けられている。コンピュータ動作環境の分野において理解されているように、所与のコンピュータディスプレイデバイスは、１つのセクタが別のセクタの上にレイヤ化され得る又は重ねられ得る複数の異なるセクタを含み得る。

【0010】

１．０ ハイパーリンクが設定されたマイニングされたテキストスニペットを介する画像のブラウジング
一般的に言うと、本明細書に記載の画像ブラウジングフレームワークの実施形態は、ブラウジングのために画像を準備する。このような画像は、複数の画像及びテキストを含む情報リポジトリ内に記憶されている。このような画像がブラウジングのために準備されると、画像ブラウジングフレームワークの実施形態はまた、ユーザが、意味論的に意味のある形でこのような画像をブラウジングすることを可能にする。本明細書に記載の画像ブラウジングフレームワークの例示的な実施形態において、情報リポジトリは、ワールドワイドウェブ（以後単純にウェブと呼ぶ）であり、情報リポジトリ内の画像及びテキストは、各ウェブページがハイパーテキストマークアップ言語（ＨＴＭＬ）コードを用いて構造化されているウェブページの形態で記憶されている。しかしながら、情報リポジトリが、画像及びテキストを記憶する任意の他のタイプのデータベース機構であって、他のタイプの情報も記憶できる任意の他のタイプのデータベース機構（このデータベース機構は、分散され得る又は中央化され得る）であり得る、画像ブラウジングフレームワークの代替実施形態も可能であることが理解されよう。

【0011】

本明細書に記載の画像ブラウジングフレームワークの実施形態は、次のものを含むがそれに限定されない様々な理由から有利である。以下のより詳細な説明から理解されるように、画像ブラウジングフレームワークの実施形態は、画像を検索しているユーザ（例えば、検索エンジンを使用して、ウェブ上で画像検索を行っているユーザ）に、ユーザにより閲覧される画像に関する意味論的に関心を抱かせるテキスト情報を提供する。画像ブラウジングフレームワークの実施形態はまた、ユーザが閲覧するための他の意味論的に関連している画像を提案する。画像ブラウジングフレームワークの実施形態はまた、ユーザが、ウェブ上で画像を意味論的にブラウジングすることを可能にする（例えば、ユーザは、意味論的に意味のある形で、１つの画像から次の画像に移ることができる）。画像ブラウジングフレームワークの実施形態はまた、ユーザに、直感的且つ使用しやすいユーザインタフェースを提供する。したがって、画像ブラウジングフレームワークの実施形態は、画像検索プロセスの効率性及び有効性を最適化するとともに、ユーザが、ユーザの関心と合致する特定の画像、ユーザのニーズを満たす特定の画像、ユーザの知識を深める（educate）特定の画像、ユーザを楽しませる特定の画像、又はこれらの任意の組合せを探し出すのに要する時間量を短縮させる。

【0012】

１．１ プロセスフレームワーク
図１は、情報リポジトリ内に記憶されている画像をブラウジングのために準備するためのプロセスの例示的な実施形態を、簡略化された形で示している。ここで、情報リポジトリは、複数の画像及びテキストを含む。前述したように、本明細書に記載の画像ブラウジングフレームワークの例示的な実施形態において、情報リポジトリは、ウェブであり、情報リポジトリ内の画像及びテキストは、各ウェブページがＨＴＭＬコードを用いて構造化されているウェブページの形態で記憶されている。図１に示されるように、プロセスは、ブロック１００において、情報リポジトリ内の画像の各々について生じる次の動作で始まる。情報リポジトリ内のテキストがマイニングされて、この画像に関する１以上のテキストスニペットが抽出され、ここで、この１以上のテキストスニペットの各々は、この画像に意味論的に関連しているとともに、スニペットを読むユーザにとって意味論的に関心のあるものでもある（ブロック１０２）。ユーザが、情報リポジトリ内に記憶されている画像をブラウジングしているときに、ユーザは、しばしば、楽しんでいる又は知識を深めているように見えるので、これは有利である。次いで、この画像に関する抽出されたテキストスニペットの各々について、次の動作が生じる（ブロック１０４）。１以上のキータームが、この画像に関する抽出されたテキストスニペットにおいて検出され、ここで、１以上のキータームの各々は、この画像に関連している意味論的に意味のあるコンセプト、又は、この画像に関連している意味論的に意味のあるエンティティを表す（ブロック１０６）。次いで、この画像に関する抽出されたテキストスニペット及びこのテキストスニペットにおいて検出された１以上のキータームが、この画像に関連付けられる（ブロック１０８）。ブロック１００の動作が完了すると、情報リポジトリ内の画像の各々に関連付けられているキータームの各々に、このキータームに関連付けられている、情報リポジトリ内の各他の画像へのハイパーリンクが設定される（ブロック１１０）。画像ブラウジングフレームワークの例示的な実施形態において、このような他の画像へのハイパーリンクをキータームに設定することは、転置インデックスデータ構造を用いて実装される。

【0013】

今説明した情報リポジトリ内のテキストをマイニングして情報リポジトリ内の画像の各々に関する１以上のテキストスニペットを抽出することは、様々なデータマイニング方法を用いて実行できることが理解されよう。そのような１つのデータマイニング方法の例示的な実施形態について、以下でより詳細に説明する。今説明したキーターム検出も、様々な従来の方法を用いて実行できることが理解されよう。限定ではなく例として、本明細書に記載の画像ブラウジングフレームワークの例示的な実施形態において、キータームは、ウィキペディア（登録商標）における記事タイトル及びその異形（variant）であり、今説明したキーターム検出は、ウィキペディア（登録商標）に基づく明示的な意味論的解析（explicit semantic analysis）を用いる従来の意味論的関連度算出方法（semantic relatedness computation method）を用いて実行される。したがって、以下のより詳細な説明から理解されるように、今説明した情報リポジトリ内の画像へのハイパーリンクをキータームに設定することは、画像に対するキータームの関連度の尺度（measure）に基づく。

【0014】

図２は、情報リポジトリ内のテキストをマイニングして、情報リポジトリ内の所与の画像に関する１以上のテキストスニペットを抽出するためのプロセスの例示的な実施形態を、簡略化された形で示している。図２に示される特定のデータマイニング方法の実施形態は、情報リポジトリが、ウェブであり、情報リポジトリ内の画像及びテキストが、各ウェブページがＨＴＭＬコードを用いて構造化されているウェブページの形態で記憶されている、本明細書に記載の画像ブラウジングフレームワークの前述した実施形態に適用される。図２に示されるように、プロセスは、ブロック２００において、所与の画像を含む、情報リポジトリ内のウェブページの全てを識別することで始まる。次いで、完全な文章が、識別されたウェブページから抽出され、抽出された完全な文章の各々について、関連度と関心度とを組み合わせたスコアが算出される（ブロック２０２）。次いで、所定の閾スコアよりも高い関連度と関心度とを組み合わせたスコアを有する抽出された完全な文章の全て（例えば、フィルタリングされた文章の全て）が選択される（ブロック２０４）。次いで、選択された文章が、画像に関する抽出されるテキストスニペットに割り当てられる（ブロック２０６）。

【0015】

図３Ａ及び図３Ｂは、所与の画像を含むものとして識別された、情報リポジトリ内のウェブページから完全な文章を抽出し、抽出された完全な文章の各々について、関連度と関心度とを組み合わせたスコアを算出するためのプロセスの例示的な実施形態を、簡略化された形で示している。図３Ａに示されるように、プロセスは、ブロック３００において、三つ組のリストを生成することで始まる。ここで、リスト内の各三つ組は、識別されたウェブページのうちの異なるウェブページに対応するものであり、画像のユニフォームリソースロケータ（ＵＲＬ）、識別されたウェブページのＵＲＬ、及び識別されたウェブページのためのＨＴＭＬコードを含む。次いで、任意的に、所定のウェブサイトドメインに存在する識別されたウェブページを含む全ての三つ組を除去するために、三つ組のリストがフィルタリングされてもよい（ブロック３０２）。本明細書に記載の画像ブラウジングフレームワークの例示的な実施形態において、このフィルタリングは、識別されたウェブページのＵＲＬに対して実行されるものであり、除去されるウェブサイトドメインは、ソーシャルネットワーキングウェブサイト、写真共有ウェブサイト、及び所定の商用ウェブサイトを含む。除去されるウェブサイトドメインは、検索エンジンの所与のニーズに基づいて変更されてもよいことが理解されよう。このフィルタリングは、任意的に、次のものを含むがそれに限定されない１以上の他のタイプのウェブページフィルタリングを含んでもよい。１以上の所定の言語ではない識別されたウェブページを含む全ての三つ組を除去するために、三つ組のリストがフィルタリングされてもよい（例えば、英語ではない全てのウェブページを除去するために、三つ組のリストがフィルタリングされてもよい）。数あるタイプのコンテンツの中でもとりわけ、アダルトコンテンツ（例えば、わいせつなコンテンツ）等の所定のタイプのコンテンツを含む識別されたウェブページを含む全ての三つ組を除去するために、三つ組のリストがフィルタリングされてもよい。

【0016】

再度図３Ａを参照すると、ブロック３０２において三つ組のリストがフィルタリングされた後、次いで、所定数の三つ組が、三つ組のフィルタリングされたリストからランダムに選択され、ここで、このランダムな選択は、三つ組のランダムなサブセットを生成させる（ブロック３０４）。画像ブラウジングフレームワークの例示的な実施形態において、この所定数は２００である。三つ組のこのランダムな選択は、画像に関して処理すべき識別されたウェブページの数に最大限度を単に課すものであり、したがって、非常に一般的な画像（これらの画像の多くは、会社アイコン等といった興味を抱かせないものである）に関して実行される処理を制限するよう機能することが理解されよう。フィルタリングされたリスト内の三つ組の数が所定数以下の場合には、フィルタリングされたリスト内の三つ組の全てが選択されることも理解されよう。

【0017】

ブロック３０４において三つ組のランダムなサブセットが生成された後、次いで、三つ組のランダムなサブセットにおける識別されたウェブページの各々について、次の動作が生じる（ブロック３０６）。この識別されたウェブページのためのＨＴＭＬコードが解析されて解析ツリーが生成され、解析ツリーにおける画像ノード及びテキストノードが探し出され、この識別されたウェブページにおけるこれらのノードの線形順序が決定される（ブロック３０８）。所与のウェブページのためのＨＴＭＬコードを解析できない場合には、そのウェブページは、三つ組のランダムなサブセットから単に削除され得る。次いで、画像ノードのうち、画像のＵＲＬを含む１つの画像ノードが、識別される（ブロック３１０）。ここで、この識別は、画像ノードのうちのどの画像ノードも画像のＵＲＬを含まない場合（これは、前述したＨＴＭＬコード収集以降に、識別されたウェブページが変更されている場合に生じ得る）、又は、画像ノードのうちの２以上の画像ノードが画像のＵＲＬを含む場合（これは、識別されたウェブページが画像を複数回参照している場合に生じ得る）には常に、三つ組のランダムなサブセットからこの識別されたウェブページを削除することを含む。次いで、テキストノードの各々が、１以上の文章に分割され（ブロック３１２）、次いで、大文字で始まらない全ての文章及び適切な句読点で終わらない全ての文章を除去するために、この１以上の文章がフィルタリングされる（ブロック３１４）。したがって、このフィルタリングは、この文章が完全な文章であることを確実にする（例えば、全ての文断片（sentence fragment）が破棄される）。次いで、フィルタリングされた文章の各々から識別された画像ノードまでの文字単位の距離が算出される（ブロック３１６）。ここで、文章が、識別された画像ノードの後に現れているときには、この文字距離（character distance）は、所与の１つの符号（sign）（例えば、正にされる）であり、文章が、識別された画像ノードの前に現れているときには、この文字距離は、所与の反対の符号（例えば、負にされる）である。次いで、フィルタリングされた文章の各々について、文章単語ベクトルが生成される（ブロック３１８）。ここで、不要語（stop word）が、文章単語ベクトルから除外され、ステミング処理が実行される。

【0018】

今説明したＨＴＭＬコード解析（ブロック３０８）は、様々な方法により実行できることが理解されよう。限定ではなく例として、本明細書に記載の画像ブラウジングフレームワークの例示的な実施形態において、この解析は、従来のＨＴＭＬパーサ（parser）を用いて実行される。今説明した画像ノード識別（ブロック３１０）も様々な方法により実行できることが理解されよう。限定ではなく例として、画像ブラウジングフレームワークの例示的な実施形態において、この識別は、様々な文字列処理正規化（string processing normalization）を用いて実行される。今説明した文章分割（ブロック３１２）も様々な従来の方法を用いて実行できることが理解されよう。

【0019】

再度図３Ａを参照すると、ブロック３０６の動作が完了した後、三つ組のランダムなサブセットにおける識別されたウェブページの各々における識別された画像ノードに関連付けられているテキストが収集される（ブロック３２０）。次いで、この収集されたテキストについて、画像単語ベクトルが生成される（ブロック３２２）。この画像単語ベクトルは、画像のコンテンツの全体モデル（overall model）として機能することが理解されよう。図３Ｂに示されるように、次いで、三つ組のランダムなサブセットにおける識別されたウェブページの各々におけるフィルタリングされた文章の各々について、次の動作が生じる（ブロック３２４）。このフィルタリングされた文章に関する関連度スコアが生成される（ブロック３２６）。ここで、この関連度スコアは、このフィルタリングされた文章がどれくらい画像に意味論的に関連しているかの推定量を表す。次いで、このフィルタリングされた文章に関する関心度スコアが生成される（ブロック３２８）。ここで、この関心度スコアは、このフィルタリングされた文章がどれくらいユーザにとって関心のあるものであるかの推定量を表す。次いで、このフィルタリングされた文章に関する総合スコアが、これらの関連度スコア及び関心度スコアから生成され、ここで、この総合スコアは、このフィルタリングされた文章がどれくらい関連していてどれくらい関心のあるものであるかを示す（ブロック３３０）。本明細書に記載の画像ブラウジングフレームワークの例示的な実施形態において、この総合スコアは、関連度スコアと関心度スコアとの乗算値に等しい。したがって、以下のより詳細な説明から理解されるように、高い総合スコアは、フィルタリングされた文章が関連しており且つ関心の高いものであることを示し、低い総合スコアは、フィルタリングされた文章が関連していない又は関心の低いものであることを示す。

【0020】

本明細書に記載の画像ブラウジングフレームワークの例示的な実施形態において、フィルタリングされた文章の各々に関する関連度スコア及び関心度スコアの両方は、フィルタリングされた文章の異なる特徴（feature）の算出に基づく学習された回帰関数（learned regression function）を用いて生成される。本明細書に記載の画像ブラウジングフレームワークの例示的な実施形態において、学習された回帰関数は、アマゾンメカニカルターク（ＭＴｕｒｋ）を用いて取得されたトレーニングデータ及び正則化線形回帰を用いた。より詳細には、ＭＴｕｒｋユーザに、０．０から３．０のスケールで、多数の文章の関連度及び関心度のスコアを付けるよう求めた。ここで、０．０は、所与の文章が関連していない／関心のないものであることに対応し、３．０は、所与の文章が非常に関連している／非常に関心のあるものであることに対応する。フィルタリングされた文章の各々の広範な異なる特徴が算出され得ることが理解されよう。画像ブラウジングフレームワークの例示的な実施形態において、これらの特徴は、データターム特徴（data term feature）、様々なコンテキスト特徴、繰り返し特徴（duplication feature）、距離特徴、及び様々な言語特徴（linguistic feature）を含んでいたが、これらに限定されるものではない。これらの特徴の各々について、次により詳細に説明する。

【0021】

所与のフィルタリングされた文章のデータターム特徴の算出は、フィルタリングされた文章に関する文章単語ベクトルと画像単語ベクトルとの間の合致スコア（match score）を算出することを含む。本明細書に記載の画像ブラウジングフレームワークの例示的な実施形態において、この合致スコアは、次のように算出される。まず、画像単語ベクトルが、単位ベクトルに正規化される。次いで、正規化された画像単語ベクトルと文章に関する単語ベクトルとの内積が計算される。次いで、任意的に、大きくオーバーラップする過度に好都合の文章（overly favoring sentence）を避けるために、この内積に対して所定の最大値が課されてもよい。

【0022】

コンテキスト特徴は、本質的には、データターム特徴のコンテキスト上の拡張である。本明細書に記載の画像ブラウジングフレームワークの例示的な実施形態において、フィルタリングされた文章の各々について、２つの異なるコンテキスト特徴、すなわち、局所コンテキスト特徴（local context feature）及びページコンテキスト特徴が算出される。局所コンテキスト特徴の算出は、フィルタリングされた文章周囲の局所ウィンドウにわたってデータターム特徴を平均化することを含む。局所コンテキスト特徴の背後にある直感は、所与のフィルタリングされた文章周囲の他のフィルタリングされた文章が、意味論的に画像に関連しており、意味論的にユーザにとって関心のあるものである場合には、所与のフィルタリングされた文章も、意味論的に画像に関連しており、意味論的にユーザにとって関心のあるものである可能性がより高いことである。ページコンテキスト特徴の算出は、局所ウィンドウよりも大きな拡大ウィンドウにわたってデータターム特徴を平均化することを含む（例えば、画像ブラウジングフレームワークの例示的な実施形態において、拡大ウィンドウは、フィルタリングされた文章が抽出された元である識別されたウェブページ全体を包含する）。任意的に、大きくオーバーラップする過度に好都合の文章を避けるために、算出されたコンテキスト特徴の各々に対して所定の最大値が課されてもよい。

【0023】

所与のフィルタリングされた文章の繰り返し特徴の算出は、所与のフィルタリングされた文章と、所与のフィルタリングされた文章が抽出された元である識別されたウェブページにおいて、所与のフィルタリングされた文章から所定距離内にある他のフィルタリングされた文章と、の間のオーバーラップを算出することを含む。繰り返し特徴の背後にある直感は、大きな繰り返しが、しばしばスパムのようなコンテンツを示すことである。所与のフィルタリングされた文章の距離特徴の算出は、フィルタリングされた文章と、この文章が抽出された元である識別されたウェブページ内の画像と、の間の文字単位で測定される距離を算出することを含む。任意的に、極端なケースを避けるために、この算出された距離に対して上限及び下限が課されてもよい。距離特徴の背後にある直感は、画像の近くにある文章は、画像に関連している可能性がより高いことである。次のうちの任意の１以上を含むがそれらに限定されない、所与のフィルタリングされた文章の様々な言語特徴が算出され得る。フィルタリングされた文章の長さ（例えば、フィルタリングされた文章における単語の数）が算出され得る。より長い文章は、概して、より短い文章よりも、ユーザにとってより関心のあるものであることが理解されよう。フィルタリングされた文章の様々なブール特徴（Boolean feature）も算出され得る。そのようなブール特徴は、例えば、数あるブール特徴の中でもとりわけ、フィルタリングされた文章が指示詞で始まるかどうか、フィルタリングされた文章が定義的（definitional）であるかどうか、及び、フィルタリングされた文章が一人称代名詞（例えば、Ｉ又はｗｅ）で始まるかどうか、である。

【0024】

図４は、所定の閾スコアよりも高い関連度と関心度とを組み合わせたスコアを有する抽出された完全な文章の全てを選択するためのプロセスの例示的な実施形態を、簡略化された形で示している。図４に示されるように、プロセスは、ブロック４００において、前述した三つ組のランダムなサブセットにおける識別されたウェブページの各々について生じる次の動作で始まる。この識別されたウェブページからのフィルタリングされた文章が、総合スコア順にソートされる（ブロック４０２）。次いで、所定数の上位スコアのフィルタリングされた文章が選択される（ブロック４０４）。ここで、この選択は、所定パーセンテージよりも高い単語オーバーラップを有するフィルタリングされた文章の全てのペアを除外する。本明細書に記載の画像ブラウジングフレームワークの例示的な実施形態において、この所定数は３であり、この所定パーセンテージは８５％である。８５％よりも高い単語オーバーラップを有するフィルタリングされた文章の全てのペアのこの除外は、ほぼ同一であるフィルタリングされた文章の上位スコアの全てのペアを除外するよう機能する。ブロック４００の動作が完了すると、三つ組のランダムなサブセットにおける識別されたウェブページの全てからの選択された上位スコアのフィルタリングされた文章の全てが、上位スコアの文章のリストにマージされ、このリストが、これらの文章の総合スコア順にソートされる（ブロック４０６）。次いで、高水準の文章の質を確実にするために、上位スコアの文章のソートされたリストがフィルタリングされる（ブロック４０８）。例示的なフィルタリングオペレーションについては、以下でより詳細に説明する。次いで、上位スコアの文章のフィルタリングされたソートされたリストが、このリスト内の文章の各々に関する総合スコア、及び、文章が抽出された元である識別されたウェブページのＵＲＬとともに、出力される（ブロック４０８）。

【0025】

図５は、上位スコアの文章のソートされたリストをフィルタリングするためのプロセスの例示的な実施形態を、簡略化された形で示している。図５に示されるように、プロセスは、ブロック５００において、前述した所定の閾スコア以下である総合スコアを有する、ソートされたリスト内の全ての文章を除去するために、このリストをフィルタリングすることで始まる。０．０から３．０のスケールで、文章の関連度及び関心度のスコアが付けられ、３．０のスコアが、文章が非常に関連している／非常に関心のあるものであることに対応する、本明細書に記載の画像ブラウジングフレームワークの前述した例示的な実施形態において、所定の閾スコアは２．７５である。次いで、任意的に、ソートされたリスト内の文章の数に対して最大限度が課されてもよい（ブロック５０２）。より詳細には、画像ブラウジングフレームワークの例示的な実施形態において、ちょうど２０個の上位スコアの文章が、ソートされたリストから選択される。次いで、ソートされたリスト内に残されている文章が、互いのほぼ繰り返しである文章のサブセットにグループ化される（例えば、所与のサブセットにおける文章の各々の間の単語オーバーラップが、所定の閾オーバーラップを超える）（ブロック５０４）。質条件（quality condition）のセットが満たされた場合には常に（ブロック５０６、Ｙｅｓ）、ソートされたリスト内に残されている文章が、上位スコアの文章のフィルタリングされたソートされたリストに割り当てられる（ブロック５０８）。質条件のセットが満たされない場合には常に（ブロック５０６、Ｎｏ）、ソートされたリスト内に残されている文章の全てが、このリストから除去されて、空のリストが、上位スコアの文章のフィルタリングされたソートされたリストに割り当てられる（ブロック５１０）。

【0026】

本明細書に記載の画像ブラウジングフレームワークの例示的な実施形態において、今説明した質条件のセットは、次の３つの条件を含む。第１は、上位スコアの文章のソートされたリスト内に、少なくとも第１の所定数の文章が残されることである。第２は、ソートされたリスト内に残される文章が、少なくとも第２の所定数の異なる識別されたウェブページからもたらされることである。第３は、ソートされたリスト内の別の文章のほぼ繰り返しである、ソートされたリスト内に残される文章のパーセンテージが、所定パーセンテージ未満であることである。この実施形態の例示的な実施例において、第１の所定数は３であり、第２の所定数は２であり、所定パーセンテージは４０％である。

【0027】

以下のより詳細な説明から理解されるように、情報リポジトリ内の画像の各々に関する抽出されたテキストスニペットの各々において検出されるキータームの各々は、キーワード又はキーフレーズ（例えば、１つの構成要素を形成する連続した２以上の単語であって、単一のユニットとして機能するもの）である。再度図１を参照すると、ブロック１０８の動作において確立される、テキストスニペットと画像との関連付けは、検索エンジンが、情報リポジトリ内の画像の各々に関するテキストスニペットの各々にアクセスすることを可能にする。ブロック１０８の動作において確立される、キータームと画像との関連付けは、検索エンジンが、情報リポジトリ内の画像の各々に関するテキストスニペットの各々において検出されたキータームの各々にアクセスすることも可能にする。これらのスニペット／画像の関連付け及びキーターム／画像の関連付けはまた、所与の画像に関する抽出されたテキストスニペットと、これらテキストスニペットの各々において検出されたキータームと、を、ユーザが画像を閲覧するときにユーザに対して表示することを可能にする。情報リポジトリが、情報リポジトリ内に記憶されている画像の各々に関するメタデータを含む、本明細書に記載の画像ブラウジングフレームワークの例示的な実施形態において、ブロック１０８の動作は、次のように実装することができる。情報リポジトリ内の画像の各々について、この画像に関する抽出されたテキストスニペットの各々と、この画像に関する抽出されたテキストスニペットの各々において検出された１以上のキータームと、が、画像に関するメタデータに付加される。

【0028】

図６は、ユーザが情報リポジトリ内に記憶されている画像をブラウジングすることを可能にするためのプロセスの例示的な実施形態を、簡略化された形で示している。図６に示されるプロセスの実施形態は、情報リポジトリ内に記憶されている画像が、前述したように、ブラウジングのためにすでに準備されていることを想定している。図６に示されるように、プロセスは、ブロック６００において、ユーザが画像をブラウジングするために使用しているコンピュータのディスプレイデバイス上に画像ブラウジングＧＵＩを表示することで始まる。以下でより詳細に説明するように、このＧＵＩは、現在画像セクタを含み、任意的に、キータームセクタ及び画像履歴セクタを含んでもよい。ユーザが、情報リポジトリ内の所望の画像を閲覧するリクエストを発生させると、このリクエストが受信され（ブロック６０２）、所望の画像が、現在画像セクタ内に表示される（ブロック６０４）。次いで、１以上のホットスポットが、所望の画像の上に表示され、ここで、この１以上のホットスポットには、所望の画像に意味論的に関連しており、前述したキータームのうちの１以上を含む、所望の画像に関する異なるテキストスニペットへのハイパーリンクが設定される（ブロック６０６）。

【0029】

オンライン情報管理の分野において理解されているように、ホットスポットは、ユーザにより選択可能な、現在表示されている、情報（画像等）の所与のアイテムの定められた領域である。ホットスポットは、様々な方法により表示できることが理解されよう。本明細書に記載の画像ブラウジングフレームワークの例示的な実施形態において、ホットスポットは、半透明網掛けボックス（semi-transparent shaded box）として表示される。

【0030】

再度図６を参照すると、ユーザが、ホットスポットのうちの１つのホットスポットを選択すると、このユーザ選択が検出され（ブロック６０８）、選択されたホットスポットに自身へのハイパーリンクが設定されているテキストスニペットが、画像ブラウジングＧＵＩ内に表示され、ここで、表示されるテキストスニペットにおけるキータームの各々は、ユーザが、表示されるテキストスニペットにおけるキータームと残りのテキストとを区別できるように、強調表示される（ブロック６１０）。以下でより詳細に説明するように、このテキストスニペットは、様々な方法により、このＧＵＩ内の様々な位置に表示することができる。例示的なキーターム強調表示方法についても、以下でより詳細に説明する。ユーザが、表示されたテキストスニペットにおけるキータームのうちの１つのキータームを選択すると、このユーザ選択が検出され（ブロック６１２）、選択されたキータームに関連付けられている、情報リポジトリからの別の画像が選択される（ブロック６１４）。次いで、この選択された別の画像が、画像ブラウジングＧＵＩの現在画像セクタ内に表示される（ブロック６１６）。すなわち、選択されたキータームにより表されるコンセプト又はエンティティは、ユーザに対して表示される、情報リポジトリからの選択された別の画像にも関連している。したがって、ユーザには、ユーザが以前に閲覧した所望の画像に意味論的に関連している別の画像が提供される。次いで、１以上のホットスポットが、選択された別の画像の上に表示され、ここで、この１以上のホットスポットには、選択された別の画像に意味論的に関連しており、１以上のキータームを含む、選択された別の画像に関する異なるテキストスニペットへのハイパーリンクが設定される（ブロック６１８）。

【0031】

ユーザは、所与のホットスポット、若しくは、ホットスポットに自身へのハイパーリンクが設定されている表示されたテキストスニペットにおける所与のキーターム（又は、以下でより詳細に説明する画像ブラウジングＧＵＩの画像履歴セクタ内の所与のサムネイル、若しくは、このＧＵＩのキータームセクタ内の所与のキーターム）を、次のものを含むがそれに限定されない様々な方法により選択することができることが理解されよう。ディスプレイデバイスの表示画面がタッチ検知式である場合、ユーザは、１以上の指又はペン型デバイスを用いてホットスポット／キーターム／サムネイルに物理的にタッチすることにより、手を使用してホットスポット／キーターム／サムネイルを選択することができる。ユーザのコンピュータがコンピュータマウス等のＧＵＩ選択デバイスを含む場合、ユーザは、ＧＵＩ選択デバイスを使用して、手を使用してホットスポット／キーターム／サムネイルを示し、次いで、手を使用してＧＵＩ選択デバイス上のボタンを押すことができる（例えば、ユーザは、ＧＵＩ選択デバイスを使用して、手を使用してホットスポット／キーターム／サムネイルをクリックすることができる）。ユーザはまた、ＧＵＩ選択デバイスを使用して、所定の時間期間の間、手を使用してホットスポット／キーターム／サムネイルの上に重ねることもできる。ユーザのコンピュータが音声入力・認識サブシステムを含む場合、ユーザは、キータームを話すことにより、表示されたテキストスニペットにおける所与のキータームを音声で選択することができる。

【0032】

再度図６を参照すると、ブロック６１４の動作も、様々な方法により実装できることが理解されよう。限定ではなく例として、本明細書に記載の画像ブラウジングフレームワークの例示的な実施形態において、情報リポジトリからの別の画像の選択は、情報リポジトリから、選択されたキータームに最大回数関連付けられている別の画像を選択すること（例えば、選択されたキータームが、抽出されたテキストスニペットにおいて最大回数検出された別の画像を選択すること）を含む。情報リポジトリからの別の画像の選択は、任意的に、同じ画像をユーザに対して再度表示することを避けるために、ユーザの画像ブラウジング履歴を考慮することを含んでもよい。

【0033】

ユーザが情報リポジトリ内に記憶されている画像をブラウジングすることを可能にするための今説明したプロセスにおいて、所与の画像が、最初に現在画像セクタ内に表示されるときに、画像に関するテキストスニペットへのハイパーリンクが設定されているホットスポットだけが、画像の上に表示される。前述したように、次いで、ユーザは、所与のホットスポットを選択して、画像に関する所与のテキストスニペットを閲覧することができる。本明細書に記載の画像ブラウジングフレームワークの代替実施形態において、所与の画像が、最初に現在画像セクタ内に表示されるときに、ホットスポットが画像の上に表示されることに加えて、画像に関するテキストスニペットのうちのデフォルトのテキストスニペットが、画像ブラウジングＧＵＩ内に自動的に表示されてもよい。この代替実施形態の一実施例においては、テキストスニペットのうち自動的に表示されるデフォルトのテキストスニペットは、最高の関連度と関心度とを組み合わせたスコアを有する、画像に関するテキストスニペットである。この代替実施形態の別の実施例においては、テキストスニペットのうち自動的に表示されるデフォルトのテキストスニペットは、ユーザが最も直近に選択した（したがって、画像を現在画像セクタ内に表示させた）特定のキーターム又はユーザが画像を検索するために元々使用した特定のクエリ語が最大回数現れる、画像に関するテキストスニペットである。この代替実施形態のさらに別の実施例においては、テキストスニペットのうち自動的に表示されるデフォルトのテキストスニペットは、ユーザが選択したキータームの履歴に基づいて選択される。今説明したこれらの実施例の任意の組み合わせが使用されてもよい。

【0034】

１．２ ユーザインタフェースフレームワーク
図７〜図１５は、ユーザが情報リポジトリ内に記憶されている画像をブラウジングすることを可能にするＧＵＩの一般化されたレイアウトの例示的な実施形態を、簡略化された形で示している。図７〜図１５に示される画像ブラウジングＧＵＩ７００は、情報リポジトリ内に記憶されている画像が、前述したように、ブラウジングのためにすでに準備されていることを想定している。したがって、以下のより詳細な説明から理解されるように、図７〜図１５に示されるＧＵＩ７００は、ユーザが、情報リポジトリ内に記憶されている画像を意味論的にブラウジングできるように、キータームと画像との間に作成される前述したハイパーリンク構造を利用する（例えば、ＧＵＩ７００は、情報リポジトリ内の画像の各々に関連付けられているキータームの各々には、このキータームに関連付けられている、情報リポジトリ内の各他の画像へのハイパーリンクが設定されるということを利用する）。図７〜図１５に示されるように、ＧＵＩ７００は、現在画像セクタ７０２を含み、任意的に、キータームセクタ７０４及び画像履歴セクタ７０６を含んでもよい。これらの異なるセクタ７０２／７０４／７０６の使用の例示的な実施形態について、以下でより詳細に説明する。

【0035】

図７に示されるように、情報リポジトリ内に記憶されているＥｒｎｅｓｔ Ｒｕｔｈｅｒｆｏｒｄの画像を閲覧するユーザのリクエストが受信されると、Ｅｒｎｅｓｔ Ｒｕｔｈｅｒｆｏｒｄのリクエストされた画像７２４が、現在画像セクタ７０２内に表示される。４つのホットスポット７０８／７１０／７１２／７１４も、このリクエストされた画像７２４の上に表示されており、ホットスポット７０８／７１０／７１２／７１４の各々には、画像７２４に意味論的に関連している、画像７２４に関する異なるテキストスニペット（例えば、スニペット７１６）へのハイパーリンクが設定されている。ホットスポット７０８のユーザの選択が検出されると、選択されたホットスポット７０８に自身へのハイパーリンクが設定されているテキストスニペット７１６が、画像ブラウジングＧＵＩ７００内に表示される。このテキストスニペット７１６（及び以下で説明する他のテキストスニペット）は、様々な方法により、次のものを含むがそれに限定されない、ＧＵＩ７００内の様々な位置に表示することができる。図７〜図１５に示される特定のＧＵＩの実施形態において、各テキストスニペットは、現在画像セクタ内に現在表示されている画像の上に、スニペットへのハイパーリンクが設定されているホットスポットに隣接してポップアップされる。代替のＧＵＩの実施形態（図示せず）においては、各テキストスニペットは、スニペットが画像を隠さないように、画像の横にポップアップされてもよい。別の代替のＧＵＩの実施形態（図示せず）においては、ＧＵＩが、スニペットセクタを含んでもよく、各テキストスニペットが、スニペットセクタ内に表示されてもよい。さらに別の代替のＧＵＩの実施形態（図示せず）においては、各テキストスニペットが、画像の上の所定の固定位置にポップアップされてもよい（例えば、数ある固定位置の中でもとりわけ、画像の一番下でポップアップされてもよい）。テキストスニペット７１６は、ユーザが、スニペット７１６における１つのキーターム（Ｅｒｎｅｓｔ Ｒｕｔｈｅｒｆｏｒｄ）と残りのテキストとを区別できるように強調表示されている１つのキーターム（Ｅｒｎｅｓｔ Ｒｕｔｈｅｒｆｏｒｄ）を含む。このキーターム強調表示は、キータームの文字を太字にすること、キータームの文字の色を変えること、キータームの文字に下線を引くこと、又はこれらの方法の任意の組合せ等を含むがこれらに限定されない様々な方法により、実行することができる。

【0036】

図８に示されるように、ホットスポット７１０のユーザの選択が検出されると、選択されたホットスポット７１０に自身へのハイパーリンクが設定されているテキストスニペット７１８が、画像ブラウジングＧＵＩ７００内に表示される。テキストスニペット７１８は、強調表示されている１つのキーターム（Ｅｒｎｅｓｔ Ｒｕｔｈｅｒｆｏｒｄ）を含む。図９に示されるように、ホットスポット７１２のユーザの選択が検出されると、選択されたホットスポット７１２に自身へのハイパーリンクが設定されているテキストスニペット７２０が、ＧＵＩ７００内に表示される。テキストスニペット７２０は、強調表示されている１つのキーターム（ａｔｏｍ）を含む。図１０に示されるように、ホットスポット７１４のユーザの選択が検出されると、選択されたホットスポット７１４に自身へのハイパーリンクが設定されているテキストスニペット７２２が、ＧＵＩ７００内に表示される。テキストスニペット７２２は、強調表示されている４つのキーターム（Ｅｎｇｌａｎｄ、Ｐｈｙｓｉｃｓ、Ｍａｎｃｈｅｓｔｅｒ、及びＣａｍｂｒｉｄｇｅ）を含む。

【0037】

図１０を再度参照しながら図１１を参照すると、表示されたテキストスニペット７２２におけるキータームＣａｍｂｒｉｄｇｅのユーザの選択が検出されると、キータームＣａｍｂｒｉｄｇｅに関連付けられている、情報リポジトリからの別の画像７２８が、現在画像セクタ７０２内に表示され、以前に表示された画像７２４のサムネイル７２６（例えば、縮小表現）が、画像履歴セクタ７０６内に表示される。４つのホットスポット７３０／７３２／７３４／７３６も、この別の画像７２８の上に表示されており、ホットスポット７３０／７３２／７３４／７３６の各々には、画像７２８に意味論的に関連している、画像７２８に関する異なるテキストスニペット（例えば、スニペット７３８）へのハイパーリンクが設定されている。ホットスポット７３０のユーザの選択が検出されると、選択されたホットスポット７３０に自身へのハイパーリンクが設定されているテキストスニペット７３８が、画像ブラウジングＧＵＩ７００内に表示される。テキストスニペット７３８は、強調表示されている１つのキーターム（Ｃａｍｂｒｉｄｇｅ）を含む。図１２に示されるように、ホットスポット７３２のユーザの選択が検出されると、選択されたホットスポット７３２に自身へのハイパーリンクが設定されているテキストスニペット７４０が、ＧＵＩ７００内に表示される。テキストスニペット７４０は、強調表示されている２つのキーターム（Ｖｅｎｕｓ及びＥａｒｔｈ）を含む。

【0038】

図１２を再度参照しながら図１３を参照すると、表示されたテキストスニペット７４０におけるキータームＶｅｎｕｓのユーザの選択が検出されると、キータームＶｅｎｕｓに関連付けられている、情報リポジトリからの別の画像７４４が、現在画像セクタ７０２内に表示され、以前に表示された画像７２８のサムネイル７４２が、画像履歴セクタ７０６内に、サムネイル７２６の上に表示される。４つのホットスポット７４６／７４８／７５０／７５２も、この別の画像７４４の上に表示されており、ホットスポット７４６／７４８／７５０／７５２の各々には、画像７４４に意味論的に関連している、画像７４４に関する異なるテキストスニペット（例えば、スニペット７５４）へのハイパーリンクが設定されている。ホットスポット７４６のユーザの選択が検出されると、選択されたホットスポット７４６に自身へのハイパーリンクが設定されているテキストスニペット７５４が、画像ブラウジングＧＵＩ７００内に表示される。テキストスニペット７５４は、強調表示されている３つのキーターム（Ｖｅｎｕｓ、ｏｒｂｉｔ、及びｐｌａｎｅｔ）を含む。図１４に示されるように、ホットスポット７５０のユーザの選択が検出されると、選択されたホットスポット７５０に自身へのハイパーリンクが設定されているテキストスニペット７５６が、ＧＵＩ７００内に表示される。テキストスニペット７５６は、強調表示されている２つのキーターム（Ｖｅｎｕｓ及びａｔｍｏｓｐｈｅｒｅ）を含む。

【0039】

図１４を再度参照しながら図１５を参照すると、表示されたテキストスニペット７５６におけるキータームａｔｍｏｓｐｈｅｒｅのユーザの選択が検出されると、キータームａｔｍｏｓｐｈｅｒｅに関連付けられている、情報リポジトリからの別の画像７６０が、現在画像セクタ７０２内に表示され、以前に表示された画像７４４のサムネイル７５８が、画像履歴セクタ７０６内に、サムネイル７４２及びサムネイル７２６の上に表示される。３つのホットスポット７６２／７６４／７６６も、この別の画像７６０の上に表示されており、ホットスポット７６２／７６４／７６６の各々には、画像７６０に意味論的に関連している、画像７６０に関する異なるテキストスニペット（例えば、スニペット７６８）へのハイパーリンクが設定されている。ホットスポット７６２のユーザの選択が検出されると、選択されたホットスポット７６２に自身へのハイパーリンクが設定されているテキストスニペット７６８が、画像ブラウジングＧＵＩ７００内に表示される。テキストスニペット７６８は、強調表示されている２つのキーターム（ｅｘｏｐｌａｎｅｔ及びａｔｍｏｓｐｈｅｒｅ）を含む。

【0040】

再度図１１〜図１４を参照すると、画像履歴セクタ７０６は、ユーザが以前に閲覧した画像の時系列に編成された履歴をユーザに提供することが理解されよう。画像履歴セクタ７０６内に表示されるサムネイル（例えば、７２６／７４２／７５８）の数が、画像履歴セクタ７０６内で利用可能なスペースを超える場合には、スクロールバー（図示せず）が、画像履歴セクタ７０６に追加され得るので、ユーザはサムネイルをスクロールさせることができるようになる。画像履歴セクタ７０６内の所与のサムネイルのユーザの選択が検出されると、選択されたサムネイルにより表される画像が、現在画像セクタ７０２内に再表示され、１以上のホットスポット（各ホットスポットには、この画像に関する異なるテキストスニペットへのハイパーリンクが設定される）が、この画像の上に再表示される。限定ではなく例として、サムネイル７４２のユーザの選択が検出されると、画像７２８及びホットスポット７３０／７３２／７３４／７３６が、現在画像セクタ７０２内に再表示される。画像履歴セクタ７０６は、様々な他の方法により編成されてもよいことも理解されよう。限定ではなく例として、図１３〜図１５に示されるように、以前に表示された最も直近の画像のサムネイルが、画像履歴セクタ７０６内にすでに存在し得る全てのサムネイルの上に配置されるのではなく、以前に表示された最も直近の画像のサムネイルは、画像履歴セクタ７０６内にすでに存在し得る全てのサムネイルの下に配置されてもよい。

【0041】

再度図７〜図１５を参照して、キータームセクタ７０４のオペレーション及び機能についてより詳細に説明する。図７〜図１５に示される画像ブラウジングＧＵＩ７００において、キータームリストが、キータームセクタ７０４内に表示されており、キータームリストは、情報リポジトリ内に記憶されている画像の全てに関連付けられているキータームの全てのアルファベット順に編成された一覧を含む。キータームリスト内のキータームの数が、キータームセクタ７０４内で利用可能なスペースを超える場合には、スクロールバー（図示せず）が、キータームセクタ７０４に追加され得るので、ユーザはキータームリストをスクロールさせることができるようになる。現在画像セクタ７０２内に所与の画像が表示されると、キータームセクタ７０４内に現在表示されている、キータームリストの一部が、ユーザがまさに選択した（したがって、画像を現在画像セクタ内に表示させた）、画像に関する所与の表示されたテキストスニペットにおける特定のキータームを含むように、キータームリストが自動的にスクロールされ、このまさに選択されたキータームが、キータームセクタ内で強調表示される。限定ではなく例として、図１０に示される現在画像セクタ７０２内に表示されている画像７２４に関する表示されたテキストスニペット７２２におけるキータームＣａｍｂｒｉｄｇｅのユーザの選択が検出されると、キータームセクタ７０４内に現在表示されている、キータームリストの一部が、まさに選択されたキータームＣａｍｂｒｉｄｇｅを含むように、キータームリストが自動的にスクロールされ、図１１に示されるように、キータームｃａｍｂｒｉｄｇｅが、キータームセクタ内で強調表示される。

【0042】

次のものを含むがそれに限定されないキータームセクタの様々な代替実施形態も可能であることが理解されよう。キータームセクタの一代替実施形態において、ユーザが、新たな画像ブラウジングセッションを開始すると、キータームセクタ内のキータームリストは、空から始まり、その後、キータームリストには、このセッション中にユーザが選択する異なるキータームが徐々に投入される（例えば、ユーザが選択する各キータームが、キータームリストに追加される）。キータームセクタの別の代替実施形態においては、ユーザが、新たな画像ブラウジングセッションを開始すると、キータームセクタ内のキータームリストは、空から始まり、その後、キータームリストには、このセッション中に現在画像セクタ内に表示される異なる画像に関連付けられているキータームの全てが徐々に投入される（例えば、新たな画像が、現在画像セクタ内に表示されるときに、新たな画像に関連付けられているキータームの全てが、キータームリストに追加される）。キータームセクタのさらに別の代替実施形態においては、ユーザが、新たな画像ブラウジングセッションを開始すると、キータームセクタ内のキータームリストは、空から始まり、その後、キータームリストには、現在画像セクタ内に表示される各異なる画像に最大回数関連付けられているキータームが徐々に投入される（例えば、新たな画像が、現在画像セクタ内に表示されるときに、新たな画像に最大回数関連付けられているキータームが、キータームリストに追加される）。キータームセクタのさらに別の代替実施形態においては、キータームセクタは、ユーザが、所望のキータームを探すために、情報リポジトリ内に記憶されている画像の全てに関連付けられているキータームの全てを検索することを可能にするテキスト入力ボックスを含む（例えば、ユーザは、所望のコンセプト又はエンティティに関連している画像を探すために、情報リポジトリ内を検索することができる）。このテキスト入力ボックスは、任意的に、情報リポジトリ内の画像に関連付けられているキータームをユーザに示すオートコンプリート機能を含んでもよい。今説明したこれらの代替実施形態の任意の組合せが使用されてもよい。

【0043】

本明細書に記載の画像ブラウジングフレームワークの例示的な実施形態において、キータームセクタ内に表示されている今説明したキータームリスト内のキータームのうちの所与のキータームのユーザの選択が検出されると、次の動作が生じる。このユーザ選択が検出される。次いで、選択されたキータームに関連付けられている、情報リポジトリからの別の画像が選択される。この別の画像の選択は、前述した方法のうちのいずれかの方法により実施することができる。次いで、この選択された別の画像が、現在画像セクタ内に表示される。

【0044】

２．０ さらなる実施形態
画像ブラウジングフレームワークについて、その実施形態を具体的に参照しながら説明したが、画像ブラウジングフレームワークの真の主旨及び範囲から逸脱することなく、その変形形態及び変更形態が可能であることを理解されたい。限定ではなく例として、情報リポジトリ内に記憶されている画像の各々が、前述したように、ユーザの画像ブラウジングアクティビティに先立って、ブラウジングのために準備されるのではなく、本明細書に記載の画像ブラウジングフレームワークの次の代替実施形態も可能である。情報リポジトリ内に記憶されているテキストがマイニングされて、所与の画像に関する前述したテキストスニペットが抽出され、前述したキータームが、この抽出されたテキストスニペットの各々において検出され、この抽出されたテキストスニペット及び検出されたキータームが、画像を表示するユーザのリクエストが受信されたときに、オンザフライで（on-the-fly）で画像に関連付けられてもよい。

【0045】

さらに、画像ブラウジングＧＵＩの現在画像セクタ内に現在表示されている所与の画像に関する所与の表示されたテキストスニペットにおける所与のキータームのユーザの選択が検出されると、前述したように、選択されたキータームに関連付けられている、情報リポジトリからの別の画像を現在画像セクタ内に表示するのではなく、次の異なることが生じてもよい。本明細書に記載の画像ブラウジングフレームワークの一代替実施形態において、選択されたキータームに関連付けられている、情報リポジトリ内に記憶されている他の画像のサムネイルの集合が、現在画像セクタ内に表示されてもよく、ここで、サムネイルのこの集合は、選択されたキータームに関連付けられている、情報リポジトリ内の画像の全てを含んでもよいし、選択されたキータームに関連付けられている、情報リポジトリ内に記憶されている所定数の上位スコアの他の画像を含んでもよい。ユーザが、サムネイルの集合における特定のサムネイルを選択すると、この選択が検出され、選択されたサムネイルにより表される画像が、現在の画像セクタ内に表示され得る。画像ブラウジングフレームワークの別の代替実施形態においては、選択されたキータームに関する情報が、ユーザに対して表示されてもよい。

【0046】

さらに、画像ブラウジングＧＵＩの現在画像セクタ内に現在表示されている所与の画像に関する所与の表示されたテキストスニペットにおける所与のキータームのユーザの選択が検出されると、次のさらなる異なることが生じてもよい。本明細書に記載の画像ブラウジングフレームワークのさらに別の代替実施形態においては、検索エンジンに対するクエリが生成されてもよく、ここで、このクエリは、選択されたキータームを含んでもよいし、キータームが選択された元である表示されたテキストスニペット全体を含んでもよい。次いで、検索エンジンは、このクエリに関連している情報を探すために、情報リポジトリ内を検索することができ、検索結果が、検索エンジンから受信され、現在画像セクタ内に表示され得る。検索結果は、とりわけ、クエリに関連している画像のページ等、多種多様なタイプの情報を含み得ることに留意されたい。ユーザが、検索結果に含まれる画像を選択すると、選択された画像が、ＧＵＩの現在画像セクタ内に表示され、１以上のホットスポットが、選択された画像の上に表示され得る。ここで、１以上のホットスポットの各々には、選択された画像に関する異なるテキストスニペットへのハイパーリンクが設定される。この特定の代替実施形態は、ユーザの直近のブラウジング履歴を考慮するとともに、とりわけ、他のユーザが閲覧したものの直近の傾向も考慮することができるので、有利であることが理解されよう。画像ブラウジングフレームワークのさらに別の実施形態においては、選択されたキータームに関連している現在話題になっているトピック及び画像が、現在画像セクタ内に表示されてもよい。

【0047】

さらに、画像ブラウジングＧＵＩの次の代替実施形態も可能である。前述したように、前述した所望の画像又は選択された別の画像（以下では集合的に単に所与の画像と呼ぶ）をＧＵＩの現在画像セクタ内に表示するのではなく、画像のグラフが、現在画像セクタ内に表示されてもよい。ここで、このグラフは、所与の画像のサムネイルと、所与の画像に関連付けられているキータームへのハイパーリンクが設定されている、情報リポジトリ内の画像（又は、ハイパーリンクが設定されている画像の所定のサブセット）のサムネイルと、を含む。画像のグラフはまた、グラフ内のサムネイルの異なるペア間のグラフィカル接続を含む。ここで、サムネイルの所与のペア間の所与のグラフィカル接続は、サムネイルの所与のペアにより表される、情報リポジトリ内の画像のペアが、１以上のキータームを共通して有することを示す。したがって、画像のグラフは、グラフ内のサムネイルにより表される、情報リポジトリ内の画像間の意味論的関係（semantic relationship）を表示することが理解されよう。

【0048】

図１７は、今説明した画像のグラフの例示的な実施形態を、簡略化された形で示している。図１７に示されるように、画像のグラフ１７００は、６つの異なる画像のサムネイル１７０１〜１７０６を含む。ここで、サムネイル１７０６は、今説明した所与の画像を表し、サムネイル１７０１〜１７０５は、所与の画像に関連付けられているキータームへのハイパーリンクが設定されている、情報リポジトリ内の画像を表す。グラフ１７００はまた、グラフ内のサムネイルの異なるペア間の様々なグラフィカル接続（例えば、接続１７０７及び１７０８）を含む。ここで、サムネイルの所与のペア間の所与のグラフィカル接続（例えば、サムネイル１７０６とサムネイル１７０３との間の接続１７０７）は、サムネイルの所与のペアにより表される、情報リポジトリ内の画像のペアが、１以上のキータームを共通して有する（例えば、サムネイル１７０６及び１７０３により表される画像が、１以上のキータームを共通して有する）ことを示す。グラフ１７００は、次のものを含むがそれに限定されない様々な方法により、ユーザによりインタラクティブにブラウジングされ得る。サムネイル１７０２のユーザの選択が検出されると、画像の新たなグラフ（図示せず）が、現在画像セクタ内に表示され得る。ここで、この新たなグラフは、選択されたサムネイル１７０２と、選択されたサムネイル１７０２により表される、情報リポジトリ内の画像に関連付けられているキータームへのハイパーリンクが設定されている、情報リポジトリ内の画像のサムネイルと、を含む。接続１７０７のユーザの選択が検出されると、サムネイル１７０６及び１７０３により表される画像間の意味論的関係に関する様々な情報（例えば、これらの画像が共通して有する１以上のキーターム）が、ユーザに対して表示され得る。

【0049】

さらなる複合的な実施形態を形成するために、前述した実施形態のいずれか又は全てが、任意の所望される組合せで使用され得ることにも留意されたい。構造的特徴及び／又は方法論的動作に特有の言葉で、画像ブラウジングフレームワークの実施形態について説明したが、添付の特許請求の範囲において定められる主題は、上述した特定の特徴又は動作に必ずしも限定されるものではないことを理解されたい。そうではなく、上述した特定の特徴及び動作は、請求項を実施する例示的な形態として開示されている。

【0050】

３．０ 例示的な動作環境
本明細書に記載の画像ブラウジングフレームワークの実施形態は、多数のタイプの汎用目的又は特殊目的のコンピューティングシステム環境又はコンピューティングシステム構成において使用することができる。図１６は、本明細書に記載の画像ブラウジングフレームワークの様々な実施形態及び要素を実装することができる汎用目的のコンピュータシステムの簡略化された例を示している。図１６において破線により表される任意のボックスは、簡略化されたコンピューティングデバイスの代替実施形態を表しており、以下に記載のそれら代替実施形態のいずれか又は全ては、本明細書全体を通じて記載されている他の代替実施形態とともに使用されてもよいことに留意されたい。

【0051】

例えば、図１６は、簡略化されたコンピューティングデバイス１６００を示す一般的なシステム図を示している。そのようなコンピューティングデバイスは、通常、少なくとも何らかの最小限の計算能力を有するデバイスにおいて見つけることができる。そのようなデバイスは、パーソナルコンピュータ（ＰＣ）、サーバコンピュータ、ハンドヘルドコンピューティングデバイス、ラップトップコンピュータ又はモバイルコンピュータ、携帯電話機及び携帯情報端末（ＰＤＡ）等の通信デバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能な消費家電、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、並びに、オーディオメディアプレーヤ又はビデオメディアプレーヤを含むが、これらに限定されるものではない。

【0052】

デバイスが、本明細書に記載の画像ブラウジングフレームワークの実施形態を実装できるようにするために、デバイスは、基本的な計算オペレーションを可能にする十分な計算能力及びシステムメモリを有する必要がある。詳細には、図１６により示されるように、計算能力は、一般に、１以上の処理装置１６１０により示され、１以上のグラフィックス処理装置（ＧＰＵ）１６１５を含み得る。１以上の処理装置１６１０及び１以上のＧＰＵ１６１５の一方又は双方は、システムメモリ１６２０と通信する。簡略化されたコンピューティングデバイス１６００の１以上の処理装置１６１０は、特殊マイクロプロセッサ（デジタル信号プロセッサ（ＤＳＰ）、超長命令語（ＶＬＩＷ）プロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は他のマイクロコントローラ）であってもよいし、１以上の処理コアを有する従来の中央処理装置（ＣＰＵ）（マルチコアＣＰＵにおいて特殊ＧＰＵベースコアを有するものを含むが、これに限定されるものではない）であってもよい。

【0053】

さらに、図１６の簡略化されたコンピューティングデバイス１６００はまた、例えば、通信インタフェース１６３０等の他のコンポーネントを含み得る。図１６の簡略化されたコンピューティングデバイス１６００はまた、１以上の従来のコンピュータ入力デバイス１６４０（例えば、ポインティングデバイス、キーボード、オーディオ（例えば、音声）入力デバイス、ビデオ入力デバイス、触覚入力デバイス、ジェスチャ認識デバイス、有線データ伝送又は無線データ伝送を受信するためのデバイス等）を含み得る。図１６の簡略化されたコンピューティングデバイス１６００はまた、例えば、１以上の従来のコンピュータ出力デバイス１６５０（例えば、１以上のディスプレイデバイス１６５５、オーディオ出力デバイス、ビデオ出力デバイス、有線データ伝送又は無線データ伝送を受信するためのデバイス等）等の他のオプションのコンポーネントを含んでもよい。汎用目的のコンピュータのための典型的な通信インタフェース１６３０、入力デバイス１６４０、出力デバイス１６５０、及び記憶デバイス１６６０は、当業者には周知であり、本明細書で詳細には説明しない。

【0054】

図１６の簡略化されたコンピューティングデバイス１６００はまた、様々なコンピュータ読み取り可能な媒体を含み得る。コンピュータ読み取り可能な媒体は、コンピュータ１６００が記憶デバイス１６６０を介してアクセスできる任意の利用可能な媒体であり得、コンピュータ読み取り可能な命令若しくはコンピュータ実行可能な命令、データ構造、プログラムモジュール、又は他のデータ等の情報を記憶するための、着脱可能１６７０及び／又は着脱不可能１６８０な揮発性媒体及び不揮発性媒体の両方を含み得る。限定ではなく例として、コンピュータ読み取り可能な媒体は、コンピュータ記憶媒体及び通信媒体を含み得る。コンピュータ記憶媒体は、デジタル多用途ディスク（ＤＶＤ）、コンパクトディスク（ＣＤ）、フロッピディスク、テープドライブ、ハードドライブ、光ドライブ、ソリッドステートメモリデバイス、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、若しくは他のメモリ技術、磁気カセット、磁気テープ、磁気ディスクストレージ、若しくは他の磁気記憶デバイス、又は、所望の情報を記憶するために使用することができ、１以上のコンピューティングデバイスがアクセスできる任意の他のデバイス等の、有体のコンピュータ読み取り可能な媒体若しくはマシン読み取り可能な媒体、又は記憶デバイスを指す。

【0055】

コンピュータ読み取り可能な命令若しくはコンピュータ実行可能な命令、データ構造、プログラムモジュール等の情報の保持はまた、１以上の変調されたデータ信号、搬送波、若しくは他の伝送機構、又は通信プロトコルを符号化するために様々な前述した通信媒体のいずれかを使用することにより実現することができ、任意の有線又は無線の情報配信機構を含み得る。「変調されたデータ信号」又は「搬送波」という用語は、一般に、信号内の情報を符号化するように設定又は変更された特性のうちの１以上の特性を有する信号を指すことに留意されたい。例えば、通信媒体は、１以上の変調されたデータ信号を伝送する有線ネットワーク又は直接配線接続等の有線媒体と、１以上の変調されたデータ信号又は搬送波を送信及び／又は受信するための音響、無線周波数（ＲＦ）、赤外線、レーザ、及び他の無線媒体等の無線媒体と、を含み得る。上述したものの任意の組合せも、通信媒体の範囲に含まれるべきである。

【0056】

さらに、本明細書に記載の様々な画像ブラウジングフレームワークの実施形態の一部又は全てを具現化するソフトウェア、プログラム、及び／若しくはコンピュータプログラム製品、又はこれらの一部は、コンピュータ実行可能な命令又は他のデータ構造の形で、コンピュータ読み取り可能な媒体、マシン読み取り可能な媒体、記憶デバイス、及び通信媒体の任意の所望の組合せに記憶されてもよいし、これらから受信されてもよいし、これらから送信されてもよいし、これらから読み出されてもよい。

【0057】

最後に、本明細書に記載の画像ブラウジングフレームワークの実施形態は、コンピューティングデバイスにより実行されるプログラムモジュール等のコンピュータ実行可能な命令の一般的なコンテキストにおいて、さらに説明され得る。一般に、プログラムモジュールは、特定のタスクを実行する、あるいは特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含む。画像ブラウジングフレームワークの実施形態はまた、タスクが、１以上の通信ネットワークを介してリンクされている１以上のリモート処理デバイスにより実行される、あるいは、タスクが、１以上の通信ネットワークを介してリンクされている１以上のデバイスのクラウド内で実行される分散コンピューティング環境において実施されてもよい。分散コンピューティング環境において、プログラムモジュールは、媒体記憶デバイスを含むローカルコンピュータ記憶媒体及びリモートコンピュータ記憶媒体の両方に配置させることができる。さらに、前述した命令は、部分的に又はその全体が、プロセッサを含んでも含まなくてもよいハードウェア論理回路として実装されてもよい。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】