特開 2018-152094 画像ベース検索

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2018-152094(P2018-152094A)

(43)【公開日】2018年9月27日

(54)【発明の名称】画像ベース検索

(51)【国際特許分類】

   G06F 17/30 20060101AFI20180831BHJP

   G06T 1/00 20060101ALI20180831BHJP

   G06T 7/00 20170101ALI20180831BHJP

【ＦＩ】

   G06F17/30 320Z

   G06F17/30 170B

   G06F17/30 350C

   G06F17/30 320A

   G06T1/00 200E

   G06T7/00 300E

【審査請求】有

【請求項の数】17

【出願形態】ＯＬ

【全頁数】23

(21)【出願番号】特願2018-80069(P2018-80069)

(22)【出願日】2018年4月18日

(62)【分割の表示】特願2016-530236(P2016-530236)の分割

【原出願日】2014年11月10日

(31)【優先権主張番号】61/902,907

(32)【優先日】2013年11月12日

(33)【優先権主張国】US

(31)【優先権主張番号】14/279,871

(32)【優先日】2014年5月16日

(33)【優先権主張国】US

(71)【出願人】

【識別番号】512038078

【氏名又は名称】ピンタレスト，インコーポレイテッド

(74)【代理人】

【識別番号】100106541

【弁理士】

【氏名又は名称】伊藤 信和

(72)【発明者】

【氏名】ジン ユシ

(72)【発明者】

【氏名】カイ ウェイ

【テーマコード（参考）】

5B050

5L096

【Ｆターム（参考）】

5B050BA10

5B050EA08

5B050FA02

5B050GA08

5L096CA24

5L096FA02

5L096FA15

5L096FA64

5L096HA07

5L096JA03

(57)【要約】      （修正有）

【課題】画像に含まれるオブジェクトの各選択により、外見上類似するオブジェクトを含む追加画像をユーザに対し提示するる技術を提供する。
【解決手段】第１画像に含まれる複数のオブジェクトから第１オブジェクトを選択する第１ユーザ入力を受信し、前記複数のオブジェクトから第２オブジェクトを選択する第２ユーザ入力を受信し、前記選択された第１オブジェクトに外見上類似する第３オブジェクトを含み且つ前記第２オブジェクトに外見上類似するオブジェクトを含まない第２画像を特定するため、データストアで維持される少なくとも１つのインデックスを照会し、ユーザに対する提示のために、前記第３オブジェクトを含む前記第２画像の少なくとも一部を送信する。
【選択図】図７

【特許請求の範囲】

【請求項1】

１つまたは複数のプロセッサと、
命令を記憶するメモリと、
を備えるコンピューティングシステムであって、命令が少なくとも１つまたは複数のプロセッサにより実行されると、前記１つまたは複数のプロセッサは少なくとも、
第１画像に含まれる複数のオブジェクトから第１オブジェクトを選択する第１ユーザ入力を受信し、
前記複数のオブジェクトから第２オブジェクトを選択する第２ユーザ入力を受信し、
前記選択された第１オブジェクトに外見上類似する第３オブジェクトを含み且つ前記第２オブジェクトに外見上類似するオブジェクトを含まない第２画像を特定するため、データストアで維持される少なくとも１つのインデックスを照会し、
ユーザに対する提示のために、前記第３オブジェクトを含む前記第２画像の少なくとも一部を送信する、コンピューティングシステム。

【請求項2】

前記第２画像の少なくとも一部は、前記第１画像と同時に提示される、請求項１に記載のコンピューティングシステム。

【請求項3】

前記１つまたは複数のプロセッサが前記命令を実行すると、前記１つまたは複数のプロセッサは少なくとも、
前記第１ユーザ入力または前記第２ユーザ入力に応答し、前記第１オブジェクト及び前記第２オブジェクトを少なくとも特定するために前記第１画像を処理し、
前記第１オブジェクトに、前記第１オブジェクトを表す第１トークンを対応付けし、
前記第２オブジェクトに、前記第２オブジェクトを表す第２トークンを対応付けし、
前記少なくとも１つのインデックスの照会は前記第１トークン又は前記第２トークンに少なくとも一部基づく、請求項１に記載のコンピューティングシステム。

【請求項4】

前記１つまたは複数のプロセッサが前記命令を実行すると、前記１つまたは複数のプロセッサは少なくとも、
前記第１オブジェクトの画像特徴セットを計算し、
前記画像特徴セットを連結して前記第１オブジェクトの表示を表す特徴ベクトルを形成し、
前記特徴ベクトルを前記第１トークンに変換する、請求項３に記載のコンピューティングシステム。

【請求項5】

第１画像内の第１位置の第１選択を受信することと、
第１画像内の第２位置の第２選択を受信することと、
前記第１位置に表示される第１オブジェクトに対応する第１トークンを特定することと、
前記第２位置に表示される第２オブジェクトに対応する第２トークンを特定することと、
前記第１トークン及び前記第２トークンに少なくとも一部基づき、少なくとも１つのインデックスに表示される前記選択された第１オブジェクトに外見上類似する追加オブジェクトの表示を含み且つ前記第２オブジェクトに外見上類似するオブジェクトを含まない複数の追加画像を特定するために、データストアで維持される前記インデックスを照会することと、
前記複数の追加画像をディスプレイに提示することと、を含む、コンピュータ実施方法。

【請求項6】

前記ディスプレイに前記第１画像を表示することと、
前記第１オブジェクトが選択可能であることを識別するために、前記第１画像の前記第１位置に少なくとも１つの選択制御を提示することと、をさらに含む、請求項５に記載のコンピュータ実施方法。

【請求項7】

前記複数の追加画像のそれぞれに対し、類似スコアを決定することと、
前記類似スコアに基づき、前記複数の追加画像のそれぞれを順位付けることと、をさらに含み、
前記提示することは、前記順位に応じて前記複数の追加画像を提示することを含む、請求項５に記載のコンピュータ実施方法。

【請求項8】

前記第１選択を受信する前に、前記第１オブジェクト及び前記第２オブジェクトを少なくとも特定するために前記第１画像を処理することと、
前記第１オブジェクトを表示する前記第１トークンに、前記第１オブジェクトを対応付けることと、
前記第２オブジェクトを表示する前記第２トークンに、前記第２オブジェクトを対応付けることと、を含み
前記少なくとも１つのインデックスを照会することは、前記第１トークン又は前記第２トークンに少なくとも一部基づく、請求項５に記載のコンピュータ実施方法。

【請求項9】

前記第１オブジェクトの画像特徴セットを計算し、
前記画像特徴セットを連結して前記第１オブジェクトの表示を表す特徴ベクトルを形成し、
前記特徴ベクトルを前記第１トークンに変換することをさらに含む、請求項５に記載のコンピュータ実施方法。

【請求項10】

命令を記憶する非一時的コンピュータ可読記憶媒体であって、命令がコンピューティングシステムの少なくとも１つのプロセッサにより実行されると、コンピューティングシステムは少なくとも、
画像の第１セグメントの第１選択を受信し、
前記第１セグメントの第１位置に少なくとも一部基づき、前記第１セグメントに対応する第１オブジェクトを特定し、
前記第１オブジェクトに少なくとも一部基づき、前記第１オブジェクトに外見上類似するオブジェクトを含む第１の複数の追加画像を特定し、
前記第１選択は肯定的選択であることを特定し、
前記１選択が肯定的選択であることの特定に少なくとも一部基づき、前記第１の複数の追加画像のそれぞれに肯定的重み付けを適用し、
前記画像の第２セグメントの第２選択を受信し、
前記第２セグメントの第２位置に少なくとも一部基づき、前記第２セグメントに対応する第２オブジェクトを特定し、
前記第２オブジェクトに少なくとも一部基づき、前記第２オブジェクトに外見上類似するオブジェクトを含む第２の複数の追加画像を特定し、
前記第２選択は否定的選択であることを特定し、
前記第２選択が否定的選択であることの特定に少なくとも一部基づき、前記第２の複数の追加画像のそれぞれに否定的重み付けを適用し、
それぞれの画像に特定された類似スコア、肯定的重み付け、否定的重み付けの少なくとも一部に基づき、前記第１の複数の追加画像及び前記第２の複数の追加画像のそれぞれを順位付けし、
前記順位付けに応じた第３の複数の画像を提示のために送信し、前記第３の複数の画像は前記第１の複数の追加画像のうち少なくとも１つの画像及び前記第２の複数の追加画像のうち少なくとも１つの画像を含む、非一時的コンピュータ可読記憶媒体。

【請求項11】

前記命令が前記少なくとも１つのプロセッサにより実行されると、前記コンピューティングシステムに少なくとも、
前記第１オブジェクト及び前記第１の複数の追加画像の画像に表示されているオブジェクトとの外観類似度に少なくとも一部基づき、前記第１の複数の追加画像のそれぞれに対して類似スコアを決定させる、請求項１０に記載の非一時的コンピュータ可読記憶媒体。

【請求項12】

前記命令が前記少なくとも１つのプロセッサにより実行されると、前記コンピューティングシステムに少なくとも、
前記第１選択に応答し、前記画像の少なくとも一部を処理して前記第１オブジェクトを特定させ、
前記第１オブジェクトに、前記第１オブジェクトを表す第１トークンを対応付けさせ、及び
テキストベース検索技術を使用して前記第１オブジェクトをインデックス化し、前記第１オブジェクトをデータストアに維持される少なくとも１つのインデックスに含ませ、
前記少なくとも１つのプロセッサが実行され前記コンピューティングシステムに少なくとも前記第１の複数の追加画像を決定させる前記命令は、前記コンピューティングシステムに少なくとも、
前記トークンに少なくとも一部基づき、前記第１の複数の追加画像を特定するために前記データストアに維持される少なくとも１つのインデックスを照会する、請求項１０に記載の非一時的コンピュータ可読記憶媒体。

【請求項13】

前記命令が前記少なくとも１つのプロセッサにより実行されると、前記コンピューティングシステムに少なくとも、
前記第１オブジェクトの画像特徴セットを計算させ、
前記画像特徴セットを連結して前記第１オブジェクトの表示を表す特徴ベクトルを形成させ、
前記特徴ベクトルを前記第１トークンに変換させる、請求項１２に記載の非一時的コンピュータ可読記憶媒体。

【請求項14】

前記トークンは前記第１オブジェクトを表す一意的識別子を含む、請求項１２に記載の非一時的コンピュータ可読記憶媒体。

【請求項15】

前記オブジェクトは、前記オブジェクトの形、サイズ、色、またはブランドに少なくとも一部基づいて、外見上類似しているかが決定される、請求項１０に記載の非一時的コンピュータ可読記憶媒体。

【請求項16】

前記第３の複数の画像は、画像と同時に提示するために送信される、請求項１０に記載の非一時的コンピュータ可読記憶媒体。

【請求項17】

前記命令が前記少なくとも１つのプロセッサにより実行されると、前記コンピューティングシステムに少なくとも、
前記第１画像と共に、前記第１セグメントが選択可能であることを示す少なくとも１つの選択制御を提示させる、請求項１０に記載の非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１３年１１月１２日に出願された「商品推薦、コンテンツ連動型広告、及びポルノ除去のためのオブジェクト成分の階層化」（“ＨＩＥＲＡＲＣＨＹ ＯＦ ＯＢＪＥＣＴＳ ＣＯＭＰＯＮＥＮＴＳ ＦＯＲ ＰＲＯＤＵＣＴ ＲＥＣＯＭＭＥＮＤＡＴＩＯＮ， ＣＯＮＴＥＸＴＵＲＡＬ ＡＤＶＥＲＴＩＳＩＮＧ ＡＮＤ ＰＯＲＮＯＧＲＡＰＨＹ ＲＥＭＯＶＡＬ”）と題する米国特許仮出願第６１／９０２，９０７号、及び２０１４年５月１６日に出願された「画像ベース検索」（“ＩＭＡＧＥ ＢＡＳＥＤ ＳＥＡＲＣＨ”）と題する米国実用特許出願第１４／２７９，８７１号に対する利益を主張し、両出願の全体を本明細書に参考として組み込むものとする。

【背景技術】

【0002】

ユーザ及び顧客の手に入るアクセス可能なデジタルコンテンツの量は膨張し続けていることに伴い、ユーザが探しているコンテンツを発見することは、引続きより一層困難なものとなっている。キーワード検索等、いくつかの異なる検索技術が存在するが、このようなシステムには非効率な点が多数存在する。

【発明の概要】

【課題を解決するための手段】

【0003】

情報の画像検索を可能にするシステム及び方法が説明される。画像に含まれるオブジェクトの各選択により、外見上類似するオブジェクトを含む追加画像が特定され、ユーザに対し提示される。

【0004】

発明を実施するための形態は、添付の図面に関連して記述される。図面において、参照番号の左端の数（複数可）は、その参照番号が最初に現れる図面を特定する。異なる図面において同一の参照番号を使用することで、同様または同一の構成要素または機能を示す。

【図面の簡単な説明】

【0005】

【図1】１つの実施形態における、関心オブジェクトを選択するためのグラフィカルユーザインターフェイスの表示である。

【図2】１つの実施形態における、関心オブジェクトを選択するためのグラフィカルユーザインターフェイスの表示である。

【図3】１つの実施形態における、関心オブジェクトを選択するためのグラフィカルユーザインターフェイスの表示である。

【図4】実施形態による例示的画像処理ルーチンを示すフロー図である。

【図5】実施形態によるセグメント化画像の表示である。

【図6】１つの実施形態における、関心オブジェクトを選択するためのグラフィカルユーザインターフェイスの表示である。

【図7】実施形態による例示的画像検索ルーチンを示すフロー図である。

【図8A】１つの実施形態における、関心オブジェクトを選択するためのグラフィカルユーザインターフェイスの表示である。

【図8B】図８Ａに例示される選択された関心オブジェクトに基づいて、検索結果報告を示すグラフィカルユーザインターフェイスの表示である。

【図9】実施形態による例示的コンピューティングデバイスを示す。

【図10】図９に示されるようなコンピューティングデバイスのコンポーネントの例示的構成を示す。

【図11】様々な実施形態に使用され得るサーバシステムの例示的実施形態の絵図である。

【発明を実施するための形態】

【0006】

本明細書において実施形態が実施例により説明されるが、実施形態は、説明される実施例または図面に限定されないことを当業者は認識するであろう。図面及びその詳細説明には、実施形態を開示される特定の形態に限定する意図はなく、それとは逆に、添付の請求項により定義される精神と範囲に入る全ての変更、均等物、及び代替案を含める意図があることを理解されたい。本明細書において使用される見出しは、本明細書の構成目的でのみ使用され、説明または請求項の範囲を限定するために用いられることを意図しない。本出願を通して使用される英単語“ｍａｙ”は、義務的な意味（すなわち「〜しなければならない」という意味）よりも、むしろ許可的な意味（すなわち「〜する可能性がある」という意味）で使用される。同様に、英単語“ｉｎｃｌｕｄｅ”、“ｉｎｃｌｕｄｉｎｇ”、及び“ｉｎｃｌｕｄｅｓ”は「含む」ことを意味するが、その対象に限定されない。

【0007】

本明細書において、より大きな画像及び／またはビデオからの１つまたは複数の関心オブジェクトの選択に基づいて、情報の検索を簡易化するシステム及び方法が説明される。数多くの画像ベースクエリにおいて（例えばファッションデザイン、インテリアデザイン）、ユーザが関心を持つのは、画像全体ではなく、画像内に表示された特定のオブジェクト（例えばドレス、ソファー、ランプ）、及びそれらオブジェクトの組み合わせ方（例えばシャツとスカートのセンスの良い選択、テレビに対するソファーの配置）である。

【0008】

一実施形態において、ユーザは提示された画像の中から関心オブジェクトを選択することにより（例えばタッチ式ディスプレイ、ポインティングデバイス、マウスを使用して）、検索を開始し得る。選択された関心オブジェクトに基づいて、他の類似するオブジェクトが特定され、ユーザに提示される。例えば、女性の画像がユーザに提示され、ユーザが女性の画像に含まれる靴（関心オブジェクト）を選択した場合、選択した靴に外見上類似する（例えばサイズ、形、色、スタイル、ブランド）他の靴の画像が特定され、ユーザに提示される。ユーザは、提示された画像のうちの１つを選択する、あるいは追加及び／または他の関心オブジェクトを選択する、あるいは他の動作を行うことが可能である。

【0009】

いくつかの実施形態において、画像に含まれるオブジェクトは、予め特定され、ユーザ選択のために視覚的に区別され得る。同様に、類似するオブジェクトを含む他の画像もまた、当該画像内のオブジェクトに対応付けられ得るため、ユーザが関心オブジェクトのうちの１つを選択すると、類似するオブジェクトを含む画像がユーザに素早く提示され得る。

【0010】

さらなる実施形態において、ユーザは、複数の関心オブジェクトを選択し、及び／または選択した関心オブジェクトが肯定的関心オブジェクトであるか、否定的関心オブジェクトであるかを指定することが可能である。肯定的関心オブジェクトとは、ユーザがその他の外見上類似するオブジェクトの画像を見たいと思うユーザ選択オブジェクトである。否定的関心オブジェクトとは、ユーザが他の画像に含めたくないユーザ選択オブジェクトである。例えば、ユーザが画像から肯定的関心オブジェクトとして椅子及びランプと、否定的関心オブジェクトとして敷物とを選択した場合、本明細書において説明される実施形態は、椅子及びランプを含むが敷物は含まない他の画像を特定する。

【0011】

図１〜３は、１つの実施形態における、関心オブジェクトを選択するためのグラフィカルユーザインターフェイスの表示である。クライアントデバイスを介して、グラフィカルユーザインターフェイスがユーザに提供され得る。クライアントデバイスには、例えば、パーソナルコンピュータ、タブレットコンピュータ、電子書籍リーダデバイス、ラップトップコンピュータ、デスクトップコンピュータ、ネットブック、パーソナルデジタルアシスタント（ＰＤＡ）、携帯ゲームデバイス、スマートフォンもしくは携帯ハンドセット等の無線通信デバイス、セットトップボックス、ゲーム機、カメラ、オーディオレコーダ／プレーヤ、またはこれらの任意の組み合わせが含まれ得る。クライアントデバイスを使用することで、ユーザは、提供された情報との対話処理を行い、関心オブジェクトを選択し、及び／または他の動作を行い得る。

【0012】

まず図１を参照すると、第１ウィンドウ１０１と、第２ウィンドウ１０３とを備えるユーザインターフェイス１００が例示される。第１ウィンドウにおいて、複数のオブジェクト１０４（ａ）、１０４（ｂ）、１０４（ｃ）、１０４（ｄ）〜１０４（ｎ）の表示を含む画像１０２が提示される。画像１０２等の画像は多くの場合、複数の別個のオブジェクト１０４（例えばポット、ランプ、ドレス、靴、サングラス、車、建物）を含む。例えば、図１に例示されるように、画像１０２は、複数の異なるサイズ及び形のティーポット（オブジェクト）の表示を含む。ユーザが情報及び／またはアイテムを検索している時、ユーザは多くの場合、表示される画像１０２全体よりも、画像１０２に含まれる特定のオブジェクトにのみ関心を持つ。例えば、ユーザは、画像１０２に表示されるティーポット１０４（ａ）と類似するサイズ及び形のティーポットにのみ関心を持ち得る。

【0013】

追加情報及び／または外見上類似するオブジェクトを含む他の画像を取得するために、ユーザはオブジェクト１０４を選択し得る。本明細書において、選択されたオブジェクトは、「関心オブジェクト」と称され、画像内の選択される可能性のあるオブジェクトは、本明細書において「関心オブジェクト候補」と称される。いくつかの実施形態において、画像に含まれるオブジェクトのいずれの表示も関心オブジェクト候補であり得、ユーザにより関心オブジェクトとして選択され得る。オブジェクトの特定は、ユーザによるオブジェクトの選択の際、行われ得る。例えば、オブジェクトの選択が受信されるまで、関心オブジェクト候補を特定する画像解析は行われ得ない。ユーザにより画像の一部の入力選択が行われると、入力箇所が特定され、画像が処理され、そして選択箇所に対応するオブジェクトが選択関心オブジェクトとして特定され得る。

【0014】

別の実施形態において、図１に例示されるように、関心オブジェクト候補を特定する前処理が画像に対し行われ得る。このような実施形態において、オブジェクトが関心オブジェクトとして選択可能であることをユーザに対し識別するために、各関心オブジェクト候補の上または付近に、選択制御１０６が提示され得る。いくつかの実施形態において、選択制御は、ユーザが選択可能なオブジェクトを識別できるように、継続的にディスプレイ上に表示され得る。別の実施形態において、選択制御は選択的に提示され得る。例えば、選択制御は、最初は所定の時間（例えば画像を提供して最初の５秒）提示され、及び／またはユーザの特定動作に応じて提示され得る。例えば、ユーザがディスプレイ上でポインタを動かした時、ユーザがディスプレイを触った時等に、選択制御は提示され得る。

【0015】

さらに別の実施形態において、画像は前処理され、関心オブジェクト候補が選択制御１０６によりユーザに対し視覚的に区別され、及び／またはユーザは画像内の他のオブジェクトを選択し得る。ユーザが、特定されていない、かつ選択制御１０６により区別されていない、画像内に表示されるオブジェクトを選択した場合、入力箇所が特定され、その画像の一部は選択オブジェクトを特定するために処理され得る。

【0016】

図２に例示されるように、関心オブジェクトの選択の際、関心オブジェクトに外見上類似するオブジェクトを含む追加画像が特定され、これらの画像の少なくとも一部は、第１ウィンドウ１０１に提示される画像１０２と同時に、第２ウィンドウ１０３においてユーザに対し提示される。当実施例において、ユーザは、選択制御１０６を含むティーポット１０４（ａ）を選択している。選択関心オブジェクト（ティーポット１０４（ａ））に外見上類似する（例えば、同様の形、サイズ、色）オブジェクトを含む追加画像が特定される。追加画像を特定する技術に関しては、後に詳述される。

【0017】

次に、選択関心オブジェクトに外見上類似するオブジェクトを含む特定された画像は順位付けられ、高い順位（例えば選択関心オブジェクトに対する外観類似度に基づく）の画像が、第２ウィンドウ１０３において提示される。当実施例において、外見上類似するオブジェクトを含む追加画像の一部のみが、ユーザに提示される。例えば、外見上類似するオブジェクト２０４（ａ）、２０４（ｂ）、２０４（ｃ）〜２０４（ｎ）の表示が特定され、ユーザに対し提示される。

【0018】

ユーザは外見上類似するオブジェクトの表示を選択可能であり、その表示を含む画像が、第１ウィンドウ１０１に含まれる画像１０２と置き換わる。あるいは、ユーザは、第１ウィンドウ１０１に提示される画像１０２に含まれる別の関心オブジェクト候補を選択可能である。例えば、図３を参照すると、ユーザが関心オブジェクト候補１０４（ｂ）を選択した場合、選択関心オブジェクト１０４（ｂ）に外見上類似するオブジェクトの表示を含む画像が特定され、第２ウィンドウを介してユーザに提示される。図２に関して提供された論述と同様に、選択関心オブジェクトに外見上類似するオブジェクトの画像の一部のみが第２ウィンドウ１０３において提示される。具体的には、外見上類似するオブジェクト３０４（ａ）、３０４（ｂ）〜３０４（ｎ）を含む画像の一部が第２ウィンドウ１０３において提示される。ユーザは画像１０２から異なるオブジェクトを選択し続けることが可能であり、第２ウィンドウ１０３を介して外見上類似するオブジェクトの表示が提供され得る。あるいは、ユーザは外見上類似するオブジェクトの表示３０４（ａ）〜３０４（ｎ）のうちの１つを選択可能であり、選択した外見上類似するオブジェクトを含む画像が、画像１０２と置き換わって第１ウィンドウ１０１に提示される。

【0019】

図４は、実施形態による例示的画像処理ルーチンを示すフロー図である。当ルーチン及び本明細書に説明される各ルーチンは、本明細書に説明されるアーキテクチャにより、または他のアーキテクチャにより実施され得る。ルーチンは、論理的フローグラフのブロックの集合として例示される。ブロックのうちのいくつかは、ハードウェア、ソフトウェア、またはこれらの組み合わせにおいて実施可能な動作を表す。ソフトウェアに関しては、ブロックは、１つまたは複数のコンピュータ可読媒体上に記憶され、かつ１つまたは複数のプロセッサにより実行されると詳述された動作を実行するコンピュータ実行可能命令を表す。一般に、コンピュータ実行可能命令には、特定の機能を実行する、または特定の抽象データ類を実施するルーチン、プログラム、オブジェクト、コンポーネント、データ構造等が含まれる。

【0020】

コンピュータ可読媒体には、ハードドライブ、フロッピー（登録商標）ディスケット、光ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、読出専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、磁気もしくは光カード、固体メモリデバイス、または電子命令を記憶するのに好適な他の種類の記憶媒体を含み得る、非一時的コンピュータ可読記憶媒体が含まれ得る。さらに、いくつかの実施形態において、コンピュータ可読媒体には、一時的コンピュータ可読信号（圧縮または非圧縮形）が含まれ得る。コンピュータ可読信号の実施例には、搬送波を使用して変調されていようとなかろうと、インターネットまたは他のネットワークを介してダウンロードされる信号を含む、コンピュータプログラムを提供または実行するコンピュータシステムのアクセス可能信号が含まれるが、これに限定されない。最終的に、動作が説明される順序は制限として解釈される意図はなく、任意の数の説明動作は、プロセスを実施するために、任意の順序で、及び／または並行して組わせることが可能である。

【0021】

例示的プロセス４００は、４０２における画像のセグメント化から始まる。サークルパッキングアルゴリズム、スーパーピクセル等の任意の様々なセグメント化技術が使用され得る。そして４０４において、セグメントに対し、画像の背景部分を検討対象から取り除く処理が行われ得る。背景セグメントの特定は、例えば、集中制約（例えば主要オブジェクトは画像の中心にあり得る）と一意制約（例えば主要オブジェクトは背景とは異なり得る）の組み合わせを使用して行われ得る。一実施形態において、セグメント（Ｓ_ｉ）ごとに、色、質感、形の組み合わせ及び／または他の特徴検出を使用して、一意制約が計算され得る。全てのセグメント対の対ユークリッド距離は、

【数1】

はまた、

【数2】

として計算され得る。セグメントＳ_ｉまたはＵ_ｉの一意制約Ｕは、

【数3】

として計算され得る。セグメントＳ_ｉごとの集中制約は、

【数4】

として計算され得る。Ｘ’及びＹ’は画像の中心座標である。

【0022】

１つまたは複数のセグメントＳ’、すなわちＳのサブセットは、Ｕ（ｓ）−Ａ（ｓ）＞ｔであるように選択され得る。ｔは、手動で設定された、あるいはデータから学習された閾値である。閾値ｔは、セグメントを背景情報またはオブジェクト候補として区別するのに使用される任意の定義された数または量であり得る。あるいは、

【数5】

及び

【数6】

が計算され、ラベル付き主要セグメント及びラベル付き非主要セグメントのラベル付きデータベースに対する各セグメントの類似度として使用され得る。

【数7】

はＳ’の要素であり、ｒ_ｉはＲ‐の要素であり、Ｒ‐は画像非主要領域（背景）のセットである。最終的なスコアは、

【数8】

となる。

【0023】

別の実施形態において、同一ユーザの過去の対話処理に対する関心箇所の選択が特定され得る。最終セグメントＳ’は、１つまたは複数のグループを形成するようにクラスタ化され得る。各グループは画像の特徴部分である。

【0024】

図４に戻ると、４０６において、背景セグメントを取り除く際、画像内に残るオブジェクトが特定される。画像内に残るオブジェクトは、例えば、スライディングウィンドウ法を使用して、オブジェクト位置の可能性のある各仮説のスコアを計算することにより、特定され得る。ハールライク（Ｈａａｒ−ｌｉｋｅ）ウェーブレットのブースト選択、または複数箇所ベースモデル等の手法を使用して各セグメントは処理され、一致可能性オブジェクトが特定され得る。例えば、セグメントの画像ベクトルが決定され、オブジェクトに関する記憶された情報と比較され得る。画像ベクトル及び記憶情報に基づいて、特定オブジェクトの記憶情報対する画像ベクトルの類似度に従って、特定が行われ得る。

【0025】

スライディングウィンドウ法は、毎回異なる訓練済オブジェクト分類子（例えば、人、鞄、靴、顔、腕等）で、Ｎ回行われ得る。各オブジェクト分類子の仮説を決定後、各オブジェクトクラスの最良仮説のセットが出力される。オブジェクトは一般に画像内にランダムに現れないため（例えば目と鼻は通常一緒に現れる）、位置感応制約もまた検討され得る。例えば、ルートオブジェクト（例えば人）の位置は、Ｗ（ｒｏｏｔ）と定義され、各オブジェクトｋの各幾何制約は、お互いに関して

【数9】

、６要素ベクトルとして表され得る。ルートオブジェクトＷ_ｒｏｏｔに関する各ランドマークＷ_ｏｉの幾何学的適合は、

【数10】

により定義され得る。ｄｘ、ｄｙは、オブジェクトボックスＷ_ｏｉ内の各ピクセルとルートオブジェクトボックス内の各ピクセルの間の平均幾何学的距離である。最適な

【数11】

を探す問題は、ａｒｇ ｍｉｎ

【数12】

として定式化可能である。Ｄ_{ｔｒａｉｎ}（Θ_ｉ）は、訓練画像内のΘ_ｉの観測値である。

【0026】

当機能を最適化するために、４０８において画像内のオブジェクトの位置が特定され得る。例えば、画像内のルートオブジェクト（例えば人）の中心は（０、０）と印され、処理された画像内の他のオブジェクトの位置は、ルートオブジェクトに関して変化する。そしてΘ_ｉをパラメータとして使用して、線形サポートベクトルマシン（ＳＶＭ）が適用される。ＳＶＭに対し、Ｄ_{ｔｒａｉｎ}（Θ_ｉ）が入力される。線形計画法、動的計画法、凸最適化等の他の最適化手法も単独で、または本明細書において説明される最適化と組み合わせて使用可能である。訓練データＤ_{ｔｒａｉｎ}（Θ_ｋ）は、ユーザが、オブジェクト全体とランドマークの両方の上部にバウンディングボックスを配置することにより、収集可能である。あるいは、オブジェクトを特定するのに、顔検出アルゴリズム、エッジ検出アルゴリズム等の半自動的手法が利用され得る。いくつかの実施形態において、オブジェクトを表示するのに、長円形、楕円形、及び／または不規則形等の他の形が使用され得る。

【0027】

図４に戻ると、４１０において、特定されたオブジェクトごとに、トークンが対応付けられる。具体的には、オブジェクトを含むバウンディングボックスがトークンと対応付けられ、当該対応付けはデータストア１１０３（図１１）に維持され得る。トークンは、オブジェクトを表す一意的識別子であり得る。あるいは、トークンは分類情報を含み得る。例えば、衣服の表示に対応付けられたトークンは、オブジェクトの一意的識別子に加えて、衣料分類子（プレフィックス分類子等）を含み得る。別の実施形態において、画像特徴セット（例えば色、形、質感）は、画像内のオブジェクトごとに計算され、当該画像特徴セットは、オブジェクトの表示を表す単一特徴ベクトルを形成するために連結され得る。単一特徴ベクトルは、その後、ビジュアル用語集ユーザを介して、ビジュアルトークンに変換され得る。ビジュアル用語集は、大きな画像データセットから生成された特徴に対しクラスタリングアルゴリズム（例えばｋ平均法）を実行することにより生成され、クラスタの中心が用語集セットとなり得る。各単一特徴ベクトルは、特徴空間（例えばユークリッド距離）に最も類似する１つまたは複数の用語集の用語に変換される。

【0028】

トークンと画像内に表示される各オブジェクトを対応付けた後、４１２において、オブジェクトはインデックス化される。各オブジェクトは、標準テキストベース検索技術を使用して、インデックス化され得る。しかしながら、標準テキストまたは画像検索と異なり、複数のインデックスがデータストア１１０３（図１３）に維持され、各オブジェクトは複数のインデックスのうちの１つまたは複数と対応付けられ得る。後に詳述されるように、ユーザは、画像内に表示されるオブジェクトを１つまたは複数選択し得る。各選択は、アクションＩＤ（肯定的選択、否定的選択）に対応付けられ得る。インデックス付き画像及びトークンは、画像内に表示される選択オブジェクトに外見上類似する他のオブジェクトを特定するのに利用され得る。画像の処理後、４１４において、例示的プロセス４００は完了する。

【0029】

図５は、実施形態によるセグメント化画像の表示である。画像５００等の画像は、前述のセグメント化技術を使用してセグメント化され得る。例示的ルーチン４００を使用して、背景セグメントは取り除かれ、画面内の６つのオブジェクトがセグメント化され、特定化されている。具体的には、身体オブジェクト５０２、頭部オブジェクト５０４、シャツオブジェクト５０６、ズボンオブジェクト５０８、鞄オブジェクト５１０、及び足部オブジェクト５１２である。セグメント化の一環として、ルーツオブジェクト、当実施例では身体オブジェクト５０２は特定され、他のオブジェクト５０４〜５１２の位置は、これらの他のオブジェクトを特定する時に検討されている。

【0030】

別の実施形態において、他のセグメント化及び特定化技術を使用して、画像がセグメント化され得る。例えば、クラウドソーシング技術を使用して、画像はセグメント化され得る。例えば、ユーザは画像を見て、オブジェクトを含む画像領域を選択し、これらのオブジェクトにラベルを付け得る。より多くのユーザが画像内のオブジェクトを特定するため、これらのオブジェクトの識別の信頼性が向上する。ユーザが提供したセグメント化及び特定化に基づいて、画像内のオブジェクトは、インデックス化され、他の画像に含まれる他の外見上類似するオブジェクトに対応付けられ得る。

【0031】

ユーザは、様々な選択技術を使用して、画像内のセグメント及び／またはオブジェクトを選択し得る。例えば、図６は、一連のセル６０２（ａ）〜６０２（ｅ）に予備的にセグメント化された画像６００の実施例を示す。ユーザは、オブジェクトを含む各セルを選択する（例えば触れる）ことでオブジェクトを指定し得る。当実施例において、ユーザは、セル６０２（ｂ）、６０２（ｄ）、６０２（ｅ）を選択することで、スカート６０４の表示を選択した。オブジェクトの表示と共に、予備セグメント化がユーザに対し視覚的に提示され得る。別の実施形態において、予備セグメント化は、仮想的に維持され、提示され得ない。このような実施形態において、ユーザ入力の位置が特定され、対応する予備セグメントが特定され得る。セグメント群が特定され、これらセグメントは結合され、指定オブジェクトを囲む単一のセグメントまたはバウンディング領域を形成し得る。

【0032】

図７は、実施形態による例示的画像検索ルーチン７００を示すフロー図である。例示的ルーチン７００は、７０２における画像セグメントの選択を受信することから始まる。前述のように、ユーザは、例えば画像のセグメントを選択する入力デバイス（例えば指、マウス、カーソル、キーボード）を使用して、画像のセグメントを選択し得る。別の実施形態において、ユーザの特定された注視位置に基づいて、画像のセグメントが決定され得る。例えば、クライアントデバイスは、ユーザがクライアントデバイスのディスプレイを見ている画像を取り込む１つまたは複数の画像取り込みコンポーネント（例えばカメラ）を備え得る。取り込まれた画像は、ユーザの注視位置を特定するために処理され、画像の対応するセグメントが選択され得る。

【0033】

７０４において、画像内の選択セグメントの位置に基づいて、セグメントに対応するオブジェクトが特定される。画像内のオブジェクトの位置は、ルーツオブジェクト、画像の中心点等からの距離に基づいて特定され得る。受信した選択の位置はオブジェクトの位置と相関し、従って対応するオブジェクトが特定され得る。

【0034】

特定されたオブジェクトに基づいて、外見上類似するオブジェクトを含む１つまたは複数の追加画像が特定され得る。例えば、前述のように、オブジェクトがオブジェクトタイプによりインデックス化され、オブジェクトが選択された時、同一のインデックスに対応付けられた他の画像を特定するために、オブジェクトタイプのインデックスデータストアが照会され得る。外見上類似すると特定されたオブジェクトの画像は、追加画像内に表示されるオブジェクトに対しどれだけ選択オブジェクトの表示が類似しているかに基づいて、順位付けまたは重み付けがされ得る。例えば、選択オブジェクトの単一特徴ベクトルは、外見上類似するオブジェクトの特徴ベクトルと比較され、オブジェクト間の類似度が決定され得る。追加の外見上類似するオブジェクトには、より大きい重み付け、またはより高い類似スコアが付与され得る。

【0035】

外見上類似するオブジェクトの追加画像を特定することに加えて、選択は肯定的選択であるか、否定的選択であるかに関する特定も行われ得る。いくつかの実施形態において、選択が、肯定的（ユーザがその他の外見上類似するオブジェクトの画像を見たいと思う関心オブジェクト）であるか、または否定的（ユーザが他の画像に含めたくない関心オブジェクト）であるか、ユーザは指定可能である。７０８において選択関心オブジェクトが肯定的関心オブジェクトであると特定された場合、７１０において、特定された画像及び／またはこれらの画像の決定された類似スコアに対し、肯定的重み付けが適用され得る。これと比較して、選択が否定的であると特定された場合、７１２において、特定された画像及び／またはこれらの画像の決定された類似スコアに対し、否定的重み付けが適用され得る。

【0036】

重み付けを特定された画像に対応付けた後、７１４において、画像内において追加オブジェクトが選択されたか否かに関する判定が行われ得る。画像内の追加オブジェクトが選択された場合、例示的ルーチン７００は、ブロック７０４に戻り、引続きその後の動作を行う。本明細書において論述されるように、いくつかの実施形態において、ユーザは画像内の複数のオブジェクトを選択し、及び／または各選択に肯定的または否定的指示を対応付け得る。複数のオブジェクトが選択された場合、外見上類似する画像ごとの類似スコアが検討され、複数の選択オブジェクトを有する画像は、その類似スコアが合同され得る。同様に、いくつかの実施形態において、ユーザは、複数の画像からオブジェクトを選択し、これらのオブジェクトを検討して（肯定的または否定的関心オブジェクトのいずれであるか）、他の外見上類似するオブジェクトを特定し得る。

【0037】

追加のオブジェクト選択がないことが判定された場合、７１６において、各特定された画像の類似スコアが順位付けられ、７１８において、最も順位の高い画像が、ユーザに対する提示のために送信される。前述のように、いくつかの実施形態において、外見上類似するオブジェクトの画像の一部のみが、ユーザに対する提示のために送信され得る。例えば、外見上類似するオブジェクトを含む追加画像のセグメントのみが、ユーザに対する提示のために送信され得る。別の実施形態において、外見上類似するオブジェクトを含む追加画像全体が、ユーザに対する提示のために送信され得る。

【0038】

図８Ａは、一実施形態における、クライアントデバイス８０５上に提示される、画像８０２を含むグラフィカルユーザインターフェイス８００の表示である。当実施例において、ユーザは、画像８０２内に表示される３つのオブジェクト８０４、８０６、８０８を選択している。肯定的選択は「＋」表示で提示され、一方否定的選択は「−」表示で提示される。一実施形態において、ユーザは、関心オブジェクトの肯定的選択を、オブジェクトを１回選択することにより行い得る。関心オブジェクトの否定的選択は、オブジェクトを２回選択することにより行われ得る。

【0039】

当実施例において、ユーザは、画像内に表示される敷物に対し肯定的選択８０４、画像内に表示される椅子に対し肯定的選択８０８、画像内に表示されるソファーに対し否定的選択８０６を行っている。図７に関して前述されたように、受信した選択に基づいて、外見上類似するオブジェクトを含む１つまたは複数の画像が特定され、重み付けが行われる。当実施例において、複数のオブジェクトが選択されたため（一部肯定的選択、一部否定的選択）、椅子と敷物の表示に対し最も高い外観類似度を有するが、ソファーに対する外観類似度を有さない画像を特定するために追加画像が処理される。

【0040】

図８Ｂは、図８Ａに例示される選択された関心オブジェクトに基づいて検索結果報告を示す、クライアントデバイス８０５上に提示されるグラフィカルユーザインターフェイス８５０の表示である。例示されるように、選択関心オブジェクトに対し最も高い外観類似度を有すると特定された画像は、図８Ａの肯定的選択の椅子と敷物に外見上類似する椅子８５２及び敷物８５４を含む。同様に、図８Ａにおいてソファーは否定的選択であったため、グラフィカルユーザインターフェイス８０５は、ソファーの表示を含まない。

【0041】

図９は、本明細書において説明される様々な実施形態に従って使用可能な例示的クライアントデバイス９００を示す。当実施例において、クライアントデバイス９００は、ディスプレイ９０２と、ディスプレイ９０２と同じデバイス側面上に、任意でカメラ等の少なくとも１つの入力コンポーネント９０４とを備える。クライアントデバイス９００はまた、スピーカー９０６等のオーディオトランスデューサと、任意でマイク９０８とを備え得る。一般に、クライアントデバイス９００は、ユーザがクライアントデバイス９００と対話処理を行うことを可能にする任意の形態の入出力コンポーネントを有し得る。例えば、デバイスとのユーザ対話処理を可能にする様々な入力コンポーネントには、タッチ式ディスプレイ９０２（例えば抵抗性、容量性、補間感圧抵抗（ＩＦＳＲ）タッチ式ディスプレイ）、カメラ（ジェスチャ追跡用等）、マイク、全地球測位システム（ＧＰＳ）、羅針盤、またはこれらの任意の組み合わせが含まれ得る。これらの入力コンポーネントのうちの１つまたは複数は、デバイス上に含まれ得る、あるいはデバイスと通信状態にあり得る。本明細書に含まれる教示及び提示に照らして明らかであるように、様々な他の入力コンポーネント及び入力コンポーネントの組み合わせも同様に、様々な実施形態の範囲内で使用可能である。

【0042】

本明細書において説明される様々な機能性を提供するために、図１０は、図９に関して説明され、本明細書において論述されるクライアントデバイス９００等のクライアントデバイス９００の例示的基本コンポーネントセット１０００を示す。当実施例において、デバイスは、少なくとも１つのメモリデバイスまたは素子１００４に記憶可能な命令を実行する少なくとも１つの中央処理装置１００２を備える。当業者には明らかであるように、デバイスは、プロセッサ１００２により実行されるプログラム命令の第１データストレージ等、多くの種類のメモリ、データストレージ、またはコンピュータ可読記憶媒体を備え得る。リムーバブル記憶メモリは、他のデバイス等と情報を共有するのに利用可能であり得る。一般にデバイスは、タッチ式ディスプレイ、電子インク（ｅインク）、有機発光ダイオード（ＯＬＥＤ）、または液晶ディスプレイ（ＬＣＤ）等のある種のディスプレイ１００６を備える。

【0043】

論述されるように、数多くの実施形態におけるデバイスは、デバイス付近のオブジェクトを撮像可能な１つまたは複数のカメラ等、少なくとも１つの画像取り込み素子１００８を備える。画像取り込み素子は、特定された解像度、焦点距離、可視領域、及びキャプチャレートを有するＣＣＤまたはＣＭＯＳ画像取り込み素子等の任意の好適な技術を含み得る、またはそれに少なくとも一部基づき得る。デバイスは、検索用語、トークンを生成し、及び／または選択された検索用語に一致する結果を特定及び提示するプロセスを行う少なくとも１つの検索コンポーネント１０１０を備え得る。例えば、クライアントデバイスは、遠隔コンピューティングリソース（図示せず）と常時または間欠的に通信状態にあり、検索プロセスの一環として、選択された検索用語、デジタルアイテム、トークン等の情報を遠隔コンピューティングシステムと交換し得る。

【0044】

デバイスはまた、ＧＰＳ、ＮＦＣ位置追跡またはＷｉＦｉ位置監視等の少なくとも１つの位置特定コンポーネント１０１２を備え得る。位置特定コンポーネント１０１２により取得された位置情報は、オブジェクト選択と一致する画像を選択する際の因子として、本明細書で論述される様々な実施形態で使用され得る。例えば、ユーザがサンフランシスコにいて、画像内に表示される橋（オブジェクト）の肯定的選択を行った場合、ゴールデンゲートブリッジ等の外見上類似するオブジェクトを特定する際、ユーザの位置は因子として検討され得る。

【0045】

例示的クライアントデバイスはまた、ユーザから従来の入力を受付け可能な少なくとも１つの追加入力デバイスを備え得る。この従来の入力には、例えば、プッシュボタン、タッチパッド、タッチ式ディスプレイ、ハンドル、操作レバー、キーボード、マウス、トラックボール、キーパッド、またはユーザがデバイスに対し命令を入力できるその他のこのようなデバイスもしくは素子が含まれ得る。いくつかの実施形態において、これらの入出力デバイスは、無線、赤外線、ブルートゥース（登録商標）、または他のリンクによっても接続され得る。しかしながら、いくつかの実施形態において、このようなデバイスは、全くボタンを備えず、接触（例えばタッチ式ディスプレイ）、音声（例えば発話）命令、またはこれらの組み合わせを介してのみ制御され得る。

【0046】

図１１は、本明細書において説明される１つまたは複数の実施形態で使用され得る、遠隔コンピューティングリソース等のサーバシステム１１００の例示的実施形態の絵図である。サーバシステム１１００は、１つまたは複数の冗長プロセッサ等のプロセッサ１１０１と、ビデオディスプレイアダプタ１１０２と、ディスクドライブ１１０４と、入出力インターフェイス１１０６と、ネットワークインターフェイス１１０８と、及びメモリ１１１２とを備え得る。プロセッサ１１０１と、ビデオディスプレイアダプタ１１０２と、ディスクドライブ１１０４と、入出力インターフェイス１１０６と、ネットワークインターフェイス１１０８と、メモリ１１１２は、通信バス１１１０によりお互いに通信可能に接続され得る。

【0047】

ビデオディスプレイアダプタ１１０２は、サーバシステム１１００のオペレータがサーバシステム１１００の作動を監視し設定することを可能にする、ローカルディスプレイ（図１１に図示せず）に対する表示信号を提供する。入出力インターフェイス１１０６も同様に、サーバシステム１１００のオペレータにより操作可能なマウス、キーボード、スキャナ、または他の入出力デバイス等、図１１に図示されない外部入出力デバイスと通信する。ネットワークインターフェイス１１０８は、他のコンピューティングデバイスと通信するハードウェア、ソフトウェア、またはこれらの任意の組み合わせを含む。例えば、ネットワークインターフェイス１１０８は、サーバシステム１１００とクライアントデバイス９００等の他のコンピューティングデバイスとの間の通信を提供するように構成され得る。

【0048】

メモリ１１１２は一般に、ランダムアクセスメモリ（ＲＡＭ）、読出専用メモリ（ＲＯＭ）、フラッシュメモリ、及び／または他の揮発性もしくは永久メモリを含む。メモリ１１１２は、サーバシステム１１００の作動を制御するオペレーティングシステム１１１４を格納しているように示される。サーバシステム１１００の低次元作動を制御するバイナリ入出力システム（ＢＩＯＳ）１１１６もまた、メモリ１１１２に格納される。

【0049】

メモリ１１１２はさらに、クライアントデバイス９００及び外部ソースがサーバシステム１１００と情報及びデータファイルを交換することを可能にするネットワークサービスを提供するために、プログラムコード及びデータを記憶する。従って、メモリ１１１２は、ブラウザアプリケーション１１１８を格納し得る。ブラウザアプリケーション１１１８は、プロセッサ１１０１により実行されると、ウェブページ等の構成可能マークアップドキュメントを生成あるいは取得するコンピュータ実行可能命令を含む。ブラウザアプリケーション１１１８は、データストア１１０３、クライアントデバイス９００等のクライアントデバイス、外部ソース等の間のデータ交換及びマッピングを簡易化するために、データストアマネジャーアプリケーション１１２０と通信する。

【0050】

本明細書において使用される「データストア」という用語は、データ記憶、データアクセス、データ取得が可能な任意のデバイスまたはデバイスの組み合わせを指し、これは、任意の標準環境、分散環境、またはクラスタ環境における任意の数のデータサーバ、データベース、データストレージデバイス、データ記憶媒体、及びこれらの任意の組み合わせを含み得る。サーバシステム１１００は、クライアントデバイス９００、外部ソース、及び／または検索サービス１１０５用の１つまたは複数アプリケーションの態様を実行するために、必要に応じてデータストア１１０３と融合する任意の好適なハードウェア及びソフトウェアを備え得る。サーバシステム１１００は、データストア１１０３と協働してアクセス制御サービスを提供し、マッチング検索結果、外見上類似するオブジェクトを含む画像、外見上類似するオブジェクトを有する画像のインデックス等のコンテンツを生成可能である。

【0051】

データストア１１０３は、特定の態様に関連するデータを記憶するためのいくつかの個別のデータテーブル、データベース、または他のデータストレージ機構及び媒体を含み得る。例えば、例示されるデータストア１１０３は、デジタルアイテム（例えば画像）と、これらアイテムに関する対応メタデータ（例えばトークン、インデックス）を含む。検索履歴、環境設定、プロファイル、及び他の情報も同様に、データストアに記憶され得る。

【0052】

データストア１１０３に格納され得る数多くの他の態様が存在し、これらは、必要に応じて前記の機構のいずれかに、またはデータストアのいずれかの追加機構に格納可能であることは理解されよう。データストア１１０３は、対応付けられたロジックを通して、サーバシステム１１００から命令を受信し、命令に応じてデータを取得、更新あるいは処理することが可能であり得る。

【0053】

メモリ１１１２はまた、検索サービス１１０５を含み得る。検索サービス１１０５は、サーバシステム１１００の１つまたは複数の機能を実施するために、プロセッサ１１０１により実行可能であり得る。一実施形態において、検索サービス１１０５は、メモリ１１１２内に記憶された１つまたは複数のソフトウェアプログラムに組み込まれた命令を表示し得る。別の実施形態において、検索サービス１１０５は、ハードウェア命令、ソフトウェア命令、またはこれらの組合せを表示可能である。

【0054】

一実施形態において、サーバシステム１１００は、１つまたは複数のコンピュータネットワークまたは直接接続を使用して、通信リンクを介して相互接続された、いくつかのコンピュータシステム及びコンポーネントを利用する分散環境である。しかしながら、このようなシステムは、図１１に例示されるコンポーネントよりも少ない、または多いコンポーネントを有するシステムにおいても同等に作動し得ることが、当業者には理解されるであろう。従って、図１１における描写は、本来例示的なものであり、開示内容の範囲を限定しないものとして理解されるべきである。

【0055】

本明細書の内容は、構造的特徴及び／または方法論的動作に特有の言語で記述されたが、添付の請求項において定義される内容は、記述される特定の特徴または動作に必ずしも限定されないことは理解されよう。むしろ特定の特徴または動作は、請求項を実施する例示的形態として開示される。

【0056】

条項
１．少なくとも１つのプロセッサと、
タッチセンサー式ディスプレイと、
命令を含むメモリと
を備えるコンピューティングシステムであって、命令が少なくとも１つのプロセッサにより実行されると、命令によりコンピューティングシステムは少なくとも、
複数のオブジェクトを含む第１画像を提示し、
提示された画像から複数のオブジェクトのうちの第１オブジェクトを選択するユーザ入力を受信し、
選択された第１オブジェクトに外見上類似する第２オブジェクトを含む第２画像を特定し、
第１画像と同時に、第２オブジェクトを含む少なくとも一部の第２画像を提示する、
コンピューティングシステム。

【0057】

２．命令が実行されると、命令によりコンピューティングシステムはさらに少なくとも、
提示された画像から複数のオブジェクトのうちの第３オブジェクトを選択する第２ユーザ入力を受信する、
第１項に記載のコンピューティングシステム。

【0058】

３．命令が実行されると、命令によりコンピューティングシステムはさらに少なくとも、
第１選択は肯定的選択であることを判断し、
第２選択は否定的選択であることを判断し、
第２画像は、第３オブジェクトに外見上類似するオブジェクトを含まない、
第２項に記載のコンピューティングシステム。

【0059】

４．命令が実行されると、命令によりコンピューティングシステムはさらに少なくとも、
第１選択は第１肯定的選択であることを判断し、
第２選択は第２肯定的選択であることを判断し、
第２画像はさらに、第３オブジェクトに外見上類似する第４オブジェクトを含む、
第２項に記載のコンピューティングシステム。

【0060】

５．命令が実行されると、命令によりコンピューティングシステムはさらに少なくとも、
第１画像に含まれるオブジェクトがユーザにより選択可能であることを識別する選択制御の図形表示を第１画像上に提示する、
第１項に記載のコンピューティングシステム。

【0061】

６．命令が実行されると、命令によりコンピューティングシステムはさらに少なくとも、
提示された画像から複数のオブジェクトのうちの第３オブジェクトを選択する第２ユーザ入力を受信し、
第２画像が選択された第３オブジェクトに外見上類似する第４オブジェクトを含むことを判定し、
提示された少なくとも一部の第２画像は、少なくとも一部の第２オブジェクト及び第４オブジェクトを含む、
第１項に記載のコンピューティングシステム。

【0062】

７．第１画像内の位置の選択を受信することと、
選択された位置に対応する第１オブジェクトを特定することと、
複数の追加画像を特定することであって、複数の追加画像はそれぞれ第１オブジェクトに外見上類似する追加オブジェクトの表示を含む、複数の追加画像を特定することと、
第１画像と同時に、少なくとも一部の複数の追加画像をそれぞれ提示することと
を含むコンピュータ実施方法。

【0063】

８．選択は、ディスプレイ上のタッチ式入力、特定位置のユーザの注視、または入力コンポーネントからの入力のうちの少なくとも１つのである、第７項に記載のコンピュータ実施方法。

【0064】

９．第１画像内に表示される複数のオブジェクトを特定するために第１画像を前処理することと、
第１画像内に表示される複数のオブジェクトをそれぞれ選択可能にすることと
をさらに含む第７項に記載のコンピュータ実施方法。

【0065】

１０．第１画像内に表示される選択可能なオブジェクトを識別するために、第１画像上の位置に少なくとも１つの選択制御を提示すること
をさらに含む第７項に記載のコンピュータ実施方法。

【0066】

１１．複数の追加画像を特定することは、
選択されたオブジェクトに対応付けられたインデックスを特定することと、
インデックスに対応付けられた複数の追加画像を特定すること
を含む、第７項に記載のコンピュータ実施方法。

【0067】

１２．複数の追加画像のそれぞれに対し、類似スコアを決定することと、
決定された類似スコアに基づいて、複数の追加画像をそれぞれ順位付けることと
をさらに含み、
提示することは、第１画像と同時に、少なくとも一部の順位の高い複数の追加画像をそれぞれ提示することを含む、
第７項に記載のコンピュータ実施方法。

【0068】

１３．追加画像の第２選択を受信することと、
第１画像の表示を取り除くことと、
追加画像を提示すること
をさらに含む第７項に記載のコンピュータ実施方法。

【0069】

１４．命令を記憶する非一時的コンピュータ可読記憶媒体であって、命令がコンピューティングシステムの少なくとも１つのプロセッサにより実行されると、命令によりコンピューティングシステムは少なくとも、
第１ウィンドウに表示される第１画像に含まれる第１オブジェクトの第１表示の選択を受信し、
第１オブジェクトに外見上類似する第２オブジェクトの第２表示を含む第２画像を特定し、
第２ウィンドウに、第２オブジェクトの第２表示を含む少なくとも一部の第２画像を提示する、
非一時的コンピュータ可読記憶媒体。

【0070】

１５．オブジェクトは、オブジェクトの形、サイズ、色、またはブランドに少なくとも一部基づいて、外見上類似しているかが決定される、第１４項に記載の非一時的コンピュータ可読記憶媒体。

【0071】

１６．命令が実行されると、命令によりコンピューティングシステムはさらに少なくとも、
第１画像に含まれる第３オブジェクトの第３表示の第２選択を受信し、
第２画像はさらに、第３オブジェクトの第３表示に少なくとも一部基づいて特定される、
第１４項に記載の非一時的コンピュータ可読記憶媒体。

【0072】

１７．第２選択は否定的選択であり、
第２画像は、第３オブジェクトに外見上類似するオブジェクトの表示を含まない、
第１６項に記載の非一時的コンピュータ可読記憶媒体。

【0073】

１８．第２選択は肯定的選択であり、
第２画像は、第３オブジェクトに外見上類似するオブジェクトの表示を含む、
第１６項に記載の非一時的コンピュータ可読記憶媒体。

【0074】

１９．命令が実行されると、命令によりコンピューティングシステムはさらに少なくとも、
提示された少なくとも一部の第２画像の第２選択を受信し、
第１ウィンドウに第２画像を提示する、
第１４項に記載の非一時的コンピュータ可読記憶媒体。

【0075】

２０．命令が実行されると、命令によりコンピューティングシステムはさらに少なくとも、
第１オブジェクトに外見上類似する第３オブジェクトの第３表示を含む第３画像を特定し、
第２画像及び第３画像のそれぞれに対応付けられた類似スコアに少なくとも一部基づいて、第２画像及び第３画像を順位付け、
少なくとも一部の第２画像及び第３画像の順位付けられた表示を第２ウィンドウに提示する、
第１４項に記載の非一時的コンピュータ可読記憶媒体。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9】

【図10】

【図11】