特許 5872691 画像へのテキストによる提案

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5872691

(24)【登録日】2016年1月22日

(45)【発行日】2016年3月1日

(54)【発明の名称】画像へのテキストによる提案

(51)【国際特許分類】

   G06F 17/30 20060101AFI20160216BHJP

   G06T 1/00 20060101ALI20160216BHJP

【ＦＩ】

   G06F17/30 220B

   G06F17/30 170B

   G06T1/00 200E

【請求項の数】14

【全頁数】16

(21)【出願番号】特願2014-517024(P2014-517024)

(86)(22)【出願日】2012年6月13日

(65)【公表番号】特表2014-520345(P2014-520345A)

(43)【公表日】2014年8月21日

(86)【国際出願番号】US2012042226

(87)【国際公開番号】WO2012177458

(87)【国際公開日】20121227

【審査請求日】2014年1月29日

(31)【優先権主張番号】13/164,692

(32)【優先日】2011年6月20日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】502208397

【氏名又は名称】グーグル インコーポレイテッド

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(74)【代理人】

【識別番号】100071010

【弁理士】

【氏名又は名称】山崎 行造

(74)【代理人】

【識別番号】100118647

【弁理士】

【氏名又は名称】赤松 利昭

(74)【代理人】

【識別番号】100138438

【弁理士】

【氏名又は名称】尾首 亘聰

(74)【代理人】

【識別番号】100138519

【弁理士】

【氏名又は名称】奥谷 雅子

(74)【代理人】

【識別番号】100123892

【弁理士】

【氏名又は名称】内藤 忠雄

(74)【代理人】

【識別番号】100169993

【弁理士】

【氏名又は名称】今井 千裕

(74)【代理人】

【識別番号】100131082

【弁理士】

【氏名又は名称】小原 正信

(72)【発明者】

【氏名】ケンバーグ、アレクサンダー・ヴイ

(72)【発明者】

【氏名】ニコラウ、アレキサンダー

【審査官】 齊藤 貴孝

(56)【参考文献】

【文献】 米国特許出願公開第２０１１／００４７５１７（ＵＳ，Ａ１）

【文献】 特開２００８−２６９４１１（ＪＰ，Ａ）

【文献】 国際公開第２０１１／０６５２３６（ＷＯ，Ａ１）

【文献】 特開２００７−３３４７１２（ＪＰ，Ａ）

【文献】 国際公開第２０１１／０１７６５３（ＷＯ，Ａ１）

【文献】 特開２００６−２７７１６９（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００７／００７０２１７（ＵＳ，Ａ１）

【文献】 特開２００７−０９４６７９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １７／３０

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

コンピュータ装置と、
前記コンピュータ装置に接続されるコンピュータ読み取り可能媒体であって、該コンピュータ装置に、
画像に関する画像データを受け取るステップ、
前記画像データを処理し該画像内の１つ以上の互いに異なる特徴を特定するステップであって、該１つ以上の互いに異なる特徴のそれぞれに確実性スコアが生成され、該１つ以上の互いに異なる特徴は該確実性スコアに基づきランク付けされ、該ランク付けに基づき、選択した特徴を１つ以上選択することを特徴とするステップ、
１つ以上の前記選択した特徴の各々に基づいて１つ以上のキーワードを生成するステップ、
前記１つ以上のキーワードのリストをユーザに表示するために、離れたコンピュータ装置に該１つ以上のキーワードを送信するステップ、
テキストを受け取るステップであって、該テキストには、ユーザが入力した少なくとも１つの特徴と、前記１つ以上のキーワードのうちの少なくとも１つのキーワードが含まれ、少なくとも１つのキーワードは前記リストから前記ユーザにより選択されたものであることを特徴とするステップ、及び、
前記画像と前記テキストを表示するために送信する動作であって、前記テキストは前記画像と関連付けられていることを特徴とするステップ、
からなる動作を実行させる命令が保存されていることを特徴とするコンピュータ読み取り可能媒体と、
を具備するシステム。

【請求項2】

前記画像データはメタデータをさらに具備することを特徴とする請求項１に記載のシステム。

【請求項3】

前記メタデータは、前記画像が作られた地理的位置に対応する地理的位置データを具備することを特徴とする請求項２に記載のシステム。

【請求項4】

前記メタデータは、前記画像が作られた時刻に対応する時刻データを具備することを特徴とする請求項２に記載のシステム。

【請求項5】

前記１つ以上のキーワードを生成するステップは、さらに前記メタデータに基づくことを特徴とする請求項２に記載のシステム。

【請求項6】

前記１つ以上の特徴はランドマークからなることを特徴とする請求項１に記載のシステム。

【請求項7】

前記１つ以上の特徴は人々からなることを特徴とする請求項１に記載のシステム。

【請求項8】

前記人々は、ソーシャルネットワーキングサービスのユーザからなることを特徴とする請求項７に記載のシステム。

【請求項9】

前記１つ以上の特徴は物であることを特徴とする請求項１に記載のシステム。

【請求項10】

確実性スコアが前記１つ以上の特徴の各々に対して生成されることを特徴とする請求項１に記載のシステム。

【請求項11】

前記１つ以上の特徴は、前記１つ以上の特徴の各々の確実性スコアに基づきランク付けされることを特徴とする請求項１０に記載のシステム。

【請求項12】

前記１つ以上の特徴の閾値となる数値は前記ランク付けに基づき選定されることを特徴とする請求項１０に記載のシステム。

【請求項13】

閾値となる確実性スコアに合致する確実性スコアを持つ１つ以上の特徴は、前記ランク付けに含まれることを特徴とする請求項１０に記載のシステム。

【請求項14】

コンピュータ装置に接続されるコンピュータ読み取り可能媒体であって、該コンピュータ装置に、
画像に関する画像データを受け取るステップと、
前記画像データを処理し該画像内の１つ以上の互いに異なる特徴を特定するステップであって、該１つ以上の互いに異なる特徴のそれぞれに確実性スコアが生成され、該１つ以上の互いに異なる特徴は該確実性スコアに基づきランク付けされ、該ランク付けに基づき、選択した特徴を１つ以上選択することを特徴とするステップ、
１つ以上の前記選択した特徴の各々に基づいて１つ以上のキーワードを生成するステップと、
前記１つ以上のキーワードのリストをユーザに表示するために、コンピュータ装置に該１つ以上のキーワードを送信するステップと、
テキストを受け取るステップであって、該テキストには、ユーザが入力した少なくとも１つの特徴と、前記１つ以上のキーワードのうちの少なくとも１つのキーワードが含まれ、少なくとも１つのキーワードは前記リストから前記ユーザにより選択されたものであることを特徴とするステップと、
前記画像と前記テキストを表示するために送信する動作であって、前記テキストは前記画像と関連付けられていることを特徴とするステップと、
からなる動作を実行させる命令が保存されていることを特徴とするコンピュータ読み取り可能媒体。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
この出願は、２０１１年６月２０日付の米国特許出願シリアル番号１３／１６４，６９２、表題「画像へのテキストによる提案（ＴＥＸＴ ＳＵＧＧＥＳＴＩＯＮＳ ＦＯＲ ＩＭＡＧＥＳ）」に基づく優先権を主張する。この内容は文献として本出願に組み込むものとする。

【0002】

本出願は一般に画像に提案するテキストに関する。

【背景技術】

【0003】

人はイベントの証拠書類としてそして記憶に残すために写真（フォト）を撮る。人はこの写真をしばしば友人や家族と共有する。近年、写真はますます主流となってきている。ディジタル写真を用いて、写真家は写真を取得しその写真をディジタルファイルとして保存する。このディジタルファイルはコンピュータ読み取り可能メモリに保存し、コピーし、電子的に分配することができる。インターネットにより、写真を共有することがさらに容易になった。人は写真をＥメールで友人に送るか、又は他人に見せるために写真をウェブサイトに掲示することができる。ソーシャルネットワーキングウェブサイトも、写真を友人及び知人と共有するために用いられる。人は、写真に表題又はキーワードでラベル付けすることができる。

【発明の概要】

【0004】

本明細書に記載した主題の革新的側面は、画像に関する画像データを受け取る動作、この画像データを処理し該画像内の１つ以上の特徴を特定する動作、この１つ以上の特徴の各々に基づいて１つ以上のキーワードを生成する動作、この１つ以上のキーワードのリストをユーザに表示するためにコンピュータ装置にこの１つ以上のキーワードを送信する動作、テキストを受け取る動作であって、このテキストには前記１つ以上のキーワードのうちの少なくとも１つのキーワードが含まれ、少なくとも１つのキーワードは前記リストから前記ユーザにより選択されたものであることを特徴とする動作、及び、前記画像と前記テキストを表示するために送信する動作であって、前記テキストは前記画像と関連付けられていることを特徴とする動作とを含む方法に組み込むことができる。

【0005】

このような実施例及び他の実施例は、それぞれ以下の特徴を任意的に含めることができる。例えば、画像データにはさらにメタデータが含まれる。このメタデータには、この画像が作られた地理的位置に対応する地理的位置データが含まれる。このメタデータにはこの画像が作られた時刻に対応する時刻データが含まれる。１つ以上のキーワードを生成する動作は、さらにこのメタデータに基づく。前記１つ以上の特徴にはランドマークが含まれる。前記１つ以上の特徴には人々が含まれる。この人々には、ソーシャルネットワーキングサービスのユーザが含まれる。前記１つ以上の特徴は物である。確実性スコアが前記１つ以上の特徴の各々に対して生成される。前記１つ以上の特徴は、前記１つ以上の特徴の各々の確実性スコアに基づきランク付けされる。前記１つ以上の特徴の閾値となる数値は前記ランク付けに基づき選定される。そして、閾値となる確実性スコアに合致する確実性スコアを持つ１つ以上の特徴は、前記ランク付けに含まれる。

【0006】

この革新的側面における他の実施例には、この方法の動作を実行するよう構成され、コンピュータ記憶装置にエンコードされた、対応するシステム、装置、及びコンピュータプログラムが含まれる。

【0007】

開示した実施例では、以下に例示したうちの１つ以上の利点をもたらす。すなわち、文章を掲示するためにユーザが行うタイピングの量を減らし、掲示すべき有意義なコンテンツを追加することで豊富な社会的な掲示を行うことで、携帯コンピュータ装置のような、コンピュータ装置の使用の利便性を高め、掲示内で用いられる提案に富むキーワードにより他のシステム（例えば、ポストマッチング、検索）を改善することができ、及び／又は、認識エンジン（例えば、ユーザが提案を受けたキーワードを掲示に用い、さらに自らのワードを追加した場合、追加したワードは将来高い確実性を持つ他のキーワードをランク付けする認識エンジンに手掛かりを与えることができる）にフィードバックすることができる。

【0008】

本明細書に記載した主題での１以上の実施例詳細は、以下の添付図面及び説明に記載する。本主題の他の付加的な特徴、側面、及び利点は、明細書、図面、及び特許請求の範囲から明らかであろう。

【図面の簡単な説明】

【0009】

【図1】開示した実施例を実行することができるシステムの例を表示する。

【図2A】開示した実施例によるスクリーンショットの例を表示する。

【図2B】開示した実施例によるスクリーンショットの例を表示する。

【図2C】開示した実施例によるスクリーンショットの例を表示する。

【図3】画像から抽出した情報に基づき、社会的な掲示の提案を生成するためのプロセスの例を図解するフローチャートである。

【図4】画像から抽出した情報に基づき、社会的な掲示の提案を生成するためのプロセスの例を図解するフローチャートである。

【0010】

全体にわたって類似の参照番号は関連する部品を示す。

【発明を実施するための形態】

【0011】

開示した実施例は、一般に画像の表題又はタグについて提案するキーワードに関する。ユーザは、それぞれを（例えば、ディジタルカメラを用いて）１つの画像ファイルに電子的に保存することのできるディジタル画像を生成することができる。これらの画像ファイルは、視聴者に画像を公開するための１つ以上のサーバーにアップロードすることができる。例えば、ユーザは、ソーシャルネットワーキングウェブサイトの他のユーザに公開するためにそのソーシャルネットワーキングウェブサイトに画像ファイルをアップロードすることができる。他の例として、ユーザは、写真共有ウェブサイトの他のユーザに公開するためにその写真共有ウェブサイトに画像ファイルをアップロードすることができる。画像に対応するデータは、その画像内に見ることができる特徴を決定するために処理することができる。特徴の例として、画像内で確認できるランドマーク、画像内で確認できる対象物、及び、画像内で認識できる人々を含むことができる。システムでは、画像が作られたときのタイムスタンプデータ、画像がどこで作られたかを示す地理的位置データのような、画像ファイルに内在するメタデータを用いることもできる。地理的位置には、グローバルポジショニングシステム（ＧＰＳ）データ、Ｗｉｆｉ位置データ、及び／又は、基地局位置データを含むことができる。

【0012】

いくつかの実施例において、キーワードは、各画像から定められる特徴、及び／又は、画像に対応するメタデータに基づき作ることができる。例えば、キーワードには、ランドマーク、対象物、又は画像内に認識される人々を含むことができる。キーワードにはまた、画像ファイルのメタデータその他のデータに基づく日時及び／又は位置も含むことができる。キーワードを、画像と関連してキーワード、又は、タグとして用いられるユーザに画像が公開されるときに、ユーザに提案することができる。いくつかの実施例において、定められたキーワード又は特徴には、抽出した特徴の確かさの指標に相当する確実性スコアのようなスコアを割り付けることができる。キーワードの閾値の数値又は閾値のスコアを持つキーワードの数をユーザに提案することができる。例えば、上から５番目までの有望なキーワードを提案キーワードとしてユーザに提示することができる。

【0013】

本願発明を限定することを意図しない実施例として、ユーザは、ディジタルカメラ（例えば、単独型ディジタルカメラ、携帯コンピュータ装置に組み込まれたディジタルカメラ）を用いて正午に自由の女神像を撮ることができる。この画像に内在する画像データは、分析されて認識されたランドマークとして自由の女神像を定める。画像のタイムスタンプを画像データ内に提示することができ、この写真が正午に撮られたことを表示することができる。画像データにはまた、写真がニューヨーク市で撮られたことを示す地理的位置データ、及び／又は、ニューヨーク市内の特定の位置（例えば、リバティー島）を示す地理的位置データを含めることもできる。代替的又は付加的に、自由の女神像を画像がニューヨーク市で生成されたことを決定するために用いることができる。特徴から作られたキーワードの例として、「自由の女神像」、「昼食時」、「ニューヨーク」、及び「ニューヨーク市」を含めることができる。キーワードには、この３つの例示したキーワードのようなフレーズを含めることができる。キーワード「昼食時」は、画像が正午に生成されたこと示すタイムスタンプデータに基づき作ることができる。いくつかの実施例において、付加情報（例えば、事実）をユーザに提案することができ、ユーザはこれを掲示に含めることができる。上記例示に続いて、事実の例として、自由の女神像に関する歴史的及び／又は興味深い事実（例えば、建造年、完成日、高さ、建造に用いられた材料の量、等）を含めることができる。

【0014】

ユーザは提示されたキーワードから、ソーシャルネットワーキングサイトに公開するために、画像にタグ付けするか、又は、画像に表題を付けるかを選択することができる。例えば、ユーザはスマートフォンのような、携帯コンピュータ装置から画像を取り、アップロードすることができる。提案されたキーワードを受け取ることで、ユーザは、画像にキーワードをタイプで打つ必要がない。選択したキーワードは、テキストボックスに入れ、ユーザが追加のテキストを付加すること、又は、提案されたキーワードを編集して、画像にタグ付け及び／又は画像に表題を付加することができるようにすることができる。いくつかの実施例において、提案された事実は、ユーザにより選択され掲示に加えることができる。

【0015】

いくつかの実施例において、ここで説明しているシステムがユーザに関する個人情報を収集している状況において、ユーザには、個人情報（例えば、ユーザの嗜好に関する情報、写真を撮ったユーザの位置に関する情報、写真中に認識される人々に関する情報、ユーザのソーシャルコンテンツプロバイダーに対する寄与度）を収集するプログラム又はこのような特性に合意したり拒否したりする機会を与えられる。加えて、いくつかの実施例において、個人を特定することのできる情報を除去することができるように、データを保存または使用する前に１つ以上の方法で、特定のデータを匿名化することができる。例えば、ユーザの身分は、特定のユーザに関連付けるのではなく、特定されたユーザの嗜好又はユーザの相互関係を一般化するために（例えば、ユーザ統計データに基づき一般化するために）、匿名化することができる。

【0016】

図１は、開示した実施例を実行することのできるシステムの例１００を示す。システム１００には、ネットワーク１０６を介して１つ以上のサーバーシステム１０４と通信することができるコンピュータ装置１０２が含まれる。コンピュータ装置１０２には関連付けられたユーザ１０８を含める。ネットワーク１０６には、ローカルエリアネットワーク（ＬＡＮ）、携帯電話ネットワーク、或いは、任意の数の携帯コンピュータ装置に繋がった携帯電話ネットワークの組み合わせ、固定コンピュータ装置、及びサーバーシステムのような、大規模なコンピュータネットワークを含めることができる。サーバーシステム１０４には、コンピュータ装置１１０、及び、機械読み取り可能な記憶装置、又はデータベース１１２を含めることができる。当然のことながら、１つのサーバーシステム１０４が表示されているが、サーバーシステムは１つ以上のサーバーシステムを表すこともある。

【0017】

システムの例１００において、コンピュータ装置１０２は、携帯コンピュータ装置として表示されている。しかし、当然のことながら、コンピュータ装置１０２として、タブレットコンピュータ装置、デスクトップコンピュータ、ラップトップコンピュータ、ハンドヘルドコンピュータ、携帯情報端末（ＰＤＡ）、携帯電話、ネットワーク装置、カメラ、スマートフォン、エンハンストジェネラルパケットラジオサービス（ＥＧＰＲＳ）携帯電話、携帯プレーヤー、ナビゲーション装置、Ｅメール装置、ゲームコンソール、又は、これらのデータ処理装置又は他のデータ処理装置の２つ以上の組み合わせのような、任意の適切な形式のコンピュータ装置を含めることができる。

【0018】

コンピュータ装置１０２により、ユーザ１０８は、写真（フォト）を撮影し、ディジタル画像を生成することができ、又は、既存の画像にアクセスし、見ることができる。画像は、コンピュータ装置１０２に画像ファイルとして保存することができ、或いは、別のコンピュータ装置からネットワーク１０６を介してアクセスすることができる。コンピュータ装置１０２により、ユーザ１０８は、説明文又はタグを画像に適用するために追加することができる。いくつかの実施例において、コンピュータ装置１０２は、ネットワーク１０６を介して、画像ファイルをサーバーシステム１０４に提供するために通信することができる。サーバーシステム１０４は、画像ファイルの画像データを分析し、画像中に見ることができる特徴を抽出する。この特徴は、画像のタグ及び／又は表題として使うことのできるキーワードを提案するために用いることができる。代替的な実施例において、例えば、写真を、別の装置（例えば、単独型ディジタルカメラ、ディジタルスキャナ）を用いて生成し、コンピュータ装置１０２を用いて、サーバーシステム１０４にアップロードすることができる。

【0019】

図２Ａ〜２Ｃは、開示した実施例によるスクリーンショットの例を表示する。図解目的で、以下の説明では、ディジタル画像内に示された特徴の例として、ニューヨーク市の自由の女神像について言及している。当然のことながら、開示した実施例は、ディジタル画像で表現することのできる任意の特徴に適用することができる。

【0020】

図２Ａを参照して、ユーザは、自由の女神像の画像２０４を捕捉するために携帯コンピュータ装置２０２を用いることができる。例えば、携帯コンピュータ装置２０２には、カメラを含めることができ、このカメラで画像２０４をとらえることができる。代替的又は付加的に、画像２０４は、携帯コンピュータ装置２０２からアクセスすることができ、又は、携帯コンピュータ装置２０２内のディジタルメモリ及び／又は他のコンピュータ装置から画像２０４を携帯コンピュータ装置２０２に移送することができる。例えば、携帯コンピュータ装置２０２はソーシャルネットワーキングサイトから画像２０４にアクセスすることができ、画像２０４は他のユーザからそのユーザに送ることができ、或いは、画像２０４を別のコンピュータ装置に保存されている収集画像からその携帯コンピュータ装置２０２に移送することができる。図２Ａ〜２Ｃでは携帯コンピュータ装置が描かれているが、開示した実施例は、ラップトップコンピュータやデスクトップコンピュータを含む適切な任意のコンピュータ装置により実行することができる。

【0021】

図２Ｂに示すようにアイコンボタン２０６，２０８，２１０として提示された選択肢のメニューを表示させることができる。例えば、このメニューには、携帯コンピュータ装置２０２のスクリーン、画像２０４、又は携帯コンピュータ装置２０２の物理的なボタンをタップすることによりアクセスすることができる。ボタン２０６，２０８，２１０は、画像２０４に適用するためにユーザ選択肢を提示することができる。例えば、「画像をＥメール」ボタン２０６により、ユーザは画像２０４をＥメールで送ることができる。「壁紙として使う」ボタン２０８により、携帯コンピュータ装置２０２の壁紙、つまり、背景画像として画像２０４を設定することができる。「ソーシャルネットワークに掲示」ボタン２１０により、ユーザは画像２０４をソーシャルネットワーキングサイトに掲示することができる。メニューには、画像２０４に適用するための選択肢を付加するために、ボタンを増やすこと、或いは、ボタンを減らすことができる。実施例によっては、ユーザは、携帯コンピュータ装置上で動作するソーシャルネットワーキングのアプリケーションを直接動かすことができ、ソーシャルネットワーキングのアプリケーションで提供される機能を用いて写真撮影することができ、そして、上述した選択肢の例示メニューを通さずに自動的に画像を共有させることができる。

【0022】

ユーザが、「ソーシャルネットワークに掲示」ボタン２１０を選択した場合、携帯コンピュータ装置２０２は、ソーシャルネットワーキングサイトで動作しているサーバーシステムに画像ファイルを送信することにより、ソーシャルネットワーキングサイトに画像２０４をアップロードすることができる。サーバーシステムは、画像ファイルを受け取り、画像データを処理して画像２０４中に見ることのできる特徴を抽出する。例えば、画像２０４の画像データを分析し、画像２０４内に自由の女神像を見ることができると判断する。画像データには、タイムスタンプのようなメタデータを含めることができる。例えば、携帯コンピュータ装置２０２に表示されているとおり、午後１２時０３分に画像２０４が生成されていたと考えられる。メタデータにはまた、地理的位置データ、例えば、画像２０４が生成された位置又はその近傍（例えば、ニューヨーク市、リバティー島）の表示を含めることができる。他の特徴として、ビルディング、車、又は動物のような被写体を含めることができる。いくつかの実施例において、画像中に人物が存在するかどうかを判断するために画像データを分析することができる。画像中に人物が存在すると判断された場合、その人物の身元を特定するためにさらに画像を分析することができる。例えば、画像にはユーザの友人が含まれていることがあり、その友人は、ソーシャルネットワーキングサービスを介して社会的にそのユーザとつながっている。いくつかの実施例において、ソーシャルネットワーキングサービス内でその友人とつながりのある人々により提示された画像中で身元を特定されることについてその友人は許諾することができる。

【0023】

画像から特徴を抽出するために、適切な任意の特徴抽出エンジンを用いることができる。例えば、有名な美術作品を認識するための特徴抽出エンジンを、画像中に見ることのできる有名な美術作品を抽出するために用いることができる。他の例として、ランドマークを認識するための特徴抽出エンジンを、画像中に見ることのできるランドマークを抽出するために用いることができる。他の例として、画像中に見ることのできる人の存在を認識しその人の身元を特定するための特徴抽出エンジンを用いることができる。いくつかの実施例において、複数の特徴抽出エンジンにより画像を分析することができる。いくつかの実施例において、単一の特徴抽出エンジンにより画像を分析することができる。各特徴抽出エンジンは、コンピュータ装置で実行可能なコンピュータプログラム製品として提供することができる。実施例によっては、１つ以上のサーバーシステム（例えば、図１のサーバーシステム１０４）、及び／又は１つのコンピュータ装置（例えば、図１のコンピュータ装置１０２）を用いて特徴抽出エンジンを実行することができる。

【0024】

上記例示に続いて、サーバーシステムは、画像から抽出した特徴に関するキーワードを生成することができる。例えば、キーワードには、写真２０４中に認識されたランドマークから生成された「自由の女神像」、「自由の女神」、及び「ニューコロッサス」を含めることができる。キーワードにはまた、「ニューヨーク、ＮＹ」、「ＮＹＣ」、及び「ニューヨーク市」を含めることもできる。位置キーワードは、地理的位置メタデータから、及び／又は、自由の女神像がニューヨーク市のリバティー島に位置するとの認識から生成することができる。キーワードにはまた、タイムスタンプメタデータから生成された「昼食」及び「正午」を含めることもできる。これらやその他のキーワードは、写真２０４から抽出した特徴を用いて生成することができる。

【0025】

いくつかの実施例において、キーワードには、抽出した特徴に関連するものとしてあらかじめ定めた１つ以上のキーワードを含めることができる。例えば、抽出した特徴は、自由の女神像と特定することができる。１つ以上のキーワード（例えば、自由の女神、ニューコロッサス、リバティー島）を提示するために自由の女神像と関連付けたキーワードの索引にアクセスすることができる。

【0026】

いくつかの実施例において、抽出した特徴を含む検索クエリに基づきキーワードを生成することができる。実施例によっては、検索クエリを生成することができ、検索クエリには１つ以上の抽出した特徴に対応する１つ以上の検索用語を含めることができる。検索クエリは、１つ以上の検索結果を生成する通常の検索技術を用いて処理することができる。検索結果を処理し、１つ以上のキーワードを抽出することができる。この実施例において、抽出した特徴には「自由の女神像」を含めることができる。「自由の女神像」は、検索クエリとして提供することができ、検索エンジンに入力することができる。１つ以上の検索結果を生成することができ、検索結果には、自由の女神像に関連する情報（例えば、１つ以上のウェブページに提示されたコンテンツ）を含めることができる。この情報を１つ以上のキーワードを抽出するために処理することができる。

【0027】

キーワード又はキーワードの下位集合は携帯コンピュータ装置２０２に提示することができる。携帯コンピュータ装置２０２は、サーバーシステムから提案されたキーワードを表示することができる。図２Ｃにおいて、携帯コンピュータ装置２０２はサーバーシステムから提案されたキーワードを受け取り、提案されたキーワードをボックス２２２に表示する。携帯コンピュータ装置２０２は、画像２０４が公表されたとき画像２０４と共に掲示するために、ユーザが画像２０４に表題をタイプするテキストボックス２２０を提供することができる。ユーザは提案されたキーワード２２４〜２３８の中から選択し表題に含めることができる。例えば、ユーザはテキストボックス２２０に（例えば、図２Ｃに図示されていないタッチスクリーンキーボードを用いて）「にて」の語をタイプすることができ、「自由の女神」のキーワード２２６を選択することができる。ユーザは、続けて、テキストボックス２２０に「の」をタイプし、次いで、「ＮＹＣ」のキーワード２３４を選択し、キストボックス２２０に「のために」をタイプし、そして「昼食」のキーワード２３６を選択することができる。このようにして、表題は「昼食のためにＮＹＣの自由の女神にて」となる。

【0028】

提案されたキーワードを調達することにより、ユーザは、携帯コンピュータ装置２０２へのクリック数を少なくして写真の表題を生成することができる。例えば、例示の表題（昼食のためにＮＹＣの自由の女神にて［Ａｔ Ｌａｄｙ Ｌｉｂｅｒｔｙ ｉｎ ＮＹＣ ｆｏｒ Ｌｕｎｃｈ］）をすべてタイピングするには、例えば、すべての文字及びスペースに対して、３２回のクリック数が必要となろう。選択したキーワードをタイプアウトする代わりに提案されたキーワードをクリックすることで、表題を３２回ではなく１０回のクリックで生成することができる。従って、画像に表題を付けることがこの開示した実施例により簡単かつ速くなり、ユーザに画像を共有するために表題とタグをつける傾向を強めることができる。さらに、提案されたキーワードには、ユーザが使ったことがなく、考えたこともなく、また、ユーザが注意を払わず思い浮かべることもなかったような画像の側面に関連するキーワードが含まれる可能性がある。上述の通り、提案された事実を、ユーザに提示することができ、その事実を、掲示の一部に加えるために選択することができる。

【0029】

いくつかの実施例において、画像には画像から抽出することのできる複数の特徴を含めることができる。各特徴にはそれに関するスコアを含めることができる。いくつかの実施例において、スコアには、特徴が正しく画像中に特定されていることをシステム（例えば、特徴抽出エンジン）がどの程度確信しているかに対応する、確実性スコアを含めることができる。例えば、図２Ａ〜２Ｃの例示において、システムは、画像２０４中のランドマークが自由の女神像についてかなりの確信を持つことができる。従って、この特徴に基づき生成した「自由の女神像」としての特徴及びキーワードには、例えば、画像２０４中のランドマークが自由の女神像であることに、システムが９０%の確信を持つならば、０から１までのスケールで０.９のような、高い確実性スコアを与えることができる。この画像から、他の特徴を抽出することができ、各特徴にはそれについての確実性スコアが含まれる。いくつかの実施例において、特徴は確実性スコアの順序でランク付けされ、特徴の下位集合をキーワードの提案のために選択することができる。例えば、最高Ｘの確実性スコア（例えば、Ｘ=３，４，又は５）を有する特徴を選択し、この選択した特徴に基づきキーワードを生成することができる。

【0030】

限定を意図しない実施例として、画像を分析し、確実性スコアと関連付けた以下の特徴を抽出することができる。

【0031】

この実施例を用いて、この特徴を確実性スコアに基づき、最高から最低へと並べることで、以下の順序付けができる。

【0032】

特徴 Ｂ
特徴 Ｃ
特徴 Ｅ
特徴 Ｄ
特徴 Ａ
上位３つは、例えば、キーワードの提案として選択することができる。上記実施例において、特徴Ｂ、特徴Ｃ、及び特徴Ｅを選択し、提案キーワードを生成するために処理することができる。

【0033】

いくつかの実施例において、確実性スコアの閾値をキーワードの提案として選択された特徴をさらに限定するために用いることができる。このようにして、最高Ｘの確実性スコア（例えば、Ｘ=３，４，又は５）を有する特徴のリスト中に特定の特徴があったとしても、関連する確実性スコアが確実性スコアの閾値より小さい場合は、この特定の特徴は選択されない可能性がある。上記の例示において、特定の確実性スコアの閾値を用いると、特徴Ｅ、特徴Ｄ、及び特徴Ａは、特定の確実性スコアの閾値より小さい確実性スコアを有することがある。従って、特徴Ｂ及び特徴Ｃのみが、キーワードの提案として選択された特徴となることがある。

【0034】

いくつかの実施例において、選択された特徴に対して、１つ以上のキーワードを特定することができる。各特徴に対して提示されるキーワードの数はキーワードの閾値の数値により制限することができる。いくつかの実施例において、特定されたキーワードには、キーワードがどの程度一般的なのか、及び／又は、認識される可能性があるのかを表すことのできる対応する支持スコアを含めることができる。いくつかの実施例において、キーワードは、支持スコアの順序でランク付けすることができ、キーワードの下位集合は、ユーザに提示すべき提案キーワードとして選択することができる。例えば、最高Ｘの支持スコア（例えば、Ｘ=３，４，又は５）を有するキーワードは、提案キーワードとして選択することができる。実施例によっては、他の測定基準をキーワードのランク付けに用いることができる。いくつかの実施例において、画像内に認められるランドマークには、物体（例えば、車）及び／又は日時より高い重み付けをすることができる。このようにして、認識されたランドマークに対応する提案キーワードは、例えば、物体及び／又は日時に対して提示する提案キーワードより多く提示することができる。

【0035】

いくつかの実施例において、特徴を抽出できないか又は十分な確実性を有するキーワードを生成できない場合は、キーワードを提案することができない。このような場合、簡単なメッセージ（例えば、「提案キーワードなし」）をユーザに表示することができる。

【0036】

図３は、画像から抽出した情報に基づき、社会的な掲示の提案を生成するためのプロセスの例３００を図解するフローチャートである。実施例によっては、プロセスの例３００に示したアクションは、コンピュータシステム（例えば、図１のコンピュータ装置１０２）により実行することができる。

【0037】

ディジタル画像がとらえられる（３０２）。図１のコンピュータ装置１０２は、例えば、写真又はディジタル画像を撮るために用いることができる。ディジタル画像は、画像内に見ることができるランドマーク、物体、及び／又は、人々のような特徴を含むことができる。画像データを含む画像ファイルが作られる（３０４）。とらえたディジタル画像は、画像をコンピュータ装置１０２のスクリーンに表示することができるように、画像データを含む画像としてコンピュータ装置１０２に保存することができる。１つの選択肢として、メタデータを画像ファイルに添えることができる（３０６）。メタデータには、画像がとらえられた時と場所にそれぞれ対応するタイムスタンプ及び地理的位置データを含めることができる。

【0038】

画像を掲示するかどうかを決めることができる（３０８）。例えば、ユーザ入力を受け取ることができ、ユーザからの画像を掲示するとのコマンド（例えば、ユーザによる図２Ｂのアイコンボタン２１０のクリック）を表示することができる。画像は、例えば、ソーシャルネットワーキングサイトに掲示することができる。ユーザは、画像を掲示しないと決めることができ、この場合処理は終了する。ユーザはまた、掲示する画像を選択することができ、この場合その画像ファイルが送信される（３１０）。画像ファイルは、特徴の抽出、及び／又は、キーワードの生成のためにサーバーシステムに送信することができる。

【0039】

キーワードを受け取る（３１２）。キーワードには、ランドマーク、物体、人々、日時、及び位置のような、画像の特徴の記載を含めることができる。キーワードをユーザに表示する（３１４）。ユーザは、表題テキストを生成するためにこのキーワードを用いることができる（３１６）。表題テキストには、選択したキーワード及びユーザにより入力された他のテキストを含めることができる。表題テキストが送信される（３１８）。表題テキストは、画像と関連付けることができ、ユーザおよびユーザの顧客のような他の人々が見ることができるようにソーシャルネットワーキングサイトに公表することができる。

【0040】

当然のことながら、図３のプロセス３００はプロセスの１つの例であり、開示した実施例は他のプロセスを用いて実現することもできる。いくつかの実施例において、画像をとらえることができ、その画像をバックグラウンド機能としてサーバーシステムのバックエンドにアップロードすることができる。ユーザは、掲示テキストにタイプし、掲示板に送ることができる。いくつかの実施例において、画像はすでにサーバーのバックエンドにアップロードされ、掲示が瞬時に行われる。いくつかの実施例において、ユーザは画像のアップロードをキャンセルすることができ、それに応じて、画像はバックエンドサーバーシステムから消去され、掲示はキャンセルされる。いくつかの実施例において、画像がバックグラウンドにアップロードされたので、ユーザが掲示を構成しているあいだ、掲示を提示する前に、提案キーワードのリストをバックエンドサーバーシステムから受け取ることができる。いくつかの実施例において、ユーザが掲示を提示する前に、提案キーワードユーザに提供されなかった場合、掲示は通常通り行われる（すなわち、ユーザは掲示を止めたり遅らせたりしない）。

【0041】

図４は、画像から抽出した情報に基づく社会的な掲示の提案を生成するためのプロセスの例４００のフローチャートである。いくつかの実施例において、プロセスの例４００に表示したアクションは、１つ以上のコンピュータシステム（例えば、図１のコンピュータ装置１０２及び／又はサーバーシステム１０４）により実行することができる。

【0042】

画像ファイルを受け取る（４０２）。画像ファイルは、例えば、コンピュータ装置１０２から図１のサーバーシステム１０４が受け取ることができる。画像ファイルから特徴が抽出される（４０４）。特徴の例として、物体、ランドマーク、ロゴ、画像中の顔、及び画像をとらえたときの日時及び位置を含めることができる。

【0043】

コンピュータシステム１１０は、複数の特徴が抽出されたかどうかを判断する（４０６）。１つの特徴しか抽出されなかった場合、キーワード生成のためのプロセスが続行される。いくつかの実施例において、抽出された特徴の確実性スコアは、抽出された特徴の確実性の閾値レベルであることを確保するために処理することができる。複数の特徴が抽出された場合、各特徴について確実性スコアが生成される（４０８）。確実性スコアは、画像から抽出された特徴が実際に画像中にあることの確かさに対応させることができる。

【0044】

特徴は、確実性スコアに基づき並べ替えられる（４１０）。いくつかの実施例において、最低閾値の確実性スコアを有する特徴のみを並べ替えに含める。上位Ｘ個の特徴が選択される（４１２）。Ｘは、適切な特徴の数とすることができる。例えば、ユーザは、特徴が選択される数を設定することができる。

【0045】

特徴に基づきキーワードが生成される（４１４）。各特徴は、１つ以上のキーワードの根拠となることができる。各特徴について生成されるキーワードの数は、例えば、どれだけの数の特徴が画像から抽出されたかにより、変わることがある。ここに記載したとおり、各キーワードには、関連するスコアを含めることができ、このスコアも変わることがある。

【0046】

キーワードはユーザに送信される（４１６）。ユーザはキーワードの中から画像の表題を生成するためのキーワードを選択する。ユーザは、表題テキストを送信することができ、表題テキストが受け取られる（４１８）。画像は、例えば、ソーシャルネットワーキングサイトのユーザと関連付けたプロフィール状に、表題テキストと共に公開される（４２０）。

【0047】

多数の実施例を記載した。しかしながら、本開示の精神と適用範囲から逸脱することなく、種々の変更が可能であることが理解できるであろう。例えば、上述のステップの順序を変更したり、付加したり、削除したりした種々のフロー形式を用いることができる。従って、他の実施例が以下の特許請求の範囲の適用範囲内である。

【0048】

本開示における実施例及びここに提示した機能的動作は、本明細書に開示した構成及び均等な構成、またはこれらの組み合わせを含む、ディジタル電子回路、又はコンピュータソフトウェア、ファームウェア、又はハードウェアで実現することができる。本開示における実施例は、１つ以上のコンピュータプログラム製品、すなわち、データ処理装置による実行のため、又はデータ処理装置の動作を制御するために、コンピュータ読み込み可能な媒体上にコード化されたコンピュータプログラム命令の１つ以上のモジュールとして、実現することができる。コンピュータ読み込み可能な媒体として、コンピュータが解読できる記憶装置、コンピュータが解読できる記憶基板、メモリ装置、コンピュータが解読できる伝達信号に影響を与える内容の複合体、又はこれらの１つ以上の組み合わせをすることができる。「データ処理装置」の語は、データを処理するためのすべての装置、道具、機械を包含し、例えば、プログラマブルプロセッサ、コンピュータ、又は複数のプロセッサ又はコンピュータが含まれる。装置として、ハードウェアに加えて、該当するコンピュータプログラムの動作環境を作るコード、例えば、プロセッサファームウェア、プロトコールスタック、データベースマネージメントシステム、オペレーティングシステム、又はこれらのうちの１つ以上の組み合わせを含めることができる。

【0049】

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られている）は、コンパイラ言語、インタプリタ言語を含むどのような形式のプログラミング言語で書かれていてもよく、スタンドアローンプログラムとして、又はモジュール、コンポーネント、サブルーティン、又はコンピュータ環境で用いるのに適した他のユニットとしてを含む、あらゆる形式で実施することもできる。コンピュータプログラムは、ファイルシステム中のファイルに必ずしも対応しない。プログラムは、他のプログラム又はデータ（例えば、マークアップ言語ドキュメントに保存された１以上のスクリプト）を保持するファイルの一部に、該当するプログラム、又は複数の調整済みのファイル（例えば、１以上のモジュール、サブプログラム、又はコードの一部）のためだけの単一のファイルとして保存することができる。コンピュータプログラムは、１つのサイトに位置するか又は複数のサイトに分散させた１つ以上のコンピュータにより実行されるよう配備することができる。

【0050】

ここに開示した処理及びロジックフローは、入力データを操作し出力を生成することにより、機能を発揮させるための１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブルプロセッサにより実行することができる。この処理及びロジックフローは、専用ロジック回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレー）又はＡＳＩＣ（特定用途向け集積回路）により実行することができ、装置は、専用ロジック回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレー）又はＡＳＩＣ（特定用途向け集積回路）として組み込むことができる。

【0051】

コンピュータプログラムを実行するのに適したプロセッサには、例えば、汎用及び専用のマイクロプロセッサ、及びあらゆる種類のディジタルコンピュータの１つ以上のプロセッサが含まれる。一般に、プロセッサは、リードオンリーメモリ又はランダムアクセスメモリ又はその両方から命令及びデータを受け取る。コンピュータの必須構成要素は、命令を実行するためのプロセッサ、及び命令及びデータを保存するための１以上のメモリ装置である。一般に、コンピュータにはまた、データの送受信のため、又は動作可能に接続された、データを保存するための１以上の記憶装置、例えば、磁気ディスク、光磁気ディスク、又は光ディスクも含めることができる。しかし、コンピュータはそのような装置を必要としない。さらに、コンピュータは、他の装置、例えば、自動車電話、携帯情報端末（ＰＤＡ）、携帯オーディオプレーヤー、グローバルポジショニングシステム（ＧＰＳ）受信機、等に埋め込むことができる。コンピュータプログラム命令及びデータを保存するのに適したコンピュータ読み込み可能媒体は、すべての形式の非揮発性メモリ、媒体及びメモリ装置を含み、例として、半導体メモリ装置、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリ装置、磁気ディスクとして、例えば、内蔵形ハードディスク又はリムーバブルディスク、光磁気ディスク、及びＣＤロムディスク、およびＤＶＤロムディスクが含まれる。プロセッサ及びメモリは、特定用途向けロジック回路で補完し又は特定用途向けロジック回路に組み込むことができる。

【0052】

ユーザとのインタラクションを行えるように、ここで開示した実施例は、ユーザに情報を表示する表示装置、例えば、ＣＲＴ（陰極線管）モニタ又はＬＣＤ（液晶ディスプレー）モニタ、ユーザがコンピュータに入力することができるようにするキーボード、及びポインティング装置、例えば、マウス又はトラックボールを有するコンピュータに組み込むことができる。ユーザとのインタラクションのために他の種類の装置を用いることもでき、例えば、ユーザへのフィードバックはあらゆるセンサーによるフィードバック、例えば、視覚によるフィードバック、音響によるフィードバック、又は、触覚によるフィードバック、とすることができ、ユーザからの入力は、音響、音声、又は触覚による入力とすることができる。

【0053】

ここで開示した実施例は、例えば、データサーバーとしてのバックエンド要素、又は、例えば、アプリケーションサーバーのようなミドルウェア要素、又は、例えば、ユーザがここで開示した実施例と相互に介入するためのグラフィカルユーザインターフェースやウェブブラウザを有するクライアントコンピュータのようなフロントエンド要素、又は、このような、バックエンド要素、ミドルウェア要素、及びフロントエンド要素のうちの１つ以上を任意に組み合わせたものを含むコンピュータシステムにより実現することができる。システムの構成要素は、例えば、通信ネットワークのような、あらゆる形式のディジタルデータ通信又はディジタルデータ通信媒体に組み込むことができる。通信ネットワークの例として、ローカルエリアネットワーク（ＬＡＮ）及びワイドエリアネットワーク（ＷＡＮ）、例えば、インターネットが含まれる。

【0054】

コンピュータシステムには、クライアント及びサーバーを含めることができる。クライアント及びサーバーは、一般に互いに離れており、主として、通信ネットワークを通して相互に作用する。クライアントとサーバーとの関係は、それぞれのコンピュータ上で走り、相互にクライアント・サーバー関係を有するコンピュータプログラムに基づいて生じる。

【0055】

本開示には具体例が含まれるが、これらは、開示の範囲又は請求する範囲を限定するものとして解釈すべきでなく、開示した特定の実施例の詳細を記載したものとして解釈すべきである。本開示に別の実施例として記載した特定の特徴は、組み合わせて単一の実施例とすることができる。逆にいえば、単一の実施例として記載した種々の特徴を別々の又は適切に組み合わせた複数の実施例とすることができる。さらに、特徴を特定の組み合わせにおける動作として、及びそのように権利化するものとして上述したかもしれないが、権利要求する組み合わせからの１つ以上の特徴を、場合によって、この組み合わせから削除することができ、権利要求する組み合わせを組み合わせ一部又は組み合わせの変形とすることができる。

【0056】

同様に、動作が特定の順序で図に描かれていたとしても、これはこの動作が図示された特定の順序又は逐次的順序で実行されること、或いは、図解した動作が実行すべてされることが必要であると理解すべきでない。特定の状況では、マルチタスク及びパラレル処理が好都合となる場合がある。さらに、上記実施例中の種々のシステムコンポーネントを分離したことが、このような分離がすべての実施例で必要であると理解すべきでなく、記載したプログラムコンポーネント及びシステムは、一般に、単一のソフトウェア製品に統合することができ、又は、複数のソフトウェア製品にパッケージ化するとかができると理解すべきである。

【0057】

開示した特定の実施例について、このように説明した。他の実施例も以下の特許請求の範囲の適用範囲内である。例えば、特許請求の範囲に記載した動作を異なる順序で実行しても、好ましい結果が得られる。

【図1】

【図2A】

【図2B】

【図2C】

【図3】

【図4】