特許 7150117 コンテンツ認識フォトフィルタを供給するための装置および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-29

(45)【発行日】2022-10-07

(54)【発明の名称】コンテンツ認識フォトフィルタを供給するための装置および方法

(51)【国際特許分類】

   G06F 3/04845 20220101AFI20220930BHJP

   G06F 3/0488 20220101ALI20220930BHJP

   G09G 5/00 20060101ALI20220930BHJP

   G09G 5/377 20060101ALI20220930BHJP

【ＦＩ】

G06F3/04845

G06F3/0488

G09G5/00 555D

G09G5/36 520L

G09G5/00 510H

G09G5/00 510V

G09G5/00 550C

【請求項の数】 20

(21)【出願番号】P 2021155211

(22)【出願日】2021-09-24

(62)【分割の表示】P 2019201413の分割

【原出願日】2015-06-23

(65)【公開番号】P2022003561

(43)【公開日】2022-01-11

【審査請求日】2021-09-24

(31)【優先権主張番号】14/325,270

(32)【優先日】2014-07-07

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】513147753

【氏名又は名称】スナップ インコーポレイテッド

【氏名又は名称原語表記】ＳＮＡＰ ＩＮＣ．

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】ティモシー セーン

【審査官】田川 泰宏

(56)【参考文献】

【文献】国際公開第２０１３／１３２５５７（ＷＯ，Ａ１）

【文献】特開２００９－２２４８７８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０４８４５

Ｇ０６Ｆ ３／０４８８

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３７７

(57)【特許請求の範囲】

【請求項1】

サーバであって、
前記サーバは、動作を行うための命令を実行するように構成されているプロセッサを備え、
前記動作は、
画像が提示されているクライアントデバイスの地理位置情報と前記画像内に図示されている物体とに基づいて、複数の写真フィルタを選択すること、
前記クライアントデバイスの前記地理位置情報と前記画像内に図示されている前記物体とに基づいて選択された前記複数の写真フィルタを前記クライアントデバイスに供給することであって、前記複数の写真フィルタは、前記画像を重ね合わせるためにユーザによって独立して代替的に選択可能であるように構成されており、前記複数の写真フィルタのうち、前記画像の全体を修正するように構成されている第１のフィルタは、第１のユーザ入力に応答して選択され、前記複数の写真フィルタのうち、前記画像内に図示されている前記物体の第１の特定の特徴のみを修正するように構成されている第２のフィルタは、前記第１のユーザ入力の後に受信される第２のユーザ入力に応答して選択される、ことと、
前記複数の写真フィルタのうちの選択された１つと前記画像に対応する写真とを別のクライアントデバイスに転送することと
を含む、サーバ。

【請求項2】

前記複数の写真フィルタのそれぞれは、前記画像を増強させるために前記画像を重ね合わせるように構成されており、前記複数の写真フィルタは、物体特異的フィルタを含み、前記第２のフィルタは、前記第１のフィルタから排除されたテキストコンテンツを含む、請求項１に記載のサーバ。

【請求項3】

前記動作は、前記クライアントデバイスが前記画像をいつディスプレイ上に提示するかを識別することをさらに含み、前記第２のフィルタは、前記クライアントデバイスに供給されるべき前記物体の第１の特定の特徴の複数の異なる視覚的属性でフィルタの多様性を生じさせる、請求項１に記載のサーバ。

【請求項4】

前記複数の写真フィルタは、商標印を含む、請求項１に記載のサーバ。

【請求項5】

前記動作は、前記複数の写真フィルタのうちの前記選択された１つの選択を受信することをさらに含み、前記複数の写真フィルタのうちの前記画像を重ね合わせる前記第１のフィルタは、ユーザ入力に応答して前記複数の写真フィルタのうちの前記第２のフィルタによって置き換えられ、前記画像を重ね合わせることを前記第２の写真フィルタに行わせ、前記複数の写真フィルタのうち、前記画像内に図示されている前記物体の第２の特定の特徴を修正するように構成されている第３のフィルタは、前記第２のユーザ入力の後に受信される第３のユーザ入力に応答して選択され、前記第３のフィルタは、前記第１のフィルタおよび前記第２のフィルタから排除されたテキストコンテンツを含む、請求項１に記載のサーバ。

【請求項6】

前記複数の写真フィルタは、前記クライアントデバイス上に提示された前記画像に与えられたジェスチャに応答して、独立して選択可能であるように構成されており、前記複数の写真フィルタは、人気に基づいて選択される、請求項１に記載のサーバ。

【請求項7】

前記複数の写真フィルタのそれぞれは、前記画像に与えられた前記ジェスチャに応答して前記画像を重ね合わせるまで、前記クライアントデバイス上に提示されず、前記複数の写真フィルタに対する売り手からの値付けが供給される、請求項６に記載のサーバ。

【請求項8】

前記複数の写真フィルタは、日付印、温度印、または、時刻印のうちの少なくとも１つを含む、請求項１に記載のサーバ。

【請求項9】

前記複数の写真フィルタは、前記クライアントデバイスの前記地理位置情報に近い施設に関連付けられた商標を含む、請求項１に記載のサーバ。

【請求項10】

前記動作は、前記クライアントデバイスの確立した好みに基づいて、前記クライアントデバイスの属性を識別することをさらに含み、前記複数の写真フィルタは、前記クライアントデバイスの１つ以上の属性と前記画像の１つ以上の属性とに基づいて選択される、請求項１に記載のサーバ。

【請求項11】

前記確立した好みは、以前の使用パターンから導出される、請求項１０に記載のサーバ。

【請求項12】

前記画像の前記１つ以上の属性は、前記画像に撮られた物理的環境を含む、請求項１０に記載のサーバ。

【請求項13】

前記動作は、前記写真にメッセージを添付することをさらに含む、請求項１に記載のサーバ。

【請求項14】

方法であって、
１つ以上のプロセッサが、画像が提示されているクライアントデバイスの地理位置情報と前記画像内に図示されている物体とに基づいて、複数の写真フィルタを選択すること、
前記１つ以上のプロセッサが、前記クライアントデバイスの前記地理位置情報と前記画像内に図示されている前記物体とに基づいて選択された前記複数の写真フィルタを前記クライアントデバイスに供給することであって、前記複数の写真フィルタは、前記画像を重ね合わせるためにユーザによって独立して代替的に選択可能であるように構成されており、前記複数の写真フィルタのうち、前記画像の全体を修正するように構成されている第１のフィルタは、第１のユーザ入力に応答して選択され、前記複数の写真フィルタのうち、前記画像内に図示されている前記物体の第１の特定の特徴のみを修正するように構成されている第２のフィルタは、前記第１のユーザ入力の後に受信される第２のユーザ入力に応答して選択される、ことと、
前記１つ以上のプロセッサが、前記複数の写真フィルタのうちの選択された１つと前記画像に対応する写真とを別のクライアントデバイスに転送することと
を含む、方法。

【請求項15】

前記複数の写真フィルタのそれぞれは、前記画像を増強させるために前記画像を重ね合わせるように構成されており、前記方法は、前記クライアントデバイスが前記画像をいつディスプレイ上に提示するかを識別することをさらに含み、前記第２のフィルタは、前記クライアントデバイスに供給されるべき前記物体の第１の特定の特徴の複数の異なる視覚的属性でフィルタの多様性を生じさせる、請求項１４に記載の方法。

【請求項16】

前記複数の写真フィルタは、前記クライアントデバイス上に提示された前記画像に与えられたジェスチャに応答して、独立して選択可能であるように構成されており、前記複数の写真フィルタのうちの前記画像を重ね合わせる前記第１のフィルタは、ユーザ入力に応答して前記複数の写真フィルタのうちの前記第２のフィルタによって置き換えられ、前記画像を重ね合わせることを前記第２の写真フィルタに行わせ、前記複数の写真フィルタのうち、前記画像内に図示されている前記物体の第２の特定の特徴を修正するように構成されている第３のフィルタは、前記第２のユーザ入力の後に受信される第３のユーザ入力に応答して選択され、前記第３のフィルタは、前記第１のフィルタおよび前記第２のフィルタから排除されたテキストコンテンツを含む、請求項１４に記載の方法。

【請求項17】

前記複数の写真フィルタのそれぞれは、前記画像に与えられた前記ジェスチャに応答して前記画像を重ね合わせるまで、前記クライアントデバイス上に提示されず、前記複数の写真フィルタは、人気に基づいて選択される、請求項１６に記載の方法。

【請求項18】

前記方法は、前記クライアントデバイスの確立した好みに基づいて、前記クライアントデバイスの属性を識別することをさらに含み、前記複数の写真フィルタは、前記クライアントデバイスの１つ以上の属性と前記画像の１つ以上の属性とに基づいて選択される、請求項１４に記載の方法。

【請求項19】

前記方法は、前記写真にメッセージを添付することをさらに含む、請求項１４に記載の方法。

【請求項20】

命令を含む持続型の機械読み取り可能な格納媒体であって、前記命令は、機械の１つ以上のプロセッサによって実行されると、動作を行うことを前記機械に行わせ、
前記動作は、
画像が提示されているクライアントデバイスの地理位置情報と前記画像内に図示されている物体とに基づいて、複数の写真フィルタを選択することと、
前記クライアントデバイスの前記地理位置情報と前記画像内に図示されている前記物体とに基づいて選択された前記複数の写真フィルタを前記クライアントデバイスに供給することであって、前記複数の写真フィルタは、前記画像を重ね合わせるためにユーザによって独立して代替的に選択可能であるように構成されており、前記複数の写真フィルタのうち、前記画像の全体を修正するように構成されている第１のフィルタは、第１のユーザ入力に応答して選択され、前記複数の写真フィルタのうち、前記画像内に図示されている前記物体の第１の特定の特徴のみを修正するように構成されている第２のフィルタは、前記第１のユーザ入力の後に受信される第２のユーザ入力に応答して選択される、ことと、
前記複数の写真フィルタのうちの選択された１つと前記画像に対応する写真とを別のクライアントデバイスに転送することと
を含む、持続型の機械読み取り可能な格納媒体。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願への相互参照）
この出願は、２０１４年７月７日に出願された米国特許出願第１４／３２５，２７０号に対する優先権を主張するものであり、その内容は参照により本明細書に援用されている。

【0002】

（発明の技術分野）
この発明は、概してネットワーク環境において動作可能な携帯デバイスによって撮られた写真に関する。より詳細には、この発明は、そのような携帯デバイスにコンテンツ認識フォトフィルタを供給することに関する。

【背景技術】

【0003】

（発明の背景）
携帯無線デバイスによって撮られた多くのデジタル写真は、専用のデジタルおよびフィルムベースのカメラによって撮られた写真よりもますます数が多くなっている。従って、携帯無線デジタル写真撮影に関連する技能を改善する、高まるニーズが存在する。

【発明の概要】

【課題を解決するための手段】

【0004】

（発明の要約）
サーバは、クライアントデバイスが写真を撮るときを識別する、プロセッサによって実行される命令を有するフォトフィルタモジュールを含む。写真フィルタは、クライアントデバイスの属性および写真の属性に基づいて選択される。写真フィルタはクライアントデバイスに供給される。
例えば、本願は以下の項目を提供する。
（項目１）
サーバであって、該サーバは、
プロセッサによって実行される命令を有するフォトフィルタモジュールを含み、該命令は、
クライアントデバイスが写真を撮るときを識別することと、
該クライアントデバイスの属性と該写真の属性とに基づいて、写真フィルタを選択することであって、該クライアントデバイスの属性は、該クライアントデバイスの地理位置情報を含む、ことと、
該写真フィルタを該クライアントデバイスに供給することであって、該写真フィルタは、該クライアントデバイスのディスプレイ上に提示された該写真に与えられたジェスチャに応答して、ユーザによって独立して選択可能なように構成されており、各写真フィルタは、該写真の上面への重ね合わせであり、該写真を増強させ、少なくとも一つの写真フィルタは、前記地理位置情報のために構成されている、ことと
を行う、サーバ。
（項目２）
前記クライアントデバイスの属性は、該クライアントデバイスの確立した好みを含む、項目１に記載のサーバ。
（項目３）
前記写真の属性は、該写真に撮られた物理的環境を含む、項目１に記載のサーバ。
（項目４）
前記写真の属性は、該写真に図示された物体を含む、項目１に記載のサーバ。
（項目５）
前記写真フィルタは、商標印を含む、項目１に記載のサーバ。
（項目６）
前記商標印は、オークションに応答して供給される、項目５に起債のサーバ。
（項目７）
前記写真フィルタは、温度印を含む、項目１に記載のサーバ。
（項目８）
前記写真フィルタは、時刻印を含む、項目１に記載のサーバ。
（項目９）
前記写真フィルタは、日付印を含む、項目１に記載のサーバ。
（項目１０）
前記写真フィルタは、前記クライアントデバイスの前記地理位置情報に近い施設に関連する商標を含む、項目１に記載のサーバ。

【0005】

本発明は、以下の詳細な記述と関連して、添付の図面と共により完全に理解され得るであろう。

【図面の簡単な説明】

【0006】

【図1】図１は、本発明の実施形態に従って利用される電子デバイスを例示する。

【図2】図２は、本発明の実施形態に従って利用されるネットワークシステムを例示する。

【図3】図３は、本発明の実施形態に関連する処理動作を例示する。

【図4】図４は、デジタル携帯デバイスによって撮られた写真を例示する。

【図5】図５は、写真に適用された一般的なフィルタを例示する。

【図6】図６は、写真に適用された特徴に特異的なフィルタを例示する。

【図7】図７は、写真に適用された商標要素を有する、異なる特徴に特異的なフィルタを例示する。

【発明を実施するための形態】

【0007】

同様な番号は、いくつかの図面のいくつかの表示を通じて対応する構成要素を参照する。

【0008】

（発明の詳細な説明）
図１は、本発明の実施形態に従って利用される電子デバイス１００を例示する。一つの実施形態において、電子デバイス１００は、メモリ１０４と通信するプロセッサ１０２を有するスマートフォンである。プロセッサ１０２は、中央処理ユニット、および／または、グラフィック処理ユニットであり得る。メモリ１０４は、フラッシュメモリとランダムアクセスメモリとの組み合わせである。メモリ１０４は、フォトコントローラ１０６を格納する。フォトコントローラ１０６は、デジタル写真の取得、表示、および記録保管を調整する実行可能な命令を含む。フォトコントローラ１０６は、本明細書に開示されるフォトフィルタ処理を含み得、フォトコントローラ１０６は、サーバーベースのフォトフィルタモジュールに関係して以下で記述されるそのようなフォトフィルタ処理を増強させるかまたは置き換える。

【0009】

プロセッサ１０２は、また、画像センサ１１５に結合されている。画像センサ１１５は、電荷結合デバイスのような、公知のデジタル画像センサであり得る。画像センサは、視覚媒体を捉え、フォトコントローラ１０６によって調整されながら、視覚媒体はディスプレイ１１６上に表示される。

【0010】

接触コントローラ１１８は、ディスプレイ１１６およびプロセッサ１０２に接続される。接触コントローラ１１８は、ディスプレイ１１６に印加された触覚信号に応答する。一つの実施形態において、フォトコントローラ１０６は、接触コントローラ１１８からの信号を監視してデジタル写真の取得、表示、および記録保管を調整する。電子デバイス１００は、無線通信を支持する無線信号プロセッサ１２０、電力制御回路１２２および全地球測位システムプロセッサ１２４のような、一般にスマートフォンに関連する他の構成要素をまた含み得る。

【0011】

図２は、本発明の実施形態に従って構成されたシステム２００を例示する。システム２００は、クライアントデバイス１００＿１から１００＿Ｎの組を含む。クライアントデバイス１００は、ネットワーク２０６に接続され、これは、無線および有線ネットワーク通信デバイスの任意の組み合わせである。サーバ２０４は、またネットワーク２０６に接続される。サーバ２０４は、中央処理ユニット２１０とバス２１４を経由して接続される入力／出力デバイス２１２とのような、標準構成要素を含む。入力／出力デバイス２１２は、キーボード、マウス、ディスプレイ等を含み得る。ネットワークインターフェイス回路２１６は、また、バス２１４に接続されて、ネットワーク２０６への接続性を提供する。メモリ２２０は、バス２１４にも接続される。メモリ２２０は、フォトフィルタモジュール２２２のような、実行可能な命令を有するモジュールを含む。フォトフィルタモジュール２２２は、下に議論されるように、フォト評価およびフィルタ選択動作を実装する。

【0012】

図３は、本発明の実施形態に関連する処理動作を例示する。動作は、一つ以上のクライアントデバイス１００との組み合わせで、サーバ２０４のフォトフィルタモジュール２２２によって実行される。まず、フォトフィルタモジュール２２２がフォトプロンプトを供給する３００。例えば、フォトフィルタモジュール２２２は、写真を撮ることと、あるユーザから他のユーザへの配信のためのそのような写真へのメッセージを添付することとを調整するネットワーク実行アプリケーションの一部分を形成し得る。この文脈において、クライアント１００＿１はフォトフィルタモジュール２２２にネットワーク２０６を通じてアクセスして、クライアント１００＿１にフォトプロンプトを供給するアプリケーションを起動させる。ユーザは、クライアント１００＿１でフォトを撮る３０２。

【0013】

図４は、フォトプロンプト４０２を提示するディスプレイ４００を有するクライアントデバイス１００＿１を例示する。フォトプロンプト４０２の起動は写真４０４をもたらす。フォトフィルタモジュール２２２は、クライアントデバイスの活動を監視して、フォトが撮られたかを決定する３０４。そうであるならば、写真およびクライアントデバイスの属性が評価される３０５。この評価に基づいて、フォトフィルタが、選択されかつ供給される３０６。

【0014】

例示の目的で、クライアントデバイスの属性は、ＧＰＳプロセッサ１２４から集められた、クライアントデバイスの地理位置情報を含み得る。地理位置情報は、地理位置情報と関係のあるフォトフィルタを指定するために使用され得る。例えば、地理位置情報が浜辺に近いならば、浜辺の背景（例えば、水、砂および／または空に対するカラーフィルタ）を増強させるフォトフィルタが供給され得る。地理位置情報は、地理位置情報に近い施設に関連する商標を有するフィルタを選択するために使用され得る。例えば、レストランまたは商店は、レストランまたは商店に関連する商標を含むフォトフィルタの広告主になり得る。この場合、商標に加えて、フォトフィルタは、レストラン（例えば、ハンバーガーまたはタコスの画像）または、商店（例えば、サーフボードまたはサングラスの画像）に関連する他の印を含み得る。

【0015】

クライアントデバイスに関連する属性は、クライアントデバイスに関連する確立した好みを含み得る。確立した好みは、ユーザによって供給される明白に宣言された好みによって規定され得る。交互に、確立した好みは以前の使用パターンから導き出され得る。例えば、明白に宣言されたまたは導き出された好みは、温度の重ね合わせ、日付および／または時刻の重ね合わせを有するフォトフィルタが供給されることを示し得る。

【0016】

写真の属性は、写真に捕捉された物理環境を含み得る。例えば、写真は、都市環境、農村環境、夕日、海景等を識別するように評価され得る。そして、物理的環境に適用できるフィルタが供給され得る。

【0017】

写真の属性は、写真に図示された物体を含み得る。例えば、評価は、建物、建物の特徴（例えば、ドアまたは屋根）、床、個人、動物等を識別し得る。そして、そのような物体に適用できるフィルタが供給され得る。

【0018】

図３の次の動作は、フォトフィルタを適用すること３０８である。例えば、クライアントデバイス１００＿１のディスプレイを横切るスワイプは、元のフォトを横切って、フォトフィルタを滑らし得る。図５は、第一のスワイプ動きの結果を例示しており、これは徐々に暗くなるフィルタ５００が元のフォトに適用されていることをもたらす。別のスワイプ動きは別のフィルタが提示されていることをもたらす。例えば、図６は、第二のスワイプ動きの結果を例示しており、これは物体に特異的なフィルタ６００が提示されていることをもたらす。この場合、物体特異的フィルタ６００は、フォトにおけるドアの識別に関係する。ドアの識別は、異なるドア色に対する様々なフィルタの供給をもたらし得る。ディスプレイの別のスワイプは、図７に示されるような、なおも別のフィルタをもたらし得る。図７のフィルタは、物体特異的フィルタ７００を含み、この場合、建物の屋根に対して特異的である。フィルタはまた、商標構成要素７０２を含む。このフィルタは、フォトが撮られたとき、温度７０４の重ね合わせも含む。時刻の重ね合わせ７０６と日付の重ね合わせ７０８も供給される。

【0019】

図３に戻ると、次の動作は、フォトフィルタを選択すること３１０である。フォトフィルタの選択は、一つ以上の利用可能なフィルタの選択を含み得る。そして、フォトは、適用可能なフィルタまたは複数のフィルタと共に保存され得る。フォトとフィルタは、他のユーザにも送られ得る３１２。この場合、サーバ２０４は、フィルタと共にフォトを表示する（３１６）他のクライアント１００＿２にフォトを転送する３１４。

【0020】

写真フィルタはまた、一般向けのフィルタに基づいて選択され得る。商標が記入されたフィルタは、オークション機構に基づいて供給され得る。例えば、業者は、ユーザの特性、ユーザの位置、写真の内容等に基づいて、供給されるフォトフィルタに値を付け得る。

【0021】

本発明の実施形態は、様々なコンピュータ実装動作を行うためのコンピュータコードをその上に有する持続型コンピュータ読み取り可能格納媒体を有するコンピュータ格納製品に関する。媒体およびコンピュータコードは、本発明の目的に対して具体的に設計され構築されているか、または、それらは、周知の種類であり得、コンピュータソフトウェアの当業者に利用され得る。コンピュータ読み取り可能媒体の例は、磁気媒体、光学媒体、光磁気媒体、および、プログラムコードを格納し実行するように特別に構成されたハードウェアデバイス（例えば、特定用途向け集積回路（「ＡＳＩＣ」）、プログラム可能論理回路（「ＰＬＤ」）、並びに、ＲＯＭおよびＲＡＭデバイス）を含むが、それらに限定はされない。コンピュータコードの例は、コンパイラによって製造された機械コード、および、インタープレッタを使用するコンピュータによって実行されるより高いレベルのコードを含むファイルを含む。例えば、本発明の実施形態は実装され得るＪＡＶＡ（登録商標）、Ｃ＋＋、または他のオブジェクト志向のプログラミング言語および開発ツールを使用して実装され得る。本発明の別の実施形態は、機械実行可能なソフトウェア命令の代わりに、または、それと組み合わせてハードウェアに組み込まれている回路に実装され得る。

【0022】

説明の目的のための前述の記載は、本発明の理解を通じて提供する特定の術語を使用した。しかしながら、本発明を実施するためには、具体的な詳細は必要とされないことが、当業者には明らかであろう。従って、本発明の特定の実施形態の前述の記載は、例示と記載のために提示されている。これらは、消耗的であるか、発明を正確な形態で開示されることが意図されているのではなく、あきらかに、上の教示に照らして、多くの修正および変更が可能である。本発明の原理と実際的な適用を最良に説明するために、実施形態は選択されて記述されており、それによって、それらは、特定の予定された用途に適するように、他の当業者が最良に本発明および様々な修正を有する様々な実施形態を利用する。以下の特許請求の範囲およびそれらの均等物が発明の範囲を画定することが意図されている。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】