IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ フォト バトラー インコーポレイテッドの特許一覧

<>
  • 特許-プレゼンテーションファイル生成 図1
  • 特許-プレゼンテーションファイル生成 図2
  • 特許-プレゼンテーションファイル生成 図3
  • 特許-プレゼンテーションファイル生成 図4
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-09
(45)【発行日】2024-08-20
(54)【発明の名称】プレゼンテーションファイル生成
(51)【国際特許分類】
   G06T 11/60 20060101AFI20240813BHJP
   G06T 7/00 20170101ALI20240813BHJP
   G06F 16/56 20190101ALI20240813BHJP
   G06F 16/535 20190101ALI20240813BHJP
【FI】
G06T11/60 100C
G06T7/00 300E
G06F16/56
G06F16/535
【請求項の数】 20
(21)【出願番号】P 2021529296
(86)(22)【出願日】2019-11-26
(65)【公表番号】
(43)【公表日】2022-01-18
(86)【国際出願番号】 US2019063202
(87)【国際公開番号】W WO2020112738
(87)【国際公開日】2020-06-04
【審査請求日】2022-11-25
(31)【優先権主張番号】62/771,548
(32)【優先日】2018-11-26
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】520132241
【氏名又は名称】フォト バトラー インコーポレイテッド
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】カールソン, クレイグ
(72)【発明者】
【氏名】ディン, ジカン
(72)【発明者】
【氏名】クッチネリ, ジョセフ シー.
(72)【発明者】
【氏名】ベナイム, デイビッド
(72)【発明者】
【氏名】リーガン, ジョー
(72)【発明者】
【氏名】チャン, トリシア
(72)【発明者】
【氏名】ゴールドファーブ, アンドリュー ピー.
【審査官】橘 高志
(56)【参考文献】
【文献】米国特許出願公開第2018/0068019(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 11/60
G06T 7/00
G06F 16/56
G06F 16/535
(57)【特許請求の範囲】
【請求項1】
プレゼンテーションファイルを生成する方法であって、該方法は、
インターフェースにおいて画像を受取ることと、
該受取られた画像から画像を選択することに対する少なくとも1つの基準を該インターフェースにおいて受取ることと、
該受取られた画像を該少なくとも1つの受取られた基準に従って解析することと、
該受取られた画像の1つ以上の部分へと、該受取られた画像の部分が該少なくとも1つの受取られた基準を満足するかどうかを表現するスコアを割当てることであって、より少ない関心アイテムを伴う該受取られた画像の第二の部分へと割当てられるスコアより高いスコアが、より多くの関心アイテムを含む該受取られた画像の第一の部分へと割当てられる、ことと、
該受取られた画像の少なくとも該第一の部分を該少なくとも1つの基準を満足する該少なくとも第一の部分に基づいて選択することと、
該受取られた画像の該選択された部分を含む該プレゼンテーションファイルを自律的に生成することと
該生成されるプレゼンテーションファイルにおいて該受取られた画像の該選択された部分に付属するテキストキャプションを生成することであって、該テキストキャプションは、該受取られた画像の該選択された部分内で行われている活動を記載する、ことと
を備える、方法。
【請求項2】
前記関心アイテムは、前記画像内にいる人物、該画像が撮影された位置、該画像が撮影された日付、該画像が撮影された時刻、該画像に関連付けられた関心地点、該画像内にある関心物体および少なくとも1つの画像美感からなるグループから選択される、請求項に記載の方法。
【請求項3】
前記生成されるプレゼンテーションファイルにおいて前記受取られた画像の前記選択された部分に付属する少なくとも1つの他のテキストキャプションを生成することをさらに備える、請求項1に記載の方法。
【請求項4】
前記少なくとも1つの他のテキストキャプションは、前記受取られた画像の前記選択された部分内にいる人物、該画像内にある関心地点および該画像内にある関心物体のうちの少なくとも1つを記載する、請求項に記載の方法。
【請求項5】
インターフェースにおいて前記画像を受取ることは、該画像を複数のユーザから受取ることを含む、請求項1に記載の方法。
【請求項6】
前記受取られた画像を酷似した画像のために評価するためのコンピュータビジョンプロシージャを実行することと、
酷似した画像が前記生成されるプレゼンテーションファイルに含まれることを防止することと
をさらに備える、請求項1に記載の方法。
【請求項7】
前記受取られた画像を解析することは、類似した画像を検出するために該画像を評価するためのコンピュータビジョンプロシージャを含み、該受取られた画像の少なくとも前記第一の部分を選択することは、前記生成されるプレゼンテーションファイルが多彩な画像を含むことを保証するように最も類似していない画像部分を選択することを含む、請求項1に記載の方法。
【請求項8】
前記受取られた画像の解析に基づいて前記プレゼンテーションファイルを生成するために用いられることとなるテンプレートを推奨することをさらに備える、請求項1に記載の方法。
【請求項9】
前記プレゼンテーションファイルを生成することは、用いられることとなる少なくとも1つのフィルタを選択することと、前記受取られた画像の前記選択された部分の少なくとも1つの部分へと該少なくとも1つのフィルタを適用することとを含む、請求項1に記載の方法。
【請求項10】
前記画像がいつ撮影されたのかに基づいて該画像を複数の時刻区分へと類別することをさらに備え、該受取られた画像の少なくとも前記第一の部分を選択することは、該複数の時刻区分の各々から画像を選択することを備え、該複数の時刻区分の各々から選択される画像の量は、該複数の時刻区分の各々における画像の量に比例する、請求項1に記載の方法。
【請求項11】
前記受取られた画像の前記選択された部分を含む前記プレゼンテーションファイルを生成することは、該受取られた画像の該選択された部分へと少なくとも1つのフィルタを適用することを含み、該適用されるフィルタは該受取られた画像の内容に基づいている、請求項1に記載の方法。
【請求項12】
前記受取られた画像を解析することは、コンピュータビジョンプロシージャを実行することを含み、前記方法は、前記受取られた画像の前記選択された部分をクロップするクロッピングプロシージャを該コンピュータビジョンプロシージャの実行に基づいて実行することをさらに含む、請求項1に記載の方法。
【請求項13】
プレゼンテーションファイルを生成するためのシステムであって、該システムは、
画像を受取ることと
該受取られた画像から画像を選択するための少なくとも1つの基準を受取ることと
を行うためのインターフェースと、
プロセッサであって、該プロセッサはメモリに格納された命令を実行し、
該受取られた画像を該少なくとも1つの受取られた基準に従って解析することと、
該受取られた画像の1つ以上の部分へと、該受取られた画像の部分が該少なくとも1つの受取られた基準を満足するかどうかを表現するスコアを割当てることであって、より少ない関心アイテムを伴う該受取られた画像の第二の部分へと割当てられるスコアより高いスコアが、より多くの関心アイテムを含む該受取られた画像の第一の部分へと割当てられる、ことと、
該受取られた画像の少なくとも該第一の部分を該少なくとも1つの基準を満足する該少なくとも第一の部分に基づいて選択することと、
該受取られた画像の該少なくとも1つの選択された部分を含む該プレゼンテーションファイルを自律的に生成することと
該生成されるプレゼンテーションファイルにおいて該受取られた画像の該選択された部分に付属するテキストキャプションを生成することであって、該テキストキャプションは、該受取られた画像の該選択された部分内で行われている活動を記載する、ことと
を行うように構成されている、プロセッサと
を備える、システム。
【請求項14】
前記関心アイテムは、前記画像内にいる人物、該画像が撮影された位置、該画像が撮影された日付、該画像が撮影された時刻、該画像に関連付けられた関心地点、該画像内にある関心物体および少なくとも1つの画像美感からなるグループから選択される、請求項13に記載のシステム。
【請求項15】
前記プロセッサは、前記生成されるプレゼンテーションファイルにおいて前記受取られた画像の前記選択された部分に付属する少なくとも1つの他のテキストキャプションを生成するようにさらに構成されている、請求項13に記載のシステム。
【請求項16】
前記少なくとも1つの他のテキストキャプションは、前記受取られた画像の前記選択された部分内にいる人物、前記活動内にある関心地点および該画像内にある関心物体のうちの少なくとも1つを記載する、請求項15に記載のシステム。
【請求項17】
前記画像は、複数のユーザから受取られる、請求項13に記載のシステム。
【請求項18】
前記プロセッサは、
前記受取られた画像を酷似した画像のために評価するためのコンピュータビジョンプロシージャを実行することと、
酷似した画像が前記生成されるプレゼンテーションファイルに含まれることを防止することと
を行うようにさらに構成されている、請求項13に記載のシステム。
【請求項19】
前記プロセッサは、
前記受取られた画像に関連付けられたメタデータを自律的に解析するための、メモリに格納された命令を実行することと、
前記選択された画像がいつ撮影されたのかに基づいて該画像を複数の時刻区分へと類別することであって、該複数の時刻区分の各々から選択される画像の量は該複数の時刻区分の各々における画像の量に比例している、ことと
を行うようにさらに構成されている、請求項13に記載のシステム。
【請求項20】
前記プロセッサは、前記生成されるプレゼンテーションファイルの少なくとも2つの画像部分の提示の間にトランジション効果を割当てるようにさらに構成されている、請求項13に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の相互参照)
本出願は、2018年11月26日に出願された同時係属米国仮特許出願第62/771,548号の利益を主張し、米国仮特許出願第62/771,548号の開示全体は、その全体が本明細書に記載されているかのように参照によって援用される。
【0002】
(技術分野)
本出願は、概して画像のプレゼンテーションファイルを生成するためのシステムおよび方法に関連し、より特定すると、1つまたは複数の基準を満足する画像に基づいて画像のプレゼンテーションファイルを生成するためのシステムおよび方法に関連し、ただしこれらに限定されない。
【背景技術】
【0003】
(背景)
スポーツ大会、バケーション、フェスティバルまたは何らかの他のタイプのイベント等のある期間にわたって行われるイベントを体験した人々は、その人々の収集された画像を他人と共有したいと考え得、または別様に娯楽的かつ容易な方法を以て、収集された画像を閲覧する手段が欲しいと考え得る。しかしながら、収集された画像を選択し提示するための既存の技術は、画像がどのように選択され提示されるかに関する多くのオプションを提供しない。加えて、画像を選択し提示するためのこれらの既存の方法は、手動で画像を選択することを必要とし、これは非常に時間のかかるプロセスである。
【0004】
ゆえに、既存技術の不利点を克服した、画像のプレゼンテーションを生成するためのシステムおよび方法に対するニーズが存在する。
【発明の概要】
【課題を解決するための手段】
【0005】
(概要)
本概要は、下の詳細な説明の項においてさらに説明される概念の選択を簡略化された形で導入するために設けられている。本概要は、主張される主題の要となる特徴またはその本質となる特徴を識別または除外することを意図されておらず、主張される主題の範囲を決定する際に補助として用いられることも意図されていない。
【0006】
一側面において、実施形態は、プレゼンテーションファイルを生成するための方法に関連する。方法は、インターフェースにおいて画像を受取ることと、受取られた画像から画像を選択することに対する少なくとも1つの基準をインターフェースにおいて受取ることと、受取られた画像を少なくとも1つの受取られた基準に従って解析することと、受取られた画像の少なくとも1つの部分を少なくとも1つの基準を満足する部分に基づいて選択することと、受取られた画像の選択された部分を含むプレゼンテーションファイルを自律的に生成することとを含む。
【0007】
いくつかの実施形態では、方法は、受取られた画像が少なくとも1つの基準を満足するかどうかを表現するスコアを、受取られた画像へと割当てることをさらに含む。いくつかの実施形態では、受取られた画像の少なくとも1つの部分を選択することは、閾値より上である割当てられたスコアを伴う画像を選択することを備える。いくつかの実施形態では、受取られた画像へと割当てられたスコアは、受取られた画像内にある少なくとも1つの関心アイテムに基づいており、関心アイテムは、画像内にいる人物、画像が撮影された位置、画像が撮影された日付、画像が撮影された時刻、画像に関連付けられた関心地点および画像内にある関心物体および少なくとも1つの画像美感からなるグループから選択される。いくつかの実施形態では、より少ない関心アイテムを伴う画像の第二の部分へと割当てられるスコアより高いスコアが、より多くの関心アイテムを含む画像の第一の部分へと割当てられる。
【0008】
いくつかの実施形態では、方法は、生成されるプレゼンテーションにおいて受取られた画像の選択された部分に付属する少なくとも1つのテキストキャプションを生成することをさらに含む。いくつかの実施形態では、少なくとも1つのテキストキャプションが、受取られた画像の選択された部分内にいる人物、受取られた画像の選択された部分内で行われている活動、画像内にある関心地点および画像内にある関心物体のうちの少なくとも1つを記載する。
【0009】
いくつかの実施形態では、インターフェースにおいて画像を受取ることは、画像を複数のユーザから受取ることを含む。
【0010】
いくつかの実施形態では、方法は、受取られた画像を酷似した画像のために評価するためのコンピュータビジョンプロシージャを実行することと、酷似した画像が生成されるプレゼンテーションファイルに含まれることを防止することとをさらに含む。
【0011】
いくつかの実施形態では、受取られた画像を解析することは、類似した画像を検出するために画像を評価するためのコンピュータビジョンプロシージャを含み、受取られた画像の少なくとも1つの部分を選択することは、生成されるプレゼンテーションファイルが多彩な画像を含むことを保証するように最も類似していない画像部分を選択することを含む。
【0012】
いくつかの実施形態では、方法は、受取られた画像の解析に基づいてプレゼンテーションファイルを生成するために用いられることとなるテンプレートを推奨することをさらに含む。
【0013】
いくつかの実施形態では、プレゼンテーションファイルを生成することは、用いられることとなる少なくとも1つのフィルタを選択することと、選択された画像の少なくとも1つの部分へと少なくとも1つのフィルタを適用することとを含む。
【0014】
いくつかの実施形態では、方法は、画像がいつ撮影されたのかに基づいて画像を複数の時刻区分へと類別することをさらに含み、受取られた画像の少なくとも1つの部分を選択することは、複数の時刻区分の各々から画像を選択することを備え、複数の時刻区分の各々から選択される画像の量は、複数の時刻区分の各々における画像の量に比例することを伴う。
【0015】
いくつかの実施形態では、受取られた画像の選択された部分を含むプレゼンテーションファイルを生成することは、受取られた画像の選択された部分へと少なくとも1つのフィルタを適用することを含み、適用されるフィルタは、受取られた画像の内容に基づいている。
【0016】
いくつかの実施形態では、受取られた画像を解析することは、コンピュータビジョンプロシージャを実行することを含み、方法は、選択された画像の部分をクロップするクロッピングプロシージャをコンピュータビジョンプロシージャの実行に基づいて実行することをさらに含む。
【0017】
別の側面に従って、実施形態は、プレゼンテーションファイルを生成するためのシステムに関連する。システムは、画像を受取ることと受取られた画像から画像を選択するための少なくとも1つの基準を受取ることとを行うためのインターフェースと、プロセッサであって、このプロセッサはメモリに格納された命令を実行し、受取られた画像を少なくとも1つの受取られた基準に従って解析することと、受取られた画像の少なくとも1つの部分を少なくとも1つの基準を満足する部分に基づいて選択することと、受取られた画像の少なくとも1つの選択された部分を含むプレゼンテーションファイルを自律的に生成することとを行うように構成されている、プロセッサとを含む。
【0018】
いくつかの実施形態では、プロセッサは、受取られた画像が少なくとも1つの基準を満足するかどうかを表現するスコアを受取られた画像へと割当てるようにさらに構成されている。いくつかの実施形態では、プロセッサは、閾値より上である割当てられたスコアを有する部分に基づいて少なくとも1つの部分を選択する。いくつかの実施形態では、受取られた画像に割り当てられたスコアは、受取られた画像内にある少なくとも1つの関心アイテムに基づいており、関心アイテムは、画像内にいる人物、画像が撮影された位置、画像が撮影された日付、画像が撮影された時刻、画像に関連付けられた関心地点、画像内にある物体および少なくとも1つの画像美感からなるグループから選択される。いくつかの実施形態では、より少ない関心アイテムを伴う画像の第二の部分へと割当てられるスコアより高いスコアが、より多くの関心アイテムを含む画像の第一の部分へと割当てられる。
【0019】
いくつかの実施形態では、プロセッサは、生成されるプレゼンテーションファイルにおいて受取られた画像の選択された部分に付属する少なくとも1つのテキストキャプションを生成するようにさらに構成されている。
【0020】
いくつかの実施形態では、少なくとも1つのテキストキャプションが、受取られた画像の選択された部分内にいる人物、受取られた画像の選択された部分内で行われている活動、画像内にある関心地点および画像内にある関心物体のうちの少なくとも1つを記載する。
【0021】
いくつかの実施形態では、画像は、複数のユーザから受取られ得る。
【0022】
いくつかの実施形態では、プロセッサは、受取られた画像を酷似した画像のために評価するためのコンピュータビジョンプロシージャを実行することと、酷似した画像が生成されるプレゼンテーションファイルに含まれることを防止することとを行うようにさらに構成されている。
【0023】
いくつかの実施形態では、プロセッサは、受取られた画像に関連付けられたメタデータを自律的に解析するための、メモリに格納された命令を実行することと、選択された画像がいつ撮影されたのかに基づいて、画像を複数の時刻区分へと類別することとを行うようにさらに構成されており、複数の時刻区分の各々から選択された画像の量は、複数の時刻区分の各々における画像の量に比例している。
【0024】
いくつかの実施形態では、プロセッサは、生成されるプレゼンテーションファイルの少なくとも2つの画像部分の提示の間にトランジション効果を割当てるようにさらに構成されている。
本明細書は、例えば、以下の項目も提供する。
(項目1)
プレゼンテーションファイルを生成する方法であって、該方法は、
インターフェースにおいて画像を受取ることと、
該受取られた画像から画像を選択することに対する少なくとも1つの基準を該インターフェースにおいて受取ることと、
該受取られた画像を該少なくとも1つの受取られた基準に従って解析することと、
該受取られた画像の少なくとも1つの部分を該少なくとも1つの基準を満足する該部分に基づいて選択することと、
該受取られた画像の該選択された部分を含む該プレゼンテーションファイルを自律的に生成することと
を備える、方法。
(項目2)
前記受取られた画像が前記少なくとも1つの受取られた基準を満足するかどうかを表現するスコアを該受取られた画像へと割当てることをさらに備える、項目1に記載の方法。
(項目3)
前記受取られた画像へと割当てられた前記スコアは、該受取られた画像内にある少なくとも1つの関心アイテムに基づいており、該関心アイテムは、該画像内にいる人物、該画像が撮影された位置、該画像が撮影された日付、該画像が撮影された時刻、該画像に関連付けられた関心地点、該画像内にある関心物体および少なくとも1つの画像美感からなるグループから選択される、項目2に記載の方法。
(項目4)
より少ない関心アイテムを伴う画像の第二の部分へと割当てられるスコアより高いスコアが、より多くの関心アイテムを含む画像の第一の部分へと割当てられる、項目3に記載の方法。
(項目5)
前記生成されるプレゼンテーションファイルにおいて前記受取られた画像の前記選択された部分に付属する少なくとも1つのテキストキャプションを生成することをさらに備える、項目1に記載の方法。
(項目6)
前記少なくとも1つのテキストキャプションは、前記受取られた画像の前記選択された部分内にいる人物、該受取られた画像の該選択された部分内で行われている活動、該画像内にある関心地点および該画像内にある関心物体のうちの少なくとも1つを記載する、項目5に記載の方法。
(項目7)
インターフェースにおいて前記画像を受取ることは、該画像を複数のユーザから受取ることを含む、項目1に記載の方法。
(項目8)
前記受取られた画像を酷似した画像のために評価するためのコンピュータビジョンプロシージャを実行することと、
酷似した画像が前記生成されるプレゼンテーションファイルに含まれることを防止することと
をさらに備える、項目1に記載の方法。
(項目9)
前記受取られた画像を解析することは、類似した画像を検出するために該画像を評価するためのコンピュータビジョンプロシージャを含み、該受取られた画像の少なくとも1つの部分を選択することは、前記生成されるプレゼンテーションファイルが多彩な画像を含むことを保証するように最も類似していない画像部分を選択することを含む、項目1に記載の方法。
(項目10)
前記受取られた画像の解析に基づいて前記プレゼンテーションファイルを生成するために用いられることとなるテンプレートを推奨することをさらに備える、項目1に記載の方法。
(項目11)
前記プレゼンテーションファイルを生成することは、用いられることとなる少なくとも1つのフィルタを選択することと、前記選択された画像の少なくとも1つの部分へと該少なくとも1つのフィルタを適用することとを含む、項目1に記載の方法。
(項目12)
前記画像がいつ撮影されたのかに基づいて該画像を複数の時刻区分へと類別することをさらに備え、該受取られた画像の少なくとも1つの部分を選択することは、該複数の時刻区分の各々から画像を選択することを備え、該複数の時刻区分の各々から選択される画像の量は、該複数の時刻区分の各々における画像の量に比例する、項目1に記載の方法。
(項目13)
前記受取られた画像の前記選択された部分を含む前記プレゼンテーションファイルを生成することは、該受取られた画像の該選択された部分へと少なくとも1つのフィルタを適用することを含み、該適用されるフィルタは該受取られた画像の内容に基づいている、項目1に記載の方法。
(項目14)
前記受取られた画像を解析することは、コンピュータビジョンプロシージャを実行することを含み、前記方法は、前記選択された画像の前記部分をクロップするクロッピングプロシージャを該コンピュータビジョンプロシージャの実行に基づいて実行することをさらに含む、項目1に記載の方法。
(項目15)
プレゼンテーションファイルを生成するためのシステムであって、該システムは、
画像を受取ることと
該受取られた画像から画像を選択するための少なくとも1つの基準を受取ることと
を行うためのインターフェースと、
プロセッサであって、該プロセッサはメモリに格納された命令を実行し、
該受取られた画像を該少なくとも1つの受取られた基準に従って解析することと、
該受取られた画像の少なくとも1つの部分を該少なくとも1つの基準を満足する該部分に基づいて選択することと、
該受取られた画像の該少なくとも1つの選択された部分を含む該プレゼンテーションファイルを自律的に生成することと
を行うように構成されている、プロセッサと
を備える、システム。
(項目16)
前記プロセッサは、前記受取られた画像が前記少なくとも1つの基準を満足するかどうかを表現するスコアを該受取られた画像へと割当てるようにさらに構成されている、項目15に記載のシステム。
(項目17)
前記受取られた画像へと割当てられた前記スコアは、該受取られた画像内にある少なくとも1つの関心アイテムに基づいており、該関心アイテムは、該画像内にいる人物、該画像が撮影された位置、該画像が撮影された日付、該画像が撮影された時刻、該画像に関連付けられた関心地点、該画像内にある関心物体および少なくとも1つの画像美感からなるグループから選択される、項目15に記載のシステム。
(項目18)
より少ない関心アイテムを伴う画像の第二の部分へと割当てられるスコアより高いスコアが、より多くの関心アイテムを含む画像の第一の部分へと割当てられる、項目17に記載のシステム。
(項目19)
前記プロセッサは、前記生成されるプレゼンテーションファイルにおいて前記受取られた画像の前記選択された部分に付属する少なくとも1つのテキストキャプションを生成するようにさらに構成されている、項目15に記載のシステム。
(項目20)
前記少なくとも1つのテキストキャプションは、前記受取られた画像の前記選択された部分内にいる人物、該受取られた画像の該選択された部分内で行われている活動、該活動内にある関心地点および該画像内にある関心物体のうちの少なくとも1つを記載する、項目19に記載のシステム。
(項目21)
前記画像は、複数のユーザから受取られる、項目15に記載のシステム。
(項目22)
前記プロセッサは、
前記受取られた画像を酷似した画像のために評価するためのコンピュータビジョンプロシージャを実行することと、
酷似した画像が前記生成されるプレゼンテーションファイルに含まれることを防止することと
を行うようにさらに構成されている、項目15に記載のシステム。
(項目23)
前記プロセッサは、
前記受取られた画像に関連付けられたメタデータを自律的に解析するための、メモリに格納された命令を実行することと、
前記選択された画像がいつ撮影されたのかに基づいて該画像を複数の時刻区分へと類別することであって、該複数の時刻区分の各々から選択される画像の量は該複数の時刻区分の各々における画像の量に比例している、ことと
を行うようにさらに構成されている、項目15に記載のシステム。
(項目24)
前記プロセッサは、前記生成されるプレゼンテーションファイルの少なくとも2つの画像部分の提示の間にトランジション効果を割当てるようにさらに構成されている、項目15に記載のシステム。
【図面の簡単な説明】
【0025】
本開示の非限定的かつ非包括的な実施形態が、以下の図面の参照を伴って記載され、同類の参照番号は、別段指定されない限り様々な図全体を通して同類の部分を参照する。
【0026】
図1図1は、一実施形態に従ったプレゼンテーションファイルを生成するためのシステムを図示している。
【0027】
図2図2は、一実施形態に従った図1の画像解析モジュールを図示している。
【0028】
図3図3は、一実施形態に従ったプレゼンテーションファイルを生成するための方法のフローチャートを描写している。
【0029】
図4図4は、別の実施形態に従ったプレゼンテーションファイルを生成するための方法のフローチャートを描写している。
【発明を実施するための形態】
【0030】
(詳細な説明)
様々な実施形態が、下において付属図面の参照を伴って一層ことごとく記載され、付属図面は、本明細書の一部を形成し、付属図面は、具体的な例となる実施形態を示す。しかしながら、本開示の概念は、多くの異なる形態において実装され得、本明細書に記載の実施形態に限定されていると解釈されるべきではなく、むしろ、これらの実施形態は、本開示の概念の範囲、技術および実装を当業者へとことごとく伝えるために徹底的かつ完全な開示の一部として提供される。実施形態は、方法、システムまたはデバイスとして実践され得る。これに応じて、実施形態は、ハードウェア実装の形態、全面ソフトウェア実装の形態またはソフトウェアの側面とハードウェアの側面とを組合せた実装の形態をとり得る。ゆえに、以下の詳細な説明は、限定する意味合いにとられることとならない。
【0031】
本明細書における「一実施形態」または「ある実施形態」への言及は、実施形態に関連して記載される具体的な特徴、構造または特性が本開示に従った少なくとも1つの例となる実装または技術に含まれることを意味する。本明細書内の様々な箇所に現れる「一実施形態では」というフレーズは、必ずしもその全てが同一の実施形態を指しているとは限らない。本明細書内の様々な箇所に現れる「いくつかの実施形態では」というフレーズは、必ずしもその全てが同一の実施形態を指しているとは限らない。
【0032】
続く説明のいくつかの部分は、コンピュータメモリ内部に格納される非過渡的信号に対する動作の記号表現の観点から提示される。これらの説明および表現は、データ処理技術における当業者の仕事の内容をその技術分野の他の当業者へと最も効率的に伝えるために当業者によって用いられる。このような動作は、典型的には物理量の物理操作を要求する。通常、これらの物理量は、格納可能、転送可能、組合せ可能、比較可能かつ他の操作が可能である電気信号、磁気信号または光信号の形態をとり、ただし必ずしもこれらを必要としない。ビット、値、要素、記号、文字、用語またはこれらに類するものとしてこれらの信号に言及することは、主に慣用の理由のために、ときに便利である。さらに、モジュールまたはコードデバイスのような物理量の物理操作を要求するステップのある配列に言及することも、一般性を失うことがなく、ときに便利である。
【0033】
しかしながら、これらの用語およびこれらに類似した用語の全ては、適切な物理量に関連付けられることとなり、単にこれらの物理量に適用される便利なラベルにすぎない。以下の検討から自明であるように、別段明確に述べられない限り、「処理」または「コンピューティング」または「計算」または「決定」または「表示」またはこれらに類するもの等の用語を利用した検討は、本説明全体を通して、コンピュータシステムメモリまたはレジスタまたは他のこのような情報格納、送信もしくは表示デバイス内部にある物理量(電子に関係する量)として表現されたデータを操作および変換するコンピュータシステムまたは類似の電子コンピューティングデバイスの作動およびプロセスに言及することが理解される。本開示の一部は、ソフトウェア、ファームウェアまたはハードウェアにおいて具現化され得、ソフトウェアにおいて具現化されるときには多様なオペレーティングシステムによって用いられる別個のプラットフォームに常駐するために、かつそれらのプラットフォームから動作されるためにダウンロードされ得るプロセスおよび命令を含む。
【0034】
本開示はまた、本明細書に記載の動作を実施するための装置に関連する。この装置は、要求される目的のために特別に構築され得、または、これはコンピュータ内に格納されたコンピュータプログラムによって選択的にアクティベートまたは再構成される汎用コンピュータを備え得る。このようなコンピュータプログラムは、フロッピー(登録商標)ディスクを含む任意のタイプのディスク、光ディスク、CD-ROM、光磁気ディスク、読取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、磁気カードもしくは光カード、特定用途向け集積回路(ASIC)または電子命令を格納することに適した任意のタイプの媒体等のコンピュータ読取り可能な記憶媒体に格納され得、ただしこれらに限定されず、各々がコンピュータシステムバスへと結合され得る。さらに、本明細書において言及されるコンピュータは、シングルプロセッサを含み得、または増大されたコンピューティング能力のために複数のプロセッサ設計を採用したアーキテクチャであり得る。
【0035】
本明細書において提示されるプロセスおよび表示は、いずれの具体的なコンピュータまたは他の装置にも本質的に関連するわけではない。様々な汎用システムは、本明細書に記載の教示に従ったプログラムと共に用いられることもあり、または、1つまたは複数の方法ステップを実施することに一層特化した装置を構築することが便利であることが、判明し得る。多様なこれらのシステムに対する構造が、下の説明において検討される。加えて、本開示の技術および実装を達成するのに充分な任意の具体的なプログラミング言語が、用いられ得る。本明細書において検討されるように、多様なプログラミング言語が、本開示を実装するために用いられ得る。
【0036】
加えて、本明細書において用いられる言語は、主に可読性および教授の目的のために選択され得、開示された主題を画定または画成するためには選択されていないことがある。これに応じて、本開示は、本明細書に記載の概念の範囲の実例となるように、かつこれを限定しないように意図されている。
【0037】
本明細書に記載の実施形態は、ビデオスライドショー等の画像のプレゼンテーションファイルを生成するために画像を解析するための新規な手段を提供する。どの画像がスライドショー内で用いられるに相応しいかを決定するために、本明細書に記載の実施形態は、受取られた画像を解析するために顔認証、光学文字認識(OCR)、ランドマーク検出もしくは物体検出、時刻データ、位置データ、季節データまたはこれらに類するもののうちの任意の1つまたは複数に頼り得る。各画像部分はまた、収集された画像の内容を記載するコンテンツタグを含み得、またはこれに別様に関連付けられ得る。
【0038】
OCRおよび他の技術は、画像美感および画像の一部が保持するテキストを識別するために用いられ得る。本明細書に記載のシステムおよび方法は、画像を学習するために、かつ生成されたプレゼンテーションファイルをパーソナライズするために看板、メッセージ、選手のジャージおよび他の関係するテキストの内容を検出および認識し得る。本明細書に記載のシステムおよび方法は、画像の解析に基づいてプレゼンテーションファイルを生成する際に用いるテンプレートを選択し得、画像内の関心人物を識別し得、プレゼンテーションファイルを生成する際に用いるフィルタを選択し得、プレゼンテーションファイルの別個の部分のトランジションを選択し得、またはこれらに類することを行い得る。
【0039】
本明細書に記載の実施形態は、例えば収集された画像において誰が特徴とされているか、収集された画像に関連付けられた時刻、収集された画像に関連付けられた日付、収集された画像に関連付けられた位置、収集された画像に関連付けられた関心地点(POI)またはこれらに類するもの等の1つまたは複数の基準に基づいてプレゼンテーションファイルをパーソナライズおよび生成するためのシステムおよび方法を提供する。
【0040】
本明細書に記載のシステムおよび方法は、前述の識別子または特徴と関係するフィルタ、キャプション、音楽、トランジションおよびエフェクトを適用することによって、生成されるプレゼンテーションファイルを動的にパーソナライズし得る。従って、これは、本明細書に記載のシステムおよび方法が、より人を惹きつけるプレゼンテーションファイルを届けることを可能とする。本出願はビデオスライドショー等のプレゼンテーションファイルを生成することについて広く検討しているが、本明細書に記載のシステムおよび方法は、本のレイアウト、カレンダー、アルバムまたはこれらに類するもの等の他のタイプのファイルを作成するために用いられ得る。
【0041】
図1は、一実施形態に従ったプレゼンテーションファイルを生成するためのシステム100を図示している。システム100は、ユーザ106への提示のためにユーザインターフェース104を実行するユーザデバイス102を含み得る。ユーザ106は、画像をアップロードすることと、提供された画像をビデオスライドショー等のプレゼンテーションファイルへとまとめることとに関心をもっている人物であり得る。
【0042】
ユーザデバイス102は、ユーザインターフェース104を実行することが可能な任意のハードウェアデバイスであり得る。ユーザデバイス102は、ラップトップ、PC、タブレット、モバイルデバイス、テレビジョンまたはこれらに類するものとして構成され得る。ユーザデバイス102の厳密な構成は、それがユーザ106へとユーザインターフェース104を実行および提示し得る限り違っていてよい。ユーザインターフェース104は、ユーザ106が生成されたプレゼンテーションファイルを閲覧することを可能とするだけでなくユーザ106が画像と生成されるプレゼンテーションファイルに含まれることとなる画像を選択する基準とを提供することも可能とし得る。
【0043】
ユーザデバイス102は、1つまたは複数のプロセッサ108と動作可能に通信し得る。プロセッサ108(単数または複数)は、本明細書に記載の様々な実施形態の狙いを成し遂げるためにメモリ110に格納された命令を実行することが可能なハードウェアデバイスの任意の1つまたは複数であり得る。プロセッサ108(単数または複数)は、マイクロプロセッサ、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)または現在使用可能であるかもしくは今後発明されるかのどちらかである別の類似デバイスを実行するソフトウェアとして実装され得る。
【0044】
1つまたは複数のASICに頼った実施形態等のいくつかの実施形態では、ソフトウェアを介して部分的に提供されるとして記載される機能性は、その代わりにASICの設計内に構成され得、そのような場合、関連付けられたソフトウェアは、省略され得る。プロセッサ108(単数または複数)は、ラップトップ等のユーザインターフェース104が実行するユーザデバイス102の一部として構成され得、または別個のコンピューティングデバイス上に位置し得、おそらくはどこか遠隔地に位置するか、またはクラウドベースソリューションとして構成される。
【0045】
プロセッサ108は、本明細書に記載の様々な実施形態の狙いを成し遂げるための様々なモジュールを提供するための、メモリ110に格納された命令を実行し得る。具体的には、プロセッサ108は、インターフェース112と、基準エンジン114と、画像解析モジュール116と、プレゼンテーションファイル生成モジュール118とを実行し得、またはこれらを別様に含み得る。
【0046】
メモリ110は、L1、L2、L3キャッシュメモリ構成またはRAMメモリ構成であり得る。上において検討したように、メモリ110は、フラッシュメモリ、EPROM、EEPROM、ROMおよびPROM等の不揮発性メモリまたは静的RAMもしくは動的RAM等の揮発性メモリを含み得る。メモリ110の厳密な構成/タイプは、本明細書に記載の様々な実施形態の特徴を成し遂げるためにプレゼンテーションファイルを生成するための命令がプロセッサ108によって実行され得る限り勿論違っていてよい。
【0047】
プロセッサ108は、1つまたは複数のネットワーク128を経由してユーザ106ならびに1人または複数のメンバー120、122、124および126から画像を受取り得る。メンバー120、122、124および126は、画像を収集するための画像収集デバイス(例えばカメラ)を伴って構成されているかもしくはこれと別様に動作可能に通信しているラップトップ、スマートフォン、スマートウォッチおよびPC等のデバイスまたは任意の他のタイプのデバイスとして図示されている。
【0048】
本出願は、ユーザデバイス102のユーザ106が画像を収集および共有し他のメンバーまたはユーザが画像および生成されたプレゼンテーションファイルを閲覧する実施形態を広く記載する。しかしながら、いくつかの実施形態では、メンバー120、122、124および126は、プレゼンテーションファイルを生成する際に用いるために自身が所有する画像を投稿し得る。
【0049】
様々な実施形態において、画像の共有は、双方向であり得る。すなわち、メンバー120、122、124および126は、専ら閲覧者であり得(そして画像を投稿することはなく)、または投稿者であり得、後者の場合、投稿者は、自身の画像を投稿し、生成されたプレゼンテーションファイル(単数または複数)に含まれる他の画像を閲覧し得る。メンバーは、投稿者として画像を供給し得、その画像は、指定された基準を満足する場合には生成されたプレゼンテーションファイルに含まれ得る。
【0050】
ユーザ106がプレゼンテーションファイルプロジェクトを作成または共有するとき、そのユーザは、あるメンバーを投稿者または閲覧者にしたいかを指示し得る。ある人がプロジェクトメンバーになるように招待されたとき、その人は、投稿者としてまたは閲覧者としてのみ承諾し得る。後日、被招待者またはプロジェクト作成者は、その人のステータスを変更し得る。
【0051】
ネットワーク128(単数または複数)は、様々なアセットおよびコンポーネントを様々なタイプのネットワーク接続とリンクし得る。ネットワーク128(単数または複数)は、インターネット、イントラネット、パーソナルエリアネットワーク(PAN)、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、メトロポリタンエリアネットワーク(MAN)、ストレージエリアネットワーク(SAN)、フレームリレー接続、高度インテリジェントネットワーク(AIN)接続、同期光ファイバーネットワーク(SONET)接続、デジタルT1、T3、E1またはE3回線、デジタルデータサービス(DDS)接続、デジタル加入者線(DSL)接続、イーサネット(登録商標)接続、統合サービスデジタルネットワーク(ISDN)回線、V.90、V.34またはV.34bisアナログモデム接続等のダイヤルアップポート、ケーブルモデム、非同期転送モード(ATM)接続、ファイバー分散データインターフェース(FDDI)接続、銅分散データインターフェース(CDDI)接続もしくは光/DWDMネットワークのうちの任意の1つもしくは複数から構成され得、またはこれらへとインターフェース接続し得る。
【0052】
ネットワーク128(単数または複数)はまた、ワイヤレスアプリケーションプロトコル(WAP)リンク、Wi-Fiリンク、マイクロ波リンク、汎用パケット無線サービス(GPRS)リンク、グローバル移動通信システムG(SM)リンク、符号分割多重接続(CDMA)リンク、または携帯電話チャネル等の時分割多元接続(TDMA)リンク、全地球測位システム(GPS)リンク、セルラーデジタルパケットデータ(CDPD)リンク、リサーチ・イン・モーション社(RIM)の複信ページングタイプデバイス、Bluetooth(登録商標)無線リンク、もしくはIEEE802.11ベースのリンクのうちの任意の1つもしくは複数から構成され得、これらを含み得、またはこれらへとインターフェース接続し得る。
【0053】
データベース130(単数または複数)は、例えばある人物に関連する画像および他のデータ(例えばその人物の顔の特徴)、ならびに、場所、カレンダーイベント(およびカレンダーイベントに関連付けられたアイテム)もしくはこれらに類するものに関連する画像および他のデータを格納し得る。言い換えれば、データベース130(単数または複数)は、受取られた画像内の特定人物またはエンティティを画像解析モジュール116が認識できるようにその人物または他のエンティティにまつわるデータを格納し得る。データベース130(単数または複数)に格納されるデータの厳密なタイプは、本明細書に記載の様々な実施形態の特徴が成し遂げられ得る限り違っていてよい。
【0054】
プロセッサインターフェース112は、多様なフォーマットにおいてユーザデバイス102(例えばユーザデバイス102のカメラ)から画像を受取り得る。画像は、電子メール、SMSテキストメッセージ、iMessage、Whatsapp、Facebook、Instagram、Snapchat、他のソーシャルメディアプラットホームもしくはメッセージングアプリ等の任意の適切なプロトコルまたはアプリを介して送られ得、ただしこれらに限定されない。インターフェース112は、その後、画像を画像解析モジュール116へと伝達し得る。
【0055】
本出願の文脈において、「画像」という用語は、写真、動画(例えば、動画のフレームが解析され得る)、ミニクリップ、動く写真、ビデオクリップ、動くイメージ、モーションフォトまたはこれらに類するものを指し得る。本システムおよび本方法は、生成されるプレゼンテーションファイルに含まれることとなる1つまたは複数の画像部分を選択するためにユーザ106、他のメンバー120、122、124および126、1つもしくは複数のデータベース130、またはこれらの何らかの組合せから受取られた画像を解析し得る。本出願の文脈において、「画像部分」という用語またはこれに類する用語は、単一の写真または動画のような個々の画像ファイルを指し得る。従って、生成されたプレゼンテーションファイルは、画像のいくつかの部分を含み得る。
【0056】
動作時、ユーザ106は、基準エンジン114を介して1つまたは複数の基準を提供し得る。具体的には、提供される基準は、生成されるプレゼンテーションファイルに画像の一部が含まれることとなるために、画像の一部内にあることを要求される内容を指定し得る。例えば、指定される基準は、画像内にいる人物、画像が撮影された位置、画像が撮影された日付、画像が撮影された時刻、画像に関連付けられた関心地点および画像内の関心アイテムのうちの任意の1つまたは複数に関連し得る。
【0057】
基準エンジン114は、プレゼンテーションファイルを生成するための基準をユーザが定義することを可能とするための様々なサブモジュールを実行し得る。これらは、画像内にいるべき1人または複数の人物を画像が選択される前に指定するための人物サブモジュール130と、満足されるべき時刻基準を画像が選択される前に指定するための時刻モジュール132と、満足されるべき位置を画像が選択される前に指定するための位置サブモジュール134と、画像内にあるべき関心地点(POI)を画像が選択される前に指定するためのPOIサブモジュール136と、画像が合致すべき日付をプレゼンテーションファイルに含める前に指定するための日付サブモジュール138と、写真美感(下において検討される)等のその他の特徴を考慮するための雑多サブモジュール140とを含み得る。
【0058】
例えば、ユーザ106は、先の(または来る)夏の間のNantucketでのLucyおよびCarolineという友人の写真および動画を含むプレゼンテーションファイルが欲しいと考え得る。または、ユーザ106は、全ての以前のクリスマスシーズンおよび全ての未来のクリスマスシーズンの間のJackの写真および動画のみを含むプレゼンテーションファイルが欲しいと考え得る。これらに応じて、人物サブモジュール130は、生成されるプレゼンテーションファイルに含まれることとなる関連付けられた画像と共にユーザインターフェース104から人物の名前をインプットとして受取り得、時刻サブモジュール132または日付サブモジュール138は、生成されるプレゼンテーションファイルに含まれることとなる画像の日付または時刻を受取り得る。
【0059】
加えて、基準エンジン114は、ユーザが画像に対する基準を定義することを援助するプロプライエタリフィルタを提供するデータベース148に格納されたテンプレートをロードし得る。例えば、データベース148は、「卒業」ルールベースのアルバムテンプレートを含み得る。このテンプレートが選択される場合には、予め定義される基準は、画像部分が、角帽、演台、卒業証書および他の関係する卒業関連物等の物体を含むことであり得る。
【0060】
別の例として、データベース148は、「スポーツ」ルールベースのアルバムテンプレートを含み得る。このテンプレートが選択される場合には、予め定義される基準は、画像部分が、サッカーボール、野球ボール、バット、ラクロススティック、ホッケースティック、バスケットボールフープ、レフェリー(例えば白黒ストライプを着た人物)、フィールド、コート、ホッケーリンク、体育館、ゴルフコースまたはこれらに類するものを含むことであり得る。
【0061】
別の例として、データベース148は、「コンサート」ルールベースのテンプレートを含み得る。このテンプレートが選択される場合には、予め定義される基準は、コンサートステージ、楽器、ライトショー、および暗闇、満員の場面等の対象を画像部分が含むことであり得、ただしこれらに限定されない。
【0062】
画像解析モジュール116は、受取られた画像を1つまたは複数の基準に従って解析する。図2は、図1の画像解析モジュール116を一実施形態に従ってより詳細に図示している。画像解析モジュール116は、出来事アルゴリズム202、機械学習モジュール204、コンピュータビジョンモジュール206、メタデータデシリアライザ208、顔検出モジュール210、顔認識モジュール212、顔クラスタリングモジュール214、物体検出モジュール216、物体識別モジュール218、場面検出モジュール220、場面識別モジュール222、クロッピングモジュール224、スコアリングモジュール226、テンプレート選択モジュール228、関心人物モジュール230、画像選択モジュール232およびトランジション効果モジュール234を含むコンポーネントを含み得、ただしこれらに限定されない。
【0063】
受取られた画像236が、基準エンジン114によって処理される1つまたは複数の指定されたルールを満足するかを決定するために、画像解析モジュール116のこれらのコンポーネントのいずれかが、単体でまたは何らかの組合せにおいて画像236を解析し得る。
【0064】
出来事アルゴリズム202は、先に検討したテンプレートによって定義されたもの等のある日付、カレンダーイベントまたは他のタイプの出来事を認識するアルゴリズムを含み得る。これらは、例えば休日に対応するあるカレンダー日付を認識し得る。
【0065】
機械学習モジュール204は、受取られた画像236の内容をタグ付けすることと、画像236、その内容および画像236に関連するユーザの行動を学習することとを行うための多様な機械学習プロシージャを実装し得る。これに応じて、機械学習モジュール204は、教師なし機械学習技術および教師あり機械学習技術を実装し得る。
【0066】
コンピュータビジョンモジュール206は、受取られた画像236の内容を解析するための多様なビジョン技術を実装し得る。これらの技術は、スケール不変特徴量変換(SIFT)、スピードアップロバスト特徴量(SURF)技術またはこれらに類するものを含み得、ただしこれらに限定されない。用いられる厳密な技術は、本明細書に記載の様々な実施形態の特徴を成し遂げるために、受取られた画像236の内容をこれらが解析し得る限り違っていてよい。
【0067】
コンピュータビジョンタグは、水、自然、無人、人、机上、屋外、海洋、夏、海、太陽、パノラミック、色、旅行、美しい、鮮やか、晴天、冬、抽象、休暇、芸術またはこれらに類するものを含み得、ただしこれらに限定されない。これらのタグは、画像部分の内容に従って画像部分を分類または別様にグループ化することを援助し得る。
【0068】
メタデータデシリアライザ208は、様々なタイプの(例えばシリアライズされた形式における)メタデータを受取り得る。このデータは、受取られた画像236のフォーマットを特定するEXIFデータを含み得、ただしこれに限定されない。その後、デシリアライザ208は、受取られたメタデータをデシリアライズされた形式へとデシリアライズし得る。
【0069】
顔検出モジュール210は、様々な画像部分内の顔の存在(ゆえに人物の存在)を検出するための多様な顔検出プログラムを実行し得る。プログラムは、例えばOPENCVを含み得るかまたはこれに基づき得、具体的にはニューラルネットワークを含み得るかまたはこれに基づき得る。ここでも、これらのプログラムは、ユーザデバイス102および/または遠隔地にあるサーバ上で実行し得る。厳密な技術またはプログラムは、本明細書に記載の様々な実施形態の特徴を成し遂げるためにこれらが画像内の顔の特徴を検出し得る限り違っていてよい。
【0070】
顔認識モジュール212は、様々な画像部分内のある人物を識別するための多様な顔認識プログラムを実行し得る。顔認識モジュール212は、人物とそれらの人物の顔の特性とにまつわるデータを格納する1つまたは複数のデータベース130と通信し得る。顔認識モジュール212は、幾何学ベースアプローチおよび/または測光ベースアプローチを用い得、主成分分析、線形判別分析、弾性バンチグラフマッチング、HMM、多重線形部分空間学習またはこれらに類するものに基づいた技術を用い得る。
【0071】
顔検出モジュール210または顔認識モジュール212のどちらかによって検出される顔属性は、「眼鏡をかけている」、「微笑んでいる」、年齢、性別、ならびに、瞳孔・左、瞳孔・右、鼻・先端、口・左、口・右、眉・左外側、眉・左内側、目・左外側、目・左上端、目・左下端、目・左内側、眉・右内側、眉・右外側、目・右内側、目・右上端、目・右下端、目・右外側、鼻・付根左、鼻・付根右、鼻・左鼻翼先端、鼻・右鼻翼先端、鼻・左鼻翼外先端、鼻・右鼻翼外先端、上唇・上端、上唇・下端、下唇・上端、上唇・下端に対する顔座標を含み得、ただしこれらに限定されない。
【0072】
画像解析モジュール116は、最良の画像部分を選択するためのポジティブ/ネガティブ顔美感ニューラルネットワークを実装し得る。例えば、ニューラルネットワークは、目を閉じている人物の画像部分より目を開いている人物の画像部分を選択し得る。考慮され得る複数の画像美感が、存在し得る。画像解析は、どの写真が不鮮明でありどれが鮮明であるか、どれが適正に中央配列されているか等を検出し得る。これらの特徴は、画像部分へと割当てられる1つまたは複数のスコア(下において検討される)へと貢献し得る。
【0073】
顔認証モジュール212が画像部分内のある人物を識別すると、顔クラスタリングモジュール214は、1人または複数の人物に関連付けられた画像の一部として画像部分をグループ化し得る。すなわち、画像部分は、ある人物を含んでいるとして識別された多くのもののうちの1つであり得る。
【0074】
これらのモジュール210~214は、単独でまたは何らかの組合せにおいて、例えば最も関係すると見込まれる人物を識別するために画像内に誰がいるか、どれくらいの頻度でいるかおよび誰といるかに基づいて画像から趣旨を抜き出し得る。これは、画像解析モジュール116が例えば一家およびその構成員を検出することと、生成されるプレゼンテーションファイルの中に各家族員の少なくとも1つの画像部分があることを保証することとを行うことを可能とし得る。
【0075】
画像解析モジュール116は、画像内の家族員を決定および識別し得る。これに加えてまたは代えて、ユーザは、「関心人物」を指示するための訓練フェーズの一部として先に収集された画像内の家族員を手動で識別し得、またはプレゼンテーションファイルの生成中に家族員もしくは他の重要人物を識別し得る。
【0076】
物体検出モジュール216は、画像部分内にある様々な物体を検出し得る。例えば、物体検出モジュール216は、画像部分内にある物体と画像部分の背景とを区別するための様々な技術(例えばコンピュータビジョンモジュール206を用いた技術)のうちの1つまたは複数を実行し得る。
【0077】
その後、物体識別モジュール218は、あるアイテムとして物体を分類または別様に認識し得る。例えば、物体識別モジュール218は、物体が1つまたは複数の基準を満足するかを決定するために(例えば形状、サイズ、色等によって)これらを解析し得る。物体識別モジュール218はまた、検出された物体がデータベース148に格納されている物体と合致しゆえに1つまたは複数の基準を満足するかを決定するために、検出された物体にまつわるデータ(例えば形状およびサイズ)をデータベース148にあるデータと比較し得る。
【0078】
場面検出モジュール220は、画像部分の場面に対応するデータを収集し得る。これは、画像部分が人物を含むかどうか、屋内において撮影されたかどうか、屋外において撮影されたかどうか、日中かどうか、夜中かどうか等のような画像部分のコンテキストを指示するデータを含み得る。
【0079】
場面識別モジュール222は、場面検出モジュール220と通信し得、画像部分の場面にまつわるデータを受取り得る。場面識別モジュール222は、受取られたデータがあるコンテキストを指示しておりゆえに1つまたは複数の基準を満足するかどうかを決定するためにそのデータをデータベース148にあるデータと比較し得る。例えば、場面識別モジュール222は、人物の写真が屋内において撮影されたかどうか、屋外において撮影されたかどうか、あるタイプの天候のもとで撮影されたかどうか、ある照明状態において撮影されたかどうか、またはこれらに類することを識別し得る。
【0080】
クロッピングモジュール224は、個々の画像部分をクロップすること等の画像に対する任意の編集ステップを実施し得る。例えば、1人または複数の人物が画像部分内に検出される場合には、クロッピングモジュール224は、生成されるプレゼンテーションファイルにおいてその人物の顔が選択されより目立って示されるように画像部分をクロップし得る。
【0081】
スコアリングモジュール226は、提供された基準を画像部分が満足するかどうか(およびどの程度満足するか)を表現するスコアを各画像部分へと割当て得る。これに応じて、例えば、より低いスコアまたは閾値より下であるスコアを有する画像部分ではなくより高いスコアまたは閾値より上であるスコアを有する画像の部分が、選択され得る。
【0082】
スコアリングモジュール226は、多様な手段を以て画像部分へとスコアを割当て得る。例えば、所与のプレゼンテーションファイルプロジェクトは、生成されるプレゼンテーションファイルに含まれる画像部分が(i)ある個人を含むべきであり(ii)ある位置で撮影されるべきであり(iii)ある関心物体(例えばパーティハット、誕生日ケーキおよびプレゼント)を含むべきであることを指定し得る。項目(i)および項目(ii)のどちらも含まない画像部分が零(0)のスコアを割当てられて選択されないように、項目(i)および項目(ii)は、厳に要求され得る。
【0083】
一方、基準(i)および基準(ii)ならびに(iii)指定された関心物体のうちの少なくとも1つを満たす画像部分は、存在する関心物体がより多いほど増加する非零スコアを割当てられ得る。すなわち、上の基準(i)および基準(ii)を満たしパーティハットおよび誕生日ケーキを含む画像部分は、基準(i)および基準(ii)ならびに誕生日ケーキのみを満たす画像部分より高いスコアを割当てられる。
【0084】
また先に検討したように、画像解析モジュール116は、最良の画像部分を選択するためのポジティブ/ネガティブ美感ニューラルネットワークを実装し得る。例えば、微笑んでいる人物を伴う画像部分は、しかめっ面の人物または口の中に食べ物がある人物を伴う画像部分より高いスコアを割当てられ得る。上で検討したように、明瞭または鮮明である画像部分は、不鮮明である画像部分より高いスコアを割当てられ得る。これに応じて、各画像部分へと割り当てられるスコア(単数または複数)は、任意の数の基準に基づき得る。
【0085】
ある1人の人物または数人の人物が重要であると識別されている場合には、これらの人物を伴う画像部分は、これらの人物を伴わない画像部分より高いスコアを割当てられ得る。同様に、重要であると識別されている3人の人物を含む画像部分は、重要であると識別された1人の人物をのみを含む画像部分より高いスコアを割当てられ得る。
【0086】
ある人物が「重要」であるかの分類は、受取られた画像にどのくらい頻繁にその人物が現れるかどうかに基づき得る。この分類はまた、人物が画像内でどのくらい目立って示されているかに基づき得る。別の例として、重要であると既に分類されている別の人物と共に画像に頻繁に現れる人物も、重要であると分類され得る。
【0087】
これに応じて、スコアリングモジュール226は、画像を選択する際に用いられる1つまたは複数のタイプのスコアを計算し得る。そのスコアは、画像部分がどのくらい新規またはユニークであるかを表現した新規性スコア、重要人物が画像部分内にいるかどうか(および何人いるか)を表現した重要人物スコア、または画像部分のいくつかの特性に関連する他のタイプのスコアを含み得る。スコアリングモジュール224はまた、1つまたは複数のタイプの他の計算されたスコアに基づいた複合スコアを計算し得る。
【0088】
テンプレート選択モジュール228は、受取られた画像の解析に基づいて、受取られた画像を解析するために用いられることとなるテンプレートを選択し得る。例えば、コンピュータビジョンモジュール206が画像の一部分内にあるケーキを検出する場合には、テンプレート選択モジュール228は、受取られた画像の他の部分を解析するために用いられることとなる「誕生日」テンプレートを選択し得る。選択されたテンプレートは、その後、次いで受取られた画像に対する他の基準を指定し得る。
【0089】
関心人物モジュール230は、受取られた画像の解析に基づいて基準通りの関心人物を識別し得る。例えば、人種認識モジュール212のコンピュータビジョンモジュール206が画像内にいるある第一の人物を認識する場合には、関心人物モジュール230は、生成されるプレゼンテーションファイルに含まれるべき他の人物(例えばその人物の友人、配偶者、親またはこれらに類する人)を指定し得る。その後、画像選択モジュール232が、1つまたは複数の画像部分を選択し得る。いくつかの実施形態では、画像選択モジュール232は、画像部分に割当てられたスコアに基づいて1つまたは複数の画像部分を選択し得る。先に検討したように、画像選択モジュール232は、何らかの閾値と等しいかまたはこれより上のスコアをもつ画像部分のみを選択するように構成され得る。いくつかの実施形態では、画像選択モジュール232は、生成されるプレゼンテーションファイルに含まれることとなる例えばトップ10の最も高いスコアを割当てられた画像部分を選択し得る。いくつかの実施形態では、画像選択モジュール232は、収集された画像部分を異なる時刻区分へと類別し得、その後、最も高いスコア(単数または複数)を割当てられた1つまたは複数の画像部分を各時刻区分において選択し得る。
【0090】
画像選択モジュール232は、各区分内にある画像部分の量に比例した数の画像部分を所与の時刻区分から選択し得る。すなわち、指定された基準を全画像部分が満足すると仮定すると、15個の画像部分を伴う第一の時刻区分は、9個の画像部分を伴う第二の画像部分から選択される画像部分より大きな数の画像部分がその区分から選択される。
【0091】
トランジション効果モジュール234は、生成されるプレゼンテーションファイルの少なくとも2つの画像部分の提示の間に何らかのタイプのトランジション効果を提供し得る。これらは、例えば、プレゼンテーションファイルを向上させるための音響効果または視覚効果を含み得る。
【0092】
図1に戻ってこれを参照すると、プレゼンテーションファイル生成モジュール118は、ビデオスライドショー等のプレゼンテーションファイルを形成するために選択された画像部分を一緒にまとめ得る。基本的に、プレゼンテーションファイル生成モジュール118は、選択された画像部分をプレゼンテーションファイルを生成するための1つまたは複数のテンプレートを用いて併合する。プレゼンテーションファイル生成モジュール118は、様々な特性に従ってプレゼンテーションファイルの体裁を整え得る。例えば、ユーザ106は、生成されるプレゼンテーションファイルの望ましい所要時間、プレゼンテーションファイルに含まれることとなる画像部分の数、提示の間に各画像部分がプレゼンテーションファイル内で表示されるべき時間の量等を指定し得る。
【0093】
プレゼンテーションファイル生成モジュール118はまた、1つまたは複数の画像部分に付属するキャプションを生成するためのテキスト生成モジュール142を実行し得る。テキスト生成モジュール142は、キャプション(単数または複数)を生成する際に画像解析モジュール116の様々なサブモジュールから入手される画像部分にまつわるデータに頼り得る。
【0094】
キャプションは、画像部分内の1人もしくは複数の人物の画像部分内に描写された活動ならびにその人物を考慮に入れ得る。これは、コンテキストの付加的なレイヤーおよび生成されたプレゼンテーションファイルを閲覧する人のための楽しみを提供する。キャプションは、写真または動画を撮られた人物の名前(例えば「飛行機で高く飛んでいるJack」)、人物の位置(「一家は一日の殆どをDisneyworldで過ごした」)、ランドマーク(「Eiffel Towerにいる母と父」)、一日のうちの時刻(「Myraは朝食をしっかり食べて素晴らしい一日のスタートを切った」)および画像内に何があるのかを考慮に入れ得る。
【0095】
プレゼンテーションファイル生成モジュール118はまた、生成されるプレゼンテーションファイルを向上させるためのフィルタ選択モジュール144を含み得、またはこれを別様に実行し得る。例えば、1つまたは複数のフィルタは、1つまたは複数の画像部分へと視覚効果を提供し得る。そのフィルタは、生成されるプレゼンテーションファイルを一層向上させるかまたはカスタマイズするための照明効果、影効果、色効果またはこれらに類するものを提供し得る。
【0096】
トランジション選択モジュール146は、生成されるプレゼンテーションファイルへの1つまたは複数のトランジション効果を選択し得、これらを適用し得る。そのトランジションは、異なる画像部分を提示する間でプレゼンテーションファイルが切替わるとき等のプレゼンテーションファイルの実行中に視覚効果および音声効果を提供し得る。これに応じて、プレゼンテーションファイル生成モジュール118は、プレゼンテーションファイルを生成するためにフィルタ、背景、トランジション、音楽、アニメーション、拡張現実特徴またはこれらに類するものを利用し得る。
【0097】
一方、プレゼンテーションファイル生成モジュール118は、プレゼンテーションファイルを生成する際に用いられるフィルタ、キャプションまたはテキストの数の上限、最大値または制限を設定するルールまたはパラメータによって制限され得る。これは、例えば同一のフィルタまたはトランジション効果が過度に用いられずそして生成されたプレゼンテーションファイルにおいて多様性を達成する点で多様さを保証し得る。
【0098】
プレゼンテーションファイル生成モジュール118はまた、任意の時間パラメータまたは制約に適合したプレゼンテーションファイルを生成し得る。例えば、ユーザは、生成されるプレゼンテーションファイルが例えば長さ15秒、長さ30秒、長さ60秒等であるべきであることを指定し得る。これに応じて、プレゼンテーションファイル生成モジュール118は、プレゼンテーションファイル全体が指定の時間制約に適合するようなある秒数の間だけ各画像部分が提示されるようにプレゼンテーションファイルの体裁を整え得る。
プレゼンテーションファイル生成モジュール118はまた、各々の生成されたプレゼンテーションファイルが異なる長さである閲覧用の複数のプレゼンテーションファイルを生成し得る。
【0099】
これに加えてまたは代えて、プレゼンテーションファイル生成モジュール118は、生成されるファイルプレゼンテーションの適正所要時間を決定し得、または少なくともこれを推奨し得る。例えば、受取られた画像の量に基づいてプレゼンテーションファイルは長さ2分であるべきであることを推奨する。この推奨は、ユーザへと提示され得、ユーザは、推奨を承諾し得るかまたは生成されるプレゼンテーションファイルの別の所要時間を選択し得る。
【0100】
図3は、一実施形態に従ったプレゼンテーションファイルを生成する方法300のフローチャートを描写している。図1のシステム100またはそのコンポーネントが、方法300のステップを実施し得る。
【0101】
ステップ302は、インターフェースにおいて画像を受取ることに関与している。画像は、先に検討した画像のようないくつかの異なるタイプの画像を含み得る。画像は、複数のユーザまたはプロジェクトメンバーから受取られ得、またはこれらの人によって別様に提供され得る。画像は、何人かのユーザによって投稿された画像の共有プールから受取られ得、スマートフォンまたは例えばDSLRカメラまたは任意の他のデバイスを用いて撮影された動画および写真を保持し得る。このプールはまた、例えばイベント主催者によって雇われたプロ写真家によって投稿された写真を含み得る。最後に、ソーシャルメディアから取込まれた画像も、本明細書に記載の実施形態の様々な特徴を達成するためにプレゼンテーションファイルへと組込まれ得る。
【0102】
ステップ304は、受取られた画像から画像を選択することに対する少なくとも1つの基準をインターフェースにおいて受取ることに関与している。1人または複数のユーザは、生成されるプレゼンテーションファイルに含まれることとなる画像を選択するための基準を提供し得る。提供される基準は、画像部分が、プレゼンテーションファイルに含めるために選択されるために、その画像部分が、例えばある時刻に撮影されるべきであること、ある位置において撮影されるべきであること、ある人物を含むべきであること、ある物体を含むべきであることまたはこれらに類することを指定し得る。
【0103】
ステップ306は、受取られた画像を少なくとも1つの受取られた基準に従って解析することに関与している。図1の画像解析モジュール116等の画像解析モジュールは、要求される基準をどの画像部分が満足するのかを、該当する場合には決定するために、受取られた画像を解析し得る。
【0104】
ステップ308は、受取られた画像の少なくとも一部を少なくとも1つの基準を満足する部分に基づいて選択することに関与している。受取られた基準を1つまたは複数の画像部分が満足することを決定すると、図2の画像選択モジュール232等の画像選択モジュールは、プレゼンテーションファイルに含まれることとなるそれらの画像部分を選択し得る。
【0105】
ステップ310は、受取られた画像の選択された部分を含むプレゼンテーションファイルを自律的に生成することに関与している。図1のプレゼンテーションファイル生成モジュール118等のプレゼンテーションファイル生成モジュールが、プレゼンテーションファイルを生成し得る。プレゼンテーションファイルは、例えばフィルタ、背景、トランジション、音楽、アニメーション、拡張現実特徴またはこれらに類するものを伴って向上させられ得る。
【0106】
例えば、ステップ312は、オプションであり、生成されるプレゼンテーションファイルにおいて受取られた画像の選択された部分に付属する少なくとも1つのテキストキャプションを生成することに関与している。図1のテキスト生成モジュール132等のテキスト生成モジュールが、このステップを実施し得る。これに応じて、生成されたプレゼンテーションファイルは、生成されたプレゼンテーションファイルの内容を記載するかまたは別様に一層向上させるキャプションに付属され得る。
【0107】
図4は、別の実施形態に従ったプレゼンテーションファイルを生成する方法400のフローチャートを描写している。図1のシステム100またはそのコンポーネントが、方法400のステップを実施し得る。ステップ402~408は、それぞれ図3のステップ302~308に類似しており、ここでは繰返されない。
【0108】
ステップ410は、受取られた画像を酷似した画像のために評価するためのコンピュータビジョンプロシージャを実行することに関与している。例えば、コンピュータビジョンサブモジュール206等のコンピュータビジョンモジュールは、受取られた画像の内容を検出するためにその画像を解析するための適正なコンピュータビジョンプロシージャのうちの任意の1つまたは複数を実行し得る。具体的には、コンピュータビジョンサブモジュール206は、2つまたはそれより多い画像部分がそれらの画像部分が酷似していると見做される点において少なくとも実質的に類似している実態を検出し得る。
【0109】
いくつかの実施形態では、コンピュータビジョンサブモジュール206は、画像部分が実質的に類似している実態を検出することだけでなく選択された画像部分間に何らかの多様さがあることを保証することも行い得る。例えば、スコアリングモジュール226は、コンピュータビジョンサブモジュール206によって遂行される解析に基づいて画像部分の類似性を表現するスコアを画像部分に割当て得る。2つまたはそれより多い画像部分が例えば閾値より上である(これゆえにそれらが非常に類似していることを指示する)類似性スコアを有する場合には、それらの画像部分のうちの1つのみが、選択され得る。これに応じて、画像解析モジュール116は、生成されるプレゼンテーションファイルに含まれる画像部分に多様さがあることを保証するために類似していない画像部分を選択し得る。
【0110】
類似性スコアは、例えば画像部分の背景、画像部分の位置、画像部分内にいる人物またはこれらに類するものに基づき得る。例えば、第一の画像部分がEiffel Towerの手前にいる3人の人物を含み第二の画像部分がEiffel Towerの手前にいる同一の3人の人物を含みただし異なるポーズである場合には、生成されるプレゼンテーションファイルにおける多様さを確保するために、これらの画像部分のうちの1つのみが、選択され得る。
【0111】
これに応じて、ステップ412は、酷似した画像が生成されるプレゼンテーションファイルに含まれることを防止することに関与している。このステップは、図2の画像選択モジュール232等の画像選択モジュールによって実施され得る。
【0112】
ステップ414は、画像がいつ撮影されたのかに基づいて画像を複数の時刻区分へと類別することに関与している。例えば、図2の画像選択モジュール232は、所要時間において1時間の時刻区分のような複数の時刻区分へと画像部分をグループ化し得る。画像選択モジュール232は、複数の時刻区分の各々から画像を選択し得、複数の時刻区分の各々から選択される画像の量は、複数の時刻区分の各々における画像の量に比例する。
【0113】
ステップ416は、図3のステップ310に類似しており、プレゼンテーションファイルを自律的に生成することに関与している。プレゼンテーションファイル生成モジュール118は、プレゼンテーションファイルを生成するときに選択された画像に関連付けられた時刻データまたは日付データを考慮し得る。例えば、プレゼンテーションファイル生成モジュール118は、月曜日に撮影された画像部分が続く水曜日に撮影された画像部分の前にくるように整理されるようにプレゼンテーションファイルを整理し得る。同様に、朝に撮影された画像部分は、同日の晩に撮影された画像部分の前に提示され得る。
【0114】
上で検討した方法、システムおよびデバイスは、例である。様々な構成が、必要に応じて様々なプロシージャまたはコンポーネントを省略、代用または追加し得る。例として、代わりとなる構成では、方法は、記載された順序と異なる順序で実施され得、様々なステップが、追加、省略または組合され得る。また、ある構成に関して説明された特徴は、様々な他の構成において組合され得る。構成のもつ別個の側面および要素が、同様の方法を以て組合され得る。また、科学技術は進化し、その結果としてその要素の多くは例であり、本開示の範囲または特許請求の範囲を限定しない。
【0115】
本開示の実施形態は、例えば、本開示の実施形態に従った方法、システムおよびコンピュータプログラム製品のブロック図および/または動作に関する図示の参照を伴って上において記載される。ブロック内に記された機能/行為は、任意のフローチャートにおいて示されているような順番から外れて行われ得る。例えば、関与している機能性/行為によっては、連続して示された2つのブロックが実際上は実質同時に実行され得、または、それらのブロックがときには逆順序で実行され得る。これに加えてまたは代えて、任意のフローチャートに示されるブロックの全てを実施および/または実行する必要がない。例えば、所与のフローチャートが機能/行為を保持した5つのブロックを有する場合には、これは5つのブロックのうちの3つのみが実施および/または実行される場合であり得る。本例では、5つのブロックのうちの3つのうちの任意のものが、実施および/または実行され得る。
【0116】
ある値が第一の閾値を超える(またはそれより大きい)というステートメントは、その値が第一の閾値より僅かに大きな第二の閾値(例えば関連系の分解能において第一の閾値より高い1つの値である第二の閾値)に合うかまたはこれを上回るというステートメントと等価である。ある値が第一の閾値より低い(またはその範囲内である)というステートメントは、その値が第一の閾値より僅かに低い第二の閾値(例えば関連系の分解能において第一の閾値より低い1つの値である第二の値)より低いかまたはこれと等しいというステートメントと等価である。
【0117】
具体的な詳細が、例となる構成(実装を含む)の徹底的な理解を提供するために説明内で与えられる。しかしながら、構成は、これらの具体的な詳細を伴わずして実践され得る。例えば、よく知られた回路、プロセス、アルゴリズム、構造および技術は、構成を分かりにくくすることを避けるために不要な詳細を伴わずして示されている。本説明は、例となる構成のみを提供し、特許請求の範囲、適用性または構成を限定しない。むしろ、先に行った構成の説明は、記載の技術を実装することを可能とする説明を当業者に提供する。様々な変更が、本開示の主旨または範囲から逸脱することなく要素の機能および配列について行われ得る。
【0118】
例となる構成をいくつか説明してきたが、様々な改良、代わりとなる構造およびこれらと等価なものが、本開示の主旨から逸脱することなく用いられ得る。例えば、上の要素はより大きなシステムのコンポーネントであり得、このシステムでは、他のルールが本開示の様々な実装または技術に優先し得、またはこれらを別様に改良し得る。また、多数のステップが、上の要素が考慮される前、考慮されている間または考慮された後に着手され得る。
【0119】
本出願の説明および図示を提供してきたが、一当業者は、以下の特許請求の範囲から逸脱しない、本出願において検討される一般的発明概念の範囲内に収まるバリエーション、改良および代わりの実施形態を想定し得る。
図1
図2
図3
図4