IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士フイルム株式会社の特許一覧

特開2022-120654画像生成装置、画像生成方法、及びプログラム
<>
  • 特開-画像生成装置、画像生成方法、及びプログラム 図1
  • 特開-画像生成装置、画像生成方法、及びプログラム 図2
  • 特開-画像生成装置、画像生成方法、及びプログラム 図3
  • 特開-画像生成装置、画像生成方法、及びプログラム 図4
  • 特開-画像生成装置、画像生成方法、及びプログラム 図5
  • 特開-画像生成装置、画像生成方法、及びプログラム 図6
  • 特開-画像生成装置、画像生成方法、及びプログラム 図7
  • 特開-画像生成装置、画像生成方法、及びプログラム 図8
  • 特開-画像生成装置、画像生成方法、及びプログラム 図9
  • 特開-画像生成装置、画像生成方法、及びプログラム 図10
  • 特開-画像生成装置、画像生成方法、及びプログラム 図11
  • 特開-画像生成装置、画像生成方法、及びプログラム 図12
  • 特開-画像生成装置、画像生成方法、及びプログラム 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022120654
(43)【公開日】2022-08-18
(54)【発明の名称】画像生成装置、画像生成方法、及びプログラム
(51)【国際特許分類】
   G06T 11/60 20060101AFI20220810BHJP
   H04N 1/387 20060101ALI20220810BHJP
   G06F 3/04845 20220101ALI20220810BHJP
【FI】
G06T11/60 100C
H04N1/387
H04N1/387 110
G06F3/0484 150
【審査請求】未請求
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2021017693
(22)【出願日】2021-02-05
(71)【出願人】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】100152984
【弁理士】
【氏名又は名称】伊東 秀明
(74)【代理人】
【識別番号】100148080
【弁理士】
【氏名又は名称】三橋 史生
(72)【発明者】
【氏名】福島 敏貢
【テーマコード(参考)】
5B050
5C076
5E555
【Fターム(参考)】
5B050AA09
5B050BA06
5B050BA10
5B050BA15
5B050BA18
5B050BA20
5B050CA07
5B050CA08
5B050DA04
5B050EA10
5B050EA12
5B050EA20
5B050FA02
5B050FA05
5B050FA12
5B050FA13
5B050GA08
5C076AA17
5C076AA19
5C076AA21
5C076AA22
5C076AA40
5E555AA65
5E555BA02
5E555BA05
5E555BA06
5E555BA73
5E555BA83
5E555BB02
5E555BB05
5E555BB06
5E555BC18
5E555CA42
5E555CC11
5E555DA01
5E555DB53
5E555DC21
5E555DD07
5E555EA07
5E555FA00
(57)【要約】
【課題】複数のユーザの編集操作に基づいて編集画像を円滑に生成することが可能な画像生成装置、画像生成方法、及びコンピュータ用のプログラムを提供する。
【解決手段】プロセッサにより、複数のユーザの少なくとも一人から提供される素材画像を取得する画像取得処理と、取得された素材画像を用いて編集画像を生成する編集処理と、編集画像を複数のユーザの各々に対して出力する画像出力処理と、複数のユーザの各々による編集画像に対する編集操作を、ユーザ毎に受け付ける操作受付処理と、ユーザ毎に受け付けた編集操作の各々の内容を解析する解析処理と、解析処理での解析結果に基づいて編集画像を再編集して再編集画像を生成する再編集処理と、を実行する。
【選択図】図5
【特許請求の範囲】
【請求項1】
プロセッサを備えた画像生成装置であって、
前記プロセッサが、
複数のユーザの少なくとも一人から提供される素材画像を取得する画像取得処理と、
取得された前記素材画像を用いて編集画像を生成する編集処理と、
前記編集画像を前記複数のユーザの各々に対して出力する画像出力処理と、
前記複数のユーザの各々による前記編集画像に対する編集操作を、ユーザ毎に受け付ける操作受付処理と、
ユーザ毎に受け付けた前記編集操作の各々の内容を解析する解析処理と、
前記解析処理での解析結果に基づいて前記編集画像を再編集して再編集画像を生成する再編集処理と、を実行する画像生成装置。
【請求項2】
前記プロセッサは、前記複数のユーザの各々から、画像編集の注文操作を受け付ける注文受付処理を更に実行し、
前記編集処理において、前記プロセッサは、前記複数のユーザの少なくとも一人が行った前記注文操作の内容に基づき、前記素材画像を用いて前記編集画像を生成する、請求項1に記載の画像生成装置。
【請求項3】
前記注文操作は、前記編集画像における前記素材画像のレイアウトに関する設定操作を含む、請求項2に記載の画像生成装置。
【請求項4】
前記画像取得処理において、前記プロセッサは、前記複数のユーザの各々から前記素材画像を取得し、
前記プロセッサは、前記画像取得処理にて取得された前記素材画像のそれぞれを、前記素材画像に出現する被写体、及び前記素材画像の画質に関する特徴量に基づいて評価する評価処理をさらに実行し、
前記編集処理において、前記プロセッサは、前記画像取得処理にて取得された前記素材画像のうち、前記評価処理での評価結果に基づいて選定される前記素材画像を用いて前記編集画像を生成する、請求項1乃至3のいずれか一項に記載の画像生成装置。
【請求項5】
前記画像取得処理において、前記プロセッサは、前記複数のユーザの各々から前記素材画像を取得し、
前記解析処理において、前記プロセッサは、前記画像取得処理にて取得された前記素材画像のそれぞれについて、ユーザ毎に受け付けた前記編集操作の各々の内容に応じたスコアを算出し、
前記再編集処理において、前記プロセッサは、前記画像取得処理にて取得された前記素材画像のうち、前記スコアに基づいて選定される前記素材画像を用いて前記再編集画像を生成する、請求項1乃至4のいずれか一項に記載の画像生成装置。
【請求項6】
前記編集操作は、前記編集画像の変更又は維持のいずれかを指示する操作であり、
前記編集画像の変更には、前記編集画像における前記素材画像のレイアウトの変更、及び前記編集画像の生成に用いられた前記素材画像の種類の変更のうち、少なくとも一つが含まれ、
前記解析処理において、前記プロセッサは、前記画像取得処理にて取得された前記素材画像の各々について、前記編集操作における前記編集画像の変更内容に応じた前記スコアを算出する、請求項5に記載の画像生成装置。
【請求項7】
前記解析処理において、前記プロセッサは、ユーザ毎に受け付けた前記編集操作に対して、ユーザ間で共通した採点基準を適用して、前記素材画像の各々の前記スコアを算出する、請求項5又は6に記載の画像生成装置。
【請求項8】
前記プロセッサは、前記画像取得処理にて取得された前記素材画像のうち、ある種類の素材画像の前記スコアを算出する場合に、前記編集操作にて前記ある種類の素材画像の採用を指示したユーザの人数に応じて前記ある種類の素材画像の前記スコアを算出する、請求項7に記載の画像生成装置。
【請求項9】
前記プロセッサは、前記画像取得処理にて取得された前記素材画像のうち、前記編集処理において前記編集画像の生成に用いられなかった未利用画像の前記スコアを算出する場合に、前記編集操作にて前記未利用画像の採用を指示したユーザが存在する場合には、予め決められた加算値を前記未利用画像の前記スコアに加算する、請求項7又は8に記載の画像生成装置。
【請求項10】
前記プロセッサは、前記画像取得処理にて取得された前記素材画像のうち、ある種類の素材画像の前記スコアを算出する場合に、前記編集操作において前記ある種類の素材画像の採用を指示するユーザが存在する場合には、前記ユーザが前記編集操作にて指示した前記ある種類の素材画像のレイアウトに応じて前記ある種類の素材画像の前記スコアを算出する、請求項7乃至9のいずれか一項に記載の画像生成装置。
【請求項11】
前記プロセッサは、前記編集操作にて複数の前記素材画像の採用が指示された場合には、複数の前記素材画像に出現する被写体の中から、複数の前記素材画像における出現頻度に基づいて対象被写体を特定し、前記素材画像における前記対象被写体の出現の有無に応じて前記素材画像のそれぞれの前記スコアを算出する、請求項7乃至10のいずれか一項に記載の画像生成装置。
【請求項12】
前記プロセッサは、前記操作受付処理にて前記複数のユーザ全員分の前記編集操作を受け付けた後に、前記解析処理を実行する、請求項1乃至11のいずれか一項に記載の画像生成装置。
【請求項13】
前記編集画像及び前記再編集画像は、少なくとも一ページ以上のフォトブックの各ページを構成する画像である、請求項1乃至12のいずれか一項に記載の画像生成装置。
【請求項14】
プロセッサによる画像生成方法であって、
前記プロセッサにより、複数のユーザの少なくとも一人から提供される素材画像を取得する画像取得処理を実行するステップと、
前記プロセッサにより、取得された前記素材画像を用いて編集画像を生成する編集処理を実行するステップと、
前記プロセッサにより、前記編集画像を前記複数のユーザの各々に対して出力する画像出力処理を実行するステップと、
前記プロセッサにより、前記複数のユーザの各々による前記編集画像に対する編集操作を、ユーザ毎に受け付ける操作受付処理を実行するステップと、
前記プロセッサにより、ユーザ毎に受け付けた前記編集操作の各々の内容を解析する解析処理を実行するステップと、
プロセッサにより、前記解析処理での解析結果に基づいて前記編集画像を再編集して再編集画像を生成する再編集処理を実行するステップと、を含む画像生成方法。
【請求項15】
請求項14に記載の画像生成方法の各々のステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像生成装置、画像生成方法、及びプログラムに係り、特に、ユーザから提供される素材画像を編集して編集画像を生成する画像生成装置、画像生成方法、及びプログラムに関する。
【背景技術】
【0002】
ユーザから提供される素材画像を取得し、ユーザからの注文等に応じて素材画像を編集して編集画像を生成するサービスが、既に提供されている。また、上記のサービスにおいて、複数のユーザの各々から編集操作を受け付けて画像編集を行う場合がある(例えば、特許文献1参照)。
【0003】
特許文献1に記載の技術では、例えば、複数のユーザが同時に一つの画像に対して編集を行う場合に、一定の時間ごと又は一定量の処理を行うごとに、一人のユーザに編集権限を与えて、各ユーザに順番に編集権限を付与する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2010-086221号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に記載の技術によれば、複数のユーザが満足する構成にて編集画像を生成することができるものの、各ユーザの編集操作を順番に受け付けるため、編集画像の完成に時間を要する。また、ユーザ間で異なる編集操作が行われた場合には、編集内容についての調整が必要となるために、画像編集に要する時間が一層長くなる。
【0006】
本発明は、上記の事情に鑑みてなされたものであり、複数のユーザの編集操作に基づいて編集画像を円滑に生成することが可能な画像生成装置、画像生成方法、及びコンピュータ用のプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記の目的を達成するために、本発明の画像生成装置は、プロセッサを備えた画像生成装置であって、プロセッサが、複数のユーザの少なくとも一人から提供される素材画像を取得する画像取得処理と、取得された素材画像を用いて編集画像を生成する編集処理と、編集画像を複数のユーザの各々に対して出力する画像出力処理と、複数のユーザの各々による編集画像に対する編集操作を、ユーザ毎に受け付ける操作受付処理と、ユーザ毎に受け付けた編集操作の各々の内容を解析する解析処理と、解析処理での解析結果に基づいて編集画像を再編集して再編集画像を生成する再編集処理と、を実行することを特徴とする。
【0008】
本発明の画像生成装置によれば、素材画像を用いて編集画像を生成した後、編集画像に対して複数のユーザの各々が行う編集操作をユーザ毎に受け付け、各ユーザの編集操作の内容を解析して、解析結果に基づいて再編集(編集画像の再生成)を行う。これにより、画像編集に関する各ユーザの意見及び要望等を加味して編集画像(厳密には再編集画像)を円滑に生成することができる。
【0009】
また、プロセッサは、複数のユーザの各々から、画像編集の注文操作を受け付ける注文受付処理を更に実行してもよい。この場合、編集処理において、プロセッサは、複数のユーザの少なくとも一人が行った注文操作の内容に基づき、素材画像を用いて編集画像を生成するとよい。
上記の構成によれば、ユーザからの注文に応じて編集画像を生成することができる。
【0010】
また、上記の構成において、注文操作は、編集画像における素材画像のレイアウトに関する設定操作を含んでもよい。この場合には、ユーザの設定操作に基づくレイアウトの編集画像を生成することができる。
【0011】
また、画像取得処理において、プロセッサは、複数のユーザの各々から素材画像を取得してもよい。この場合、プロセッサは、画像取得処理にて取得された素材画像のそれぞれを、素材画像に出現する被写体、及び素材画像の画質に関する特徴量に基づいて評価する評価処理をさらに実行するとよい。また、編集処理において、プロセッサは、画像取得処理にて取得された素材画像のうち、評価処理での評価結果に基づいて選定される素材画像を用いて編集画像を生成するとよい。
上記の構成によれば、複数のユーザの各々から取得した素材画像のそれぞれを評価し、その評価結果に基づいて、編集画像の生成に用いる素材画像を適切に選定することができる。
【0012】
また、画像取得処理において、プロセッサは、複数のユーザの各々から素材画像を取得してもよい。解析処理において、プロセッサは、画像取得処理にて取得された素材画像のそれぞれについて、ユーザ毎に受け付けた編集操作の各々の内容に応じたスコアを算出するとよい。さらに、再編集処理において、プロセッサは、画像取得処理にて取得された素材画像のうち、スコアに基づいて選定される素材画像を用いて再編集画像を生成するとよい。
上記の構成によれば、取得された素材画像のそれぞれについて、各ユーザの編集操作に応じたスコアを算出し、その算出結果に基づいて、再編集画像の生成に用いる素材画像を適切に選定することができる。
【0013】
また、上記の構成において、編集操作は、編集画像の変更又は維持のいずれかを指示する操作であり、編集画像の変更には、編集画像における素材画像のレイアウトの変更、及び編集画像の生成に用いられた素材画像の種類の変更のうち、少なくとも一つが含まれてもよい。この場合、解析処理において、プロセッサは、画像取得処理にて取得された素材画像の各々について、編集操作における編集画像の変更内容に応じたスコアを算出するとよい。
上記の構成によれば、素材画像について、各ユーザが編集画像に対して行った変更の内容に応じたスコアが算出される。これにより、各ユーザの変更内容を加味して再編集処理(再編集画像の生成)を行うことができる。
【0014】
また、解析処理において、プロセッサは、ユーザ毎に受け付けた編集操作に対して、ユーザ間で共通した採点基準を適用して、素材画像の各々のスコアを算出してもよい。
上記の構成によれば、素材画像についてスコアを算出する際に、素材画像の提供元に関わらず、統一された採点基準に従って素材画像のスコアを適切に算出することができる。
【0015】
また、プロセッサは、画像取得処理にて取得された素材画像のうち、ある種類の素材画像のスコアを算出する場合に、編集操作にてある種類の素材画像の採用を指示したユーザの人数に応じてある種類の素材画像のスコアを算出してもよい。
上記の構成によれば、ある種類の素材画像について、当該ある種類の素材画像の採用を指示したユーザの人数に応じたスコアが算出される。これにより、複数のユーザの意向に基づいて、ある種類の素材画像を再編集画像の生成に利用するか否かを適切に決めることができる。
【0016】
また、プロセッサは、画像取得処理にて取得された素材画像のうち、編集処理において編集画像の生成に用いられなかった未利用画像のスコアを算出する場合に、編集操作にて未利用画像の採用を指示したユーザが存在する場合には、予め決められた加算値を未利用画像のスコアに加算してもよい。
上記の構成によれば、編集操作において未利用画像の採用が指示された場合に、未利用画像のスコアを加算することで、再編集画像の生成において未利用画像の利用を促すことができる。
【0017】
また、プロセッサは、画像取得処理にて取得された素材画像のうち、ある種類の素材画像のスコアを算出する場合に、編集操作においてある種類の素材画像の採用を指示するユーザが存在する場合には、ユーザが編集操作にて指示したある種類の素材画像のレイアウトに応じてある種類の素材画像のスコアを算出してもよい。
上記の構成によれば、編集操作においてある種類の素材画像の採用を指示したユーザが存在する場合、ある種類の素材画像について、当該素材画像のレイアウトに応じたスコアを算出する。これにより、複数のユーザの意向に基づいて、ある種類の素材画像を再編集画像の生成に利用するか否かを適切に決めることができる。
【0018】
また、プロセッサは、編集操作にて複数の素材画像の採用が指示された場合には、複数の素材画像に出現する被写体の中から、複数の素材画像における出現頻度に基づいて対象被写体を特定し、素材画像における対象被写体の出現の有無に応じて素材画像のそれぞれのスコアを算出してもよい。
上記の構成によれば、対象被写体の出現の有無に応じて各素材画像のスコアを算出するので、対象被写体の出現の有無を反映させて、再編集画像の生成に用いる素材画像を選定することができる。
【0019】
また、プロセッサは、操作受付処理にて複数のユーザ全員分の編集操作を受け付けた後に、解析処理を実行してもよい。
上記の構成によれば、複数のユーザ全員分の編集操作を解析し、その解析結果を再編集に反映することができるので、複数のユーザ全員の意見及び要望等を加味して再編集画像を生成することができる。
【0020】
また、上記の構成において、編集画像及び再編集画像は、少なくとも一ページ以上のフォトブックの各ページを構成する画像であってもよい。
上記の構成によれば、フォトブックの各ページを構成する編集画像(厳密には、再編集画像)を、各ユーザの意見及び要望等を加味して円滑に生成することができる。
【0021】
また、前述の目的を達成するために、本発明の画像生成方法は、プロセッサによる画像生成方法であって、プロセッサにより、複数のユーザの少なくとも一人から提供される素材画像を取得する画像取得処理を実行するステップと、プロセッサにより、取得された素材画像を用いて編集画像を生成する編集処理を実行するステップと、プロセッサにより、編集画像を複数のユーザの各々に対して出力する画像出力処理を実行するステップと、プロセッサにより、複数のユーザの各々による編集画像に対する編集操作を、ユーザ毎に受け付ける操作受付処理を実行するステップと、プロセッサにより、ユーザ毎に受け付けた編集操作の各々の内容を解析する解析処理を実行するステップと、プロセッサにより、解析処理での解析結果に基づいて編集画像を再編集して再編集画像を生成する再編集処理を実行するステップと、を含むことを特徴とする。
上記の方法によれば、複数のユーザの編集操作に基づいて編集画像(厳密には、再編集画像)を円滑に生成することができる。
【0022】
また、本発明は、上記に記載の画像生成方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。
さらに、本発明は、コンピュータが読み取り可能な記録媒体であって、上記に記載の画像生成方法の各々のステップをコンピュータに実行させるためのプログラムが記録された記録媒体を提供する。
【発明の効果】
【0023】
本発明によれば、素材画像から編集画像を生成した後に、複数のユーザの編集操作に基づく再編集を実施し、再編集画像を円滑に生成することができる。
【図面の簡単な説明】
【0024】
図1】本発明の一つの実施形態に係る画像生成装置についての説明図である。
図2】本発明の一つの実施形態に係る画像生成装置の構成を示す図である。
図3】本発明の一つの実施形態に係る画像生成装置の機能についての説明図である。
図4】編集画面の一例を示す図である。
図5】本発明の一つの実施形態に係る画像生成装置の動作フローを示す図である。
図6】画像取得処理の流れを示す図である。
図7】対象グループの素材画像群の一例を示す図である。
図8】評価処理における評価結果の一例を示す図である。
図9】編集画像の一例を示す図である。
図10】編集画像の出力から各ユーザの編集操作を受け付けるまでの流れを示す図である。
図11】編集画像に対する各ユーザの編集結果の一例を示す図である。
図12】解析処理における解析結果の一例を示す図である。
図13】再編集画像の一例を示す図である。
【発明を実施するための形態】
【0025】
本発明の画像生成装置、画像生成方法及びプログラムについて、以下、添付の図面に示す一つの具体的な実施形態(本実施形態)を参照しながら説明することとする。
【0026】
なお、以下に説明する実施形態は、本発明を分かり易く説明する目的で挙げた一例にすぎず、本発明を限定するものではない。すなわち、本発明は、下記の実施形態に限られず、本発明の主旨を逸脱しない範囲において種々の改良又は変更され得る。また、本発明には、その等価物が含まれる。
【0027】
また、本明細書において、「画像」は、特に断る場合を除き、画像データであることとする。画像データとしては、例えば、JPEG(Joint Photographic Experts Group)形式のような非可逆圧縮の画像データ、GIF(Graphics Interchange Format)又はPNG(Portable Network Graphics)形式のような可逆圧縮の画像データ等が該当する。
【0028】
[画像生成装置の概要]
本実施形態に係る画像生成装置(以下、画像生成装置10)は、編集画像を生成し、具体的にはユーザからの注文を受け付けて画像編集を実施してフォトブックを作成する。フォトブックは、フォトアルバム等が該当し、少なくとも一ページ以上を有し、各ページが編集画像によって構成されたものである。
【0029】
編集画像は、一つ以上の素材画像を、ユーザの注文に応じたレイアウトにて編集することで構成された画像である。レイアウトとは、編集画像における素材画像の配置位置、編集画像における素材画像の数(すなわち、画像使用数)及びサイズ等を含む概念である。サイズは、A5、A4及びA5スクエア等、フォトブックの各頁における素材画像の掲載サイズである。
【0030】
なお、フォトブックは、各ページ(編集画像)を印刷して冊子としてまとめたものでもよく、あるいは、各ページ(編集画像)の画像データを一つのデータとしてまとめたデジタルフォトブックでもよい。以下では、電子データ形式のフォトブックを作成するケースについて説明する。
【0031】
本実施形態では、同一グループ(以下、対象グループという)に属する複数のユーザによって共有されるフォトブックを作成することが可能である。グループは、フォトブックを共有する単位であり、二人以上のユーザからなる。つまり、対象グループ用のフォトブックは、対象グループに属する各ユーザによって利用又は閲覧される。なお、対象グループに属するユーザの人数は、特に限定されない。
【0032】
対象グループ用のフォトブックを作成するにあたり、画像生成装置10は、対象グループに属する複数のユーザの各々から提供される画像を素材画像として取得する。そして、画像生成装置10は、対象グルプに属する複数のユーザから取得した一群の素材画像を、対象グループの素材画像群として統合する。
【0033】
そして、画像生成装置10は、対象グループの素材画像群を用いて対象グループ用のフォトブックを作成する。詳しくは、画像生成装置10は、対象グループの素材画像群の中からフォトブックの作成に用いる素材画像を選定する。その後、画像生成装置10は、選定された素材画像を編集して所定ページ分の編集画像を生成し、所定ページ分の編集画像を対象グループ用のフォトブックとして出力する。
【0034】
本実施形態では、画像生成装置10が、対象グループ用のフォトアルバムを構成する編集画像を、対象グループに属する複数のユーザの各々の編集操作に基づいて再編集して再編集画像を生成する。再編集画像は、編集画像と同様、少なくとも一ページ以上のフォトブックの各ページを構成する画像である。
【0035】
編集操作は、対象グループの各ユーザが編集画像に対して行う操作であり、詳しくは、編集画像の変更又は維持のいずれかを指示する操作である。編集画像の変更には、編集画像における素材画像のレイアウトの変更、及び編集画像の生成に用いられた素材画像の種類の変更のうち、少なくとも一つが含まれる。なお、「素材画像の種類」とは、個々の素材画像を識別する概念であり、例えば、素材画像に付与されるファイル名又は識別情報等によって素材画像の種類が特定される。
【0036】
以上のように、本実施形態では、対象グループの各ユーザから提供された素材画像を用いて編集画像を生成した後に、各ユーザの編集操作をユーザ毎に受け付け、各ユーザの編集操作に基づいて編集画像を再編集することができる。これにより、フォトブックの各ページにて使用される素材画像の種類及びレイアウト等が、対象グループの各ユーザの編集操作に応じて決められる。
【0037】
最終的にフォトブックが仕上がる段階では、各ページを構成する編集画像(詳しくは、再編集画像)が、対象グループの各ユーザの意向及び要望を反映させたものになる。
【0038】
[画像生成装置の構成について]
画像生成装置10は、例えばコンピュータによって構成され、より具体的には、サーバコンピュータ(以下、単にサーバという)によって構成される。画像生成装置10を構成するコンピュータは、1台でもよく、あるいは複数台でもよい。
【0039】
画像生成装置10を構成するコンピュータは、図2に示すように、プロセッサ21、メモリ22、通信用インタフェース23、ストレージ24等を有し、これらの機器がバス25を介して電気的に接続されている。プロセッサ21は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)、TPU(Tensor Processing Unit)等によって構成される。メモリ22は、ROM(Read Only Memory)及びRAM(Random Access Memory)等の半導体メモリによって構成される。
【0040】
画像生成装置10は、通信用インタフェース23を通じて、ユーザ端末11、12と通信可能である。ユーザ端末11、12は、フォトブック作成に際してユーザにより操作される端末であり、例えば、デスクトップPC、ノートPC、タブレットPC、又はスマートフォン等の携帯端末等によって構成される。なお、図1には、2台のユーザ端末11、12のみが示されているが、画像生成装置10と通信可能なユーザ端末の台数は、特に限定されない。
【0041】
画像生成装置10とユーザ端末11、12との間の通信ネットワーク14は、特に限定されるものではない。例えば、Wi-fi(登録商標)に基づく無線LAN(Local Area Network)、3G~5G等の移動通信システム用のネットワーク、又はLTE(Long Term Evolution)に基づく通信ネットワーク等が利用可能である。また、画像生成装置10とユーザ端末11、12とは、有線にて接続されてもよい。
【0042】
また、画像生成装置10には、ソフトウェアとして、オペレーティングシステム(OS)用のプログラム、及び、フォトブック注文用のアプリケーションプログラム(以下、注文ソフト)がインストールされている。これらのプログラムは、本発明の「プログラム」に相当し、プロセッサ21によって実行されることで、コンピュータが本発明の画像生成装置として機能する。
【0043】
注文ソフトは、同一グループに属する複数のユーザによって利用されるという性質上、例えば、Webアプリケーションとして提供されるものである。つまり、対象グループの各ユーザは、それぞれ、ユーザ端末11、12を操作して画像生成装置10にアクセスして注文ソフトを起動する。これにより、各ユーザは、画像生成装置10に対して、編集画像の生成に必要な素材画像を提供し、また、フォトブックの注文、すなわち編集画像の生成を要求することができる。
【0044】
画像生成装置10は、ユーザから提供(入力)された素材画像をストレージ24に蓄積する。ストレージ24は、画像生成装置10に内蔵又は外付けされた記憶装置、具体的には、半導体メモリ等のメモリ装置、ハードディスクドライブ(Hard Disk Drive:HD)、若しくはソリッドステートドライブ(Solid State Drive:SSD)等でもよい。あるいは、画像生成装置10と通信可能に接続されたデータベースサーバ等の外部コンピュータをストレージ24として利用してもよい。
【0045】
ユーザから提供(入力)される素材画像には、ユーザ端末に搭載されたカメラ等によって撮影された画像、及び、他の撮影機器によって撮影された後にユーザ端末に取り込まれた画像等が含まれる。また、古いアナログ写真をスキャナ等に読み取ってデジタル化した画像も素材画像に含まれ得る。
【0046】
ストレージ24には、素材画像を編集して生成される編集画像、及び、編集画像を再編集して生成される再編集画像がフォトブック単位で保存される。ストレージ24内のフォトブック(詳しくは、フォトブックの各ページを構成する編集画像及び再編集画像)は、閲覧権限を有するユーザにより、ユーザ端末11、12を通じて閲覧することが可能である。
【0047】
[画像生成装置の機能について]
画像生成装置10の構成について機能面から改めて説明する。画像生成装置10は、図3に示すように、画像取得部31、画像記憶部32、注文受付部33、評価部34、編集部35、画像出力部36、操作受付部37、解析部38、再編集部39、及び再出力部40を有する。これらの機能部のうち、画像記憶部32は、画像生成装置10のメモリ22又はストレージ24によって構成される。残りの機能部は、画像生成装置10が有するハードウェア機器と前述のプログラムとの協働によって実現される。
【0048】
以下、各機能部について説明する。なお、以下では、画像生成装置10が対象グループ用のフォトブックを作成するケースを想定することとする。
【0049】
(画像取得部)
画像取得部31は、対象グループに属するユーザから提供される素材画像を取得する画像取得処理を実行する。詳しく説明すると、画像取得処理において、画像取得部31は、各ユーザのユーザ端末11、12から入力(アップロード)される素材画像をネットワーク経由で受信する。
【0050】
本実施形態では、対象グループに属するユーザ全員から素材画像が提供され、画像取得部31は、全ユーザからの素材画像を取得する。ただし、これに限定されるものではなく、対象グループ中の少なくとも一人のユーザから素材画像が提供(入力)されてもよい。
【0051】
(画像記憶部)
画像記憶部32は、画像取得部31によって取得された素材画像を、その画像の提供元であるユーザと関連付けて記憶する。具体的に説明すると、ユーザには、フォトブック注文サービスの利用アカウントが付与されており、画像記憶部32において、各素材画像は、その画像提供元であるユーザの利用アカウントと紐付けられた状態で記憶される。
【0052】
また、画像記憶部32に記憶される素材画像のうち、対象グループに属する複数のユーザの各々から提供される素材画像の群は、対象グループの素材画像群として統合され、一つの画像群にまとめられる。
【0053】
(注文受付部)
注文受付部33は、対象グループに属する複数のユーザの各々から注文操作を受け付ける注文受付処理を実行する。詳しく説明すると、注文受付処理において、各ユーザのユーザ端末11、12が、各ユーザが行った注文操作の内容を示すデータを入力(アップロード)する。注文受付部33は、注文受付処理において、入力された上記のデータを取得(受信)し、取得したデータをメモリ22又はストレージ24に保存する。
【0054】
注文操作は、画像編集の注文操作であり、注文ソフトの起動によってユーザ端末11、12に描画される不図示の注文画面を通じて行われる。注文操作には、フォトブック作成に必要な各種項目に関する設定操作、具体的にはフォトブックのページ数、及び、各ページ(すなわち、編集画像)における素材画像のレイアウトに関する設定操作等が含まれる。
【0055】
(評価部)
評価部34は、画像取得部31により取得された素材画像の各々、具体的には対象グループの素材画像群の各々を評価する評価処理を実行する。詳しく説明すると、評価処理において、評価部34は、対象グループの素材画像群のそれぞれに対して評価値(以下、スコアという)を算出する。素材画像毎に算出されたスコアは、評価処理での評価結果に相当する。
【0056】
評価処理における素材画像の評価方法、すなわち、評価値の算出方法については、特に限定されない。ただし、評価基準(スコアの付け方)については、素材画像の提供元であるユーザを考慮しないものとし、ユーザ間で共通した評価基準であることが好ましい。
【0057】
(編集部)
編集部35は、画像記憶部32に記憶された対象グループの素材画像群の中から、使用する素材画像を選定し、選定された素材画像を用いて編集画像を生成する編集処理を実行する。
【0058】
編集処理では、編集部35が、対象グループの素材画像群のうち、評価処理にて算出された素材画像毎のスコアに基づいて、編集画像の生成に用いる素材画像を選定する。例えば、スコアに基づいて各素材画像を順位付けし、上位N番目(Nは1以上の自然数)までの素材画像を用いて編集画像を生成してもよい。
【0059】
その後、編集部35は、選定された素材画像のレイアウトを決めて編集画像を生成する。このとき、編集部35は、注文受付部33によって受け付けられた注文操作の内容、具体的には、編集画像における素材画像のレイアウトに関する設定操作に基づいて、素材画像のレイアウトを決めて編集画像を生成する。これにより、注文されたフォトブックのページ数と同数の編集画像が生成される。
【0060】
なお、素材画像の選定基準、及び、素材画像のレイアウトの決め方については、特に限定されない。
【0061】
以上のように、編集部35は、編集画像の生成に用いられる素材画像を自動的に選定し、選定された素材画像のレイアウトを、ユーザからの注文に応じて自動的に決定する。つまり、本実施形態では、画像生成装置10の機能によって、フォトブックのページ分の編集画像が自動的に生成される。
【0062】
(画像出力部)
画像出力部36は、編集部35によって生成された編集画像を対象グループの各ユーザに対して出力する画像出力処理を実行する。詳しく説明すると、画像出力処理において、画像出力部36は、各ユーザのユーザ端末11、12に向けて、編集画像の表示データ(以下、編集画像データ)を送信する。
【0063】
編集画像データを受信したユーザ端末11、12では、図4に示す編集画面ESが表示される。編集画面ESは、例えば、ユーザ端末11、12にて注文ソフトを起動させた状態において編集画像データを受信することで表示される。編集画面ES中の画像表示領域には、編集部35によって生成された編集画像70、すなわちフォトブックの各ページが表示される。
【0064】
編集画面ESに表示される編集画像50は、画面操作によって切り替え可能である。例えば、編集画面ES中、画像表示領域の左隣には、図4に示すように、フォトブック中の各ページ(編集画像)を示すサムネイル画像の一覧52が表示される。ユーザが一覧52中の一つのサムネイル画像を選択すると、選択されたサムネイル画像と対応する種類の編集画像50(すなわち、サムネイル画像の元画像)が画像表示領域に表示される。その後、ユーザが一覧52の中から別のサムネイル画像を選択すると、画像表示領域に表示される編集画像70が、別のサムネイル画像と対応する種類の編集画像50に切り替わる。
【0065】
(操作受付部)
操作受付部37は、対象グループに属するユーザの各々の編集操作を、ユーザ毎に受け付ける操作受付処理を実行する。詳しく説明すると、各ユーザのユーザ端末11、12が、各ユーザによる編集操作の内容を示すデータを入力(アップロード)する。操作受付部37は、操作受付処理において、入力された上記のデータを取得(受信)し、取得したデータをメモリ22又はストレージ24に保存する。
【0066】
編集操作は、前述のように、編集画像の変更又は維持のいずれかを指示する操作である。対象グループの各ユーザは、編集画像に対する自分の意思又は嗜好に応じて個々に編集操作を行う。具体的に説明すると、編集画像は、上述したように画像生成装置10が自動的に作成した画像である。そのため、編集画面ESを通じて編集画像50を見たユーザは、例えば、希望する素材画像が編集画像50に用いられていない又は少ない等、編集画像70が自分の意図に沿わない場合には、編集画面ESを通じて編集画像の変更を指示する。他方、編集画像70が自分の意図に適う画像であると判断したユーザは、編集画面ESを通じて編集画像の維持を指示する。
【0067】
対象グループに属する各ユーザは、フォトブックのページ数分の編集操作を行い、操作受付部37は、ユーザ毎に、フォトブックのページ数と同じ回数の編集操作を受け付ける。
【0068】
また、本実施形態において、操作受付部37は、対象グループに属するユーザ全員分(つまり、複数のユーザ全員分)の編集操作を受け付ける。ただし、これに限定されず、対象グループに属する2人以上のユーザの編集操作を受け付ければよい。つまり、編集操作を行わないユーザが対象グループ中に含まれる場合があってもよく、そのユーザについては、当然ながら編集操作を受け付けなくてもよい。
【0069】
(解析部)
解析部38は、操作受付部37によりユーザ毎に受け付けた編集操作の各々の内容を解析する解析処理を実行する。詳しく説明すると、解析処理において、解析部38は、対象グループの素材画像群のそれぞれについて、ユーザ毎に受け付けた編集操作の各々の内容に応じたスコアを算出する。解析処理において素材画像毎に算出されるスコアは、解析処理での解析結果に相当する。
【0070】
より厳密に説明すると、解析処理では、評価処理にて算出した素材画像のスコアを、ユーザ毎に受け付けた編集操作の各々の内容に応じて更新(再計算)する。このとき、解析部38は、対象グループの素材画像群の各々について、編集操作における編集画像の変更内容に応じたスコアを算出する。
【0071】
解析処理における編集操作の解析手順、及びスコアの算出方法については、特に限定されるものではない。ただし、スコアの採点基準については、編集操作の実施者であるユーザを考慮しないものとし、ユーザ間で共通した基準であることが好ましい。ここで、採点基準とは、例えば、スコアの算出要領(算出ルール)、及び各要領におけるスコアの加算値又は減算値等が該当する。
【0072】
(再編集部)
再編集部39は、解析部38による解析処理の結果に基づいて編集画像を再編集して再編集画像を生成する再編集処理を実行する。再編集処理では、再編集部39が、対象グループの素材画像群のうち、解析処理にて算出された素材画像毎のスコアに基づいて素材画像を選定し直す。
【0073】
その後、再編集部39は、選定された素材画像のレイアウトを決めて編集画像を生成する。このとき、再編集部39は、編集部35が編集処理にて設定したレイアウトを踏襲する。つまり、再編集部39は、編集部35と同様、注文操作、特に編集画像における素材画像のレイアウトに関する設定操作に基づいて素材画像のレイアウトを決める。これにより、再編集画像が生成される。
【0074】
なお、再編集処理において素材画像を選定し直す基準、及び、素材画像のレイアウトを決める方法については、特に限定されない。
【0075】
また、本実施形態の再編集処理では、注文されたフォトブックのページのうち、編集画像の変更を指示する編集操作が行われたページについて編集画像の再編集、すなわち再編集画像を生成する。ただし、これに限定されるものではなく、フォトブックの全ページについて編集画像の再編集(つまり、再編集画像の生成)が実施されてもよい。
【0076】
(再出力部)
再出力部40は、再編集部39によって生成された再編集画像を対象グループの各ユーザに対して出力する再出力処理を実行する。詳しく説明すると、再出力処理において、再出力部40は、各ユーザのユーザ端末11、12に向けて、再編集画像の表示データ(以下、再編集画像データ)を送信する。
【0077】
再編集画像データを受信したユーザ端末11、12では、前述の編集画面ESが表示され、編集画面ES中の画像表示領域に再編集画像が表示される。
【0078】
[本実施形態に係る画像生成フロー]
次に、本発明の画像生成方法の一例として、上記の画像生成装置10を構成するコンピュータの動作フロー(以下、画像生成フロー)について説明することとする。
【0079】
なお、以下に説明する画像生成フローは、あくまでも一例であり、本発明の趣旨を逸脱しない範囲において不要なステップを削除したり、新たなステップを追加したりしてもよい。
【0080】
画像生成フローは、図5に示す流れにて進行する。図5に示す画像生成フロー中の各ステップは、プログラムに従ってコンピュータにより実行され、詳しくはコンピュータの一例であるサーバのプロセッサ21により実行される。なお、プログラムは、当該プログラムが記録された記録媒体からコンピュータによって読み取られてもよいし、あるいは、インターネット又はイントラネット等のネットワークを介して取得(ダウンロード)されてもよい。
【0081】
以下では、二人のユーザA、Bからなるグループを対象グループとし、対象グループ用のフォトブックを作成するケースを例に挙げて説明することとする。
【0082】
画像生成フローでは、先ず、画像取得処理が実行される(S001)。画像取得処理では、ユーザA、Bの各々から提供される素材画像を取得する。
画像取得処理について図6を参照しながら具体的に説明すると、画像取得処理では、ユーザAが、ユーザ端末11を操作してWebアプリである注文ソフトを起動する(S021)。これにより、ユーザ端末11に注文画面が表示され、ユーザAは、注文画面を通じて、素材画像を選択する。
【0083】
選択された素材画像は、画像生成装置10であるサーバに対して入力(アップロード)される(S022)。サーバは、入力された素材画像を取得(受信)し、入力される素材画像の取得が完了した時点で、取得完了通知をユーザ端末11に向けて送信する(S023、S024)。取得完了通知がユーザ端末11によって受信されると(S025)、例えば、所定の通知メッセージがユーザ端末11にて出力される。これにより、ユーザAは、自分が提供した素材画像の入力及び取得が完了したことを把握する。
【0084】
上記と同様の手順にて、ユーザBが素材画像を提供し、サーバは、ユーザBから提供(入力)される素材画像を取得する(S026~S030)。
【0085】
なお、素材画像を入力(アップロード)する方法は、ユーザ端末11、12にて注文ソフトを起動し、画像生成装置10であるサーバにアクセスして入力する方法に限られない。例えば、ユーザ端末11、12のオペレーションシステム(OS)にデスクトップアプリがインストールされており、当該デスクトップアプリの画像アップロード機能を利用して素材画像を入力(アップロード)してもよい。
【0086】
次に、画像記憶処理が実行される(S002)。画像記憶処理では、画像取得処理にてユーザA、Bの各々から取得した素材画像を、それぞれの提供元であるユーザと関連付けて記憶する。具体的に説明すると、ユーザA、Bにはフォトブック注文サービスの利用アカウントが付与されており、画像取得処理にて取得された各素材画像は、それぞれの提供元であるユーザの利用アカウントと紐付けられた状態で記憶される。
【0087】
また、画像記憶処理において、ユーザA、Bから取得された素材画像の群は、対象グループの素材画像群として統合される。具体的には、ユーザAの利用アカウントと紐付けされた素材画像と、ユーザBの利用アカウントと紐付けられた素材画像とをまとめて、対象グループの素材画像群として統合する。
【0088】
なお、素材画像を統合する方法については、上記の方法に限定されない。例えば、ユーザAがユーザ端末11を通じて注文ソフトを起動し、注文ソフトの機能によりワンタイムURLを発行する。ユーザBは、ワンタイムURLからサーバにアクセスして素材画像を提供(アップロード)する。かかる手順によって提供される素材画像を、対象グループの素材画像群に統合してもよい。
【0089】
以下では、ユーザA及びユーザBから提供された素材画像(すなわち、対象グループの素材画像群)が、図7に示す7枚の素材画像であるケースを想定して説明することとする。
【0090】
次に、注文受付処理が実行される(S003)。注文受付処理では、ユーザA、Bの各々から注文操作を受け付ける。詳しくは、サーバが、ユーザA、Bの各々のユーザ端末11、12と通信することにより、各ユーザが行った注文操作の内容を示すデータを取得(受信)する。注文操作の内容には、フォトブックのページ数、及び、各ページ(すなわち、編集画像)における素材画像のレイアウト等が含まれる。
【0091】
なお、注文受付処理は、画像取得処理と同じタイミングで実行されてもよく、あるいは、画像取得処理の前に実行されていてもよい。
【0092】
また、対象グループ用のフォトブックについての注文操作は、対象グループの代表者に該当するユーザのみによって行われてもよい。あるいは、対象グループの各ユーザが個々に注文操作を行ってもよい。この場合、各ユーザの注文操作の内容を集計し、各種の設定項目を、より多くのユーザによって指定された内容に設定してもよい。また、設定項目が値によって指定される場合には、対象グループの各ユーザによって指定された値の平均値又は中間値(例えば、指定された値のうち、最大値と最小値との中間値)となるように設定してもよい。
【0093】
次に、評価処理が実行される(S004)。評価処理では、対象グループの素材画像群の各々を評価し、詳しくは、対象グループの素材画像群のそれぞれに対してスコアを算出する。
【0094】
スコアの算出方法の一例について説明すると、複数の観点で評価基準を設定し、素材画像に対して各評価基準に従って点数を決め、評価基準毎の点数を合計し、その合計値を素材画像のスコアとする。
【0095】
評価基準の具体例を挙げると、素材画像に出現する被写体を検出し、検出された被写体に基づいてスコアリング(点数付け)を実施してもよい。例えば、素材画像に出現する人物を検出し、検出された人物の数、顔(例えば、事前に登録された特定人物の顔と一致するか)、表情、及び動作の内容等に応じた点数を付けてもよい。
【0096】
評価基準の別例として、素材画像に出現する人物以外のオブジェクトを検出し、検出されたオブジェクトに基づいてスコアリングを実施してもよい。例えば、夜景、海、砂浜及び空等の風景(シーン)、運動会及び結婚式等のようなイベントを特徴付けるオブジェクト、料理品及び動物等のような趣味又は嗜好を示すオブジェクトを検出し、その検出結果に応じた点数を付けてもよい。
【0097】
評価基準の第三の例として、素材画像の画質に関する特徴量を特定し、特定された特徴量に基づいてスコアリングを実施してもよい。画質に関する特徴量としては、画像の明るさ(階調値)、色合い(彩度)、コントラスト及びボケ具合等が挙げられる。
【0098】
評価基準の第四例として、Exif(Exchangeable Image File Format)等のような素材画像の付加情報から素材画像の属性を特定し、特定された属性に基づいて点数を付けてもよい。属性としては、撮影場所及び撮影日時等が挙げられる。
【0099】
なお、上述した各種の評価基準、具体的には、それぞれの評価観点における点数の付け方については、素材画像の提供者であるユーザを考慮せず、ユーザ間で共通した基準であることが好ましい。つまり、評価処理において、ユーザに応じたスコアの加算又は減算を行わず、統一された評価基準を適用して素材画像を評価する(スコアリングする)と、素材画像を適切に評価できるため、好適である。
【0100】
以下では、図7に示す対象グループの素材画像群の各々について、図8に示す評価結果が得られた場合を想定することとする。
【0101】
次に、編集処理が実行される(S005)。編集処理では、先ず、対象グループの素材画像群の中から、評価処理にて算出された素材画像毎のスコアに基づいて、編集画像の生成に用いる素材画像を選定する。このとき、例えば、ある編集画像を生成するケースでは、ある編集画像について設定されたレイアウトに応じた数(必要数)だけ素材画像を選定するとよい。より具体的には、例えば、スコアが大きい方から順に必要数の素材画像を選定してもよい。
【0102】
素材画像の選定後には、選定された各素材画像のレイアウトを決めて編集画像を生成する。このとき、注文受付処理にて受け付けられた注文操作(つまり、少なくとも一人のユーザが行った注文操作)の内容、具体的には、編集画像における素材画像のレイアウトに関する設定操作に基づいて、必要数分の素材画像のレイアウトを決めて編集画像を生成する。各素材画像のレイアウトを決める際には、例えば、スコアがより大きい素材画像を優先的に(例えば、より大きいサイズに設定する等)取り扱うようにレイアウトを決めてもよい。
【0103】
編集処理では、上記の手順を繰り返すことで、注文されたフォトブックのページ数と同数の編集画像を生成する。
【0104】
画像生成フローでは、以上までの一連のステップS001~S005により、フォトブックのページ分の編集画像が自動的に生成される。つまり、ユーザA、Bの各々から素材画像が提供され、対象グループ用のフォトブックについての注文を受け付けると、サーバの機能によって、編集画像の生成に用いられる素材画像が自動的に選定され、選定された素材画像のレイアウトが自動的に決定される。
【0105】
以下では、図7に示す対象グループの素材画像群から4枚の素材画像を選定し、図9に示す編集画像が生成された場合を想定することとする。図9に示す編集画像は、対象グループの素材画像群のうち、評価処理で算出されたスコアが上位1~4番目の素材画像(#1、#2、#3、及び#5の素材画像)を用いて生成された編集画像である。
【0106】
次に、画像出力処理が実行される(S006)。画像出力処理に先んじて、例えば、サーバから編集完了通知メールをユーザ端末11、12に向けて送信してもよい。この場合、ユーザA、Bの各々が注文ソフトを通じて編集完了を確認し、その後に編集画像確認用の操作を行うと、これをトリガーとして画像出力処理が実行される。
【0107】
画像出力処理では、サーバがユーザ端末11、12に向けて編集画像データを送信する。編集画像データを受信したユーザ端末11、12では、図4に示す編集画面ESが表示され、編集画面ES中の画像表示領域に編集画像50、すなわちフォトブックの各ページが表示される。
【0108】
画像出力処理の実行後には、操作受付処理が実行される(S007)。操作受付処理では、ユーザA、Bの各々の編集操作をユーザ毎に受け付ける。編集画像の出力(表示)から各ユーザの編集操作を受け付けるまでの流れを、図10を参照しながら説明すると、ユーザAは、編集画像50が表示された編集画面ESを通じて編集操作を行う(S041)。
【0109】
編集操作において、ユーザAは、編集画像50の変更又は維持のいずれかを指示する。編集画像50を変更する場合は、編集画面ESの編集メニュー54をクリックし、例えば編集画像50のレイアウト、及び、編集画像50の生成に用いられた素材画像の種類のうちの一つ又は両方を変更する。
【0110】
編集画像50のレイアウトを変更する場合、ユーザAは、表示された編集画像50中から変更対象の素材画像を指定し、その素材画像に対して、変更後のレイアウト(サイズ又は配置位置等)を指定する操作を行う。
【0111】
編集画像50の生成に用いられた素材画像の種類を変更する場合、ユーザAは、編集画像50中の素材画像を別の素材画像に置き換えたり、又は編集画像50に新たな素材画像を追加したりする。
【0112】
より具体的に説明すると、編集画面ESの画像表示領域の下側には、図4に示すように、対象グループの素材画像群の各々のサムネイル画像の一覧56が表示される。一覧56には、利用済み画像のサムネイル画像と、未利用画像のサムネイル画像とが含まれている。利用済み画像とは、対象グループの素材画像群のうち、編集処理において編集画像50の生成に用いられた素材画像である。未利用画像とは、対象グループの素材画像群のうち、編集処理において編集画像50の生成に用いられなかった素材画像、すなわち利用済み画像以外の素材画像である。
【0113】
なお、一覧56において、利用済み画像のサムネイル画像は、未利用画像のサムネイル画像とは異なる表示態様にて表示されてもよく、例えば、図4に示すように太枠線にて囲まれて表示されてもよい。この場合には、対象グループの素材画像群のうち、利用済み画像と未利用画像とを容易に識別することができる。
【0114】
また、図4に示すように、一覧56において、サムネイル画像には、元画像である素材画像を提供したユーザの名前等(図4では「A」及び「B」の文字情報)が付記されてもよい。この場合には、対象グループの素材画像群のそれぞれについて、提供元のユーザを容易に把握することができる。
【0115】
ユーザは、一覧56中から一つ又は複数のサムネイル画像を選択する。これにより、選択されたサムネイル画像と対応する種類の素材画像、つまり、サムネイル画像の元画像である素材画像の採用が指示される。この結果、編集画面ESに表示される編集画像50は、採用が指示された素材画像(以下、採用画像という)が追加された画像に遷移する。
【0116】
また、ユーザAは、編集画面ESを通じて、採用画像のレイアウトを設定する。具体的には、編集画面ESにおいて編集画像50に追加された採用画像を選択し、その採用画像に対して、レイアウト(サイズ又は配置位置等)を設定する操作を行う。
【0117】
ユーザAは、以上の手順にて編集操作を行った後、ユーザ端末11を操作して編集結果を保存する(S042)。これに伴い、ユーザ端末11は、ユーザAが行った編集操作の内容を示すデータ(以下、編集データ)を、サーバに対して入力(アップロード)する(S042)。サーバは、入力された編集データを取得(受信)することで、ユーザAの編集操作を受け付ける(S043)。取得された編集データは、メモリ22又はストレージ24に保存される。
【0118】
その後、サーバは、編集操作の受付完了通知をユーザ端末11に向けて送信する(S044)。受付完了通知がユーザ端末11によって受信されると(S045)、例えば、所定の通知メッセージがユーザ端末11にて出力される。これにより、ユーザAは、編集操作の受付が完了したことを把握する。
【0119】
上記と同様の手順にて、ユーザBが編集操作を行い、サーバが、ユーザ端末12との通信を通じて、ユーザBの編集操作を受け付ける(S046~S050)。
【0120】
本実施形態では、対象グループに属するユーザ全員分の編集操作、すなわち、ユーザA、Bの各々の編集操作を受け付けることになっている。これにより、編集画像について、対象グループに属するユーザ全員の意向及び要望を確認することができる。
【0121】
また、本実施形態では、各ユーザの編集操作を任意の時間帯に受け付けることができる。つまり、編集操作の開始及び終了の各々のタイミングは、ユーザ間で同期していなくてもよい。このため、ユーザA、Bは、それぞれ独立して編集操作を行うことができるので、例えば、ユーザ間でレイアウトの調整を行ったり、編集操作の実施状況を管理したりする負担を省くことができる。
【0122】
そして、対象グループに属するユーザ全員分の編集操作の受付が完了した時点で、解析処理が実行される(S008、S009)。すなわち、対象グループに属するユーザ全員分の編集データがサーバに集約されると、これをトリガーとして解析処理が開始される。
【0123】
解析処理では、ユーザ毎に受け付けた編集操作の各々の内容に基づき、対象グループの素材画像群の各々についてスコアを算出し、厳密には、評価処理にて算出したスコアを、編集操作の内容に応じて更新(再計算)する。
【0124】
本実施形態では、解析処理において、対象グループの素材画像群の各々について、編集操作における編集画像の変更内容に応じたスコアを算出する。このとき、ユーザ毎に受け付けた編集操作に対して、ユーザ間で共通した採点基準を適用して、素材画像の各々のスコアを算出するとよい。つまり、素材画像がどのユーザから提供されたかに関わらず、統一された採点基準を適用して素材画像のスコアを算出するのがよい。この場合には、素材画像に対して適切にスコアリングすることができる。
【0125】
採点基準については、特に限定されるものではないが、一例として、下記の採点基準1~4が挙げられる。
【0126】
<採点基準1>
対象グループの素材画像群のうち、ある種類の素材画像のスコアを算出する場合に、編集操作にて当該ある種類の素材画像の採用を指示したユーザが存在することとする。かかる場合において、ある種類の素材画像の採用を指示したユーザの人数に応じて、当該ある種類の素材画像のスコアを算出することが、採点基準1に該当する。その具体例としては、編集操作にて同一種類の素材画像の採用を指示するユーザが2人いる場合には、その素材画像のスコアを+50点加算し、上記のユーザが3人いる場合には、その素材画像のスコアを+100点加算することが挙げられる。
編集操作にて採用を指示したユーザが多い素材画像は、画像編集の利用価値が高い画像であるため、そのような素材画像のスコアを採点基準1にて算出することで、各素材画像の利用価値をスコアに反映することができる。
【0127】
<採点基準2>
対象グループの素材画像群のうち、編集処理の時点では未利用画像であった素材画像のスコアを算出する場合に、編集操作にて未利用画像の採用を指示したユーザが存在することとする。かかる場合において、予め決められた加算値を未利用画像のスコアに加算することが、採点基準2に該当する。その具体例としては、編集操作にて未利用画像の採用を指示したユーザが存在する場合には、当該未利用画像のスコアを+50点加算することが挙げられる。
当初未利用であった素材画像を編集操作にて採用画像に指示するということは、利用済み画像の見直しを望むユーザの意思であり、採用画像に指示された未利用画像のスコアを採点基準2にて算出することで、上記の意思をスコアに反映することができる。
【0128】
<採点基準3>
対象グループの素材画像群のうち、ある種類の素材画像のスコアを算出する場合に、編集操作においてある種類の素材画像の採用を指示するユーザが存在することとする。かかる場合において、上記のユーザが編集操作にて指示したある種類の素材画像のレイアウトに応じて、当該ある種類の素材画像のスコアを算出することが、採点基準3に該当する。その具体例としては、ある種類の素材画像を所定サイズ以上のサイズにてレイアウトする編集操作が行われた場合には、その素材画像のスコアを+20点加算することが挙げられる。
特定のレイアウト(例えば、最も大きい表示サイズ等)に設定された素材画像は、優先的に利用すべき画像であるため、そのような素材画像のスコアを採点基準3にてより高く算出することで、各素材画像の優先度又は重要度等をスコアに反映することができる。
【0129】
<採点基準4>
各ユーザが編集操作にて複数の素材画像の採用を指示した場合に、採用が指示された複数の素材画像に出現する被写体の中から、当該複数の素材画像における出現頻度に基づいて対象被写体を特定することとする。かかる場合において、素材画像における対象被写体の出現の有無に応じて、対象グループの素材画像群のそれぞれのスコアを算出することが、採点基準4に該当する。
【0130】
採点基準4の具体例としては、各ユーザが編集操作において採用を指示した複数の素材画像から中心人物(対象被写体)を判定し、中心人物が写った素材画像のスコアを加算することが挙げられる。より分かり易く説明すると、例えば、ユーザAの編集操作では、人物Xが写った素材画像が多く採用されており、ユーザBの編集操作では、人物Yが写った素材画像が多く採用されていることとする。かかる場合において、人物Xが写った素材画像には+50点加算し、人物Yが写った素材画像には+50点加算し、人物X及びYの双方が写った素材画像には+100点加算してもよい。
編集画像において採用が指示された素材画像に多く出現する対象被写体は、ユーザにとって重要な(優先度が高い)被写体である。それ故に、対象被写体が写った素材画像は、画像編集の利用価値が高く、そのような素材画像のスコアを採点基準4にて算出することで、各素材画像の利用価値をスコアに反映することができる。
【0131】
採点基準4の別例としては、各ユーザが編集操作において採用を指示した複数の素材画像から頻出被写体(対象被写体)を判定し、頻出被写体が写った素材画像のスコアを加算することが挙げられる。ここで、頻出被写体は、ユーザの嗜好又は趣味を反映しており、例えば、風景、料理品及び動物等が挙げられる。頻出被写体の有無に応じてスコアを算出するケースについて分かり易く説明すると、例えば、ユーザAの編集操作では、風景が写った素材画像が多く採用されており、ユーザBの編集操作では、動物が写った素材画像が多く採用されていることとする。かかる場合において、風景が写った素材画像には+50点加算し、動物が写った素材画像には+50点加算してもよい。
【0132】
なお、上述した4つの採点基準の各々における加算値は、任意に調整できるのが好ましく、特に、採点基準2では、ユーザの明確な意思に基づく変更に対してスコアリングを行うため、加算値をより大きな値に設定するのがよい。また、対象グループに属するユーザA、Bの入力操作に応じて各採点基準の加算値を変更できると、より好適である。
【0133】
図11に示すケースを例に挙げて、解析処理でのスコアリングについて分かり易く説明する。このケースでは、ユーザAの編集操作において、対象グループの素材画像群のうち、#1、#2、#4及び#6の素材画像について採用が指示され、ユーザBの編集操作において、#2、#4、#5及び#7の素材画像について採用が指示されている。また、ユーザAの編集操作では、#2の素材画像がより大きいサイズにてレイアウトされている。
【0134】
図11に示すケースにて実行される解析処理では、ユーザA、Bの双方が#2及び#4の素材画像の採用を指示しているので、#2及び#4の素材画像に対しては採点基準1が適用されてスコアが加算される。また、#4、#6及び#7の素材画像は、編集処理の時点では未利用画像であったが、編集操作にて採用が指示されたため、#4、#6及び#7の素材画像に対しては採点基準2が適用されてスコアが加算される。また、ユーザAの編集操作において#2の素材画像のサイズがより大きく設定されているため、#2の素材画像に対しては採点基準3が適用されてスコアが加算される。
【0135】
以上の要領でスコアリングが行われる結果、対象グループの素材画像群の各々の、解析処理の完了時点でのスコアは、図12に示す通りになる。
【0136】
画像生成フローの説明に戻ると、解析処理の実行後には、再編集処理が実行される(S011)。再編集処理では、先ず、解析処理にて素材画像毎に算出されたスコアに基づき、対象グループの素材画像群の中から、編集画像(厳密には再編集画像)の生成に用いる素材画像を選定し直す。このとき、例えば、再編集前の編集画像の生成に必要な数と同数の素材画像を選定し、具体的には、スコアが大きい方から順に必要数の素材画像を選定してもよい。
【0137】
その後、選定された素材画像のレイアウトを決めて再編集画像を生成する。このとき、編集処理において設定されたレイアウトを踏襲してもよい。つまり、再編集処理では、編集処理と同様、ユーザが行った注文操作、詳しくは、編集画像における素材画像のレイアウトに関する設定操作に基づき、素材画像のレイアウトを決めて再編集画像を生成してもよい。例えば、スコアがより大きい素材画像を優先的に取り扱うように(例えば、より大きいサイズに設定する等)、各素材画像のレイアウトを決めてもよい。
【0138】
以上の手順によって生成される再編集画像60は、図13に示すように、編集画像50に対するユーザA、Bの編集操作を反映している。つまり、当初の編集画像50は、対象グループの素材画像群のうち、評価処理にて評価されたスコアに基づいて選定された#1、#2、#3及び#5の素材画像を用いて、サーバ側で自動的に生成されたものである(図8及び9参照)。
これに対して、再編集画像60は、解析処理にて算出されたスコアに基づいて選び直された#1、#2、#3、#4の素材画像を用いて生成されたものである(図12及び13参照)。スコアは、ユーザA及びBの各々の編集操作の内容を反映している。
【0139】
以上のように、再編集画像60は、サーバ側で自動的に生成された編集画像50に対するユーザA、Bの各々の編集操作を解析した際の解析結果に基づいて生成される。これにより、画像編集に関する各ユーザの意見及び要望等を踏まえて、再編集画像60を円滑に生成することができる。したがって、最終的に仕上げられるフォトブックの各ページは、ユーザA、Bの各々の意向を反映させたレイアウトの画像となる。
【0140】
ちなみに、再編集画像を生成する際に、編集操作の内容がユーザ間で異なる場合、例えば、編集画像に利用される素材画像の数(画像利用数)がユーザ間で相違する場合には、画像利用数の平均値を求めるとよい。そして、求めた平均値に相当する数の素材画像を、スコアが大きい方から順に選定し、選定された素材画像を用いて再編集画像を生成するとよい。
【0141】
また、再編集画像の生成に用いる素材画像をスコアが大きい方から順にN個選定する際に、N番目に該当する素材画像として、同スコアの素材画像が複数存在する場合がある。この場合には、同スコアである複数の素材画像のうち、時系列から判断して1番目~N-1番目に選定された素材画像から離れている画像、具体的には、これらの素材画像とは撮影日時が大きく異なる画像を選定してもよい。あるいは、同スコアである複数の素材画像を各々のファイル名に基づいて並べた際に、最先の順番にある素材画像を選定してもよい。
【0142】
画像生成フローにおいて、再編集処理の実行後には、再出力処理が実行される(S011)。再出力処理に先んじて、例えば、サーバから再編集完了通知メールをユーザ端末11、12に向けて送信してもよい。この場合、ユーザA、Bの各々が注文ソフトを通じて再編集完了を確認し、その後に編集画像確認用の操作を行うと、これをトリガーとして再出力処理が実行される。
【0143】
再出力処理では、サーバがユーザ端末11、12に向けて再編集画像データを送信する。再編集画像データを受信したユーザ端末11、12では、編集画面ESが描画され、編集画面ESの画像表示領域に再編集画像60が表示される。
【0144】
ユーザA、Bの各々は、編集画面ESにて再編集画像60を確認する。その際、各ユーザは、上記と同様の手順により、再編集画像60に対して更なる編集操作(以下、2回目以降の編集操作)を行うことができる(S012)。その場合、上述したステップS007以降のステップが繰り返されることになる。すなわち、2回目以降の編集操作をユーザ毎に受け付け、ユーザ毎に受け付けた編集操作を解析し、その解析結果に基づいて編集画像の再々編集(再編集画像の再生成)を実施する。
【0145】
以上のように、編集操作の受付及び解析、並びに、解析結果に基づく編集画像の再編集を繰り返すことで、ユーザA、Bが共に満足するフォトブックを完成することができる。
【0146】
最終的にユーザA、Bがユーザ端末11、12を操作してフォトブックの各ページの画像(すなわち、再編集画像)を承認すると、フォトブックの各ページにおけるレイアウトが確定し、その時点で画像生成フローが終了する。
【0147】
[その他の実施形態]
以上までに、本発明の画像生成装置、画像生成方法、及びプログラムについて具体例を挙げて説明してきたが、上述した実施形態は、あくまでも一例に過ぎず、他の実施形態も考えられ得る。
【0148】
上述の実施形態では、フォトブックの各ページ、すなわち編集画像が複数の素材画像を用いて生成されることとしたが、編集画像の生成に利用される素材画像は、少なくとも一つ以上であればよい。
【0149】
また、編集画像及び再編集画像は、フォトブックの各ページを構成する画像に限定されず、例えばフォトフレーム用の画像等のように単一の画像として取引されるものであってもよい。
【0150】
また、上述の実施形態では、画像生成装置の一例として、プロセッサを備えるコンピュータ、具体的にはサーバコンピュータを例に挙げて説明した。ただし、本発明の画像生成装置が有するプロセッサの所在は、サーバコンピュータに限られず、どこにあってもよい。例えば、ユーザ端末11、12にあってもよいし、サーバコンピュータ及びユーザ端末11、12のそれぞれに備えられてもよい。また、複数のプロセッサが存在する場合には、当該複数のプロセッサが連携してもよい。
【0151】
本発明の画像生成装置が備えるプロセッサには、各種のプロセッサが含まれる。各種のプロセッサには、例えば、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUが含まれる。
また、各種のプロセッサには、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)が含まれる。
さらに、各種のプロセッサには、ASIC(Application Specific Integrated Circuit)等の特定の処理をさせるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【0152】
また、本発明の画像生成装置が有する1つの処理部を、上述した各種のプロセッサのうちの1つによって構成してもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ、例えば、複数のFPGAの組み合わせ、若しくは、FPGA及びCPUの組み合わせ等によって構成してもよい。
また、本発明の画像生成装置が有する複数の処理部を、各種のプロセッサのうちの1つによって構成してもよいし、複数の処理部のうちの2以上をまとめて1つのプロセッサによって構成してもよい。
また、上述の実施形態のように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態でもよい。
【0153】
また、例えば、システムオンチップ(System on Chip:SoC)等に代表されるように、画像生成装置における複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態でもよい。また、上述した各種のプロセッサのハードウェア的な構成は、半導体素子等の回路素子を組み合わせた電気回路(Circuitry)でもよい。
【符号の説明】
【0154】
10 画像生成装置
11,12 ユーザ端末
14 通信ネットワーク
21 プロセッサ
22 メモリ
23 通信用インタフェース
24 ストレージ
25 バス
31 画像取得部
32 画像記憶部
33 注文受付部
34 評価部
35 編集部
36 画像出力部
37 操作受付部
38 解析部
39 再編集部
40 再出力部
50 編集画像
52,56 一覧
54 編集メニュー
60 再編集画像
ES 編集画面
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13