(58)【調査した分野】(Int.Cl.,DB名)
前記表示制御部は、前記画像表示部に表示された合成画像とともに、前記複数のパターンの合成画像の各々に対応する複数のボタンを前記画像表示部に表示し、前記指示入力部を介して入力された指示に基づいて、前記画像表示部に表示された合成画像を、前記複数のパターンの合成画像の中から前記指示により前記複数のボタンの中から指定された1つのボタンに対応する1枚の合成画像に切り替えて前記画像表示部に表示するように制御するものである請求項1に記載の画像処理装置。
さらに、前記画像表示部に表示された合成画像のレイアウトの編集で使用される画像として、前記複数枚の画像の中から、前記画像表示部に表示された合成画像で使用されている画像を含む複数枚の候補画像を選択する候補画像選択部を備え、
前記表示制御部は、前記指示入力部を介して入力された指示に基づいて、前記画像表示部に表示された合成画像とともに、前記候補画像選択部により選択された複数枚の候補画像を前記画像表示部に表示するように制御するものである請求項1〜3のいずれか1項に記載の画像処理装置。
前記候補画像選択部は、前記レイアウトの編集で使用される画像として、前記画像表示部に表示された合成画像で使用されている画像に加えて、前記複数枚の画像の中から、前記画像表示部に表示された合成画像のパターンに合致する1枚以上の画像を含む複数枚の候補画像を選択するものである請求項4に記載の画像処理装置。
前記表示制御部は、前記画像表示部に表示された複数枚の候補画像のうち、前記画像表示部に表示された合成画像で使用されている画像の各々に対して、前記画像表示部に表示された合成画像で使用されている画像であることを表すマークを表示するように制御するものである請求項4または5に記載の画像処理装置。
さらに、前記レイアウトの編集で行われる複数種類の編集処理について、各々の種類の前記編集処理に含まれる複数の処理内容の中から、前記画像表示部に表示された合成画像のパターンに合致する処理内容を選択する処理内容選択部を備え、
前記表示制御部は、前記指示入力部を介して入力された指示に基づいて、前記画像表示部に表示された合成画像とともに、前記指示により指定された種類の編集処理の処理内容として、前記処理内容選択部により選択された処理内容を前記画像表示部に表示するように制御するものである請求項4〜7のいずれか1項に記載の画像処理装置。
前記合成画像生成部は、前記合成画像の候補となる複数のパターンの候補合成画像を生成し、前記複数のパターンの候補合成画像の中から選択された一定枚数の候補合成画像を前記合成画像として出力するものであり、前記複数のパターンの候補合成画像のうちの任意の2つのパターンの前記候補合成画像に含まれた画像の一致度が閾値以上である場合に、前記一致度が閾値以上である2つのパターンの候補合成画像のうちの一方を前記合成画像として出力し、他方を前記合成画像として出力しないものである請求項13に記載の画像処理装置。
前記表示制御部は、前記画像表示部に表示された合成画像とともに、前記複数のパターンの合成画像の各々に対応する複数のボタンを前記画像表示部に表示し、前記指示入力部を介して入力された指示に基づいて、前記画像表示部に表示された合成画像を、前記複数のパターンの合成画像の中から前記指示により前記複数のボタンの中から指定された1つのボタンに対応する1枚の合成画像に切り替えて前記画像表示部に表示するように制御する請求項16に記載の画像処理方法。
さらに、候補画像選択部が、前記画像表示部に表示された合成画像のレイアウトの編集で使用される画像として、前記複数枚の画像の中から、前記画像表示部に表示された合成画像で使用されている画像を含む複数枚の候補画像を選択するステップと、
前記表示制御部が、前記指示入力部を介して入力された指示に基づいて、前記画像表示部に表示された合成画像とともに、前記候補画像選択部により選択された複数枚の候補画像を前記画像表示部に表示するように制御するステップとを含む請求項16または17に記載の画像処理方法。
さらに、処理内容選択部が、前記レイアウトの編集で行われる複数種類の編集処理について、各々の種類の前記編集処理に含まれる複数の処理内容の中から、前記画像表示部に表示された合成画像のパターンに合致する処理内容を選択するステップと、
前記表示制御部が、前記指示入力部を介して入力された指示に基づいて、前記画像表示部に表示された合成画像とともに、前記指示により指定された種類の編集処理の処理内容として、前記処理内容選択部により選択された処理内容を前記画像表示部に表示するように制御するステップとを含む請求項16〜18のいずれか1項に記載の画像処理方法。
請求項16〜19のいずれか1項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明の目的は、前記従来技術の問題点を解消し、画像群のテーマやユーザの嗜好に応じた最適な合成画像をユーザに提案することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。
【課題を解決するための手段】
【0009】
上記目的を達成するために、本発明は、ユーザが所有する複数枚の画像からなる画像群を取得する画像取得部と、
複数枚の画像の各々の画像解析情報を取得する画像解析情報取得部と、
画像解析情報に基づいて、あらかじめ定義されたテーマの中から画像群のテーマを判別するテーマ判別部と、
画像群のテーマに基づいて、あらかじめ定義された嗜好の中からユーザの嗜好を分析する嗜好分析部と、
複数枚の画像の中から、画像解析情報に基づいて、ユーザの嗜好に対応する一定枚数の画像を選択し、選択された一定枚数の画像を使用して、あらかじめ定義されたパターンの中から選択された複数のパターンの合成画像を生成する合成画像生成部と、
ユーザにより入力された指示を受け取る指示入力部と、
画像を表示する画像表示部と、
複数のパターンの合成画像の中から選択された1枚の合成画像を画像表示部に表示し、指示入力部を介して入力された指示に基づいて、画像表示部に表示された合成画像を、複数のパターンの合成画像の中から指示により指定された1枚の合成画像に切り替えて画像表示部に表示するように制御する表示制御部とを備えることを特徴とする画像処理装置を提供するものである。
【0010】
ここで、表示制御部は、画像表示部に表示された合成画像とともに、複数のパターンの合成画像の各々に対応する複数のボタンを画像表示部に表示し、指示入力部を介して入力された指示に基づいて、画像表示部に表示された合成画像を、複数のパターンの合成画像の中から指示により複数のボタンの中から指定された1つのボタンに対応する1枚の合成画像に切り替えて画像表示部に表示するように制御するものであることが好ましい。
【0011】
また、表示制御部は、複数のパターンの合成画像の優先度に応じて、複数のボタンの配列を変更して表示するものであることが好ましい。
【0012】
さらに、画像表示部に表示された合成画像のレイアウトの編集で使用される画像として、複数枚の画像の中から、画像表示部に表示された合成画像で使用されている画像を含む複数枚の候補画像を選択する候補画像選択部を備え、
表示制御部は、指示入力部を介して入力された指示に基づいて、画像表示部に表示された合成画像とともに、候補画像選択部により選択された複数枚の候補画像を画像表示部に表示するように制御するものであることが好ましい。
【0013】
また、候補画像選択部は、レイアウトの編集で使用される画像として、画像表示部に表示された合成画像で使用されている画像に加えて、複数枚の画像の中から、画像表示部に表示された合成画像のパターンに合致する1枚以上の画像を含む複数枚の候補画像を選択するものであることが好ましい。
【0014】
また、表示制御部は、画像表示部に表示された複数枚の候補画像のうち、画像表示部に表示された合成画像で使用されている画像の各々に対して、画像表示部に表示された合成画像で使用されている画像であることを表すマークを表示するように制御するものであることが好ましい。
【0015】
さらに、画像解析情報に基づいて、複数枚の候補画像の各々の評価値を算出する画像評価部を備え、
画像評価部は、画像表示部に表示された合成画像のパターンに合致する画像内容の候補画像の評価値が、画像表示部に表示された合成画像のパターンに合致しない画像内容の候補画像の評価値よりも高くなるようにするものであり、
表示制御部は、画像表示部に表示された複数枚の候補画像の各々に対して、評価値を表すマークを表示するように制御するものであることが好ましい。
【0016】
さらに、レイアウトの編集で行われる複数種類の編集処理について、各々の種類の編集処理に含まれる複数の処理内容の中から、画像表示部に表示された合成画像のパターンに合致する処理内容を選択する処理内容選択部を備え、
表示制御部は、指示入力部を介して入力された指示に基づいて、画像表示部に表示された合成画像とともに、指示により指定された種類の編集処理の処理内容として、処理内容選択部により選択された処理内容を画像表示部に表示するように制御するものであることが好ましい。
【0017】
さらに、指示入力部を介して入力された指示に基づいて、画像表示部に表示された合成画像のレイアウトを編集するレイアウト編集部を備え、
レイアウト編集部は、画像表示部に表示された複数枚の候補画像、および、画像表示部に表示された編集処理の処理内容の少なくとも一方を使用して、画像表示部に表示された合成画像のレイアウトを編集するものであることが好ましい。
【0018】
また、テーマ判別部は、画像群から異なる2以上のテーマを判別するものであり、
合成画像生成部は、異なる2以上のテーマの各々に対応するパターンの合成画像を生成するものであることが好ましい。
【0019】
また、合成画像生成部は、1つのテーマに対して、2以上のパターンの合成画像を生成するものであることが好ましい。
【0020】
さらに、ユーザに関するユーザ情報を登録するユーザ情報登録部を備え、
テーマ判別部は、画像解析情報に加え、ユーザ情報に基づいて、画像群のテーマを判別するものであることが好ましい。
【0021】
また、合成画像生成部は、一定枚数の合成画像を生成するものであることが好ましい。
【0022】
また、合成画像生成部は、合成画像の候補となる複数のパターンの候補合成画像を生成し、複数のパターンの候補合成画像の中から選択された一定枚数の候補合成画像を合成画像として出力するものであり、複数のパターンの候補合成画像のうちの任意の2つのパターンの候補合成画像に含まれた画像の一致度が閾値以上である場合に、一致度が閾値以上である2つのパターンの候補合成画像のうちの一方を合成画像として出力し、他方を合成画像として出力しないものであることが好ましい。
【0023】
また、画像解析情報取得部は、複数枚の画像の各々の画像解析を行って画像解析情報を取得するものであることが好ましい。
【0024】
また、本発明は、画像取得部が、ユーザが所有する複数枚の画像からなる画像群を取得するステップと、
画像解析情報取得部が、複数枚の画像の各々の画像解析情報を取得するステップと、
テーマ判別部が、画像解析情報に基づいて、あらかじめ定義されたテーマの中から画像群のテーマを判別するステップと、
嗜好分析部が、画像群のテーマに基づいて、あらかじめ定義された嗜好の中からユーザの嗜好を分析するステップと、
合成画像生成部が、複数枚の画像の中から、画像解析情報に基づいて、ユーザの嗜好に対応する一定枚数の画像を選択し、選択された一定枚数の画像を使用して、あらかじめ定義されたパターンの中から選択された複数のパターンの合成画像を生成するステップと、
表示制御部が、複数のパターンの合成画像の中から選択された1枚の合成画像を画像表示部に表示し、指示入力部を介して入力された指示に基づいて、画像表示部に表示された合成画像を、複数のパターンの合成画像の中から指示により指定された1枚の合成画像に切り替えて画像表示部に表示するように制御するステップとを含むことを特徴とする画像処理方法を提供する。
【0025】
ここで、表示制御部は、画像表示部に表示された合成画像とともに、複数のパターンの合成画像の各々に対応する複数のボタンを画像表示部に表示し、指示入力部を介して入力された指示に基づいて、画像表示部に表示された合成画像を、複数のパターンの合成画像の中から指示により複数のボタンの中から指定された1つのボタンに対応する1枚の合成画像に切り替えて画像表示部に表示するように制御することが好ましい。
【0026】
さらに、候補画像選択部が、画像表示部に表示された合成画像のレイアウトの編集で使用される画像として、複数枚の画像の中から、画像表示部に表示された合成画像で使用されている画像を含む複数枚の候補画像を選択するステップと、
表示制御部が、指示入力部を介して入力された指示に基づいて、画像表示部に表示された合成画像とともに、候補画像選択部により選択された複数枚の候補画像を画像表示部に表示するように制御するステップとを含むことが好ましい。
【0027】
さらに、処理内容選択部が、レイアウトの編集で行われる複数種類の編集処理について、各々の種類の編集処理に含まれる複数の処理内容の中から、画像表示部に表示された合成画像のパターンに合致する処理内容を選択するステップと、
表示制御部が、指示入力部を介して入力された指示に基づいて、画像表示部に表示された合成画像とともに、指示により指定された種類の編集処理の処理内容として、処理内容選択部により選択された処理内容を画像表示部に表示するように制御するステップとを含むことが好ましい。
【0028】
また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。
【0029】
また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。
【発明の効果】
【0030】
本発明によれば、ユーザが所有する複数枚の画像から、複数のパターンの合成画像を自動で生成し、その中の1枚の合成画像を初期画像として画像表示部に表示することにより、ユーザの嗜好に合致する合成画像を提案することができる。
また、ユーザは、複数のパターンの合成画像の中から、所望の1枚の合成画像を指定する指示を、指示入力部を介して順次入力することにより、複数のパターンの合成画像を順次切り替えて画像表示部に表示させて閲覧することができる。
【発明を実施するための形態】
【0032】
以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体を詳細に説明する。
【0033】
図1は、本発明の画像処理装置の構成を表す一実施形態のブロック図である。同図に示す画像処理装置10は、ユーザが所有する複数枚の画像からなる画像群から、複数のパターンの合成画像を生成し、生成された複数のパターンの合成画像を表示してユーザに提案するものである。
画像処理装置10は、画像取得部12と、画像解析部14と、テーマ判別部16と、嗜好分析部18と、合成画像生成部20と、指示入力部22と、画像表示部24と、表示制御部26と、候補画像選択部28と、画像評価部30と、処理内容選択部32と、レイアウト編集部34と、ユーザ情報登録部36とを備えている。
【0034】
画像取得部12は、ユーザが所有する複数枚の画像からなる画像群を取得するものである。
画像処理装置10は、画像取得部12により取得された画像群を記憶(保存)する画像記憶部を備えていてもよい。
【0035】
画像解析部14は、画像取得部12により取得された複数枚の画像の各々の画像解析を行って画像解析情報を出力するものである。
画像解析は、画像内容(画像特徴)を解析する処理であり、顔検出、顔認識、ボケブレ、明るさ、類似解析、撮影時間ないしGPS情報(位置情報)を利用した画像のグルーピング、画像認識(被写体判別)、シーン認識(夜景、海、紅葉、砂浜、空、…)、オブジェクト認識(金閣寺、自由の女神、料理、花、ケーキ、…)等を利用することができる。また、画像解析には、Exifなどの画像の付帯情報(タグ情報)を解析する処理も含まれる。画像解析部14は、画像解析として、画像内容および付帯情報の解析のうちの少なくとも一方を行うことができる。複数枚の画像の中で付帯情報を持たない画像の場合、画像解析部14は、画像内容の画像解析のみを行い、付帯情報の画像解析を行わない(行うことができない)。
なお、画像解析方法は何ら限定されず、従来公知の画像解析方法を含む、各種の画像解析方法を利用することができる。
【0036】
上記のように、画像処理装置10の内部で複数枚の画像の各々の画像解析を行って画像解析情報を出力する代わりに、画像解析部14を設けることなく、画像解析情報取得部を設け、画像解析情報取得部が、画像処理装置10の外部から入力される、複数枚の画像の各々の画像解析情報を取得する構成とすることができる。この場合、画像解析情報は、各々対応する画像に関連付けされていればよく、各々対応する画像に付帯させてもよいし、あるいは、各々対応する画像と独立させて持っていてもよい。
あるいは、画像解析情報取得部が、画像解析部14と同様に、複数枚の画像の各々について、画像解析を行って複数枚の画像の各々の画像解析情報を出力する構成とすることができる。
【0037】
テーマ判別部16は、画像解析部14から出力された複数枚の画像の各々の画像解析情報に基づいて、あらかじめ定義されたテーマの中から画像群のテーマを判別するものである。
画像群のテーマとは、ユーザが画像群を閲覧したときに感じる雰囲気や印象を表すキーワードであり、子供、旅行、結婚式、誕生日、運動会等があらかじめ定義されている。
【0038】
例えば、表1に示すように、画像群において、「子供」の撮影比率が高い場合、画像群のテーマは子供であると判別することができる。
画像群の撮影期間が1日〜数日で、「風景」「料理」等の画像が混在し、かつ、撮影場所が点在(GPS情報を利用)している場合、画像群のテーマは旅行であると判別することができる。
画像群の撮影期間が1〜2時間で、「指輪」、「ケーキ」等の画像が混在し、かつ、撮影場所が固定(GPS情報を利用)の場合、画像群のテーマは結婚式であると判別することができる。同様の画像特徴で、「子供」、「ろうそく」等の画像が混在している場合、画像群のテーマは誕生日であると判別することができ、「子供」、「運動場」等の画像が混在している場合、画像群のテーマは運動会であると判別することができる。
上記以外の場合も同様にして画像群のテーマを判別することができる。
なお、画像群のテーマの判別方法は何ら限定されず、従来公知の判別方法を含む、各種の判別方法を利用することができる。
【0040】
嗜好分析部18は、テーマ判別部16により判別された画像群のテーマに基づいて、あらかじめ定義された嗜好の中から画像群の所有者であるユーザの嗜好を分析するものである。
嗜好として、子供画像優先、父母画像優先、子供画像+父母画像優先、人物画像優先、風景画像優先、人物画像+風景画像優先、夫婦の2ショット画像優先、登場人物優先、等があらかじめ定義されている。
【0041】
前述の表1に示すように、嗜好分析部18は、画像群のテーマが子供である場合、ユーザの嗜好として、子供が撮影された画像(子供画像)を最優先、子供の父母が撮影された画像(父母画像)を優先と分析とする。一方、非人物画像の優先度は低いと分析する。
画像群のテーマの旅行の場合、人物が撮影された画像(人物画像)および風景画撮影された画像(風景画像)が重要(優先度が高い)と分析する。
画像群のテーマが結婚式の場合、「夫婦」の二人が撮影された画像(2ショット画像)を優先と分析する。
画像群のテーマが誕生日、運動会、…、等の場合も同様にしてユーザの嗜好を分析することができる。
なお、ユーザの嗜好を分析する方法は何ら限定されず、従来公知の分析方法を含む、各種の分析方法を利用することができる。
【0042】
合成画像生成部20は、複数枚の画像の中から、画像解析情報に基づいて、嗜好分析部18により分析されたユーザの嗜好に対応する一定枚数の画像を選択し、選択されたユーザの嗜好に対応する一定枚数の画像を使用して、あらかじめ定義されたパターンの中から選択された複数のパターンの合成画像を生成するものである。
例えば、ユーザの嗜好が子供の場合、合成画像生成部20は、複数枚の画像の中から、画像解析情報に基づいて、子供が撮影された一定枚数の画像を選択し、子供が撮影された一定枚数の画像を使用して複数のパターンの合成画像を生成する。
パターンとして、人物認識結果に基づいて、複数枚の画像の中で登場回数が多い人物の人物画像優先のパターン(例えば、仲のよい友達の画像を優先して選択する)、人物画像+風景画像優先のパターン(人物画像と風景画像を一定の割合で混在させて選択する)、登場人物優先のパターン(できるだけ多くの人物が採用されるように、各撮影日から登場人物が多い画像を優先して選択する)の他、子供画像優先のパターン、父母画像優先のパターン、子供画像+父母画像優先のパターン、風景画像優先のパターン、夫婦の2ショット画像優先のパターン、等があらかじめ定義されている。
【0043】
指示入力部22は、ユーザにより入力された指示を受け取るものであり、マウス、タッチパネル、キーボード等を例示することができる。
指示入力部22を介して入力される指示には、合成画像生成部20により生成された複数のパターンの合成画像の中から1枚の合成画像を指定する指示、後述する候補画像選択部28により選択された複数枚の候補画像を画像表示部24に表示する指示、後述するレイアウト編集部34で行われる編集処理の種類を指定する指示等が含まれる。
【0044】
画像表示部24は、各種の画像を表示するものであり、液晶ディスプレイ等を例示することができる。
画像表示部24は、合成画像の表示画面、合成画像のレイアウトの編集で使用される画像である候補画像の表示画面、合成画像に対する編集処理の処理内容を表示する表示画面等を表示することができる。
【0045】
表示制御部26は、複数のパターンの合成画像の中から選択された1枚の合成画像を初期画像として画像表示部24に表示し、指示入力部22を介して入力された指示に基づいて、画像表示部24に表示された合成画像を、複数のパターンの合成画像の中から指示により指定された1枚の合成画像に切り替えて画像表示部24に表示するように制御するものである。
また、表示制御部26は、前述の候補画像の表示画面、編集処理の処理内容を表示する表示画面等を画像表示部24に表示するように制御する。
【0046】
候補画像選択部28は、画像表示部24に表示された合成画像のレイアウトの編集で使用される画像として、複数枚の画像の中から、画像表示部24に表示された合成画像で使用されている画像を含む複数枚の候補画像を選択するものである。
候補画像は、画像表示部24に表示された合成画像のレイアウトを編集するために、合成画像で使用されている画像と入れ替えて使用することができる画像である。
候補画像には、画像表示部24に表示された合成画像で使用されている画像の他、複数枚の画像の中から選択された1枚以上の画像を含めることができる。この場合、合成画像で使用されている画像の傾向と合致するように、例えば、画像表示部24に表示された合成画像のパターンに合致する1枚以上の画像を含めることが望ましい。
【0047】
画像評価部30は、画像解析情報に基づいて、候補画像選択部28により選択された複数枚の候補画像の各々の評価値を算出するものである。
画像評価部30は、例えば、画像表示部24に表示された合成画像のパターンに合致する画像内容の候補画像の評価値が、画像表示部24に表示された合成画像のパターンに合致しない画像内容の候補画像の評価値よりも高くなるようにする。例えば、合成画像が人物画像優先のパターンである場合には、人物画像の評価値がそれ以外の画像の評価値よりも高くなるようにする。
評価値は、例えば、複数の解析方法に対応する画像解析情報のうちの1つ、もしくは、2以上の組み合わせによる総合評価値を利用することができる。また、総合評価値を算出する場合、2以上の解析方法に対応する画像解析情報について重み付けを行ってもよい。
なお、候補画像の評価値の算出方法は何ら限定されず、従来公知の算出方法を含む、各種の算出方法を利用することができる。
【0048】
処理内容選択部32は、レイアウトの編集で行われる複数種類の編集処理について、各々の種類の編集処理に含まれる複数の処理内容の中から、画像表示部24に表示された合成画像のパターンに合致する処理内容を選択するものである。
編集処理には、合成画像に対するクリップアートの挿入、合成画像で使用されているテンプレートの変更、合成画像で使用されている画像に対する各種の画像補正処理(明るさ、色合い等の補正)が含まれる。
また、編集処理に含まれる処理内容は、各々の編集処理において行うことが可能な処理の内容である。クリップアートの挿入の場合には、挿入することが可能なクリップアートの種類、テンプレートの変更の場合には、変更することが可能なテンプレートの種類、画像補正処理の場合には、補正することができる画像補正処理の種類である。
例えば、合成画像のパターンが、子供画像優先の場合には、各種のクリップアートの中から、子供に合致するクリップアートが選択される。
【0049】
レイアウト編集部34は、指示入力部22を介して入力された指示に基づいて、画像表示部24に表示された合成画像のレイアウトを編集するものである。
レイアウト編集部34は、画像表示部24に表示された複数枚の候補画像、および、画像表示部24に表示された編集処理の処理内容の少なくとも一方を使用して、画像表示部24に表示された合成画像のレイアウトを編集することができる。
つまり、レイアウト編集部34は、例えば、合成画像で使用されている画像と候補画像とを入れ替えたり、合成画像に対して各種の編集処理を行って、クリップアートを挿入したり、テンプレートを変更したり、各種の画像処理を施したりすることができる。
【0050】
ユーザ情報登録部36は、ユーザに関するユーザ情報を登録するものである。
ユーザ情報には、例えば、ユーザの年齢、性別、住所、国籍等が含まれる。
【0051】
次に、
図2〜
図4に示すフローチャートを参照して、画像処理装置10の動作を説明する。
【0052】
画像処理装置10では、まず、画像取得部12により、ユーザが所有する複数枚の画像からなる画像群が取得される(
図2のステップS1)。
【0053】
続いて、画像解析部14により、画像取得部12により取得された複数枚の画像の各々の画像解析が行われて画像解析情報が出力される(
図2のステップS2)。
【0054】
続いて、テーマ判別部16により、複数枚の画像の各々の画像解析情報に基づいて、あらかじめ定義されたテーマの中から画像群のテーマが判別される(
図2のステップS3)。
【0055】
続いて、嗜好分析部18により、テーマ判別部16により判別された画像群のテーマに基づいて、あらかじめ定義された嗜好の中から画像群の所有者であるユーザの嗜好が分析される(
図2のステップS4)。
【0056】
続いて、合成画像生成部20により、複数枚の画像の中から、画像解析情報に基づいて、嗜好分析部18により分析されたユーザの嗜好に対応する一定枚数の画像が選択され、選択されたユーザの嗜好に対応する一定枚数の画像を使用して、あらかじめ定義されたパターンの中から選択された複数のパターンの合成画像が生成される(
図2のステップS5)。
本実施形態では、子供画像優先のパターン、子供画像+父母画像優先のパターン、人物画像+風景画像優先のパターン、登場人物優先のパターンからなる4つのパターンの合成画像が生成される。
【0057】
ここで、テーマ判別部16は、画像群から異なる2以上のテーマを判別してもよい。
この場合、合成画像生成部20は、異なる2以上のテーマの各々に対応するパターンの合成画像を生成することができる。また、合成画像生成部20は、1つのテーマに対して、2以上のパターンの合成画像を生成してもよい。
【0058】
例えば、テーマ判別部16により、画像群のテーマが、「子供」と「旅行」の2つであると判別されたとする。この場合、嗜好分析部18により、例えば、ユーザの嗜好が、「子供」のテーマに対して、子供画像、および、子供画像+父母画像が優先であると分析される。また、「旅行」のテーマに対して、人物画像+風景画像が優先であると分析される。これに応じて、合成画像生成部20では、子供画像優先のパターン、子供画像+父母画像優先のパターン、人物画像+風景画像優先のパターンからなる3つのパターンの合成画像が生成される。
【0059】
また、テーマ判別部16は、画像解析情報に加え、ユーザ情報に基づいて、画像群のテーマを判別してもよい。
例えば、ユーザ情報として、複数枚の画像の各々のGPS情報を利用することにより、複数枚の画像の中に、自宅から離れた場所で撮影された画像が多い場合、テーマ判別部16は、画像群のテーマが「旅行」であると判別することができる。
【0060】
ここで、画像表示部24の表示領域には制限がある。そのため、合成画像の枚数が多すぎると、ユーザが、複数のパターンの合成画像の中から1枚の合成画像を指定する場合に迷う原因となる。従って、合成画像生成部20は、生成する合成画像の枚数の上限を制限し、一定枚数の合成画像を生成することが望ましい。
【0061】
また、複数のパターンの合成画像の差異が小さいと、同様にユーザが混乱する原因となる。従って、差異が大きい合成画像を生成することが望ましい。例えば、子供画像優先のパターン、子供画像+父母画像優先のパターンの場合、子供と父母が一緒に撮影された画像が多くなるほど、両者の差異が小さくなる。
【0062】
ここで、複数のパターンの合成画像の差異とは、複数のパターンの合成画像の各々に含まれる画像の一致度により表すことができる。例えば、2つのパターンの合成画像の各々で使用されている10枚の画像のうち、8枚の画像が同じであれば、両者の差異は小さいと考えられる。逆に、10枚の画像のうち、2枚の画像だけが同じであれば、両者の差異は大きいと考えられる。
【0063】
従って、合成画像生成部20は、合成画像の候補となる複数のパターンの候補合成画像を生成し、複数のパターンの候補合成画像の中から選択された一定枚数の候補合成画像を合成画像として出力するものとする。そして、複数のパターンの候補合成画像のうちの任意の2つのパターンの候補合成画像に含まれた画像の一致度が閾値以上である場合に、一致度が閾値以上である2つのパターンの候補合成画像のうちの一方を合成画像として出力し、他方を合成画像として出力しないようにすることが望ましい。
例えば、子供画像優先のパターンの候補合成画像と、人物画像+風景画像優先のパターンの候補合成画像は一致度が小さいので共に合成画像として出力する。
【0064】
続いて、表示制御部26により、
図5に示すように、複数のパターンの合成画像の中から選択された1枚の合成画像、本実施形態では、子供画像優先のパターンの合成画像を初期画像として画像表示部24に表示するように制御される(
図2のステップS6)。
【0065】
このように、画像処理装置10は、ユーザが所有する複数枚の画像から、複数のパターンの合成画像を自動で生成し、その中の1枚の合成画像を初期画像として画像表示部24に表示することにより、ユーザの嗜好に合致する合成画像を提案することができる。一方、ユーザは、画像処理装置10により自動生成され、画像表示部24に表示されることによって提案された合成画像を閲覧することができる。
【0066】
図5は、画像表示部に表示された合成画像の表示画面を表す一例の概念図である。同図において、合成画像は、表示画面の中央部に表示されている。
合成画像の表示画面の左上部には、候補画像の表示画面を表示するための「ひらく」ボタンが表示され、左下部には、合成画像を切り替えるための複数の切り替えボタンが表示されている。
複数の切り替えボタンは、複数のパターンの合成画像の各々に対応するものである。本実施形態の場合、子供画像優先のパターン、子供画像+父母画像優先のパターン、人物画像+風景画像優先のパターン、登場人物優先のパターンの各々に対応する4つの切り替えボタンが表示されている。なお、複数のパターンの合成画像の優先度に応じて、複数の切り替えボタンの配列を変更して表示してもよい。例えば、優先度が最も高い合成画像を一番上に表示し、優先度が低くなるに従って順次下側に並べて表示することができる。
表示画面の右部には、編集処理の処理内容を表示する表示画面を表示するための複数の編集ボタンが表示されている。本実施形態の場合、クリップアートの挿入、テンプレートの変更、画像補正処理の各々に対応する3つの編集ボタンが表示されている。
【0067】
続いて、例えば、ユーザにより、複数のパターンの合成画像の中から1枚の合成画像を指定する指示が指示入力部22を介して入力される(
図2のステップS7)。例えば、
図5の左下部に示す4つの切り替えボタンのうちの1つの切り替えボタンが押下される(指示入力部22がマウスの場合には切り替えボタンがクリックされ、指示入力部22がタッチパネルの場合には切り替えボタンがタッチされる)。
【0068】
続いて、表示制御部26により、指示入力部22を介して入力された指示に基づいて、画像表示部24に表示された合成画像を、複数のパターンの合成画像の中から指示により指定された1枚の合成画像、本実施形態の場合、指示により複数の切り替えボタンの中から指定された1つの切り替えボタンに対応する1枚の合成画像に切り替えて画像表示部24に表示するように制御される(
図2のステップS8)。
【0069】
つまり、ユーザは、複数のパターンの合成画像の中から、所望の1枚の合成画像を指定する指示を、指示入力部22を介して順次入力することにより、複数のパターンの合成画像を順次切り替えて画像表示部24に表示させて閲覧することができる。
【0070】
ここで、例えば、ユーザにより、候補画像の表示画面を表示する指示が指示入力部22を介して入力される(
図3のステップS9)。例えば、
図5の左上部に示す「ひらく」ボタンが押下される。
【0071】
この場合、候補画像選択部28により、画像表示部24に表示された合成画像のレイアウトの編集で使用される画像として、複数枚の画像の中から、画像表示部24に表示された合成画像で使用されている画像を含む複数枚の候補画像が選択される(
図3のステップS10)。
【0072】
また、画像評価部30により、画像解析情報に基づいて、候補画像選択部28により選択された複数枚の候補画像の各々の評価値が算出される(
図3のステップS11)。
【0073】
続いて、表示制御部26により、
図6に示すように、指示入力部22を介して入力された指示に基づいて、画像表示部24に表示された合成画像とともに、候補画像選択部28により選択された複数枚の候補画像を画像表示部24に表示するように制御される(
図3のステップS12)。
【0074】
これにより、ユーザは、画像表示部24に表示された合成画像のレイアウトを編集するための複数枚の候補画像を閲覧することができる。
【0075】
また、表示制御部26により、画像表示部24に表示された複数枚の候補画像のうち、画像表示部24に表示された合成画像で使用されている画像の各々に対して、チェックマークを表示するように制御される。
なお、チェックマークに限らず、画像表示部24に表示された合成画像で使用されている画像であることを表すことができれば、どのようなマークを表示してもよい。
【0076】
これにより、ユーザは、複数枚の候補画像のうち、画像表示部24に表示された合成画像で使用されている画像を一目で把握することができる。
【0077】
また、表示制御部26により、画像表示部24に表示された複数枚の候補画像の各々に対して、画像評価部30により算出された評価値を表す星マークを表示するように制御される。星マークの個数は、複数枚の候補画像のお奨め度(評価値)を表している。
なお、星マークに限らず、複数枚の候補画像の各々の評価値を表すことができれば、どのようなマークを表示してもよい。
【0078】
これにより、ユーザは、複数枚の候補画像のうち、画像処理装置10が推奨する候補画像を一目で把握することができる。
【0079】
図6は、画像表示部に表示された候補画像の表示画面を表す一例の概念図である。同図において、合成画像は、
図5に示す表示画面の中央部から移動されて表示画面の右部に表示され、候補画像は、左部から引き出されて表示画面の左部に表示されている。
候補画像の表示画面の右上部には、「ひらく」ボタンに代えて、候補画像の表示画面を非表示とするための「とじる」ボタンが表示され、右下部には、
図5に示すものと同じ4つの切り替えボタンが表示されている。
候補画像の表示画面内には、複数枚の候補画像が表示されている。前述のように、複数枚の候補画像のうち、画像表示部24に表示された合成画像で使用されている画像にはチェックマークが表示されている。また、複数枚の候補画像の各々には、星マークが表示されている。
候補画像の表示画面には、一定枚数の候補画像を表示することができる。全ての候補画像を表示することができない場合には、候補画像の表示画面の右部に設けられたスクロールバーを使って、表示される候補画像を切り替えることができる。
【0080】
なお、画像表示部24に表示された合成画像が別の合成画像に入れ替えられた場合、入れ替えられた合成画像のパターンに合致する候補画像が選択し直され、これに応じて、画像表示部24に表示される候補画像が変更される。
【0081】
続いて、例えば、ユーザにより、画像表示部24に表示された合成画像で使用されている画像と候補画像とを入れ替える指示が指示入力部22を介して入力される(
図3のステップS13)。
【0082】
この場合、レイアウト編集部34により、指示入力部22を介して入力された指示に基づいて、画像表示部24に表示された合成画像で使用されている画像と、指示により指定された候補画像とを入れ替えるように、画像表示部24に表示された合成画像のレイアウトが編集される(
図3のステップS14)。
また、表示制御部26により、レイアウト編集部34によりレイアウトが編集された合成画像を画像表示部24に表示するように制御される(
図3のステップS15)。
【0083】
これにより、ユーザは、画像表示部24に表示された合成画像で使用されている画像と候補画像とを入れ替えるように、画像表示部24に表示された合成画像のレイアウトを編集することができる。
【0084】
また、例えば、ユーザにより、編集処理の処理内容を表示する表示画面を表示する指示が指示入力部22を介して入力される(
図4のステップS16)。例えば、
図5の右部に示す、クリップアートの挿入に対応する編集ボタンが押下される。
【0085】
この場合、処理内容選択部32により、レイアウトの編集で行われる複数種類の編集処理について、各々の種類の編集処理に含まれる複数の処理内容の中から、画像表示部24に表示された合成画像のパターンに合致する処理内容が選択される(
図4のステップS17)。
例えば、編集処理がクリップアートの挿入の場合で、かつ、合成画像のパターンが子供画像優先の場合には、処理内容として、各種のクリップアートの中から、子供に合致するクリップアートが選択される。
【0086】
続いて、表示制御部26により、
図7に示すように、指示入力部22を介して入力された指示に基づいて、画像表示部24に表示された合成画像とともに、指示により指定された種類の編集処理の処理内容として、処理内容選択部32により選択された処理内容を画像表示部24に表示するように制御される(
図4のステップS18)。
前述のように、編集処理がクリップアートの挿入の場合で、合成画像のパターンが子供画像優先の場合には、処理内容として、子供に合致するクリップアートが画像表示部24に表示される。
【0087】
これにより、ユーザは、画像表示部24に表示された合成画像のレイアウトを編集するための、編集処理の処理内容を閲覧することができる。
【0088】
図7は、画像表示部に表示された編集処理の処理内容を表示する表示画面を表す一例の概念図である。同図において、合成画像は、
図5に示す表示画面の中央部から移動されて表示画面の左部に表示され、編集処理の処理内容は、表示画面の右部に表示されている。
本実施形態の場合、編集処理の処理内容の表示画面内には、子供に合致する複数のクリップアートが表示されている。
【0089】
なお、画像表示部24に表示された合成画像が別の合成画像に入れ替えられた場合、入れ替えられた合成画像のパターンに合致する編集処理の処理内容が選択し直され、これに応じて、画像表示部24に表示される処理内容が変更される。
【0090】
ここで、例えば、ユーザにより、画像表示部24に表示されたクリップアートの中から選択されたクリップアートを、画像表示部24に表示された合成画像の指定位置に挿入する指示が指示入力部22を介して入力される(
図4のステップS19)。
【0091】
この場合、レイアウト編集部34により、指示入力部22を介して入力された指示に基づいて、指示により指定されたクリップアートを、画像表示部24に表示された合成画像の指定位置に挿入するように、画像表示部24に表示された合成画像のレイアウトが編集される(
図4のステップS20)。
また、表示制御部26により、レイアウト編集部34によりレイアウトが編集された合成画像を画像表示部24に表示するように制御される(
図4のステップS21)。
【0092】
これにより、ユーザは、クリップアートを、画像表示部24に表示された合成画像に挿入するように、画像表示部24に表示された合成画像のレイアウトを編集することができる。
【0093】
本発明の装置は、装置が備える各々の構成要素を専用のハードウェアで構成してもよいし、各々の構成要素をプログラムされたコンピュータで構成してもよい。
本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。
【0094】
本発明は、基本的に以上のようなものである。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。