(58)【調査した分野】(Int.Cl.,DB名)
【発明の概要】
【発明が解決しようとする課題】
【0007】
特許文献1に記載された技術によれば、閲覧者に対する画像の重要度に応じて、当該画像を異なるサイズで表示することはできない。各画像は常に同じサイズで表示されるため、閲覧者にとっては、全体的に単調となり、一部の画像の視覚的効果を強調することは難しく、飽きてしまう感じ持つ場合が多い。
【0008】
また、特許文献2、3及び非特許文献1に記載された技術によれば、画像を異なるサイズで表示するために、パラメータとしての注目領域、画像の重要度、及び、一画面の表示枚数を、閲覧者が設定しなければならない。勿論、顔が検出された画像を大きいサイズで表示するべく、その画像のパラメータを自動的に設定することもできるが、特に家庭で撮影された写真(画像)には顔が写る場合も多く、閲覧者にとって興味ある画像を強調的に認識することは難しい。
【0009】
一方で、発明者らは、家庭で撮影された写真の場合、閲覧者にとって強調的に認識したい写真とは、閲覧者とその画像に写る人物との関係に基づくものではないか、と考えた。即ち、閲覧者とその画像に写る人物との関係に応じて、その画像を強調的に表示すべきか否かを判定すべきである。逆に言えば、閲覧者にとって興味の無い人物が写る画像は、強調的に表示する必要がない。
【0010】
そこで、本発明は、閲覧者にとって興味が高い画像が強調的に表示されるレイアウトの画面データを出力することができる画面出力装置、プログラム及び方法を提供することを目的とする。
【課題を解決するための手段】
【0011】
本発明によれば、複数の画像を1つの画面にレイアウトして出力する画面出力装置において、
画像毎に、その画像に写る人物の被写体人物識別子を関連付けて記憶した被写体情報記憶手段と、
画像を閲覧する閲覧者の閲覧人物識別子を取得する閲覧者情報取得手段と、
閲覧者の閲覧人物識別子に対する、画像に写る人物の被写体人物識別子の関係種別によって、当該画像の表示サイズ比を決定する表示サイズ比決定手段と、
画像毎の表示サイズ比に応じた大きさで、当該画像をレイアウトした画面データを出力する画面出力手段と
を有
し、
閲覧者の閲覧人物識別子に対する画像の被写体人物識別子の関係種別によって、画像の基本サイズ比に対する重みα1を規定した表示ルール記憶手段を更に有し、
閲覧者情報取得手段は、当該画像を閲覧する閲覧者の当該閲覧人物識別子に対する関係種別毎の被写体人物識別子も取得するものであり、
表示サイズ比決定手段は、表示ルール記憶手段を用いて、閲覧人物識別子に対する被写体人物識別子の関係種別に応じて、基本サイズ比に重みα1を重み付けた値を、表示サイズ比として出力する
ことを特徴とする。
【0012】
本発明の画面出力装置における他の実施形態によれば、画面出力手段によって出力された画面データを表示するディスプレイを備えた画面表示装置であることも好ましい。
【0013】
本発明の画面出力装置における他の実施形態によれば、画
面出力手段によって出力された画面データを紙媒体に印刷する印刷機能を備えた画面印刷装置であることも好ましい。
【0015】
本発明の画面出力装置における他の実施形態によれば、
表示ルール記憶手段の重みα
1は、
画像の被写体人物識別子に閲覧者の閲覧人物識別子が含まれる場合、基本サイズ比よりも大きい値を表示サイズ比とし、又は、
画像の被写体人物識別子に閲覧者の閲覧人物識別子が含まれない場合、基本サイズ比よりも小さい値を表示サイズ比とすることも好ましい。
【0016】
本発明の画面出力装置における他の実施形態によれば、表示ルール記憶手段の重みα
1は、画像の被写体人物識別子に閲覧者の閲覧人物識別子が含まれる場合、基本サイズ比よりも小さい値を表示サイズ比とすることも好ましい。
【0017】
本発明の画面出力装置における他の実施形態によれば、表示サイズ比決定手段は、
画像の被写体人物識別子に所定の1つ以上の人物識別子が含まれる場合、顔領域検出機能を用いて、当該画像に写る顔領域サイズを検出し、該顔領域サイズの大きさに応じて重みα
1に更に重み付けることも好ましい。
【0018】
本発明の画面出力装置における他の実施形態によれば、
表示ルール記憶手段の重みα
1は、SNS(Social Networking Service)のソーシャルグラフから得られる関係種別に応じて、又は、
SNSのソーシャルグラフから得られる閲覧者人物識別子と被写体人物識別子との間
のエッジの数に応じて決定されることも好ましい。
【0019】
本発明の画面出力装置における他の実施形態によれば、
表示ルール記憶手段は、閲覧者の閲覧人物識別子における個人属性によって、画像の基本サイズ比に対する重みα
2を更に規定し、
閲覧情報取得手段は、閲覧人物識別子の個人属性も取得するものであり、
表示サイズ比決定手段は、表示ルール記憶手段を用いて、閲覧人物識別子に対する個人属性に応じて、基本サイズ比に重みα
2を更に重み付けた値を、表示サイズ比として出力する
ことも好ましい。
【0020】
本発明の画面出力装置における他の実施形態によれば、
個人属性は、閲覧者の視覚能力に応じた年齢別であり、
表示ルール記憶手段の重みα
2は、閲覧者年齢帯が高くなるほど、基本サイズ比よりも大きい値を表示サイズ比とすることも好ましい。
【0021】
本発明の画面出力装置における他の実施形態によれば、重みα
1、重みα
2又は重みα
1×α
2の値が大きい画像ほど、表示時間を長くすることも好ましい。
【0022】
本発明の画面出力装置における他の実施形態によれば、
画面サイズは、N個の表示サイズに分割され、その1個の表示サイズを、基本サイズ比とし、
画面出力手段は、連続順の複数の画像の表示サイズの総和が、画面サイズに近くなるように区分した画像組を抽出し、その画像組に含まれる異なる表示サイズの画像を1枚の画面サイズにレイアウトすることも好ましい。
【0023】
本発明の画面出力装置における他の実施形態によれば、分割された表示サイズのN個は、閲覧者の数に基づいて決定されることも好ましい。
【0024】
本発明の画面出力装置における他の実施形態によれば、
閲覧者情報取得手段は、
現に閲覧している閲覧者の生体データを入力する生体データ入力手段と、
閲覧人物識別子に対応付けられた生体データからなる閲覧者特定用データの集合を記憶した閲覧者特定用データ記憶手段と、
閲覧者特定用データを用いて、閲覧者の生体データに対する閲覧者識別子を出力する閲覧者特定手段と
を更に有することも好ましい。
【0025】
本発明の画面出力装置における他の実施形態によれば、
生体データは、顔写真、声データ、指紋データ、静脈データ又は虹彩データであり
、
閲覧者情報取得手段は、画像認証、音声認証、指紋認証、静脈認証又は虹彩認証
によって当該閲覧者に対する閲覧人物識別子を特定することも好ましい。
【0026】
本発明によれば、複数の画像を1つの画面にレイアウトして出力する装置に搭載されたコンピュータを機能させる画面出力プログラムにおいて、
画像毎に、その画像に写る人物の被写体人物識別子を関連付けて記憶した被写体情報記憶手段と、
画像を閲覧する閲覧者の閲覧人物識別子を取得する閲覧者情報取得手段と、
閲覧者の閲覧人物識別子に対する、画像に写る人物の被写体人物識別子の関係種別によって、当該画像の表示サイズ比を決定する表示サイズ比決定手段と、
画像毎の表示サイズ比に応じた大きさで、当該画像をレイアウトした画面データを出力する画像出力手段と
してコンピュータを機能させ
、
閲覧者の閲覧人物識別子に対する画像の被写体人物識別子の関係種別によって、画像の基本サイズ比に対する重みα1を規定した表示ルール記憶手段を更に有し、
閲覧者情報取得手段は、当該画像を閲覧する閲覧者の当該閲覧人物識別子に対する関係種別毎の被写体人物識別子も取得するものであり、
表示サイズ比決定手段は、表示ルール記憶手段を用いて、閲覧人物識別子に対する被写体人物識別子の関係種別に応じて、基本サイズ比に重みα1を重み付けた値を、表示サイズ比として出力する
ようにコンピュータを機能させることを特徴とする。
【0027】
本発明によれば、複数の画像を1つの画面にレイアウトして出力する装置の画面出力方法において、
装置は、画像毎に、その画像に写る人物の被写体人物識別子を関連付けて記憶した被写体情報記憶部を有し、
装置は、
画像を閲覧する閲覧者の閲覧人物識別子を取得する第1のステップと、
閲覧者の閲覧人物識別子に対する、画像に写る人物の被写体人物識別子の関係種別によって、当該画像の表示サイズ比を決定する第2のステップと、
画像毎の表示サイズ比に応じた大きさで、当該画像をレイアウトした画面データを出力する第3のステップと
を
実行し、
装置は、閲覧者の閲覧人物識別子に対する画像の被写体人物識別子の関係種別によって、画像の基本サイズ比に対する重みα
1を規定した表示ルール記憶
部を更に有し、
第1のステップについて、装置は、当該画像を閲覧する閲覧者の当該閲覧人物識別子に対する関係種別毎の被写体人物識別子も取得するものであり、
第2のステップについて、装置は、表示ルール記憶部を用いて、閲覧人物識別子に対する被写体人物識別子の関係種別に応じて、基本サイズ比に重みα
1を重み付けた値を、表示サイズ比として出力する
ことを特徴とする。
【発明の効果】
【0028】
本発明の画面出力装置、プログラム及び方法によれば、閲覧者にとって興味が高い画像が強調的に表示されるレイアウトの画面データを出力することができる。本発明によれば、特に、閲覧者と被写体人物との関係に応じて表示サイズを自動的に決定することによって、閲覧者が特別にパラメータを設定することなく、人物間関係に応じてレイアウトが変化する画面データが出力される。この画面データは、スライドショーのようにディスプレイに表示され、又は、アルバムのように紙媒体に印刷される。画像データのレイアウトは、それを視認する閲覧者によって変化する。
【発明を実施するための形態】
【0030】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【0031】
本発明における画面出力装置1は、画面データを表示するディスプレイを備えた画面表示装置であってもよいし、画面データを物理的な紙媒体に印刷する印刷機能を備えた画面印刷装置であってもよい。また、パーソナルコンピュータで実行される画像閲覧プログラムやスライドショーのプログラムであってもよいし、プリンタで実行される印刷プログラムであってもよい。
【0032】
画面出力装置1が画面表示装置である場合、例えば家庭用のデジタルフォトフレームのようなものであって、ディスプレイに画面データを連続的に表示するものである。また、フォトフレーム1のディスプレイに表示される画像は、例えば家庭で撮影された写真のような静止画像である。
【0033】
以下では、画面出力装置1は、デジタルフォトフレームであるとして説明する。
【0034】
図1は、本発明における第1の表示イメージである。
【0035】
本発明によれば、画面データをディスプレイに表示する際に、閲覧者と被写体人物との関係によって、表示する画像の表示サイズ比を変化させる。閲覧者及び被写体人物にはそれぞれ、固有の人物識別子が付与されている。
【0036】
図1(a)によれば、閲覧者の人物識別子[001]と、被写体人物の人物識別子[001]とは、同一である。これは、閲覧者が、自分自身の画像を閲覧しているということを意味する。これに対して、
図1(b)によれば、閲覧者の人物識別子[001]と、被写体人物の人物識別子[002]とは、異なる。このような相違がある場合、閲覧者は、一般に、自分が写る画像を大きい表示サイズで見たいと思う場合がある。そこで、閲覧者が、自分が写る画像を閲覧する場合は、自分以外の人が写る画像に比べて、大きく表示させるように表示サイズ比を変化させる。
図1によれば、画像の表示サイズ比は、以下のように予め規定されているとする。
両識別子が「同一」である場合(閲覧者の写真が表示される場合): 1
両識別子が「異なる」場合(閲覧者以外の写真が表示される場合): 0.3
【0037】
図2は、本発明における第2の表示イメージである。
【0038】
図2によれば、閲覧人物識別子に対する被写体人物識別子の関係種別に応じて、表示サイズ比を変化させる。「関係種別」とは、閲覧者に対する、被写体人物の「家族」「知人」「他人」といった人間関係をいう。「表示サイズ比」は、以下のように、基本サイズ比に重みα
1を乗算した値となる。
表示サイズ比=基本サイズ比(S)×重み(α
1)
【0039】
重みα
1は、閲覧人物識別子に対する被写体人物識別子の関係種別に応じて決定されている。
図2によれば、閲覧人物A(ID:001)は、被写体人物として人物A(ID:001)、人物B(ID:002)、人物C(ID:003)、人物D、及び人物E(ID:005)が写る写真を、閲覧している。
図2によれば、閲覧者Aに対する被写体人物AからEの関係種別は、以下のように表されている。
[被写体人物] [被写体人物識別子] [関係種別]
A 001 本人
B 002 家族
C 003 知人
D *** 他人
E 005 家族
【0040】
ここで重みα
1は、表示ルールによって、例えば関係種別が本人である場合は「2」と決定される。この例では、閲覧者からみて被写体人物が人間関係として近い程、重みα
1の値が大きくなる。また、関係種別が「家族」及び「知人」である場合、重みα
1は「1.5」と決定され、関係種別が「他人」である場合、重みα
1は「1」と決定される。また、画像に人物が写っていない場合、重みα
1は「1」と決定される。
【0041】
また、重みα
1は、SNS(Social Networking Service)のソーシャルグラフから得られる関係種別に応じて、又は、閲覧者人物識別子と被写体人物識別子との間の最短経路距離に応じて(距離が短いほど大きい値)決定されるものであってもよい。例えばfacebook(登録商標)やmixi(登録商標)、GREE(登録商標)のようなSNSサーバから取得することもできる。SNSサーバによれば、家族や恋人を指定するモードがある。関係種別情報としては、例えば、本人として閲覧者人物識別子に対応して、「家族」の人物識別子、「知人」の人物識別子等が対応付けられている。そのような情報が得られない場合は、閲覧者と被写体との最短経路(ソーシャルグラフのエッジの数)により、数が多くなるに従って重みα
1を小さくする。例えば、被写体が閲覧者本人である場合を「2」、エッジ数が1の場合を「1.5」、エッジ数が2の場合を「1」、エッジ数が3以上の場合を「0.5」、画像に人物が写っていない場合を「0.5」とする。更に、SNS上での最近のメッセージのやりとりの回数などを用いて、メッセージの数が多いほど親密度が高いと判断し、重みα
1を大きくすることもできる。
【0042】
図2によれば、4枚の画像が表示されており、閲覧者(A)に対する被写体人物の関係種別に応じた、表示サイズ比は、以下のように表される。
[被写体人物] [関係種別] [表示サイズ比(S×α
1)]
A・B 本人・家族 S×2
B・E 家族・家族 S×1.5
C 知人 S×1.2
D 他人 S×1
【0043】
1枚の画像に被写体人物が複数存在し、関係種別も多種である場合、重みα
1は、いずれかの関係種別の値としてもよい。例えば、画像に写る被写体人物が「A・B」であり、関係種別が「本人・家族」である場合、重みα
1を大きい方の値(関係種別「本人」)としてもよい。また、全ての被写体人物における関係種別の重みα
1を足し合わせてもよい。例えば被写体人物が「A・B」であり、関係種別が「本人・家族」である場合、重みα
1=2+1.5=3.5とする。
【0044】
図3は、本発明における第3の表示イメージである。
【0045】
表示ルールは、「モード」に応じて個別に設定することも好ましい。例えば、閲覧者が恥ずかしがり屋の場合、閲覧者自身が写っている画像の表示サイズ比を小さくして欲しいという要求がある。そこで、例えば「恥ずかしがり屋モード」のようなモードを設定し、閲覧者が被写体人物に含まれている画像の表示サイズ比を小さくするように、表示ルールの重みα
1を決定する。
「普通モード」(
図1及び
図2参照)
「恥ずかしがり屋モード」(
図3参照)
【0046】
図3では、恥ずかしがり屋である人物B(ID:002)が、被写体人物A(ID:001)、B(ID:002)、C(ID:003)、D、及び、E(ID:005)が写る画像を、閲覧している。閲覧者Bに対する被写体人物AからEの関係種別を以下に示す。
[被写体人物] [被写体人物識別子] [関係種別]
A 001 家族
B 002 本人
C 003 知人
D *** 他人
E 005 家族
【0047】
ここで重みα
1は、表示ルールによって、例えば関係種別が「本人」である場合、重みα
1を「0.8」と決定し、関係種別が「家族」又は「知人」の場合、重みα
1を「2」と決定する。また、関係種別が「他人」である場合、重みα
1は「1」と決定される。更に、画像に人物が写っていない場合、重みα
1は「1」と決定される。
【0048】
恥ずかしがり屋モードは、ある一定年齢以上の人物に対して、自動的に適用してもよい。閲覧者の個人属性である年齢は、閲覧者自らが入力することによって予め記憶されたものであってもよい。また、閲覧者の顔を撮影した顔写真から、年齢を自動的に推定する技術を適用してもよい。
【0049】
図3によれば、4枚の画像が表示されており、以下に、閲覧者(B)に対する被写体人物の関係種別に応じた表示サイズ比の例を示す。
[被写体人物] [関係種別] [表示サイズ比(S×α
1)]
A・E 家族・家族 S×2
B 本人 S×0.8
C 知人 S×2
D 他人 S×1
【0050】
ここで、「恥ずかしがり屋モード」は、閲覧者自身が大きく写っている画像の場合のみ、表示サイズ比を小さくするものであってもよい。この場合、閲覧者自身が大きく写っているかどうかは、画像全体に対する顔領域の面積の占める割合によって判断する。
【0051】
図4は、本発明における第4の表示イメージである。
【0052】
一般的に、年齢が高いほど視覚能力は低くなりやすい。そこで、閲覧者の年齢が高い場合、視覚能力が高い人と比較して、一画像あたりの面積を大きくする。例えば「個人属性モード」のようなモードを設定し、閲覧者の年齢が高い場合、画像の表示サイズ比を大きくするように、表示ルールの重みα
1を決定する。
【0053】
図4では、高齢の閲覧者E(ID:005)が、被写体人物A(ID:001)、B(ID:002)及びE(ID:005)が写る画像を、閲覧している。
図4によれば、閲覧者Eに対する被写体人物AからEの関係種別及び個人属性は、以下のように表される。
[被写体人物] [被写体人物識別子] [関係種別] [個人属性]
A 001 家族
65歳未満
B 002 家族
65歳未満
E 005 本人
65歳以上
【0054】
ここで重みα
1は、表示ルールによって、全体的に大きい値に決定される。例えば関係種別が「本人」である場合、重みα
1を「2.5」と決定し、関係種別が「家族」の場合、重みα
1を「2」と決定する。「知人の場合、重みα
1を「1.5」と決定する。また、関係種別が「他人」である場合、重みα
1は「1.2」と決定される。更に、画像に人物が写っていない場合、重みα
1は「1.2」と決定される。
【0055】
図4によれば、2枚の画像が表示されており、以下に、閲覧者(E)に対する被写体人物の関係種別に応じた表示サイズ比の例を表す。
[被写体人物] [関係種別] [表示サイズ比(S×α
1)]
A・B 家族・家族 S×2
B・E 家族・本人 S×2.5
【0056】
閲覧者の個人属性である年齢は、閲覧者自らが入力することによって予め記憶されたものであってもよい。また、閲覧者の顔を撮影した顔写真から、年齢を自動的に推定する技術を適用してもよい。
【0057】
図5は、本発明における画面出力装置の機能構成図である。
【0058】
図5によれば、画面出力装置1は、メモリカード101と、入力インタフェース102と、画面データを表示するディスプレイ103と、画面データを物理的な紙媒体に印刷する印刷機能部104とを有する。ディスプレイ103を備えた画面出力装置としては、デジタルフォトフレームがあり、印刷機能部104を備えた画面出力装置としては、プリンタがある。
【0059】
メモリカード101は、例えばSD(Secure Digital)カードのようなものであって、デジタルフォトフレーム1に対して挿脱可能であることが多い。メモリカード101は、例えばデジタルカメラにも挿入可能であって、そのデジタルカメラによって撮影された多数の画像を蓄積する。デジタルフォトフレーム1は、メモリカード101に蓄積された多数の画像を、ディスプレイ103にスライドショーのように連続的に表示する。パーソナルコンピュータや携帯電話機、スマートフォン、タブレットのような端末で閲覧する場合には、Web上のストレージサーバやこれら端末の記憶部に写真を保存することが多く、この役割をメモリカード101が果たす。
【0060】
入力インタフェース102は、閲覧者の情報を取得するものであって、実施形態に応じて生体データを取得可能なデバイスや、閲覧者によって入力可能なキーボードであってもよい。また、生体データを取得可能なデバイスとしては、カメラ、マイク、センサ等がある。例えば、カメラであれば、閲覧者の顔写真データを取得することができる。また、マイクであれば、閲覧者の声データを取得することができる。更に、センサであれば、その機能に応じて、閲覧者の指紋データ、静脈データ、虹彩データ等を取得することができる。入力インタフェース102によって取得された情報は、その閲覧者を特定するために用いられる。
【0061】
また、
図5によれば、デジタルフォトフレーム1は、被写体情報取得部11と、被写体情報記憶部12と、閲覧者情報取得部13と、表示ルール記憶部14と、表示サイズ比決定部15と、画面出力部16とを有する。これら機能構成部は、画面出力装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。
【0062】
[被写体情報取得部11]
被写体情報取得部11は、メモリカード101に蓄積された画像毎に、その画像に写る人物の被写体人物識別子を取得する。被写体人物識別子を対応付けた画像は、被写体情報記憶部12へ出力される。
【0063】
被写体情報取得部11は、画像から被写体人物を自動的に検出する画像管理プログラムであってもよい。このプログラムは、写真の中から顔領域を抽出し、多数の写真の中で顔の同一性によってグループ化し、その顔に対して順次「名前タグ」を付与する。画像管理プログラムとして、代表的には、Google社によって提供されるPicasa(登録商標)(v3.5以降のname tag 機能)や、Microsoft社のWindows Liveフォトギャラリー(登録商標)、Apple社のiPhoto'09(登録商標)がある。尚、本発明によれば、画像に被写体人物識別子(名前タグ)が付与されていればよく、この被写体認証処理は、自動に限られず、手動であってもよい。
【0064】
尚、前述した実施形態によれば、ディスプレイに表示する画像は、静止画像として説明しているが、動画像(ビデオ)であっても実現できる。人物識別子の検出のために、動画像のキーフレームに対する顔認識認証又は歩容認証を適用することもできる。
【0065】
[被写体情報記憶部12]
被写体情報記憶部12は、画像毎に、その画像に写る人物の被写体人物識別子を関連付けて記憶する。被写体人物識別子が付与された画像は、表示サイズ比決定部15へ出力される。尚、被写体情報記憶部12は、メモリカード101と一体的なものであって、メモリカード101に記憶された画像に被写体識別子を付与するものであってもよい。
【0066】
[閲覧者情報取得部13]
関係者情報取得部13は、生体データ入力部131と、閲覧者特定用データ記憶部132と、閲覧者特定部133と、関係種別情報記憶部134と、個人属性情報記憶部135とを有する。閲覧者情報取得部13は、入力インタフェース102を介して、ディスプレイを現に閲覧している閲覧者を特定するための情報を取得し、閲覧人物識別子を特定する。
【0067】
閲覧者を特定する最も簡単な方法としては、閲覧者に、閲覧人物識別子を入力させることができる。例えば、キーボードによるテキスト入力や、マイクによる音声入力に基づく音声認識によって、閲覧者名及び閲覧人物識別子を取得するものであってもよい。また、SNSサーバに対するログインIDを、閲覧人物識別子として扱うこともできる。
【0068】
その他の方法として、閲覧者の生体データを取得し、その生体データから閲覧者を特定することもできる。
【0069】
生体データ入力部131は、入力インタフェース102から、閲覧者の生体データを入力する。生体データは、例えば以下のようなものがある。
カメラによって取得された閲覧者の顔写真
マイクによって取得された閲覧者の声データ
指紋センサによって取得された閲覧者の指紋データ
静脈センサによって取得された閲覧者の静脈データ
瞳センサによって取得された閲覧者の虹彩データ
【0070】
閲覧者特定用データ記憶部132は、人物識別子に対応付けられた生体データからなる閲覧者特定用データの集合を記憶する。例えば、フォトフレーム1を閲覧する人物は、比較的限られた家族、知人等であって、それら人物の生体データが予め記憶されている。
【0071】
閲覧者特定部132は、生体データを入力し、閲覧者特定用データを用いて認証し、閲覧者の生体データに対する閲覧者識別子を特定する。ここでの認証としては、以下のようなものがある。
閲覧者の顔写真に対する画像認証
閲覧者の声データに対する音声(声紋)認証
閲覧者の指紋データに対する指紋認証
閲覧者の静脈データに対する静脈認証
閲覧者の虹彩データに対する虹彩認証
特定された閲覧者識別子は、表示サイズ比決定部15へ出力される。
【0072】
尚、生体データの種類(例えば顔データ)が、閲覧者特定用データ記憶部132と被写体情報記憶部12とで同じである場合、共用することもできる。
【0073】
関係種別情報記憶部134は、閲覧者の閲覧人物識別子に対する画像の被写体人物識別子の関係種別情報を記憶する。このような関係種別情報は、前述したように、例えばfacebook(登録商標)やmixi(登録商標)のようなSNS(Social Networking Service)サーバから取得することもできる。SNSサーバによれば、家族や恋人を指定するモードがある。関係種別情報としては、例えば、本人として閲覧者人物識別子に対応して、「家族」の人物識別子、「知人」の人物識別子等が対応付けられている。これら関係種別情報は、表示サイズ比決定部15へ出力される。
【0074】
前述したように、SNSのソーシャルグラフの経路の短さを関係種別としてもよい。SNSサーバを介したメッセージの回数などの親密度を用いてもよい。特に、SNSサーバに保存されている画像や、SNSサーバに関連付けられた画像を閲覧する際には、SNSサーバから得られる関係種別を適用するとよい。
【0075】
個人属性情報記憶部135は、閲覧者の個人属性情報が記憶されている。個人属性とは、例えば、閲覧者の視覚能力に応じた年齢別の属性である。これら個人属性情報は、表示サイズ比決定部15へ出力される。
【0076】
[表示ルール記憶部14]
表示ルール記憶部14は、閲覧者の閲覧人物識別子に対する画像の被写体人物識別子の関係種別によって、画像の基本サイズ比に対する重みα
1を規定した表示ルールを記憶する。具体的には、表示ルールの重みα
1は、画像の被写体人物識別子に閲覧者の閲覧人物識別子が含まれる場合、基本サイズ比よりも大きい値を表示サイズ比とし、又は、画像の被写体人物識別子に閲覧者の閲覧人物識別子が含まれない場合、基本サイズ比よりも小さい値を表示サイズ比とするものであってもよい。
【0077】
また、表示ルールの重みα
1は、画像の被写体人物識別子に閲覧者の閲覧人物識別子が含まれる場合、基本サイズ比よりも小さい値を表示サイズ比とするものであってもよい。更に、表示ルールの重みα
1は、閲覧者の年齢帯が高くなるほど、基本サイズ比よりも大きい値を表示サイズ比とするものであってもよい。
【0078】
また、表示ルールは、閲覧者の閲覧人物識別子における個人属性によって、画像の基本サイズ比に対する重みα
2を更に規定するものであってもよい。
【0079】
[表示サイズ比決定部15]
表示サイズ比決定部15は、表示ルール記憶部14を用いて、閲覧者の閲覧人物識別子に対する、現に表示すべき画像に写る人物の被写体人物識別子の関係種別及び/又は個人属性によって、ディスプレイに対する当該画像の表示サイズ比を決定する。表示サイズ比は、基本サイズ比Sに対して表示ルールの重みαを乗算した表示サイズ比を決定する。重みαの値が大きい程、表示サイズ比も大きくなる。決定された表示サイズ比Rは、画面出力部16へ出力される。
【0080】
また、表示サイズ比決定部15は、画像の被写体人物識別子に閲覧者の閲覧人物識別子が含まれる場合、当該画像に写る閲覧者の顔領域サイズを用いて、全画面サイズに対する顔領域サイズの大きさの比を、更に重み付けしてもよい。
【0081】
表示サイズ比決定部15は、顔領域検出機能を更に備えることによって被写体人物の顔領域サイズを検出する。顔領域検出機能は、被写体情報記憶部12に蓄積された写真画像毎に、特徴量を抽出し、被写体人物の顔領域を検出する。ここで、顔領域検出の技術は、OpenCVのHaar Feature特徴量を用いたカスケード型分類器に基づく顔検出器ライブラリを、複数の解像度に変換した画像に対して適用することによって検出できる(例えば非特許文献3参照)。
【0082】
尚、顔領域検出機能は、写真画像から被写体人物を自動的に検出する画像管理プログラムにおける顔検出機能を用いたものであってもよい。画像管理プログラムとして、代表的には、Google社によって提供されるPicasa(登録商標)(v3.5以降のname tag 機能)や、Microsoft社のWindows Liveフォトギャラリー(登録商標)、Apple社のiPhoto'09(登録商標)がある。
【0083】
表示サイズ比決定部15が顔領域検出機能を備えることによって、その顔領域サイズの比に「比例」するように更なる重み付けをすることができる。この場合、顔領域サイズの比が大きい画像ほど、表示サイズが大きくなりやすくなり、インパクトのあるレイアウトとなりやすい。これは「普通モード」で使用することが好ましい。
【0084】
逆に、顔領域サイズの比に「反比例」するように更なる重み付けをすることもできる。この場合、レイアウト中の各々の画像表示サイズに関わらず、ある特定種別の人の顔については、顔の面積が一定となるレイアウトとなりやすい。これは、「恥ずかしがり屋モード」で使用することが好ましい。
【0085】
また、他の実施形態として、表示サイズ比決定部15は、閲覧者と関係人物識別子(家族、知人)とが同一画像中に存在する場合には、閲覧者とそれらの関係人物を含むように画像を切り抜くものであってもよい。切り抜かれたその画像に対して、前述したような表示サイズ比で表示することも好ましい。
【0086】
[画面出力部16]
画面出力部16は、画像毎の表示サイズ比に応じた大きさで、当該画像をレイアウトした画面データを出力する。画面データが複数のページに渡る場合には、連続的に出力される。画面データは、ディスプレイ部103又は印刷機能部104へ出力される。
【0087】
図6は、本発明における第5の表示イメージである。
【0088】
図6によれば、本発明に、特許文献3、非特許文献1及び非特許文献2に記載されたコマ割りの技術が適用されたものである。この技術によれば、画面分割数Nを予め設定しておくものであるが、本発明の表示サイズ比R(及び閲覧者の個人属性)に応じて、表示面積Sおよび分割数Nを決定する。
【0089】
Nmaxは、画面サイズによって予め設定されたものであってもよい。例えば、7インチであれば7、それより大きく12インチ以下であれば14、それより大きければ18とする。異なるディスプレイを用いて同一の画像を遠隔地などで同期して閲覧する場合は、小さい方のディスプレイサイズのNmaxを採用する。同様にNminも予め決めておく。例えば、全てのディスプレイサイズで1とする。(Nminが1である場合は、画面に1枚だけ表示される場合がある。Nmaxは2以上とする。)
【0090】
(1)最大分割数Nmaxを、閲覧者の数によって決定する方法
閲覧者数に応じて、最大分割数Nmax及び平均分割数Naveを決定する。例えば閲覧者数が所定数よりも多い場合、最大分割数Nmaxを小さくし、基本サイズSを大きくする。例えば、予め設定されたNmaxの値の半分の値とする。
【0091】
(2)最大分割数Nmaxを、閲覧者の視覚能力によって決定する
閲覧者の視覚能力に応じて、最大分割数Nmax及び平均分割数Naveを決定する。例えば年齢が高いほど視覚能力は低くなりやすく、その場合、最大分割数Nmaxを小さくし、基本サイズSを大きくする。例えば、予め設定されたNmaxの値の半分の値とする。最小面積Sminを指定する場合には、例えば、最小面積の値を倍にし、大きく表示されるようにする。
【0092】
最大分割数Nmax及び平均分割数Naveから計算される値によって、ディスプレイの表示画面が、N個にコマ割りされる。その1個の表示面積が、表示面積Sとされる。画面出力部16は、複数の画像の表示面積の総和が、画像の貼り付け領域面積(画面サイズ)に近くなるように区分した画像組を抽出し、その画像組に含まれる画像を表示サイズSに従って拡大・縮小し、1枚の画面にレイアウトする。
【0093】
各画像に付与された表示面積Sを表示サイズ比Rより求める。例えば、表示すべき複数の画像において表示サイズ比Rを取得し、その中で最小となる表示サイズ比Rの面積が、(画面サイズ/Nmax)になるように、且つ、表示サイズ比Rの中で最大となるRの面積が、(画面サイズ/Nmin)になるように、一次関数で表示面積Sを計算する。他の方法としては、(表示面積、基本サイズ比)の組みを2つ与え、一次関数で表示面積Sを計算する。例えば、平均分割数Naveを用いて、面積(画面サイズ/Nave)と表示サイズ比Rのある値(例えば、R=1)とが一致し、指定した最小表示面積Sminか(画面サイズ/Nmax)と表示サイズ比Rの最小値が一致するように一次関数でSを計算し直す。但し、表示面積Sが(画面サイズ/Nmin)を超えた場合は、その表示面積Sを(画面サイズ/Nmin)とする。
【0094】
その面積Sを可能な限り反映するように、各画像が各コマに割り当てられる。例えば、1ページ目は、画面サイズになるまで、適当に複数枚の画像を選ぶ処理を繰り返し、総和が画面サイズに最も近くなる画像の組を用いてレイアウトされる。分割数Nは選んだ画像の枚数となる。2ページ目は、1ページ目に用いた画像を除いて、同様の処理を繰り返す。画像の順序が決定されている場合も同様に、総和が画面サイズに近くなるようにページ割りをしていき、表示面積Sを可能な限り反映するようにレイアウトする。この場合も分割数Nは選んだ画像の枚数で自動的に決定される。
【0095】
尚、他の実施形態として、スライドショーのように連続的に表示する場合には、重みα
1が大きいほど、表示サイズを大きくするだけでなく、表示時間を長くすることも好ましい。その場合、表示時間を、例えば以下のように設定する。
閾値T1<α
1<T2: 表示時間を通常時間よりも1.5倍長くする
α
1≧T2: 表示時間を通常時間よりも2倍長くする。
また、レイアウトは、余白の面積を算出し、その面積に配置可能な1枚の画像か、足してその面積に配置可能な複数枚の画像を選択し、その位置に配置することも好ましい。
【0096】
更に、他の実施形態として、重みα
1、重みα
2又は前記重みα
1×α
2の値が大きい画像ほど、表示時間を長くすることも好ましい。強調的に表示したい画像ほど、大きく且つ長時間、表示されることとなる。
【0097】
以上、詳細に説明したように、本発明の画面出力装置、プログラム及び方法によれば、閲覧者にとって興味が高い画像が強調的に表示されるレイアウトの画面データを出力することができる。本発明によれば、特に、閲覧者と被写体人物との関係に応じて表示サイズを自動的に決定することによって、閲覧者が特別にパラメータを設定することなく、人物間関係に応じてレイアウトが変化する画面データが出力される。この画面データは、スライドショーのようにディスプレイに表示され、又は、アルバムのように紙媒体に印刷される。画像データのレイアウトは、それを視認する閲覧者によって変化する。
【0098】
本発明によれば、人物間関係の重要度に応じて強調すべき画像の表示サイズを大きくすることによって、1枚の画像表示と比較して一覧性が高く、コマの大きさにメリハリが出て見栄えがよく、コマの大きさがユーザの要望にあった、主観評価の高いレイアウトで画像を閲覧することができる。
【0099】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。