特許第6625598号(P6625598)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オリンパス株式会社の特許一覧

特許6625598画像生成装置、画像生成方法、画像生成プログラム及び画像生成システム
<>
  • 特許6625598-画像生成装置、画像生成方法、画像生成プログラム及び画像生成システム 図000002
  • 特許6625598-画像生成装置、画像生成方法、画像生成プログラム及び画像生成システム 図000003
  • 特許6625598-画像生成装置、画像生成方法、画像生成プログラム及び画像生成システム 図000004
  • 特許6625598-画像生成装置、画像生成方法、画像生成プログラム及び画像生成システム 図000005
  • 特許6625598-画像生成装置、画像生成方法、画像生成プログラム及び画像生成システム 図000006
  • 特許6625598-画像生成装置、画像生成方法、画像生成プログラム及び画像生成システム 図000007
  • 特許6625598-画像生成装置、画像生成方法、画像生成プログラム及び画像生成システム 図000008
  • 特許6625598-画像生成装置、画像生成方法、画像生成プログラム及び画像生成システム 図000009
  • 特許6625598-画像生成装置、画像生成方法、画像生成プログラム及び画像生成システム 図000010
  • 特許6625598-画像生成装置、画像生成方法、画像生成プログラム及び画像生成システム 図000011
  • 特許6625598-画像生成装置、画像生成方法、画像生成プログラム及び画像生成システム 図000012
  • 特許6625598-画像生成装置、画像生成方法、画像生成プログラム及び画像生成システム 図000013
  • 特許6625598-画像生成装置、画像生成方法、画像生成プログラム及び画像生成システム 図000014
  • 特許6625598-画像生成装置、画像生成方法、画像生成プログラム及び画像生成システム 図000015
  • 特許6625598-画像生成装置、画像生成方法、画像生成プログラム及び画像生成システム 図000016
  • 特許6625598-画像生成装置、画像生成方法、画像生成プログラム及び画像生成システム 図000017
  • 特許6625598-画像生成装置、画像生成方法、画像生成プログラム及び画像生成システム 図000018
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6625598
(24)【登録日】2019年12月6日
(45)【発行日】2019年12月25日
(54)【発明の名称】画像生成装置、画像生成方法、画像生成プログラム及び画像生成システム
(51)【国際特許分類】
   H04N 1/387 20060101AFI20191216BHJP
   G06T 5/50 20060101ALI20191216BHJP
【FI】
   H04N1/387 110
   H04N1/387 200
   G06T5/50
【請求項の数】6
【全頁数】19
(21)【出願番号】特願2017-235030(P2017-235030)
(22)【出願日】2017年12月7日
(62)【分割の表示】特願2016-90749(P2016-90749)の分割
【原出願日】2010年2月19日
(65)【公開番号】特開2018-38090(P2018-38090A)
(43)【公開日】2018年3月8日
【審査請求日】2017年12月7日
(73)【特許権者】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】110002907
【氏名又は名称】特許業務法人イトーシン国際特許事務所
(74)【代理人】
【識別番号】100076233
【弁理士】
【氏名又は名称】伊藤 進
(74)【代理人】
【識別番号】100101661
【弁理士】
【氏名又は名称】長谷川 靖
(74)【代理人】
【識別番号】100135932
【弁理士】
【氏名又は名称】篠浦 治
(72)【発明者】
【氏名】松澤 良紀
(72)【発明者】
【氏名】野中 修
【審査官】 梅本 達雄
(56)【参考文献】
【文献】 特開2005−210573(JP,A)
【文献】 特開2011−155417(JP,A)
【文献】 特開2004−046591(JP,A)
【文献】 特開2007−060563(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 1/387
H04N 5/76 − 5/956
G06T 5/50
(57)【特許請求の範囲】
【請求項1】
画像入力部により連続的に取得された複数の画像と共に、上記画像中に含まれる所定の主被写体の画像の大きさと位置の情報を画像の合成のための情報として記録する記録部と、
上記画像中の複数のコマに含まれる被写体の変化を検出し、主被写体と複数の代表コマを選択する代表コマ選択部と、
上記複数の代表コマにおける主被写体の画像の大きさと位置の情報から求められた余白部に当該主被写体の画像が重ならないように合成して上記記録部に記録させる制御部と、
を具備したことを特徴とする画像生成装置。
【請求項2】
上記複数のコマに含まれる上記主被写体の画像部分を抽出して複製した複製画像を作成する複製決定部と、
上記複製決定部が作成した複製画像を合成する合成部と、
を具備したことを特徴とする請求項1に記載の画像生成装置。
【請求項3】
上記複製決定部は、上記記録部から情報を読み出して、上記主被写体の画像の大きさと位置の変化に基づいて上記複数のコマから合成に用いる代表コマを選択する
ことを特徴とする請求項2に記載の画像生成装置。
【請求項4】
画像入力部により連続的に取得された複数の画像中の複数のコマに含まれる被写体の変化を検出し、主被写体と複数の代表コマを選択する代表コマ選択ステップと、
上記複数の代表コマにおける主被写体の画像の大きさと位置の情報から求められた余白部に当該主被写体の画像が重ならないように合成して記録部に記録するステップと、
を具備したことを特徴とする画像生成方法。
【請求項5】
コンピュータに、
画像入力部により連続的に取得された複数の画像中の複数のコマに含まれる被写体の変化を検出し、主被写体と複数の代表コマを選択する代表コマ選択ステップと、
上記複数の代表コマにおける主被写体の画像の大きさと位置の情報から求められた余白部に当該主被写体の画像が重ならないように合成して記録部に記録するステップと、
を実行させるための画像生成プログラム。
【請求項6】
画像を取得する撮像部と、
上記撮像部により連続的に取得された複数の画像と共に、上記画像中に含まれる所定の主被写体の画像の大きさと位置の情報を画像の合成のための情報として記録する記録部と、
上記画像中の複数のコマに含まれる被写体の変化を検出し、主被写体と複数の代表コマを選択する代表コマ選択部と、
上記複数の代表コマにおける主被写体の画像の大きさと位置の情報から求められた余白部に当該主被写体の画像が重ならないように合成して上記記録部に記録させる制御部と、
を具備したことを特徴とする画像生成システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数の画像を利用して合成画像を生成する画像生成装置、画像生成方法、画像生成プログラム及び画像生成システムに関する。
【背景技術】
【0002】
近年、デジタルカメラなどの撮影機能付き携帯機器(撮影機器)は、静止画のみならず、動画撮影機能を有するものが多い。例えば、動画撮影中に静止画を撮影する撮影機器が広く知られている。
【0003】
しかし、静止画は一瞬で見ることが出来て手軽なのに対し、動画や連写(以下、動画とする)は撮影にも鑑賞にも比較的長時間を要し、普及し難い状況であった。
【0004】
動画の良い点とは、動きを再現できることであり、静止画のよい点とは、瞬間を切り取った完成度の高い一瞬の映像を一目で鑑賞できることである。そこで、特許文献1においては、動画を利用して静止画を作成する技術が開示されている。特許文献1の発明においては、動画切出し手段によって切り出された部分動画を、サムネイル動画として動画データに対応付けて動画記憶手段に記憶させるものである。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第4189575号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1の発明は、動画検索用のものであり、シーンチェンジを表示するものとしては有効であるが、主要被写体の様子は分からなかった。
【0007】
本発明は、動画から静止画を生成して、被写体の動きを再現しながら、瞬時に鑑賞可能な画像を得るなど、楽しい画像を簡単に作ることができる画像生成装置、画像生成方法、画像生成プログラム及び画像生成システムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の一態様に係る画像生成装置は、画像入力部により連続的に取得された複数の画像と共に、上記画像中に含まれる所定の主被写体の画像の大きさと位置の情報を画像の合成のための情報として記録する記録部と、上記画像中の複数のコマに含まれる被写体の変化を検出し、主被写体と複数の代表コマを選択する代表コマ選択部と、上記複数の代表コマにおける主被写体の画像の大きさと位置の情報から求められた余白部に当該主被写体の画像が重ならないように合成して上記記録部に記録させる制御部と、を具備する。
【0009】
本発明の一態様に係る画像生成方法は、画像入力部により連続的に取得された複数の画像中の複数のコマに含まれる被写体の変化を検出し、主被写体と複数の代表コマを選択する代表コマ選択ステップと、上記複数の代表コマにおける主被写体の画像の大きさと位置の情報から求められた余白部に当該主被写体の画像が重ならないように合成して記録部に記録するステップと、を具備する。
【0010】
本発明の一態様に係る画像生成プログラムは、コンピュータに、画像入力部により連続的に取得された複数の画像中の複数のコマに含まれる被写体の変化を検出し、主被写体と複数の代表コマを選択する代表コマ選択ステップと、上記複数の代表コマにおける主被写体の画像の大きさと位置の情報から求められた余白部に当該主被写体の画像が重ならないように合成して記録部に記録するステップと、を実行させる。
【0011】
本発明の一態様に係る画像生成システムは、画像を取得する撮像部と、上記撮像部により連続的に取得された複数の画像と共に、上記画像中に含まれる所定の主被写体の画像の大きさと位置の情報を画像の合成のための情報として記録する記録部と、上記画像中の複数のコマに含まれる被写体の変化を検出し、主被写体と複数の代表コマを選択する代表コマ選択部と、上記複数の代表コマにおける主被写体の画像の大きさと位置の情報から求められた余白部に当該主被写体の画像が重ならないように合成して上記記録部に記録させる制御部と、を具備する。
【発明の効果】
【0012】
本発明によれば、連続して撮影した結果から適当な部分を取り出して、新しい画像を生成して、被写体の動きを再現しながら、それを要約して簡単に鑑賞可能な画像を得ることができるという効果を有する。
【図面の簡単な説明】
【0013】
図1】本発明の第1の実施の形態に係る画像生成装置の回路構成を示すブロック図。
図2】仮記録部4bに記録される情報を説明するための説明図。
図3】台紙決定部1c及び複製決定部1dの処理を説明するための説明図。
図4図4はカメラ制御を示すフローチャート。
図5】主被写体の判定フローを示すフローチャート。
図6】選択コマの決定フローを示すフローチャート。
図7】動画像から合成される合成画像の一例を示す説明図。
図8】本発明の第2の実施の形態を示すフローチャート。
図9】合成画像作成処理を示すフローチャート。
図10】被写体合成処理を示すフローチャート。
図11】本発明の第3の実施の形態による画像合成を説明するための説明図。
図12】被写体複製合成処理を示すフローチャート。
図13】複製画像を説明するための説明図。
図14】空きスペースの判定フローを示すフローチャート。
図15】コマ選択処理及び合成処理を示すフローチャート。
図16】コマ選択処理及び合成処理を示すフローチャート。
図17】合成画像を説明するための説明図。
【発明を実施するための形態】
【0014】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【0015】
(第1の実施の形態)
図1は本発明の第1の実施の形態に係る画像生成装置の回路構成を示すブロック図である。本実施の形態は本発明を撮影装置に適用した例を示している。
【0016】
本実施の形態は動画中に存在する人物を検出し、検出した1人以上の人物から主被写体となる人物を特定し、特定した主被写体の画像部分を動画像から複数抽出して、1枚の静止画像上に合成して合成画像を生成するものである。これにより、動きのある被写体を瞬時に鑑賞可能な静止画によって見ることができる。なお、以下、動画像から合成画像を作成するものとして説明するが、連続的に撮影された画像であればよく、連写された一連の静止画像等から合成画像を生成してもよい。
【0017】
図1において、画像生成装置10は、CCDやCMOSセンサ等の撮像素子によって構成された撮像部2を有している。撮像部2は、後述する信号処理及び制御部1によって、絞り、ピント、ズーム等が制御可能に構成されており、様々な構図、被写体に対応した撮像が可能である。
【0018】
撮像部2は、信号処理及び制御部1によって駆動制御されて、被写体の動画像を撮像し、画像信号を出力する。信号処理及び制御部1は、撮像部2に撮像素子の駆動信号を出力すると共に、撮像部2からの画像信号を取り込む。
【0019】
信号処理及び制御部1は、入力された画像信号に対して、所定の信号処理、例えば、色信号生成処理、マトリックス変換処理、その他各種の信号処理を行う。信号処理及び制御部1は、画像信号の記録に際して、符号化処理を施して圧縮した画像情報を出力することもできるようになっている。信号処理及び制御部1は、信号処理した画像信号を記録部4に与えて記録させると共に、表示部7に与えて表示させることができるようになっている。
【0020】
また、画像生成装置10には、時計部5、操作判定部6も設けられている。時計部5は信号処理及び制御部1が用いる時間情報を発生する。操作判定部6は、画像生成装置10に設けられた図示しないレリーズスイッチや撮影モード設定等の各種スイッチに対するユーザ操作に基づく操作信号を発生して、信号処理及び制御部1に出力するようになっている。信号処理及び制御部1は、操作信号に基づいて、各部を制御する。
【0021】
本実施の形態においては、撮像部2が撮像した動画像の画像信号は信号処理及び制御部1だけでなく、顔検出部3及び記録部4にも与えられる。記録部4は、入力された動画像の画像信号を記録することができる。
【0022】
顔検出部3は、撮像部2から動画像の画像信号が与えられ、画像内に人間の顔の特徴を有する陰影パターンが存在するか否かをコマ(フレーム)毎に検出する。顔検出部3は、検出した顔領域についての検出結果を信号処理及び制御部1に与える。なお、顔検出部3は、検出した顔領域について、顔の表情を示す特徴量を求めて、検出結果として信号処理及び制御部1に与えるようにしてもよい。
【0023】
信号処理及び制御部1は、顔検出部3の検出結果に基づいて、画像内に存在する顔の画像位置、サイズ等の情報を生成し、生成した情報を記録部4に記録された動画像の各コマに対応させて、記録部4内の仮記録部4bに記録させるようになっている。
【0024】
図2は仮記録部4bに記録される情報を説明するための説明図である。図2は信号処理及び制御部1によって生成される人物情報を示している。
【0025】
図2の()内の数字は、画像を水平及び垂直方向に10分割した場合において画像左下を原点とした場合のX(横)、Y(縦)座標の値を示しており、()に続く数値は、画像横方向の長さを10とした場合の、顔領域の大きさを示している。なお、座標及びサイズを示すために用いた分割数は一例である。
【0026】
図2に示す人物情報は、各タイミングT1,T2,…において検出された顔領域を人物に割り当てて示している。タイミングT1,T2,…は、撮像部2からの画像のコマに対応しており、信号処理及び制御部1は、毎コマ又は所定の周期のコマについて、顔領域の検出結果から人物を特定する。
【0027】
即ち、信号処理及び制御部1は、顔検出部3から顔検出結果が与えられると、画像中に検出された顔領域について人物を割り当てる。図2の例では、タイミングT1において3つの顔領域が検出され、各顔領域の中心座標は夫々(1,5)、(5,5)、(8,2)であり、これらの検出結果に夫々人物A〜Cを割り当てたことを示している。また、各人物A〜Cの顔領域の水平サイズは、夫々1、1、2である。
【0028】
信号処理及び制御部1は、顔検出部3の検出結果に基づいて、顔領域の動きを認識することで、検出された各顔領域が、割り当てたいずれの人物に対応するものかを認識することができる。例えば、信号処理及び制御部1は、公知の追尾オートフォーカス技術を利用することで、同一人物に基づく顔領域の動きを検出することが可能である。
【0029】
こうして、信号処理及び制御部1は、次のタイミングT2において、人物Aに割り当てた顔領域が検出されず、人物Bに割り当てた顔領域が座標(4,6)に移動し、人物Cに割り当てた顔領域が座標(8,2)の位置で固定されていることを検出し、図2に示す人物情報を生成する。
【0030】
以後同様にして、信号処理及び制御部1は、各人物毎に、各タイミングにおける顔領域の中心座標及び顔領域のサイズを求めて、人物情報を生成する。
【0031】
なお、図2では、顔領域の水平方向のサイズによって大小を決めたが、垂直方向のサイズを用いてもよく、面積を用いてもよいことは明らかである。
【0032】
なお、顔領域の動きを検出することで、画像中の顔領域がいずれの人物に対応するものであるかを検出したが、顔領域の特徴量を求め、この特徴量の比較によって各顔領域がいずれの人物に対応するものであるかを検出するようにしてもよい。
【0033】
本実施の形態においては、信号処理及び制御部1は、主被写体決定部1b、台紙決定部1d、複製決定部1d及び合成部1eを有している。主被写体決定部1bは、人物情報を用いて、動画像中に現れる顔領域を有する複数の人物のうち、主被写体となる人物を決定する。
【0034】
主被写体決定部1bは、動画中において顔領域が検出される頻度、画像中の位置及びその変化、顔領域のサイズ及びその変化等に基づいて主被写体を決定する。例えば、図2の例では、人物Aの顔領域は、タイミングT2において、画像中から消失している。また、人物Cの顔領域は、画像の比較的周辺部に位置し、位置が変化せず、またサイズも比較的小さく変化がない。これに対し、人物Bの顔領域は、画面の略中央において、動きがあり、大きさの変化もあって、タイミングT5では比較的大きなサイズとなっている。そこで、例えば、図2の例では、主被写体決定部1bは、人物Bを主被写体として選択する。
【0035】
台紙決定部1dは、人物情報を用いて、主被写体の合成画像の背景となる画像(以下、台紙という)を決定する。複製決定部1dは、動画中から検出された主被写体を含む複数の画像のうち合成画像に用いる主被写体の画像を含むコマを選択コマとして決定する。
【0036】
図3は台紙決定部1c及び複製決定部1dの処理を説明するための説明図であり、台紙決定部1c及び複製決定部1dの処理に基づいて信号処理及び制御部1によって生成される選択用コマ情報を示している。
【0037】
図3は主被写体として図2の人物Bを選択した場合において、合成画像に用いるコマの選択を説明するためのものである。本実施の形態においては、動画像から主被写体を抽出して背景上に重ね合わせて表示する。従って、背景となる台紙を得るためには、台紙の絵柄の動きが小さく、なるべく静止画であることが望ましい。
【0038】
また、多くの主被写体を合成することを考慮した場合には、台紙としては、他のコマから抽出した多くの主被写体又はサイズが大きい主被写体を合成可能とするために、空きスペースが大きいコマ、即ち、主被写体のサイズがなるべく小さいコマを選択した方がよいという考え方を一例として説明するが、主被写体の写っていないコマでもよく、スペースが十分あれば、顔がはっきり写っているコマでもよい。もちろん、主被写体の動きの起点となる最初のコマを台紙と決定してもよい。また、主被写体の動きの終点となる最後のコマを台紙と決定してもよい。台紙の決定方法は種々選択可能であり、例えば、台紙決定部1cは、ユーザの台紙の指定操作に基づく操作判定部6からの操作信号によって、台紙となる画像を決定してもよい。
【0039】
図3の例は、台紙決定部1cが各コマのうち主被写体のサイズが最も小さいコマを台紙として選択することを示している。選択された台紙においては、主被写体の顔領域の水平方向サイズは1である。後述するように、台紙上において、各被写体を水平方向に重ならないように配置するためには、主被写体の顔領域のサイズ1に対して、肩幅の水平サイズを顔領域の両側に1ずつとして空きスペースを判定する。図3の例では、空きスペースは台紙上の主被写体の左側に4スペースで、右側に3スペースである。
【0040】
複製決定部1dは、主被写体の顔領域が存在する各コマのうち、いずれのコマの主被写体を合成に用いるかを決定する。複製決定部1dは、変化に富んだ主被写体、多彩な絵柄の主被写体を合成するようにコマの選択をする。複製決定部1dは、選択したコマ(選択コマ)の情報を仮記録部4bに与えて記録させる。
【0041】
図3の例では、複製決定部1dは、前後のコマで顔領域の大きさが大きく変化した場合に、その変化後のコマを選択コマとする。また、複製決定部1dは、前後のコマで顔領域の画像上の位置が大きく変化した場合に、その変化後のコマの選択コマとする。さらに、複製決定部1dは、顔領域の特徴量から顔の表情を判定し、笑顔であると判定したコマを選択するようにしてもよい。例えば、瞼や口の曲がり具合を特徴量として数値化し、数値が高いほど笑顔であると判定する。
【0042】
合成部1eは、複製決定部1dが決定したコマから主被写体の画像部分を抽出して複製した複製画像を作成し、台紙決定部1cが決定した台紙上に合成する。信号処理及び制御部1は、合成部1eが生成した合成画像を表示部7に与えて表示させると共に、記録部4に与えて記録させることができるようになっている。
【0043】
次に、このように構成された実施の形態の動作について図4乃至図6のフローチャート及び図7の説明図を参照して説明する。図4はカメラ制御を示し、図5は主被写体の判定フローを示し、図6は選択コマの決定フローを示している。図7は動画像から合成される合成画像の一例を示している。
【0044】
画像生成装置10の電源がオンの場合には、図4のステップS1から処理がステップS2に移行して、信号処理及び制御部1は撮影モードが指示されたか否かを判定する。撮影モードが指示されていない場合には、信号処理及び制御部1は、ステップS3において、再生モードが指示されたか否かを判定する。再生モードが指示されると、信号処理及び制御部1は、ステップS4において、サムネイルの一覧表示を行う。サムネイル一覧を参照したユーザによる画像の選択が行われると、ステップS5からステップS6に処理を移行して、信号処理及び制御部1は選択画像の再生を行う。
【0045】
一方、撮影モードが指示されると、信号処理及び制御部1は、ステップS7において、撮像部2からの画像信号に基づいて、表示部7に撮像画像(スルー画)を表示させる。
【0046】
ステップS8〜S18は、合成画像の作成のためのフローである。ユーザによって記録開始の操作が行われると、信号処理及び制御部1は操作判定部6からの操作信号に基づいて撮像部2を駆動し、動画像の撮影を開始させる。
【0047】
図7は撮像部2によって撮影された動画像の3コマF1〜F3の一例を示している。コマF1〜F3は略同一画角を撮影したものであり、撮像範囲の上方右側には建物が左側には樹木が写され、撮像範囲の略中央には曲線上の道が写されてる。なお、コマF1中の「背景部」の文字は合成画像の説明のために記入したものである。
【0048】
ステップS10においては、顔判定が行われる。顔検出部3は、動画像の各コマから顔領域を検出し、検出結果を信号処理及び制御部1に出力する。信号処理及び制御部1は、ステップS11において、顔検出結果に基づいて生成した人物情報を仮記録部4bに記録させる。なお、撮像部2からの動画像は記録部4に記録されており、信号処理及び制御部1は記録部4に記録される動画像の各コマに対応させて人物情報を記録する。
【0049】
次のステップS12においては、背景変化が大きいか否かが判定される。信号処理及び制御部1は、撮影される動画像の撮影範囲が変化する場合のように、背景が著しく変化する場合には、合成画像の合成には不適当であるので、ステップS13において背景変化の警告を行う。例えば、信号処理及び制御部1は、表示部7に背景の変化が大きいことを示す警告表示を表示させる。こうした合成画像を想定して、動く被写体を撮影するユーザはこれを確認しながら撮影すればよい。
【0050】
信号処理及び制御部1は、ステップS14において動画像の記録が終了したか否かを判定し、終了していない場合には、ステップS9〜S13の処理を繰り返す。
【0051】
動画像の記録が終了すると、ステップS15において、信号処理及び制御部1は被写体候補の有無を判定する。信号処理及び制御部1は、動画像中に顔検出されたコマが含まれていない場合には、ステップS19において警告を行う。例えば、信号処理及び制御部1は、動画中に合成する人物が撮影されていないことを示す警告表示を表示部7に表示させる。
【0052】
ステップS16では、主被写体の決定が行われる。図5に示すように、主被写体決定部1bは、ステップS21〜S23の処理によって、主被写体を決定する。即ち、主被写体決定部1bは、動画中に最初から最後まで記録されている人物を優先、動きのある人物を優先、画面中央近くの人物を優先して主被写体を決定する。なお、ステップS21〜S23の処理順は適宜変更可能である。また、更に、主被写体決定部1bは、顔領域のサイズを加味して主被写体を決定してもよい。
【0053】
図7の例では、コマF1〜F3のいずれにも人物W1,W2が記録されている。しかし、人物W2の画像W2(F1)〜W2(F3)は、いずれも撮影範囲の右側の同一位置及び同一サイズで写されている。これに対し、人物W1の画像W1(F1)〜W1(F3)は、撮像範囲の略中央において、顔領域の位置及びサイズが変化して写されている。従って、図7の例では、人物W1が主被写体に決定される。
【0054】
次のステップS17においては、選択コマの決定処理が行われる。即ち、ステップS17においては、台紙決定部1cによる台紙の決定及び複製決定部1dによる合成画像に用いる選択コマの決定が行われる。
【0055】
図6はこのフローを示している。先ず、ステップS31において、台紙決定部1cは、台紙とするコマを決定する。例えば、台紙決定部1cは、主被写体のサイズが小さく主被写体を除くスペース(空きスペース)が大きいコマを台紙に選択する。図7の例では各コマF1〜F3の背景B1〜B3のうち、主被写体として選択した人物W1(F1)の顔のサイズが最も小さい人物の画像W1(F1)の背景である背景B1の空きスペースが最も大きい。台紙決定部1cは、例えば背景B1を有するコマF1を台紙に決定する。
【0056】
なお、台紙決定部1cは、顔領域のサイズによって台紙を選択したが、顔領域を含む人物のサイズによって台紙を選択するようにしてもよい。
【0057】
次のステップS32〜S39は、台紙上に重ねて表示する人物の画像をいずれのコマから選択するかを決定するコマの選択処理である。先ず、複製決定部1dは、ステップS32において、最初のコマの画像の情報をIm0とする。次に、複製決定部1dは、ステップS33において次のコマの画像の情報をIm1とし、Im0とIm1とを比較する(ステップS34)。
【0058】
画像信号は記録部4に記録されており、複製決定部1dは記録部4から画像信号を読み出して、Im0,Im1相互の比較を行う。これにより、複製決定部1dは、主被写体の顔領域の位置及びサイズ、或いは表情に大きな変化があったか否かを判定する(ステップS35)。
【0059】
例えば、複製決定部1dは、顔領域の中心位置が所定の閾値以上大きく移動したか否か、顔領域のサイズが所定の閾値以上大きく変化したか否か、顔領域の特徴量が、所定の閾値以上変化したか否かに基づいて、主被写体が大きく変化したか否かを判定する。なお、顔領域だけでなく、人物全体の画像からこれらの判定を行ってもよい。
【0060】
複製決定部1dは、次のステップS36において、主被写体が大きく変化したと判定したコマについて、そのコマを特定する情報及び変化量を仮記録部4に記録する。複製決定部1dは、ステップS37において最後のコマまで判定したか否かを判定する。最後のコマまで判定していない場合には、ステップS38において、Im1の情報をIm0として、ステップS33〜S37を繰り返す。
【0061】
最後のコマまでの判定が終了すると、複製決定部1dは、ステップS39において、仮記録部4bに変化量が閾値よりも大きいとして記録されたコマのうち、変化量が大きい順に所定枚数のコマを合成に用いる選択コマとして選択する。
【0062】
選択コマが決定すると、合成部1eは、図4のステップS18において、合成画像を作成する。即ち、合成部1eは、ステップS39において選択された選択コマ上の主被写体の画像部分を抽出して複製画像を生成し、生成した複製画像を台紙の画像上に重ねて合成画像を生成する。
【0063】
図7はコマF1が台紙として選択され、コマF2,F3は複製に用いる選択コマとして選択された例を示している。即ち、合成部1eは、コマF2から人物の画像W1(F2)を抜き出し、コマF3から人物の画像W1(F3)を抜き出す。そして、抜き出した画像W1(F2),W1(F3)に基づく複製画像を台紙の画像上に配置した合成画像(静止画像)P1を得る。合成画像P1上には、各コマから抽出された主被写体が並んで配置されている。この合成画像P1は、主被写体の様々な状態が1枚の画像に静止画像化されたものであり、主被写体の動きの様子を瞬時に想像させることができる。
【0064】
合成部1eは、生成した合成画像を記録部4に与えて記録させる。また、合成部1eは生成した合成画像を表示部7に与えて表示させる。
【0065】
このように本実施の形態においては、動画中の各コマから主被写体を検出し、主被写体の合成に用いる選択コマ及び台紙として使用するコマを選択して、台紙上に複数の主被写体の複製画像を合成する。被写体の合成に用いる選択コマを選択する場合には、被写体の変化が大きいコマが選択される。これにより、合成画像は、被写体の動きを再現するものとなり、1枚の静止合成画像によって瞬時に生き生きとした被写体の様子を把握することが可能となる。
【0066】
(第2の実施の形態)
図8は本発明の第2の実施の形態を示すフローチャートである。図8において図6と同一の手順には同一符号を付して説明を省略する。
【0067】
本実施の形態は選択コマ決定方法が第1の実施の形態と異なるのみであり、ハードウェア構成は図1と同様である。第1の実施の形態においては、図6のステップS33,S34に示すように、連続的に発生するコマを順次比較した。
【0068】
これに対し、本実施の形態は、所定時間毎のコマを順次比較するようにしたものである。なお、図8では所定時間を1秒とした例を示している。また、本実施の形態においては、主被写体を複製するコマの選択の後に、台紙となるコマの選択を行っている。
【0069】
ステップS41において、複製決定部1dは、最初のコマから1秒後のコマの画像の情報をIm1とし、Im0とIm1とを比較する(ステップS34)。これにより、複製決定部1dは、主被写体の顔領域の位置、サイズ及び表情に大きな変化があったか否かを判定する(ステップS35)。
【0070】
複製決定部1dは、次のステップS42において、主被写体が大きく変化したと判定したコマについて、そのコマを特定する情報及び変化量を仮記録部4に記録する。複製決定部1dは、ステップS43において1秒後のコマが存在するか否かを判定する。1秒後のコマが存在する場合には、ステップS38において、Im1の情報をIm0として、ステップS33〜S37を繰り返す。
【0071】
1秒後のコマが存在しない場合には、複製決定部1dは、ステップS44において、仮記録部4bに変化量が閾値よりも大きいとして記録されたコマのうち、変化量が大きい順から2枚のコマを合成に用いるコマとして選択する。なお、図6のステップS39と同様に、3枚以上のコマを選択するようにしてもよい。
【0072】
本実施の形態においては、次のステップS45において、台紙とするコマを選択する。即ち、複製決定部1dは、主被写体のサイズが小さいコマであって、当該コマ中の主被写体の顔の表情と、ステップS44において選択されたコマ中の主被写体の顔の表情との変化が大きいコマを、台紙のコマとして選択する。
【0073】
図8のフローによれば、台紙上に、主被写体についての3つの画像が合成されて表示される。3つの主被写体の画像は、相互に顔の表情が比較的大きく異なっており、合成画像によって主被写体の変化に富んだ顔の表情を鑑賞することが可能である。
【0074】
本実施の形態における他の作用は第1の実施の形態と同様である。
【0075】
このように本実施の形態においては、合成画像に用いるコマを選択する場合に、所定時間毎のコマを用いることができる。これにより、主被写体が大きく変化するコマを検出するために必要な演算量を著しく低減させることができる。また、本実施の形態においては、台紙となるコマの選択に際して、台紙となるコマ中の主被写体のサイズだけでなく、台紙となるコマの主被写体の画像と合成する他の主被写体の画像との変化の大きさも考慮しており、第1の実施の形態よりも一層変化に富んだ合成画像を得ることができる。
【0076】
(第3の実施の形態)
図9乃至図11は本発明の第3の実施の形態に係り、図9は合成画像作成処理を示すフローチャート、図10は被写体合成処理を示すフローチャート、図11は第3の実施の形態による画像合成を説明するための説明図である。
【0077】
本実施の形態は合成画像の作成方法が第1の実施の形態と異なるのみであり、ハードウェア構成は図1と同様である。第1の実施の形態においては、図7に示すように、人物の画像を切出して複製し、台紙の空きスペースに配置した。しかしながら、人物の画像の切出し処理及び空きスペースへの配置処理には比較的大きな演算量を要することが考えられる。そこで、本実施の形態においては、合成画像に用いる主被写体の画像の切出し及び配置処理を簡単に行うことを可能にしている。
【0078】
図9のステップS51において、合成部1eは、台紙上の主被写体の左右の空きスペースのサイズL,Rを求める。図11(a)は台紙決定部1eによって選択された台紙21を示している。台紙21は中央に主被写体22が撮像されている。主被写体22の画像領域を除く領域が空きスペースであり、合成部1eは、空きスペースのうち主被写体22の左右の空きスペース23,24のサイズL,Rを求めるのである。
【0079】
次のステップS52において、合成部1eは、左右の空きスペースの大小を求める。図11(a)の例ではR>Lである。
【0080】
次に、ステップS53において、合成部1eは、選択コマの主被写体の大小を求める。図11(b),(c)は、複製する主被写体を含むコマ25,28を示している。コマ25上には、複製する主被写体26が中央に写されている。主被写体26は上半身のみが撮像されている。また、コマ28上には、複製する主被写体29が中央に写されている。主被写体26,29では主被写体26の方がサイズが大きい。
【0081】
合成部1eは、次のステップS54において、台紙21上の大きい空きスペース24に大きい主被写体26を複製して合成する。また、合成部1eは、次のステップS55において、台紙21上の小さい空きスペース23に小さい主被写体29を複製して合成する。
【0082】
図10図9のステップS54,S55の合成処理の具体例を示している。図10のステップS56において、選択されたコマ25,28から、合成に用いる主被写体26,29の複製画像を作成する。この場合には、処理を簡略化するために、主被写体26の輪郭に沿って複製画像を作成するのではなく、顔検出部3が検出した顔領域26a,29aを基準に複製範囲を決定する。即ち、顔領域26a,29aのサイズ(頭部幅)の3倍のサイズを主被写体の水平サイズであるとする。また、下半身が撮像されていない主被写体が、中に浮いた状態で合成されることを防止すると共に、複製の演算量を低減するために、顔領域26a,29aの上端から撮像範囲の下端までを主被写体の人物領域の画像であるものとして、これらの破線で囲った矩形の領域27,30を複製画像とする。
【0083】
次に、ステップS57において、合成部1eは、空きスペースの下端に複製画像の下端を合わせて、台紙上に複製画像を貼り付ける。図11(d)はこの状態を示している。領域27の複製画像は台紙21上の広い方の空きスペース24に、下端を撮像範囲の下端に一致させて合成される。また、領域30の複製画像は台紙21上の狭い方の空きスペース23に、下端を撮像範囲の下端に一致させて合成される。
【0084】
このように本実施の形態においては、少ない演算量で、選択された主被写体の複製画像を作成して、合成することができる。
【0085】
なお、空きスペース、配置する主被写体のサイズを水平方向のサイズによって求める例を示したが、垂直方向のサイズを用いてもよく、水平及び垂直方向のサイズを用いてよい。
【0086】
また、本実施の形態においては、3つの主被写体のみを合成する例について示したが、合成する主被写体の数は適宜設定可能であることは明らかである。
【0087】
(第4の実施の形態)
図12及び図13は本発明の第4の実施の形態に係り、図12は被写体複製合成処理を示すフローチャート、図13は複製画像を説明するための説明図である。
【0088】
本実施の形態は被写体合成処理が第3の実施の形態と異なるのみであり、ハードウェア構成は図1と同様である。第3の実施の形態においては、矩形の複製画像を合成した。これに対し、本実施の形態においては、被写体の形状に合わせた複製画像を簡単に作成可能にするものである。
【0089】
ステップS61において、合成部1eは、選択されたコマ中の主被写体を含む複製画像を作成する。図13は選択されたコマ中の主被写体35を示している。合成部1eは、選択されたコマとその前のコマとを比較し、変化した部分が主被写体35の画像部分であるものとし、この画像部分を複製画像36とする。合成部1eは、作成した複製画像を台紙の空きスペースに貼り付ける。この場合には、作成した複製画像の顔領域の垂直位置を合わせて貼り付ける(ステップS62)。
【0090】
このように本実施の形態においては、コマ同士を比較し、変化した部分を主被写体の画像部分であると推定することで、簡単に複製画像を生成することができる。
【0091】
なお、この手法は台紙の空きスペースの判定にも用いることができる。
【0092】
図14はこのような空きスペースの判定フローを示すフローチャートである。
【0093】
台紙決定部1cは、台紙として選択したコマとその前後のコマとを比較する(ステップS65)。台紙決定部1cは、台紙のコマと前後のコマとで変化した部分を主被写体の画像部分であるものと判定して切り取り、切り取った部分以外を空きスペースとする(ステップS66)。こうして、比較的簡単に空きスペースを求めることができる。
【0094】
(第5の実施の形態)
図15乃至図17は本発明の第5の実施の形態に係り、図15及び図16はコマ選択処理及び合成処理を示すフローチャート、図17は合成画像を説明するための説明図である。
【0095】
本実施の形態は複製するコマの選択方法又は合成方法が第3又は第4の実施の形態と異なるのみであり、ハードウェア構成は図1と同様である。
【0096】
第3又は第4の実施の形態においては、空きスペースの大小に夫々対応させて大きい主被写体と小さい主被写体の複製画像を配置した。しかし、空きスペースのサイズと複製画像のサイズによっては主被写体同士が重なったり、撮像範囲からはみ出すことが考えられる。
【0097】
図17(a)はこの場合の合成画像の一例を示している。1つの主被写体42を含む台紙41上に、2つの主被写体に基づく複製画像43,44が配置されている。2つの主被写体に基づく複製画像43,44の水平サイズの和が空きスペースの和のサイズよりも大きく、複製画像43,44が被写体42の画像上に重なって、主被写体42の画像の一部が欠落している。
【0098】
そこで、図15のフローでは、空きスペースのサイズに応じて、撮像範囲に配置可能な主被写体の画像を含むコマを選択するようにしている。
【0099】
図6のステップS39、図8のステップS44では、空きスペースのサイズと比較することなく、複製するコマを選択した。図15のフローチャートは、複製画像を生成する元となるコマを選択する前に、空きスペースのサイズを求め、空きスペースのサイズに合わせて、コマの選択を行うものである。
【0100】
図15のステップS71,S72の処理は図9のステップS51,S52と同一の処理であり、空きスペースのサイズを求めて大小判定を行う。複製決定部1dは、空きスペースのサイズに応じて複製画像の元となる主被写体を含むコマを選択する。合成部1eは、選択されたコマ中の主被写体の画像に基づいて複製画像を生成し、台紙上に生成した複製画像を重ねて合成画像を生成する。
【0101】
このように図15のフローを採用することで、主被写体の画像が重なって画像の一部が欠落したり、主被写体の画像が撮像範囲からはみ出したりすることを防止することができる。
【0102】
なお、図15のフローに基づくコマの選択方法は、図6のステップS39又は図8のステップS44の処理と組み合わせて行ってもよい。即ち、これらのS39,S44のステップにおける選択の前に、空きスペースのサイズを求め、空きスペースに入る複製画像が得られるコマの中から、これらのステップS39,S44において変化量の大きいコマを選択するようにしてもよい。
【0103】
逆に、ステップS39,S44の処理を先に行った後、台紙のコマと複製画像の元となる選択コマとを選択するようにしてもよい。即ち、この場合には、ステップS39,S44等において、複製決定部1dが、変化量が大きい主被写体が含まれるコマを選択コマの候補として選択する。次に、信号処理及び制御部1は全ての画像中の主被写体のサイズを画像間で比較する。そして、この比較に基づいて、台紙決定部1cにより台紙上に所望の数の主被写体の画像が配置されるように、台紙の画像を選択すると共に、複製決定部1dにより選択コマの候補中から複製に用いる選択コマを選択する。合成部1eは、選択コマ中の主被写体に基づく複製画像を生成し、選択した台紙上に合成することで、合成画像を生成する。
【0104】
このような手順によって合成画像を生成することで、全画像中の全ての主被写体のサイズに応じて有効に被写体の複製画像を配置することができるという利点がある。
【0105】
また、図16のフローは、空きスペースのサイズに応じて、複製画像を配置可能なサイズまで縮小するようにしたものである。
【0106】
図16において、ステップS71,S72において、空きスペースのサイズを求めて大小判定を行う。次に、合成部1eは、選択したコマの主被写体の大小判定を行う。
【0107】
そして、合成部1eは、ステップS77において、大きい方の空きスペースに、大きい方の主被写体に基づく複製画像が収まるように、複製画像の縮小処理を行った後に、張り合わせる。同様に、合成部1eは、ステップS78において、小さい方の空きスペースに、小さい方の主被写体に基づく複製画像が収まるように、複製画像の縮小処理を行った後に、張り合わせる。
【0108】
図7(b),(c)は、この縮小処理を示している。図7(b)においては、1つの主被写体52を含む台紙51上に、2つの主被写体に基づく複製画像53,54が配置されている。2つの主被写体に基づく複製画像53,54のサイズが比較的大きいことから、主被写体52及び複製画像53,54同士が重なり合って表示されている。
【0109】
これに対し、図7(c)は、複製画像53,54を縮小した縮小複製画像53’,54’を台紙51上に配置した例を示している。縮小複製画像53’,54’のサイズは、空きスペースに応じたサイズになっており、縮小複製画像53’,54’と被写体42とは重なり合うことなく、台紙51上に配置される。
【0110】
このように本実施の形態においては、主被写体を含むコマを空きスペースのサイズに対応させて求めるか、又は、主被写体に基づく複製画像を縮小したのち空きスペースに配置するようになっており、台紙上において各被写体の画像が重なり会うことなく、十分な大きさで配置することができる。
【0111】
なお、上記説明では、複製画像を縮小する例について説明したが、空きスペースのサイズと主被写体に基づく複製画像のサイズによっては、複製画像を拡大処理して合成するようにしてもよい。
【0112】
また、本実施の形態においては、2箇所の空きスペースに複製画像を配置する例について説明したが、3箇所以上の空きスペースを求めて3つ以上の複製画像を配置するようにしてもよいことは明らかである。
【0113】
上記各実施の形態においては、台紙上の主被写体の画像はそのまま用いたが、複製決定部において台紙上の主被写体に基づく複製画像を生成し、この複製画像を台紙上の任意の位置に配置するように構成してもよい。この場合には、台紙上に配置する各複製画像の配置の自由度が向上するという利点がある。
【0114】
また、本発明に係る画像生成装置は、撮影機能を備えている必要はなく、撮像部に代えて、動画像信号を取り込む画像入力部を設けていてもよい。即ち、本発明に係る画像生成装置は、動画ファイルを入力すると、静止画が表示されるフォトフレーム等に応用が可能である。
【0115】
また、最終的に作られる画像は、静止画に限る必要はなく、本発明の考え方で合成された画像を複数用意して順次表示すれば、特殊効果の効いた、賑やかな動画となることは言うまでもない。
【符号の説明】
【0116】
1…画像生成装置、1b…主被写体決定部、1c…台紙決定部、1d…複製決定部、1e…合成部、2…撮像部、3…顔検出部、4…記録部、4b…仮記録部、6…操作判定部、7…表示部。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17