特許第6423612号(P6423612)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オリンパス株式会社の特許一覧
特許6423612情報機器、画像処理方法およびプログラム
<>
  • 特許6423612-情報機器、画像処理方法およびプログラム 図000002
  • 特許6423612-情報機器、画像処理方法およびプログラム 図000003
  • 特許6423612-情報機器、画像処理方法およびプログラム 図000004
  • 特許6423612-情報機器、画像処理方法およびプログラム 図000005
  • 特許6423612-情報機器、画像処理方法およびプログラム 図000006
  • 特許6423612-情報機器、画像処理方法およびプログラム 図000007
  • 特許6423612-情報機器、画像処理方法およびプログラム 図000008
  • 特許6423612-情報機器、画像処理方法およびプログラム 図000009
  • 特許6423612-情報機器、画像処理方法およびプログラム 図000010
  • 特許6423612-情報機器、画像処理方法およびプログラム 図000011
  • 特許6423612-情報機器、画像処理方法およびプログラム 図000012
  • 特許6423612-情報機器、画像処理方法およびプログラム 図000013
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6423612
(24)【登録日】2018年10月26日
(45)【発行日】2018年11月14日
(54)【発明の名称】情報機器、画像処理方法およびプログラム
(51)【国際特許分類】
   H04N 5/232 20060101AFI20181105BHJP
   H04N 1/387 20060101ALI20181105BHJP
【FI】
   H04N5/232 290
   H04N1/387
【請求項の数】9
【全頁数】16
(21)【出願番号】特願2014-93050(P2014-93050)
(22)【出願日】2014年4月28日
(65)【公開番号】特開2015-211395(P2015-211395A)
(43)【公開日】2015年11月24日
【審査請求日】2017年4月17日
(73)【特許権者】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】100089118
【弁理士】
【氏名又は名称】酒井 宏明
(72)【発明者】
【氏名】牛尾 真梨子
【審査官】 吉川 康男
(56)【参考文献】
【文献】 特開2012−186538(JP,A)
【文献】 特開2013−114075(JP,A)
【文献】 特開2011−135437(JP,A)
【文献】 特開2011−077850(JP,A)
【文献】 特開2010−114708(JP,A)
【文献】 特開平11−205666(JP,A)
【文献】 特開2011−188267(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/232
H04N 1/387
(57)【特許請求の範囲】
【請求項1】
所定の視野領域を撮像し、該視野領域の画像データを生成する撮像部と、
前記撮像部が生成した前記画像データに対応する画像から特定の成分を含む領域の輝度を除去して抽出した抽出データを生成する抽出部と、
前記抽出部が生成した前記抽出データと、前記抽出部が前記抽出データを生成したタイミングと異なるタイミングに前記撮像部が生成した前記画像データとを比較して輝度が高い方の画素の輝度を合成画像の輝度として用いて合成した合成画像データを生成する画像合成部と、
を備えたことを特徴とする情報機器。
【請求項2】
前記撮像部が生成する前記画像データに対応する画像を表示可能な表示部と、
前記抽出部が生成した前記抽出データに対応する抽出画像を前記表示部に表示させる表示制御部と、
をさらに備えたことを特徴とする請求項1に記載の情報機器。
【請求項3】
前記撮像部は、連続的に前記画像データを生成し、
前記画像合成部は、前記撮像部が連続的に生成した前記画像データと前記抽出データとを時系列に沿って順次合成した前記合成画像データを連続的に生成し、
前記表示制御部は、前記画像合成部が連続的に生成した前記合成画像データに対応する合成画像を時系列に沿って前記表示部に順次表示させることを特徴とする請求項2に記載の情報機器。
【請求項4】
前記表示部の表示領域に重畳して設けられ、外部からの物体の接触位置を検出し、この接触位置に応じた位置信号の入力を受け付けるタッチパネルを有し、
前記画像合成部は、前記タッチパネルが入力を受け付けた信号に応じて、前記表示部が表示する前記合成画像内における前記抽出画像の位置または大きさを変更して前記合成画像データを生成することを特徴とする請求項3に記載の情報機器。
【請求項5】
前記撮像部は、
被写体像を結像する光学系と、
前記光学系を収容するレンズ鏡筒と、
前記光学系の光軸を中心に回転可能に前記レンズ鏡筒に設けられ、前記特定の成分を含む領域を選択する選択信号の入力を受け付ける操作リングと、
を有し、
前記抽出部は、前記操作リングの回転量および回転方向に基づいて、前記特定の成分の値を変更して前記抽出データを生成することを特徴とする請求項1〜4のいずれか一つに記載の情報機器。
【請求項6】
前記画像合成部は、前記操作リングの回転量および回転方向に基づいて、前記画像データと前記抽出データとの比率を変更して前記合成画像データを生成することを特徴とする請求項5に記載の情報機器。
【請求項7】
前記特定の成分を含む領域は、所定の輝度成分を含む領域、所定の色成分を含む領域および幾何学的なパターンを含む領域のいずれかであることを特徴とする請求項1〜6のいずれか一つに記載の情報機器。
【請求項8】
情報機器が実行する画像処理方法であって、
所定の視野領域を撮像し、該視野領域の画像データを生成する撮像ステップと、
前記撮像ステップにおいて生成した前記画像データに対応する画像から特定の成分を含む領域の輝度を除去して抽出した抽出データを生成する抽出ステップと、
前記抽出ステップにおいて生成した前記抽出データと、前記抽出ステップにおいて前記抽出データを生成したタイミングと異なるタイミングに前記撮像ステップにおいて生成した前記画像データとを比較して輝度が高い方の画素の輝度を合成画像の輝度として用いて合成した合成画像データを生成する画像合成ステップと、
を含むことを特徴とする画像処理方法。
【請求項9】
情報機器に、
所定の視野領域を撮像し、該視野領域の画像データを生成する撮像ステップと、
前記撮像ステップにおいて生成した前記画像データに対応する画像から特定の成分を含む領域の輝度を除去して抽出した抽出データを生成する抽出ステップと、
前記抽出ステップにおいて生成した前記抽出データと、前記抽出ステップにおいて前記抽出データを生成したタイミングと異なるタイミングに前記撮像ステップにおいて生成した前記画像データとを比較して輝度が高い方の画素の輝度を合成画像の輝度として用いて合成した合成画像データを生成する画像合成ステップと、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被写体を撮像して該被写体の画像データを生成する情報機器、画像処理方法およびプログラムに関する。
【背景技術】
【0002】
近年、デジタルカメラ等の撮像装置において、星を撮影しながら順次生成した画像に対して比較明合成処理を行うことによって、星の軌跡を撮影することができる技術が知られている(特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2013−62740号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上述した特許文献1では、撮影における一つの機能を拡張したものでしかなく、撮影する画像に対して、ユーザの感性を反映することができるものではなかった。このため、撮影する画像に対して、ユーザの感性を反映することができる技術が望まれていた。
【0005】
本発明は、上記に鑑みてなされたものであって、撮影する画像に対して、ユーザの感性を反映することができる情報機器、画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決し、目的を達成するために、本発明に係る情報機器は、所定の視野領域を撮像し、該視野領域の画像データを生成する撮像部と、前記撮像部が生成した前記画像データに対応する画像から特定の成分を含む領域を抽出した抽出データを生成する抽出部と、前記抽出部が生成した前記抽出データと、前記抽出部が前記抽出データを生成したタイミングと異なるタイミングに前記撮像部が生成した前記画像データとを合成した合成画像データを生成する画像合成部と、を備えたことを特徴とする。
【0007】
また、本発明に係る画像処理方法は、情報機器が実行する画像処理方法であって、所定の視野領域を撮像し、該視野領域の画像データを生成する撮像ステップと、前記撮像ステップにおいて生成した前記画像データに対応する画像から特定の成分を含む領域を抽出した抽出データを生成する抽出ステップと、前記抽出ステップにおいて生成した前記抽出データと、前記抽出ステップにおいて前記抽出データを生成したタイミングと異なるタイミングに前記撮像ステップにおいて生成した前記画像データとを合成した合成画像データを生成する画像合成ステップと、を含むことを特徴とする。
【0008】
また、本発明に係るプログラムは、情報機器に、所定の視野領域を撮像し、該視野領域の画像データを生成する撮像ステップと、前記撮像ステップにおいて生成した前記画像データに対応する画像から特定の成分を含む領域を抽出した抽出データを生成する抽出ステップと、前記抽出ステップにおいて生成した前記抽出データと、前記抽出ステップにおいて前記抽出データを生成したタイミングと異なるタイミングに前記撮像ステップにおいて生成した前記画像データとを合成した合成画像データを生成する画像合成ステップと、を実行させることを特徴とする。
【発明の効果】
【0009】
本発明によれば、撮影する画像に対して、ユーザの感性を反映することができるという効果を奏する。
【図面の簡単な説明】
【0010】
図1図1は、本発明の一実施の形態に係る撮像装置の被写体に面する側の構成を示す斜視図である。
図2図2は、本発明の一実施の形態に係る撮像装置の撮影者に面する側の構成を示す斜視図である。
図3図3は、本発明の一実施の形態に係る撮像装置の機能構成を示すブロック図である。
図4図4は、本発明の一実施の形態に係る撮像装置が実行する処理の概要を示すフローチャートである。
図5図5は、本発明の一実施の形態に係る撮像装置の表示部が表示する画像の一例を示す図である。
図6図6は、本発明の一実施の形態に係る撮像装置の撮像部が生成したライブビュー画像データに対応するライブビュー画像における位置と輝度との関係を模式的に示す図である。
図7図7は、本発明の一実施の形態に係る撮像装置の抽出部が生成した抽出データに対応する抽出画像における位置と輝度との関係を模式的に示す図である。
図8図8は、本発明の一実施の形態に係る撮像装置の抽出部が抽出画像内における明部領域の輝度を除去した後の抽出画像における位置と輝度との関係を模式的に示す図である。
図9図9は、本発明の一実施の形態に係る撮像装置の撮像部が生成した画像データに対応するライブビュー画像における位置と輝度との関係を示す図である。
図10図10は、本発明の一実施の形態に係る撮像装置の画像合成部が生成する合成画像データに対応する合成画像における位置と輝度との関係を示す図である。
図11図11は、図4の装飾位置変更処理の概要を示すフローチャートである。
図12図12は、本発明の一実施の形態の変形例に係る抽出データの生成方法の別の一例を模式的に示す図である。
【発明を実施するための形態】
【0011】
以下、図面を参照して、本発明を実施するための形態(以下、「実施の形態」という)について説明する。また、以下においては、情報機器として撮像装置を例に説明する。なお、以下の実施の形態により、本発明が限定されるものではない。また、図面の記載において、同一の部分には同一の符号を付して説明する。
【0012】
図1は、本発明の一実施の形態に係る撮像装置の被写体に面する側(前面側)の構成を示す斜視図である。図2は、本発明の一実施の形態に係る撮像装置の撮影者に面する側(背面側)の構成を示す斜視図である。図3は、本発明に係る撮像装置の機能構成を示すブロック図である。
【0013】
〔撮像装置の構成〕
図1に示す撮像装置1は、撮像部2と、入力部3と、操作リング34と、記録部4と、表示部5と、タッチパネル6と、制御部7と、を備える。
【0014】
撮像部2は、制御部7の制御のもと、所定の視野領域を連続的に撮像して、時間的に連続する複数の画像データを生成する。撮像部2は、少なくとも、複数のレンズから構成され、被写体像を結像する光学系21と、光学系21を収容するレンズ鏡筒22と、光学系21が結像した被写体像を受光して光電変換を行うことによって画像データを生成する撮像素子23と、を有する。撮像素子23は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等を用いて構成される。
【0015】
入力部3は、撮像装置1の各種の操作を指示する指示信号の入力を受け付ける。入力部3は、撮像装置1の電源をオンまたはオフする指示信号の入力を受け付ける電源スイッチ31と、撮影を指示するレリーズ信号の入力を受け付けるレリーズスイッチ32と、撮像装置1の各種モードを切り替えるモードスイッチ33と、光学系21の光軸O1を中心に回転可能にレンズ鏡筒22に設けられ、撮像装置1の各種の操作を指示する指示信号の入力を受け付ける操作リング34と、を有する。
【0016】
記録部4は、制御部7を介して入力される画像データ、撮像装置1の処理中の情報、撮像装置1を動作させるための各種プログラムや本実施の形態に係るプログラムおよびプログラムの実行中に使用される各種データ等を記録する。記録部4は、SDRAM(Synchronous Dynamic Random Access Memory)、Flashメモリおよび記録媒体等を用いて構成される。記録部4は、画像データを記録する画像データ記録部41と、対応する画像に装飾する際に用いる抽出データとしての装飾画像データを記録する抽出データ記録部42と、各種プログラムを記録するプログラム記録部43と、を有する。
【0017】
表示部5は、制御部7の制御のもと、撮像部2が生成した画像データに対応する画像を表示する。ここで、画像の表示には、撮影直後の画像データを所定時間(例えば1秒間)だけ表示する確認表示、記録部4に記録された画像データを再生する再生表示、および撮像部2が連続的に生成する画像データに対応するライブビュー画像を順次表示するライブビュー画像表示等が含まれる。表示部5は、液晶または有機EL(Electro Luminescence)からなる表示パネルおよび駆動ドライバ等を用いて構成される。また、表示部5は、制御部7の制御のもと、撮像装置1の操作情報および撮影に関する情報を適宜表示する。
【0018】
タッチパネル6は、表示部5の表示領域に重畳して設けられ、外部からの物体の接触位置(タッチ位置)を検出し、この検出した接触位置に応じた位置信号の入力を受け付ける。
【0019】
制御部7は、撮像装置1を構成する各部に対する指示やデータの転送等を行って撮像装置1の動作を統括的に制御する。制御部7は、CPU(Central Processing Unit)を用いて構成される。
【0020】
ここで、制御部7の詳細な構成について説明する。制御部7は、少なくとも、画像取得部71と、抽出部72と、画像合成部73と、表示制御部74と、を有する。
【0021】
画像取得部71は、撮像部2を制御し、撮像部2から画像データを取得する。画像取得部71は、レリーズスイッチ32からレリーズ信号が入力された場合、撮像部2に撮影を実行させる。また、画像取得部71は、撮像部2を制御し、撮像部2に連続的に画像データを生成させ、この画像データを順次取得して抽出部72、画像合成部73および表示制御部74へ出力する。
【0022】
抽出部72は、画像取得部71を介して入力された撮像部2が生成した画像データに対応する画像から特定の成分を含む領域を抽出して抽出データを生成し、この抽出データを抽出データ記録部42、画像合成部73および表示制御部74のいずれかに出力する。ここで、特定の成分を含む領域とは、特定の成分を含む領域は、所定の輝度成分を含む領域、所定の色を含む領域および幾何学的なパターンを含む領域のいずれかである。また、抽出部72は、入力部3から入力を受け付けた特定の成分を含む領域を選択する選択信号に基づいて、撮像部2が生成した画像データに対応する画像から特定の成分を含む領域を抽出して抽出データを生成する。具体的には、抽出部72は、操作リング34の回転方向および回転量に基づいて、撮像部2が生成した画像データに対応する画像から特定の成分の値を含む領域を変更して抽出データを生成する。
【0023】
画像合成部73は、抽出部72が生成した抽出データと、抽出部72が抽出データを生成したタイミングと異なるタイミングに撮像部2が生成した画像データとを合成した合成画像データを生成し、この合成画像データを表示制御部74へ出力する。また、画像合成部73は、撮像部2が連続的に生成した画像データと抽出部72が生成した抽出データとを時系列に沿って比較明合成処理を順次行うことによって合成画像データを連続的に生成する。
【0024】
表示制御部74は、表示部5の表示態様を制御する。具体的には、表示制御部74は、撮像部2が生成した画像データに対応する画像を表示部5に表示させる。また、表示制御部74は、画像合成部73が生成した合成画像データに対応する合成画像を表示部5に表示させる。また、表示制御部74は、抽出部72が生成した抽出データに対応する抽出画像を表示部5に表示させる。
【0025】
〔撮像装置1の処理〕
次に、上述した撮像装置1が実行する処理について説明する。図4は、撮像装置1が実行する処理の概要を示すフローチャートである。
【0026】
図4に示すように、まず、撮像装置1に撮影モードが設定されている場合(ステップS101:Yes)について説明する。この場合、表示制御部74は、撮像部2が生成した画像データに対応するライブビュー画像を表示部5に表示させる(ステップS102)。具体的には、図5に示すように、表示制御部74は、撮像部2が生成した画像データに対応するライブビュー画像W1を表示部5に表示させる。このとき、表示制御部74は、ライブビュー画像W1上に、抽出アイコンA1および装飾アイコンA2を重畳して表示部5に表示させる。抽出アイコンA1は、抽出部72がライブビュー画像W1から特定の成分を抽出して抽出データを生成する指示信号の入力を受け付ける。装飾アイコンA2は、画像合成部73が抽出データ記録部42に記録された抽出データと撮像部2が生成した画像データとを合成して合成画像データを生成する指示信号の入力を受け付ける。
【0027】
続いて、操作リング34が操作されることによって、撮像装置1の撮影パラメータが変更された場合(ステップS103:Yes)、制御部7は、撮像装置1の撮影パラメータを変更する(ステップS104)。ここで、撮影パラメータとは、焦点距離、絞り値、シャッタスピード、ISO感度、ホワイトバランス、彩度、色相およびピント位置である。ステップS104の後、撮像装置1は、後述するステップS105へ移行する。これに対して、操作リング34が操作されず、撮像装置1の撮影パラメータが変更されていない場合(ステップS103:No)、撮像装置1は、後述するステップS105へ移行する。
【0028】
続いて、タッチパネル6を介して抽出アイコンA1が選択された場合(ステップS105:Yes)において、操作リング34のダイヤル操作があったとき(ステップS106:Yes)、撮像装置1は、後述するステップS107へ移行する。
【0029】
続いて、制御部7は、操作リング34の操作が奇数回目であるか否かを判断する(ステップS107)。具体的には、制御部7は、記録部4に記録された操作リング34の操作回数を示す操作情報に基づいて、操作リング34の操作が奇数回目であるか否かを判断する。制御部7が操作リング34の操作回数が奇数回目であると判断した場合(ステップS107:Yes)、撮像装置1は、後述するステップS108へ移行する。これに対して、制御部7が操作リング34の操作回数が奇数回目でないと判断した場合(ステップS107:No)、撮像装置1は、ステップS109へ移行する。
【0030】
ステップS108において、抽出部72は、操作リング34の回転量に基づいて、ライブビュー画像内における特定の成分として暗部領域の輝度を除去して抽出データを生成する。ここで、暗部領域とは、輝度の最小値(0)から操作リング34の回転量に応じて設定された輝度の値を有する領域である。
【0031】
図6は、撮像部2が生成したライブビュー画像W1における位置と輝度との関係を模式的に示す図である。図7は、抽出部72が生成した抽出データに対応する抽出画像W2における位置と輝度との関係を模式的に示す図である。図6(b)および図7(b)において、横軸が直線L1の画像位置を示し、縦軸が輝度を示す。また、曲線C1は、直線L1の位置に対応する輝度を示す。なお、以下においては、説明を簡略化するため、ライブビュー画像W1の直線L1上における各画素の輝度分布を一例に説明するが、抽出部72は、ライブビュー画像W1の各水平ラインに対して輝度を走査して暗部領域の輝度を除去して抽出データを生成してもよい。
【0032】
図6および図7に示すように、抽出部72は、操作リング34の回転量に基づいて、ライブビュー画像W1内における暗部領域LDの輝度を除去して抽出データを生成する。具体的には、抽出部72は、操作リング34の操作回数が奇数回目である場合、ライブビュー画像W1上における暗部領域LDを選択する。その後、抽出部72は、操作リング34の回転量に基づいて、ライブビュー画像W1上における暗部領域LDの範囲(ダイナミックレンズ)を変更後、暗部領域LDの輝度を除去して抽出データを生成する(図6図7)。例えば、図6(b)および図7(b)に示すように、抽出部72は、被写体の顔F1の幅における暗部領域LDの輝度を除去して抽出データを生成する。これにより、被写体の顔F1の領域が黒くなる(図6(a)→図7(a))。なお、図6および図7においては、抽出部72が輝度を除去して抽出データを生成していたが、例えば彩度や色を除去して抽出データを生成してもよい。
【0033】
ステップS109において、抽出部72は、操作リング34の回転量に基づいて、ライブビュー画像内における明部領域の輝度を除去して抽出データを生成する。ここで、明部領域とは、輝度の最大値から操作リング34の回転量に応じて設定された輝度の値を有する領域である。
【0034】
図8は、抽出部72が抽出画像W2内における明部領域の輝度を除去した後の抽出画像W3における位置と輝度との関係を模式的に示す図である。図8(b)において、横軸が抽出画像W3上における直線L1の画像位置を示し、縦軸が輝度を示す。
【0035】
図7および図8に示すように、抽出部72は、操作リング34の回転量に基づいて、抽出画像W2内における明部領域の輝度を除去して抽出データを生成する。具体的には、抽出部72は、操作リング34の操作回数が偶数回目である場合、ライブビュー画像W1上における明部領域LBを選択する。その後、抽出部72は、操作リング34の回転量に基づいて、抽出画像W2上における明部領域LBの領域を変更して明部領域LBの輝度を除去して抽出データを生成する(図7図8)。例えば、図7(b)および図8(b)に示すように、抽出部72は、被写体の顔F1以外の明部領域LBの輝度を除去する。これにより、背景の領域が黒くなる(図7(a)→図8(a))。なお、図8においては、説明を簡略化するため、抽出部72は、直線L1の明部領域LBの輝度を除去しているが、抽出画像W2の各水平ラインに対して明部領域LBの輝度を除去して抽出データを生成する。また、抽出部72は、暗部領域LDの輝度を除去した後に、明部領域LBの輝度を除去しているが、明部領域LBの輝度を除去後、暗部領域LDの輝度を除去して抽出データを生成してもよい。
【0036】
ステップS108の後またはステップS109の後、レリーズスイッチ32からレリーズ信号があった場合(ステップS110:Yes)、撮像部2は、現在の撮影パラメータ(上述したステップS108またはステップS109の内容も含む)によって撮影した抽出データまたは画像データを装飾画像データとして抽出データ記録部42に記録する(ステップS111)。なお、以下においては、抽出データを装飾画像データといい、抽出画像を装飾画像という。
【0037】
続いて、表示制御部74は、撮像部2が撮影した装飾画像データに対応する装飾画像を撮影結果として表示部5に表示させる(ステップS112)。この場合、表示制御部74は、例えば図8(a)に示す装飾画像W3を表示部5に表示させる。これにより、ユーザは、自分の感性を反映した画像(テンプレート)を把握することができる。
【0038】
その後、電源スイッチ31が操作され、撮像装置1の電源がオフになった場合(ステップS113:Yes)、撮像装置1は、本処理を終了する。これに対して、電源スイッチ31が操作されず、撮像装置1の電源がオフになっていない場合(ステップS113:No)、撮像装置1は、上述したステップS101へ戻る。
【0039】
ステップS106において、操作リング34のダイヤル操作がないとき(ステップS106:No)、撮像装置1は、後述するステップS113へ移行する。
【0040】
ステップS110において、レリーズスイッチ32からレリーズ信号がなかった場合(ステップS110:No)、撮像装置1は、ステップS113へ移行する。
【0041】
ステップS105において、タッチパネル6を介して抽出アイコンA1が選択されてない場合(ステップS105:No)において、装飾アイコンA2が選択されたとき(ステップS114:Yes)、表示制御部74は、抽出データ記録部42に記録された複数の装飾画像データに対応する複数の装飾画像を表示部5に表示させる(ステップS115)。
【0042】
続いて、操作リング34のダイヤル操作があった場合(ステップS116:Yes)、画像合成部73は、操作リング34の回転量に基づいて、表示部5が表示する装飾画像を選択し(ステップS117)、画像合成部73は、操作リング34の回転量に基づいて選択した装飾画像の装飾画像データ(抽出データ)と、撮像部2が生成したライブビュー画像データとを合成した合成画像データを生成する(ステップS118)。
【0043】
図9は、撮像部2が生成した画像データに対応するライブビュー画像における位置と輝度の関係を示す図である。図10は、画像合成部73が生成した合成画像データに対応する合成画像における位置と輝度の関係を示す図である。図9(b)および図10(b)において、横軸が画像上における直線L1の位置を示し、縦軸が輝度を示す。また、図9(b)において、曲線C2がライブビュー画像W10上における直線L1の位置に対応する輝度を示す。さらに、図10(b)において、曲線C3が合成画像W11上における直線L1の位置に対応する輝度を示す。
【0044】
図8図10に示すように、画像合成部73は、ライブビュー画像W10(図9を参照)と、装飾画像データに対応する装飾画像W3(図8を参照)とを比較明合成処理を行うことによって、合成画像データに対応する合成画像W11を生成する。具体的には、画像合成部73は、ライブビュー画像W10および装飾画像W3それぞれの同じ座標(画素アドレス)の画素毎に輝度を比較し、輝度が高い方の画素の輝度を合成画像の輝度として用いる。例えば、画像合成部73が、ライブビュー画像W10上における直線L1および装飾画像W3上における直線L1それぞれの同じ座標の画素の輝度を比較し、輝度が高い画素を合成画像の輝度(信号値)として用いる。即ち、画像合成部73は、図10(b)に示すように、比較明合成処理を行うことによって、ライブビュー画像W10上における被写体の顔F2の画素の輝度を用いるとともに、被写体の顔F2の領域以外を装飾画像W3の画素の輝度を用いることによって、合成画像W11を生成する。なお、図8および図9では、画像合成部73は、ライブビュー画像W10および装飾画像W3それぞれの直線L1上における同じ座標の画素毎に比較明合成処理を行っていたが、ライブビュー画像W10および装飾画像W3それぞれの水平ラインの同じ座標の画素毎に比較明合成処理を行って合成画像データを生成してもよい。
【0045】
ステップS118の後、表示制御部74は、画像合成部73が生成した合成画像データに対応する合成画像を表示部5に表示させる(ステップS119)。具体的には、図10(a)に示すように、表示制御部74は、画像合成部73が生成した合成画像データに対応する合成画像W11を表示部5に表示させる。これにより、ユーザは、ライブビュー画像W10に装飾画像W3を重ねた状態のライブビュー画像を視認することができる。この場合、ユーザは、撮像装置1を操作することによって、装飾画像W3(図8を参照)に写る被写体の位置を調整することができる。さらに、ユーザは、合成画像W11内におけるライブビュー画像W10の比率を上げる場合、入力部3を操作して撮像装置1の露出値を上げることによって、ライブビュー画像W10の明るさ(輝度)を上げる。これにより、画像合成部73は、比較明合成処理を行うときに、装飾画像W3の画素の輝度より、ライブビュー画像W10の画素の輝度が高くなるので、ライブビュー画像W10の画素の輝度を用いて合成画像データを生成することができる。
【0046】
続いて、表示部5が表示する合成画像W11上の装飾領域に対してタッチがあった場合(ステップS120:Yes)、撮像装置1は、合成画像W11上における装飾画像の位置を変更する装飾位置変更処理を実行する(ステップS121)。
【0047】
図11は、ステップS121の装飾位置変更処理の概要を示すフローチャートである。図11に示すように、表示部5が表示する合成画像W11上の装飾領域に対するタッチがタッチを維持したままタッチ位置が連続的に変化するスライド操作であった場合(ステップS201:Yes)、画像合成部73は、スライド操作に応じて装飾画像W3の位置を変更する(ステップS202)。この場合、画像合成部73は、装飾画像W3の位置が変更後の装飾画像データとライブビュー画像とを比較明合成処理を行うことによって、再度、合成画像データを生成する。これにより、ユーザの感性をさらに反映させた画像を撮影することができる。ステップS202の後、撮像装置1は、図4のメインルーチンへ戻る。
【0048】
ステップS201において、表示部5が表示する合成画像W11上の装飾領域に対するタッチがスライド操作でなかった場合(ステップS201:No)、撮像装置1は、ステップS203へ移行する。
【0049】
続いて、表示部5が表示する合成画像W11上の装飾領域に対するタッチが2点のタッチ位置の距離を拡大または縮小するピンチ操作であった場合(ステップS203:Yes)、画像合成部73は、ピンチ操作に基づいて、装飾領域の拡大または縮小を行う(ステップS204)。この場合、画像合成部73は、装飾領域の拡大または縮小した装飾画像データとライブビュー画像とを比較明合成処理を行うことによって、再度、合成画像データを生成する。ステップS204の後、撮像装置1は、図4のメインルーチンへ戻る。
【0050】
ステップS203において、表示部5が表示する合成画像W11上の装飾領域に対するタッチがピンチ操作でなかった場合(ステップS203:No)、撮像装置1は、ステップS205へ移行する。
【0051】
操作リング34のダイヤル操作があった場合(ステップS205:Yes)、画像合成部73は、操作リング34の回転量および回転方向に基づいて、ライブビュー画像W10と装飾画像W3との合成比率を変更する(ステップS206)。具体的には、画像合成部73は、操作リング34の回転方向が右回りの場合、操作リング34の回転量に基づいて装飾画像W3の合成比率を小さくする一方、操作リング34の回転方向が左回りの場合、操作リング34の回転量に基づいてライブビュー画像W10の合成比率を小さくする。この場合、画像合成部73は、操作リング34の回転量に基づいて、装飾画像W3またはライブビュー画像W10それぞれの画素の輝度に所定の比率を乗じることによって、比較明暗合成処理における比率を変更する。ステップS206の後、撮像装置1は、図4のメインルーチンへ戻る。
【0052】
ステップS205において、操作リング34のダイヤル操作がなかった場合(ステップS205:No)、撮像装置1は、図4のメインルーチンへ戻る。
【0053】
図4に戻り、ステップS122以降の説明を続ける。
ステップS122において、レリーズスイッチ32からレリーズ信号が入力された場合(ステップS122:Yes)、撮像装置1は、撮像部2に撮影を実行させ、画像合成部73が撮像部2によって生成された画像データと装飾画像データとを合成した合成画像データを画像データ記録部41に記録する(ステップS123)。ステップS123の後、撮像装置1は、ステップS113へ移行する。
【0054】
ステップS114において、装飾アイコンA2が選択されていないとき(ステップS114:No)、撮像装置1は、ステップS122へ移行する。
【0055】
ステップS116において、操作リング34のダイヤル操作がなかった場合(ステップS116:No)、撮像装置1は、ステップS122へ移行する。
【0056】
ステップS120において、表示部5が表示する合成画像W11上の装飾領域に対してタッチがなかった場合(ステップS120:No9、撮像装置1は、ステップS122へ移行する。
【0057】
ステップS122において、レリーズスイッチ32からレリーズ信号が入力されていない場合(ステップS122:No)、撮像装置1は、ステップS113へ移行する。
【0058】
次に、撮像装置1に撮影モードが設定されていない場合(ステップS101:No)において、撮像装置1に再生モードが設定されているとき(ステップS122:Yes)、表示制御部74は、画像データ記録部41から画像データを取得して、取得した画像データに対応する画像を表示部5に表示させる(ステップS123)。
【0059】
続いて、入力部3を介して表示部5が表示する画像の変更が指示された場合(ステップS124:Yes)、撮像装置1は、ステップS123へ移行する。これに対して、入力部3を介して表示部5が再生する画像の変更が指示されていない場合(ステップS124:No)、撮像装置1は、ステップS113へ移行する。
【0060】
ステップS122において、撮像装置1に再生モードが設定されていないとき(ステップS122:No)、撮像装置1は、ステップS113へ移行する。
【0061】
以上説明した本発明の一実施の形態によれば、画像合成部73が抽出部72によって生成された抽出データと、抽出部72が抽出データを生成したタイミングと異なるタイミングに撮像部2によって生成された画像データとを合成した合成画像データを生成するので、撮影する画像に対して、ユーザの感性を反映することができる。
【0062】
また、本発明の一実施の形態によれば、表示制御部74が抽出部72によって生成された抽出データに対応する抽出画像を表示部5に表示させるので、ユーザは、所望の装飾画像を直感的に把握することができる。
【0063】
また、本発明の一実施の形態によれば、画像合成部73が撮像部2によって連続的に生成された画像データと、操作リング34によって抽出データ記録部42が記録する複数の抽出データから選択された抽出データとを時系列に沿って順次合成した合成画像データを生成し、表示制御部74が画像合成部73によって連続的に生成された合成画像データに対応する合成画像をリアルタイムで表示するライブビュー画像として表示部5に表示させるので、ユーザは、合成具合を把握しながら撮影を行うことができる。
【0064】
なお、上述した本発明の一実施の形態では、抽出部72が撮像部2によって生成された画像データに対応する画像の特定の成分を含む領域を除去して装飾画像データとしての抽出データを生成していたが、例えばタッチパネル6を介してユーザが所望の絵を描写することによって、抽出データを生成してもよい。
【0065】
図12は、本発明の一実施の形態の変形例に係る抽出データの生成方法の別の一例を模式的に示す図である。
【0066】
図12に示すように、表示制御部74は、タッチパネル6から入力される位置信号に応じて、タッチ操作の軌跡を表示する。また、表示制御部74は、塗り潰しアイコンA10、グラデーションアイコンA11およびブラシアイコンA12を表示部5に表示させる。塗り潰しアイコンA10は、タッチ操作の軌跡に応じて形成された図形内を指定された色で塗り潰す指示信号の入力を受け付ける。グラデーションアイコンA11は、タッチ操作の軌跡に応じて形成された図形内を指定された色のグラデーションで表示する指示信号の入力を受け付ける。ブラシアイコンA12は、タッチ操作の軌跡に色を表示する指示信号の入力を受け付ける。これにより、ユーザは、タッチパネル6を介して表示部5の表示画面上に所望の絵を描くことによって、自身の感性を反映した抽出データを生成することができる。この場合、制御部7は、ユーザによって生成された抽出データを抽出データ記録部42に記録する。
【0067】
また、本発明の一実施の形態では、抽出部72が撮像部2によって生成された画像データに対応する画像の特定の成分を含む領域を除去して装飾画像データとしての抽出データを生成していたが、撮像部2によって生成された画像データに対応する画像から特定の成分として幾何学的なパターンを有する領域を抽出して抽出データを生成してもよい。具体的には、抽出部72は、撮像部2がテキスタイルパターン、例えば格子状のパターン、花や野菜、規則的に変化する図形(星、ハート、ドット)および文字を有する布や積み木細工等の幾何学的なパターンを有する被写体を撮像した場合、撮像部2が生成した画像データに対応する画像からテキスタイルパターンを抽出して抽出データを生成してもよい。この場合、抽出部72は、撮像部2が生成した画像データに対して、例えばコントラストの2値化処理を行った後に、規則的に変化する輪郭内の領域または連続的に繋がる輪郭内の領域を抽出して抽出して抽出データを生成する。これにより、テキスタイルパターンの装飾画像をライブビュー画像に合成することができ、ユーザの感性を反映したアーティスティックな画像を撮影することができる。
【0068】
(その他の実施の形態)
また、本発明に係る撮像装置は、デジタル一眼レフカメラ以外にも、たとえばアクセサリ等を装着可能なデジタルカメラ、デジタルビデオカメラおよび撮像機能を有する携帯電話やタブレット型携帯機器等の電子機器にも適用することができる。
【0069】
また、本発明に係る情報機器に実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)、USB媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【0070】
また、本発明に係る情報機器に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。さらに、本発明に係る情報機器に実行させるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【0071】
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。すなわち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
【0072】
このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、特許請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。
【符号の説明】
【0073】
1:撮像装置 2:撮像部 3:入力部 4:記録部 5:表示部 6:タッチパネル 7:制御部 21:光学系 22:レンズ鏡筒 23:撮像素子 31:電源スイッチ 32:レリーズスイッチ 33:モードスイッチ 34:操作リング 41:画像データ記録部 42:抽出データ記録部 43:プログラム記録部 71:画像取得部 72:抽出部 73:画像合成部 74:表示制御部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12