特許 5794797 画像表示装置及び撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5794797

(24)【登録日】2015年8月21日

(45)【発行日】2015年10月14日

(54)【発明の名称】画像表示装置及び撮像装置

(51)【国際特許分類】

   H04N 5/225 20060101AFI20150928BHJP

   H04N 5/232 20060101ALI20150928BHJP

   H04N 5/76 20060101ALI20150928BHJP

   H04N 5/91 20060101ALI20150928BHJP

【ＦＩ】

   H04N5/225 F

   H04N5/232 Z

   H04N5/76 B

   H04N5/91 J

【請求項の数】6

【全頁数】19

(21)【出願番号】特願2011-61242(P2011-61242)

(22)【出願日】2011年3月18日

(65)【公開番号】特開2012-199665(P2012-199665A)

(43)【公開日】2012年10月18日

【審査請求日】2014年3月11日

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】100076233

【弁理士】

【氏名又は名称】伊藤 進

(72)【発明者】

【氏名】和田 考司

【審査官】 山口 祐一郎

(56)【参考文献】

【文献】 特開２００５−３１８３０５（ＪＰ，Ａ）

【文献】 特開２００９−２２３８６５（ＪＰ，Ａ）

【文献】 特開２０１０−８１２６０（ＪＰ，Ａ）

【文献】 特開２００９−２３９３４７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−５／２５７

５／７６−５／９５６

(57)【特許請求の範囲】

【請求項1】

撮影日時及び撮影場所を含む撮影情報が予め関連付けられた第１の画像データを取得する画像取得部と、
前記画像取得部により取得された前記第１の画像データにおいて、複数の人物が被写体に含まれており、かつ、前記複数の人物が正面以外の同じ方向を向いており、かつ、前記複数の人物が略同様の表情をしている場合に、前記撮影情報に対応するキーワードを生成し、当該生成したキーワードを用いてデータベース部の画像データを検索する画像検索部と、
前記画像取得部により取得された前記第１の画像データと、前記画像検索部の検索結果に基づいて前記データベース部から取得した第２の画像データと、を合成することにより合成画像データを生成し、当該生成した合成画像データを表示部に表示させる画像処理部と、
を有することを特徴とする画像表示装置。

【請求項2】

前記画像処理部は、前記合成画像データの生成の際に、前記第１の画像データに含まれる前記複数の人物が向いている方向の先に位置する部分であり、かつ、前記表示部の周縁部に相当する部分に前記第２の画像データを配置することを特徴とする請求項１に記載の画像表示装置。

【請求項3】

前記画像検索部は、前記撮影日時及び前記撮影場所に基づいて前記第１の画像データが撮影されたイベントを特定し、当該特定したイベントに対応するキーワードを生成し、当該生成したキーワードを用いて前記データベース部の画像データを検索することを特徴とする請求項１に記載の画像表示装置。

【請求項4】

前記画像検索部は、前記第１の画像データが撮影されたイベントにおけるスケジュール情報を取得できた場合において、当該取得したスケジュール情報に対応するキーワードを生成し、当該生成したキーワードを用いて前記データベース部の画像データを検索することを特徴とする請求項３に記載の画像表示装置。

【請求項5】

被写体を撮影して第１の画像データを取得する撮像部と、
前記撮像部による撮影が行われた際に取得された前記第１の画像データに対し、予め設定されたイベントの開始時刻と、前記イベントの開催場所と、前記第１の画像データの撮影時刻と、に基づいて取得される撮影情報を関連付けて記録媒体に記録させる制御部と、
前記記録媒体に記録された前記第１の画像データにおいて、複数の人物が前記被写体に含まれており、かつ、前記複数の人物が正面以外の同じ方向を向いており、かつ、前記複数の人物が略同様の表情をしている場合に、前記撮影情報に対応するキーワードを生成し、当該生成したキーワードを用いてデータベース部の画像データを検索する画像検索部と、
前記記録媒体に記録された前記第１の画像データと、前記画像検索部の検索結果に基づいて前記データベース部から取得した第２の画像データと、を合成することにより合成画像データを生成する画像処理部と、
を有することを特徴とする撮像装置。

【請求項6】

前記第１の画像データの表示と前記データベース部から取得した第２の画像データとの画像表示を行う表示部をさらに有し、
前記画像処理部は、前記合成画像データの生成の際に、前記第１の画像データに含まれる前記複数の人物が向いている方向の先に位置する部分であり、かつ、前記表示部の周縁部に相当する部分に前記第２の画像データを配置して表示させることを特徴とする請求項５に記載の撮像装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像表示装置及び撮像装置に関し、特に、撮影された画像を加工することが可能な画像表示装置及び撮像装置に関するものである。

【背景技術】

【0002】

元の画像に対して他の画像、文字列、及び、視覚効果等を加えるような加工を施すことにより、所望の用途に沿った画像を生成可能な技術が従来知られている。

【0003】

例えば、特許文献１には、静止画像素材、動画像素材、及び、音声素材等の映像素材の一体的な蓄積と該蓄積映像素材の検索及び利用とが可能な資料映像データベースと、前記資料映像データベースに蓄積されていない映像素材であって、番組作成に必要な映像素材を撮影等により入手するための手段と、前記資料映像データベースから出力される映像素材と前記入手された映像素材とに所望の加工を行い、所望する映像番組を製作するための手段と、を備えた映像製作装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】日本国特開平５−１０３２３３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、例えばスポーツの試合等のイベントの現場にいる観客が主たる被写体として撮影された画像のような、人物に対して背景等の周辺情報の占める割合が少なくなるように撮影された画像においては、画像を見て撮影時の状況を特定することが比較的困難である。

【0006】

そのため、特許文献１の映像製作装置によれば、人物に対して背景等の周辺情報の占める割合が少なくなるように撮影された画像に対し、当該画像の撮影時の状況を補足して示すための加工を施すことが比較的困難である、という課題が生じている。

【0007】

本発明は、前述した事情に鑑みてなされたものであり、人物に対して背景等の周辺情報の占める割合が少なくなるように撮影された画像に対し、当該画像の撮影時の状況を補足して示すための加工を容易に施すことが可能な画像表示装置及び撮像装置を提供することを目的としている。

【課題を解決するための手段】

【0008】

本発明の一態様の画像表示装置は、撮影日時及び撮影場所を含む撮影情報が予め関連付けられた第１の画像データを取得する画像取得部と、前記画像取得部により取得された前記第１の画像データにおいて、複数の人物が被写体に含まれており、かつ、前記複数の人物が正面以外の同じ方向を向いており、かつ、前記複数の人物が略同様の表情をしている場合に、前記撮影情報に対応するキーワードを生成し、当該生成したキーワードを用いてデータベース部の画像データを検索する画像検索部と、前記画像取得部により取得された前記第１の画像データと、前記画像検索部の検索結果に基づいて前記データベース部から取得した第２の画像データと、を合成することにより合成画像データを生成し、当該生成した合成画像データを表示部に表示させる画像処理部と、を有する。

【0009】

本発明の一態様の撮像装置は、被写体を撮影して第１の画像データを取得する撮像部と、前記撮像部による撮影が行われた際に取得された前記第１の画像データに対し、予め設定されたイベントの開始時刻と、前記イベントの開催場所と、前記第１の画像データの撮影時刻と、に基づいて取得される撮影情報を関連付けて記録媒体に記録させる制御部と、前記記録媒体に記録された前記第１の画像データにおいて、複数の人物が前記被写体に含まれており、かつ、前記複数の人物が正面以外の同じ方向を向いており、かつ、前記複数の人物が略同様の表情をしている場合に、前記撮影情報に対応するキーワードを生成し、当該生成したキーワードを用いてデータベース部の画像データを検索する画像検索部と、前記記録媒体に記録された前記第１の画像データと、前記画像検索部の検索結果に基づいて前記データベース部から取得した第２の画像データと、を合成することにより合成画像データを生成する画像処理部と、を有する。

【発明の効果】

【0010】

本発明における画像表示装置及び撮像装置によれば、人物に対して背景等の周辺情報の占める割合が少なくなるように撮影された画像に対し、当該画像の撮影時の状況を補足して示すための加工を容易に施すことができる。

【図面の簡単な説明】

【0011】

【図1】本発明の第１の実施例に係る画像表示装置の要部の構成を示すブロック図。

【図2】本発明の第１の実施例に係る画像表示装置において行われる処理等の一例を示すフローチャート。

【図3】データベース部から画像データを取得する際に行われる処理の一例を示すフローチャート。

【図4】操作部により選択された画像データの拡大表示の一例を示す図。

【図5】図４の画像データを用いて生成及び表示される合成画像データの一例を示す図。

【図6】図４の画像データを用いて生成及び表示される合成画像データの、図５とは異なる例を示す図。

【図7】本発明の第２の実施例に係る撮像装置の要部の構成を示すブロック図。

【図8】本発明の第２の実施例に係る撮像装置において、撮影モード時に行われる処理等の一例を示すフローチャート。

【図9】撮影状況の情報の設定の際に行われる処理等の一例を示すフローチャート。

【図10】本発明の第２の実施例に係る撮像装置において、再生モード時に行われる処理等の一例を示すフローチャート。

【発明を実施するための形態】

【0012】

以下、本発明の実施の形態について、図面を参照しつつ説明を行う。

【0013】

（第１の実施例）
図１から図６は、本発明の第１の実施例に係るものである。

【0014】

図１は、本発明の第１の実施例に係る画像表示装置の要部の構成を示すブロック図である。

【0015】

画像表示装置１０１は、図１に示すように、記録媒体１と、表示部２と、操作部３と、通信部４と、制御部５と、を有して構成されている。また、画像表示装置１０１は、インターネット等のネットワークに接続できるように構成されているとともに、画像データ等が蓄積されたデータベース部５０１との間におけるデータの送受信を行うことができるように構成されている。

【0016】

記録媒体１は、画像表示装置１０１に対して着脱可能なメモリカード等により構成されている。また、記録媒体１には、撮影日時（撮影日、撮影時刻）及び撮影場所を含む撮影情報が各画像データ毎に予め関連付けられた状態で記録されている。

【0017】

表示部２は、制御部５の制御に応じ、記録媒体１に記録された画像データの表示、及び、後述の処理により生成された合成画像データの表示等の種々の画像表示を行うことができるように構成されている。さらに、表示部２は、タッチパネル機能を有して構成されており、画面上に表示されるスイッチ群等の操作に応じた指示を行うことができるように構成されている。

【0018】

操作部３は、表示部２に表示されるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）における入力操作等を行うことが可能なボタン及びスイッチ等を備えた入力操作部を有して構成されている。また、操作部３には、画像表示装置１０１の電源のオンオフを切り替える電源ボタンが設けられている。さらに、操作部３には、記録媒体１に記録されている複数の画像データを縮小して同時に表示部２に表示させる一覧表示と、一覧表示されている複数の画像データの中から選択した１つの画像データを拡大して表示部２に表示させる拡大表示と、を切り替え可能な表示切替ボタンが設けられている。

【0019】

通信部４は、例えば、インターネット等のネットワークに接続するためのケーブルコネクタ及びアンテナ等を有して構成されており、画像表示装置１０１にネットワーク接続されたデータベース部５０１との間におけるデータの送受信を行うことができるように構成されている。

【0020】

制御部５は、例えばＣＰＵ及びメモリ等を有して構成されており、操作部３の操作に応じた指示、及び、表示部２の画面上に表示されるＧＵＩの入力操作に応じた指示に基づき、画像表示装置１０１の各部に対する制御等を実施できるように構成されている。

【0021】

また、制御部５は、画像取得部５ａと、顔検出部５ｂと、撮影情報検出部５ｃと、画像検索部５ｄと、画像処理部５ｅと、を有して構成されている。

【0022】

画像取得部５ａは、記録媒体１に記録されている画像データを読み込むことができるように構成されている。

【0023】

顔検出部５ｂは、画像取得部５ａにより読み込まれた画像データのコントラストを強調した状態において略円形となっている部分を検出し、さらに、この略円形の内部の特徴点（目、鼻及び口等）の分布に基づいて人物の顔に相当する部分（顔部）を検出する。

【0024】

撮影情報検出部５ｃは、記録媒体１から読み込まれた画像データに関連付けられている撮影情報を検出する。

【0025】

画像検索部５ｄは、表示部２に拡大表示されている１つの画像データが予め設定された条件に該当する際に、当該１つの画像データに関連付けられた撮影情報の検出結果に基づいてデータベース部５０１の検索を行うことにより、当該１つの画像データの撮影が行われたイベント（例えばスポーツの試合等）のイベント名を取得する。そして、画像検索部５ｄは、データベース部５０１を検索して得られたイベント名に基づいて後述の処理を行うことにより１または複数のキーワードを生成し、当該生成したキーワードを用いてデータベース部５０１に格納されている画像データを検索し、検索結果に応じた画像データを通信部４を介して取得する。

【0026】

画像処理部５ｅは、画像取得部５ａにより読み込まれた画像データを、操作部３の表示切替ボタン等の操作に応じた表示態様により表示部２に表示させる。

【0027】

また、画像処理部５ｅは、表示部２に拡大表示されている１つの画像データが予め設定された条件に該当する際に、後述の処理を行うことにより、当該１つの画像データの撮影時の状況を補足するための他の画像データが付加された合成画像データを生成して表示部２に表示させる。

【0028】

ここで、以上に述べたような構成を具備する画像表示装置１０１の作用について説明を行う。

【0029】

図２は、本発明の第１の実施例に係る画像表示装置において行われる処理等の一例を示すフローチャートである。

【0030】

まず、操作部３の電源ボタンの操作に応じて画像表示装置１０１の電源がオンされると、画像取得部５ａは、記録媒体１に記録された複数の画像データの読み込みを行う。そして、画像処理部５ｅは、画像取得部５ａにより読み込まれた複数の画像データを縮小して表示部２に一覧表示させる（図２のステップＳ１）。

【0031】

画像処理部５ｅは、操作部３の入力操作部及び表示切替ボタンが操作されないこと等に起因して、拡大表示させる１つの画像データが選択されない場合においては、画像取得部５ａにより読み込まれた複数の画像データを一覧表示させ続ける（図２のステップＳ１及びステップＳ２）。

【0032】

また、画像処理部５ｅは、操作部３の入力操作部及び表示切替ボタンが操作されることにより、拡大表示させる１つの画像データが選択されたことを検出すると（図２のステップＳ２）、当該１つの画像データを表示部２に拡大表示させる（図２のステップＳ３）。

【0033】

その後、顔検出部５ｂは、表示部２に拡大表示されている１つの画像データにおいて、人物の顔に相当する部分（顔部）、及び、当該顔に相当する部分の内側に含まれる目部、鼻部及び口部をそれぞれ検出する。

【0034】

そして、画像処理部５ｅは、顔検出部５ｂによる顔部の検出結果（顔部の数）に基づき、表示部２に拡大表示されている１つの画像データに複数の人物が含まれているか否かの判定を行う（図２のステップＳ４）。

【0035】

画像処理部５ｅは、表示部２に拡大表示されている１つの画像データに複数の人物が含まれていないとの判定結果を図２のステップＳ４により得た場合には、後述の図２のステップＳ９の処理を続けて行う。

【0036】

画像処理部５ｅは、表示部２に拡大表示されている１つの画像データに複数の人物が含まれているとの判定結果を図２のステップＳ４により得た場合には、さらに、顔検出部５ｂによる顔部の検出結果を用いた処理を行うことにより、当該複数の人物が正面以外の同じ方向を向いているか否かの判定を行う（図２のステップＳ５）。

【0037】

具体的には、画像処理部５ｅは、顔検出部５ｂにより検出された各顔部の向きを取得するための処理として、例えば、鼻梁の線と顔の輪郭との位置関係、または、両目の間を結ぶ直線と顔の輪郭との位置関係等を特定するための演算を行う。そして、画像処理部５ｅは、この演算結果に基づき、表示部２に拡大表示されている１つの画像データに含まれる複数の人物が正面以外の同じ方向を向いているか否かの判定を行う。

【0038】

画像処理部５ｅは、表示部２に拡大表示されている１つの画像データに含まれる複数の人物のうち、相互に異なる方向を向いている人物が１人ずつ以上いるとの判定結果を図２のステップＳ５により得た場合には、後述の図２のステップＳ９の処理を続けて行う。

【0039】

画像処理部５ｅは、表示部２に拡大表示されている１つの画像データに含まれる複数の人物が正面以外の同じ方向を向いているとの判定結果を図２のステップＳ５により得た場合には、さらに、顔検出部５ｂによる顔部の検出結果に基づき、当該複数の人物の表情が所定の表情に該当するか否かの判定を行う（図２のステップＳ６）。

【0040】

具体的には、画像処理部５ｅは、例えば前述の所定の表情を驚きの表情とした場合、顔検出部５ｂにより検出された各顔部のうち、瞳の上または下のいずれかに白目があるもの、あるいは、歯が見えているものを驚きの表情に該当すると判定する。すなわち、前述の所定の表情を驚きの表情とした場合、画像処理部５ｅは、図２のステップＳ６において、表示部２に拡大表示されている１つの画像データに含まれる複数の人物の表情が驚きの表情であるか否かの判定を行う。

【0041】

画像処理部５ｅは、表示部２に拡大表示されている１つの画像データに含まれる複数の人物のうち、所定の表情に該当しない人物が１人以上いるとの判定結果を図２のステップＳ６により得た場合には、後述の図２のステップＳ９の処理を続けて行う。

【0042】

一方、撮影情報検出部５ｃは、表示部２に拡大表示されている１つの画像データに含まれる複数の人物の表情が所定の表情に該当するとの判定結果が図２のステップＳ６により得られた場合に、当該１つの画像データに関連付けられた撮影情報の検出を行う。

【0043】

画像検索部５ｄは、表示部２に拡大表示されている１つの画像データに含まれる複数の人物の表情が所定の表情に該当するとの判定結果が図２のステップＳ６により得られた場合に、以下に説明する処理を行うことにより、データベース部５０１に格納されている画像データを検索するとともに、検索結果に応じた画像データを通信部４を介してデータベース部５０１から取得する（図２のステップＳ７）。

【0044】

ここで、図２のステップＳ７において行われる処理の詳細について説明を行う。図３は、データベース部から画像データを取得する際に行われる処理の一例を示すフローチャートである。

【0045】

画像検索部５ｄは、表示部２に拡大表示されている１つの画像データに関連付けられた
撮影情報の検出結果に基づき、当該１つの画像データの撮影日及び撮影場所に対応するキーワードをそれぞれ生成し、生成した各キーワードを用いてデータベース部５０１を検索する。そして、画像検索部５ｄは、データベース部５０１に対する検索結果の上位３件の記事に多く表れる語彙の中からイベントを特定可能な語彙を抽出し、当該抽出した語彙に基づいて当該１つの画像データが撮影されたイベント名を取得する（図３のステップＳ１０１）。

【0046】

その後、画像検索部５ｄは、データベース部５０１に対する検索を行うことにより、図３のステップＳ１０１により取得されたイベント名のイベントにおけるスケジュール情報（イベントの開始時刻等を含む情報）の取得を試行する（図３のステップＳ１０２）。

【0047】

具体的には、画像検索部５ｄは、図３のステップＳ１０１により取得されたイベント名、及び、表示部２に拡大表示されている１つの画像データの撮影日に対応するキーワードをそれぞれ生成し、生成した各キーワードと「時刻」という単語とを用いてデータベース部５０１を検索することにより、スケジュール情報の取得を試行する。

【0048】

画像検索部５ｄは、図３のステップＳ１０２の試行によりスケジュール情報を取得できたか否かの判定を行う（図３のステップＳ１０３）。

【0049】

そして、画像検索部５ｄは、スケジュール情報を取得できなかったとの判定結果を図３のステップＳ１０３により得た場合には、図３のステップＳ１０１により取得されたイベント名、及び、表示部２に拡大表示されている１つの画像データの撮影日時に対応するキーワードをそれぞれ生成し、生成した各キーワードを用いてデータベース部５０１の画像データを検索し、検索結果に応じた１または複数の画像データを通信部４を介してデータベース部５０１から取得する（図３のステップＳ１０４）。

【0050】

また、画像検索部５ｄは、スケジュール情報を取得できたとの判定結果を図３のステップＳ１０３により得た場合には、さらに、表示部２に拡大表示されている１つの画像データの撮影時刻と、図３のステップＳ１０２により取得されたスケジュール情報と、に基づき、当該１つの画像データが撮影された際のイベント内時刻を取得するための演算を行う（図３のステップＳ１０５）。

【0051】

ここで、サッカーの試合をイベントの一例として挙げた場合、画像検索部５ｄは、表示部２に拡大表示されている１つの画像データの撮影時刻から当該サッカーの試合の開始時刻を差し引く演算を行うことにより、当該１つの画像データが撮影された際の当該サッカーの試合における経過時間を算出する。ところで、一般的なサッカーの試合によれば、前半、ハーフタイム、及び、後半のそれぞれが予め決められた時間（４５分、１５分、及び、４５分）で終了するようなタイムテーブルとなっている。そのため、画像検索部５ｄは、前述の経過時間の算出結果をサッカーの試合のタイムテーブルにあてはめることにより、表示部２に拡大表示されている１つの画像データの撮影時刻を、例えば前半Ｎ分（Ｎ≧０）のような、サッカーの試合のタイムテーブルに沿った時刻として取得する。

【0052】

なお、画像検索部５ｄは、前述のようなタイムテーブルが存在しない場合については、表示部２に拡大表示されている１つの画像データの撮影時刻からイベントの開始時刻を差し引く演算を行うことにより得られた経過時間を、イベント内時刻として取得する。

【0053】

さらに、画像検索部５ｄは、図３のステップＳ１０１により取得されたイベント名、及び、図３のステップＳ１０５により取得されたイベント内時刻に対応するキーワードをそれぞれ生成し、生成した各キーワードを用いてデータベース部５０１の画像データを検索し、検索結果に応じた１または複数の画像データを通信部４を介してデータベース部５０１から取得する（図３のステップＳ１０６）。

【0054】

具体的には、画像検索部５ｄは、例えば、図３のステップＳ１０５により取得されたイベント内時刻が前半Ｎ分である場合には、前半Ｎ分、前半（Ｎ−１）分、前半（Ｎ−２）分、・・・のような、前半Ｎ分から１分ずつ遡るように変化させたキーワードをＭ個（１≦Ｍ≦１１）生成する。その後、画像検索部５ｄは、前述のように生成したＭ個のキーワードのうちの１つと、図３のステップＳ１０１により取得されたイベント名に対応するキーワードと、を用いてデータベース部５０１の画像データの検索を行うことにより、Ｍ個の検索結果を得る。そして、画像検索部５ｄは、取得したＭ個の検索結果の中から、相互に類似した構図の画像データの数が最も多い１つの検索結果を選択するとともに、当該選択した１つの検索結果に含まれる１または複数の画像データを通信部４を介してデータベース部５０１から取得する。

【0055】

なお、画像検索部５ｄは、検索結果に含まれる複数の画像データをデータベース部５０１から取得する際に、複数枚の静止画像データをそのまま取得してもよく、または、動画像データの中から複数フレーム分のデータを抜粋したものを取得してもよい。

【0056】

一方、画像処理部５ｅは、表示部２に拡大表示されている１つの画像データと、図２のステップＳ７により取得された１または複数の画像データと、を合成することにより、合成画像データを生成して表示部２に表示させる（図２のステップＳ８）。

【0057】

図４は、操作部により選択された画像データの拡大表示の一例を示す図である。図５は、図４の画像データを用いて生成及び表示される合成画像データの一例を示す図である。図６は、図４の画像データを用いて生成及び表示される合成画像データの、図５とは異なる例を示す図である。

【0058】

具体的には、画像処理部５ｅは、図４に例示する１つの画像データに含まれる複数の人物が向いている方向（視線方向）の先に位置する部分であり、かつ、表示部２の周縁部に相当する部分に、図２のステップＳ７により取得された１または複数の画像データを配置することにより、図５または図６のような合成画像データを生成して表示させる。

【0059】

すなわち、図２のステップＳ８の処理によれば、例えば、略同様の表情をした複数の人物が正面以外の同じ方向を向いているようなシーンを撮影して得た一の画像データに対し、当該シーンに至った原因を補足する情報を含む他の画像データを合成した合成画像データを表示部２に表示させることができる。

【0060】

画像処理部５ｅは、拡大表示を終了するための操作が操作部３の入力操作部及び表示切替ボタンにおいて行われるまでは、図２のステップＳ２により選択された画像データの拡大表示、または、図２のステップＳ８の処理により生成された合成画像データの表示を継続する（図２のステップＳ９）。そして、画像処理部５ｅは、拡大表示を終了するための操作が操作部３の入力操作部及び表示切替ボタンにおいて行われたことを検出すると、図２のステップＳ１に戻って処理を行う。

【0061】

以上に述べたように、本実施例によれば、人物に対して背景等の周辺情報の占める割合が少なくなるように撮影された画像に対し、当該画像の撮影時の状況を補足して示すための加工を容易に施すことができる。

【0062】

（第２の実施例）
図７から図１０は、本発明の第２の実施例に係るものである。

【0063】

なお、本実施例においては、第１の実施例と同様の構成等を有する部分に関する詳細な説明を省略するとともに、第１の実施例と異なる構成等を有する部分に関して主に説明を行う。

【0064】

図７は、本発明の第２の実施例に係る撮像装置の要部の構成を示すブロック図である。

【0065】

デジタルカメラである撮像装置２０１は、図７に示すように、撮像部１１１と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）レシーバ１１２と、画像処理部１１３と、記憶部１１４と、操作部１１５と、制御部１１６と、表示部１１７と、記録媒体１１８と、計時部１１９と、通信部１２０と、バス１２１と、を有して構成されている。また、撮像装置２０１は、インターネット等のネットワークに接続できるように構成されているとともに、画像データ等が蓄積されたデータベース部５０１との間におけるデータの送受信を行うことができるように構成されている。

【0066】

撮像部１１１は、レンズ、絞り機構、シャッター機構、焦点調整機構、及び、撮像素子等を備えている。また、撮像部１１１は、制御部１１６の制御に基づき、レンズの画角内の被写体を撮影するとともに、撮影した被写体に係る画像データを取得して出力するように構成されている。

【0067】

ＧＰＳレシーバ１１２は、例えば、複数のＧＰＳ衛星から受信した電波に基づいて現在位置の測位を行い、測位結果を位置データとして出力するように構成されている。

【0068】

画像処理部１１３は、撮像部１１１により取得された画像データに対して種々の画像処理を施すことにより、記録媒体１１８に記録する画像データの生成、レックビュー表示用の画像データの生成、及び、ライブビュー表示用の画像データの生成等を行うことができるように構成されている。また、画像処理部１１３は、記録媒体１１８に記録された画像データを読み込んで再生表示することができるように構成されている。さらに、画像処理部１１３は、記録媒体１１８から読み込んだ各画像データの中から選択された１つの画像データの再生表示が行われている際に、後述の処理を行うことにより、当該１つの画像データの撮影時の状況を補足するための他の画像データが付加された合成画像データを生成することができるように構成されている。

【0069】

一方、画像処理部１１３は、表示部１１７の画面上に表示するスイッチ群、及び、種々の情報の入力を促す入力画面等の、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）に関する画像データを生成可能に構成されている。そして、このような構成によれば、表示部１１７に表示されるＧＵＩの操作に応じてなされた指示が、バス１２１を介して制御部１１６へ出力される。

【0070】

記憶部１１４は、不揮発性メモリ等を有して構成されており、制御部１１６における処理結果等の種々のデータを格納することができるように構成されている。また、記憶部１１４の不揮発性メモリには、スポーツの試合が行われるスタジアム名（またはスタジアムの場所を示す地名）と、スタジアムの位置（緯度経度）と、が各スタジアム毎に予め関連付けられた地図データが格納されている。さらに、記憶部１１４の不揮発性メモリには、後述の開始時刻入力画面を生成するための画面フォーマットが格納されている。

【0071】

操作部１１５には、電源ボタン、レリーズボタン、再生ボタン、及び、各種入力キー等の入力装置群が設けられている。

【0072】

操作部１１５の電源ボタンは、ユーザの操作に応じ、撮像装置２０１の電源をオンまたはオフに切り替えるための指示を行うことができるように構成されている。

【0073】

操作部１１５のレリーズボタンは、ファーストレリーズスイッチとセカンドレリーズスイッチとからなる２段スイッチを有して構成されている。制御部１１６は、レリーズボタンの半押しに応じてファーストレリーズスイッチがオンされると、ＡＥ（自動露出）及びＡＦ（自動焦点）に係る動作等を実施させるための制御を撮像部１１１に対して行う。また、制御部１１６は、レリーズボタンの全押しに応じてセカンドレリーズスイッチがオンされると、被写体の撮影を実施させるための制御を撮像部１１１に対して行う。

【0074】

操作部１１５の再生ボタンは、ユーザの操作に応じ、被写体を撮影して得られた静止画を表示部１１７に表示させるための指示を行うことができるように構成されている。制御部１１６は、再生ボタンがオフされていることを検出した場合には、撮像装置２０１の動作モードを撮影モードに設定し、ライブビュー表示用の画像を表示部１１７に表示させるための制御を画像処理部１１３等に対して行う。また、制御部１１６は、再生ボタンがオンされていることを検出した場合には、撮像装置２０１の動作モードを再生モードに設定し、記録媒体１１８に記録された画像データを再生表示させるための制御を画像処理部１１３等に対して行う。

【0075】

制御部１１６は、ＣＰＵ及びＲＯＭ等を有して構成されており、当該ＲＯＭに予め書き込まれたプログラムを撮像装置２０１の各部の動作に応じて読み込み、当該読み込んだプログラムに基づく処理等を実行する。さらに、制御部１１６は、ユーザの操作に応じてバス１２１に出力される指示に基づき、当該指示に関連する各部に対して制御を行う。

【0076】

表示部１１７は、画像処理部１１３により生成された画像データに基づき、撮影直後の画像データを一定時間だけ表示するレックビュー表示、記録媒体１１８に記録された画像データの再生表示、及び、撮影する被写体の構図を動画にて確認可能なライブビュー表示等の種々の画像表示を行うことができるように構成されている。また、表示部１１７は、タッチパネル機能を有して構成されており、画面上に表示されるスイッチ群の操作に応じた指示を行うことができるように構成されている。

【0077】

記録媒体１１８は、撮像装置２０１に対して着脱可能なメモリカード等により構成されており、画像処理部１１３により生成された画像データを格納することができる。

【0078】

計時部１１９は、ＲＴＣ（リアルタイムクロック）等を有して構成されており、現在の日付及び時刻を取得し、当該取得した日付及び時刻を日時データとして出力することができるように構成されている。

【0079】

通信部１２０は、例えば、インターネット等のネットワークに接続するためのケーブルコネクタ及びアンテナ等を有して構成されており、撮像装置２０１にネットワーク接続されたデータベース部５０１との間におけるデータの送受信を行うことができるように構成されている。

【0080】

ここで、以上に述べたような構成を具備する撮像装置２０１の作用について説明を行う。図８は、本発明の第２の実施例に係る撮像装置において、撮影モード時に行われる処理等の一例を示すフローチャートである。

【0081】

まず、操作部１１５の電源ボタンの操作に応じて撮像装置２０１の電源がオンされると、制御部１１６は、操作部１１５の再生ボタンがオンされているか否かを検出する（図８のステップＳ２０１）。そして、制御部１１６は、図８のステップＳ２０１において、操作部１１５の再生ボタンがオンされていることを検出した場合には、撮像装置２０１の動作モードを再生モードに設定した（図８のステップＳ２０２）後、図１０のステップＳ２４１に示す処理を続けて行う。

【0082】

また、制御部１１６は、図８のステップＳ２０１において、操作部１１５の再生ボタンがオフされていることを検出した場合には、撮像装置２０１の動作モードを撮影モードに設定した後、撮影状況の情報の設定に関する処理に移行する（図８のステップＳ２０３）。

【0083】

ここで、図８のステップＳ２０３において行われる処理の詳細について説明を行う。図９は、撮影状況の情報の設定の際に行われる処理等の一例を示すフローチャートである。

【0084】

制御部１１６は、スタジアム名を取得するための操作が行われたか否かの判定を行う（図９のステップＳ２２１）。

【0085】

制御部１１６は、スタジアム名を取得するための操作が行われなかったとの判定結果を図９のステップＳ２２１により得た場合には、後述の図９のステップＳ２２８の処理を続けて行う。

【0086】

制御部１１６は、スタジアム名を取得するための操作が行われたとの判定結果を図９のステップＳ２２１により得た場合には、さらに、ＧＰＳを使用するための操作が行われたか否かの判定を行う（図９のステップＳ２２２）。

【0087】

制御部１１６は、ＧＰＳを使用するための操作が行われたとの判定結果を図９のステップＳ２２２により得た場合、ＧＰＳレシーバ１１２における電波の受信を開始させる（図９のステップＳ２２３）。

【0088】

制御部１１６は、ＧＰＳ衛星からの電波の受信に成功し、ＧＰＳレシーバ１１２から現在位置の位置データを取得することができた（図９のステップＳ２２４）場合には、当該取得した現在位置の位置データと記憶部１１４の地図データとを照合することにより、当該取得した現在位置の位置データに適合するスタジアム名を取得する（図９のステップＳ２２５）。そして、制御部１１６は、取得したスタジアム名を記憶部１１４に格納した後、後述の図９のステップＳ２２８の処理を続けて行う。

【0089】

一方、制御部１１６は、ＧＰＳを使用するための操作が行われなかったとの判定結果を図９のステップＳ２２２により得た場合、または、ＧＰＳレシーバ１１２から位置データを取得することができなかったとの判定結果を図９のステップＳ２２４により得た場合のいずれかにおいて、現在位置に対応するスタジアム名の入力を促すためのスタジアム名入力画面を表示部１１７に表示させる（図９のステップＳ２２６）。

【0090】

具体的には、制御部１１６は、例えば、タッチ操作可能な日本地図の画像データを含む画面のような、記憶部１１４に格納されている地図データに応じたＧＵＩを具備するスタジアム名入力画面を生成して表示部１１７に表示させるための制御を画像処理部１１３に対して行う。

【0091】

その後、制御部１１６は、表示部１１７に表示されるスタジアム名入力画面において入力（タッチ）された場所と、記憶部１１４に格納された地図データと、に基づき、当該入力（タッチ）された場所の近辺に位置する１または複数のスタジアム名を含むリストを生成して表示部１１７に表示させるための制御を画像処理部１１３に対して行う。そして、制御部１１６は、前述のリストの中から１つのスタジアムが選択されたことを検出すると、当該選択された１つのスタジアム名を現在位置に対応するスタジアム名として記憶部１１４に格納した後、後述の図９のステップＳ２２８の処理を続けて行う。

【0092】

一方、制御部１１６は、開始時刻を入力するための操作が行われたか否かの判定を行う（図９のステップＳ２２８）。

【0093】

制御部１１６は、開始時刻を入力するための操作が行われなかったとの判定結果を図９のステップＳ２２８により得た場合には、撮影状況の情報の設定に関する処理を終了する。

【0094】

制御部１１６は、開始時刻を入力するための操作が行われたとの判定結果を図９のステップＳ２２８により得た場合には、開始時刻の入力を促すための開始時刻入力画面を表示部１１７に表示させる（図９のステップＳ２２９）。

【0095】

ここで、サッカーの試合を一例として挙げた場合、制御部１１６は、前半、後半、延長、及び、ＰＫの各開始時刻の入力を促す画面のような、記憶部１１４に格納されている画面フォーマットに応じたＧＵＩを具備する開始時刻入力画面を生成して表示部１１７に表示させるための制御を画像処理部１１３に対して行う。

【0096】

その後、制御部１１６は、開始時刻の入力を終了するための操作がなされるまでは、開始時刻入力画面を表示部１１７に表示させ続ける（図９のステップＳ２２９及びステップＳ２３０）。

【0097】

また、制御部１１６は、開始時刻の入力を終了するための操作がなされたことを検出すると（図９のステップＳ２３０）、開始時刻入力画面の入力内容を記憶部１１４に格納した後、撮影状況の情報の設定に関する処理を終了する。

【0098】

なお、以上に述べたような撮影状況の情報の設定においては、例えば、複数の地図データ及び複数の画面フォーマットが記憶部１１４に格納され、前記複数の地図データから選択された１つの地図データに応じてイベント開催場所が取得され、前記複数の画面フォーマットから選択された１つの画面フォーマットに応じてイベント開始時刻が入力されるような処理が行われてもよい。そして、このような処理が行われることにより、サッカーの試合（あるいはスポーツの試合）のような特定のカテゴリのイベントに対応する撮影状況の情報に限らず、様々なカテゴリのイベントに対応する撮影状況の情報を設定することができる。

【0099】

一方、制御部１１６は、図８のステップＳ２０３における撮影状況の情報の設定に関する処理を終了した後、表示部１１７においてライブビュー表示を行わせる（図８のステップＳ２０４）。

【0100】

その後、制御部１１６は、操作部１１５のレリーズボタンのセカンドレリーズスイッチがオンされたか否か、すなわち、撮影操作が行われたか否かを検出する（図８のステップＳ２０５）。

【0101】

そして、制御部１１６は、撮影操作が行われていないとの判定結果を図８のステップＳ２０５により得た場合には、図８のステップＳ２０１に戻って処理を行う。

【0102】

また、制御部１１６は、撮影操作が行われたとの判定結果を図８のステップＳ２０５により得た場合には、被写体の撮影を実施させるための制御を撮像部１１１に対して行う（図８のステップＳ２０６）。

【0103】

その後、制御部１１６は、記憶部１１４を参照することにより、図８のステップＳ２０３における撮影状況の情報の設定がなされているか否かの判定を行う（図８のステップＳ２０７）。

【0104】

具体的には、制御部１１６は、図８のステップＳ２０７において、スタジアム名及び開始時刻の両方の情報が記憶部１１４に格納されていることを検出した場合に、図８のステップＳ２０３における撮影状況の情報の設定がなされているとの判定結果を得る。一方、制御部１１６は、図８のステップＳ２０７において、スタジアム名及び開始時刻のうちの少なくともいずれかの情報が記憶部１１４に格納されていないことを検出した場合に、図８のステップＳ２０３における撮影状況の情報の設定がなされていないとの判定結果を得る。

【0105】

そして、制御部１１６は、撮影状況の情報の設定がなされていないとの判定結果を図８のステップＳ２０７により得た場合には、計時部１１９から出力される日時データに応じて取得される撮影日時を、図８のステップＳ２０６の撮影により得られた画像データに関連付けて記録媒体１１８に記録させる（図８のステップＳ２０９）。

【0106】

また、制御部１１６は、撮影状況の情報の設定がなされているとの判定結果を図８のステップＳ２０７により得た場合には、記憶部１１４に格納されている各開始時刻の中から、計時部１１９から出力される日時データに応じて取得される撮影時刻に最も近い１つの開始時刻を選択するとともに、当該撮影時刻から当該１つの開始時刻を差し引く演算を行うことにより、当該１つの開始時刻からの経過時間に相当するイベント内時刻を取得する。

【0107】

ここで、サッカーの試合を一例として挙げた場合、制御部１１６は、前述の経過時間の算出結果をサッカーの試合のタイムテーブルにあてはめることにより、計時部１１９から出力される日時データに応じて取得される撮影時刻を、例えば前半Ｓ分（Ｓ≧０）のような、サッカーの試合のタイムテーブルに沿ったイベント内時刻として取得する。

【0108】

なお、制御部１１６は、前述のようなタイムテーブルが存在しない場合については、前述の経過時間の算出結果をイベント内時刻として取得する。

【0109】

その後、制御部１１６は、記憶部１１４に格納されているスタジアム名、計時部１１９から出力される日時データに応じて取得される撮影日、及び、前述のイベント内時刻を、図８のステップＳ２０６の撮影により得られた画像データにそれぞれ関連付けて記録媒体１１８に記録させる（図８のステップＳ２０８及びステップＳ２０９）。

【0110】

そして、制御部１１６は、図８のステップＳ２０９における画像データの記録が完了した後、図８のステップＳ２０１に戻って処理を行う。

【0111】

続いて、図８のステップＳ２０２において、撮像装置２０１の動作モードが再生モードに設定された際の処理の詳細について説明を行う。図１０は、本発明の第２の実施例に係る撮像装置において、再生モード時に行われる処理等の一例を示すフローチャートである。

【0112】

制御部１１６は、操作部１１５の再生ボタンがオンされていることを検出すると、記録媒体１１８に記録された複数の画像データを縮小して表示部１１７に一覧表示させるための制御を画像処理部１１３に対して行う（図１０のステップＳ２４１）。

【0113】

制御部１１６は、操作部１１５の入力装置群が操作されないこと等に起因して、拡大表示させる１つの画像データが選択されない場合においては（図１０のステップＳ２４２）、後述の図１０のステップＳ２５０の処理を行う。

【0114】

また、制御部１１６は、操作部１１５の入力装置群の操作等により、拡大表示させる１つの画像データが選択されたことを検出すると（図１０のステップＳ２４２）、当該１つの画像データを表示部１１７に拡大表示させる（図１０のステップＳ２４３）。

【0115】

なお、以降においては、図１０のステップＳ２４２及びステップＳ２４３により、第１の実施例の図２のステップＳ４、ステップＳ５、及び、ステップＳ６の各条件を満たす画像データ、すなわち、略同様の表情をした複数の人物が正面以外の同じ方向を向いているようなシーンの画像データが選択されて表示部１１７に拡大表示された場合を例に挙げて説明を進める。

【0116】

その後、制御部１１６は、表示部１１７に拡大表示されている１つの画像データに撮影情報が関連付けられているか否かの判定を行う（図１０のステップＳ２４４）。

【0117】

制御部１１６は、表示部１１７に拡大表示されている１つの画像データに撮影情報が関連付けられていないとの判定結果を図１０のステップＳ２４４により得た場合には、後述の図１０のステップＳ２４９の処理を行う。

【0118】

制御部１１６は、表示部１１７に拡大表示されている１つの画像データに撮影情報が関連付けられているとの判定結果を図１０のステップＳ２４４により得た場合には、さらに、合成画像データを生成するための操作が行われたか否かの判定を行う（図１０のステップＳ２４５）。

【0119】

制御部１１６は、合成画像データを生成するための操作が行われなかったとの判定結果を図１０のステップＳ２４５により得た場合には、後述の図１０のステップＳ２４９の処理を続けて行う。

【0120】

画像検索部としての機能を備えた制御部１１６は、合成画像データを生成するための操作が行われたとの判定結果を図１０のステップＳ２４５により得た場合には、表示部１１７に拡大表示されている１つの画像データに関連付けられている撮影情報に対応するキーワードを生成し、当該生成したキーワードを用いてデータベース部５０１に格納されている画像データを検索し、検索結果に応じた画像データを通信部４を介して取得する（図１０のステップＳ２４６）。なお、図１０のステップＳ２４６における画像データの検索の際には、例えば、第１の実施例において説明した図２のステップＳ７の処理と同様の処理を適用することができる。

【0121】

制御部１１６は、図１０のステップＳ２４６の検索結果に含まれる１つの画像データと、当該１つの画像データを用いた合成画像データの生成を実施するか否かを確認するための文字列と、を含む確認画面を表示部１１７に表示させるための制御を画像処理部１１３に対して行う。

【0122】

制御部１１６は、前述の確認画面において合成画像データの生成を実施しない旨の選択がなされたことを検出すると、ユーザの所望の画像データが取得されなかったものとみなした（図１０のステップＳ２４７）後、図１０のステップＳ２４６の処理を再度行うことにより、他の画像データを取得する。すなわち、撮像装置２０１を操作するユーザにより、合成画像データの生成に好適な画像データがデータベース部５０１から取得されたと判断されるまでの間、図１０のステップＳ２４６及びステップＳ２４７の処理が繰り返し行われる。

【0123】

一方、制御部１１６は、前述の確認画面において合成画像データの生成を実施する旨の選択がなされたことを検出すると、ユーザの所望の画像データが取得されたものとみなした（図１０のステップＳ２４７）後、図１０のステップＳ２４２において選択された１つの画像データと、図１０のステップＳ２４６において取得された１つの画像データと、を合成することにより合成画像データを生成し、当該生成した合成画像データを表示部１１７に表示させるとともに記録媒体１１８に記録させる（図１０のステップＳ２４８）。さらに、制御部１１６は、合成画像データの記録媒体１１８への記録が完了すると、後述の図１０のステップＳ２４９の処理を続けて行う。

【0124】

なお、図１０のステップＳ２４８における合成画像データの生成の際には、例えば、第１の実施例において説明した図２のステップＳ８の処理と同様の処理を適用することができる。そして、このような場合において、例えば、図４のような画像データが図１０のステップＳ２４２において選択されると、当該選択された画像データに含まれる複数の人物が向いている方向（視線方向）の先に位置する部分であり、かつ、表示部１１７の周縁部に相当する部分に、図１０のステップＳ２４７の所望の画像データが配置されることにより、図５のような合成画像データが表示される。

【0125】

制御部１１６は、拡大表示を終了するための操作が行われたか否かの判定を行う（図１０のステップＳ２４９）。

【0126】

制御部１１６は、拡大表示を終了するための操作が行われていないとの判定結果を図１０のステップＳ２４９により得た場合には、図１０のステップＳ２４３に戻って処理を行う。

【0127】

制御部１１６は、拡大表示を終了するための操作が行われたとの判定結果を図１０のステップＳ２４９により得た場合には、さらに、再生モードを終了するための操作が行われたか否かの判定を行う（図１０のステップＳ２５０）。

【0128】

制御部１１６は、再生モードを終了するための操作が行われていないとの判定結果を図１０のステップＳ２５０により得た場合には、図１０のステップＳ２４１に戻って処理を行う。

【0129】

制御部１１６は、再生モードを終了するための操作が行われたとの判定結果を図１０のステップＳ２５０により得た場合には、図８のステップＳ２０１に戻って処理を行う。

【0130】

以上に述べたように、本実施例によれば、人物に対して背景等の周辺情報の占める割合が少なくなるように撮影された画像に対し、当該画像の撮影時の状況を補足して示すための加工を容易に施すことができる。

【0131】

なお、本発明は、上述した各実施例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。

【符号の説明】

【0132】

１，１１８ 記録媒体
２，１１７ 表示部
３，１１５ 操作部
４，１２０ 通信部
５，１１６ 制御部
１０１ 画像表示装置
２０１ 撮像装置
５０１ データベース部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】