特許 5683973 画像再生装置および画像再生プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5683973

(24)【登録日】2015年1月23日

(45)【発行日】2015年3月11日

(54)【発明の名称】画像再生装置および画像再生プログラム

(51)【国際特許分類】

   H04N 5/93 20060101AFI20150219BHJP

   H04N 5/91 20060101ALI20150219BHJP

   G09B 29/00 20060101ALI20150219BHJP

【ＦＩ】

   H04N5/93 Z

   H04N5/91 J

   G09B29/00 A

   G09B29/00 F

【請求項の数】4

【全頁数】20

(21)【出願番号】特願2011-9805(P2011-9805)

(22)【出願日】2011年1月20日

(65)【公開番号】特開2012-151733(P2012-151733A)

(43)【公開日】2012年8月9日

【審査請求日】2014年1月15日

(73)【特許権者】

【識別番号】504371974

【氏名又は名称】オリンパスイメージング株式会社

(74)【代理人】

【識別番号】100075513

【弁理士】

【氏名又は名称】後藤 政喜

(74)【代理人】

【識別番号】100114236

【弁理士】

【氏名又は名称】藤井 正弘

(74)【代理人】

【識別番号】100120260

【弁理士】

【氏名又は名称】飯田 雅昭

(74)【代理人】

【識別番号】100130638

【弁理士】

【氏名又は名称】野末 貴弘

(72)【発明者】

【氏名】戸井田 真希

【審査官】 松元 伸次

(56)【参考文献】

【文献】 特開２０１０−０２１９２１（ＪＰ，Ａ）

【文献】 特開２００６−３５２３６９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０９Ｂ２３／００−２９／１４

Ｈ０４Ｎ５／２２２−５／２５７

５／７６５

５／９１

５／９１５

５／９２

５／９２２

５／９２８−５／９３

５／９３７−５／９４

５／９５−５／９５６

(57)【特許請求の範囲】

【請求項1】

画像を地図上の撮影位置に対応させて重畳表示する画像再生装置であって、
地図に表示させる被写体の種類を設定する被写体設定部と、
画像から、前記被写体設定部によって設定された被写体に相当する部分を、部分画像として抽出する部分画像抽出部と、
前記部分画像抽出部によって抽出された部分画像を地図上の撮影位置に重畳させた地図画像を作成する地図画像作成部と、
前記地図画像作成部によって作成された地図画像を表示させる表示制御部と、
を備え、
前記地図画像作成部は、前記地図画像上でいずれかの部分画像が指定された場合に、指定された部分画像の元の画像が撮影された日時および撮影時の天気のうちの少なくとも一方の情報を取得し、取得した情報に基づいて、地図の背景の表示を変更する、
ことを特徴とする画像再生装置。

【請求項2】

画像中の被写体の種類を認識し、認識した被写体の種類に関する情報を画像データとともに記録させる被写体認識部をさらに備え、
前記被写体設定部は、画像データとともに記録されている被写体の種類に基づいて、複数の被写体の種類をリストアップしたテーマリストを作成し、作成したテーマリストの中で指示されたテーマに応じて、前記地図に表示させる被写体の種類を設定する、
ことを特徴とする請求項１に記載の画像再生装置。

【請求項3】

前記地図画像作成部は、地図上に重畳させる部分画像の撮影位置が地図上の所定範囲内に所定数以上存在する場合に、当該所定範囲内に所定数以上存在する部分画像を集合させた集合画像を作成し、作成した集合画像を地図上に重畳させた地図画像を作成する、
ことを特徴とする請求項１又は２に記載の画像再生装置。

【請求項4】

画像を地図上の撮影位置に対応させて重畳表示させるための画像再生プログラムであって、
地図に表示させる被写体の種類を設定するステップと、
画像から、前記設定した被写体に相当する部分を、部分画像として抽出するステップと、
前記抽出した部分画像を地図上の撮影位置に重畳させた地図画像を作成するステップと、
前記作成した地図画像を表示させるステップと、
前記地図画像上でいずれかの部分画像が指定された場合に、指定された部分画像の元の画像が撮影された日時および撮影時の天気のうちの少なくとも一方の情報を取得し、取得した情報に基づいて、地図の背景の表示を変更するステップと、
をコンピュータに実行させるための画像再生プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影により得られた画像を、地図上の撮影位置に対応させて重畳表示させる技術に関する。

【背景技術】

【0002】

従来、撮影位置が含まれる地図を表示し、その地図上の撮影位置に、撮影により得られた画像のサムネイル画像を配置して表示する技術が知られている（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０−０６０７８４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の技術では、地図上の撮影位置にサムネイル画像を配置して表示するので、被写体の表示サイズも小さくなり、印象深い地図表示を行うことができなかった。

【0005】

本発明は、撮影された画像を地図上の撮影位置に配置して表示する際に、印象深い地図表示を行う技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明のある態様に係る画像再生装置は、画像を地図上の撮影位置に対応させて重畳表示する画像再生装置であって、地図に表示させる被写体の種類を設定する被写体設定部と、画像から、前記被写体設定部によって設定された被写体に相当する部分を、部分画像として抽出する部分画像抽出部と、前記部分画像抽出部によって抽出された部分画像を地図上の撮影位置に重畳させた地図画像を作成する地図画像作成部と、前記地図画像作成部によって作成された地図画像を表示させる表示制御部と、を備え、前記地図画像作成部は、前記地図画像上でいずれかの部分画像が指定された場合に、指定された部分画像の元の画像が撮影された日時および撮影時の天気のうちの少なくとも一方の情報を取得し、取得した情報に基づいて、地図の背景の表示を変更する。

【0007】

本発明の別の態様に係る画像再生プログラムは、画像を地図上の撮影位置に対応させて重畳表示させるための画像再生プログラムであって、地図に表示させる被写体の種類を設定するステップと、画像から、前記設定した被写体に相当する部分を、部分画像として抽出するステップと、前記抽出した部分画像を地図上の撮影位置に重畳させた地図画像を作成するステップと、前記作成した地図画像を表示させるステップと、前記地図画像上でいずれかの部分画像が指定された場合に、指定された部分画像の元の画像が撮影された日時および撮影時の天気のうちの少なくとも一方の情報を取得し、取得した情報に基づいて、地図の背景の表示を変更するステップと、をコンピュータに実行させる。

【発明の効果】

【0008】

本発明によれば、画像の中の特定の被写体を地図上に表示させた印象深い地図表示を行うことができる。

【図面の簡単な説明】

【0009】

【図1】一実施の形態における画像再生装置を適用したデジタルカメラの構成を示すブロック図である。

【図2】画像データに付随させて記録するタグ情報の一例を示す図である。

【図3】デジタルカメラが地図表示モードに設定され、かつ、部分画像モードに設定されていない場合の地図画像の一例を示す図である。

【図4】デジタルカメラが地図表示モードに設定され、かつ、部分画像モードに設定されている場合に、地図画像の作成方法を説明するための図である。

【図5】部分画像のテーマとして動物が設定された場合の地図画像の一例を示す図である。

【図6】地図に、花束の集合画像を重畳させた地図画像の一例を示す図である。

【図7】選択された部分画像の撮影時刻および撮影時の天気に応じて、地図の背景表示を変更する例を示す図である。

【図8】ワインの部分画像の作成方法について説明するための図である。

【図9】デジタルカメラが撮影モードに設定されている場合の処理の流れを示すフローチャートである。

【図10】デジタルカメラが再生モードに設定されている場合の処理の流れを示すフローチャートである。

【図11】部分画像を用いた地図画像の作成処理の詳細な内容を示すフローチャートである。

【発明を実施するための形態】

【0010】

図１は、一実施の形態における画像再生装置５を適用したデジタルカメラ１の構成を示すブロック図である。デジタルカメラ１は、画像再生装置５と、撮像部１５と、記録部２２とを備える。本実施の形態におけるデジタルカメラ１は、画像の再生時に、地図上に画像を重畳させて表示する地図表示モードを設定することができる。この地図表示モードには、撮影位置にサムネイル画像を配置する通常の表示モードと、部分画像を配置する部分画像モードの２つのモードがある。

【0011】

画像再生装置５は、制御部１１と、プログラム／データ記憶部１２と、操作部１３と、ＧＰＳ部１４と、ＳＤＲＡＭ１６と、画像処理部１７と、表示ドライバー部１８と、表示部１９と、圧縮伸長部２０と、再生部２１と、画像記憶部２３と、通信部２４と、バス２５とを備える。

【0012】

制御部（ＣＰＵ）１１は、プログラム／データ記憶部１２に記憶された制御プログラムに従って動作し、カメラの全体制御を行う。制御部１１内には、表示制御部１１１、被写体認識部１１２、被写体設定部１１３、部分画像抽出部１１４、および、地図画像作成部１１５が設けられている。表示制御部１１１、被写体認識部１１２、被写体設定部１１３、部分画像抽出部１１４、および、地図画像作成部１１５は、制御プログラムにより実行される処理の一部であるため、制御部１１に含まれる機能部として説明する。

【0013】

表示制御部１１１は、後述する表示部１９に静止画および動画を含む再生画像を表示する際の表示制御を行う。

【0014】

被写体認識部１１２は、撮影画像中の被写体の種類を認識する処理を行う。被写体認識部１１２は、プログラム／データ記憶部１２に予め格納されている被写体データベースの被写体データと比較することによって、画像中の被写体の種類を認識する。被写体データベースの被写体データには、花、男性、女性、子供、山、川、犬、猫、熊、ワイン、ラーメン等の外観データが含まれる。

【0015】

被写体認識部１１２によって認識される画像中の被写体は、１種類とは限らない。例えば、画像中に花と女性が写っていれば、花と女性の２種類の被写体が認識される。ユーザは、操作部１３の操作によって、被写体認識部１１２で認識された被写体の種類を変更したり、被写体認識部１１２によって認識されなかった被写体の種類を追加することができる。

【0016】

被写体認識部１１２によって認識された被写体の種類、および、ユーザによって追加・変更された被写体の種類は、タグ情報として画像データに付随させて記録する。また、認識された被写体の形状データもタグ情報として記録する。タグ情報には、撮影日時、撮影位置、撮影時の天気の情報等も含まれる。なお、被写体の種類を認識してタグ情報として記録するタイミングは撮影時であるが、撮影後でもよい。

【0017】

被写体設定部１１３は、デジタルカメラ１が地図表示モードに設定されており、かつ、後述する部分画像モードに設定されている場合に、部分画像を作成するために必要なテーマ（被写体の種類）を設定する。このため、被写体設定部１１３は、テーマリストを作成して、表示部１９に表示させる。テーマリストは、部分画像を作成する際に必要となる被写体の種類をユーザに選択させるためのリストであり、画像記憶部２３に記録されている複数の画像の被写体の種類に基づいて作成する。例えば、記録されている画像数の多い被写体の種類の上位５つをリストアップして、テーマリストを作成する。また、予め用意された５つの代表的な被写体の種類（例えば、人、犬、子供、風景、建物）でテーマリストを作成してもよい。

【0018】

ユーザは、操作部１３の操作によって、表示部１９に表示されるテーマリストのテーマの中から、部分画像のテーマを選択する。被写体設定部１１３は、ユーザによって選択されたテーマを、部分画像のテーマとして設定する。

【0019】

部分画像抽出部１１４は、被写体設定部１１３で設定されたテーマの被写体を有する画像を画像記憶部２３から読み出し、読み出した画像から、そのテーマの被写体部分を部分画像として抽出する。具体的には、画像データに付随するタグ情報を参照することによって、設定されたテーマの被写体を有する画像データを読み出し、読み出した画像データのタグ情報に含まれる被写体の形状データに基づいて、部分画像を抽出する。

【0020】

なお、画像データに、被写体の種類を示すタグ情報が付随していない場合には、画像認識処理によって、設定されたテーマの被写体を有する画像を検索すればよい。

【0021】

地図画像作成部１１５は、部分画像抽出部１１４によって抽出された部分画像を地図上の撮影位置に重畳させた地図画像を作成する。具体的には、地図画像作成部１１５は、部分画像モードの設定時には、プログラム／データ記憶部１２から、画像の撮影位置が属する範囲の地図データを読み出し、読み出した地図の撮影位置に対応する位置に、部分画像抽出部１１４によって抽出された部分画像を重畳させて、地図画像を作成する。一方、部分画像モードに設定されていない場合（通常の表示モード）には、プログラム／データ記憶部１２から、画像の撮影位置が属する範囲の地図データを読み出し、読み出した地図の撮影位置に対応する位置に、画像を縮小したサムネイル画像を重畳させた地図画像を作成する。

【0022】

制御部１１には、プログラム／データ記憶部１２、操作部１３、ＧＰＳ部１４、および、バス２５が接続されている。プログラム／データ記憶部１２には、前述したように。制御部１１において実行するプログラムが記憶されており、地図データを含む各種データも記憶されている。地図データには、東京都の地図、関東エリアの地図、日本の地図、アメリカの地図、オーストラリアの地図など、様々な場所の地図が含まれている。

【0023】

操作部１３は、ユーザがカメラに指示を与えるための各種操作部材およびタッチパネルを有する。各種操作部材には、例えば、電源釦、レリーズ釦、ＯＫ釦、十字釦、再生釦、テレワイド釦等が含まれる。

【0024】

ＧＰＳ部１４は、ＧＰＳ衛星からの電波を受信することによって、デジタルカメラ１の現在地を検出する。

【0025】

バス２５には、制御部１１の他に、撮像部１５、ＳＤＲＡＭ１６、画像処理部１７、表示ドライバー部１８、圧縮伸長部２０、再生部２１、記録部２２、および、通信部２４が接続されている。

【0026】

撮像部１５は、被写体像を結像させるための撮影レンズ、被写体像を画像データに変換するための撮像素子、および、これらの処理回路、撮影レンズの光路中に介挿された絞りおよびシャッタ等を含む。撮像部１５によって生成された静止画像や連続画像の画像データはバス２５に出力される。

【0027】

ＳＤＲＡＭ１６は、電気的に書き換え可能な揮発性の一時記憶メモリであり、撮像部１５から出力される静止画像や連続画像の画像データの一時記憶に用いられる。

【0028】

画像処理部１７は、デジタル画像データのデジタル的増幅（デジタルゲイン調整処理）、ホワイトバランス、色補正、ガンマ（γ）補正、コントラスト補正、ライブビュー表示用画像生成、動画画像生成、インデックス画像（縮小画像）生成等の各種画像処理を行う。

【0029】

圧縮伸長部２０は、ＳＤＲＡＭ１６に一時記憶された静止画像や連続画像の画像データをＪＰＥＧやＴＩＦＦ等の圧縮方式により圧縮し、また表示等のために伸長するための回路である。なお、画像圧縮は、ＪＰＥＧ、ＴＩＦＦ、ＭＰＥＧに限らず、他の圧縮方式も適用できる。

【0030】

表示ドライバー部１８は、表示部１９と接続されており、表示部１９に画像を表示させる。表示部１９は、カメラ本体の背面等に配置された液晶モニタや有機ＥＬ等のディスプレイである。

【0031】

再生部２１は、画像記憶部２３に記憶されている画像の再生を行う。特に、再生部２１は、画像記憶部２３から、表示部１９に表示するための画像データを読み出す。読み出された画像データは、圧縮伸長部２０において伸長され、伸長された画像データに基づいて、表示部１９に画像が再生表示される。

【0032】

記録部２２は、圧縮伸長部２０で圧縮された画像データを画像記憶部２３に記録させる。画像記憶部２３は、再生部２１および記録部２２に接続されており、カメラ本体に内蔵、または装填可能な画像データの記録媒体である。

【0033】

通信部２４は、インターネットなどのネットワーク２８を介して、画像を撮影した場所における撮影時の天気情報を取得する。

【0034】

図２は、画像データに付随させて記録するタグ情報の一例を示す図である。上述したように、タグ情報には、撮影日時、撮影時の天気、撮影位置、被写体の種類の情報が少なくとも含まれる。図２に示すように、被写体の種類は、該当する種類に１が付されている。例えば、画像番号１９の画像データには、撮影日時が２０１０年４月２８日の午前１０時、撮影時の天気は晴れ、撮影位置がメルボルン、被写体の種類はワインというタグ情報が付随している。なお、タグ情報が撮影日時、撮影時の天気、撮影位置、被写体の種類に限定されることはない。

【0035】

図３は、デジタルカメラ１が地図表示モードに設定され、かつ、部分画像モードに設定されていない場合（通常の表示モード）の地図画像３０の一例を示す図である。図３に示す地図画像３０では、オーストラリアを示す地図３１に、複数のサムネイル画像３２が重畳されている。なお、図３では、各サムネイル画像３２を区別するために、画像番号を付して表示している。

【0036】

図４は、デジタルカメラ１が地図表示モードに設定され、かつ、部分画像モードに設定されている場合に、地図画像４７の作成方法を説明するための図である。ここでは、部分画像のテーマとして、「花」が設定されたものとして説明する。

【0037】

図４（Ａ）は、人物の顔４１および花４２が写った画像４０を示す図である。図４（Ｂ）は、人物４４および犬４５とともに、花４６が写った画像４３を示す図である。なお、図４（Ａ）および図４（Ｂ）では、画像の左上に画像番号３１、４７をそれぞれ表示している。

【0038】

部分画像抽出部１１４は、画像４０から花４２を部分画像として抽出するとともに、画像４３から花４６を部分画像として抽出する。地図画像作成部１１５は、表示対象の画像の撮影場所を全て含む地図データをプログラム／データ記憶部１２から読み出し、読み出した地図データに、部分画像抽出部１１４によって抽出された部分画像を重畳させて、地図画像を作成する。部分画像を重畳させる位置は、その画像が撮影された場所とする。

【0039】

図４（Ｃ）は、地図画像作成部１１５によって作成された地図画像４７の一例を示す図である。オーストラリアを示す地図４８に、図４（Ａ）の花４２の部分画像や、図４（Ｂ）の花４６の部分画像が重畳されている。花４２、４６等の部分画像は、図２のタグ情報例で示す表のＮｏ３１、Ｎｏ４７等を元の画像とするような画像である。

【0040】

図５は、部分画像のテーマとして動物が設定された場合の地図画像５０の一例を示す図である。図５に示す地図画像５０では、北海道を示す地図５１に、様々な動物の部分画像５２〜５５が、それぞれの画像を撮影した場所に重畳されている。部分画像５２〜５５は、図２のタグ情報例で示す表のＮｏ１０１、Ｎｏ１２１，Ｎｏ１４２等を元の画像とするような画像である。

【0041】

部分画像の元の画像を撮影した場所が、表示する地図上の所定範囲内に所定数以上存在する場合、地図画像作成部１１５は、その部分画像を集合させた集合画像を作成して、地図に重畳させる。集合画像を作成する条件となる所定範囲および所定数は、地図画像を表示する際の視認性を考慮して、適切な値を予め設定しておく。

【0042】

例えば、部分画像が花の場合には、地図上の所定範囲内に所定数以上存在する花を集合させた花束の集合画像を作成して、地図に重畳させる。図６は、オーストラリアを示す地図６１に、花束の集合画像６２、６３を重畳させた地図画像６０の一例を示す図である。集合画像を作成して重畳表示させることにより、複数の部分画像が密集して表示されることによる視認性の悪さを防ぐことができる。

【0043】

地図画像が表示部１９に表示されている状態で、ユーザは、操作部１３の操作によって、表示部１９に表示されるカーソルを動かすことにより、地図上の部分画像を選択することができる。カーソルによって部分画像が選択されると、地図画像作成部１１５は、選択された部分画像の元の画像の撮影時刻および撮影時の天気に応じて、地図の背景表示を変更する。

【0044】

例えば、撮影時刻が夜の場合には、地図の背景を黒色にし、撮影時の天気が雨の場合には、雨が降っているような背景表示とする。図７（Ａ）は、カーソル７１によって、部分画像７４が選択された場合に、背景表示を変更した地図画像７５の一例を示す図である。部分画像７４の元の画像の撮影時刻は夜であり、かつ、撮影時の天気は雨とする。この場合、地図画像７５の地図７２の背景７３は、黒色であり、かつ、雨が降っているような表示となっている。

【0045】

図７（Ｂ）は、カーソル７６によって、部分画像７７が選択された場合に、背景表示を変更した地図画像８０の一例を示す図である。部分画像７７の元の画像の撮影時刻は昼間であり、かつ、撮影時の天気は晴天とする。この場合、地図画像８０の地図７８の背景７９は、昼間の晴天を表す明るい色（例えば、水色）で表示される。

【0046】

同様に、サムネイル画像を重畳させた地図画像においても、地図上のいずれかのサムネイル画像が選択された場合に、選択されたサムネイル画像の撮影時刻および撮影時の天気に応じて、地図の背景表示を変更する処理を行う。

【0047】

なお、撮影時刻および撮影時の天気の両方ではなく、撮影時刻に応じて地図の背景表示を変更するようにしてもよいし、撮影時の天気に応じて地図の背景表示を変更するようにしてもよい。

【0048】

これまでは、地図に重畳させる部分画像として元の画像から抽出した画像を原則そのまま使用する例を示したが、抽出した画像をさらに加工して部分画像とする例を以下に示す。これは、撮影された被写体そのものよりも、撮影された被写体の種類が明確に表示されることをユーザが希望するような場合である。テーマとして、特定の物品、例えば以下で示すワインが選択されたような場合である。

【0049】

本実施の形態におけるデジタルカメラ１では、部分画像のテーマとしてワインが設定された場合に、単に画像からワインの部分を抽出して部分画像とするのではなく、ワインのラベルを抽出して新たにワインの部分画像を作成する。ワインの部分画像の作成方法について、図８を用いて説明する。

【0050】

図８（Ａ）および図８（Ｅ）は、ワインを被写体として撮影された画像の例である。部分画像抽出部１１４は、画像認識処理によって、撮影された画像からワインのラベル部分を抽出する（図８（Ｂ）、図８（Ｆ））。抽出したラベル部分は、斜めに傾いていたり、歪んでいる場合があるため、これらの傾きや歪みを補正する（図８（Ｃ）、図８（Ｇ））。

【0051】

プログラム／データ記憶部１２には、様々なワインのラベルに応じた様々な瓶の画像データが格納されている。部分画像抽出部１１４は、抽出したワインのラベルに応じた瓶の画像データをプログラム／データ記憶部１２から読み出す。抽出したワインのラベルに応じた瓶の画像データがプログラム／データ記憶部１２に存在しない場合には、デフォルトの瓶の画像データをプログラム／データ記憶部１２から読み出す。そして、傾きや歪みを補正したラベル部分の画像を、読み出した瓶の画像と合成することによって、ワインの部分画像を作成する（図８（Ｄ）、図８（Ｈ））。

【0052】

地図画像作成部１１５は、部分画像抽出部１１４で作成されたワインの部分画像を地図画像に重畳させて、地図画像を作成する（図８（Ｉ））。

【0053】

図９は、デジタルカメラ１が撮影モードに設定されている場合の処理の流れを示すフローチャートである。ステップＳ１１では、レリーズボタンの押圧操作に応じて、撮影処理を行う。

【0054】

ステップＳ１２〜ステップＳ１６の処理は、被写体認識部１１２によって行われる。 ステップＳ１２では、被写体の種類を認識する処理を行うか否かを判定する。ユーザは、被写体の種類を認識させる処理をデジタルカメラ１に行わせるか否かを事前に設定しておくことができる。設定に基づいて、被写体の種類を認識する処理を行うと判定するとステップＳ１３に進み、被写体の種類を認識する処理を行わないと判定すると、ステップＳ１６に進む。

【0055】

ステップＳ１３では、ステップＳ１１の撮影処理によって得られた画像データに対して、被写体の種類を認識する処理を行う。

【0056】

ステップＳ１４では、被写体の種類が認識できたか否かを判定する。被写体の種類を少なくとも１つ認識することができたと判定するとステップＳ１５に進み、被写体の種類を１つも認識することができなかったと判定すると、ステップＳ１６に進む。

【0057】

ステップＳ１５では、ステップＳ１３で認識した被写体の種類の情報を、タグ情報に追加する。

【0058】

ステップＳ１６において、記録部２２は、撮影日時、撮影した位置、撮影時の天気の情報をタグ情報に追加して、タグ情報を付随させた画像データを画像記憶部２３に記録させる。

【0059】

図１０は、デジタルカメラ１が再生モードに設定されている場合の処理の流れを示すフローチャートである。再生モードとは、画像を再生するためのモードである。

【0060】

ステップＳ２１では、デジタルカメラ１が地図表示モードに設定されているか否かを判定する。デジタルカメラ１が地図表示モードに設定されていないと判定すると、ステップＳ２２に進む。ステップＳ２２では、通常の画像再生処理、すなわち、再生対象の画像データを画像記憶部２３から読み出して表示部１９に表示させる処理を行う。

【0061】

一方、ステップＳ２１において、デジタルカメラ１が地図表示モードに設定されていると判定すると、ステップＳ２３に進む。ステップＳ２３では、デジタルカメラ１が部分画像モードに設定されているか否かを判定する。デジタルカメラ１が部分画像モードに設定されていないと判定すると、ステップＳ３１に進む。

【0062】

ステップＳ３１〜ステップＳ３３の処理（通常の表示モード）は、地図画像作成部１１５によって行われる。ステップＳ３１では、表示対象の画像の範囲を設定する。ユーザは、表示対象の画像の範囲を指定することができる。例えば、画像番号を指定することによって、表示対象の画像の範囲を指定する。また、撮影場所、撮影日時などを指定することによって、表示対象の画像の範囲を指定するようにしてもよい。地図画像作成部１１５は、ユーザによる指定に基づいて、表示対象の画像の範囲を設定する。ユーザによる指定がない場合には、画像記憶部２３に記録されている全ての画像を、表示対象の画像に設定する。

【0063】

ステップＳ３２では、ステップＳ３１で設定された表示対象の画像の撮影位置に応じた地図データをプログラム／データ記憶部１２から読み出す。具体的には、表示対象の画像の撮影位置を全て含み、かつ、大きさが最も小さい地図のデータを読み出す。例えば、プログラム／データ記憶部１２に北海道と日本の地図データが記録されている場合であって、表示対象の画像の撮影位置が札幌市、旭川市、函館市、釧路市の場合には、日本よりも大きさの小さい北海道の地図データを読み出す。

【0064】

ステップＳ３３では、表示対象の画像のサムネイル画像を、ステップＳ３２で読み出した地図データの各画像の撮影位置上にそれぞれ重畳させて、地図画像を作成する。

【0065】

一方、ステップＳ２３において、デジタルカメラ１が部分画像モードに設定されていると判定するとステップＳ２４に進む。ステップＳ２４では、部分画像を用いた地図画像の作成処理を行う。この処理の詳細について、図１１に示すフローチャートを用いて説明する。

【0066】

図１１は、部分画像を用いた地図画像の作成処理の詳細な内容を示すフローチャートである。ステップＳ４１およびステップＳ４２の処理は、被写体設定部１１３によって行われる。

【0067】

ステップＳ４１では、テーマリストを作成し、表示部１９に表示させる。

【0068】

ステップＳ４２では、テーマリストのテーマの中から、部分画像のテーマがユーザによって指定されたか否かを判定する。部分画像のテーマが指定されていないと判定するとステップＳ４２で待機し、指定されたと判定すると、ステップＳ４３に進む。部分画像のテーマが指定されると、被写体設定部１１３は、ユーザによって指定されたテーマを部分画像のテーマとして設定する。

【0069】

ステップＳ４３からステップＳ４６、および、ステップＳ５１からステップＳ５３までの処理は、部分画像抽出部１１４によって行われる。ステップＳ４３では、被写体設定部１１３によって設定されたテーマの被写体が存在する画像を、各画像データに付されたタグ情報を利用して、画像記憶部２３から読み出す。

【0070】

ステップＳ４４では、被写体設定部１１３によって設定されたテーマがワインであるか否かを判定する。被写体の種類が明確に表示されることが望まれるテーマとして、ここではワインを例示する。設定されたテーマがワインではないと判定するとステップＳ４５に進み、ワインであると判定するとステップＳ５１に進む。

【0071】

ステップＳ４５では、ステップＳ４３で読み出した画像から、設定されたテーマの被写体部分を部分画像として抽出する。

【0072】

一方、ステップＳ５１では、ステップＳ４３で読み出した画像から、ワインのラベル部分を抽出する。

【0073】

ステップＳ５２では、ステップＳ５１で抽出したラベル部分が正面を向くように、傾きや歪みを補正する。

【0074】

ステップＳ５３では、抽出したワインのラベルに応じた瓶の画像データをプログラム／データ記憶部１２から読み出し、読み出した瓶の画像と、傾きや歪みを補正したラベル部分の画像とを合成することによって、ワインの部分画像を作成する。上述したように、ワインのラベルに応じた瓶の画像データがプログラム／データ記憶部１２に存在しない場合には、デフォルトの瓶の画像データをプログラム／データ記憶部１２から読み出して用いる。瓶の画像は、ネットワーク２８を通じて入手するようにしてもよい。

【0075】

ステップＳ４６では、ステップＳ４５で抽出した部分画像、または、ステップＳ５３で作成した部分画像をＳＤＲＡＭ１６に一時的に記憶させる。

【0076】

ステップＳ４７からステップＳ４９、および、ステップＳ５４からステップＳ５５までの処理は、地図画像作成部１１５によって行われる。ステップＳ４７では、ステップＳ４３で読み出した画像の撮影位置に応じた地図データをプログラム／データ記憶部１２から読み出す。すなわち、読み出した画像の撮影位置を全て含み、かつ、大きさが最も小さい地図のデータを読み出す。

【0077】

ステップＳ４８では、部分画像の撮影場所が密集しているか否か、すなわち、部分画像の撮影場所が地図上の所定範囲内に所定数以上存在するか否かを判定する。部分画像の撮影場所が地図上の所定範囲内に所定数以上存在すると判定するとステップＳ５４に進み、存在しないと判定するとステップＳ４９に進む。

【0078】

ステップＳ４９では、ステップＳ４６で一時的に記憶させた部分画像をＳＤＲＡＭ１６から読み出し、読み出した部分画像を、ステップＳ４７で読み出した地図データに重畳させて地図画像を作成する。地図画像を作成すると、図１０に示すフローチャートの処理に戻る。

【0079】

一方、ステップＳ５４では、被写体設定部１１３によって設定されたテーマが花であるか否かを判定する。設定されたテーマが花であると判定するとステップＳ５５に進み、花ではないと判定すると、図１０に示すフローチャートの処理に戻る。

【0080】

ステップＳ５５では、撮影場所が地図上の所定範囲内に所定数以上存在する花の部分画像を集合させた花束の集合画像を作成し、作成した花束の集合画像を、ステップＳ４７で読み出した地図データに重畳させて地図画像を作成する。地図画像を作成すると、図１０に示すフローチャートの処理に戻る。

【0081】

図１０に示すフローチャートに戻って説明を続ける。ステップＳ２５では、ステップＳ２４で作成した地図画像、または、ステップＳ３３で作成した地図画像を表示部１９に表示させる。

【0082】

ステップＳ２６からステップＳ２８までの処理は、地図画像作成部１１５によって行われる。ステップＳ２６では、地図上のいずれかの画像が選択されたか否かを判定する。ステップＳ２４で作成された地図画像が表示されている場合には、地図上のいずれかの部分画像が選択されたか否かを判定し、ステップＳ３３で作成された地図画像が表示されている場合には、地図上のいずれかのサムネイル画像が選択されたか否かを判定する。カーソルによって、地図上のいずれかの画像が選択されたと判定するとステップＳ２７に進み、地図上の画像は選択されていないと判定すると、ステップＳ２９に進む。

【0083】

ステップＳ２７では、カーソルによって選択された画像に付随して記録されているタグ情報から、画像の撮影日時および撮影時の天気の情報を読み出す。

【0084】

ステップＳ２８では、ステップＳ２７で読み出した撮影日時および撮影時の天気に基づいて、地図の背景表示を変更する（図７参照）。

【0085】

ステップＳ２９では、再生モードを終了する操作が行われたか否かを判定する。例えば、ユーザによって、電源オフ操作や、撮影操作が行われると、再生モードを終了する操作が行われたと判定して、フローチャートの処理を終了する。一方、再生モードを終了する操作が行われていないと判定すると、ステップＳ３０に進む。

【0086】

ステップＳ３０では、表示部１９の表示条件を変更する操作が行われたか否かを判定する。表示条件を変更する操作とは、例えば、地図表示モードの設定を解除する操作や、部分画像モードの設定をオン／オフする操作、地図上に重畳させる部分画像のテーマを変更する操作等である。表示部１９の表示条件を変更する操作が行われたと判定するとステップＳ２１に戻り、そのような操作は行われていないと判定すると、ステップＳ２５に戻る。

【0087】

以上、一実施の形態における画像再生装置によれば、地図に重畳表示させる被写体の種類を設定し、画像から、設定した被写体に相当する部分を部分画像として抽出する。そして、抽出した部分画像を地図上の撮影位置に重畳させた地図画像を作成し、作成した地図画像を表示する。これにより、特定の被写体を重畳させた印象深い地図画像をユーザに提供することができる。また、サムネイル画像を重畳させた地図画像では、サムネイル画像のサイズが小さいため、個々の画像を視認しにくいという問題が生じるが、一実施の形態における画像再生装置によれば、部分画像を抽出して地図上に重畳させるので、個々の画像のサイズが小さくならず、視認性のよい地図画像を作成することができる。

【0088】

また、地図画像上でいずれかの部分画像が指定された場合に、指定された部分画像の元の画像が撮影された日時および撮影時の天気のうちの少なくとも一方の情報に基づいて、地図の背景の表示を変更するので、背景の表示によって、撮影時の雰囲気を表現することができる。

【0089】

特に、一実施の形態における画像再生装置では、画像中の被写体の種類を認識し、認識した被写体の種類に関する情報を画像データとともに記録しておき、画像データとともに記録されている複数の被写体の種類に基づいて、複数の被写体の種類をリストアップしたテーマリストを作成する。そして、作成したテーマリストの中で指示されたテーマに応じて、地図に表示させる被写体の種類を設定する。画像中の被写体の種類を認識して記録しておき、記録した被写体の種類を利用して部分画像を抽出するので、短時間で適確な地図画像を作成することができる。

【0090】

また、地図上の所定範囲内に所定数以上の部分画像が存在することになる場合に、当該所定範囲内に所定数以上存在する部分画像を集合させた集合画像を作成し、作成した集合画像を地図上に重畳させた地図画像を作成する。これにより、部分画像が密集して見にくくなるのを防いで、視認性のよい地図画像を提供することができる。

【0091】

なお、上述した一実施の形態の説明では、画像再生装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、コンピュータにより、ソフトウェア処理を行う構成とすることも可能である。この場合、コンピュータは、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えている。ここでは、このプログラムを画像再生プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像再生プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像再生装置と同様の処理を実現させる。

【0092】

ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像再生プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像再生プログラムを実行するようにしても良い。

【0093】

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。

【0094】

上述した一実施の形態では、画像再生装置を搭載したカメラをデジタルカメラとして説明したが、画像再生機能を有するカメラであれば、ビデオカメラやムービーカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等の電子機器でもよい。

【0095】

上述した一実施の形態では、地図上に重畳させる部分画像の被写体の種類を１種類としたが、２種類以上の被写体の部分画像を重畳させるようにしてもよい。

【0096】

また、天気情報はインターネット等のネットワーク２８を介して入手するものとして説明したが、カメラに天気情報入力メニューを備えて、撮影時あるいは撮影後にユーザが入力できるようにしてもよい。

【0097】

図１１に示すフローチャートでは、集合画像を作成するのは、部分画像のテーマが花の場合としたが、花以外のテーマ（例えば、食べ物、服）が設定された場合に、集合画像を作成するようにしてもよい。

【0098】

また、被写体の種類が明確に表示されることが望まれるテーマの代表として、上記実施形態では、ワインを説明したが、他の物品（お菓子、アクセサリ）であってもよい。逆に、テーマとしてワインが選択された場合でも、上述したようなラベルの補正等は行わずに、抽出した画像をそのまま地図に重畳させて表示するようにしてもよい。テーマリストで補正処理の対象とするか否かの選択ができるようにしてもよい。

【0099】

被写体認識部１１２は、プログラム／データ記憶部１２に予め格納されている被写体データベースの被写体データと比較することによって、画像中の被写体の種類を認識するものとした。しかし、被写体データベースをプログラム／データ記憶部１２に格納しておかず、通信部２４により、ネットワーク２８を介して取得するようにしてもよい。

【符号の説明】

【0100】

１…カメラ
５…画像再生装置
１１…制御部
１９…表示部
２１…再生部
１１１…表示制御部
１１２…被写体認識部
１１３…被写体設定部
１１４…部分画像抽出部
１１５…地図画像作成部

【図2】

【図9】

【図10】

【図11】

【図1】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】