(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-03
(45)【発行日】2024-06-11
(54)【発明の名称】画像表示装置
(51)【国際特許分類】
H04N 5/92 20060101AFI20240604BHJP
H04N 5/76 20060101ALI20240604BHJP
H04N 5/93 20060101ALI20240604BHJP
H04N 23/60 20230101ALI20240604BHJP
【FI】
H04N5/92 010
H04N5/76
H04N5/93
H04N23/60 300
(21)【出願番号】P 2022211918
(22)【出願日】2022-12-28
(62)【分割の表示】P 2021155078の分割
【原出願日】2017-02-23
【審査請求日】2022-12-28
(73)【特許権者】
【識別番号】000005810
【氏名又は名称】マクセル株式会社
(74)【代理人】
【識別番号】110001689
【氏名又は名称】青稜弁理士法人
(72)【発明者】
【氏名】吉澤 和彦
(72)【発明者】
【氏名】清水 宏
(72)【発明者】
【氏名】石山 明
【審査官】鈴木 隆夫
(56)【参考文献】
【文献】特開2008-141270(JP,A)
【文献】国際公開第2013/136637(WO,A1)
【文献】特開2007-082076(JP,A)
【文献】特開2009-141426(JP,A)
【文献】特開2006-085632(JP,A)
【文献】特開2005-135554(JP,A)
【文献】特開2008-299818(JP,A)
【文献】特開2009-089325(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/91-5/956
H04N 5/76-5/775
H04N 23/60
(57)【特許請求の範囲】
【請求項1】
画像表示装置であって、
撮像部と、ストレージ部と、表示部と、制御部と、を備え、
前記制御部は、
前記撮像部から第一の撮影画像を取得し、
前記第一の撮影画像に関する第一の撮影情報と、前記ストレージ部に記憶されている第二の撮影画像に関する第二の撮影情報とを比較し、
前記比較した結果が所定のデータを有する場合、前記所定のデータに基づいて階層的にタイトル画像を生成し、
前記生成したタイトル画像と前記第一の撮影画像とを前記ストレージ部に記憶し、
前記第一の撮影画像と前記第二の撮影画像を含む複数の撮影画像と前記タイトル画像とを前記表示部に一覧表示
し、
前記第一の撮影情報及び前記第二の撮影情報は、撮影年、撮影季節、撮影月、撮影日、撮影場所、の何れかの撮影情報を少なくとも含み、
前記制御部は、前記撮影情報の優先順位を記憶したタイトル画像制御テーブルに基づいて、前記タイトル画像を前記優先順位に従って階層的に生成することを特徴とする画像表示装置。
【請求項2】
請求項1に記載の画像表示
装置において、
前記制御部が、前記複数の
撮影画像を所定の条件に基づいて配列して前記表示部に表示する際に、前記生成したタイトル画像を前記第一の撮影画像と前記第二の撮影画像の間に挿入して表示することを特徴とする画像表示装置。
【請求項3】
請求項
2に記載の画像表示装置において、
前記制御部は、前記比較した結果が所定のデータを有する場合、
前記第一の撮影画像から前記所定のデータを有する画像の表示を開始することを示すタイトル画像を生成し、
前記生成したタイトル画像を前記第一の撮影画像と前記第二の撮影画像の間に挿入して表示することを特徴とする画像表示装置。
【請求項4】
請求項
2に記載の画像表示装置において、
前記制御部は、前記比較した結果が所定のデータを有する場合、
前記第二の撮影画像で前記所定のデータを有する画像の表示が終了することを示すタイトル画像を生成し、
前記生成したタイトル画像を前記第一の撮影画像と前記第二の撮影画像の間に挿入して表示することを特徴とする画像表示装置。
【請求項5】
画像表示装置であって、
撮像部と、ストレージ部と、表示部と、制御部と、を備え、
前記制御部は、
前記撮像部から第一の撮影画像を取得し、
前記第一の撮影画像に関する第一の撮影情報と、前記ストレージ部に記憶されている第二の撮影画像に関する第二の撮影情報とを比較し、
前記比較した結果が所定のデータを有する場合、前記所定のデータに基づいて階層的にタイトル画像を生成し、
前記生成したタイトル画像と前記第一の撮影画像とを前記ストレージ部に記憶し、
前記第一の撮影画像と前記第二の撮影画像を含む複数の撮影画像と前記タイトル画像とを前記表示部に一覧表示
し、
前記第一の撮影情報及び前記第二の撮影情報は、前記制御部による撮影画像に対する画像解析により取得した撮影オブジェクトに関する撮影情報を少なくとも含むことを特徴とする画像表示装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カメラで撮影した複数の画像を分類整理して保存し、所望の画像を容易に検索できる撮像装置に関する。
【背景技術】
【0002】
被写体像をCCD(Charge Coupled Device)等の電子デバイスにより電気信号に変換し、メモリに記録するデジタルカメラの普及が著しい。また最近では、このデジタルカメラ機能が携帯電話やスマートホン、タブレット端末等の情報端末機器に搭載されることも一般的となった。
【0003】
また、デジタルカメラ等に用いられる記憶素子は、大容量化が進み、撮影される画像データが多量に生成されるため、画像データの分類及び整理が煩雑になっている。特に、多数の画像をサムネイル一覧画像として表示させる場合は、アプリケーションソフトを用いて画像データに付与された時刻、位置情報等のメタデータに基づいて分類することができる。しかし、多数の画像データをグループに分類する作業が必要となり、非常に手間がかかり利便性に欠けていた。このような欠点を解消するために、複数の画像に対して区切りとなる画像を生成して挿入することで、撮影した複数の画像を分類して整理する手法が提案されている。
【0004】
例えば特許文献1には、前回生成された画像の生成日と今回生成された画像の生成日とが異なる場合に、または、前回生成された時に用いられた撮影機材と今回生成された時に用いられた撮影機材とが異なる場合に、シャッターを閉じて撮影した画像に日付画像等を重畳し、区切り画像として挿入する構成が記載されている。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1に記載の技術では、生成日情報、撮影機材情報、連写情報、音声入力情報など複数の種類の情報に基づいて区切り画像を生成している。その際、区切り画像の生成条件となる複数の種類の情報の間では優先順位が設定されず対等に扱われている。例えば特許文献1の
図5には、生成日情報を重畳した画像(a)、撮影機材情報を重畳した画像(b)、生成日情報と撮影機材情報を重畳した画像(c)が示されるが、画像(c)において生成日情報と撮影機材情報とは対等に扱われている。
【0007】
区切り画像の生成条件が複数種類存在することは、画像検索の際に検索条件を複数選択できるのでユーザにとって好ましい。しかしそれらが対等の関係にあると、ある検索条件1で検索しようとするとき、他の検索条件2に対する区切り画像が目障りとなり、使い勝手が悪くなる。さらに、所望の検索条件にヒットする画像群は1つのグループとして連続して表示されることが望ましい。
【0008】
本発明の目的は、撮影した画像を複数の異なる条件で分類するとともに、撮影した画像を所望の条件で容易に検索できる撮像装置及びその表示方法を提供することである。
【課題を解決するための手段】
【0009】
本発明の撮像装置は、被写体を撮影する撮像部と、前記撮像部により取得された複数の撮影画像に対し、前記撮影画像を分類する表示タイトルを含むタイトル画像を生成して挿入するタイトル生成実行部と、前記撮影画像と前記タイトル画像を格納するストレージ部と、前記ストレージ部に格納された前記撮影画像と前記タイトル画像を一覧表示する表示部と、前記表示部に一覧表示されている複数の前記撮影画像と前記タイトル画像から、所望の撮影画像を検索する画像検索実行部を備え、前記タイトル生成実行部は、前記撮影画像を分類する表示タイトルの種別ごとに設定された優先順位に従って、前記タイトル画像を階層的に生成することを特徴とする。
【発明の効果】
【0010】
本発明によれば、複数の撮影画像が分類条件の優先順位に従い自動的に階層的に分類整理されるので、所望の画像を容易かつ迅速に検索することができる。
【図面の簡単な説明】
【0011】
【
図2B】実施例1に係る撮像装置のソフトウェア構成図。
【
図6A】タイトル画像生成処理を示すフローチャート。
【
図6B】タイトル画像生成処理を示すフローチャート。
【
図10B】タイトル画像生成処理を示すフローチャート。
【
図11B】その他のタイトル画像の生成例を示す図。
【
図12】実施例3に係る画像検索時の表示画面の一例を示す図。
【
図13】優先順位を変更して撮影画像を並べ替える例を示す図。
【発明を実施するための形態】
【0012】
以下、本発明の実施形態の例を、図面を用いて説明する。なお、以下に説明する実施の形態は本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって、適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
【実施例1】
【0013】
図1に本実施例の撮像装置の外観図を示す。ここでは、撮像装置100がスマートホン等の情報端末機器の場合であり、(a)は表面図、(b)は背面(裏面)図であり、(a)の表面側には撮影した画像や様々な情報を表示する表示部121が配置されている。本実施例の撮像装置100では、撮像部(カメラ)を3箇所に設けている。(a)に示すように、第3撮像部125は表示部121と同一面(表面)に配置し、(b)に示すように、第1撮像部123と第2撮像部124は、表示部121と反対面(背面)に配置している。表示部121と同一面に配置する第3撮像部125はインカメラ、表示部121と反対面に配置する第1撮像部123、第2撮像部124はアウトカメラとも呼ばれる。第1撮像部123、第2撮像部124に隣接する位置には、フラッシュ部129を配置している。
【0014】
その他撮像装置100の入出力部として、音声入力部(マイク)133、音声出力部(スピーカ)131、操作キー140k、タッチパネル140tが配置されている。
【0015】
なお、撮像装置100は、スマートホンの他、デジタルスチルカメラ、カメラ機能を備えた携帯電話、タブレット端末、PDA(Personal Digital Assistants)やノート型PC(Personal Computer)であってもよい。また、動画撮影可能なビデオカメラや携帯型ゲーム機、またはその他の携帯用デジタル機器であってもよい。従って、撮像部(カメラ)の構成は上記に限らず、情報端末機器の機能に応じて、第1撮像部123と第2撮像部124を一体で構成したり、第1~第3撮像部を統合して、1つのカメラを背面側あるいは表示部121側に配置したりする構成であってもよい。
【0016】
図2Aは、本実施例の撮像装置のブロック図である。撮像装置100は、主制御部101、システムバス102、メモリ部104、ストレージ部110、映像処理部120、音声処理部130、操作部140、通信処理部150、センサ部160、拡張インタフェース部170、で構成される。
【0017】
主制御部101は、所定のプログラムに従って撮像装置100全体を制御するマイクロプロセッサユニットである。システムバス102は主制御部101と撮像装置100内の各部との間でデータ送受信を行うためのデータ通信路である。
【0018】
メモリ部104は基本動作プログラムやその他のアプリケーションプログラム実行時のプログラム領域、及び各種アプリケーションプログラム実行時に、必要に応じて画像データ等を一時的に保持する一時記憶領域となる。メモリ部104は主制御部101と一体構成であってもよい。
【0019】
ストレージ部110は、撮像装置100の各種設定情報や、撮像装置100で撮影した静止画像データや動画像データ等を記憶する。またストレージ部110には、撮像装置100が実行する各種のアプリケーションプログラムを格納している。主制御部101は、ストレージ部110に格納されたアプリケーションプログラムをメモリ部104に展開し、さらに展開したアプリケーションプログラムを実行することにより、撮像装置100は各種の機能を実現する。アプリケーションプログラムはインターネットを介してアプリケーションサーバからダウンロードすることで、機能拡張することができる。
【0020】
ストレージ部110は、撮像装置100に電源が供給されていない状態であっても記憶している情報を保持する必要がある。したがって、例えばフラッシュROMやSSD(Solid State Drive)、HDD(Hard Disc Drive)等のデバイスが用いられる。
【0021】
映像処理部120は、表示部121、映像信号処理部122、第1撮像部123、第2撮像部124、第3撮像部125で構成される。表示部121は、例えば液晶パネル等の表示デバイスであり、映像信号処理部122で処理した画像データを撮像装置100のユーザに提供する。映像信号処理部122は、第1撮像部123、第2撮像部124、第3撮像部125で撮影された画像データを処理する。
【0022】
音声処理部130は、音声出力部131、音声信号処理部132、音声入力部133、で構成される。音声出力部131はスピーカであり、音声信号処理部132で処理した音声信号を撮像装置100のユーザに提供する。音声入力部133はマイクであり、ユーザの声などを音声データに変換して入力する。なお、音声入力部133は撮像装置100と別体であり、有線通信または無線通信により撮像装置100と接続されるものであってもよい。
【0023】
操作部140は、撮像装置100に対する操作指示の入力を行う指示入力部であり、
図1に示したように、表示部121に重ねて配置したタッチパネル140t及びボタンスイッチを並べた操作キー140kが相当する。なお、このタッチパネル機能は表示部121が備え持っているものであってもよい。他の操作法として、後述の拡張インタフェース部170に接続したキーボード等を用いて撮像装置100の操作を行ってもよい。あるいは、有線通信または無線通信により接続された別体の情報端末機器を用いて撮像装置100の操作を行ってもよい。
【0024】
通信処理部150は、LAN(Local Area Network)通信部151、移動体電話網通信部152、近接無線通信部153、で構成される。LAN通信部151は、インターネットの無線通信用アクセスポイントと無線通信により接続してデータの送受信を行う。移動体電話網通信部152は、移動体電話通信網の基地局との無線通信により、電話通信(通話)及びデータの送受信を行う。近接無線通信部153は、対応するリーダ/ライタとの近接時に無線通信を行う。LAN通信部151、移動体電話網通信部152、近接無線通信部153は、それぞれ符号回路や復号回路、アンテナ等を備えるものとする。さらに、赤外線通信部等を備えていてもよい。
【0025】
センサ部160は、撮像装置100の状態を検出するためのセンサ群であり、本実施例では、GPS(Global Positioning System)受信部161、加速度センサ162、ジャイロセンサ163、地磁気センサ164、照度センサ165、近接センサ166、で構成される。これらのセンサ群により、撮像装置100の位置、動き、傾き、方角、及び周囲の明るさ、周囲物の近接状況、等を検出する。
【0026】
拡張インタフェース部170は、撮像装置100の機能を拡張するためのインタフェース群であり、本実施例では、映像/音声インタフェース、USB(Universal Serial Bus)インタフェース、メモリインタフェース等で構成されるものとする。映像/音声インタフェースは、外部映像/音声出力機器からの映像信号/音声信号の入力、外部映像/音声入力機器への映像信号/音声信号の出力、等を行う。USBインタフェースはキーボードやその他のUSB機器の接続を行う。メモリインタフェースはメモリカードやその他のメモリ媒体を接続してデータの送受信を行う。
【0027】
なお、
図2Aに示した撮像装置100の構成はスマートホン等の情報端末機器の場合であり、対象とする情報端末機器の機能に応じて適宜変更できることは言うまでもない。
【0028】
図2Bは、本実施例の撮像装置のソフトウェア構成図であり、メモリ部104、及びストレージ部110におけるソフトウェア構成を示す。
【0029】
ストレージ部110には、各種情報/データ記憶領域110aを備え、またカメラ機能プログラム110b、タイトル生成プログラム110c、画像解析プログラム110d、画像検索プログラム110eを格納している。各種情報/データ記憶領域110aは、撮像装置100の各種設定情報や、撮像装置100で撮影した静止画像データや動画像データ等を記憶する。また、カメラ機能プログラム110bは撮影を実行するためのプログラム、タイトル生成プログラム110cはタイトル画像を生成するためのプログラム、画像解析プログラム110dは撮影した画像の解析を行うためのプログラム、画像検索プログラム110eは撮影した画像の検索を行うためのプログラムである。
【0030】
メモリ部104には、情報端末機器としての基本動作を行う基本動作実行部104aと撮像機能に関する動作を行う各種実行部104b~104e、及び撮影した画像等を一時記憶する一時記憶領域104fを備える。ストレージ部110に格納された上記の各プログラム110b~110eは、メモリ部104に展開される。そして、主制御部101が各プログラムを実行することで、カメラ機能実行部104b、タイトル生成実行部104c、画像解析実行部104d、画像検索実行部104eを構成し、各種機能動作を実行する。
【0031】
本実施例では、撮像装置の各種機能動作をソフトウェアで実現する構成としたが、上記の各種実行部104b~104eの動作をハードウェアで実現する構成も可能である。
【0032】
以下、本実施例の撮像装置による動作、特にタイトル画像の生成について詳細に説明する。本実施例では、複数の撮影画像を分類するための区切り画像を「タイトル画像」と呼ぶ。タイトル画像は分類するためのキーワード(表示タイトル)を含んで生成される。その際、表示タイトルの種別に応じて優先順位を設け、優先順位に従って階層的にタイトル画像を生成することに特徴がある。
【0033】
図3は、タイトル画像の生成ルールを定めたタイトル画像制御表である。タイトル画像制御表(T0)は事前にユーザにより設定されて、ストレージ部110の各種情報/データ記憶領域110aに格納されている。ここではタイトル画像の表示タイトルの種別として、「年」、「季節」、「月」、「日」、「場所」を登録している。タイトル生成実行部104cは、撮影条件のうち「年」、「季節」・・・等が異なるときにそれらの表示タイトルを有するタイトル画像を生成する。なお、表示タイトルの種別はこれに限定されず、時刻情報及び位置情報(GPS情報)に基づき区別できるものであれば任意に追加できる。「季節」の定義は、春(3月~5月)、夏(6月~8月)、秋(9月~11月)、冬(12月~2月)としているが、期間は任意に設定できる。また、「場所」とは単に異なる場所ではなく、前回の撮影位置と今回の撮影位置とが所定距離以上離れていれば異なる場所と定義する。この例では条件欄に記載のように、10kmの距離以上離れている場合とする。
【0034】
タイトル画像制御表では、表示タイトルの種別に応じて優先順位のフラグ(=1、2、・・・)を設定している。ここでは、表示タイトルが「年」、「季節」、「月」・・・の順に優先順位を与えている。タイトル画像生成フラグは、タイトル画像を生成する場合(フラグ=1)と、タイトル画像を生成しない場合(フラグ=0)を定め、この例では、表示タイトルが「日」、「場所」についてはタイトル画像を生成しないものとする。
【0035】
また、タイトル画像合成フラグは、先に生成した他の種別のタイトル画像と合成する場合(フラグ=1)と、合成しない場合(フラグ=0)を定める。この例では、「年」と「季節」については他の種別のタイトル画像と合成せず、「月」については他の種別のタイトル画像と合成するものとする。ただし、自身のタイトル画像合成フラグ=0であっても、後に生成された他の種別のタイトル画像のタイトル画像合成フラグ=1の場合には、後に生成されたタイトル画像と合成される場合がある。なお、タイトル画像合成フラグ=×印はノット・ケア(無関係)を意味する。
【0036】
さらに本実施例では、生成するタイトル画像のデザインを表示タイトルの優先順位に従って変えている。具体的には後述するように、タイトル画像のサイズ(縦横比)、画像内の文字サイズ、画像の背景色、画像の解像度の少なくとも1つを異ならせることで、タイトル画像の目立ち易さを変えている。つまりタイトル画像を優先順位に従って階層的に表示することで、ユーザは、優先順位の高いタイトル画像を容易に識別し、優先順位の高い表示タイトルに属する撮影画像を迅速に検索することを可能にしている。
【0037】
図4は、タイトル画像の表示画面の例を示す図である。撮像装置100で撮影した一連の画像10を、表示部121にサムネイル表示している。(a)は撮影画像10をタイトル画像なしに時系列に配列して一覧表示した状態であり、撮影順は矢印の方向、すなわち画面の左から右方向へ、また上から下方向となっている。(b)は撮影画像10にタイトル画像11~13を生成・挿入して一覧表示した状態である。
【0038】
タイトル画像の生成ルールは
図3のタイトル画像制御表(T0)に従い、撮影条件のうち「年」、「季節」、「月」が変わるごとにその表示タイトルの内容を示すタイトル画像(この例では黒画面に白抜き文字)を生成して、撮影画像の区切りの位置に挿入している。タイトル画像11は「年」の区切りに挿入したもので、優先順位が最も高く画像のサイズを最大としている。タイトル画像12は「季節」の区切りに、タイトル画像13は「月」の区切りに挿入し、優先順位に従い画像のサイズを小さくしている。なお、「季節」と「月」とが同時に変わる場合には、タイトル画像12とタイトル画像13とを合成して表示している。
【0039】
このように、タイトル画像を優先順位に従って画像サイズを変えて階層的に表示することで、ユーザは、優先順位の高い表示タイトル「年」に属する撮影画像を迅速に検索することができる。
【0040】
図5は、撮像装置100の撮像動作を示すフローチャートである。この撮像動作は、メモリ部104に構成されたカメラ機能実行部104bとタイトル生成実行部104cにより制御される。
【0041】
操作部140から第1撮像部123、第2撮像部124、及び第3撮像部125のいずれかに対し撮像の指示がなされると、撮像処理を実行する(S201)。これにより指示された撮像部(例えば第1撮像部123)から撮影画像を取得する(S202)。次に、内蔵の時計機構(図示せず)とGPS受信部161から撮影時の時刻情報と位置情報を取得し、撮影画像のメタデータとする(S203)。取得した撮影画像とメタデータを関連付けて、メモリ部104の一時記憶領域104fに一時保存する(S204)。
【0042】
次に、内部処理用の変数PRIを1に初期設定する(S205)。この変数PRIはタイトル画像の優先順位のパラメータである。ストレージ部110に格納しているタイトル画像制御表を参照し、変数PRIに設定された優先順位の表示タイトルを検索する(S206)。例えば
図3のタイトル画像制御表(T0)の場合は、変数PRI=1に対し表示タイトル「年」が検索される。次にタイトル画像制御表の設定に従い、検索した表示タイトル(例えば「年」)を対象にタイトル画像生成処理を実行する(S207)。タイトル画像生成処理の具体的な内容は後述するが、対象となる表示タイトルのタイトル画像生成フラグ=1(タイトル画像を生成すべきもの)であって、前回の撮影画像と撮影条件が一致しないときにタイトル画像を生成する。生成したタイトル画像は、メモリ部104内の一時記憶領域104fに一時保存する。タイトル画像生成処理終了後、処理した表示タイトルの優先順位は最下位かどうか判定する(S208)。
【0043】
S208の判定で、処理した表示タイトルの優先順位が最下位ではない時には、変数PRIに1を加算し(S209)、S206に戻る。そして、次の優先順位の表示タイトルについて同様の処理を行う。
図3の制御表(T0)場合は、変数PRI=2の優先順位である表示タイトル「季節」を対象にタイトル画像生成処理を行う。
【0044】
S208の判定で、処理した表示タイトルの優先順位が最下位である時には、タイトル画像生成処理を終了する。そして、一時保存されたタイトル画像をストレージ部110の各種情報/データ記憶領域110aに格納する(S210)。なお、S207で生成されるタイトル画像の数(N)は、0個から設定された優先順位の最大設定数までの範囲となる。次に、メモリ部104の一時記憶領域104fに一時保存されていた画像データとメタデータを、ストレージ部110の各種情報/データ記憶領域110aに格納する(S211)。これで撮像処理を終了する。
【0045】
図6Aと
図6Bは、
図5のタイトル画像生成処理(S207)の詳細を示すフローチャートである。タイトル画像生成処理(S207)では、各表示タイトルを対象にタイトル画像の生成を行うが、ここでは表示タイトルが「年」と「場所」について説明する。他の表示タイトル「季節」、「月」、「日」についても同様の処理であり説明を省略する。
【0046】
図6Aは、「年」を対象とするタイトル画像生成処理を示すフローチャートである。
図5のS206に続いて実行される。
タイトル画像制御表を参照し、タイトル画像生成フラグが1に設定されているか判定する(S301)。生成フラグが1に設定されていない時には、本処理を終了する。
【0047】
生成フラグが1に設定されている時には、ストレージ部110に格納されている画像のうち、前回撮影した画像のメタデータからその撮影年を読み出し、メモリ部104に一時保存された今回の撮影画像の撮影年と一致するかどうか判定する(S302)。S302で撮影年が一致している時には、本処理を終了する。
【0048】
S302で撮影年が不一致の時には、当該表示タイトルの優先順位に応じたデザインのタイトル画像を生成する。すなわち、優先順位に応じて予め定めた画像サイズ(縦横比)とし、撮影年を示す文字(西暦年、和暦年等)を含むタイトル画像を生成して、メモリ部104の一時記憶領域104fに一時保存する(S303)。なお、タイトル画像の背景画像には、当該年の干支を示す画像やカレンダー等を用いてもよい。また、表示タイトルが「季節」の場合は、背景画像として季節感のある画像、例えば、桜、海、紅葉、雪景色等の画像を用いてもよい。
【0049】
次に、タイトル画像制御表のタイトル画像合成フラグが1に設定されているか判定する(S304)。合成フラグが1に設定されていない時には、本処理を終了する。すなわち先に生成した他のタイトル画像と合成せず、単独のタイトル画像となる。
【0050】
合成フラグが1に設定されている時には、先に生成しメモリ部104に一時保存している優先順位が上位のタイトル画像があるか判定する(S305)。先に一時保存されたタイトル画像がない時には、本処理を終了する。
【0051】
先に一時保存されたタイトル画像がある時には、先に生成したタイトル画像と今回生成したタイトル画像を合成して、メモリ部104に一時保存する(S306)。なお、このときの合成処理では、今回生成したタイトル画像を縮小または変形して、先に生成した上位のタイトル画像との階層差が明確になるようにする。例えば、今回生成したタイトル画像は画面内で下段に配置したり、表示タイトルの文字サイズを小さくしたりするデザインとする。これでタイトル画像生成処理を終了し、
図5のS208へ移行する。
【0052】
図6Bは、「場所」を対象とするタイトル画像生成処理を示すフローチャートである。
タイトル画像制御表を参照し、タイトル画像生成フラグが1に設定されているか判定する(S311)。生成フラグが1に設定されていない時には、本処理を終了する。
【0053】
生成フラグが1に設定されている時には、ストレージ部110に格納されている前回撮影した画像のメタデータからその撮影場所を読み出し、メモリ部104に一時保存された今回の撮影画像の撮影場所と一致するかどうか判定する(S312)。この判定では、両者の撮影場所間の距離が、タイトル画像制御表の条件欄に記載された距離(
図3では10km)未満であれば一致するとみなす。なお、撮影画像が撮像装置を移動して得られる動画像である場合には、撮影開始位置あるいは撮影終了位置など、撮影場所として比較する位置を適宜決めておけばよい。S312で撮影場所が一致している時には、本処理を終了する。
【0054】
S312で撮影場所が不一致の時には、当該表示タイトルの優先順位に応じたデザインのタイトル画像を生成する。すなわち、優先順位に応じて予め定めた画像サイズ(縦横比)とし、撮影場所を示す文字(例、箱根、日光等)を含むタイトル画像を生成して、メモリ部104の一時記憶領域104fに一時保存する(S313)。なお、タイトル画像の背景画像には、当該場所の地図画像や当該場所を代表するランドマーク画像等を用いてもよい。これらの文字や画像は、通信処理部150よりインターネットを経由して提供サーバから入手することができる。
【0055】
次に、タイトル画像制御表のタイトル画像合成フラグが1に設定されているか判定する(S314)。合成フラグが1に設定されていない時には、本処理を終了する。
【0056】
合成フラグが1に設定されている時には、先に生成しメモリ部104に一時保存している優先順位が上位のタイトル画像があるか判定する(S315)。先に一時保存されたタイトル画像がない時には、本処理を終了する。
【0057】
先に一時保存されたタイトル画像がある時には、先に生成したタイトル画像と今回生成したタイトル画像を合成して、メモリ部104に一時保存する(S316)。このときの合成処理は、
図6AのS306の説明と同様である。あるいは、今回生成したタイトル画像が地図やランドマーク等の画像である場合、前記地図やランドマークを背景として、先に生成したタイトル画像の文字を重畳するように合成しても良い。これでタイトル画像生成処理を終了し、
図5のS208へ移行する。
【0058】
図7Aと
図7Bは、タイトル画像のその他の生成例を示す図である。
図7Aは、タイトル画像制御表のその他の例として(T1)~(T4)の場合を示す。ここでは、タイトル画像生成フラグ=0となる項目は省略している。なお、制御表(T2)は
図3の制御表(T0)と同じ内容である。
図7Bでは、これらの各制御表に従い生成されるタイトル画像の例を示す。
【0059】
図7Bの(初期状態)として、ストレージ部110に2枚の撮影画像P1,P2がメタデータと共に記憶されている時に、新たに撮像処理が実行されてメモリ部104の一時記憶領域104fに撮影画像P3とメタデータが一時保存された状態を想定する。この場合、画像P2が前回の画像、画像P3が今回の画像となる。各画像の下にはメタデータである撮影日時と撮影場所の情報を記述している。この時、
図7Aの各タイトル画像制御表に従いどのようにタイトル画像が生成されるかを説明する。
【0060】
制御表(T1)の場合は、優先順位が「年」、「季節」、「月」の順であり、これらのタイトル画像生成フラグは1、タイトル画像合成フラグは0である。この場合、前回の撮影画像P2の撮影日時と今回の撮影画像P3の撮影日時は「年」、「季節」、「月」共に不一致であるので、年のタイトル画像21、季節のタイトル画像22、月のタイトル画像23の順に生成される。その際、優先順位に従ってタイトル画像のサイズを変えている。また、文字サイズを変えてもよい。合成フラグは全て0なので、タイトル画像の合成は行わない。生成された3つのタイトル画像は、撮影画像P3の直前に挿入される。
【0061】
制御表(T2)の場合は、制御表(T1)に対して「月」のタイトル画像合成フラグが1に設定されているので、季節と月のタイトル画像22,23が合成される。
【0062】
制御表(T3)の場合は、優先順位が「場所」、「年」の順であり、これらのタイトル画像生成フラグは1、タイトル画像合成フラグは0である。この場合、前回の撮影場所であるA地点と今回の撮影場所であるB地点との距離は100kmであり、制御表の条件欄に記載の10km以上離れている。また、撮影年が異なっているので、場所のタイトル画像24と年のタイトル画像25が生成される。
【0063】
制御表(T4)の場合は、制御表(T3)に対して「年」のタイトル画像合成フラグが1に設定されているので、場所と年のタイトル画像24,25が合成される。
【0064】
このように、所望のタイトル画像制御表を設定することで、優先順位に従って階層構造を有するタイトル画像を生成し、区切り画像として挿入することができる。その結果、複数の撮影画像を所望の優先順位に従って分類整理することができる。
【実施例2】
【0065】
実施例1では、撮影画像のメタデータである時刻情報及び位置情報(GPS情報)に基づいてタイトル画像を生成した。実施例2では、さらに、撮影画像内の被写体の種類を判別し、それに基づきタイトル画像を生成するものである。そのため撮像装置100の構成として、
図2Bにおける画像解析実行部104dを使用し、例えば、画像内に人物等が存在するかどうかを判断してメタデータを追加する。以下の説明では、実施例1で利用したメタデータを「メタデータ1」、実施例2で追加したメタデータを「メタデータ2」として区別する。
【0066】
図8Aは、本実施例におけるタイトル画像を生成するためのタイトル画像制御表である。タイトル画像制御表(T5)では表示タイトルの種別として、被写体の種類である「家族」、「人物」、「風景」を追加している。ここで、「家族」とは人物が写っている画像で、かつ人物に家族が含まれている画像である。「人物」とは家族以外の人物が写っている画像である。「風景」とは人物が写っていない画像である。
【0067】
図8Bは、「家族」画像の判定を行うための条件を定めた家族構成テーブルである。家族構成テーブル(T6)は、家族の顔画像リンクと一致人数とからなる。撮影画像に家族の顔画像リンク先の顔画像と一致するものがあるか判定し、一致した人数が所定人数(ここでは2名以上)であれば家族の画像と判定する。
【0068】
なお、画像解析実行部104dでは、画像解析による人物認識及び家族認識(顔認識による)を行うが、パターン認識と機械学習等を用いた公知の技術(例えばViola-Jones法等)を用いればよく、特にその実現方法を限定しない。また、ここでは追加する表示タイトルとして家族、人物、風景を取り上げたが、画像解析結果を用いるものであれば、山、動物、友達、同窓生等でもよく、特に限定されない。
【0069】
各々の表示タイトルには実施例1と同様に優先順位が設定され、優先順位に従ってデザインが異なるタイトル画像を生成することで、タイトル画像の階層構造を実現する。このタイトル画像制御表(T5)、及び家族構成テーブル(T6)は事前にユーザにより設定されてストレージ部110に格納されている。
【0070】
図9は、撮像装置100の撮像動作を示すフローチャートである。S401~S403は撮影画像の取得とメタデータの取得処理であり、実施例1のS201~S203と同一であるので説明を省略する。なお、S403で取得するのはメタデータ1とする。
【0071】
画像解析実行部104dにより撮影画像を解析し、当該画像が家族画像か、人物画像か、風景画像かを判別し、判別結果をメタデータ2として作成する(S404)。画像解析処理の詳細は後述する。撮影画像とメタデータ1,2を関連付けて、メモリ部104の一時記憶領域104fに一時保存する(S405)。
【0072】
次に、内部処理用の変数PRIを1に初期設定する(S406)。ストレージ部110に格納しているタイトル画像制御表を参照し、変数PRIに設定された優先順位の表示タイトルを検索する(S407)。例えば
図8Aのタイトル画像制御表(T5)の場合は、変数PRI=1に対し表示タイトル「家族」が検索される。次にタイトル画像制御表の設定に従い、検索した表示タイトルを対象にタイトル画像生成処理を実行する(S408)。
【0073】
タイトル画像生成処理の具体的な内容は後述するが、今回の撮影画像が対象とする表示タイトルに変わったときにタイトル画像を生成するだけでなく、前回の撮影画像が対象とする表示タイトルであって今回の撮影画像が対象とする表示タイトル以外に変わったときには、対象とする表示タイトルが「終了」したことを示すタイトル画像を生成する。生成したタイトル画像は、メモリ部104内の一時記憶領域104fに一時保存する。タイトル画像生成処理終了後、処理した表示タイトルの優先順位は最下位かどうか判定する(S409)。
【0074】
S409の判定で、処理した表示タイトルの優先順位が最下位ではない時には、変数PRIに1を加算し(S410)、S407に分岐する。そして、次の優先順位の表示タイトルについて同様の処理を行う。
図8Aの制御表(T5)場合は、変数PRI=2の優先順位である表示タイトル「風景」を対象にタイトル画像生成処理を行う。
【0075】
S409の判定で、処理した表示タイトルの優先順位が最下位である時には、タイトル画像生成処理を終了する。そして、一時保存されたタイトル画像をストレージ部110の各種情報/データ記憶領域110aに格納する(S411)。次に、メモリ部104の一時記憶領域104fに一時保存されていた画像データとメタデータ1,2を、ストレージ部110の各種情報/データ記憶領域110aに格納する(S412)。これで撮像処理を終了する。
【0076】
図10Aは、
図9の画像解析処理(S404)の詳細を示すフローチャートである。
画像解析実行部104dにより撮影画像を解析する(S501)。撮影画像に人物が含まれているか判定する(S502)。撮影画像に人物が含まれていないと判定した時には、撮影画像は「風景」画像であると判別してメタデータ2を作成する(S507)。
【0077】
撮影画像に人物が含まれていると判定した時には、その人物には家族が含まれるか判定する(S503)。この家族の判定のために、
図8Bに示した家族構成テーブル(T6)を用いる。家族構成テーブルには家族の顔画像リンクがあり、撮影画像に含まれる人物と家族の顔画像リンク先の顔画像とが一致するか判定する。この判定は家族構成テーブルに登録された全家族について順次実施する。
【0078】
撮影画像に家族が含まれると判定した時は、含まれる家族の人数が所定人数以上かを判定する(S504)。すなわち、顔画像が一致した人数が家族構成テーブルの「一致人数」以上であるか判定する。家族の人数が一致人数以上と判定した時には、撮影画像は「家族」画像であると判別してメタデータ2を作成する(S505)。
【0079】
S503で撮影画像に家族が含まれないと判定した時、あるいはS504で家族の人数が一致人数未満と判定した時には、撮影画像は「人物」画像であると判別してメタデータ2を作成する(S506)。
これで画像解析処理を終了し、
図9のS405へ移行する。
【0080】
図10Bは、
図9のタイトル画像生成処理(S408)の詳細を示すフローチャートである。
図9のS407に続いて実行される。ここでは対象とする表示タイトルが「家族」の場合を例に説明する。なお、表示タイトルが「人物」や「風景」の場合も同様の処理となる。
【0081】
タイトル画像制御表を参照し、「家族」のタイトル画像生成フラグが1に設定されているか判定する(S511)。生成フラグが1に設定されていない時には、本処理を終了する。
【0082】
生成フラグが1に設定されている時には、一時保存された今回の撮影画像のメタデータ1,2から今回の撮影画像が「家族」画像かどうか判定する(S512)。今回の画像が家族画像であると判定したときはS513へ進み、今回の画像が家族画像でないと判定したときはS515へ進む。
【0083】
S513では、ストレージ部110に格納されている前回撮影した画像のメタデータ1,2から前回の画像が家族画像かどうか判定する。前回の撮影画像が家族画像であると判定したときは、本処理を終了する。前回の撮影画像が家族画像でないと判定したときはタイトル画像を生成する。すなわち、当該表示タイトルである「家族」の優先順位に応じたデザイン(画像サイズ等)で「家族」を示す文字を含むタイトル画像を生成して、メモリ部104の一時記憶領域104fに一時保存する(S514)。なお、タイトル画像の背景画像として、典型的な家族画像(家族の代表者、または全員の画像)あるいは一時保存されている家族の撮影画像等を用いてもよい。その後S517へ進む。
【0084】
S515では、S513と同様に前回の画像が家族画像かどうか判定する。前回の撮影画像が家族画像でないと判定したときは、本処理を終了する。前回の撮影画像が家族画像であると判定したときはタイトル画像を生成する。ただしこの場合は、「家族」の優先順位に応じたデザインであって「家族終了」を示す文字を含むタイトル画像を生成して、メモリ部104の一時記憶領域104fに一時保存する(S516)。なお、タイトル画像の背景画像として「終了」を強調する画像等を合成してもよい。その後S517へ進む。
【0085】
S517では、タイトル画像制御表のタイトル画像合成フラグが1に設定されているか判定する。合成フラグが1に設定されていない時には、本処理を終了する。合成フラグが1に設定されている時には、先に生成しメモリ部104に一時保存している優先順位が上位のタイトル画像があるか判定する(S518)。先に一時保存されたタイトル画像がない時には、本処理を終了する。先に一時保存されたタイトル画像がある時には、先に生成したタイトル画像と今回生成したタイトル画像を合成して、メモリ部104に一時保存する(S519)。タイトル画像の合成では、優先順位に従って上下の配置関係や文字サイズを異ならせる。これでタイトル画像生成処理を終了し、
図9のS409へ移行する。
【0086】
図11Aと
図11Bは、タイトル画像の様々な生成例を示す図である。
図11Aは、タイトル画像制御表の例として(T7)~(T9)の場合を示す。ここでは、タイトル画像生成フラグ=0の項目は一部省略している。
図11Bでは、これらの各制御表に従い生成されるタイトル画像の例を示す。
【0087】
図11Bの(初期状態)では、ストレージ部110に2枚の撮影画像P4,P5がメタデータ1,2と共に記憶されている時に、新たに撮像処理が実行されてメモリ部104の一時記憶領域104fに撮影画像P6とメタデータ1,2が一時保存された状態を想定する。この場合、画像P5が前回の画像、画像P6が今回の画像となる。各画像の下にはメタデータ1である撮影日時とメタデータ2である画像解析の結果(家族、人物、風景)の情報を記述している。この時に、
図11Aの各タイトル画像制御表によりどのようにタイトル画像が生成されるかを説明する。
【0088】
制御表(T7)の場合は、優先順位が「家族」、「人物」、「年」の順であり、タイトル画像生成フラグは1、タイトル画像合成フラグは0である。この場合、前回の撮影画像(P5)の画像解析結果が「人物」であり今回の撮影画像(P6)の画像解析結果が「家族」であること、また撮影年が異なっていることから、「家族」のタイトル画像31、「人物終了」のタイトル画像32、「年」のタイトル画像33の3つのタイトル画像が優先順位に従って生成される。合成フラグは全て0なので、タイトル画像の合成は行わない。
【0089】
制御表(T8)の場合は、制御表(T7)に対して「人物」のタイトル画像合成フラグが1に設定されているので、「家族」と「人物終了」のタイトル画像31,32が合成される。
【0090】
制御表(T9)の場合は、制御表(T7)に対してタイトル画像生成フラグが「人物」のみ1である。この場合、前回の撮影画像が「人物」であり今回の撮影画像(P6)が「家族」であるので、優先順位2に相当する「人物終了」のタイトル画像32のみが生成される。
【0091】
このように本実施例では、撮影画像の画像解析結果で作成したメタデータ2を含めて参照し、タイトル画像制御表で設定した優先順位を持つ階層構造のタイトル画像を生成できる。したがって表示タイトルの種別を増やし複数の撮影画像をより使いやすい項目で分類整理することが可能となる。
【実施例3】
【0092】
実施例3では、ストレージ部110に記憶されている撮影画像の検索法について説明する。撮影画像の検索処理を効率的に行うため、本実施例では、メモリ部104に構成した画像検索実行部104eにより以下のように検索を実行する。
【0093】
図12は、画像検索時の表示画面の一例を示す図である。(a)は、撮影画像の一覧表示状態を示し、撮影画像10の区切り位置にはタイトル画像が挿入されている。ここでは
図7Aのタイトル制御表(T1)に従い、「年」、「季節」、「月」の優先順位に従ってそれぞれのタイトル画像21,22,23を階層的に生成している。なお、タイトル画像の合成は行っていない。ユーザは操作部140により例えば所望のタイトル画像をタップすることで、検索対象を選択する。その際、優先順位に従ってタイトル画像のサイズ等を変えているので、上位のタイトル画像を容易に識別して選択できる。
【0094】
(b)は「2016年」のタイトル画像21を選択した場合で、「2016年」のタイトル画像に含まれる撮影画像(破線21aで示す対象範囲)がハイライト表示される。(c)は「春」のタイトル画像22を選択した場合(対象範囲22a)、(d)は「3月」のタイトル画像23を選択した場合(対象範囲23a)である。このように、選択したタイトル画像に属する撮影画像が他の画像よりも強調して表示されるため、ユーザは迅速に所望の画像を探すことができる。
【0095】
図12の場合は撮影画像が時系列に配置されているので、「年」で検索する場合は、対象となる画像の範囲は連続しているので検索しやすい。一方、「春」や「3月」で検索する場合は、「年」の違いにより対象となる画像の範囲が分散するので、異なる「年」に渡って検索するときは検索しにくくなる。そこで、タイトル画像の優先順位を変更して、撮影画像の配置を並べ替えることについて説明する。
【0096】
図13は、優先順位を変更して撮影画像を並べ替える例を示す図である。(a)は、「年」のタイトル画像21を最優先とした場合の一覧表示で、
図12(a)と同様の配置である。これに対し(b)は、「季節」のタイトル画像22が最優先となるよう変更した場合の一覧表示である。このときユーザは、例えば(a)の画面で「春」のタイトル画像22の位置をドラッグして「2016年」のタイトル画像21と入れ替えるように操作する。
【0097】
ユーザのドラッグ操作を検知すると、タイトル生成実行部104cは現在のタイトル画像制御表(T1)に対し、「季節」の優先順位フラグ=1、「年」の優先順位フラグ=2に変更して新たな優先順位に従ったタイトル画像を生成する。そして、ストレージ部110に記憶されている撮影画像の順序を新たな優先順位に従って並べ替える処理(ソート処理)を行う。この並べ替え処理では、(a)で生成済みのタイトル画像による分類された画像群をグループとして扱うことができるので、各画像のメタデータを逐一参照することなしに短時間で処理可能となる。その結果(b)のように、「春」の新たなタイトル画像22’には異なる「年」に渡る撮影画像が連続して配置されるので(破線22a’で示す)、ユーザは容易に検索することができる。
【0098】
以上、本発明のいくつかの実施例を説明したが、言うまでもなく、本発明の技術を実現する構成は前記実施例に限られるものではなく、様々な変形例が考えられる。例えば、前記実施例では撮像装置により撮影したタイミングでタイトル画像を生成しているが、撮影終了後に複数の撮影データを解析することによりタイトル画像制御表に従ってタイトル画像を生成し、区切り画像として挿入してもよい。また、文中や図中に現れる数値等はあくまでも一例であり、異なるものを用いても本発明の効果を損なうことはない。
【0099】
前記した本発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、マイクロプロセッサユニット等がそれぞれの機能等を実現するプログラムを解釈して実行することによりソフトウェアで実現してもよい。ハードウェアとソフトウェアを併用して構成してもよい。
【符号の説明】
【0100】
10:撮影画像、11~13,21~25,31~33:タイトル画像、100:撮像装置、104:メモリ部、104c:タイトル生成実行部、104d:画像解析実行部、104e:画像検索実行部、104f:一時記憶領域、110:ストレージ部、110a:各種情報/データ記憶領域、121:表示部、123~125:撮像部(カメラ)、140:操作部。