知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023177422
(43)【公開日】2023-12-14
(54)【発明の名称】画像処理装置、画像処理方法及びプログラム
(51)【国際特許分類】
G09G 5/14 20060101AFI20231207BHJP
G09G 5/08 20060101ALI20231207BHJP
G09G 5/36 20060101ALI20231207BHJP
G06F 3/04845 20220101ALI20231207BHJP
G06F 3/04812 20220101ALI20231207BHJP
H04N 13/239 20180101ALN20231207BHJP
H04N 13/344 20180101ALN20231207BHJP
G02B 27/02 20060101ALN20231207BHJP
【ＦＩ】
G09G5/14 A
G09G5/08 K
G09G5/36 520P
G06F3/04845
G06F3/04812
H04N13/239
H04N13/344
G02B27/02 Z
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2022090068
(22)【出願日】2022-06-02
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100090273
【弁理士】
【氏名又は名称】國分 孝悦
(72)【発明者】
【氏名】石井 正俊
【テーマコード（参考）】
2H199
5C061
5C182
5E555
【Ｆターム（参考）】
2H199CA23
2H199CA25
2H199CA42
2H199CA92
2H199CA94
5C061AA01
5C061AB12
5C061AB24
5C182AA02
5C182AA03
5C182AB34
5C182AC03
5C182AC38
5C182BA14
5C182BB04
5C182BB12
5C182BC01
5C182BC22
5C182CA01
5C182CB14
5C182CB44
5C182CB54
5C182CC11
5E555AA06
5E555BA04
5E555BA83
5E555BB04
5E555BC04
5E555BC17
5E555CB36
5E555CC03
5E555DA08
5E555DA09
5E555DB06
5E555DB52
5E555FA00
(57)【要約】
【課題】画像ファイルを開いて主画像を確認することなく、観察者が観察していた表示画角の外側の情報を素早く確認できる仕組みを提供する。
【解決手段】画像ファイルに記録された第１の画角をもつ第１のサムネイル画像を取得する画像取得部４０３と、第１の画角とは異なる第２の画角をもつ第２のサムネイル画像を生成する画像生成部４０４と、ユーザが操作するカーソルの位置が画面のサムネイル表示領域上に位置するか否かに応じてサムネイル表示領域に表示するサムネイル画像を設定する画像設定部４０５と、画像設定部４０５によって設定されたサムネイル画像を画面のサムネイル表示領域に表示する表示部４０６と、を備え、画像設定部４０５は、カーソルの位置が画面のサムネイル表示領域上に位置する場合に、第２のサムネイル画像をサムネイル表示領域に表示するサムネイル画像として設定する。
【選択図】図４
【解決手段】画像ファイルに記録された第１の画角をもつ第１のサムネイル画像を取得する画像取得部４０３と、第１の画角とは異なる第２の画角をもつ第２のサムネイル画像を生成する画像生成部４０４と、ユーザが操作するカーソルの位置が画面のサムネイル表示領域上に位置するか否かに応じてサムネイル表示領域に表示するサムネイル画像を設定する画像設定部４０５と、画像設定部４０５によって設定されたサムネイル画像を画面のサムネイル表示領域に表示する表示部４０６と、を備え、画像設定部４０５は、カーソルの位置が画面のサムネイル表示領域上に位置する場合に、第２のサムネイル画像をサムネイル表示領域に表示するサムネイル画像として設定する。
【選択図】図４
【特許請求の範囲】
【請求項1】
サムネイル画像を画面に表示するための処理を行う画像処理装置であって、
前記サムネイル画像よりも画角の広い主画像を含む画像ファイルを入力する入力手段と、
カーソルが前記画面上のサムネイル表示領域上に位置する場合、前記主画像をサムネイル画像として前記画面上に表示させる制御を行う制御手段と、
を有することを特徴とする画像処理装置。
前記サムネイル画像よりも画角の広い主画像を含む画像ファイルを入力する入力手段と、
カーソルが前記画面上のサムネイル表示領域上に位置する場合、前記主画像をサムネイル画像として前記画面上に表示させる制御を行う制御手段と、
を有することを特徴とする画像処理装置。
【請求項2】
前記制御手段は、
前記カーソルの位置を取得する位置取得手段と、
前記画像ファイルに記録された第１の画角をもつ第１のサムネイル画像を取得する画像取得手段と、
前記第１の画角とは異なる第２の画角をもつ第２のサムネイル画像を生成する画像生成手段と、
前記カーソルの位置が前記サムネイル表示領域上に位置するか否かに応じて、前記サムネイル表示領域に表示するサムネイル画像を設定する画像設定手段と、
を有し、
前記制御手段は、前記設定されたサムネイル画像を前記画面上に表示させる制御を行うことを特徴とする請求項１に記載の画像処理装置。
前記カーソルの位置を取得する位置取得手段と、
前記画像ファイルに記録された第１の画角をもつ第１のサムネイル画像を取得する画像取得手段と、
前記第１の画角とは異なる第２の画角をもつ第２のサムネイル画像を生成する画像生成手段と、
前記カーソルの位置が前記サムネイル表示領域上に位置するか否かに応じて、前記サムネイル表示領域に表示するサムネイル画像を設定する画像設定手段と、
を有し、
前記制御手段は、前記設定されたサムネイル画像を前記画面上に表示させる制御を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記第２の画角は、前記第１の画角よりも広い画角であることを特徴とする請求項２に記載の画像処理装置。
【請求項4】
前記第２の画角は、前記画像ファイルに記録された前記主画像の画角と同じ画角であることを特徴とする請求項２に記載の画像処理装置。
【請求項5】
前記画像生成手段は、前記第１のサムネイル画像よりも大きい前記第２のサムネイル画像を生成することを特徴とする請求項２に記載の画像処理装置。
【請求項6】
前記画像生成手段は、前記第１のサムネイル画像の領域を識別する情報を付した前記第２のサムネイル画像を生成することを特徴とする請求項５に記載の画像処理装置。
【請求項7】
前記画像生成手段は、前記第１のサムネイル画像と同じ大きさの前記第２のサムネイル画像を生成することを特徴とする請求項２に記載の画像処理装置。
【請求項8】
前記第１のサムネイル画像に対応する前記主画像の部分領域における大きさを示す表示領域情報を前記画像ファイルのメタデータから取得する情報取得手段を更に有し、
前記画像生成手段は、前記表示領域情報に基づいて前記主画像の中央部を前記部分領域における大きさで切り出した画角の画像を前記第２のサムネイル画像として生成することを特徴とする請求項２に記載の画像処理装置。
前記画像生成手段は、前記表示領域情報に基づいて前記主画像の中央部を前記部分領域における大きさで切り出した画角の画像を前記第２のサムネイル画像として生成することを特徴とする請求項２に記載の画像処理装置。
【請求項9】
前記表示領域情報は、前記部分領域における幅と高さの情報を含むことを特徴とする請求項８に記載の画像処理装置。
【請求項10】
サムネイル画像を画面に表示するための処理を行う画像処理方法であって、
前記サムネイル画像よりも画角の広い主画像を含む画像ファイルを入力する入力ステップと、
カーソルが前記画面上のサムネイル表示領域上に位置する場合、前記主画像をサムネイル画像として前記画面上に表示させる制御を行う制御ステップと、
を有することを特徴とする画像処理方法。
前記サムネイル画像よりも画角の広い主画像を含む画像ファイルを入力する入力ステップと、
カーソルが前記画面上のサムネイル表示領域上に位置する場合、前記主画像をサムネイル画像として前記画面上に表示させる制御を行う制御ステップと、
を有することを特徴とする画像処理方法。
【請求項11】
コンピュータを、請求項１に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ディスプレイ上のサムネイル画像を処理する画像処理に関する。
【背景技術】
【0002】
従来、ビデオシースルー型のヘッドマウントディスプレイ（ＨＭＤ）は、現実の被写体を撮像して取得した実写画像（撮像画像）にＣＧ（コンピュータグラフィクス）画像を重畳した表示画像をＬＣＤ等の表示素子に表示し、当該表示素子からの光を表示光学系により観察者の眼に導く。このようなビデオシースルー型のＨＭＤは、撮像画像と表示画像との位置合わせを容易にする等の理由から、一般的に撮像する画角（以下、「撮像画角」と記載する）が表示素子に表示する画角（以下、「表示画角」と記載する）よりも広い。また、このようなＨＭＤにおいて、観察者が観察している表示画像を画像ファイルとして記録するためにスクリーンショット機能が用いられるが、一般的にスクリーンショットでは、表示画角の表示画像をそのまま画像ファイルとして記録する。そのため、画像ファイルに記録されたスクリーンショット画像を後で外部ディスプレイにより再生して観察した際に、表示画角の周囲の状況を確認することはできない。
【0003】
このようなビデオシースルー型のＨＭＤにおいて、ＨＭＤに表示する表示画像よりも広い画角に相当する画像を生成する技術が特許文献１に開示されている。特許文献１には、表示画像よりも広い画角に相当する画像を外部ディスプレイに表示することが記載されている。スクリーンショット画像ファイルを生成する際に、表示画角の画像を主画像として設定する代わりに、特許文献１に開示された方法により表示画角よりも広画角な画像を生成し、これを主画像として設定する。一方で、サムネイル画像には、従来通り表示画角の画像を設定する。そして、この主画像とサムネイル画像を併せて画像ファイルに記録する。これにより、サムネイル画像を表示することで観察者が実際観察していた画像の確認を行うことができ、さらに主画像を表示することでその周囲の状況の確認を行うことが可能となる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１８－２３０２６号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上述した従来の技術では、スクリーンショット保存時にＨＭＤの観察者が観察していた表示画角よりも外側の情報をサムネイル画像のみからは確認できないため、画像ファイルを一度開いて主画像を確認する必要があった。そのため、この主画像の表示処理に時間がかかるという課題があった。
【0006】
本発明は、このような課題に鑑みてなされたものであり、画像ファイルを開いて主画像を確認することなく、観察者が観察していた表示画角の外側の情報を素早く確認できるようにすることを目的とする。
【課題を解決するための手段】
【0007】
本発明の画像処理装置は、サムネイル画像を画面に表示するための処理を行う画像処理装置であって、前記サムネイル画像よりも画角の広い主画像を含む画像ファイルを入力する入力手段と、カーソルが前記画面上のサムネイル表示領域上に位置する場合、前記主画像をサムネイル画像として前記画面上に表示させる制御を行う制御手段と、を有する。
【発明の効果】
【0008】
本発明によれば、画像ファイルを開いて主画像を確認することなく、観察者が観察していた表示画角の外側の情報を素早く確認することができる。
【図面の簡単な説明】
【0009】
【図1】第１の実施形態に係る画像表示システム（ビデオシースルー型のＨＭＤシステム）の概略構成の一例を示す図である。
【図6】第１の実施形態を示し、カーソルの位置が画面における画像ファイルのサムネイル表示領域上に位置するか否かに応じて変化するサムネイル画像表示方法を説明するための図である。
【図7】第３の実施形態を示し、カーソルの位置が画面における画像ファイルのサムネイル表示領域上に位置する場合のサムネイル画像表示方法を説明するための図である。
【図10】第２の実施形態を示し、カーソルの位置が画面における画像ファイルのサムネイル表示領域上に位置するか否かに応じて変化するサムネイル画像表示方法を説明するための図である。
【発明を実施するための形態】
【0010】
以下に、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。この際、以下に説明する実施形態は、本発明を限定するものではなく、また、実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。
【0011】
（第１の実施形態）
まず、第１の実施形態について説明する。
まず、第１の実施形態について説明する。
【0012】
第１の実施形態では、サムネイル画像よりも画角の広い主画像を含む画像ファイルに対して、サムネイル画像を使ったファイル一覧を画面に表示する際に、以下の処理を行う。具体的に、第１の実施形態では、観察者であるユーザが操作するカーソルの位置に応じて表示するサムネイル画像の画角を変更する処理を行う。
【0013】
図１は、第１の実施形態に係る画像表示システム（ビデオシースルー型のＨＭＤシステム）１００の概略構成の一例を示す図である。画像表示システム１００は、図１に示すように、ビデオシースルー型のＨＭＤ１０１、画像処理装置１０２、及び、ユーザ入力装置１０３を有して構成されている。
【0014】
ＨＭＤ１０１は、観察者の頭部に装着され、撮像により取得した左眼用及び右眼用の撮像画像をそれぞれ観察者の左眼及び右眼を通して観察させるヘッドマウントディスプレイである。このＨＭＤ１０１は、ビデオシースルー型のＨＭＤである。
【0015】
画像処理装置１０２は、ＨＭＤ１０１で得られた画像を処理する装置である。本実施形態においては、画像処理装置１０２とＨＭＤ１０１とは、例えばＨＤＭＩ（登録商標）ケーブルなどの映像信号線やＵＳＢケーブルなどのデータ信号線で接続され、画像データや制御信号などの通信を行う。
【0016】
ユーザ入力装置１０３は、画像処理装置１０２に対して、ＨＭＤ１０１を頭部に装着する観察者であるユーザからの入力を行う装置である。このユーザ入力装置１０３は、例えば、キーボード、マウス、コントローラなどで構成されている。
【0017】
図２は、図１に示すＨＭＤ１０１の内部構成の一例を示す図である。
ＨＭＤ１０１は、図２に示すように、観察者の左眼Ｅｌと右眼Ｅｒに対応して設けられ、現実世界を実写画像として取得するための左眼用背景カメラ２０１と右眼用背景カメラ２０２を有している。これらの背景カメラ２０１及び２０２の撮像画角は、それぞれ、左眼用撮像画角２０９及び右眼用撮像画角２１０である。なお、本実施形態では、説明の簡略化のために、左眼用撮像画角２０９及び右眼用撮像画角２１０は等しいものとし、これらを称して単に「撮像画角」という表現も用いる。また、ＨＭＤ１０１は、図２に示すように、観察者の左眼Ｅｌと右眼Ｅｒに対応して設けられ、観察者に画像を観察させるために、液晶パネルや有機ＥＬパネルなどの表示用パネルで構成される左眼用ディスプレイ２０３と右眼用ディスプレイ２０６を有している。さらに、ＨＭＤ１０１は、図２に示すように、これらのディスプレイ２０３及び２０６の前に、左眼用接眼レンズ２０４と右眼用接眼レンズ２０７が配置されている。観察者は、これらの接眼レンズ２０４及び２０７を通して、それぞれ、ディスプレイ２０３及び２０６に表示された表示画像の拡大虚像を観察する。これらのディスプレイ２０３及び２０６と接眼レンズ２０４及び２０７で構成される表示部の表示画角は、それぞれ、左眼用表示画角２０５及び右眼用表示画角２０８である。なお、本実施形態では、説明の簡略化のために、左眼用表示画角２０５及び右眼用表示画角２０８は等しいものとし、これらを称して単に「表示画角」という表現も用いる。また、ＨＭＤ１０１は、観察者の位置姿勢を取得するための不図示の各種のセンサ類を有している。ここで、背景カメラ２０１及び２０２の撮像画角である左眼用撮像画角２０９及び右眼用撮像画角２１０は、それぞれ、表示部の表示画角である左眼用表示画角２０５及び右眼用表示画角２０８よりも広く設計されているものとする。
ＨＭＤ１０１は、図２に示すように、観察者の左眼Ｅｌと右眼Ｅｒに対応して設けられ、現実世界を実写画像として取得するための左眼用背景カメラ２０１と右眼用背景カメラ２０２を有している。これらの背景カメラ２０１及び２０２の撮像画角は、それぞれ、左眼用撮像画角２０９及び右眼用撮像画角２１０である。なお、本実施形態では、説明の簡略化のために、左眼用撮像画角２０９及び右眼用撮像画角２１０は等しいものとし、これらを称して単に「撮像画角」という表現も用いる。また、ＨＭＤ１０１は、図２に示すように、観察者の左眼Ｅｌと右眼Ｅｒに対応して設けられ、観察者に画像を観察させるために、液晶パネルや有機ＥＬパネルなどの表示用パネルで構成される左眼用ディスプレイ２０３と右眼用ディスプレイ２０６を有している。さらに、ＨＭＤ１０１は、図２に示すように、これらのディスプレイ２０３及び２０６の前に、左眼用接眼レンズ２０４と右眼用接眼レンズ２０７が配置されている。観察者は、これらの接眼レンズ２０４及び２０７を通して、それぞれ、ディスプレイ２０３及び２０６に表示された表示画像の拡大虚像を観察する。これらのディスプレイ２０３及び２０６と接眼レンズ２０４及び２０７で構成される表示部の表示画角は、それぞれ、左眼用表示画角２０５及び右眼用表示画角２０８である。なお、本実施形態では、説明の簡略化のために、左眼用表示画角２０５及び右眼用表示画角２０８は等しいものとし、これらを称して単に「表示画角」という表現も用いる。また、ＨＭＤ１０１は、観察者の位置姿勢を取得するための不図示の各種のセンサ類を有している。ここで、背景カメラ２０１及び２０２の撮像画角である左眼用撮像画角２０９及び右眼用撮像画角２１０は、それぞれ、表示部の表示画角である左眼用表示画角２０５及び右眼用表示画角２０８よりも広く設計されているものとする。
【0018】
ＨＭＤ１０１は、不図示の観察者の頭部に装着され、観察者の左眼Ｅｌ及び右眼Ｅｒのそれぞれに左眼用表示画像及び右眼用表示画像（の拡大虚像）を観察させる。
【0019】
画像処理装置１０２は、ＨＭＤ１０１の左眼用背景カメラ２０１及び右眼用背景カメラ２０２から取得した実写画像にＣＧレンダリング画像を重畳することで第１画像を生成する。そして、画像処理装置１０２は、ＨＭＤ１０１の表示画角に相当する画像領域を第１画像から取得し、左眼用表示画像及び右眼用表示画像として生成する。そして、画像処理装置１０２は、これらの表示画像をＨＭＤ１０１の左眼用ディスプレイ２０３及び右眼用ディスプレイ２０６に表示する。
【0020】
本実施形態では、画像処理装置１０２がＨＭＤ１０１から独立したシステム構成として説明を行うが、ＨＭＤ１０１の内部に画像処理装置１０２を含んだ一体型のＨＭＤシステムのような構成をとってもよい。また、ユーザ入力装置１０３が、画像処理装置１０２に有線接続されたシステム構成として説明を行うが、画像処理装置１０２にＢｌｕｅｔｏｏｔｈなどの公知の無線技術により接続されたシステム構成をとってもよい。
【0021】
図３は、図１に示す画像処理装置１０２のシステム構成の一例を示す図である。
画像処理装置１０２は、図３に示すように、ＣＰＵ３０１、ＲＡＭ３０２、ＲＯＭ３０３、ＨＤＤ３０４、汎用Ｉ／Ｆ３０５、映像出力Ｉ／Ｆ３０６、及び、メインバス３０７のシステム構成を有する。
画像処理装置１０２は、図３に示すように、ＣＰＵ３０１、ＲＡＭ３０２、ＲＯＭ３０３、ＨＤＤ３０４、汎用Ｉ／Ｆ３０５、映像出力Ｉ／Ｆ３０６、及び、メインバス３０７のシステム構成を有する。
【0022】
ＣＰＵ３０１は、画像処理装置１０２内の各部を統括的に制御するプロセッサーである。ＲＡＭ３０２は、ＣＰＵ３０１の主メモリ、ワークエリア等として機能する。ＲＯＭ３０３は、ＣＰＵ３０１によって実行されるプログラム群を格納している。ＨＤＤ３０４は、ＣＰＵ３０１によって実行されるアプリケーションや、画像処理に用いられるデータ等を記憶する。汎用Ｉ／Ｆ３０５は、ＵＳＢやＩＥＥＥ１３９４等のシリアルバスインターフェースであり、ユーザ入力装置１０３と接続されている。観察者であるユーザは、ユーザ入力装置１０３を通じて、スクリーンショットなどのコマンドを画像処理装置１０２に伝えることができる。また、汎用Ｉ／Ｆ３０５は、ＨＭＤ１０１とも接続され、左眼用背景カメラ２０１及び右眼用背景カメラ２０２の撮像画像の取得や位置姿勢情報などの取得に使用される。本実施形態においては、この汎用Ｉ／Ｆ３０５は、画像処理装置１０２において、サムネイル画像よりも画角の広い主画像を含む画像ファイルをＣＰＵ３０１等（ＲＡＭ３０２やＨＤＤ３０４を含む）に入力する入力手段として構成される。映像出力Ｉ／Ｆ３０６は、ＨＤＭＩやディスプレイポートなどのＩ／Ｆであり、ＨＭＤ１０１に表示画像を表示させるために使用される。メインバス３０７は、ＣＰＵ３０１、ＲＡＭ３０２、ＲＯＭ３０３、ＨＤＤ３０４、汎用Ｉ／Ｆ３０５及び映像出力Ｉ／Ｆ３０６を通信可能に接続するバスである。
【0023】
図４は、第１の実施形態を示し、図１及び図３に示す画像処理装置１０２の構成の一例を示す図である。
図４の画像処理装置１０２は、カーソル位置取得部４０１、カーソル位置判定部４０２、第１のサムネイル画像取得部４０３、第２のサムネイル画像生成部４０４、サムネイル画像設定部４０５、及び、表示部４０６の構成を有する。例えば、図３に示すＣＰＵ３０１がＲＯＭ３０３に格納されているプログラムを実行することにより、図４に示す各構成部４０１～４０６が実現される。
図４の画像処理装置１０２は、カーソル位置取得部４０１、カーソル位置判定部４０２、第１のサムネイル画像取得部４０３、第２のサムネイル画像生成部４０４、サムネイル画像設定部４０５、及び、表示部４０６の構成を有する。例えば、図３に示すＣＰＵ３０１がＲＯＭ３０３に格納されているプログラムを実行することにより、図４に示す各構成部４０１～４０６が実現される。
【0024】
画像処理装置１０２は、第１の画角をもつサムネイル画像よりも画角の広い主画像を含む画像ファイルに対して、サムネイル画像を使ったファイル一覧を左眼用ディスプレイ２０３及び右眼用ディスプレイ２０６の画面に表示する処理を行う。
【0025】
カーソル位置取得部４０１は、ＨＭＤ１０１を頭部に装着する観察者であるユーザが画像ファイルを選択するために操作するカーソルの位置を取得する位置取得手段である。そして、カーソル位置取得部４０１は、取得したカーソルの位置をカーソル位置判定部４０２に出力する。
【0026】
カーソル位置判定部４０２は、カーソル位置取得部４０１で取得したカーソルの位置が、画面における画像ファイルのサムネイル表示領域上（サムネイル画像上）に位置するか否かを判定する位置判定手段である。そして、カーソル位置判定部４０２は、この判定結果をサムネイル画像設定部４０５に出力する。
【0027】
第１のサムネイル画像取得部４０３は、画像ファイルに記録された第１の画角をもつサムネイル画像を第１のサムネイル画像として取得する画像取得手段である。そして、第１のサムネイル画像取得部４０３は、取得した第１のサムネイル画像をサムネイル画像設定部４０５に出力する。
【0028】
第２のサムネイル画像生成部４０４は、上述した第１のサムネイル画像における第１の画角とは異なる第２の画角をもつ第２のサムネイル画像を生成する画像生成手段である。本実施形態においては、第２のサムネイル画像生成部４０４は、画像ファイルに記録された主画像の画角と同じ画角である第２の画角（第１の画角よりも広い画角）をもつサムネイル画像を第２のサムネイル画像として生成する。すなわち、主画像を入力して第２のサムネイル画像とする。そして、第２のサムネイル画像生成部４０４は、生成した第２のサムネイル画像をサムネイル画像設定部４０５に出力する。
【0029】
サムネイル画像設定部４０５は、カーソル位置判定部４０２による、カーソルの位置が画面の画像ファイルのサムネイル表示領域上に位置するか否かの判定結果に応じて、サムネイル表示領域に表示するサムネイル画像を設定する画像設定手段である。具体的に、サムネイル画像設定部４０５は、カーソルの位置が画面における画像ファイルのサムネイル表示領域上に位置する場合に、第２のサムネイル画像を上述したサムネイル表示領域に表示するサムネイル画像として設定する。また、サムネイル画像設定部４０５は、カーソルの位置が画面における画像ファイルのサムネイル表示領域上に位置しない場合に、第１のサムネイル画像を上述したサムネイル表示領域に表示するサムネイル画像として設定する。そして、サムネイル画像設定部４０５は、設定したサムネイル画像を表示部４０６に出力する。あるいは、サムネイル画像設定部４０５は、設定したサムネイル画像を表示部４０６に表示させるよう、表示部を制御するための制御信号を出力してもよい。この場合、サムネイル画像設定部４０５は、画像処理装置１０２において制御手段として構成される。また、この制御手段には、サムネイル画像設定部４０５に加えて、カーソル位置取得部４０１、カーソル位置判定部４０２、第１のサムネイル画像取得部４０３及び第２のサムネイル画像生成部４０４を含めるようにしてもよい。
【0030】
表示部４０６は、サムネイル画像設定部４０５によって設定されたサムネイル画像を、左眼用ディスプレイ２０３及び右眼用ディスプレイ２０６の画面における画像ファイルのサムネイル表示領域に表示する表示手段である。
【0031】
次に、本実施形態の画像処理装置１０２が、ＨＭＤ１０１を頭部に装着する観察者であるユーザによるカーソルの操作に基づいて実行する処理手順について説明する。
図５は、第１の実施形態を示し、図３及び図４に示す画像処理装置１０２による画像処理方法の処理手順の一例を示すフローチャートである。図３に示すＣＰＵ３０１は、ＲＯＭ３０３又はＨＤＤ３０４に格納された図５に示すフローチャートの処理を実行するためのプログラムを読み出して、ＲＡＭ３０２をワークエリアとして処理を実行する。これにより、図３に示すＣＰＵ３０１は、図４に示す各機能構成としての役割を果たす。なお、図５のフローチャートにおいては、各工程（ステップ）を「Ｓ」と表記することとする。
図５は、第１の実施形態を示し、図３及び図４に示す画像処理装置１０２による画像処理方法の処理手順の一例を示すフローチャートである。図３に示すＣＰＵ３０１は、ＲＯＭ３０３又はＨＤＤ３０４に格納された図５に示すフローチャートの処理を実行するためのプログラムを読み出して、ＲＡＭ３０２をワークエリアとして処理を実行する。これにより、図３に示すＣＰＵ３０１は、図４に示す各機能構成としての役割を果たす。なお、図５のフローチャートにおいては、各工程（ステップ）を「Ｓ」と表記することとする。
【0032】
Ｓ５０１において、カーソル位置取得部４０１は、画像ファイルを選択するためにユーザ入力装置１０３によって入力されたユーザ操作によるカーソルの位置を取得する。この際、カーソル位置取得部４０１は、例えば左眼用ディスプレイ２０３及び右眼用ディスプレイ２０６の画面の左上を原点とする直交座標系における座標値として、カーソルの位置を取得する。
【0033】
Ｓ５０２において、カーソル位置判定部４０２は、Ｓ５０１で取得されたカーソルの位置が、画面における画像ファイルのサムネイル表示領域上に位置するか否かを判定する。この５０２の処理について、図６を用いて説明する。
【0034】
図６は、第１の実施形態を示し、カーソルの位置が画面６００における画像ファイルのサムネイル表示領域上に位置するか否かに応じて変化するサムネイル画像表示方法を説明するための図である。図６（ａ）は、左眼用ディスプレイ２０３及び右眼用ディスプレイ２０６の画面６００において、カーソル６０１の位置がサムネイル表示領域上にない場合の例を示している。また、図６（ｂ）は、左眼用ディスプレイ２０３及び右眼用ディスプレイ２０６の画面６００において、カーソル６０１の位置がサムネイル表示領域上にある場合の例を示している。図５のＳ５０２において、カーソル６０１の位置の判定は、カーソル６０１の位置を示す座標値とサムネイル画像が表示されているサムネイル表示領域を示す座標値（例えば、サムネイル表示領域の左上座標と右下座標）とを比較することで行えばよい。
【0035】
ここで再び、図５の説明に戻る。
Ｓ５０２の判定の結果、Ｓ５０１で取得されたカーソルの位置が、画面における画像ファイルのサムネイル表示領域上に位置する場合には（Ｓ５０２／Ｙｅｓ）、Ｓ５０３に進む。
Ｓ５０３に進むと、第２のサムネイル画像生成部４０４は、カーソルで指示された画像ファイルに含まれる主画像をバイリニア補間などの公知の方法により縮小処理することによって、主画像の画角に相当する第２の画角をもつ第２のサムネイル画像を生成する。このＳ５０３で生成された第２のサムネイル画像は、図３に示すＲＡＭ３０２にキャッシュされる。なお、第２のサムネイル画像のキャッシュが既に生成されている場合には、この画像データを読み出すことによって第２のサムネイル画像の生成処理を代替することができ、上述した主画像の縮小処理をその都度行う必要はない。
Ｓ５０２の判定の結果、Ｓ５０１で取得されたカーソルの位置が、画面における画像ファイルのサムネイル表示領域上に位置する場合には（Ｓ５０２／Ｙｅｓ）、Ｓ５０３に進む。
Ｓ５０３に進むと、第２のサムネイル画像生成部４０４は、カーソルで指示された画像ファイルに含まれる主画像をバイリニア補間などの公知の方法により縮小処理することによって、主画像の画角に相当する第２の画角をもつ第２のサムネイル画像を生成する。このＳ５０３で生成された第２のサムネイル画像は、図３に示すＲＡＭ３０２にキャッシュされる。なお、第２のサムネイル画像のキャッシュが既に生成されている場合には、この画像データを読み出すことによって第２のサムネイル画像の生成処理を代替することができ、上述した主画像の縮小処理をその都度行う必要はない。
【0036】
続いて、Ｓ５０４において、サムネイル画像設定部４０５は、画面における画像ファイルのサムネイル表示領域に表示するサムネイル画像を、Ｓ５０３で生成した第２のサムネイル画像に設定する。
【0037】
また、Ｓ５０２の判定の結果、Ｓ５０１で取得されたカーソルの位置が、画面における画像ファイルのサムネイル表示領域上に位置しない場合には（Ｓ５０２／Ｎｏ）、Ｓ５０５に進む。
Ｓ５０５に進むと、第１のサムネイル画像取得部４０３は、画像ファイルに記録された第１の画角をもつサムネイル画像を第１のサムネイル画像として取得する。第１のサムネイル画像における第１の画角は、主画像及び第２のサムネイル画像における第２の画角よりも狭い画角である。
Ｓ５０５に進むと、第１のサムネイル画像取得部４０３は、画像ファイルに記録された第１の画角をもつサムネイル画像を第１のサムネイル画像として取得する。第１のサムネイル画像における第１の画角は、主画像及び第２のサムネイル画像における第２の画角よりも狭い画角である。
【0038】
続いて、Ｓ５０６において、サムネイル画像設定部４０５は、画面における画像ファイルのサムネイル表示領域に表示するサムネイル画像を、Ｓ５０５で取得した第１のサムネイル画像に設定する。
【0039】
Ｓ５０４の処理が終了した場合、或いは、Ｓ５０６の処理が終了した場合には、Ｓ５０７に進む。
Ｓ５０７に進むと、表示部４０６は、Ｓ５０４又はＳ５０６で設定されたサムネイル画像を、左眼用ディスプレイ２０３及び右眼用ディスプレイ２０６の画面における該当する画像ファイルのサムネイル表示領域に表示する。図６（ａ）では、カーソル６０１の位置が画面６００におけるサムネイル画像６０２の表示領域の外側に位置しているため、画像ファイルに記録されている第１のサムネイル画像６０２が表示されている。一方、図６（ｂ）では、カーソル６０１の位置がサムネイル画像６０３の表示領域の内側に位置しているため、第１のサムネイル画像６０２よりも画角の広い第２のサムネイル画像６０３が表示されている。ここで、図６（ｂ）に示す例では、第２のサムネイル画像生成部４０４は、第１のサムネイル画像６０２よりも大きい第２のサムネイル画像６０３を生成する形態を採る。また、本実施形態では、上述したように、第２のサムネイル画像６０３の画角（第２の画角）は、画像ファイルに記録されている主画像の画角と一致する（同じ）画角となっている。
Ｓ５０７に進むと、表示部４０６は、Ｓ５０４又はＳ５０６で設定されたサムネイル画像を、左眼用ディスプレイ２０３及び右眼用ディスプレイ２０６の画面における該当する画像ファイルのサムネイル表示領域に表示する。図６（ａ）では、カーソル６０１の位置が画面６００におけるサムネイル画像６０２の表示領域の外側に位置しているため、画像ファイルに記録されている第１のサムネイル画像６０２が表示されている。一方、図６（ｂ）では、カーソル６０１の位置がサムネイル画像６０３の表示領域の内側に位置しているため、第１のサムネイル画像６０２よりも画角の広い第２のサムネイル画像６０３が表示されている。ここで、図６（ｂ）に示す例では、第２のサムネイル画像生成部４０４は、第１のサムネイル画像６０２よりも大きい第２のサムネイル画像６０３を生成する形態を採る。また、本実施形態では、上述したように、第２のサムネイル画像６０３の画角（第２の画角）は、画像ファイルに記録されている主画像の画角と一致する（同じ）画角となっている。
【0040】
そして、Ｓ５０７の処理が終了すると、図５のフローチャートの処理が終了する。
【0041】
以上説明した第１の実施形態に係る画像処理装置１０２は、サムネイル画像よりも画角の広い主画像を含む画像ファイルに対して、サムネイル画像を使ったファイル一覧を画面に表示する際に、以下の処理を行う。具体的に、カーソル位置取得部４０１は、ＨＭＤ１０１を頭部に装着する観察者であるユーザが操作するカーソルの位置を取得する。第１のサムネイル画像取得部４０３は、画像ファイルに記録された第１の画角をもつ第１のサムネイル画像を取得する。また、第２のサムネイル画像生成部４０４は、第１のサムネイル画像における第１の画角とは異なる第２の画角（本実施形態では、第１の画角よりも広い画角）をもつ第２のサムネイル画像を生成する。そして、サムネイル画像設定部４０５は、カーソル位置取得部４０１で取得したカーソルの位置が画面の画像ファイルのサムネイル表示領域上に位置するか否かに応じて、サムネイル表示領域に表示するサムネイル画像を設定する。具体的に、サムネイル画像設定部４０５は、カーソルの位置が画面における画像ファイルのサムネイル表示領域上に位置する場合に、第２のサムネイル画像をサムネイル表示領域に表示するサムネイル画像として設定する。そして、表示部４０６は、サムネイル画像設定部４０５によって設定されたサムネイル画像を、左眼用ディスプレイ２０３及び右眼用ディスプレイ２０６の画面における画像ファイルのサムネイル表示領域に表示する。
かかる構成によれば、サムネイル画像よりも画角の広い主画像を含む画像ファイルに対して、サムネイル画像を使ったファイル一覧を画面に表示する際に、ユーザが操作するカーソルの位置に応じて表示するサムネイル画像の画角を変更することができる。これにより、画像ファイルを開いて主画像を確認することなく、観察者が観察していた表示画角の外側の情報を素早く確認することができる。
かかる構成によれば、サムネイル画像よりも画角の広い主画像を含む画像ファイルに対して、サムネイル画像を使ったファイル一覧を画面に表示する際に、ユーザが操作するカーソルの位置に応じて表示するサムネイル画像の画角を変更することができる。これにより、画像ファイルを開いて主画像を確認することなく、観察者が観察していた表示画角の外側の情報を素早く確認することができる。
【0042】
（第２の実施形態）
次に、第２の実施形態について説明する。なお、以下に記載する第２の実施形態の説明では、上述した第１の実施形態と共通する事項については説明を省略し、上述した第１の実施形態と異なる事項について説明を行う。
次に、第２の実施形態について説明する。なお、以下に記載する第２の実施形態の説明では、上述した第１の実施形態と共通する事項については説明を省略し、上述した第１の実施形態と異なる事項について説明を行う。
【0043】
第２の実施形態では、サムネイル画像よりも画角の広い主画像を含む画像ファイルに対して、サムネイル画像を使ったファイル一覧を画面に表示する際に、以下の処理を行う。具体的に、第２の実施形態では、観察者であるユーザが操作するカーソル位置が画面における画像ファイルのサムネイル表示領域上に位置する場合に、表示するサムネイル画像の画角を主画像の中央部を切り出した画角に変更する処理を行う。
【0044】
第２の実施形態に係る画像表示システム（ビデオシースルー型のＨＭＤシステム）の概略構成は、図１に示す第１の実施形態に係る画像表示システム（ビデオシースルー型のＨＭＤシステム）１００の概略構成と同様である。また、第２の実施形態に係るＨＭＤ１０１の内部構成は、図２に示す第１の実施形態に係るＨＭＤ１０１の内部構成と同様である。さらに、第２の実施形態に係る画像処理装置１０２のシステム構成は、図３に示す第１の実施形態に係る画像処理装置１０２のシステム構成と同様である。
【0045】
図８は、第２の実施形態を示し、図１及び図３に示す画像処理装置１０２の機能構成の一例を示す図である。
図８の画像処理装置１０２は、カーソル位置取得部８０１、カーソル位置判定部８０２、第１のサムネイル画像取得部８０３、第２のサムネイル画像生成部８０４、サムネイル画像設定部８０５、表示部８０６、及び、表示領域情報取得部８０７を有する。
図８の画像処理装置１０２は、カーソル位置取得部８０１、カーソル位置判定部８０２、第１のサムネイル画像取得部８０３、第２のサムネイル画像生成部８０４、サムネイル画像設定部８０５、表示部８０６、及び、表示領域情報取得部８０７を有する。
【0046】
カーソル位置取得部８０１は、図４のカーソル位置取得部４０１と同様の機能を有する。即ち、カーソル位置取得部８０１は、ＨＭＤ１０１を頭部に装着する観察者であるユーザが画像ファイルを選択するために操作するカーソルの位置を取得する位置取得手段である。そして、カーソル位置取得部８０１は、取得したカーソルの位置をカーソル位置判定部８０２に出力する。
【0047】
カーソル位置判定部８０２は、図４のカーソル位置判定部４０２と同様の機能を有する。即ち、カーソル位置判定部８０２は、カーソル位置取得部８０１で取得したカーソルの位置が、画面における画像ファイルのサムネイル表示領域上（サムネイル画像上）に位置するか否かを判定する位置判定手段である。そして、カーソル位置判定部８０２は、この判定結果をサムネイル画像設定部８０５に出力する。
【0048】
第１のサムネイル画像取得部８０３は、図４の第１のサムネイル画像取得部４０３と同様の機能を有する。即ち、第１のサムネイル画像取得部８０３は、画像ファイルに記録された第１の画角をもつサムネイル画像を第１のサムネイル画像として取得する画像取得手段である。そして、第１のサムネイル画像取得部８０３は、取得した第１のサムネイル画像をサムネイル画像設定部８０５に出力する。
【0049】
表示領域情報取得部８０７は、第１のサムネイル画像に対応する主画像の部分領域（画像領域）における大きさを示す表示領域情報を画像ファイルのメタデータから取得する情報取得手段である。ここで、本実施形態においては、表示領域情報は、第１のサムネイル画像に対応する主画像の部分領域における幅と高さの情報を含むものである。そして、表示領域情報取得部８０７は、取得した表示領域情報を第２のサムネイル画像生成部８０４に出力する。
【0050】
第２のサムネイル画像生成部８０４は、図４の第２のサムネイル画像生成部４０４と同様の機能を有する。即ち、第２のサムネイル画像生成部８０４は、上述した第１のサムネイル画像における第１の画角とは異なる第２の画角をもつ第２のサムネイル画像を生成する画像生成手段である。具体的に、第２のサムネイル画像生成部８０４は、表示領域情報取得部８０７からの表示領域情報に基づき、主画像の中央部を第１のサムネイル画像に対応する主画像の部分領域における大きさで切り出した画角の画像を第２のサムネイル画像として生成する。そして、第２のサムネイル画像生成部８０４は、生成した第２のサムネイル画像をサムネイル画像設定部８０５に出力する。
【0051】
サムネイル画像設定部８０５は、図４のサムネイル画像設定部４０５と同様の機能を有する。即ち、サムネイル画像設定部８０５は、カーソル位置判定部８０２による、カーソルの位置が画面の画像ファイルのサムネイル表示領域上に位置するか否かの判定結果に応じて、サムネイル表示領域に表示するサムネイル画像を設定する画像設定手段である。具体的に、サムネイル画像設定部８０５は、カーソルの位置が画面における画像ファイルのサムネイル表示領域上に位置する場合に、第２のサムネイル画像を上述したサムネイル表示領域に表示するサムネイル画像として設定する。また、サムネイル画像設定部８０５は、カーソルの位置が画面における画像ファイルのサムネイル表示領域上に位置しない場合に、第１のサムネイル画像を上述したサムネイル表示領域に表示するサムネイル画像として設定する。そして、サムネイル画像設定部８０５は、設定したサムネイル画像を表示部８０６に出力する。
【0052】
表示部８０６は、図４の表示部４０６と同様の機能を有する。即ち、表示部８０６は、サムネイル画像設定部８０５によって設定されたサムネイル画像を、左眼用ディスプレイ２０３及び右眼用ディスプレイ２０６の画面における画像ファイルのサムネイル表示領域に表示する表示手段である。
【0053】
次に、本実施形態の画像処理装置１０２が、ＨＭＤ１０１を頭部に装着する観察者であるユーザによるカーソルの操作に基づいて実行する処理手順について説明する。
図９は、第２の実施形態を示し、図３及び図８に示す画像処理装置１０２による画像処理方法の処理手順の一例を示すフローチャートである。図３に示すＣＰＵ３０１は、ＲＯＭ３０３又はＨＤＤ３０４に格納された図９に示すフローチャートの処理を実行するためのプログラムを読み出して、ＲＡＭ３０２をワークエリアとして処理を実行する。これにより、図３に示すＣＰＵ３０１は、図４に示す各機能構成としての役割を果たす。なお、図９のフローチャートにおいては、各工程（ステップ）を「Ｓ」と表記することとする。
図９は、第２の実施形態を示し、図３及び図８に示す画像処理装置１０２による画像処理方法の処理手順の一例を示すフローチャートである。図３に示すＣＰＵ３０１は、ＲＯＭ３０３又はＨＤＤ３０４に格納された図９に示すフローチャートの処理を実行するためのプログラムを読み出して、ＲＡＭ３０２をワークエリアとして処理を実行する。これにより、図３に示すＣＰＵ３０１は、図４に示す各機能構成としての役割を果たす。なお、図９のフローチャートにおいては、各工程（ステップ）を「Ｓ」と表記することとする。
【0054】
Ｓ９０１において、カーソル位置取得部８０１は、画像ファイルを選択するためにユーザ入力装置１０３によって入力されたユーザ操作によるカーソルの位置を取得する。この際、カーソル位置取得部８０１は、例えば左眼用ディスプレイ２０３及び右眼用ディスプレイ２０６の画面の左上を原点とする直交座標系における座標値として、カーソルの位置を取得する。
【0055】
Ｓ９０２において、カーソル位置判定部８０２は、Ｓ９０１で取得されたカーソルの位置が、画面における画像ファイルのサムネイル表示領域上に位置するか否かを判定する。この９０２の処理について、図１０を用いて説明する。
【0056】
図１０は、第２の実施形態を示し、カーソルの位置が画面における画像ファイルのサムネイル表示領域上に位置するか否かに応じて変化するサムネイル画像表示方法を説明するための図である。図１０（ａ）は、左眼用ディスプレイ２０３及び右眼用ディスプレイ２０６の画面において、カーソル１００１の位置がサムネイル表示領域上にない場合の例を示している。また、図１０（ｂ）は、左眼用ディスプレイ２０３及び右眼用ディスプレイ２０６の画面において、カーソル１００１の位置がサムネイル表示領域上にある場合の例を示している。図９のＳ９０２において、カーソル１００１の位置の判定は、カーソル１００１の位置を示す座標値とサムネイル画像が表示されているサムネイル表示領域を示す座標値（例えば、サムネイル表示領域の左上座標と右下座標）とを比較することで行えばよい。
【0057】
ここで再び、図９の説明に戻る。
Ｓ９０２の判定の結果、Ｓ９０１で取得されたカーソルの位置が、画面における画像ファイルのサムネイル表示領域上に位置する場合には（Ｓ９０２／Ｙｅｓ）、Ｓ９０３に進む。
Ｓ９０３において、表示領域情報取得部８０７は、第１のサムネイル画像に対応する主画像の部分領域における大きさを示す表示領域情報を画像ファイルのメタデータから取得する。ここで、図１０（ａ）に示す第１のサムネイル画像１００２は、主画像１００３に比べて画角が狭いため、主画像１００３の部分領域に相当する画像となっている。つまり、Ｓ９０３で取得される表示領域情報は、この第１のサムネイル画像１００２に対応する主画像１００３の部分領域における大きさを特定するための情報である。この表示領域情報としては、第１のサムネイル画像１００２に対応する主画像１００３の部分領域における幅と高さの情報を含むものを取得する。なお、表示領域情報としては、第１のサムネイル画像１００２に対応する主画像１００３の部分領域における左上座標と右下座標の情報や、主画像１００３の水平垂直画角に対する部分領域の水平垂直画角のような情報などを取得してもよい。即ち、表示領域情報としては、第１のサムネイル画像１００２に対応する主画像１００３の部分領域における大きさ（幅と高さ）を特定することができれば、どのような情報を取得してもよい。
Ｓ９０２の判定の結果、Ｓ９０１で取得されたカーソルの位置が、画面における画像ファイルのサムネイル表示領域上に位置する場合には（Ｓ９０２／Ｙｅｓ）、Ｓ９０３に進む。
Ｓ９０３において、表示領域情報取得部８０７は、第１のサムネイル画像に対応する主画像の部分領域における大きさを示す表示領域情報を画像ファイルのメタデータから取得する。ここで、図１０（ａ）に示す第１のサムネイル画像１００２は、主画像１００３に比べて画角が狭いため、主画像１００３の部分領域に相当する画像となっている。つまり、Ｓ９０３で取得される表示領域情報は、この第１のサムネイル画像１００２に対応する主画像１００３の部分領域における大きさを特定するための情報である。この表示領域情報としては、第１のサムネイル画像１００２に対応する主画像１００３の部分領域における幅と高さの情報を含むものを取得する。なお、表示領域情報としては、第１のサムネイル画像１００２に対応する主画像１００３の部分領域における左上座標と右下座標の情報や、主画像１００３の水平垂直画角に対する部分領域の水平垂直画角のような情報などを取得してもよい。即ち、表示領域情報としては、第１のサムネイル画像１００２に対応する主画像１００３の部分領域における大きさ（幅と高さ）を特定することができれば、どのような情報を取得してもよい。
【0058】
続いて、Ｓ９０４において、第２のサムネイル画像生成部８０４は、Ｓ９０３で取得された表示領域情報に基づき、第１のサムネイル画像における第１の画角とは異なる第２の画角をもつ第２のサムネイル画像を生成する。具体的に、第２のサムネイル画像生成部８０４は、カーソルで指示された画像ファイルに含まれる主画像の中央部を第１のサムネイル画像に対応する主画像の部分領域における大きさで切り出した画角の画像を縮小処理して第２のサムネイル画像を生成する。このＳ９０４で生成された第２のサムネイル画像は、図３に示すＲＡＭ３０２にキャッシュされる。なお、第２のサムネイル画像のキャッシュが既に生成されている場合には、この画像データを読み出すことによって第２のサムネイル画像の生成処理を代替することができ、上述した主画像の縮小処理をその都度行う必要はない。
【0059】
続いて、Ｓ９０５において、サムネイル画像設定部８０５は、画面における画像ファイルのサムネイル表示領域に表示するサムネイル画像を、Ｓ９０４で生成した第２のサムネイル画像に設定する。
【0060】
また、Ｓ９０２の判定の結果、Ｓ９０１で取得されたカーソルの位置が、画面における画像ファイルのサムネイル表示領域上に位置しない場合には（Ｓ９０２／Ｎｏ）、Ｓ９０６に進む。
Ｓ９０６に進むと、第１のサムネイル画像取得部８０３は、画像ファイルに記録された第１の画角をもつサムネイル画像を第１のサムネイル画像として取得する。第１のサムネイル画像における第１の画角は、主画像よりも画角の狭い画像である。
Ｓ９０６に進むと、第１のサムネイル画像取得部８０３は、画像ファイルに記録された第１の画角をもつサムネイル画像を第１のサムネイル画像として取得する。第１のサムネイル画像における第１の画角は、主画像よりも画角の狭い画像である。
【0061】
続いて、Ｓ９０７において、サムネイル画像設定部８０５は、画面における画像ファイルのサムネイル表示領域に表示するサムネイル画像を、Ｓ９０６で取得した第１のサムネイル画像に設定する。
【0062】
Ｓ９０５の処理が終了した場合、或いは、Ｓ９０７の処理が終了した場合には、Ｓ９０８に進む。
Ｓ９０８に進むと、表示部８０６は、Ｓ９０５又はＳ９０７で設定されたサムネイル画像を、左眼用ディスプレイ２０３及び右眼用ディスプレイ２０６の画面における該当する画像ファイルのサムネイル表示領域に表示する。図１０（ａ）では、カーソル１００１がサムネイル画像１００２の表示領域の外側に位置しているため、画像ファイルに記録されている第１のサムネイル画像１００２が表示されている。この図１０（ａ）に示す例では、主画像１００３の中央部からやや左に寄った部分領域が第１のサムネイル画像１００２の画角として使用されていることを示している。一方、図１０（ｂ）では、カーソル１００１がサムネイル画像１００４の表示領域の内側に位置している。このため、図１０（ｂ）では、主画像１００３の中央部を切り出した、第１のサムネイル画像１００２の第１の画角とは異なる第２の画角で生成された第２のサムネイル画像１００４が表示されている。ここで、図１０（ｂ）に示すように、第２のサムネイル画像１００４を生成して表示する理由としては、一般的に主被写体が主画像１００３の中央部にあることが多いためである。
Ｓ９０８に進むと、表示部８０６は、Ｓ９０５又はＳ９０７で設定されたサムネイル画像を、左眼用ディスプレイ２０３及び右眼用ディスプレイ２０６の画面における該当する画像ファイルのサムネイル表示領域に表示する。図１０（ａ）では、カーソル１００１がサムネイル画像１００２の表示領域の外側に位置しているため、画像ファイルに記録されている第１のサムネイル画像１００２が表示されている。この図１０（ａ）に示す例では、主画像１００３の中央部からやや左に寄った部分領域が第１のサムネイル画像１００２の画角として使用されていることを示している。一方、図１０（ｂ）では、カーソル１００１がサムネイル画像１００４の表示領域の内側に位置している。このため、図１０（ｂ）では、主画像１００３の中央部を切り出した、第１のサムネイル画像１００２の第１の画角とは異なる第２の画角で生成された第２のサムネイル画像１００４が表示されている。ここで、図１０（ｂ）に示すように、第２のサムネイル画像１００４を生成して表示する理由としては、一般的に主被写体が主画像１００３の中央部にあることが多いためである。
【0063】
以上説明した第２の実施形態に係る画像処理装置１０２は、サムネイル画像よりも画角の広い主画像を含む画像ファイルに対して、サムネイル画像を使ったファイル一覧を画面に表示する際に、以下の処理を行う。具体的に、表示領域情報取得部８０７は、第１のサムネイル画像に対応する主画像の部分領域における大きさを示す表示領域情報を画像ファイルのメタデータから取得する。そして、第２のサムネイル画像生成部８０４は、表示領域情報取得部８０７からの表示領域情報に基づき、主画像の中央部を第１のサムネイル画像に対応する主画像の部分領域における大きさで切り出した画角の画像を第２のサムネイル画像として生成する。
かかる構成によれば、ユーザが操作するカーソルの位置が、画面における画像ファイルのサムネイル表示領域上に位置する場合には（Ｓ９０２／Ｙｅｓ）、サムネイル画像の画角を主画像の中央領域を切り出した画角に変更して表示することができる。これにより、画像ファイルを開いて主画像を確認することなく、観察者が観察していた表示画角の外側の情報（図１０に示す例では、第１のサムネイル画像１００２には映っていない第２のサムネイル画像１００４の右端の情報）を素早く確認することができる。
かかる構成によれば、ユーザが操作するカーソルの位置が、画面における画像ファイルのサムネイル表示領域上に位置する場合には（Ｓ９０２／Ｙｅｓ）、サムネイル画像の画角を主画像の中央領域を切り出した画角に変更して表示することができる。これにより、画像ファイルを開いて主画像を確認することなく、観察者が観察していた表示画角の外側の情報（図１０に示す例では、第１のサムネイル画像１００２には映っていない第２のサムネイル画像１００４の右端の情報）を素早く確認することができる。
【0064】
（第３の実施形態）
次に、第３の実施形態について説明する。なお、以下に記載する第３の実施形態の説明では、上述した第１及び第２の実施形態と共通する事項については説明を省略し、上述した第１及び第２の実施形態と異なる事項について説明を行う。
次に、第３の実施形態について説明する。なお、以下に記載する第３の実施形態の説明では、上述した第１及び第２の実施形態と共通する事項については説明を省略し、上述した第１及び第２の実施形態と異なる事項について説明を行う。
【0065】
第３の実施形態に係る画像表示システム（ビデオシースルー型のＨＭＤシステム）の概略構成は、図１に示す第１の実施形態に係る画像表示システム（ビデオシースルー型のＨＭＤシステム）１００の概略構成と同様である。また、第３の実施形態に係るＨＭＤ１０１の内部構成は、図２に示す第１の実施形態に係るＨＭＤ１０１の内部構成と同様である。さらに、第３の実施形態に係る画像処理装置１０２のシステム構成は、図３に示す第１の実施形態に係る画像処理装置１０２のシステム構成と同様である。さらに、第３の実施形態に係る画像処理装置１０２の機能構成は、例えば、図８に示す第２の実施形態に係る画像処理装置１０２の機能構成と同様である。
【0066】
図７は、第３の実施形態を示し、カーソル７０１の位置が画面７００における画像ファイルのサムネイル表示領域上に位置する場合のサムネイル画像表示方法を説明するための図である。具体的に、図７は、図６（ｂ）に示す第１の実施形態におけるサムネイル画像表示方法の変形例を示す図である。
【0067】
図７（ａ）及び図７（ｂ）は、それぞれ、第２のサムネイル画像生成部８０４が、図６（ａ）に示す第１のサムネイル画像６０２よりも大きい第２のサムネイル画像７０３及び７０５を生成する場合を示している。この際、図７（ａ）では、第２のサムネイル画像生成部８０４は、図６（ａ）に示す第１のサムネイル画像６０２の領域（第１のサムネイル画像６０２の画角に相当する領域）を識別する情報として矩形７０２を付した第２のサムネイル画像７０３を生成している。また、図７（ｂ）では、第２のサムネイル画像生成部８０４は、上述した識別する情報として図６（ａ）に示す第１のサムネイル画像６０２の画角の外側に相当する領域７０４の輝度を落とした第２のサムネイル画像７０５を生成している。これらの図７（ａ）及び図７（ｂ）における２つの処理において、第１のサムネイル画像６０２の画角に相当する領域を計算するためには、画像処理装置１０２の機能構成として、第２の実施形態で示した表示領域情報取得部８０７を含む形態を採る。そして、第２のサムネイル画像生成部８０４は、表示領域情報取得部８０７で取得される、第１のサムネイル画像６０２の画角に対応する主画像の部分領域（画像領域）における大きさを示す表示領域情報を用いて、第２のサムネイル画像７０３を生成すればよい。
【0068】
また、図７（ｃ）は、第２のサムネイル画像生成部８０４が、画面に表示されるサムネイル画像の表示領域のサイズは変更せずに、画角を変更した第２のサムネイル画像７０６を生成する場合を示している。即ち、図７（ｃ）では、第２のサムネイル画像生成部８０４は、図６（ａ）に示す第１のサムネイル画像６０２と同じ大きさの第２のサムネイル画像７０６を生成している。なお、図７（ｃ）に示す第２のサムネイル画像７０６においても、図６（ａ）に示す第１のサムネイル画像６０２の領域を識別する情報として、図７（ａ）に示す矩形７０２を付す処理や、図７（ｂ）に示す領域７０４の輝度を落とす処理を行ってもよい。また、上述では、第１のサムネイル画像を表示する領域に第２のサムネイル画像を表示する例について説明したが、第２のサムネイル画像は第１のサムネイル画像を表示する領域とは異なる領域に表示してもよい。例えば、第２のサムネイル画像を、第１のサムネイル画像を表示する領域からずらしたり、ずらしてポップアップ表示したりしてもよい。
【0069】
図７（ａ）～図７（ｃ）の何れの例でも、サムネイル画像よりも画角の広い主画像を含む画像ファイルに対して、サムネイル画像を使ったファイル一覧を画面に表示する際に、以下の効果を奏することができる。具体的に、観察者であるユーザが操作するカーソルの位置に応じて、画面に表示するサムネイル画像の画角を変更することができる。これにより、画像ファイルを開いて主画像を確認することなく、観察者が観察していた表示画角の外側の情報を素早く確認することができる。
【0070】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体は、本発明に含まれる。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体は、本発明に含まれる。
【0071】
なお、上述した本発明の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【0072】
本実施形態の開示は、以下の構成、方法及びプログラムを含む。
［構成１］
サムネイル画像を画面に表示するための処理を行う画像処理装置であって、
前記サムネイル画像よりも画角の広い主画像を含む画像ファイルを入力する入力手段と、
カーソルが前記画面上のサムネイル表示領域上に位置する場合、前記主画像をサムネイル画像として前記画面上に表示させる制御を行う制御手段と、
を有することを特徴とする画像処理装置。
［構成２］
前記制御手段は、
前記カーソルの位置を取得する位置取得手段と、
前記画像ファイルに記録された第１の画角をもつ第１のサムネイル画像を取得する画像取得手段と、
前記第１の画角とは異なる第２の画角をもつ第２のサムネイル画像を生成する画像生成手段と、
前記カーソルの位置が前記サムネイル表示領域上に位置するか否かに応じて、前記サムネイル表示領域に表示するサムネイル画像を設定する画像設定手段と、
を有し、
前記制御手段は、前記設定されたサムネイル画像を前記画面上に表示させる制御を行うことを特徴とする構成１に記載の画像処理装置。
［構成３］
前記第２の画角は、前記第１の画角よりも広い画角であることを特徴とする構成２に記載の画像処理装置。
［構成４］
前記第２の画角は、前記画像ファイルに記録された前記主画像の画角と同じ画角であることを特徴とする構成２または３に記載の画像処理装置。
［構成５］
前記画像生成手段は、前記第１のサムネイル画像よりも大きい前記第２のサムネイル画像を生成することを特徴とする構成２乃至４のいずれか１項に記載の画像処理装置。
［構成６］
前記画像生成手段は、前記第１のサムネイル画像の領域を識別する情報を付した前記第２のサムネイル画像を生成することを特徴とする構成５に記載の画像処理装置。
［構成７］
前記画像生成手段は、前記第１のサムネイル画像と同じ大きさの前記第２のサムネイル画像を生成することを特徴とする構成２乃至４のいずれか１項に記載の画像処理装置。
［構成８］
前記第１のサムネイル画像に対応する前記主画像の部分領域における大きさを示す表示領域情報を前記画像ファイルのメタデータから取得する情報取得手段を更に有し、
前記画像生成手段は、前記表示領域情報に基づいて前記主画像の中央部を前記部分領域における大きさで切り出した画角の画像を前記第２のサムネイル画像として生成することを特徴とする構成２に記載の画像処理装置。
［構成９］
前記表示領域情報は、前記部分領域における幅と高さの情報を含むことを特徴とする構成８に記載の画像処理装置。
［方法１］
サムネイル画像を画面に表示するための処理を行う画像処理方法であって、
前記サムネイル画像よりも画角の広い主画像を含む画像ファイルを入力する入力ステップと、
カーソルが前記画面上のサムネイル表示領域上に位置する場合、前記主画像をサムネイル画像として前記画面上に表示させる制御を行う制御ステップと、
を有することを特徴とする画像処理方法。
［プログラム１］
コンピュータを、構成１乃至９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
［構成１］
サムネイル画像を画面に表示するための処理を行う画像処理装置であって、
前記サムネイル画像よりも画角の広い主画像を含む画像ファイルを入力する入力手段と、
カーソルが前記画面上のサムネイル表示領域上に位置する場合、前記主画像をサムネイル画像として前記画面上に表示させる制御を行う制御手段と、
を有することを特徴とする画像処理装置。
［構成２］
前記制御手段は、
前記カーソルの位置を取得する位置取得手段と、
前記画像ファイルに記録された第１の画角をもつ第１のサムネイル画像を取得する画像取得手段と、
前記第１の画角とは異なる第２の画角をもつ第２のサムネイル画像を生成する画像生成手段と、
前記カーソルの位置が前記サムネイル表示領域上に位置するか否かに応じて、前記サムネイル表示領域に表示するサムネイル画像を設定する画像設定手段と、
を有し、
前記制御手段は、前記設定されたサムネイル画像を前記画面上に表示させる制御を行うことを特徴とする構成１に記載の画像処理装置。
［構成３］
前記第２の画角は、前記第１の画角よりも広い画角であることを特徴とする構成２に記載の画像処理装置。
［構成４］
前記第２の画角は、前記画像ファイルに記録された前記主画像の画角と同じ画角であることを特徴とする構成２または３に記載の画像処理装置。
［構成５］
前記画像生成手段は、前記第１のサムネイル画像よりも大きい前記第２のサムネイル画像を生成することを特徴とする構成２乃至４のいずれか１項に記載の画像処理装置。
［構成６］
前記画像生成手段は、前記第１のサムネイル画像の領域を識別する情報を付した前記第２のサムネイル画像を生成することを特徴とする構成５に記載の画像処理装置。
［構成７］
前記画像生成手段は、前記第１のサムネイル画像と同じ大きさの前記第２のサムネイル画像を生成することを特徴とする構成２乃至４のいずれか１項に記載の画像処理装置。
［構成８］
前記第１のサムネイル画像に対応する前記主画像の部分領域における大きさを示す表示領域情報を前記画像ファイルのメタデータから取得する情報取得手段を更に有し、
前記画像生成手段は、前記表示領域情報に基づいて前記主画像の中央部を前記部分領域における大きさで切り出した画角の画像を前記第２のサムネイル画像として生成することを特徴とする構成２に記載の画像処理装置。
［構成９］
前記表示領域情報は、前記部分領域における幅と高さの情報を含むことを特徴とする構成８に記載の画像処理装置。
［方法１］
サムネイル画像を画面に表示するための処理を行う画像処理方法であって、
前記サムネイル画像よりも画角の広い主画像を含む画像ファイルを入力する入力ステップと、
カーソルが前記画面上のサムネイル表示領域上に位置する場合、前記主画像をサムネイル画像として前記画面上に表示させる制御を行う制御ステップと、
を有することを特徴とする画像処理方法。
［プログラム１］
コンピュータを、構成１乃至９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【符号の説明】
【0073】
１００：画像表示システム（ビデオシースルー型のＨＭＤシステム）、１０１：ＨＭＤ、１０２：画像処理装置、１０３：ユーザ入力装置、２０１：左眼用背景カメラ、２０２：右眼用背景カメラ、２０３：左眼用ディスプレイ、２０４：左眼用接眼レンズ、２０５：左眼用表示画角、２０６：右眼用ディスプレイ、２０７：右眼用接眼レンズ、２０８：右眼用表示画角、２０９：左眼用撮像画角、２１０：右眼用撮像画角、３０１：ＣＰＵ、３０２：ＲＡＭ、３０３：ＲＯＭ、３０４：ＨＤＤ、３０５：汎用Ｉ／Ｆ、３０６：映像出力Ｉ／Ｆ、３０７：メインバス、４０１，８０１：カーソル位置取得部、４０２，８０２：カーソル位置判定部、４０３，８０３：第１のサムネイル画像取得部、４０４，８０４：第２のサムネイル画像生成部、４０５，８０５：サムネイル画像設定部、４０６，８０６：表示部、８０７：表示領域情報取得部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
