特許 7507946 画像処理装置および画像表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-20

(45)【発行日】2024-06-28

(54)【発明の名称】画像処理装置および画像表示方法

(51)【国際特許分類】

   G06F 3/04817 20220101AFI20240621BHJP

   G06F 3/04815 20220101ALI20240621BHJP

   G06F 3/04845 20220101ALI20240621BHJP

   G06F 3/0488 20220101ALI20240621BHJP

   G09G 5/00 20060101ALI20240621BHJP

   G09G 5/34 20060101ALI20240621BHJP

   G09G 5/14 20060101ALI20240621BHJP

   G09G 5/377 20060101ALI20240621BHJP

   G09G 5/36 20060101ALI20240621BHJP

【ＦＩ】

G06F3/04817

G06F3/04815

G06F3/04845

G06F3/0488

G09G5/00 510H

G09G5/00 550C

G09G5/00 550B

G09G5/34 A

G09G5/00 530T

G09G5/14 A

G09G5/377 100

G09G5/36 200

【請求項の数】 8

(21)【出願番号】P 2023181869

(22)【出願日】2023-10-23

(62)【分割の表示】P 2019076502の分割

【原出願日】2019-04-12

(65)【公開番号】P2024001246

(43)【公開日】2024-01-09

【審査請求日】2023-10-23

(73)【特許権者】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100109047

【弁理士】

【氏名又は名称】村田 雄祐

(74)【代理人】

【識別番号】100109081

【弁理士】

【氏名又は名称】三木 友由

(74)【代理人】

【識別番号】100134256

【弁理士】

【氏名又は名称】青木 武司

(72)【発明者】

【氏名】村本 准一

【審査官】仲野 一秀

(56)【参考文献】

【文献】国際公開第２０１３／１６１３１９（ＷＯ，Ａ１）

【文献】特開２０１１－１０７８２３（ＪＰ，Ａ）

【文献】特開２０１５－０２２５８３（ＪＰ，Ａ）

【文献】特開２０１３－１０１４６５（ＪＰ，Ａ）

【文献】特開２０１３－２５０４７０（ＪＰ，Ａ）

【文献】国際公開第２０１３／１１１２３９（ＷＯ，Ａ１）

【文献】特開２０１６－１２９５７９（ＪＰ，Ａ）

【文献】国際公開第２００８／０７８７９０（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０４８－３／０４８９５

Ｇ０９Ｇ ５／００－５／４２

Ｇ０６Ｔ １／００－１／４０

Ｇ０６Ｔ ３／００－５／５０

Ｇ０６Ｔ １１／６０－１３／８０

Ｇ０６Ｔ １７／０５

Ｇ０６Ｔ １９／００－１９／２０

Ｈ０４Ｎ ７／１０

Ｈ０４Ｎ ７／１４－７／１７３

Ｈ０４Ｎ ７／２０－７／５６

Ｈ０４Ｎ ２１／００－２１／８５８

Ｇ０１Ｃ ２１／００－２１／３６

Ｇ０１Ｃ ２３／００－２５／００

(57)【特許請求の範囲】

【請求項1】

表示装置に表示させる画像に係るユーザ操作を受け付ける入力情報取得部と、
前記ユーザ操作に応じて、同じ場所を異なる状況で撮影した複数の画像のうちのいずれかを表示装置に表示させるとともに、表示中の画像と同じ場所の撮影状況を選択するための状況選択用アイコンをさらに表示させ、前記入力情報取得部が、当該状況選択用アイコンへの操作を受け付けたとき、選択された状況で撮影された画像を前記表示装置に表示させる画像表示部と、
を備え、
前記状況選択用アイコンを表示させた位置と同じ位置と見なされる範囲内を所定時間以上継続して指示するユーザ操作がなされたとき、前記画像表示部は、別の選択肢を表した前記状況選択用アイコンを表示させる、または、前記状況選択用アイコンの領域を拡張し、表される選択肢を増加させることを特徴とする画像処理装置。

【請求項2】

前記入力情報取得部が、表示中の全天周画像に対し、視点を移動させる操作を受け付けたとき、前記画像表示部は、直近に選択された状況で撮影された、移動先の視点での全天周画像へ表示を切り替えることを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記画像表示部は、撮影時刻に係る状況および、被写体に係る状況の少なくともいずれかを選択肢として表した前記状況選択用アイコンを表示することを特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

前記画像表示部は、表示中のサムネイル画像上に前記状況選択用アイコンを表示させ、選択された状況で撮影された画像を拡大表示することを特徴とする請求項１から３のいずれかに記載の画像処理装置。

【請求項5】

前記画像表示部は、表示中の画像上をユーザが指示し、同じ位置と見なされる範囲内の指示が所定時間以上継続したとき、前記状況選択用アイコンを、当該画像上の指示された位置に重畳表示することを特徴とする請求項１から４のいずれかに記載の画像処理装置。

【請求項6】

前記画像表示部は前記表示装置に地図を表示し、当該地図上でユーザが指定した位置に対応する場所の画像を表示することを特徴とする請求項１から５のいずれかに記載の画像処理装置。

【請求項7】

表示装置に表示させる画像に係るユーザ操作を受け付けるステップと、
前記ユーザ操作に応じて、同じ場所を異なる状況で撮影した複数の画像のうちのいずれかを表示装置に表示させるステップと、
表示中の画像と同じ場所の撮影状況を選択するための状況選択用アイコンを表示させるステップと、
当該状況選択用アイコンへの操作を受け付け、選択された状況で撮影された画像を前記表示装置に表示させるステップと、
を含み、
前記状況選択用アイコンを表示させるステップは、前記状況選択用アイコンを表示させた位置と同じ位置と見なされる範囲内を所定時間以上継続して指示するユーザ操作がなされたとき、別の選択肢を表した前記状況選択用アイコンを表示させる、または、前記状況選択用アイコンの領域を拡張し、表される選択肢を増加させることを特徴とする、画像処理装置による画像表示方法。

【請求項8】

表示装置に表示させる画像に係るユーザ操作を受け付ける機能と、
前記ユーザ操作に応じて、同じ場所を異なる状況で撮影した複数の画像のうちのいずれかを表示装置に表示させる機能と、
表示中の撮影画像と同じ場所の撮影状況を選択するための状況選択用アイコンを表示させる機能と、
当該状況選択用アイコンへの操作を受け付け、選択された状況で撮影された画像を前記表示装置に表示させる機能と、
をコンピュータに実現させ、
前記状況選択用アイコンを表示させる機能は、前記状況選択用アイコンを表示させた位置と同じ位置と見なされる範囲内を所定時間以上継続して指示するユーザ操作がなされたとき、別の選択肢を表した前記状況選択用アイコンを表示させる、または、前記状況選択用アイコンの領域を拡張し、表される選択肢を増加させることを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ディスプレイに画像を表示させる画像処理装置および画像表示方法に関する。

【背景技術】

【0002】

ネットワークや情報処理装置の進歩により、時間や場所を問わず必要な情報にアクセスすることが容易になっている。例えば地図のアプリケーションによれば、地図上で指定した位置にある施設の情報や、その場所の撮影画像などをすぐに閲覧でき、地図が本来有する位置情報と関連付けた把握が可能となる。また全天周（３６０°）の撮影画像を用いて任意の方向の画像を表示させたり、進行方向の視点から撮影された画像へ順次表示を切り替えたりすることにより、画像世界の周囲を見回したりその中を歩いたりしているような臨場感を与えることもできる。

【発明の概要】

【発明が解決しようとする課題】

【0003】

上述のような環境を安定的に提供するには、場所によらずできるだけ多くの撮影画像を準備することが望ましい。そのため広く一般に画像のデータを募ったり、個々のユーザが地図上の位置と対応づけることを許容したりして、ユーザ同士がネットワークを介して画像を共有する方策がとられることもある。しかしながら画像の数が増えるほど、同じ場所でも様子が全く異なる画像が同列に扱われ、見る者を混乱させたり、所望の画像へたどり着くまでに多大な労力を要したりする可能性が高くなる。上述した全天周画像の視点を移動させる技術のように、表示画像を順次切り替えていく場合は特に、切り替え前後で画像の様子が異なることにより、臨場感が損なわれたり同じ場所と認識できなかったりすることもある。

【0004】

本発明はこうした課題に鑑みてなされたものであり、その目的は、場所に対応する画像を好適かつ効率的に表示させることのできる技術を提供することにある。

【課題を解決するための手段】

【0005】

本発明のある態様は画像処理装置に関する。この画像処理装置は、表示装置に表示させる画像に係るユーザ操作を受け付ける入力情報取得部と、ユーザ操作に応じて、同じ場所を異なる状況で撮影した複数の画像のうちのいずれかを表示装置に表示させるとともに、表示中の画像と同じ場所の撮影状況を選択するための状況選択用アイコンをさらに表示させ、入力情報取得部が、当該状況選択用アイコンへの操作を受け付けたとき、選択された状況で撮影された画像を表示装置に表示させる画像表示部と、を備え、状況選択用アイコンを表示させた位置と同じ位置と見なされる範囲内を所定時間以上継続して指示するユーザ操作がなされたとき、画像表示部は、別の選択肢を表した状況選択用アイコンを表示させる、または、状況選択用アイコンの領域を拡張し、表される選択肢を増加させることを特徴とする。

【0006】

本発明の別の態様は画像表示方法に関する。この画像表示方法は画像処理装置が、表示装置に表示させる画像に係るユーザ操作を受け付けるステップと、ユーザ操作に応じて、同じ場所を異なる状況で撮影した複数の画像のうちのいずれかを表示装置に表示させるステップと、表示中の画像と同じ場所の撮影状況を選択するための状況選択用アイコンを表示させるステップと、当該状況選択用アイコンへの操作を受け付け、選択された状況で撮影された画像を表示装置に表示させるステップと、を含み、状況選択用アイコンを表示させるステップは、状況選択用アイコンを表示させた位置と同じ位置と見なされる範囲内を所定時間以上継続して指示するユーザ操作がなされたとき、別の選択肢を表した状況選択用アイコンを表示させる、または、状況選択用アイコンの領域を拡張し、表される選択肢を増加させることを特徴とする。

【0007】

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0008】

本発明によると、場所に対応する画像を好適かつ効率的に表示させることができる。

【図面の簡単な説明】

【0009】

【図1】実施の形態１を適用できる画像表示システムの構成例を示す図である。

【図2】実施の形態１における画像処理装置の内部回路構成を示す図である。

【図3】実施の形態１における画像処理装置および画像提供サーバの機能ブロックの構成を示す図である。

【図4】実施の形態１において画像データベースを構築する際の、画像提供サーバの機能ブロックの構成の例を示す図である。

【図5】実施の形態１で表示装置に表示される画面の例を示す図である。

【図6】実施の形態１において撮影状況の選択を受け付ける際の画面の例を示す図である。

【図7】実施の形態１において、画像データベースに格納するデータベースの構造を例示する図である。

【図8】実施の形態１で用いる撮影状況の分類情報の構造を例示するす図である。

【図9】実施の形態１において、画像処理装置が画像提供サーバとの連携により、場所に対応する撮影画像を表示する処理手順を示すフローチャートである。

【図10】実施の形態２において画像データベースに格納するデータの構造を例示する図である。

【図11】図１０の画像データ情報における画像データ欄に、さらに階層での位置を対応づける場合に、画像データベースに格納するデータを説明するための図である。

【図12】実施の形態２で表示装置に表示される画像の例を示す図である

【図13】本実施の形態において階数を選択する操作を受け付けるための別の態様を示す図である。

【図14】実施の形態２において、画像処理装置が画像提供サーバとの連携により、場所に対応する撮影画像を表示する処理手順を示すフローチャートである。

【発明を実施するための形態】

【0010】

実施の形態１
図１は本実施の形態を適用できる画像表示システムの構成例を示す。画像表示システム１は、ユーザ操作に応じて画像を表示させる画像処理装置１０ａ、１０ｂ、および、表示に用いる画像データを提供する画像提供サーバ２０を含む。画像処理装置１０ａ、１０ｂにはそれぞれ、ユーザ操作のための入力装置１４ａ、１４ｂ、画像を表示する表示装置１６ａ、１６ｂが接続される。画像処理装置１０ａ、１０ｂと画像提供サーバ２０は、インターネットなどの広域通信網、あるいはＬＡＮ（Local Area Network）などのローカルなネットワークを介して通信を確立する。あるいは画像提供サーバ２０から画像処理装置１０ａ、１０ｂへの画像データの提供は、記録媒体を介して行われてもよい。

【0011】

画像処理装置１０ａ、１０ｂと、表示装置１６ａ、１６ｂおよび入力装置１４ａ、１４ｂは、有線または無線のどちらで接続されてもよい。あるいはそれらの装置の２つ以上が一体的に形成されていてもよい。例えば図示する例で画像処理装置１０ｂは、表示装置１６ｂの画面を覆うタッチパッドを入力装置１４ｂとして、それらと一体的に携帯端末を構成している。また表示装置１６ａは、平板型ディスプレイに限らず、ヘッドマウントディスプレイなどのウェアラブルディスプレイやプロジェクタなどでもよい。

【0012】

このように、図示する装置の外観形状や接続形態は限定されない。画像提供サーバ２０に接続する画像処理装置１０ａ、１０ｂの数も限定されない。以後、画像処理装置１０ａ、１０ｂを画像処理装置１０、入力装置１４ａ、１４ｂを入力装置１４、表示装置１６ａ、１６ｂを表示装置１６と総称する。

【0013】

画像処理装置１０は、入力装置１４へのユーザ操作に対応する画像を表示装置１６に表示させる。具体的には少なくとも、様々な場所で撮影された画像のうち、ユーザが指定した場所の撮影画像を表示する。ここで表示目的は特に限定されず、画像処理装置１０はその目的を達成するため、電子ゲームを進捗させたりブラウザによりインターネットサイトの画像を表示させたりする一般的な処理を並行して実施してよい。本実施の形態では場所の指定手段として親和性の高い、電子地図のアプリケーションを例に説明する。

【0014】

入力装置１４は、コントローラ、キーボード、マウス、タッチパッド、ジョイスティックなど一般的な入力装置のいずれかまたは組み合わせでよく、本実施の形態では特に、場所の指定や視点の移動、視線の転換のほか、画像の撮影状況の選択をユーザより受け付ける。表示装置１６は、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイなど一般的なディスプレイでよく、画像処理装置１０から出力される画像を表示する。上述のとおり表示装置１６はヘッドマウントディスプレイやプロジェクタでもよい。

【0015】

画像提供サーバ２０は画像処理装置１０と通信を確立し、画像処理装置１０からの要求に従い撮影画像のデータを送信する。このため画像提供サーバ２０は、撮影画像のデータに、撮影場所および撮影状況を対応づけたデータベースを保持する。そして画像処理装置１０から撮影場所や撮影状況の指定を受け付け、合致する画像のデータを送信する。ここで「撮影状況」とは、例えば撮影した日時、時間帯、曜日、月、季節、年、年代などの時間的な状況や、撮影時に行われていたイベント名、イベントの分類、写っている人の多さ、天気などの被写体の状況が考えられる。ただし場所の様子や印象を変化させる要因であれば具体的な項目は特に限定されない。

【0016】

図２は画像処理装置１０の内部回路構成を示している。画像処理装置１０は、ＣＰＵ（Central Processing Unit）２３、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなり、画像提供サーバ２０と通信を確立する通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、表示装置１６へデータを出力する出力部３６、入力装置１４からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。

【0017】

ＣＰＵ２３は、記憶部３４に記憶されているオペレーティングシステムを実行することにより画像処理装置１０の全体を制御する。ＣＰＵ２３はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２３からの描画命令に従って描画処理を行い、出力部３６に出力する。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。なお画像提供サーバ２０の内部回路構成も同様でよい。

【0018】

図３は、画像処理装置１０および画像提供サーバ２０の機能ブロックの構成を示している。同図および後述する図４に示す各機能ブロックは、ハードウェア的には、図２で示した各種回路によりで実現でき、ソフトウェア的には、記録媒体からメインメモリにロードした、画像解析機能、情報処理機能、画像描画機能、データ入出力機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

【0019】

画像処理装置１０は、ユーザ操作に係る情報を取得する入力情報取得部５０、ユーザ操作に応じたデータを画像提供サーバ２０に要求するデータ要求部５２、画像提供サーバ２０から送信されたデータを取得するデータ取得部５４、および表示画像を生成し表示装置１６に表示させる画像表示部５６を含む。入力情報取得部５０は図２の入力部３８、ＣＰＵ２３などで実現され、ユーザ操作に係る情報を入力装置１４から取得する。具体的には上述のとおり、画像の撮影場所や撮影状況の指定のほか、表示処理の開始や終了、全天周画像に対する視線の転換、視点の移動などの操作内容を取得する。地図のアプリケーションに関連付ける場合、入力情報取得部５０は地図表示に係る各種操作の内容も取得する。

【0020】

データ要求部５２は、図２のＣＰＵ２３、通信部３２などで実現され、ユーザ操作に対応する画像のデータを画像提供サーバ２０に要求する。データ取得部５４は、図２のＣＰＵ２３、通信部３２、メインメモリ２６などで実現され、画像提供サーバ２０から、要求に応じて送信された画像のデータを取得する。なおデータ取得部５４は、記録媒体駆動部４０を含み、記録媒体から画像のデータを読み出してもよい。データ取得部７０はまた、指定された場所に対しどのような撮影状況の画像を選択できるかを示す選択肢の情報も画像提供サーバ２０から取得してよい。データ取得部７０は必要に応じて、取得した画像のデータを復号伸張する。

【0021】

画像表示部５６は図２のＣＰＵ２３、ＧＰＵ２４、メインメモリ２６などで実現され、データ取得部５４が取得した画像を含む表示画像を生成し、表示装置１６に出力する。詳細には画像表示部５６は、アイコン表示部６４、画像切り替え部６６、視点変化処理部６８を含む。アイコン表示部６４は少なくとも、表示させる画像の撮影状況を選択するための状況選択用アイコンを表示する。状況選択用アイコンを表示中の画像上に重畳表示させることにより、画像を表示している状態のまま別の撮影状況の画像へ表示を切り替えることができる。なお指定された場所に対し準備されている画像によって、選択できる撮影状況は様々となるため、アイコン表示部６４は上述のとおり画像提供サーバ２０より送信された選択肢の情報に基づき状況選択用アイコンの構成を決定する。

【0022】

アイコン表示部６４はこのほか、全天周画像表示において視点を移動させる移動用アイコンを、必要に応じて表示中の画像に重畳表示する。画像切り替え部６６は少なくとも、状況選択用アイコンに対する操作により選択された撮影状況の画像へ、表示対象を切り替える。画像切り替え部６６はこのほか、サムネイル画像の表示、表示させたサムネイル画像のうち選択された画像の拡大表示、検索された場所の地図や情報の表示などを適宜実施する。視点変化処理部６８は、全天周画像表示において、移動用アイコンに対する操作に応じ、画像世界で対応する方向に視点が進むように表示画像を切り替えたり、画面上の上下左右斜めの方向指定操作に応じ、対応する方向が見えるように表示対象の視野を変化させたりする。

【0023】

視点変化処理部６８が実施する、視点や視線の変化に対する表示の制御自体には、一般的な技術を利用できる。ただし本実施の形態では、視点の移動操作により画像を切り替える際、切り替え前と同じ撮影状況の画像を優先的に選択して表示する。あるいはユーザがその場で、撮影状況を選択できるようにする。なお表示対象が全天周画像でない場合、視点変化処理部６８の機能を省くことができる。

【0024】

画像提供サーバ２０は、画像処理装置１０からの画像データの要求を取得する要求取得部５８、要求に対応する画像のデータを画像処理装置１０に送信するデータ送信部６２、および、画像のデータを撮影場所や撮影状況と対応づけて記憶する画像データベース６０を含む。要求取得部５８は図２の通信部３２、ＣＰＵ２３などで実現され、場所や撮影状況を指定した画像のデータ要求を画像処理装置１０から取得する。

【0025】

データ送信部６２はＣＰＵ２３、通信部３２などで実現され、要求に対応する画像のデータや選択肢の情報を画像データベース６０から抽出し、画像処理装置１０に送信する。なお地図のアプリケーションを実現する場合、画像処理装置１０からの要求対象や、画像提供サーバ２０からの送信対象として、地図の画像や施設の情報など、地図のアプリケーションとして一般的に提供されるデータを含んでよい。この場合、それらのデータベースを別途準備するが、図３では図示を省略している。

【0026】

画像データベース６０は図２の記憶部３４で実現され、様々な場所で撮影された画像のデータを、撮影場所および撮影状況と対応づけて記憶する。撮影状況としては上述のとおり時間的な状況と、被写体の状況が考えられる。前者を選択するための選択肢として、１日のうち撮影された時間帯、撮影された月や季節、撮影された年代など、様々な粒度の時間範囲を準備する。後者を選択するための選択肢として、開催されていたイベント、人数、天気などに対し、これも様々な粒度の分類や数の範囲を準備する。

【0027】

図４は、画像データベース６０を構築する際の、画像提供サーバ２０の機能ブロックの構成の例を示している。図示する画像提供サーバ２０ａが有する機能ブロックは、図３の画像提供サーバ２０に含まれていてもよいし、異なる装置としてもよい。画像提供サーバ２０ａは、撮影画像のデータを外部の装置から取得するデータ取得部７０、撮影場所や撮影状況など撮影画像の属性を取得する属性取得部７２、図３で示した画像データベース６０を含む。

【0028】

データ取得部７０は図２のＣＰＵ２３、通信部３２、入力部３８などで実現され、画像処理装置１０など外部の装置から撮影画像のデータを取得する。例えば画像処理装置１０で実行されている地図のアプリケーションに対し、一般ユーザが地図上の場所を指定したうえ、そこで自分が撮影した画像のデータをアップロードできるようにしておく。この場合、データ取得部７０は、アップロードされたデータを、指定された場所の情報とともにネットワークを介して取得する。画像のデータの取得先はこのほか、画像提供サーバ２０ａに直接接続した撮像装置や情報処理装置、あるいはネットワークを介して接続した他の画像提供サーバなどでもよい。

【0029】

属性取得部７２は、画像の撮影場所や撮影状況に係る情報を所定の手段により取得する。デジタルカメラで撮影された画像の場合、撮影日時や撮影時の位置情報などがＥｘｉｆ（Exchangeable Image File Format）などの付加情報として記録される。したがって属性取得部７２は、データ取得部７０が取得した画像のデータから付加情報を読み出し、必要な情報を取得する。あるいは画像提供元のユーザが、画像処理装置１０において入力した、属性に係る情報を取得してもよい。または属性取得部７２は、撮影画像を一般的な手法で解析することにより、写っている人の数や天気などの情報を取得してもよい。それらの情報を、画像提供サーバ２０ａを操作するユーザが直接確認し、入力してもよい。

【0030】

属性取得部７２は、そのようにして取得した撮影場所や撮影状況に係る情報と、撮影画像のデータとを対応づけて、画像データベース６０に格納する。このような対応づけを、一般ユーザから募ったような統一性のない画像のデータに対し実施してデータベース化しておくことにより、豊富な撮影画像から、閲覧時の状況に対し最適なものを容易に抽出できる。

【0031】

例えばある場所の全天周画像を表示させ、視点を移動させる操作により画像世界における進行方向へ移動しようとした場合、そもそも画像データが十分でなく、該当する視点の撮影画像がなければ、表示の切り替えも不可能となる。一方、当該視点から撮影された画像が豊富にあっても、そのうちの１つが脈絡なく表示されると、わずかな移動であっても表示される画像の様子が大きく変化する可能性が高くなり、違和感や混乱の原因となる。

【0032】

上述のとおり場所以外の属性にも対応づけて画像データベース６０を作成し、視点の移動操作に対し同じ撮影状況の画像を抽出すれば、統一感のある画像を表示し続けることができ、その場所の雰囲気や構造を混乱なく鑑賞したり確認したりできる。また、撮影状況をユーザが選択できるようにすることで、ユーザ個々の目的に適した画像を提示し続けられる。なお画像データを記録媒体により提供する場合は、画像データベース６０の形式で記録媒体に格納する。

【0033】

図５は、本実施の形態で表示装置１６に表示される画面の例を示している。なお以後、説明する表示画面の変化は、実際には画像処理装置１０の入力情報取得部５０がユーザ操作の内容を取得し、データ要求部５２が画像提供サーバ２０に要求した結果、データ取得部５４が対応する画像データを取得する、という処理手順を経てなされるが、適宜記述を省略する。

【0034】

（ａ）は、地図のアプリケーションにより電子地図を表示させた状態の画面を示している。この例で表示画面は、地図欄８０、検索欄８２、情報欄８４を含む。ユーザが検索欄８２に住所や施設名を入力すると、画像表示部５６の画像切り替え部６６は、地図欄８０にその周辺の地図を表示する。施設名が入力された場合、あるいは表示済みの地図に対するカーソル８８の操作などにより、ある施設が指示された場合、画像切り替え部６６は情報欄８４に、当該施設の基本情報やホームページのＵＲＬなどの文字情報を表示する。

【0035】

図示する例では検索欄８２に「Ｃｉｔｙ Ｃｅｎｔｅｒ」なる施設名が入力され、その周辺の地図が地図欄８０に、基本情報が情報欄８４に表示されている。さらに画像切り替え部６６は、当該施設近傍で撮影された画像のサムネイル８６ａ、８６ｂを表示する。サムネイル８６ａ、８６ｂとして表示する画像は、画像データベース６０に格納された画像データのうち、当該施設のある場所をキーとして抽出したものである。ユーザが、そのうちのいずれかをカーソル８８などで指示すると、（ｂ）の撮影画像表示画面に遷移する。この例で撮影画像表示画面は、画像欄９０およびサムネイル欄９２を含む。

【0036】

画像切り替え部６６は、（ａ）の地図表示画面でユーザが選択したサムネイル８６ａの画像を画像欄９０に拡大表示し、サムネイル欄９２には同じ場所を撮影したその他の撮影画像のサムネイルを表示する。なおここで「同じ場所」とは、同じ店舗や室内のほか、建物、施設、敷地など、範囲の規模は限定されない。サムネイル欄９２に表示したサムネイルのいずれかが指示されたら、画像切り替え部６６は画像欄９０における表示を、当該サムネイルの拡大画像に切り替える。

【0037】

また画像欄９０に全天周画像を表示させる場合、画像表示部５６のアイコン表示部６４は、当該画像に視点移動を実現するための移動用アイコン９４を表示させる。カーソルなどにより移動用アイコン９４が指示されたら、視点変化処理部６８は、アイコンが示す矢印の方向（図では奥の方向）へ視点を移動させ、そこで撮影された全天周画像へ表示を切り替える。また画面上の任意の位置を指示してスライドさせる操作がなされたら、視点変化処理部６８は、スライドと連動して像が移動するように、視野を逆方向に移動させる。これにより自由な視点や視線で、指定した場所の様子を見ることができる。なお画面の構成は図５に示したものに限らず、撮影画像を表示させる処理の手順も限定されない。

【0038】

このように場所を選択し、そこでの撮影画像を表示させる環境においては、画像そのものを鑑賞する目的以外に、施設や位置との関連付けでその場所の様子を把握することが目的となることも多い。しかしながら上述のとおり、その場所を撮影した画像が多いほど、様々な画像を確認できる一方で、所望の画像へのアクセスが困難になりやすい。また移動用アイコン９４により視点を移動させる際、移動前後の画像で様子が大きく変化すると、移動した感覚が得られず空間把握が困難になることが考えられる。

【0039】

そこで上述のとおり、ユーザの目的に適った状況での撮影画像を抽出して表示する。図６は、撮影状況の選択を受け付ける際の画面の例を示している。（ａ）に示す画像１００は、図５の（ａ）の地図表示画面や（ｂ）の撮影画像表示画面において表示されるサムネイル、あるいは（ｂ）の撮影画像表示画面において表示される拡大画像のいずれとしてもよい。あるいは地図と関わりなくホームページなどに表示させた撮影画像などでもよい。そのような画像１００が表示されている状態で、ユーザが画像１００に対し所定の操作を行ったら、アイコン表示部６４は、撮影状況の選択肢を表した状況選択用アイコン１０２を、画像１００に重畳表示する。

【0040】

一般的な画像表示技術においては、表示されている画像１００をカーソルなどで指示することにより、その画像が選択され何らかのアクションが起動されるように設定されていることが多い。例えば図５の例では上述のとおり、サムネイル８６ａを指示することにより、拡大画像が画像欄９０に表示される。あるいは画像欄９０に表示された画像に対する指示操作は、視点を移動させたり視線を転換したりすることに用いられる。

【0041】

そのような一般的な操作と両立させるため、アイコン表示部６４は、画像１００上の同じ位置と見なせる所定範囲内での指示が、所定のしきい値ｔ１以上の時間、継続したことを条件として、状況選択用アイコン１０２を指示された位置に表示する。ここで「指示」とは、表示させたカーソルの操作でもよいし、タッチパッドに対する接触操作でもよい。前者の場合、指示の継続時間は、例えばコントローラやマウスなどのボタンの押下時間に対応する。後者の場合、指示の継続時間は、接触の継続時間に対応する。これらの操作は一般に「長押し」と呼ばれる。ただし状況選択用アイコン１０２を呼び出す操作を長押しに限定する趣旨ではなく、例えば別のＧＵＩ（Graphical User Interface)を表示させておき、当該ＧＵＩへの操作に応じて状況選択用アイコン１０２を表示させてもよい。

【0042】

図示する状況選択用アイコン１０２は一例として、日中および夜間（「day」、「night」）と四季（「spring」、「summer」、「autumn」、「winter」）を撮影状況の選択肢とし、それぞれに領域を与えた円形のアイコンとしている。この場合、例えば長押しが判定された時点でその位置を中心に状況選択用アイコン１０２を表示させ、そのままいずれかの領域へ指示位置がスライドされたら、その到達点を含む領域の選択肢が選択されたと判定する。また、状況選択用アイコン１０２が表示されても指示位置が移動せず、その状態が所定のしきい値ｔ２以上の時間、継続したら、別の選択肢を表す状況選択用アイコン１０２を表示させてもよい。

【0043】

別の状況選択用アイコン１０２を新たに表示させる代わりに、指示の継続時間に応じてアイコンを拡張させ、選択肢を増やすようにしてもよい。例えば状況選択用アイコン１０２を最初に表示させる際は、そのうち中心領域に配置された選択肢（図示する例では「day」、「night」の選択肢）のみを表示する。当該選択肢を表示しても指示位置が動かないまましきい値ｔ２以上の時間、指示が継続したら、その外側の領域の選択肢（図示する例では「spring」、「summer」、「autumn」、「winter」の選択肢）が出現するようにしてもよい。そしていずれかの撮影状況が選択されたら、画像切り替え部６６は、（ｂ）に示すように、選択された撮影状況で同じ場所を撮影した画像へ表示を切り替える。

【0044】

例えば夜間に撮影された画像から日中に撮影された画像に切り替わることにより、図示するように被写体である人の数が増えている。なお状況選択用アイコン１０２で示す撮影状況の選択肢のうち、画像のデータが存在しない選択肢については、他の選択肢と色を異ならせるなどして選択できないことを示す。切り替え後の画像は、切り替え前の画像と同じ位置に表示してもよいし、目的によっては別の位置に表示してもよい。例えば画像１００が、図５の（ａ）の地図表示画面における情報欄８４に示したサムネイル８６ａであった場合、選択された撮影状況の画像を、（ｂ）の撮影画像表示画面における画像欄９０に拡大表示してもよい。

【0045】

この場合、ユーザが移動用アイコン９４を操作することにより視点を移動させた際、視点変化処理部６８が切り替えて表示する移動先の画像を全て、最初に選択された撮影状況のものとしてよい。これにより、移動に対し順次切り替わる画像の撮影状況が統一されるため、上述のように、僅かな移動によって様子が全く異なる画像が表示され混乱を招く事態を回避できる。一方、図６の画像１００が画像欄９０に拡大表示された画像であっても、状況選択用アイコン１０２が呼び出された結果、選択された撮影状況の画像へ表示を切り替えれば、同じ場所が異なる状況ではどのようになっているかを容易に確認できる。

【0046】

例えば同じ場所が日中と夜間、あるいは季節によってどのように変化するかを確認したり、その場所が昔はどのようであったかを確認したりできる。また参加予定のイベントが、前回はどのような様子であったかを確認できる。画像上に状況選択用アイコン１０２を表示させると、画像を直接切り替えることができるため、検索画面やサムネイルなど別の画像を一旦表示させることによる手間や気の逸れが生じない。また限られた表示領域でも容易に切り替えたり比較したりできる。

【0047】

図７は、画像データベース６０に格納するデータベースの構造を例示している。この例で画像データ情報１１０は、位置欄１１２、住所欄１１４、施設ＩＤ欄１１６、画像データ欄１１８、撮影日時欄１２０、およびイベント欄１２２を含む。位置欄１１２は撮影場所の緯度経度などの位置情報、住所欄１１４は撮影場所の住所、施設ＩＤ欄１１６は撮影場所にある施設の名前などの識別情報を示す。画像データ欄１１８には、当該場所や施設で撮影した画像のデータまたはその識別情報を示す。撮影日時欄１２０は、当該画像が撮影された日時、イベント欄１２２は撮影時に当該場所で開催されていたイベント名を示す。

【0048】

すなわち画像データ情報１１０により、画像データ欄１１８に示された各画像データが、位置欄１１２、住所欄１１４、施設ＩＤ欄１１６に記載の「場所の情報」に対応づけられるとともに、撮影日時欄１２０欄、イベント欄１２２に記載の「撮影状況」に対応づけられる。ただし「場所の情報」と「撮影状況」の項目や、画像データ情報１１０のデータ構造を図示する例に限定する趣旨ではない。ここで、画像データ情報１１０が示す撮影状況は、画像データ固有の情報であり、Ｅｘｉｆや手入力などにより取得される。これを図６の状況選択用アイコン１０２により効率的に絞り込むために、撮影日時やイベントの分類情報を準備する。

【0049】

図８は、本実施の形態で用いる撮影状況の分類情報の構造を例示している。この例で分類情報１３０は、位置欄１３２、住所欄１３４、施設ＩＤ欄１３６、時間帯欄１３８、季節欄１４０、およびイベント分類欄１４２を含む。位置欄１３２、住所欄１３４、施設ＩＤ欄１３６は、図７で示した位置欄１１２、住所欄１１４、施設ＩＤ欄１１６と同じ情報を示す。時間帯欄１３８、季節欄１４０、イベント分類欄１４２は、その場所に対し選択肢として提示できる時間帯、季節、イベントの分類をそれぞれ示す。

【0050】

例えば図示する「Ｃｉｔｙ Ｃｅｎｔｅｒ」に対しては、「日中」および「夜間」の撮影画像がある一方、季節は「春」、「秋」、「冬」の画像があるが「夏」はない。また、「展示会」と「コンサート」に分類されるイベントの画像がある。ただし撮影状況の分類の項目はこれに限らない。時間的な状況や被写体の状況のそれぞれに対し、様々な粒度の分類を準備することにより、画像の絞り込みを効率的に行える。分類情報１３０は、図７で示した画像データ情報１１０とともに画像データベース６０に格納しておく。

【0051】

画像提供サーバ２０の属性取得部７２は、新たな撮影画像が取得される都度、そのデータを図７の画像データ情報１１０に登録するとともに、その属性に基づき分類情報１３０を必要に応じて更新する。画像の閲覧時には、画像処理装置１０のアイコン表示部６４は、指定された場所の分類情報１３０を画像提供サーバ２０から取得して、選択可能な撮影状況の分類を状況選択用アイコン１０２に選択肢として表す。

【0052】

そしてユーザにより選択肢のいずれかが選択されたら、画像切り替え部６６は、画像データ情報１１０において当該場所に対応づけられた画像データのうち、選択された撮影状況に該当するデータを画像提供サーバ２０から取得し表示する。該当する画像が複数存在する場合は、そのうちの１つを拡大表示し、その他の画像をサムネイルとして表示してもよい。なお図７に示した画像データ情報１１０と図８に示した分類情報１３０は、実際には１つのテーブルとしたり、分類ごとに画像データを対応づけたりしてもよい。

【0053】

次に、以上の構成によって実現できる本実施の形態の画像表示の処理手順を示す。図９は、画像処理装置１０が画像提供サーバ２０との連携により、場所に対応する撮影画像を表示する処理手順を示すフローチャートである。このフローチャートは、地図のアプリケーションの一部として撮影画像を表示する態様を想定しているが、上述のとおり画像表示の前段でなされる処理は地図表示に限らない。また画像表示部５６が表示する画像は基本的に、データ要求部５２が要求し画像提供サーバ２０から送信された画像のデータをデータ取得部５４が取得したものであるが、その手順は省略している。

【0054】

まず画像処理装置１０に対するユーザ操作により地図のアプリケーションが起動されると、画像表示部５６の画像切り替え部６６は、電子地図の画像を表示装置１６に表示する（Ｓ１０）。ユーザが検索したい施設の名前を入力したり、地図上の位置を指示したりして場所の指定がなされるまでは、地図に対する操作に応じた図示しない処理を実施しつつ待機する（Ｓ１２のＮ）。場所の指定がなされたら（Ｓ１２のＹ）、画像切り替え部６６は、図５の（ａ）に示すように、当該場所の情報とともに、その場所を撮影した画像のサムネイルを表示する（Ｓ１４）。

【0055】

ここで表示する画像はあらかじめ決められた規則で選択したものでよい。なお図５の（ａ）の地図表示画面の例では、サムネイル８６ａは、主たる表示を地図から撮影画像に切り替えるためのＧＵＩの役割を有するため、場合によってはサムネイルの代わりに、切り替え用のＧＵＩを表示してもよい。表示させたサムネイルの画像やＧＵＩに対し何ら操作がなされなければ、画像表示部５６は地図に対する操作に応じた図示しない処理を実施しつつ待機する（Ｓ１６のＮ）。

【0056】

サムネイルの画像やＧＵＩに対し操作がなされ（Ｓ１６のＹ）、それが上述のような長押し操作でなければ（Ｓ１８のＹ）、画像切り替え部６６は、操作されたサムネイルを図５の（ｂ）に示す画像欄９０に拡大表示するなど、当該操作に設定された表示を実行する（Ｓ２０）。ＧＵＩが操作された場合は、所定の規則で選択された画像を拡大表示してもよい。サムネイルの画像やＧＵＩに対する操作が長押しであれば（Ｓ１８のＮ）、アイコン表示部６４は、図６の（ａ）に示すように、撮影状況を選択するための状況選択用アイコン１０２を、指示された位置に表示する（Ｓ２２）。そしてそのまま指示位置がスライドするなどして、ある撮影状況が選択されたら、画像切り替え部６６は当該撮影状況に該当する画像を、図５の（ｂ）に示す画像欄９０に表示する（Ｓ２４）。

【0057】

ユーザ操作などにより表示を終了させる必要がなければ、Ｓ１６～Ｓ２４の処理を繰り返す（Ｓ２６のＮ）。ただし２巡目以降は、Ｓ１６での操作対象はサムネイルの画像に限らず、画像欄９０に拡大表示された画像でもよい。またＳ２０においてなされる処理は、画像切り替え部６６によるサムネイルの拡大表示のほか、視点変化処理部６８による視点や視線の変化に対応する処理などでもよい。ここで、視点移動先の画像へ表示を切り替える際は、直近で選択されたのと同じ撮影状況の画像を選択して表示させる。表示を終了させる必要が生じたら全処理を終了させる（Ｓ２６のＹ）。

【0058】

以上述べた本実施の形態によれば、ユーザが指定した場所の撮影画像を表示する際、あるいは表示中に、特定の操作により撮影状況を選択するための状況選択用アイコンを表示する。そして当該アイコン操作により選択された状況で撮影された画像を表示対象とする。これにより、同じ場所でも所望の様子の画像を効率的に提示できるため、方針や制限を設けず画像を収集しても、画像の多さに起因した不都合が生じにくい。結果としてユーザは、あらゆる場所の撮影画像を好適に閲覧したり場所の様子を確認したりすることができる。

【0059】

また、画像上に表示したアイコンによって、その画像自体を切り替えるため、別途選択メニューを表示させたりサムネイル画像を並べ直したりするのに比べ、気が逸れることがなく、拡大した状態での画像の比較も容易である。さらに全天周画像により自由な視点や視線で場所の画像を鑑賞する態様においては、視点移動に対して統一性のある画像を表示させ続けることができるため、臨場感が損なわれにくく、周辺の様子を違和感なく確認できる。

【0060】

実施の形態２
実施の形態１は、同じ場所の撮影画像について、撮影状況を容易に選択したり統一したりする技術であった。本実施の形態では、同じ住所（地上での同じ地点）の撮影画像のうち異なる階の画像を区別して選択できるようにする。地図は一般的に、各施設や道路の水平方向の位置関係がわかるように、地上を俯瞰した図として表される。そのため建物の階数や、各階の様子を地図のみから把握することは難しい。階層別の地図が準備されることはあっても、その必要性がある大規模な施設に限られる。

【0061】

また実施の形態１で示したように、地図を基点として撮影画像を表示させる場合に、緯度経度など水平方向の位置や建物全体の名称に対応づけられた画像が一度に検出され、様々な階の画像が混在した状態で表示されると、所望の階の画像へ到達するまでに多大な労力を要することになる。全天周画像で臨場感を演出する場合は特に、ある階にいる状態から、画像の切り替えで全く別の階へ移動したような状態となり、違和感や混乱を招く。そこで、撮影画像を建物の階と対応づけて分類しておくことにより、表示も階ごとに管理し、同じ建物の異なる階への移動操作をユーザから受け付けるようにする。

【0062】

本実施の形態におけるシステムの構成は図１で示した画像表示システム１と同様でよく、画像処理装置１０と画像提供サーバ２０の構成も図２～４で示したのと同様でよい。図１０は、本実施の形態において画像データベース６０に格納するデータの構造を例示している。この例で画像データ情報１５０は、位置欄１５２、住所欄１５４、施設ＩＤ欄１５６、階層欄１５８、および画像データ欄１６０を含む。位置欄１５２、住所欄１５４、施設ＩＤ欄１５６は、図７で示した位置欄１１２、住所欄１１４、施設ＩＤ欄１１６と同じ情報を示す。階層欄１５８は、対応する場所にある建物の階数を示し、画像データ欄１６０には、当該階で撮影された画像のデータまたはその識別情報を示す。

【0063】

この場合、図４で示した属性取得部７２が、取得した画像データの付加情報に含まれる高度などの情報から、何階で撮影された画像かを特定してもよいし、画像提供元のユーザに、撮影した階数を入力させたり、当該ユーザが対応づけた店舗名などの情報から階数を特定したりしてもよい。また属性取得部７２は、施設ＩＤ欄１５６に示された建物の全階数を、当該建物の公式情報などから特定し、別途対応づけておく。なお図示する画像データ情報１５０を、図７に示した画像データ情報１１０と統合し、１つのデータベースとしてもよい。この場合、実施の形態１および２を同時に実現できる。

【0064】

図１１は、図１０の画像データ情報１５０における画像データ欄１６０に、さらに階層での位置を対応づける場合に、画像データベース６０に格納するデータを説明するための図である。図の左側に建物の階層の模式図を示す。この例では１階から３階の各階における同じ位置（フロア上での水平方向に同じ位置）ａ、ｂ、ｃ、ｄ、ｅ、ｆを定義している。このうち黒丸はそこでの画像データがある位置、白丸はそこでの画像データがない位置である。

【0065】

例えば２階の位置ｃ、ｅ、ｆは、吹き抜けの構造によりフロアがないため画像データが存在しない。３階の位置ａのように、フロアがあっても画像データがない場合もある。定義された位置で画像データを管理する場合、図１０で示した画像データ欄１６０の代わりに、図１１の右側に示すテーブル１６２を対応づける。テーブル１６２は、階層ごと、および位置ごとに、画像データの有無を表す。またこの例では画像データがある場合、例えば「００１」、「００２」、・・・といったように、その識別情報を直接対応づけているが、画像データとの紐付けは別のテーブルで行ってもよい。

【0066】

このように各階の位置ごとに画像データを管理することにより、表示中の階から別の階へ移動する操作がなされたときに、選択された階層の同じ位置へ画像を切り替えることができる。例えば１階の位置ａの画像を表示している際、２階への移動操作がなされたら、２階の位置ａの画像へ表示を切り替える。このようにすると、切り替え後の画像が、選択した階層のどの位置にあたるのかを容易に把握でき、その後の移動に混乱を来さない。

【0067】

図１２は、本実施の形態で表示装置１６に表示される画像の例を示している。（ａ）は、建物中、ある階の撮影画像を表示させた状態を示している。これらの画像は、例えば図５に示したように、地図のアプリケーションにより電子地図を表示させ、検索やカーソル操作により所定の建物が指定されたことにより、図５の（ｂ）における撮影画像表示画面の画像欄９０に表示される。ただし建物、住所、緯度経度など地上での位置を指定した結果であれば、地図から切り替えた画像に限定されない。

【0068】

（ａ）の左側の画像１７０は全天周画像の一部であり、図５の（ｂ）の場合と同様、視点を移動させるための移動用アイコン９４が表示されている。すなわちこれを指示すると、矢印の方向（図では奥の方向）へ視点が移動し、その先の全天周画像が表示される。本実施の形態ではさらに、移動用アイコン９４を長押しすると、階数を選択するための階数選択用アイコン１７２が表示されるようにする。図示する階数選択用アイコン１７２は一例として、地下２階（「Ｂ２Ｆ」）から地上３階（「３Ｆ」）までを選択肢とし、それぞれに領域を与えた矩形のアイコンとしている。

【0069】

アイコン表示部６４は、画像提供サーバ２０から、建物の全階数の情報と、画像が存在し選択可能な階数に係る情報を取得することで、階数選択用アイコン１７２の構成を決定する。例えば階数選択用アイコン１７２に全階数の領域を設け、選択できない階数の領域を他と異ならせ、選択できないことを示す。また図示するように、現在表示されている画像、この例では１階（「１Ｆ」）も、階数選択用アイコン１７２上で他の階と色を異ならせ、選択できないようにする。

【0070】

なお図１１で示したように、画像データを位置ごとに管理する場合は、表示中の位置と同じ位置の画像データがない階を、選択できない階層に含めてもよい。あるいは、他の位置であれば画像データが存在する階については、さらに別の表示色を用いたりその旨を文字などで表現したりして、ユーザの了承を得たうえで選択可能としてもよい。画像提供サーバ２０は、画像データベース６０のテーブル１６２を参照し、そのような位置に対する選択の可否に係る情報も画像処理装置１０に送信する。ユーザは階数選択用アイコン１７２のうちいずれかの選択肢を指示することにより所望の階を選択する。ただし階数選択用アイコン１７２の形状や構成をこれに限る趣旨ではない。また階数選択用アイコン１７２を表示させるための操作も限定されない。

【0071】

（ａ）の右側の画像１７４は、表示装置１６の画面を覆うように、マルチタッチ操作対応のタッチパッドを入力装置１４として設けた場合を想定している。この場合、画像表示部５６の視点変化処理部６８は、例えばシングルタッチ（接触点が１つ）で接触させた指などをスライドさせるスワイプ操作に応じて、全天周画像に対する視線の方向を転換させる。画像１７０と同様に、移動用アイコン９４を表示させ、それに対するタッチ操作に応じて、視点を先に進めるようにしてもよい。

【0072】

本実施の形態ではさらに、マルチタッチ（接触点が複数）で接触させた指を、画面上の上下方向と見なせる方向にスライドさせるスワイプ操作に応じて、その方向に対応づけられた、１つ上または下の階へ表示を切り替える。図示する例では矢印で示すように、上方へのスワイプ操作により、１つ下の階の画像へ表示を切り替える。これにより、表示中の階を上へ移動させるような感覚で直感的な操作を実現できる。接触点の数により、視点や視線の操作と、階数移動の操作を区別することにより、容易な両立が可能となる。

【0073】

（ｂ）は、画像１７０または画像１７４への上述した操作により、下の階へ表示を切り替える際の遷移期間における画像を示している。この例では遷移期間として、切り替え前の画像１７６と切り替え後の画像１７８を合成した画像を表す。ここで各階の画像は、建物の階層の上下関係に対応するように配置する。すなわち切り替え前の階に対し切り替え後の階が下であれば下側に、切り替え後の階が上であれば上側に、切り替え後の画像を配置する。そして切り替え後の画像の面積が徐々に大きくなるように両者の境界を移動させることにより、切り替え後の画像が階層に対応する方向から出現するように演出する。

【0074】

例えば双方の画像をアルファブレンド合成し、切り替え後の画像１７８を透明（α＝０）とする領域を縦方向に狭めていけばよい。α値を適切に制御することにより、両画像の境界を半透明に合成してもよい。ただし遷移期間の画像の見せ方はこれに限定されず、例えば切り替え前後の画像自体を上または下方向にスライドさせてもよいし、両者を縦方向に拡大縮小させてもよい。いずれにしろ、建物の階と対応する方向から切り替え後の階の画像が出現するようにすることで、ユーザ自身が建物の異なる階層へ移動中である感覚を得ることができる。

【0075】

（ｂ）に示した遷移期間を経て、（ｃ）に示すように切り替え後の階で撮影された画像が表示される。なお切り替え後の階、あるいはそのうちの同じ位置に複数の画像が対応づけられている場合、例えば実施の形態１のように撮影状況を選択できるようにすれば、所望の階の所望の状況の画像へのアクセスが容易になる。また表示中の画像にエレベータが含まれる場合、切り替え後の階層の画像にも同じエレベータが含まれていると、ユーザは実際にエレベータで移動したような感覚で、その後の視点の移動方向を容易に定めることができる。

【0076】

そのため、表示中の画像にエレベータが含まれている場合、画像１７０に示した移動用アイコン９４の代わりにエレベータの像が長押しされたら、階数選択用アイコン１７２を表示させるようにしてもよい。この場合、入力情報取得部５０は、エレベータの像の領域が長押しされたことを認識し、画像切り替え部６６は、切り替え後の画像においてもエレベータの像が含まれるように視野を決定する。エレベータに限らず、エスカレータ、階段、トイレなど、複数の階で同じ位置に同じ設備がある場合は、切り替え後にも対応する設備の像を示すことにより、位置の把握がより容易になる。

【0077】

この場合、階数選択用アイコン１７２の表示操作を受け付ける設備をあらかじめ設定しておき、入力情報取得部５０は、表示中の画像に当該設備のいずれかが含まれたら、その像の領域に対する指示操作を検出する。ここでの操作は長押しでもよいしそれ以外の所定の操作でもよい。そして階数選択用アイコンにより選択された階へ画像を切り替える際、画像切り替え部６６は、同じ設備の像が含まれるように視野を決定する。なお図示する例は建物の内部の撮影画像であったが、本実施の形態の表示対象をそれに限る趣旨ではなく、２次元の地図で表すことが難しい高さのデータと対応づけることができる画像であれば、建物の外部や標高差のある陸地の画像などでもよい。

【0078】

図１３は、階数を選択する操作を受け付けるための別の態様を示している。この例で表示画像１８０は、吹き抜けの建物の内部を示している。すなわち表示中の階（水平方向の視点移動操作を受け付ける階）以外の階も視野に含まれている。この場合、移動先の別の階を直接選択できるようにした方が効率的かつ理解が容易である。一方、表示中の階における水平方向の視点移動操作との混同を避けるため、この場合も別の階への移動は長押し操作とする。図示する例では３階部分が指により長押しされていることを示し、入力情報取得部５０が当該操作を検知することにより、画像切り替え部６６は３階部分へ表示を切り替える。

【0079】

移動先が直接長押しされたことから、この場合の切り替え後の画像は、好適には選択された階のうち長押しされた位置近傍の画像とする。これにより、上下方向を含め建物内で視線を自由に移動させることが可能となる。この態様は吹き抜けに限らず、エスカレータや階段付近など、表示中の階の画像に別の階の一部が表れていれば同様に実現できる。画像の遷移は図１２で示したのと同様でもよいし、指示された位置へ視点を徐々に移動させるようにしてもよい。なお同一階の水平方向の移動操作と区別できれば、別階層への移動操作は長押しに限らない。例えばマルチタッチやダブルタップなどでもよい。またこの態様は、階層選択用アイコンを表示する態様と組み合わせてもよいし、独立で実現してもよい。

【0080】

次に、以上の構成によって実現できる本実施の形態の画像表示の処理手順を示す。図１４は、画像処理装置１０が画像提供サーバとの連携により、場所に対応する撮影画像を表示する処理手順を示すフローチャートである。このフローチャートは、地図のアプリケーションの一部として撮影画像を表示する態様を想定しているが、上述のとおり画像表示の前段でなされる処理は地図表示に限らない。また画像表示部５６が表示する画像は基本的に、データ要求部５２が要求し画像提供サーバ２０から送信された画像のデータをデータ取得部５４が取得したものであるが、その手順は省略している。

【0081】

まず画像処理装置１０に対するユーザ操作により地図のアプリケーションが起動されると、画像表示部５６の画像切り替え部６６は、電子地図の画像を表示装置１６に表示する（Ｓ３０）。ユーザが検索したい施設の名前を入力したり、地図上の位置を指示したりして場所の指定がなされるまでは、地図に対する操作に応じた図示しない処理を実施しつつ待機する（Ｓ３２のＮ）。場所の指定がなされたら（Ｓ３２のＹ）、画像切り替え部６６は、図５の（ｂ）に示すように、当該場所にある建物の画像のうち所定の規則で選択された画像を拡大表示する（Ｓ３４）。

【0082】

この際、実施の形態１と同様に、一旦サムネイルを表示し、拡大表示させる画像をユーザに選択させてもよいし、画像提供サーバ２０がデータベースの中から所定の規則で選択してもよい。そしてアイコン表示部６４は、視点を移動させるための視点移動用アイコンを撮影画像に重畳表示する（Ｓ３６）。表示した視点移動用アイコンに対し何ら操作がなされなければ、画像表示部５６は視線の転換や別の画像の選択操作などに応じた図示しない処理を実施しつつ待機する（Ｓ３８のＮ）。視点移動用アイコンに対し操作がなされ（Ｓ３８のＹ）、それが長押し操作でなければ（Ｓ４０のＹ）、視点変化処理部６８は、視点の移動先の画像へ表示を切り替える（Ｓ４２）。

【0083】

視点移動用アイコンに対する操作が長押しであれば（Ｓ４０のＮ）、アイコン表示部６４は、図１２の画像１７０のように、階数選択用アイコン１７２を表示する（Ｓ４４）。そして階数選択用アイコン１７２のうちある階が選択されたら、画像切り替え部６６は選択された階の画像を表示する（Ｓ４６）。この際、図１２の（ｂ）に示すように、階層の上下関係に対応する方向から切り替え後の画像が出現するような遷移期間を経て、（ｃ）に示すような切り替え後の階の画像を表示する。また位置によって画像データを管理している場合は、切り替え前の位置と同じ位置の画像を表示する。

【0084】

なおマルチタッチ対応のタッチパッドを導入する場合は、Ｓ３８、Ｓ４０、Ｓ４４の処理の代わりに、マルチタッチのスワイプ操作により、スライドした方向と逆方向において次の階の画像を表示する。また、所定の設備の像に対する長押し操作を受け付ける場合は、Ｓ３８、Ｓ４０の視点移動用アイコンへの長押し操作の判定の代わりに、当該設備の像に対する指示操作を判定する。そしてＳ４６においては、同じ設備の像が表示に含まれるようにする。

【0085】

さらに、Ｓ３４で表示した画像に別の階の一部が表れている場合は、Ｓ３８、Ｓ４０の視点移動用アイコンへの長押し操作の判定の代わりに、当該別の階の像に対する指示操作を判定する。この場合、Ｓ４４の階数選択用アイコンの表示処理は省略し、Ｓ４６において、指示された別の階の画像のうち、該当する位置の画像を表示する。

【0086】

ユーザ操作などにより表示を終了させる必要がなければ、Ｓ３６～Ｓ４６の処理を繰り返す（Ｓ４８のＮ）。この際、Ｓ４２の視点の移動操作における切り替え後の画像や、サムネイルで表示される候補画像を、直近に選択された階の画像に限定することにより、別の階の画像が脈絡なく表示されるのを防ぐことができる。表示を終了させる必要が生じたら全処理を終了させる（Ｓ４８のＹ）。

【0087】

以上述べた本実施の形態によれば、ユーザが指定した場所の撮影画像を表示中、特定の操作により建物の階数選択のための階選択用アイコンを表示する。そして当該アイコン操作により選択された階の画像へ表示を切り替える。これにより、２次元の地図上では同じ位置に対応する画像であっても、階ごとに区別して表示でき、ユーザは用事や興味のある階に絞って様子を確認したり構造を把握したりできる。

【0088】

全天周画像により自由な視点や視線で場所の画像を鑑賞する態様においては、視点を移動させたり視線を転換させたりするのと同様の操作感で階を遷移させることができる。さらに階層の上下関係を踏襲する方向から、選択された階の画像が出現するような遷移期間を設けることにより、建物を探索しているような臨場感を与えることができる。また階の選択に応じて、その後に表示する画像を当該階の同じ位置に絞ることにより、何ら関連のない階の画像が突然出現するといったことがなく、臨場感が損なわれにくい。さらに階選択用アイコンを表示中の画像に重畳表示することにより、別途選択メニューを表示させるのに比べ、階層間の容易な遷移が可能となる。

【0089】

さらに複数の階で同じ位置に共通の設備がある場合などに、その像への指示操作を受け付け、表示階の切り替え前後で当該像が視野に含まれるようにすることにより、切り替え後の階でも方向の理解が容易になる。また表示中の画像に含まれる別の階やその位置を直接指定できるようにすることにより、別の階であってもユーザが移動したい場所へ容易に移動できるようになる。

【0090】

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【符号の説明】

【0091】

１ 画像表示システム、 １０ 画像処理装置、 １４ 入力装置、 １６ 表示装置、 ２０ 画像提供サーバ、 ２３ ＣＰＵ、 ２４ ＧＰＵ、 ２６ メインメモリ、 ３２ 通信部、 ３４ 記憶部、 ３６ 出力部、 ３８ 入力部、 ４０ 記録媒体駆動部、 ５０ 入力情報取得部、 ５２ データ要求部、 ５４ データ取得部、 ５６ 画像表示部、 ５８ 要求取得部、 ６０ 画像データベース、 ６２ データ送信部、 ６４ アイコン表示部、 ６６ 画像切り替え部、 ６８ 視点変化処理部、 ７０ データ取得部、 ７２ 属性取得部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】