特許 7379956 画像処理装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-07

(45)【発行日】2023-11-15

(54)【発明の名称】画像処理装置およびプログラム

(51)【国際特許分類】

   H04N 1/387 20060101AFI20231108BHJP

   G06T 3/00 20060101ALI20231108BHJP

【ＦＩ】

H04N1/387 110

G06T3/00 745

G06T3/00 710

【請求項の数】 5

(21)【出願番号】P 2019160136

(22)【出願日】2019-09-03

(65)【公開番号】P2021040231

(43)【公開日】2021-03-11

【審査請求日】2022-08-29

(73)【特許権者】

【識別番号】000005496

【氏名又は名称】富士フイルムビジネスイノベーション株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(74)【代理人】

【識別番号】110000039

【氏名又は名称】特許業務法人アイ・ピー・ウィン

(72)【発明者】

【氏名】小川 正和

【審査官】花田 尚樹

(56)【参考文献】

【文献】特開２０１２－１７００８８（ＪＰ，Ａ）

【文献】特開２００２－１２３８１４（ＪＰ，Ａ）

【文献】特開平０９－２８１８８９（ＪＰ，Ａ）

【文献】特開平０８－２９２７１５（ＪＰ，Ａ）

【文献】特開２００８－１７６７２８（ＪＰ，Ａ）

【文献】特開２０１２－０７３３９７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １／３８ － １／３９３

Ｇ０６Ｔ １／００ － １／４０

３／００ － ５／５０

(57)【特許請求の範囲】

【請求項1】

変換前の画像内の基準位置を指定する位置指定手段と、
前記位置指定手段によって指定された変換前の画像内の基準位置と、付加情報と、当該付加情報が表示されている付加情報表示領域の前記基準位置に対する相対位置情報とを対応付けて記憶する記憶手段と、
前記変換前の画像を、異なる座標系で表される変換後の画像に座標変換するとともに、前記位置指定手段によって指定された変換前の画像内の前記基準位置と前記相対位置情報とを、前記異なる座標系で表される変換後の基準位置と相対位置情報とにそれぞれ座標変換する変換手段と、
前記変換後の画像に対して、前記付加情報を、前記変換後の基準位置と変換後の相対位置情報とによって特定される付加情報表示領域に、前記変換前の画像全体に対する前記付加情報全体の傾き又は上下の向きを維持したまま表示するように制御する表示制御手段と、を備える画像処理装置。

【請求項2】

前記表示制御手段は、前記変換後の画像の一部領域を表示対象領域として表示し、当該表示対象領域が移動することによって、表示される前記変換後の画像が移動する場合であっても、前記付加情報が前記変換前の画像全体に対する前記付加情報全体の傾き又は上下の向きを維持するように表示する、請求項１に記載の画像処理装置。

【請求項3】

前記表示制御手段は、前記変換後の画像を回転して表示する場合であっても、前記付加情報が前記変換前の画像全体に対する前記付加情報全体の傾き又は上下の向きを維持するように表示する、請求項１又は２に記載の画像処理装置。

【請求項4】

前記記憶手段は、前記位置指定手段によって指定された変換前の画像内の前記基準位置に対して奥行情報を対応付けて記憶しており、前記変換後の画像をズームイン又はズームアウトすることによって、前記変換後の画像における視点から基準位置までの奥行情報を変化させた場合には、前記表示制御手段は、前記付加情報を、視点から前記基準位置までの変化後の奥行情報に応じて大きさを変化させた前記付加情報表示領域に表示する、請求項１から３いずれか１項に記載の画像処理装置。

【請求項5】

画像処理装置として動作するコンピュータに、
変換前の画像内の基準位置を指定するステップと、
前記指定された変換前の画像内の基準位置と、付加情報と、当該付加情報が表示されている付加情報表示領域の前記基準位置に対する相対位置情報とを対応付けて記憶するステップと、
前記変換前の画像を、異なる座標系で表される変換後の画像に座標変換するとともに、前記指定された変換前の画像内の前記基準位置と前記相対位置情報とを、前記異なる座標系で表される変換後の基準位置と相対位置情報とにそれぞれ座標変換するステップと、
前記変換後の画像に対して、前記付加情報を、前記変換後の基準位置と変換後の相対位置情報とによって特定される付加情報表示領域に、前記変換前の画像全体に対する前記付加情報全体の傾き又は上下の向きを維持したまま表示するように制御するステップと、を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置およびプログラムに関する。

【背景技術】

【0002】

下記特許文献１には、画像データの印刷を受け付けた後、利用者の好みのテキストや模様などを画像に合成して印刷する画像出力受付端末であって、一度に複数の画像に同じテキストを入力する機能を備えており、この機能は、選択された画像と他の画像の横・縦のそれぞれの比に基づいて、テキストが画像内に収まり、かつ中央に寄り過ぎないよう合成処理する画像出力受付端末が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１４－５００６６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の目的は、ある画像を異なる座標系に変換して表示する場合であっても、当該画像に付加された付加情報については当初の表示状態を維持したまま表示することが可能な画像処理装置、およびプログラムを提供することである。

【課題を解決するための手段】

【0005】

請求項１に係る本発明は、
変換前の画像内の基準位置を指定する位置指定手段と、
前記位置指定手段によって指定された変換前の画像内の基準位置と、付加情報と、当該付加情報が表示されている付加情報表示領域の前記基準位置に対する相対位置情報とを対応付けて記憶する記憶手段と、
前記変換前の画像を、異なる座標系で表される変換後の画像に座標変換するとともに、前記位置指定手段によって指定された変換前の画像内の前記基準位置と前記相対位置情報とを、前記異なる座標系で表される変換後の基準位置と相対位置情報とにそれぞれ座標変換する変換手段と、
前記変換後の画像に対して、前記付加情報を、前記変換後の基準位置と変換後の相対位置情報とによって特定される付加情報表示領域に、前記変換前の画像全体に対する前記付加情報全体の傾き又は上下の向きを維持したまま表示するように制御する表示制御手段と、を備える画像処理装置である。

【0009】

請求項２に係る本発明は、前記表示制御手段が、前記変換後の画像の一部領域を表示対象領域として表示し、当該表示対象領域が移動することによって、表示される前記変換後の画像が移動する場合であっても、前記付加情報が前記変換前の画像全体に対する前記付加情報全体の傾き又は上下の向きを維持するように表示する、請求項１に記載の画像処理装置である。

【0010】

請求項３に係る本発明は、前記表示制御手段は、前記変換後の画像を回転して表示する場合であっても、前記付加情報が前記変換前の画像全体に対する前記付加情報全体の傾き又は上下の向きを維持するように表示する、請求項１又は２に記載の画像処理装置である。

【0011】

請求項４に係る本発明は、前記記憶手段が、前記位置指定手段によって指定された変換前の画像内の前記基準位置に対して奥行情報を対応付けて記憶しており、前記変換後の画像をズームイン又はズームアウトすることによって、前記変換後の画像における視点から基準位置までの奥行情報を変化させた場合には、前記表示制御手段は、前記付加情報を、視点から前記基準位置までの変化後の奥行情報に応じて大きさを変化させた前記付加情報表示領域に表示する、請求項１から３いずれか１項に記載の画像処理装置である。

【0012】

請求項５に係る本発明は、
画像処理装置として動作するコンピュータに、
変換前の画像内の基準位置を指定するステップと、
前記指定された変換前の画像内の基準位置と、付加情報と、当該付加情報が表示されている付加情報表示領域の前記基準位置に対する相対位置情報とを対応付けて記憶するステップと、
前記変換前の画像を、異なる座標系で表される変換後の画像に座標変換するとともに、前記指定された変換前の画像内の前記基準位置と前記相対位置情報とを、前記異なる座標系で表される変換後の基準位置と相対位置情報とにそれぞれ座標変換するステップと、
前記変換後の画像に対して、前記付加情報を、前記変換後の基準位置と変換後の相対位置情報とによって特定される付加情報表示領域に、前記変換前の画像全体に対する前記付加情報全体の傾き又は上下の向きを維持したまま表示するように制御するステップと、を実行させるプログラムである。

【発明の効果】

【0013】

請求項１に係る本発明によれば、ある画像を異なる座標系に変換して表示する場合であっても、当該画像に付加された付加情報については当初の傾き又は上下の向きを維持したまま表示することが可能な画像処理装置を提供できる。

【0017】

請求項２に係る本発明によれば、表示対象領域を移動させて表示させる場合に、付加情報を、当初の見え方を変化させることなく表示させることが可能となる。

【0018】

請求項３に係る本発明によれば、画像が回転する場合であっても、付加情報については回転させずに表示させることが可能となる。

【0019】

請求項４に係る本発明によれば、変換後の画像において、遠くに位置するものに対応付けられた付加情報は小さく表示し、近くに位置するものに対応付けられた付加情報は大きく表示することが可能となる。

【0020】

請求項５に係る本発明によれば、ある画像を異なる座標系に変換して表示する場合であっても、当該画像に付加された付加情報については当初の傾き又は上下の向きを維持したまま表示することが可能な画像処理をコンピュータに実行させることができる。

【図面の簡単な説明】

【0021】

【図1】本発明の一実施形態における画像処理装置２０のハードウェア構成を示す図である。

【図2】図１の画像処理装置２０の機能ブロックを示す図である。

【図3】変換前の画像を、異なる座標系で表される変換後の画像に座標変換する処理の概要を説明する図である。

【図4】本実施形態における画像処理装置２０において変換前の画像に付加情報を付加する処理の流れを示すフローチャートである。

【図5】変換前の画像に対して付加情報が付加された状態の一例を示す説明図である。

【図6】付加情報が付加された変換前の画像を座標変換する処理の流れを示すフローチャートである。

【図7】付加情報がそれぞれ付加された変換前の画像と変換後の画像の一例を示す説明図である。

【図8】付加情報が付加された変換前の画像を座標変換し、さらにその一部分をクロップして表示する処理の流れを示すフローチャートである。

【図9】付加情報が付加された変換前の画像を座標変換し、その一部をクロップして表示した場合の一例を示す説明図である。

【図10】窓を固定して画像を反時計回りに４５度回転させた場合の説明図と、ディスプレイに表示されるクロップおよび回転後の画像を示す図である。

【図11】クロップされた画像をズームイン、あるいはズームアウトした場合を説明する図と、ディスプレイに表示される画像を示す図である。

【発明を実施するための形態】

【0022】

〔画像処理装置についての説明〕
本発明の一実施形態における画像処理装置２０について、図１を参照して説明する。なお、図１は、本実施形態における画像処理装置２０のハードウェア構成を示す図である。画像処理装置２０は、例えばデスクトップ型コンピュータであるが、本発明はこれに限定されず、下記に説明する構成を有するものであれば、ノート型コンピュータやタブレット型コンピュータであってもよいし、他の端末装置であってもよい。

【0023】

図１に示すように、画像処理装置２０は、制御用マイクロプロセッサ２０１、メモリ２０２、記憶装置２０３、通信インタフェース２０４、ディスプレイ２０５、入力インタフェース２０６を有し、それぞれ制御用バス２０７に接続される。

【0024】

制御用マイクロプロセッサ２０１は、記憶装置２０３に記憶された制御プログラムに基づいて、画像処理装置２０の各部の動作を制御する。

【0025】

メモリ２０２には、記憶装置２０３に記憶された画像データを異なる座標系の画像データに変換した場合の変換後の画像データ、および当該変換後の画像データに付加される付加情報が一時的に記憶される。

【0026】

記憶装置２０３は、ハードディスク（略してＨＤＤという）やソリッド・ステート・ドライブ（略してＳＤＤという）によって構成され、画像処理装置２０の各部を制御するための制御プログラムが格納される。また、記憶装置２０３には、図示しない３６０度カメラによって撮影された画像データ、および当該画像データに付加される付加情報が記憶される。

【0027】

通信インタフェース２０４は、この画像処理装置２０が３６０度カメラや画像を蓄積しているサーバと通信を行い、３６０度カメラや画像を蓄積しているサーバから画像を取得するための通信制御を行う。

【0028】

ディスプレイ２０５は、この画像処理装置２０と一体または別体の液晶ディスプレイで構成され、後述する表示制御部によって処理された情報が表示される。

【0029】

入力インタフェース２０６は、キーボードやマウスなどで構成され、画像処理装置２０を操作する利用者が後述する画像データの変換指示や付加情報を入力するための入力手段である。

【0030】

次に、図２を参照して、本実施形態における画像処理装置２０の機能について説明する。図２は、図１の画像処理装置２０の機能ブロックを示す図である。図２に示すように、画像処理装置２０は、記憶装置２０３に記憶された制御プログラムを制御用マイクロプロセッサ２０１において実行することにより、表示制御部２１１、位置指定部２１２、変換部２１３、付加情報編集部２１４の各機能を発揮するものとして構成される。

【0031】

表示制御部２１１は、利用者が入力インタフェース２０６を介して行う指示に応じて記憶装置２０３に記憶された変換前の画像をディスプレイ２０５に表示する制御を行う。また、付加情報編集部２１４によって変換前の画像に対して付加情報が付加された場合には、位置指定部２１２によって指定された位置を基準位置として付加情報を変換前の画像に重ね合わせてディスプレイ２０５に表示する。さらに、表示制御部２１１は、変換部２１３によって変換前の画像が異なる座標系で表される画像に変換された場合には、変換後の画像をディスプレイ２０５に表示するとともに、付加情報編集部２１４によって付加された付加情報を、上記変換部２１３によって変換された変換後の位置を基準位置として、変換後の画像に重ねてディスプレイ２０５に表示する。

【0032】

位置指定部２１２は、ディスプレイ２０５に変換前の画像が表示されている際に、利用者が入力インタフェース２０６を操作して付加情報を付加する基準位置を指定した場合に、当該変換前の画像内の位置情報を取得する。加えて、当該基準位置に対する付加情報の相対位置の情報も取得する。

【0033】

変換部２１３は、利用者が入力インタフェース２０６を介して行う指示に応じて、記憶装置２０３に記憶されている変換前の画像を、異なる座標系で表される変換後の画像に座標変換してメモリ２０２に記憶するとともに、位置指定部２１２によって指定された変換前の画像内における付加情報を付加する基準位置を、異なる座標系で表される変換後の基準位置に座標変換してメモリ２０２に記憶する。

【0034】

付加情報編集部２１４は、変換前の画像がディスプレイ２０５に表示されている場合に、利用者が入力インタフェース２０６を操作することによって入力される付加情報を、位置指定部２１２によって指定される基準位置、および相対位置の情報と対応付けて記憶装置２０３に記憶する。

【0035】

次に、本実施形態の画像処理装置２０において、変換部２１３が変換前の画像を、異なる座標系で表される変換後の画像に座標変換する処理の概要について図３を参照して説明する。なお、図３は、変換前の画像を、異なる座標系で表される変換後の画像に座標変換する処理の概要を説明する図である。３６０度カメラや、画像を蓄積しているサーバから通信インタフェース２０４を介して取得した画像は、エクイレクタングラー形式の画像データ３００として記憶装置２０３に記憶されている。変換部２１３は、利用者の指示に応じて、エクイレクタングラー形式の画像データ３００を、ドームマスター形式の画像データ３１０、あるいはキューブマップ形式の画像データ３２０に座標変換し、変換後の画像データとしてメモリ２０２に一時的に記憶する。なお、変換後の画像データは、記憶装置２０３に記憶してもよい。

【0036】

なお、上記形式の画像データは、可逆変換あるいは相互変換が可能であり、ドームマスター形式の画像データ３１０、キューブマップ形式の画像データ３２０をエクイレクタングラー形式の画像データ３００に座標変換することも、ドームマスター形式の画像データ３１０をキューブマップ形式の画像データ３２０に座標変換したり、その逆の座標変換をしたりすることも可能である。なお、変換前の画像データをドームマスター形式の画像データ３１０やキューブマップ形式の画像データ３２０とし、変換後の画像データをエクイレクタングラー形式の画像データ３００としてもよい。

【0037】

さらに、本実施形態の画像処理装置２０は、変換前のエクイレクタングラー形式の画像、あるいは変換後のドームマスター形式の画像やキューブマップ形式の画像の一部分をクロップ、つまり一部分を切り出し、クロップされた画像３３０としてディスプレイ２０５に表示することも可能である。この場合であっても、ただ単にエクイレクタングラー形式の画像、あるいはドームマスター形式の画像やキューブマップ形式の画像の一部分をそのまま切り出してディスプレイ２０５に表示するのではなく、表示対象領域として切り出された、あるいは指定された領域の画像を変換部２１３が座標変換してメモリ２０２に一時的に記憶し、表示制御部２１１によりディスプレイ２０５に表示させる。

【0038】

《処理ついての説明》
次に、図４、図５を参照し、本実施形態の画像処理装置２０において付加情報を変換前の画像に付加する処理を説明する。なお、図４は、本実施形態における画像処理装置２０において変換前の画像に付加情報を付加する処理の流れを示すフローチャートである。図５は、変換前の画像に対して付加情報が付加された状態の一例を示す説明図である。

【0039】

図４のステップＳ４０１において、表示制御部２１１は、利用者が入力インタフェース２０６を介して行う指示に応じて記憶装置２０３に記憶された変換前の画像、つまりエクイレクタングラー形式の画像をディスプレイ２０５に表示する。

【0040】

ステップＳ４０２において、付加情報編集部２１４は、利用者が入力インタフェース２０６を介して付加情報を付加する操作を受け付ける。利用者が変換前の画像内のある位置を、付加情報を付加する基準位置として指定した場合、位置指定部２１２は、当該変換前の画像における基準位置の位置情報を取得し、メモリ２０２に一時的に記憶する。

【0041】

ステップＳ４０３において、付加情報編集部２１４は、付加情報を実際に表示する領域を指定する操作を受け付け、利用者が変換前の画像内のある領域を、付加情報を実際に表示する領域として指定した場合、位置指定部２１２は、当該変換前の画像における付加情報表示領域の位置情報を取得し、メモリ２０２に一時的に記憶する。なお、上記基準位置と付加情報表示領域は重なってもよいし、互いに離れた位置にあってもよい。また付加情報表示領域の位置情報は、位置情報として領域が指定されてもよいし、左上や重心といった一点のみが指定されてもよい。

【0042】

ステップＳ４０４において、付加情報編集部２１４は、付加情報の入力を受け付ける。ここで付加情報とは、テキスト、記号、図形、アイコンといった変換前の画像に対して利用者が後から任意に重ね合わせて表示させる追加要素のことである。付加情報は、テキストの場合には利用者が入力インタフェース２０６を介して文字データを入力する。また、付加情報は、図形の場合には、付加情報編集部２１４がディスプレイ２０５に、挿入可能な図形一覧を表示させ、利用者がその一覧の中から図形を選択し、当該付加情報表示領域に図形を表示させるようにする。

【0043】

例えば、図５に示すように、変換前のエクイレクタングラー形式の画像５００には、テキスト５１０が重ね合わせて表示されている。テキスト５１０は付加情報表示領域５１１内に表示されており、この付加情報表示領域５１１は、付加情報の基準位置５１２と対応付けられる。付加情報の基準位置５１２は、付加情報表示領域５１１の内部にあってもよいし、図５のように付加情報表示領域５１１の外部にあってもよい。

【0044】

ステップＳ４０５において、付加情報編集部２１４は、付加情報と、当該付加情報を付加する基準位置の位置情報と、当該基準位置に対する付加情報表示領域の相対位置情報とを対応付けて記憶装置２０３に記憶する。なお、この相対位置情報は、上記基準位置に対する付加情報表示領域の重心の相対的な位置を示す情報であり、基準位置から付加情報表示領域の重心までの距離、角度で表される。なお、相対位置情報は、上記基準位置に対する付加情報表示領域の重心の相対的な位置を示す情報だけに限られず、付加情報表示領域の左上、右下といった地点の相対的な位置情報であってもよい。

【0045】

ステップＳ４０６において、付加情報編集部２１４は、付加情報を変換前の画像に付加する処理を終了するか否かを利用者に確認し、利用者が終了することを指示した場合にはステップＳ４０７において変換前の画像に付加された付加情報の総数を画像データに対応付けて記憶装置２０３に記憶し、処理を終了する。一方、付加情報の変換前の画像に付加する処理を終了しない場合にはステップＳ４０２に戻り、付加情報の付加を終了するまでステップＳ４０２～ステップＳ４０５の処理を繰り返し行う。

【0046】

次に、図６、図７を参照して、付加情報が付加された変換前の画像を座標変換する処理について説明する。なお、図６は、付加情報が付加された変換前の画像を座標変換する処理の流れを示すフローチャートである。図７は、付加情報がそれぞれ付加された変換前の画像と変換後の画像の一例を示す説明図である。

【0047】

ステップＳ６０１において、変換部２１３は座標変換の対象となる変換前の画像に対応付けられて記憶されている付加情報の総数Ｎを、記憶装置２０３から取得する。図７に示す画像の場合、付加情報の総数Ｎは「３」である。

【0048】

ステップＳ６０２において、変換部２１３は、記憶装置２０３に記憶されている変換前の画像を座標変換し、変換後の画像としてメモリ２０２、あるいは記憶装置２０３に記憶する。図７に示す変換処理の場合、変換部２１３は、変換前のエクイレクタングラー形式の画像７００を、ドームマスター形式の画像７５０に座標変換し、変換後の画像としてメモリ２０２あるいは記憶装置２０３に記憶する。

【0049】

ステップＳ６０３において、変換部２１３は、変換前の画像に対応付けられている付加情報の位置情報を座標変換する際に使用する変数ｎ＝１に設定する。

【0050】

ステップＳ６０４において、変換部２１３は、変換前の画像に対応付けられたｎ個目の付加情報の基準位置の位置情報、例えば図７における基準位置７１２の位置情報を取得し、当該位置情報を座標変換し、変換後の画像における付加情報の基準位置として、メモリ２０２に記憶する。

【0051】

ステップＳ６０５において、変換部２１３は、変換前の画像に対応付けられたｎ個目の付加情報の、付加情報表示領域の基準位置に対する相対位置情報を座標変換によって算出し、メモリ２０２に記憶する。

【0052】

ステップＳ６０６において、変換部２１３は、変数ｎが、変換前の画像に対応付けられて記憶されている付加情報の総数Ｎであるか否かを判断する。変数ｎが付加情報の総数Ｎに等しくないと判断された場合、ステップＳ６０７に進み、変数ｎに１を加算してステップＳ６０４に戻り、変換前の画像に対応付けられた付加情報の数だけステップＳ６０４～Ｓ６０６の処理を繰り返し行う。

【0053】

ステップＳ６０６において変数ｎが付加情報の総数Ｎに等しいと判断された場合、ステップＳ６０８において、表示制御部２１１は、メモリ２０２あるいは記憶装置２０３に記憶された変換後の画像をディスプレイ２０５に表示させる。

【0054】

ステップＳ６０９において、表示制御部２１１は、メモリ２０２に記憶された付加情報を、変換後の基準位置を基準として、変換後の相対位置情報に基づいてディスプレイ２０５に表示されている変換後の画像内に重ねて表示し、処理を終了する。

【0055】

例えば、図７に示すように、変換前のエクイレクタングラー形式の画像７００には、３つの付加情報７１０、７２０、７３０が付加されていたとする。ここで、付加情報７１０、７２０はテキスト形式であり、それぞれ付加情報表示領域７１１、７２１内にテキストが表示されている。一方、付加情報７３０は図形であり、付加情報表示領域７３１内に表示されている。さらに、付加情報７１０の基準位置７１２は付加情報表示領域７１１の外部にあるのに対し、付加情報７２０、７３０の基準位置７２２、７３２は付加情報表示領域７２１、７３１の内部に位置している。

【0056】

この変換前の画像７００を変換部２１３によってドームマスター形式の画像７５０に変換すると、変換前の画像７００における付加情報７１０、７２０、７３０が、変換後の画像７５０上に、変換部２１３によって座標変換された基準位置７６１、７７１、７８１を基準として、やはり変換部２１３によって座標変換された相対位置情報によって特定される付加情報表示領域７６２、７７２、７８２に重ねて表示される。

【0057】

このとき、図７に示すように、付加情報７１０の付加情報表示領域７６２は、座標変換後の基準位置７６１から離れているのに対し、付加情報７２０、７３０の付加情報表示領域７７２、７８２は、座標変換後の基準位置７７１、７８１と重なる位置にある。また、付加情報７１０、７２０、７３０は、座標変換前と比較した場合に、天地つまり図７における傾きや上下の向き、大きさ、形状といた座標変換前の当初の表示状態が維持された状態でドームマスター形式の画像７５０上に重ね合わされて表示されている。

【0058】

次に、図８、図９を参照して、付加情報が付加された変換前の画像を座標変換し、さらにその一部分をクロップ、つまり切り出して表示する処理について説明する。なお、図８は、付加情報が付加された変換前の画像を座標変換し、さらにその一部分をクロップして表示する処理の流れを示すフローチャートである。図９は、付加情報が付加された変換前の画像を座標変換し、その一部をクロップして表示した場合の一例を示す説明図である。なお、図８、図９に示す例では、エクイレクタングラー形式の画像７００を一旦キューブマップ形式の画像に変換し、次いでその一部をクロップしてディスプレイ２０５に表示している。

【0059】

まず、図９に示す、付加情報が付加されたエクイレクタングラー形式の画像７００をキューブマップ形式の画像９００へ座標変換する方法については、上述した図６のステップＳ６０１～ステップＳ６０６までの処理と略同じであるので、説明を省略する。

【0060】

ステップＳ８０１において、位置指定部２１２は、エクイレクタングラー形式から座標変換された後のキューブマップ形式の画像９００においてクロップされる範囲を特定する。具体的には、利用者が入力インタフェース２０６を介して入力される操作に基づいて位置指定部２１２は、視点位置と角度を特定し、視点位置と角度の情報からクロップされる範囲を特定する。

【0061】

ステップＳ８０２において、変換部２１３は、変換前の画像のクロップされる範囲にどの付加情報が含まれるかを判断する。

【0062】

ステップＳ８０３において、変換部２１３は、変換前の画像におけるクロップされる範囲の画像を座標変換し、変換後の画像を生成し、メモリ２０２に記憶する。

【0063】

ステップＳ８０４において、変換部２１３は、ステップＳ８０２においてクロップされる範囲に含まれると判断された付加情報の基準位置、および相対位置を座標変換し、メモリ２０２に記憶する。

【0064】

ステップＳ８０５において、表示制御部２１１は、メモリ２０２に記憶されたクロップ対象範囲として座標変換された変換後の画像をディスプレイ２０５に表示する。

【0065】

ステップＳ８０６において、表示制御部２１１は、クロップ対象範囲に含まれると判断された付加情報を、メモリ２０２に記憶された変換後の基準位置の位置情報、変換後の相対位置情報に基づいて、ディスプレイ２０５に表示される変換後の画像に重ね合わせて表示する。

【0066】

ステップＳ８０７において、位置指定部２１２は、利用者が入力インタフェース２０６を介して入力される操作に基づいてクロップされる範囲が移動したか否かを判断する。クロップされる範囲が移動したと判断された場合はステップＳ８０１に戻り、ステップＳ８０１～ステップＳ８０６までの処理を繰り返し行い、新たなクロップされる範囲に含まれる画像、付加情報をディスプレイ２０５に表示させる。

【0067】

ステップＳ８０７において、クロップ対象範囲が移動しないと判断された場合は、表示制御部２１１は、ステップＳ８０６でディスプレイ２０５に表示される画像を引き続きディスプレイ２０５に表示する。

【0068】

例えば、図９に示す例の場合、キューブマップ形式の画像９００の一部がクロップされる範囲９１０として指定されている。このとき、付加情報７１０、７２０は、クロップされる範囲に含まれるため、ディスプレイ２０５に表示されるクロップ後の画像９５０には、付加情報７１０、７２０が表示されている。一方、クロップされる範囲が、範囲９２０まで移動した場合、この範囲９２０内には付加情報７３０が含まれるようになる。したがって、ディスプレイ２０５に表示されるクロップ後の画像９６０には、付加情報７３０が表示されている。

【0069】

このとき、クロップ後の画像９５０、９６０に表示されている付加情報は、クロップ前と比較した場合に、天地つまり傾きや上下の向き、大きさ、形状といったクロップ前の当初の表示状態が維持された状態で、クロップ後の画像に重ね合わされて表示されている。

【0070】

上記図９に示した例は、クロップされる範囲が、ある視点を基準として水平方向に移動した場合を説明したものであった。言い換えると、クロップ範囲、つまりある視点から見えるいわゆる「窓」を固定したまま、「窓」の向こう側の画像を水平方向に移動させ、当該クロップ範囲、つまり「窓」に収まる画像を、その歪みを、座標変換を行って調整して表示していた。しかし、本発明は上記の例に限定されず、「窓」はいわば固定した状態で画像を上下方向や斜め方向に移動させたり、「窓」を固定した状態で画像内のある地点を中心として回転させたりしてもよい。

【0071】

例えば、図１０に示すように、いわゆる「窓」１０１０を固定して画像１０００を反時計回りに４５度回転させる。この場合、クロップおよび回転後の画像１０５０には付加情報７１０、７２０が表示されている。これらの付加情報７１０、７２０は、画像が回転したにも関わらず、天地つまり傾きや上下の向き、大きさ、形状といった、クロップおよび回転前の当初の表示状態が維持された状態でクロップおよび回転後の画像１０５０に重ね合わされて表示されている。

【0072】

さらに、本発明で処理される画像は、当該画像内のそれぞれの位置、あるいは各要素に対して奥行情報を対応付けて記憶させておいてもよい。この奥行情報は、記憶装置２０３に記憶された画像の各画素、あるいは各位置座標にそれぞれ対応付けられていてもよいし、位置指定部２１２によって指定された画像内の各位置に対して、利用者が情報を後から対応付けて記憶させたものであってもよい。

【0073】

例えば、図１１に示すように、利用者が入力インタフェース２０６を操作して、クロップされた画像１１５０、１１６０をズームイン、あるいはズームアウトすると、いわゆる「窓」１１１０、１１２０の大きさが縮小、あるいは拡大する。例えば、「窓」１１１０内の画像１１５０には付加情報７１０、７２０が含まれている。付加情報７１０の基準位置７１２の座標には奥行として手前側であることを示す奥行情報が対応付けられており、付加情報７２０の基準位置７２２の座標には奥行として奥側であることを示す奥行情報が対応づけられている。なお、この奥行情報は、３６０度カメラで画像を撮影した際の視点からの各要素、あるいは各基準位置までの距離情報であってもよい。

【0074】

付加情報７１０は、もう一つの付加情報７２０よりも手前側にあるため、図１１では、付加情報７１０の付加情報表示領域７１１は、付加情報７２０の付加情報表示領域７２１よりも大きく拡大されて表示されている。あるいは、付加情報７２０は、付加情報７１０よりも奥側にあるため、図１１では、付加情報７２０の付加情報表示領域７２１よりも小さく縮小されて表示されている。

【0075】

「窓」１１１０内の画像１１５０を、利用者が入力インタフェース２０６を操作することによって、ズームインした場合、画像１１００における「窓」は縮小し、「窓」１１２０内の画像１１６０が表示されることになる。このとき、付加情報７２０の基準位置７２２は見かけ上、視点により一層近づいたことになる。このとき変換部２１３は、付加情報７２０の基準位置７２２の奥行情報を、視点からの距離に応じて変化させる。表示制御部２１１は、変化後の奥行情報に応じて付加情報表示領域７２１の大きさを拡大し、変化後の画像１１６０に重ねて表示する。

【0076】

一方、ズームアウトした場合は、付加情報は見かけ上視点から遠ざかることになるので、表示制御部２１１は、変換部２１３によって変化した変化後の基準位置の奥行情報に応じて付加情報表示領域の大きさを縮小し、変化後の画像に重ねて表示する。なお、奥行情報は変更させず、視点から基準位置までの距離を奥行情報に基づいて算出し、それに応じて付加情報表示領域７２１の大きさを拡大、縮小して表示してもよい。

【0077】

なお、上述の実施形態においては、記憶装置２０３に記憶される画像としてエクイレクタングラー形式のものを例とし、その画像を他の形式の画像に座標変換、クロップ、および回転や拡大・縮小した場合を説明したが、座標変換前の画像を他の形式の画像としてもよい。

【符号の説明】

【0078】

２０ 画像処理装置
２０１ 制御用マイクロプロセッサ
２０２ メモリ
２０３ 記憶装置
２０４ 通信インタフェース
２０５ ディスプレイ
２０６ 入力インタフェース
２１１ 表示制御部
２１２ 位置指定部
２１３ 変換部
２１４ 付加情報編集部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】