特許 6579706 画像処理装置、画像処理方法および画像処理用プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6579706

(24)【登録日】2019年9月6日

(45)【発行日】2019年9月25日

(54)【発明の名称】画像処理装置、画像処理方法および画像処理用プログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20190912BHJP

   G06T 3/00 20060101ALI20190912BHJP

【ＦＩ】

   H04N5/232 380

   G06T3/00 780

   H04N5/232 290

   H04N5/232 300

   H04N5/232 930

【請求項の数】5

【全頁数】12

(21)【出願番号】特願2015-198137(P2015-198137)

(22)【出願日】2015年10月6日

(65)【公開番号】特開2017-73620(P2017-73620A)

(43)【公開日】2017年4月13日

【審査請求日】2018年9月11日

(73)【特許権者】

【識別番号】000220343

【氏名又は名称】株式会社トプコン

(74)【代理人】

【識別番号】100096884

【弁理士】

【氏名又は名称】末成 幹生

(72)【発明者】

【氏名】伊藤 忠之

(72)【発明者】

【氏名】佐々木 陽

(72)【発明者】

【氏名】古明地 隆浩

(72)【発明者】

【氏名】森川 直樹

【審査官】 佐藤 直樹

(56)【参考文献】

【文献】 国際公開第２０１７／０５６９４２（ＷＯ，Ａ１）

【文献】 特開２０１５−１１９８２７（ＪＰ，Ａ）

【文献】 国際公開第２０１３／１８６８０６（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｇ０６Ｔ ３／００

(57)【特許請求の範囲】

【請求項1】

異なる視点から重複する対象を撮影した第１の静止画像の画像データおよび第２の静止画像の画像データを受け付ける画像データ受付部と、
前記第１の静止画像と前記第２の静止画像とを投影球に投影して合成画像を形成する合成画像形成部と、
前記合成画像の中の特定の位置の指定を受け付ける指定受付部と、
前記指定受付部で受け付けた指定位置を含む前記第１の静止画像または前記第２の静止画像の一方を選択する選択部と
を備え、
前記第１の静止画像の視点、前記第２の静止画像の視点、および前記投影球の中心は、それぞれ異なる位置にある画像処理装置。

【請求項2】

前記選択部は、前記第１の静止画像および前記第２の静止画像における前記投影球の中心から見た前記特定の位置の方向に近い画像の向きを有する方を選択することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記第１の静止画像または前記第２の静止画像を表示装置に表示する制御を行う表示制御部を備え、
前記第１の静止画像と前記第２の静止画像とは重複する部分があり、
前記表示制御部は、
前記第１の静止画像が表示されている状況において、
前記重複する部分における特定の位置が指定された場合に、当該指定された位置が前記第１の静止画像の中心より、前記第２の静止画像の中心に近い場合に、前記第２の静止画像を表示させることを特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

異なる視点から重複する対象を撮影した第１の静止画像の画像データおよび第２の静止画像の画像データを受け付ける画像データ受付ステップと、
前記第１の静止画像と前記第２の静止画像とを投影球に投影して合成画像を形成する合成画像形成ステップと、
前記合成画像の中の特定の位置の指定を受け付ける指定受付ステップと、
前記指定受付ステップで受け付けた指定位置を含む前記第１の静止画像または前記第２の静止画像の一方を選択する選択ステップと
を備え、
前記第１の静止画像の視点、前記第２の静止画像の視点、および前記投影球の中心は、それぞれ異なる位置にある画像処理方法。

【請求項5】

コンピュータに読み取らせて実行させるプログラムであって、
コンピュータに
異なる視点から重複する対象を撮影した第１の静止画像の画像データおよび第２の静止画像の画像データを受け付ける画像データ受付ステップと、
前記第１の静止画像と前記第２の静止画像とを投影球に投影して合成画像を形成する合成画像形成ステップと、
前記合成画像の中の特定の位置の指定を受け付ける指定受付ステップと、
前記指定受付ステップで受け付けた指定位置を含む前記第１の静止画像または前記第２の静止画像の一方を選択する選択ステップと
を実行させ、
前記第１の静止画像の視点、前記第２の静止画像の視点、および前記投影球の中心は、それぞれ異なる位置にある画像処理用プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、パノラマ画像の処理に関する。

【背景技術】

【0002】

視線の方向が異なる複数の静止画像を組み合わせてパノラマ画像と称されるより広角な画像を得る技術が知られている（特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４−１５５１６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

パノラマ画像は、特定の視点を中心とした投影球面を設定し、その内周面に複数の画像を投影することで作成される。この際、隣接する画像同士が一部重複するようにすることで、複数の画像が合成され、パノラマ画像が得られる。パノラマ画像を構成する各画像の視点が一致していれば、原理的に画像間のつながりの不連続性や画像の歪みは生じない。しかしながら、合成の対象となる複数の画像の視点が一致しているとは限らない。例えば、複数のカメラを備えた全周カメラの場合、物理的に各カメラの視点の位置を一致させることができないので、厳密に見ると画像同士のつなぎ目の部分でのズレ、および画像全体で見た場合の歪みが存在する。

【0005】

このような背景において、本発明は、複数の画像を合成することでパノラマ画像を得る技術における異なるカメラ間の視点の違いに起因する問題を解決することを課題とする。

【課題を解決するための手段】

【0006】

請求項１に記載の発明は、異なる視点から重複する対象を撮影した第１の静止画像の画像データおよび第２の静止画像の画像データを受け付ける画像データ受付部と、前記第１の静止画像と前記第２の静止画像とを投影球に投影して合成画像を形成する合成画像形成部と、前記合成画像の中の特定の位置の指定を受け付ける指定受付部と、前記指定受付部で受け付けた指定位置を含む前記第１の静止画像または前記第２の静止画像の一方を選択する選択部とを備え、前記第１の静止画像の視点、前記第２の静止画像の視点、および前記投影球の中心は、それぞれ異なる位置にある画像処理装置である。

【0007】

請求項１に記載の発明によれば、合成画像（パノラマ画像）が表示されている状態において、特定の部分が指定されると、当該部分を含む単写真画像（パノラマ画像を構成する複数の静止画像の一つ）が選択される。単写真画像は、パノラマ画像における画像のつなぎ目の問題がないので、パノラマ画像におけるズレの問題が解消される。請求項１では、２つの静止画像が対象とされているが、複数ある静止画像に含まれる２つの画像を対象として請求項１を適用できる。したがって、対象となる静止画像は、３以上であってもよい。

【0008】

請求項２に記載の発明は、請求項１に記載の発明において、前記選択部は、前記第１の静止画像および前記第２の静止画像における前記投影球の中心から見た前記特定の位置の方向に近い画像の向きを有する方を選択することを特徴とする。請求項２に記載の発明によれば、指定された特定の位置が画面中のより中央に近い位置にある静止画像（単写真画像）が選択される。なお、画像の向きは、静止画像の画面に垂直な方向として定義される。なお、等価な定義として、当該静止画像の視点と当該静止画像の画面中心を結ぶ線の延長方向を画像の向きとして定義することもできる。

【0009】

請求項３に記載の発明は、請求項１または２に記載の発明において、前記第１の静止画像または前記第２の静止画像を表示装置に表示する制御を行う表示制御部を備え、前記第１の静止画像と前記第２の静止画像とは重複する部分があり、前記表示制御部は、前記第１の静止画像が表示されている状況において、前記重複する部分における特定の位置が指定された場合に、当該指定された位置が前記第１の静止画像の中心より、前記第２の静止画像の中心に近い場合に、前記第２の静止画像を表示させることを特徴とする。

【0010】

請求項３に記載の発明によれば、視線の変化に伴う静止画像（単写真画像）の切り替えが行われる。そしてその際、着目点がより中心にある静止画像の選択が行なわれる。

【0011】

請求項４に記載の発明は、異なる視点から重複する対象を撮影した第１の静止画像の画像データおよび第２の静止画像の画像データを受け付ける画像データ受付ステップと、前記第１の静止画像と前記第２の静止画像とを投影球に投影して合成画像を形成する合成画像形成ステップと、前記合成画像の中の特定の位置の指定を受け付ける指定受付ステップと、前記指定受付ステップで受け付けた指定位置を含む前記第１の静止画像または前記第２の静止画像の一方を選択する選択ステップとを備え、前記第１の静止画像の視点、前記第２の静止画像の視点、および前記投影球の中心は、それぞれ異なる位置にある画像処理方法である。

【0012】

請求項５に記載の発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータに異なる視点から重複する対象を撮影した第１の静止画像の画像データおよび第２の静止画像の画像データを受け付ける画像データ受付ステップと、前記第１の静止画像と前記第２の静止画像とを投影球に投影して合成画像を形成する合成画像形成ステップと、前記合成画像の中の特定の位置の指定を受け付ける指定受付ステップと、前記指定受付ステップで受け付けた指定位置を含む前記第１の静止画像または前記第２の静止画像の一方を選択する選択ステップとを実行させ、前記第１の静止画像の視点、前記第２の静止画像の視点、および前記投影球の中心は、それぞれ異なる位置にある画像処理用プログラムである。

【発明の効果】

【0013】

本発明によれば、複数の画像を合成することでパノラマ画像を得る技術における異なるカメラ間の視点の違いに起因する問題を解決できる。

【図面の簡単な説明】

【0014】

【図1】パノラマ画像の原理図である。

【図2】パノラマ画像から単写真画像への切り替えの原理を示す原理図である。

【図3】画像処理装置のブロック図である。

【図4】パノラマ画像と点群のデータとを重ねた合成画像の一例を示す図面代用写真である。

【図5】処理の手順の一例を示すフローチャートである。

【図6】単写真画像の切り替えの原理を示す原理図である。

【図7】単写真画像の切り替えの原理を示す原理図である。

【図8】単写真画像の切り替えの原理を示す原理図である。

【図9】パノラマ画像における視線を動かした場合における表示画像の変化を示す原理図である。

【図10】表示倍率の変えた表示画像の一例を示す図面代用写真である。

【発明を実施するための形態】

【0015】

１．第１の実施形態
（概要）
まず、視点が異なる複数の画像同士を合成した際に生じる問題について説明する。図１には、位置（視点）が異なる３つのカメラを用いて一部が重複する静止画像を３枚撮影し、それを投影球の内周面に投影してパノラマ画像を作成する場合の原理が示されている。ここで、パノラマ画像の基となる静止画像を単写真画像という。単写真画像は、各カメラが撮影した静止画像であり、複数の単写真画像を合成することでパノラマ画像が得られる。例えば、図１の場合、３台のカメラがあり、３枚の単写真画像が撮影され、３枚の単写真画像を合成することでパノラマ画像が得られている。投影球は、仮想的に設定されるもので、実際にそこに球面状の投影面があるとの設定の基に投影画像が形成される。

【0016】

図１の場合、パノラマ画像の視点は、投影球の中心になるが、パノラマ画像を構成する３枚の画像のそれぞれの視点は、投影球の中心に一致しない。したがって、厳密に見ると、像の歪みが発生する。また、２枚の画像の重複部分において、像のズレが発生する。パノラマ画像を周囲の大凡の展望を得るための画像として用いる場合、上記の現象は大きな問題とならないが、画像を用いた計測や画像に基づく図面の作成といった作業を行う場合、上記の現象が問題となる。

【0017】

そこで、上記の問題を解決する方法として、パノラマ画像の中の特定の点や領域が指定された場合に、指定された点や領域を含む単写真（パノラマ画像を構成する複数の静止画像の中の１枚）を選択し、当該単写真画像に表示を切り替える。この場合、パノラマ画像の視点（投影球の中心）から当該単写真画像を撮影した視点へと視点が変更される。単写真は、上述したパノラマ画像を得るための画像合成に伴う像の歪み、ズレといった問題がないので計測等の利用に耐える画像が得られる。

【0018】

図２には、図１のパノラマ画像から単写真画像に切り替えた状態が示されている。この場合、図１における視線の方向が検出され、その方向に最も近い視線（向き）を有する単写真画像が選択される。図２には、その際に視点がＣ０→Ｃ１に変更され、パノラマ画像から単写真画像への変更（切替）が行なわれた状態が示されている。

【0019】

（ハードウェアの構成）
図３には、実施形態のブロック図が示されている。図３には、画像処理装置１００、全周カメラ２００、レーザスキャナ３００および表示装置４００が示されている。

【0020】

画像処理装置１００は、コンピュータとして機能し、後述する機能部を有する。全周カメラ２００は、全方位撮影用多眼カメラであり、上方と周囲３６０°の撮影を行う。この例において、全周カメラ２００は、６台のカメラを備えている。６台のカメラの内、５台のカメラは、水平方向に向けられ鉛直上方から見て等角な角度位置（７２°毎）に配置されている。また、残りの１台のカメラは、鉛直上方（仰角９０°）に向けられている。これら６台のカメラは、画角（撮影範囲）が一部重複するように設定されている。この６台のカメラから得られる静止画像を合成することでパノラマ画像が得られる。

【0021】

全周カメラ２００において、各カメラの向きと位置の相対位置関係は予め調べられ、既知となっている。また、物理的な問題から、各カメラの視点（投影中心）の位置は一致していない。全周カメラについては、例えば、特開２０１２−２０４９８２号公報や特開２０１４−７１８６０号公報に記載されている。全周カメラ２００として市販品を用いることもできる。市販されている全周カメラとしては、Point Grey社製の商品名Ladybug3等がある。なお、全周カメラの代わりに回転機構を有するカメラを用いて撮影方向の違う複数の静止画像を得、この複数の静止画像を合成してパノラマ画像を得る形態も利用可能である。勿論、パノラマ画像は、全周画像に限定されず、特定の角度範囲におけるものであってもよい。全周カメラ２００から異なる方向を撮影した複数の静止画像の画像データは、画像処理装置１００に送られる。

【0022】

６台のカメラは、特定のタイミングで同時に静止画像を撮影する。撮影は、特定の時間間隔でもって行なうことも可能である。例えば、時差をもって６台のカメラを順次動作させ、得られた画像を合成することで全周画像を得ることも可能である。また、動画を撮影する形態も可能である。動画を撮影する場合、動画を構成するフレーム画像（例えば、１秒間に３０枚撮影されるフレーム画像）が静止画像として取り扱われる。

【0023】

レーザスキャナ３００は、対象物にレーザ光を照射し、その反射光を検出することで、対象物までの方向と距離を検出する。レーザスキャナ３００は、レーザ照射部と反射光受光部を上下左右に首を振るように動かしながら、全周カメラ２００の撮影範囲と同じ範囲のレーザスキャンを行う。レーザスキャナについては、特開２００８―２６８００４号公報や２０１０−１５１６８２号公報に記載されている。

【0024】

レーザスキャナ３００と全周カメラ２００の位置関係と向きの関係は予め取得されており、既知である。レーザスキャナ３００が取得する点群位置データの座標系は、絶対座標系であってもよい、相対座標系におけるものであってもよい。絶対座標系というのは、ＧＮＳＳ等を用いて測定した位置を記述する座標系である。相対座標系というのは、全周カメラ２００の機械中心やその他適当な位置を原点として記述される座標系である。

【0025】

表示装置４００は、液晶ディスプレイ等の画像表示装置である。表示装置４００として、タブレットやパーソナルコンピュータのディスプレイを利用することができる。表示装置４００には、画像処理装置１００で処理された画像のデータが送られ、その画像の表示が行なわれる。

【0026】

図３には、画像処理装置１００が備える各機能部が示されている。画像処理装置１００は、ＣＰＵ、電子メモリやハードディスク装置等の各種の記憶装置、各種の演算回路、インターフェース回路を備え、後述する機能を実行するコンピュータとしての機能を有している。画像処理装置１００は、画像データ受付部１０１、パノラマ画像形成部１０２、指定受付部１０３、視線検出部１０４、単写真画像選択部１０５、表示画像制御部１０６、点群位置データ取得部１０７、画像と点群画像の合成部１０８および三次元位置算出部１０９を備えている。

【0027】

これらの機能部は、ソフトウェア的な構成（プログラムがＣＰＵによって実行されることで実現される構成）であってもよいし、専用の回路によって構成されていてもよい。また、ソフトウェア的に構成された機能部と、専用の回路によって構成された機能部が混在していてもよい。例えば、図示する各機能部は、ＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などのＰＬＤ（Programmable Logic Device）などの電子回路の１または複数の組み合わせにより構成されている。

【0028】

画像処理装置１００を構成する各機能部を専用のハードウェアで構成するのか、ＣＰＵにおけるプログラムの実行によりソフトウェア的に構成するのかは、要求される演算速度、コスト、消費電力等を勘案して決定される。例えば、特定の機能部をＦＰＧＡで構成すれば、処理速度の上では優位であるが高コストとなる。他方で、ＣＰＵでプログラムを実行することで特定の機能部を実現する構成は、ハードウェア資源を節約できるので、コスト的に優位となる。しかしながら、ＣＰＵで機能部を実現する場合、処理速度は、専用のハードウェアに比較して見劣りする。また、ＣＰＵで機能部を実現する場合、複雑な演算に対応できない場合もあり得る。なお、機能部を専用のハードウェアで構成することとソフトウェア的に構成することは、上述した違いはあるが、特定の機能を実現するという観点からは、等価である。

【0029】

以下、画像処理装置１００が備える各機能部について説明する。画像データ受付部１０１は、全周カメラ２００が撮影した静止画像の画像データを受け付ける。具体的には、全周カメラ２００が備える６台のカメラが撮影した静止画像の画像データが画像データ受付部１０１で受け付けられる。この６台のカメラが撮影した静止画像のそれぞれが単写真画像となる。

【0030】

パノラマ画像形成部１０２は、投影球を設定し、この投影球の内周面に画像データ受付部１０１が受け付けた６枚の静止画像（単写真画像）を投影する。この投影球への投影により、６枚の静止画像が合成されたパノラマ画像が得られる。このパノラマ画像は、投影球の中心から見る状態となる。投影球の半径は、予め定めた特定の値あるいは無限遠が採用される。投影球の中心の位置は、例えば全周カメラ２００の機械的な重心の位置やその他扱いやすい位置が採用される。

【0031】

指定受付部１０３は、パノラマ画像形成部１０２で形成した合成画像（パノラマ画像）における着目点の指定を受け付ける。例えば、重複する対象を撮影した２枚の静止画像を合成したパノラマ画像があり、そのパノラマ画像がＰＣ（パーソナルコンピュータ）の画面上に表示されている場合を考える。この場合、ユーザは、当該ＰＣのＧＵＩ（グラフィカル・ユーザ・インターフェース）を操作して、拡大表示したい点を注目点として指定する。この操作内容に係るデータの受け付けが指定受付部１０３において行われる。

【0032】

視線検出部１０４は、投影球の中心（パノラマ画像の視点）から指定受付部１０３が受け付けた着目点への視線を検出する。この例では、投影球の中心から着目点へのベクトルを算出する。全周カメラ２００を構成する各カメラの外部標定要素の相対的な関係は予め既知であるので、投影球の中心から投影球の内周面上で指定された着目点へのベクトルを算出することができる。具体的には、まず、投影球面上における着目点の座標を取得する。次に投影球面の中心と取得した着目点の座標位置とを結ぶベクトルを設定する。このベクトルがパノラマ画像における着目点への視線となる。

【0033】

単写真画像選択部１０５は、視線検出部１０４が検出した視線に最も近い視線を有した単写真画像を選択する。単写真画像の視線は、当該単写真画像の画面に垂直な方向として取得される。単写真画像の視線は、当該単写真画像の視点から当該単写真画像の画角の中心（撮影視野の中心）に向かう方向として取得してもよい。

【0034】

単写真画像選択部１０５では、以下の処理が行なわれる。まず、複数ある単写真画像それぞれの視線の方向を取得する。次に、パノラマ画像における着目点への視線の方向と単写真画像における着目点への視線の方向とを比較し、着目点への視線の方向に最も近い視線の方向を有した単写真画像を選択する。パノラマ画像の視点と単写真画像の視点とは異なるが、その差は、着目点までの距離に比較して小さいので、上記の処理により、着目点が極力画角の中心に近い位置にある単写真画像が選択される。

【0035】

表示画像制御部１０６は、パノラマ画像形成部１０２が作成したパノラマ画像と単写真画像選択部１０５が選択した単写真画像の一方または両方の画像データを表示装置４００に表示させるための制御を行う。画像表示の形態としては、パノラマ画像と単写真画像の内のユーザが選択した方の画像を表示する形態、画面を分割し両方を表示する形態が挙げられる。また、表示画像制御部１０６は、単写真画像の切り替えに係る制御を行う。

【0036】

点群位置データ取得部１０７は、レーザスキャナ３００が計測した三次元点群位置データを取得する。画像と点群画像の合成部１０８は、パノラマ画像と三次元点群位置データとを合成した画像（画像と点群の合成画像）を作成する。

【0037】

点群位置データでは、レーザスキャナ３００から見た点群を構成する各点の方向が判るので、レーザスキャナ３００から見た各点を投影球の内周面に投影すると、その投影点を画素とした点群画像（点群により構成された２次元画像）が作成できる。この点群画像は、点で構成された画像であり、通常の静止画像と同様に扱うことができる。

【0038】

ここで、全周カメラ２００とレーザスキャナ３００の相対位置関係と相対的な向きの関係は予め取得され既知である。よって、全周カメラ２００を構成する６台のカメラの画像を合成する方法と同じ方法で、全周カメラ２００のカメラが撮影した静止画像と上記の点群画像とは重ね合わせることができる。この原理により、全周カメラ２００が撮影した複数の静止画像を組み合わせることで得られるパノラマ画像と上記の点群画像とを重ね合わせることができ、カメラが撮影した画像から得たパノラマ画像と点群のデータとを重ねた合成画像が得られる。この処理が画像と点群画像の合成部１０８において行われる。画像と点群画像を重ねた合成画像の一例を図４に示す。

【0039】

三次元位置取得部１０９は、指定受付部１０３で指定された点（着目点）の三次元位置を点群位置データに基づいて取得する。具体的には、指定受付部１０３で指定された着目点の画面上の位置に対応する点群位置データの点が図４に例示される画像と点群の合成画像から取得される。そしてこの取得した点の三次元座標位置を点群位置データ取得部１０７が取得した点群位置データから取得する。なお、着目点に対応する点がない場合は、（１）近傍の点を選択し、その点の三次元位置を取得、（２）近傍の点の複数を選択し、その三次元位置の平均値を取得、（３）近傍の点の複数を選択し、更にそこから三次元位置が近い複数の点を選択し、その平均値を取得、といった方法で着目点の三次元座標の値を取得する。

【0040】

（処理の一例）
以下、図３の画像処理装置１００で実行される処理の手順の一例を説明する。以下において説明する処理を実行するプログラムは、画像処理装置１００内の記憶領域や適当な外部記憶媒体に記憶され、画像処理装置１００によって実行される。

【0041】

図５は、処理の手順の一例を示すフローチャートである。処理が開始されると、全周カメラ２００が撮影した画像データの受け付けが行なわれる（ステップＳ１０１）。この処理では、全周カメラ２００が備える６台のカメラが撮影した６枚の単写真画像の画像データの取得が行なわれる。この処理は、画像データ受付部１０１において行われる。

【0042】

次に、６枚の単写真画像を合成したパノラマ画像を作成する（ステップＳ１０２）。この処理では、投影球を設定し、その内周面に各単写真画像を投影し、パノラマ画像を作成する。この処理は、パノラマ画像形成部１０２において行われる。パノラマ画像を作成したら、その画像データを表示装置４００に送り、パノラマ画像を表示装置４００に表示する（ステップＳ１０３）。

【0043】

表示装置４００にパノラマ画像を表示している状態において、ユーザによりパノラマ画像上の特定の点が着目点として指定されるとステップＳ１０４の判定がＹＥＳとなり、ステップＳ１０５に進む。ユーザによる着目点の指定がない場合、ステップＳ１０３で表示したパノラマ画像の表示が継続される。

【0044】

ステップＳ１０５では、指定受付部１０４が受け付けた着目点への視線の方向（投影球の中心から着目点への方向）が検出される（ステップＳ１０５）。この処理は、視線検出部１０４において行われる。パノラマ画像における着目点への視線の方向を検出したら、この視線の方向に最も近い視線の方向を有する単写真画像を選択する（ステップＳ１０６）。

【0045】

この処理では、パノラマ画像上で指定された着目点への投影球中心からの方向が第１の方向として特定される。そして、各単写真画像の視点から画面中心への方向、言い換えると当該単写真画像の画面に垂直な方向が第２の方向として取得される。ここで、第２の方向は、複数（この場合は６枚）ある単写真画像毎にあるので、その中から、第１の方向に最も近い第２の方向を有する単写真画像が選択される。

【0046】

次に、ステップＳ１０６で選択した単写真画像の表示を行う（ステップＳ１０７）。この処理により、ステップＳ１０３で表示されたパノラマ画像からステップＳ１０６で選択された単写真画像への切り替えが行なわれる。次に、ユーザからのパノラマ画像への切り替えの指示が行なわれたか否か、が判定され（ステップＳ１０８）、パノラマ画像への切り替えの指示があれば、ステップＳ１０３以下の再度実行し、そうでなければステップＳ１０９に進む。

【0047】

ステップＳ１０７で表示された単写真画像の画面上でユーザにより着目点の指定位置が変更され、当該指定位置が表示画面の端に近づいた場合、ステップＳ１０９の判定がＹＥＳとなり、この時点で表示されている単写真画像に隣接する単写真画像に表示を切り替える（ステップＳ１１０）。この処理では、まずその時点で表示している単写真画像（単写真画像１）における着目点が隣接する単写真画像（単写真画像２）とオーバーラップする部分にあるのか否かが判定される。そして、着目点が当該オーバーラップ部分にある場合、着目点と画面中心からの距離が近いのが、単写真画像１なのか単写真画像２なのかを判定し、着目点と画面中心からの距離が近いのが単写真画像２である場合は、ステップＳ１０９の判定がＹＥＳとなり、単写真画像２に表示が切り替わる（ステップＳ１１０）。着目点と画面中心からの距離が近いのが単写真画像１である場合は、ステップＳ１０８の前の段階に戻り、ステップＳ１０７で表示された単写真画像がそのまま表示される。

【0048】

以下、図面を参照してステップＳ１０９からステップＳ１１０の処理の一例を説明する。図６にはカメラ１が撮影した単写真画像が表示された状態が示されている。図６において着目点の位置が図の時計回り方向に移動し、着目点がカメラ１とカメラ２における撮影範囲のオーバーラップ部分に移動した状態が図７に示されている。

【0049】

図７の状態では、着目点がカメラ１の撮影範囲の中心に近いので、カメラ１が撮影した単写真画像が依然として表示されている。そして、図７の状態から更に着目点が時計回り方向に移動した状態が図８に示されている。図８の場合、着目点がカメラ１の撮影範囲の中心よりもカメラ２の画角（撮影範囲）の中心に近いので、カメラ２が撮影した単写真画像に表示像が切り替わる。この場合、着目点の移動に伴い、カメラ１が撮影した単写真画像からカメラ２が撮影した単写真画像へと表示装置４００に表示されている画像が切り替わる。この場合、画像の切り替わりに対応して視点の位置が変更される。

【0050】

（パノラマ表示における表示範囲の変更）
表示装置４００にパノラマ画像の全体を映し出すことは現実的ではなく、通常は、パノラマ画像の一部が表示装置４００に表示される。図９には、その場合の一例が示されている。この場合、着目点は、表示された画面の中央に設定される。表示範囲を変更すると、着目点が球面上で動き、表示される範囲が変更される。図９の例では、パノラマ画像上で表示される範囲が移動する。この場合、視点の位置の変更は発生しない。

【0051】

（表示倍率を変更した場合の実例）
図１０（Ａ）には、低倍率なパノラマ表示の一例が示されている。図１０（Ａ）には、パノラマ表示で問題となる像のズレが現れている。図１０（Ｂ）には、図１０（Ａ）の状態で表示倍率を高めた場合が示されている。この場合もパノラマ表示で問題となる像のズレが現れている。図１０（Ｃ）には、図１０（Ｂ）のパノラマ表示において、その中央の付近に着目し、その着目点を含む単写真表示に切り替え、されに画像を拡大した場合が示されている。図１０（Ｃ）から分かるように、パノラマ画像から単写真表示に切り替えることで、パノラマ画像で問題となる像のズレが解消される。なお、図１０（Ｃ）の画像の全体がぼけているのは、カメラの性能の問題であり、より解像度の高いカメラを用いれば、鮮明な画像が得られる。

【0052】

（その他）
着目点の指定を受け付ける別の方法として、パノラマ画像をタッチパネルディスプレイに表示し、タッチペン等の当該ディスプレイへの接触により、着目点の指定を受け付ける方法が挙げられる。また、着目点の指定を受け付ける別の方法として、パノラマ画像を見ているユーザの視線を検出し、更にその視線と当該パノラマ画像の画像面との交点を検出し、その位置を指定位置として受け付ける方法が挙げられる。視線を検出する技術については、例えば、特開２０１５−１１８５７９号公報に記載されている。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】