特開 2023-28404 情報処理装置、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023028404

(43)【公開日】2023-03-03

(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム

(51)【国際特許分類】

   G06T 3/20 20060101AFI20230224BHJP

【ＦＩ】

G06T3/20

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2021134087

(22)【出願日】2021-08-19

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和３年度、国立研究開発法人科学技術振興機構、研究成果展開事業「リモートショッピングにおける形状誤認を防ぐ商品提示環境の開発」委託研究、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】801000027

【氏名又は名称】学校法人明治大学

(74)【代理人】

【識別番号】100106909

【弁理士】

【氏名又は名称】棚井 澄雄

(74)【代理人】

【識別番号】100126882

【弁理士】

【氏名又は名称】五十嵐 光永

(72)【発明者】

【氏名】杉原 厚吉

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057BA02

5B057BA23

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CC01

5B057CD03

5B057CD05

5B057CD11

5B057CE09

(57)【要約】      （修正有）

【課題】より適切な視点から第１画像を見せる情報処理装置、情報処理方法及びプログラムを提供する。
【解決手段】情報処理装置１は、取得部１１２が取得した第１の３５ｍｍ換算焦点距離を有する第１光学系により撮像された第１画像に基づいて、抽出部１１３で抽出又は推定部１１４で推定した第１の３５ｍｍ換算焦点距離に応じた情報として、生成部１１５で生成した第１画像を見る場合における視点に関連する視点関連情報を出力する。
【選択図】図１

【特許請求の範囲】

【請求項1】

第１の３５ｍｍ換算焦点距離を有する第１光学系により撮像された第１画像に基づいて、前記第１の３５ｍｍ換算焦点距離に応じた情報として、前記第１画像を見る場合における視点に関連する視点関連情報を出力する、
情報処理装置。

【請求項2】

前記視点関連情報を表示部に表示させる、
請求項１に記載の情報処理装置。

【請求項3】

前記第１画像に基づいて前記第１の３５ｍｍ換算焦点距離を推定し、推定した前記第１の３５ｍｍ換算焦点距離に応じた前記視点関連情報を出力する、
請求項１又は２に記載の情報処理装置。

【請求項4】

前記第１画像のメタデータから前記第１の３５ｍｍ換算焦点距離を示す焦点距離情報を抽出し、抽出した前記焦点距離情報が示す前記第１の３５ｍｍ換算焦点距離に応じた前記視点関連情報を出力する、
請求項１又は２に記載の情報処理装置。

【請求項5】

前記視点関連情報は、前記第１画像を見る場合に推奨される推奨視点を示す情報である、
請求項１から３のうちいずれか一項に記載の情報処理装置。

【請求項6】

前記視点関連情報は、表示部に表示されている前記第１画像の焦点距離を示す情報である、
請求項５に記載の情報処理装置。

【請求項7】

前記第１画像と、前記第１の３５ｍｍ換算焦点距離と、前記視点の向きを示す向き情報とに基づいて、前記第１の３５ｍｍ換算焦点距離よりも長い第２の３５ｍｍ換算焦点距離を有する第２光学系により、前記第１画像の撮像時の前記第１光学系における物体側主点の位置と同じ位置から前記向き情報が示す向きが撮像された場合の画像を、第２画像として生成し、生成した前記第２画像を前記視点関連情報として出力する、
請求項１から６のうちいずれか一項に記載の情報処理装置。

【請求項8】

前記第１の３５ｍｍ換算焦点距離と前記第２の３５ｍｍ換算焦点距離との比率を倍率として算出し、算出した前記倍率と、前記第１画像と、前記向き情報とに基づいて、前記第２画像を生成する、
請求項７に記載の情報処理装置。

【請求項9】

前記第２の３５ｍｍ換算焦点距離を受け付け、受け付けた前記第２の３５ｍｍ換算焦点距離に基づいて、前記第２画像を生成する、
請求項７又は８に記載の情報処理装置。

【請求項10】

前記第１の３５ｍｍ換算焦点距離は、広角レンズの３５ｍｍ換算焦点距離であり、
前記第２の３５ｍｍ換算焦点距離は、標準レンズの３５ｍｍ換算焦点距離である、
請求項７から９のうちいずれか一項に記載の情報処理装置。

【請求項11】

第１の３５ｍｍ換算焦点距離を有する第１光学系により撮像された第１画像に基づいて、前記第１の３５ｍｍ換算焦点距離に応じた情報として、前記第１画像を見る場合における視点に関連する視点関連情報を出力する、
情報処理方法。

【請求項12】

コンピューターに、
第１の３５ｍｍ換算焦点距離を有する第１光学系により撮像された第１画像に基づいて、前記第１の３５ｍｍ換算焦点距離に応じた情報として、前記第１画像を見る場合における視点に関連する視点関連情報を出力させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、情報処理装置、情報処理方法、及びプログラムに関する。

【背景技術】

【0002】

撮像装置により撮像された撮像画像に基づいて、撮像画像上に描写された像を所望の視点から見た場合の画像に変換する技術についての研究、開発が行われている。ここで、視点は、物体を見る人間の眼の位置のことを意味する。

【0003】

これに関し、インターホン装置の撮像部が撮像した被写体の撮像画像のデータを取得する画像取得部と、撮像画像に画像処理を施す画像処理部と、を備え、画像処理部は、撮像画像を変形させることで、被写体に対する撮像画像の視点を変換角度だけ変化させる視点変換歪み補正を行い、変換角度は、０度より大きく、鉛直面に対するインターホン装置の角度である傾斜角度より小さい、画像処理システムが知られている（特許文献１参照）。この画像処理システムは、上記のような画像処理を行うため、撮像される人の姿勢に関わらず、画像の歪みを抑制することができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－１７７５３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ここで、ある視点から人間が見る被写体の形状と、当該視点から撮像された撮像画像を見た場合に人間が認識する被写体の形状との間には、差がある。この差は、当該撮像画像が撮像された時の撮像素子（又は、撮像面）に対する像側主点の相対的な位置と、当該撮像画像に対する人間の眼の相対的な位置との間に差があるために生じる。この差が小さい場合、人間の脳がその差を補完することができるため、画像から被写体の形状を読み取るうえでの支障はない。しかし、差が大きい場合、人間の脳は、そのような補完ができず、実際と異なる形を知覚してしまうことが知られている。このような意味において、上記の２つの形状の間の差は、錯視の一種として捉えることもできる。そして、標準レンズにより撮像された撮像画像は、このような２つの形状の差が生じづらい。一方、広角レンズのように焦点距離が標準レンズの焦点距離よりも短いレンズは、このような２つの形状の差が生じやすい。

【0006】

このような２つの形状の差によって、広角レンズにより撮像された撮像画像上の被写体の形状は、現実の被写体の形状と違って見えてしまうことが多い。その結果、広告等において、被写体の形状が誤認されてしまうことがある。しかしながら、特許文献１に記載されたような従来の画像処理では、ある撮像画像が撮像された時の撮像素子に対する像側主点の相対的な位置と、当該撮像画像に対する人間の眼の相対的な位置との間の差を小さくすることができるわけではない。このため、当該画像処理では、広角レンズにより撮像された撮像画像上の被写体の形状が、現実の被写体の形状と違って見えてしまうことを解消することが困難な場合があった。なお、このような２つの形状の差が生じる問題は、広角レンズ以外のレンズにより撮像された撮像画像においても、少なからず生じる問題である。

【0007】

そこで本発明は、上記従来技術の問題に鑑みてなされたものであり、より適切な視点から第１画像を見せることができる情報処理装置、情報処理方法、及びプログラムを提供する。

【課題を解決するための手段】

【0008】

上述した課題の少なくとも１つを解決するために、本発明の一態様は、第１の３５ｍｍ換算焦点距離を有する第１光学系により撮像された第１画像に基づいて、前記第１の３５ｍｍ換算焦点距離に応じた情報として、前記第１画像を見る場合における視点に関連する視点関連情報を出力する、情報処理装置である。

【0009】

また、本発明の一態様は、情報処理装置において、前記視点関連情報を表示部に表示させる、構成が用いられてもよい。

【0010】

また、本発明の一態様は、情報処理装置において、前記第１画像に基づいて前記第１の３５ｍｍ換算焦点距離を推定し、推定した前記第１の３５ｍｍ換算焦点距離に応じた前記視点関連情報を出力する、構成が用いられてもよい。

【0011】

また、本発明の一態様は、情報処理装置において、前記第１画像のメタデータから前記第１の３５ｍｍ換算焦点距離を示す焦点距離情報を抽出し、抽出した前記焦点距離情報が示す前記第１の３５ｍｍ換算焦点距離に応じた前記視点関連情報を出力する、構成が用いられてもよい。

【0012】

また、本発明の一態様は、情報処理装置において、前記視点関連情報は、前記第１画像を見る場合に推奨される推奨視点を示す情報である、構成が用いられてもよい。

【0013】

また、本発明の一態様は、情報処理装置において、前記視点関連情報は、表示部に表示されている前記第１画像の焦点距離を示す情報である、構成が用いられてもよい。

【0014】

また、本発明の一態様は、情報処理装置において、前記第１画像と、前記第１の３５ｍｍ換算焦点距離と、前記視点の向きを示す向き情報とに基づいて、前記第１の３５ｍｍ換算焦点距離よりも長い第２の３５ｍｍ換算焦点距離を有する第２光学系により、前記第１画像の撮像時の前記第１光学系における物体側主点の位置と同じ位置から前記向き情報が示す向きが撮像された場合の画像を、第２画像として生成し、生成した前記第２画像を前記視点関連情報として出力する、構成が用いられてもよい。

【0015】

また、本発明の一態様は、情報処理装置において、前記第１の３５ｍｍ換算焦点距離と前記第２の３５ｍｍ換算焦点距離との比率を倍率として算出し、算出した前記倍率と、前記第１画像と、前記向き情報とに基づいて、前記第２画像を生成する、構成が用いられてもよい。

【0016】

また、本発明の一態様は、情報処理装置において、前記第２の３５ｍｍ換算焦点距離を受け付け、受け付けた前記第２の３５ｍｍ換算焦点距離に基づいて、前記第２画像を生成する、構成が用いられてもよい。

【0017】

また、本発明の一態様は、情報処理装置において、前記第１の３５ｍｍ換算焦点距離は、広角レンズの３５ｍｍ換算焦点距離であり、前記第２の３５ｍｍ換算焦点距離は、標準レンズの３５ｍｍ換算焦点距離である、構成が用いられてもよい。

【0018】

また、本発明の一態様は、第１の３５ｍｍ換算焦点距離を有する第１光学系により撮像された第１画像に基づいて、前記第１の３５ｍｍ換算焦点距離に応じた情報として、前記第１画像を見る場合における視点に関連する視点関連情報を出力する、情報処理方法である。

【0019】

また、本発明の一態様は、コンピューターに、第１の３５ｍｍ換算焦点距離を有する第１光学系により撮像された第１画像に基づいて、前記第１の３５ｍｍ換算焦点距離に応じた情報として、前記第１画像を見る場合における視点に関連する視点関連情報を出力させる、プログラムである。

【発明の効果】

【0020】

本発明によれば、より適切な視点から第１画像を見せることができる。

【図面の簡単な説明】

【0021】

【図1】情報処理装置１の構成の一例を示す図である。

【図2】情報処理装置１が視点関連情報を出力する処理の具体例１の流れの一例を示す図である。

【図3】サムネイル選択画像の一例を示す図である。

【図4】第１画像表示画像の一例を示す図である。

【図5】第１画像表示画像上に表示された視点関連情報の一例を示す図である。

【図6】情報処理装置１が行う処理の具体例２の流れの一例を示す図である。

【図7】第１画像表示画像上に表示された視点関連情報の他の例を示す図である。

【図8】情報処理装置１が視点関連情報を出力する処理の具体例３の流れの一例を示す図である。

【図9】第２画像表示画像の一例を示す図である。

【図10】三次元空間ＶＳ内に配置された第１画像の一例を示す図である。

【図11】平面ＰＢの点Ｐ周りの回転が球面上に沿った回転であることを視覚的に見せるための図である。

【図12】画像ＰＡの一例を示す図である。

【図13】情報処理装置１により生成される第２画像の一例を示す図である。

【図14】情報処理装置１により生成される第２画像の他の例を示す図である。

【発明を実施するための形態】

【0022】

＜実施形態＞
以下、本発明の実施形態について、図面を参照して説明する。以下では、説明の便宜上、ある撮像画像を見る観察者（すなわち、人間）の眼の位置のことを、当該撮像画像の視点と称して説明する。当該眼の位置は、例えば、当該観察者の両眼の中点の位置によって表されるが、これに限られるわけではない。また、以下では、説明の便宜上、ある撮像画像を撮像した光学系が有する３５ｍｍ換算焦点距離を、当該撮像画像の３５ｍｍ換算焦点距離と称して説明する。また、以下では、説明の便宜上、ある撮像画像の３５ｍｍ換算焦点距離に、当該撮像画像のサイズを３５ｍｍ判のサイズによって除した比率を倍率として乗算して得られる距離のことを、当該撮像画像の焦点距離と称して説明する。また、以下では、説明の便宜上、ある撮像画像の視点と当該撮像画像との相対的な位置関係が、当該撮像画像を撮像した光学系における撮像素子（又は、撮像面）と当該光学系の像側主点との相対的な位置関係と、相似関係にあることを、当該撮像画像の視点が当該撮像画像の推奨視点と一致していると称して説明する。そして、以下では、説明の便宜上、当該撮像画像の視点が当該撮像画像の推奨視点と一致する場合における当該視点のことを、当該撮像画像の推奨視点と称して説明する。このため、あるサイズの撮像画像の視点が当該撮像画像の推奨視点と一致している場合、当該視点から当該撮像画像までの最短距離は、当該撮像画像の焦点距離と一致する。ここで、当該撮像画像の推奨視点は、当該撮像画像を見る場合に推奨される視点のことである。これは、当該撮像画像の視点が当該撮像画像の推奨視点と一致している場合、当該撮像画像の観察者が、当該撮像画像に描写されている被写体の形状を、現実の被写体の形状とほぼ同じ（又は、完全に同じ）形状として視認することができるからである。また、以下では、説明の便宜上、ある撮像画像の視点において、観察者の眼が向く方向、すなわち、視線方向のことを、当該視点の向きと称して説明する。なお、本実施形態では、ある撮像画像の焦点距離は、繰り出し量が含まれない概念であってもよく、繰り出し量が含まれる概念であってもよい。これは、一般的に、焦点距離に対して繰り出し量が無視できるほど短いためである。

【0023】

＜情報処理装置の概要＞
まず、実施形態に係る情報処理装置の概要について説明する。

【0024】

実施形態に係る情報処理装置は、第１の３５ｍｍ換算焦点距離を有する第１光学系により撮像された第１画像に基づいて、第１の３５ｍｍ換算焦点距離に応じた情報として、第１画像を見る場合における視点に関連する視点関連情報を出力する。これにより、実施形態に係る情報処理装置は、より適切な視点から第１画像を見せることができる。ここで、本実施形態において、ある撮像画像を見る場合における適切な視点は、当該撮像画像の推奨視点、又は、当該推奨視点近傍の視点のことである。当該推奨視点近傍の視点は、例えば、当該撮像画像の視点のうち、当該推奨視点を中心とした所定半径以内に含まれる視点のことであるが、これに限られるわけではない。また、所定半径は、例えば、数センチメートル程度であるが、これに限られるわけではない。

【0025】

以下では、実施形態に係る情報処理装置の構成と、当該情報処理装置が視点関連情報を出力する処理の具体例について詳しく説明する。

【0026】

＜情報処理装置の構成＞
以下、実施形態に係る情報処理装置の一例として情報処理装置１を例に挙げて、実施形態に係る情報処理装置の構成について説明する。

【0027】

図１は、情報処理装置１の構成の一例を示す図である。

【0028】

情報処理装置１は、例えば、ノートＰＣ、デスクトップＰＣ、タブレットＰＣ、多機能携帯電話端末（スマートフォン）、携帯電話端末、ＰＤＡ（Personal Digital Assistant）等であるが、これらに限られるわけではない。

【0029】

情報処理装置１は、受け付けた操作に応じて、１つ以上の撮像画像を表示する。情報処理装置１は、表示した１つ以上の撮像画像のうち、受け付けた操作により指定された撮像画像を見る場合における視点に関連する視点関連情報を出力する。視点関連情報は、例えば、当該撮像画像の推奨視点を示す情報であるが、当該推奨視点に基づいて生成された画像等、当該撮像画像の視点に関連する他の情報であってもよい。視点関連情報については、後述する。情報処理装置１は、当該操作により指定された撮像画像の焦点距離に基づいて、当該撮像画像に適した視点関連情報を生成する。このため、情報処理装置１のユーザーは、より適切な視点から当該撮像画像を見ることができる。換言すると、情報処理装置１は、より適切な視点から当該撮像画像を見せることができる。なお、情報処理装置１は、視点関連情報を情報処理装置１の表示部に出力して当該表示部に表示してもよく、視点関連情報を情報処理装置１の他の機能部に出力してもよく、視点関連情報を情報処理装置１と通信可能に接続された他の装置に出力してもよい。

【0030】

情報処理装置１は、制御部１１と、記憶部１２と、入力受付部１３と、通信部１４と、表示部１５と、検出部１６を備える。なお、情報処理装置１は、検出部１６を備えない構成であってもよい。また、情報処理装置１は、制御部１１と、記憶部１２と、入力受付部１３と、通信部１４と、表示部１５と、検出部１６とに加えて、他の部材、他の装置等を備える構成であってもよい。

【0031】

制御部１１は、情報処理装置１の全体を制御するプロセッサーであり、例えば、ＣＰＵ（Central Processing Unit）である。制御部１１は、記憶部１２に格納された各種のプログラムを実行する。例えば、制御部１１は、受付部１１１と、取得部１１２と、抽出部１１３と、推定部１１４と、生成部１１５と、通信制御部１１６と、表示制御部１１７を備える。制御部１１が備えるこれらの機能部は、例えば、制御部１１が、記憶部１２に記憶された各種のプログラムを実行することにより実現される。なお、これらの機能部のうちの一部又は全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア機能部であってもよい。また、制御部１１が有する機能のうちの一部又は全部は、ＣＰＵに代えて、ＦＰＧＡ（Field Programmable Gate Array）等の他のプロセッサーであってもよい。

【0032】

受付部１１１は、ユーザーからの操作を受け付ける。例えば、受付部１１１は、表示部１５に表示された１枚以上のサムネイルのうちのいずれか１枚を選択する操作（例えば、クリック、タップ等）を、選択操作として受け付ける。本実施形態において、あるサムネイルは、当該サムネイルに対応付けられた撮像画像を示す画像である。

【0033】

取得部１１２は、受付部１１１により選択操作が受け付けられた場合、選択操作により選択されたサムネイルが示す撮像画像を取得する。例えば、取得部１１２は、選択操作により選択されたサムネイルが示す撮像画像が記憶部１２に記憶されている撮像画像である場合、当該撮像画像を記憶部１２から読み出し、当該撮像画像を取得する。また、例えば、取得部１１２は、選択操作により選択されたサムネイルが示す撮像画像がネットワーク上のサーバーに記憶されている場合、通信部１４を介してネットワーク上のサーバーから当該撮像画像を取得する。以下では、説明の便宜上、取得部１１２が記憶部１２から当該撮像画像を取得することと、通信部１４を介してネットワーク上のサーバーから当該撮像画像を取得することとを区別する必要がない限り、まとめて取得部１１２が当該撮像画像を取得すると称して説明する。

【0034】

抽出部１１３は、取得部１１２により取得された撮像画像のメタデータを当該撮像画像から抽出する。当該メタデータには、当該撮像画像の３５ｍｍ換算焦点距離を示す焦点距離情報が含まれていてもよく、当該焦点距離情報が含まれていなくてもよい。

【0035】

推定部１１４は、取得部１１２により取得された撮像画像に基づいて、当該撮像画像の３５ｍｍ換算焦点距離を推定する。推定部１１４による当該撮像画像の３５ｍｍ換算焦点距離の推定方法は、既知の方法（例えば、機械学習のモデルを用いた方法等）であってもよく、これから開発される方法であってもよい。

【0036】

生成部１１５は、抽出部１１３により抽出された焦点距離情報が示す３５ｍｍ換算焦点距離、又は、推定部１１４により推定された３５ｍｍ換算焦点距離に基づいて、取得部１１２により取得された撮像画像の視点に関連する視点関連情報を生成する。

【0037】

通信制御部１１６は、通信部１４を介した通信を制御する。

【0038】

表示制御部１１７は、ユーザーから受け付けた操作に応じた各種の画像を生成する。表示制御部１１７は、生成した画像を表示部１５に表示させる。

【0039】

記憶部１２は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を含む。なお、記憶部１２は、情報処理装置１に内蔵されるものに代えて、ＵＳＢ（Universal Serial Bus）等のデジタル入出力ポート等によって接続された外付け型の記憶装置であってもよい。記憶部１２は、情報処理装置１が処理する各種の情報、各種の画像、各種のプログラムを記憶する。

【0040】

入力受付部１３は、例えば、キーボード、マウス、タッチパッド等の入力装置である。なお、入力受付部１３は、表示部１５と一体に構成されたタッチパネルであってもよい。

【0041】

通信部１４は、例えば、ＵＳＢ等のデジタル入出力ポート、イーサネット（登録商標）ポート等を含んで構成される。

【0042】

表示部１５は、前述の情報処理装置１の表示部の一例である。表示部１５は、例えば、液晶ディスプレイパネル、有機ＥＬ（ElectroLuminescence）ディスプレイパネル等を備えた表示装置である。

【0043】

検出部１６は、表示部１５を見る観察者の眼を検出し、検出部１６から当該観察者の眼までの距離を検出するセンサーである。検出部１６による当該距離の検出方法は、既知の方法であってもよく、これから開発される方法であってもよい。

【0044】

＜情報処理装置が視点関連情報を出力する処理の具体例１＞
以下、情報処理装置１が視点関連情報を出力する処理の具体例１について説明する。図２は、情報処理装置１が視点関連情報を出力する処理の具体例１の流れの一例を示す図である。以下では、一例として、図２に示したステップＳ１１０の処理が行われるよりも前のタイミングにおいて、Ｎ枚のサムネイルの中からユーザーが所望する撮像画像に対応付けられたサムネイルを選択するサムネイル選択画像が表示部１５に表示されている場合について説明する。すなわち、サムネイル選択画像は、ユーザーにより選択可能なＮ枚のサムネイルを含む画像のことである。ここで、Ｎは、１以上の整数であれば、如何なる整数であってもよい。また、Ｎ枚のサムネイルのそれぞれは、互いに異なる撮像画像を示すサムネイルであれば、如何なるサムネイルであってもよい。以下では、一例として、Ｎ枚のサムネイルのそれぞれが、広角レンズを有する光学系により撮像された撮像画像を示す場合について説明する。また、以下では、一例として、Ｎ枚のサムネイルのそれぞれが示す撮像画像のサイズが、予め決められた第１サイズである場合について説明する。なお、第１サイズは、３５ｍｍ判の撮像画像と相似形状の撮像画像のサイズであれば、如何なるサイズであってもよい。

【0045】

受付部１１１は、サムネイル選択画像に含まれるＮ枚のサムネイルのうちのいずれかを選択する選択操作が行われるまで待機する（ステップＳ１１０）。ここで、図３は、サムネイル選択画像の一例を示す図である。図３に示した画像Ｐ１は、サムネイル選択画像の一例である。また、図３に示したサムネイルＰ１１～サムネイルＰ１ＮのＮ枚のサムネイルのそれぞれは、サムネイル選択画像に含まれるＮ枚のサムネイルそれぞれの一例である。画像Ｐ１は、例えば、賃貸マンション等の住戸の賃貸契約を補助するウェブサイトにおいて１枚以上のサムネイルを表示する領域を有するウェブページである。この場合、画像Ｐ１に含まれるＮ枚のサムネイルのそれぞれは、賃貸マンション等の住戸内が撮像された撮像画像を示すサムネイルである。なお、画像Ｐ１は、当該ウェブページに代えて、選択可能なＮ枚のサムネイルを含む他の画像であってもよい。また、画像Ｐ１は、Ｎ枚のサムネイルを含む画像に代えて、Ｎ枚のサムネイルのそれぞれが示す撮像画像自体を含む画像であってもよい。

【0046】

取得部１１２は、サムネイル選択画像に含まれるＮ枚のサムネイルのうちのいずれかを選択する選択操作が行われたと受付部１１１が判定した場合（ステップＳ１１０－ＹＥＳ）、選択操作により選択されたサムネイルが示す撮像画像を、第１画像として取得する（ステップＳ１２０）。このように、第１画像は、Ｎ枚のサムネイルの中から選択された１枚の撮像画像である。しかしながら、前述した通り、画像Ｐ１は、Ｎ枚のサムネイルを含む画像に代えて、Ｎ枚のサムネイルのそれぞれが示す撮像画像自体を含む画像であってもよい。この場合、第１画像は、Ｎ枚の撮像画像の中から選択された１枚の撮像画像である。また、この場合、表示部１５に予め表示されている画像は、サムネイル選択画像ではなく、Ｎ枚の撮像画像を含む撮像画像選択画像である。

【0047】

次に、表示制御部１１７は、ステップＳ１２０において取得部１１２により取得された第１画像を表示する第１画像表示画像を生成する（ステップＳ１３０）。

【0048】

次に、表示制御部１１７は、ステップＳ１３０において生成した第１画像表示画像を表示部１５に表示させる（ステップＳ１４０）。ここで、図４は、第１画像表示画像の一例を示す図である。図４に示した画像Ｐ２は、第１画像表示画像の一例である。また、図４に示した画像Ｐ２に含まれる画像Ｐ２１は、第１画像の一例である。

【0049】

次に、抽出部１１３は、ステップＳ１２０において取得部１１２により取得された第１画像のメタデータを、第１画像から抽出する（ステップＳ１５０）。ステップＳ１５０において抽出部１１３が第１画像からメタデータを抽出する方法は、既知の方法であってもよく、これから開発される方法であってもよい。

【0050】

次に、抽出部１１３は、ステップＳ１５０において抽出したメタデータの中に、焦点距離情報が含まれているか否かを判定する（ステップＳ１６０）。ここで、第１画像のメタデータに含まれる焦点距離情報は、第１画像の３５ｍｍ換算焦点距離を示す情報のことである。

【0051】

抽出部１１３は、ステップＳ１５０において抽出したメタデータの中に、焦点距離情報が含まれていると判定した場合（ステップＳ１６０－ＹＥＳ）、当該メタデータの中から焦点距離情報を抽出し（ステップＳ１７０）し、ステップＳ１８０に遷移する。

【0052】

一方、推定部１１４は、ステップＳ１５０において抽出部１１３により抽出されたメタデータの中に、焦点距離情報が含まれていないと抽出部１１３が判定した場合（ステップＳ１６０－ＮＯ）、ステップＳ１２０において取得部１１２により取得された第１画像の３５ｍｍ換算焦点距離を推定（ステップＳ２００）し、ステップＳ１８０に遷移する。

【0053】

ステップＳ１８０において、生成部１１５は、ステップＳ１７０の処理による抽出された焦点距離情報が示す３５ｍｍ換算焦点距離、又は、ステップＳ２００の処理により推定された３５ｍｍ換算焦点距離に基づいて、第１画像についての視点関連情報を生成する（ステップＳ１８０）。ここで、当該視点関連情報は、ステップＳ１２０において取得部１１２により取得された第１画像を見る場合における第１画像の視点に関連する情報のことである。図２に示した例では、当該視点関連情報は、第１画像表示画像上に表示された第１画像の焦点距離を示す情報である。この場合、当該視点関連情報は、第１画像の推奨視点を示す情報でもある。何故なら、当該焦点距離を示す情報は、第１画像を撮像した光学系における撮像素子（又は、撮像面）と、当該光学系の像側主点との相対的な位置関係を幾何学的に一意に示すことが可能な情報だからである。これについては、基礎的な光学により説明可能な内容であるため、説明を省略する。当該焦点距離を示す情報が当該視点関連情報として情報処理装置１から出力された場合、情報処理装置１のユーザーは、情報処理装置１から出力された当該視点関連情報に基づいて、第１画像の視点を、第１画像の推奨視点、又は、第１画像の推奨視点近傍の視点に一致させることができる。その結果、情報処理装置１のユーザーは、第１画像に描写されている被写体の形状を、現実の被写体の形状と完全に同じ（又は、ほぼ同じ）形状として視認することができる。ステップＳ１８０において、生成部１１５は、ステップＳ１７０の処理によって焦点距離情報が抽出されている場合、表示部１５に現在表示されている第１画像のサイズである第１サイズを、３５ｍｍ判のサイズによって除した比率を第１倍率として算出する。そして、生成部１１５は、算出した第１倍率を、第１画像のメタデータに含まれていた焦点距離情報が示す３５ｍｍ換算焦点距離（すなわち、第１画像を撮像した光学系の焦点距離）に乗算した距離を、表示部１５に現在表示されている第１画像の焦点距離（すなわち、表示部１５の表示面上における第１画像のサイズに応じた第１画像の焦点距離）として算出し、算出した焦点距離を示す情報を、当該視点関連情報として生成する。一方、ステップＳ１８０において、生成部１１５は、ステップＳ２００の処理によって第１画像の３５ｍｍ換算焦点距離が推定されている場合、前述の第１倍率を算出する。生成部１１５は、算出した第１倍率を、ステップＳ２００の処理によって推定された第１画像の３５ｍｍ換算焦点距離（すなわち、第１画像を撮像した光学系の焦点距離）に乗算した距離を、表示部１５に現在表示されている第１画像の焦点距離（すなわち、表示部１５の表示面上における第１画像のサイズに応じた第１画像の焦点距離）として算出し、算出した焦点距離を示す情報を、当該視点関連情報として生成する。

【0054】

次に、表示制御部１１７は、ステップＳ１８０において生成部１１５により生成された視点関連情報を、第１画像表示画像（例えば、図４に示した画像Ｐ２）上に表示させ（ステップＳ１９０）、図２に示したフローチャートの処理を終了する。ここで、図５は、第１画像表示画像上に表示された視点関連情報の一例を示す図である。図５に示した例では、第１画像表示画像上に表示されている第１画像の一例である画像Ｐ２１についての視点関連情報は、文字列Ｄ１の一部として画像Ｐ２上に表示されている。具体的には、文字列Ｄ１、すなわち、「注：画像の中心からｘｘｘセンチメートル離れた位置から画像をご覧下さい。」の一部である「ｘｘｘセンチメートル」が、図２に示したフローチャートの処理において出力された視点関連情報の一例である。このような文字列Ｄ１を表示部１５に表示させることにより、情報処理装置１は、より適切な視点から第１画像を見せることができる。なお、情報処理装置１では、ステップＳ１９０において、情報処理装置１が備える他の機能部、情報処理装置１と通信可能に接続された他の装置等に視点関連情報を通信制御部１１６が出力する構成であってもよい。

【0055】

＜情報処理装置が視点関連情報を出力する処理の具体例２＞
以下、情報処理装置１が視点関連情報を出力する処理の具体例２について説明する。当該具体例２では、情報処理装置１は、検出部１６により検出された距離に基づく視点関連情報を生成し、生成した視点関連情報を出力する。図６は、情報処理装置１が行う処理の具体例２の流れの一例を示す図である。以下では、一例として、図６に示したステップＳ２１０の処理が行われるよりも前のタイミングにおいて、前述のサムネイル選択画像が表示部１５に表示されている場合について説明する。

【0056】

受付部１１１は、サムネイル選択画像に含まれるＮ枚のサムネイルのうちのいずれかを選択する選択操作が行われるまで待機する（ステップＳ２１０）。

【0057】

取得部１１２は、サムネイル選択画像に含まれるＮ枚のサムネイルのうちのいずれかを選択する選択操作が行われたと受付部１１１が判定した場合（ステップＳ２１０－ＹＥＳ）、選択操作により選択されたサムネイルが示す撮像画像を、第１画像として取得する（ステップＳ２２０）。

【0058】

次に、表示制御部１１７は、ステップＳ２２０において取得部１１２により取得された第１画像を表示する第１画像表示画像を生成する（ステップＳ２３０）。

【0059】

次に、表示制御部１１７は、ステップＳ２３０において生成した第１画像表示画像を表示部１５に表示させる（ステップＳ２４０）。

【0060】

次に、抽出部１１３は、ステップＳ２２０において取得部１１２により取得された第１画像のメタデータを、第１画像から抽出する（ステップＳ２５０）。ステップＳ２５０において抽出部１１３が第１画像からメタデータを抽出する方法は、既知の方法であってもよく、これから開発される方法であってもよい。

【0061】

次に、抽出部１１３は、ステップＳ２５０において抽出したメタデータの中に、焦点距離情報が含まれているか否かを判定する（ステップＳ２６０）。

【0062】

抽出部１１３は、ステップＳ２５０において抽出したメタデータの中に、焦点距離情報が含まれていると判定した場合（ステップＳ２６０－ＹＥＳ）、当該メタデータの中から焦点距離情報を抽出し（ステップＳ２７０）、ステップＳ２８０に遷移する。

【0063】

一方、推定部１１４は、ステップＳ２５０において抽出部１１３により抽出されたメタデータの中に、焦点距離情報が含まれていないと抽出部１１３が判定した場合（ステップＳ２６０－ＮＯ）、ステップＳ１２０において取得部１１２により取得された第１画像の３５ｍｍ換算焦点距離を推定（ステップＳ３１０）し、ステップＳ２８０に遷移する。

【0064】

ステップＳ２８０において、生成部１１５は、検出部１６により検出された距離を示す距離情報を検出部１６から取得する（ステップＳ２８０）。ここで、検出部１６により検出された距離は、第１画像表示画像上に表示された第１画像から当該観察者の眼の位置までの距離と近似的に等しい。

【0065】

次に、生成部１１５は、ステップＳ２７０の処理により抽出された焦点距離情報が示す３５ｍｍ換算焦点距離、又は、ステップＳ３１０の処理により推定された３５ｍｍ換算焦点距離と、ステップＳ２８０の処理により取得された距離情報が示す距離とに基づいて、第１画像についての視点関連情報を生成する（ステップＳ２９０）。ステップＳ２９０において、生成部１１５は、ステップＳ２７０の処理によって焦点距離情報が抽出されている場合、表示部１５に現在表示されている第１画像のサイズである第１サイズを、３５ｍｍ判のサイズによって除した比率を第２倍率として算出する。その後、生成部１１５は、算出した第２倍率と、第１画像のメタデータに含まれていた焦点距離情報が示す３５ｍｍ換算焦点距離とを乗算した距離を、表示部１５に現在表示されている第１画像の焦点距離（すなわち、この時点での表示部１５の表示面上における第１画像のサイズに応じた第１画像の焦点距離）として算出する。そして、生成部１１５は、検出部１６から取得した距離情報が示す距離を、算出した第１画像の焦点距離によって除した比率を第３倍率として算出する。生成部１１５は、算出した第３倍率を、第１サイズに乗算することにより得られるサイズの第１画像（すなわち、検出部１６により検出された距離が第１画像の焦点距離と一致するようにサイズが変更された第１画像）を、第１画像についての視点関連情報として生成する。一方、ステップＳ２９０において、生成部１１５は、ステップＳ３１０の処理によって第１画像の３５ｍｍ焦点距離が推定されている場合、前述の第２倍率を算出する。生成部１１５は、算出した第２倍率と、推定されている第１画像の３５ｍｍ換算焦点距離とを乗算した距離を、表示部１５に現在表示されている第１画像の焦点距離（すなわち、この時点での表示部１５の表示面上における第１画像のサイズに応じた第１画像の焦点距離）として算出する。そして、生成部１１５は、検出部１６から取得した距離情報が示す距離を、算出した第１画像の焦点距離によって除した比率を第３倍率として算出する。生成部１１５は、算出した第３倍率を、第１サイズに乗算することにより得られるサイズの第１画像（すなわち、検出部１６により検出された距離が第１画像の焦点距離と一致するようにサイズが変更された第１画像）を、第１画像についての視点関連情報として生成する。以上のように、ステップＳ２９０において、情報処理装置１は、検出部１６により検出された観察者の眼の位置が、第１画像の推奨視点近傍の視点となるように、第１画像のサイズを第１サイズから変更する。これにより、情報処理装置１は、より適切な視点から第１画像を見せることができる。

【0066】

ステップＳ２９０の処理が行われた後、表示制御部１１７は、第１画像表示画像上に表示されている第１画像を、ステップＳ２９０において生成部１１５によりサイズが変更された後の第１画像に置き換える。すなわち、表示制御部１１７は、ステップＳ２９０の処理が行われた後、ステップＳ２９０において生成部１１５によりサイズが変更された後の第１画像を、表示部１５に表示させ（ステップＳ３００）、図６に示したフローチャートの処理を終了する。ここで、図７は、第１画像表示画像上に表示された視点関連情報の他の例を示す図である。図７に示した画像Ｐ２２は、ステップＳ２９０においてサイズが変更された後の第１画像の一例である。図７に示した画像Ｐ２２と図４及び図５に示した画像Ｐ２１とを比較することにより、ステップＳ２９０において第１画像のサイズが第１サイズから変更されていることが分かる。なお、図７に示した例では、表示制御部１１７は、画像Ｐ２２とともに、「注：現在、画像からｘｘｘセンチメートル離れた位置から画像をご覧になっています。眼の位置を右へｙｙｙセンチメートル、下へｚｚｚセンチメートル移動させることを推奨します。」という文字列Ｄ２を画像Ｐ２上に表示させている。このような文字列Ｄ２を表示部１５に表示させることにより、情報処理装置１は、表示部１５に表示された第１画像を見る観察者に、現在の視点を報せることができるとともに、推奨視点への視点の移動を促すことができる。なお、情報処理装置１では、ステップＳ３００において、情報処理装置１が備える他の機能部、情報処理装置１と通信可能に接続された他の装置等に視点関連情報を通信制御部１１６が出力する構成であってもよい。また、情報処理装置１は、検出部１６による距離の検出を所定時間が経過する毎に行い、当該距離が変化する毎に、図６に示したフローチャートの処理を繰り返し行う構成であってもよい。この場合、情報処理装置１は、観察者の眼の位置が変化する毎に、第１画像のサイズを変更する。その結果、情報処理装置１は、より確実に、より適切な視点から第１画像を見せることができる。なお、この一例において、情報処理装置１は、検出部１６により眼の位置を検出しているため、ステップＳ２９０において生成部１１５によりサイズが変更された後の第１画像の表示されている位置を、表示部１５の表示面上において、検出部１６により検出した眼の位置に応じて、前述のｙｙｙセンチメートル、ｚｚｚセンチメートルのそれぞれがほぼ０センチメートルとなるように、左、右、上、下のうちの一部又は全部の方向へ移動させる構成であってもよい。この場合、表示制御部１１７は、画像Ｐ２２とともに、「注：現在、画像からｘｘｘセンチメートル離れた位置から画像をご覧になっています。」という文字列を、文字列Ｄ２に代えて画像Ｐ２上に表示させる。

【0067】

＜情報処理装置が視点関連情報を出力する処理の具体例３＞
以下、情報処理装置１が視点関連情報を出力する処理の具体例３について説明する。当該具体例３では、情報処理装置１は、選択操作により選択された第１画像についての視点関連情報として、第１画像の推奨視点に基づいて第１画像の一部が射影された第２画像を出力する。ここで、第２画像は、第１画像の一部として描写されている被写体が、第１画像を撮像した光学系の３５ｍｍ換算焦点距離よりも長い３５ｍｍ換算焦点距離の光学系により撮像された場合における撮像画像として生成される画像である。第１画像の３５ｍｍ換算焦点距離よりも長い３５ｍｍ換算焦点距離の撮像画像が表示部１５に表示される場合、表示部１５に表示された当該撮像画像の推奨視点は、当該撮像画像とともに表示部１５に表示されている第１画像の推奨視点よりも、表示部１５の表示面を観察している観察者の眼に近い。その結果、第２画像に描写された被写体の形状は、現実の被写体の形状に近い形状として第２画像の観察者に視認されやすい。そして、第２画像に描写される被写体は、前述した通り、第１画像に描写された被写体の一部である。従って、情報処理装置１は、第２画像を出力することにより、より適切な視点から第１画像の一部を見せることができる。また、当該具体例３では、情報処理装置１は、ユーザーから受け付けた操作に応じて、第２画像に射影する第１画像の一部を変化させる。このため、情報処理装置１は、当該操作に応じて、より適切な視点から第１画像の全部を見せることができる。以下では、一例として、第２画像の３５ｍｍ換算焦点距離が、標準レンズの３５ｍｍ換算焦点距離である場合について説明する。図８は、情報処理装置１が視点関連情報を出力する処理の具体例３の流れの一例を示す図である。以下では、一例として、図８に示したステップＳ４１０の処理が行われるよりも前のタイミングにおいて、前述のサムネイル選択画像が表示部１５に表示されている場合について説明する。

【0068】

受付部１１１は、撮像画像選択画像に含まれるＮ枚のサムネイルのうちのいずれかを選択する選択操作が行われるまで待機する（ステップＳ４１０）。

【0069】

取得部１１２は、撮像画像選択画像に含まれるＮ枚のサムネイルのうちのいずれかを選択する選択操作が行われたと受付部１１１が判定した場合（ステップＳ４１０－ＹＥＳ）、選択操作により選択されたサムネイルが示す撮像画像を、第１画像として取得する（ステップＳ４２０）。

【0070】

次に、表示制御部１１７は、ステップＳ４２０において取得部１１２により取得された第１画像を、後述するステップＳ５００において生成する第２画像とともに表示する第２画像表示画像を生成する（ステップＳ４３０）。

【0071】

次に、表示制御部１１７は、ステップＳ４３０において生成した第２画像表示画像を表示部１５に表示させる（ステップＳ４４０）。ここで、図９は、第２画像表示画像の一例を示す図である。図９に示した画像Ｐ３は、第２画像表示画像の一例である。また、図９に示した画像Ｐ３に含まれる画像Ｐ３１は、第１画像の一例である。また、図９に示した画像Ｐ３に含まれる画像Ｐ３２は、後述するステップＳ５００において情報処理装置１により生成される第２画像の一例である。以下では、一例として、第２画像のサイズが、第１画像と同じサイズ、すなわち、第１サイズである場合について説明する。また、図９に示した例では、画像Ｐ３には、ボタンＢＵ、ボタンＢＤ、ボタンＢＬ、ボタンＢＲの４つのボタンが含まれている。これら４つのボタンは、情報処理装置１が、視点の向きを示す向き情報を受け付けるためのＧＵＩ（Graphical User Interface）である。これら４つのボタンの詳細については、後述する。ステップＳ４４０の処理が行われた段階において、画像Ｐ３上には、画像Ｐ３１と、これら４つのボタンとが表示されているが、第２画像が生成されていないため、画像Ｐ３２が表示されていない。

【0072】

次に、抽出部１１３は、ステップＳ４２０において取得部１１２により取得された第１画像のメタデータを、第１画像から抽出する（ステップＳ４５０）。ステップＳ４５０において抽出部１１３が第１画像からメタデータを抽出する方法は、既知の方法であってもよく、これから開発される方法であってもよい。

【0073】

次に、抽出部１１３は、ステップＳ４５０において抽出したメタデータの中に、焦点距離情報が含まれているか否かを判定する（ステップＳ４６０）。

【0074】

抽出部１１３は、ステップＳ４５０において抽出したメタデータの中に、焦点距離情報が含まれていると判定した場合（ステップＳ４６０－ＹＥＳ）、当該メタデータの中から焦点距離情報を抽出し（ステップＳ４７０）、ステップＳ４８０に遷移する。

【0075】

一方、推定部１１４は、ステップＳ４５０において抽出部１１３により抽出されたメタデータの中に、焦点距離情報が含まれていないと抽出部１１３が判定した場合（ステップＳ４６０－ＮＯ）、ステップＳ４４０において取得部１１２により取得された第１画像の３５ｍｍ換算焦点距離を推定（ステップＳ５３０）し、ステップＳ４８０に遷移する。

【0076】

ステップＳ４８０において、生成部１１５は、ステップＳ４７０の処理による抽出された焦点距離情報が示す３５ｍｍ換算焦点距離、又は、ステップＳ５３０の処理により推定された３５ｍｍ換算焦点距離を、標準レンズの３５ｍｍ換算焦点距離によって除した比率を第４倍率として算出する（ステップＳ４８０）。

【0077】

次に、生成部１１５は、視点の向きを特定する（ステップＳ４９０）。ここで、生成部１１５は、初回のステップＳ４９０の処理の実行では、予め決められた基準となる向きを視点の向きとして特定する。また、生成部１１５は、２回目以降のステップＳ４９０の処理の実行では、前述の４つのボタンにより受け付けられた操作と、基準となる向きとに基づいて算出される向きを、視点の向きとして特定する。

【0078】

次に、生成部１１５は、ステップＳ４８０において算出した第４倍率と、ステップＳ４９０において特定した視点の向きとに基づいて、第２画像を生成する（ステップＳ５００）。ここで、第２画像の生成方法について説明する。

【0079】

生成部１１５は、仮想的な三次元空間ＶＳを記憶部１２の記憶領域内に生成する。生成部１１５は、三次元空間ＶＳ内に、第１サイズの第１画像を仮想的に配置する。この際、生成部１１５は、三次元空間ＶＳ内の位置を示す三次元直交座標系ＶＳＣにおけるｘｙ平面と平行に、且つ、三次元直交座標系ＶＳＣの原点と第１画像の中心とが一致するように、第１サイズの第１画像を三次元空間ＶＳ内に仮想的に配置する。ここで、当該ｘｙ平面は、三次元直交座標系ＶＳＣにおけるｘ軸及びｙ軸によって張られる面のことである。図１０は、三次元空間ＶＳ内に配置された第１画像の一例を示す図である。図１０に示した画像ＰＡは、三次元空間ＶＳ内に配置された第１画像の一例である。なお、図１０では、図が煩雑になるのを防ぐため、当該原点の符号による図示を省略している。また、図１０は、三次元直交座標系ＶＳＣにおけるｙｚ平面の第１象限側から三次元直交座標系ＶＳＣの原点に向かって画像ＰＡを見ている図である。このため、三次元直交座標系ＶＳＣのｙ軸と三次元直交座標系ＶＳＣのｚ軸とが重なっているように見えているが、これら２つの軸が実際に重なっているわけではない。また、図１０に示した点Ｐは、三次元空間ＶＳ内に配置されている第１画像の推奨視点、すなわち、画像ＰＡの推奨視点の一例を示す。生成部１１５は、第１画像の３５ｍｍ換算焦点距離と、３５ｍｍ判のサイズとに基づいて、三次元直交座標系ＶＳＣにおける点Ｐの位置を算出することができる。そして、生成部１１５は、三次元空間ＶＳ内に配置された画像ＰＡ上の領域のうち、算出した点Ｐから当該ｚ軸の負方向に向かって標準レンズを向けた場合の標準レンズの画角内に含まれる領域と重なる仮想的な平面を、三次元空間ＶＳ内に平面ＰＢとして生成する。この際、生成部１１５は、ステップＳ４８０において算出した第４比率を第１サイズに乗算することにより、平面ＰＢのサイズを算出する。

【0080】

生成部１１５は、三次元空間ＶＳ内において、点Ｐから平面ＰＢの中心までを結ぶ線分の長さを変えずに、平面ＰＢを点Ｐ周り回転させることができる。以下では、平面ＰＢとともに動き、平面ＰＢ上の位置を示す二次元直交座標系を、二次元直交座標系ＶＳＣ２と称して説明する。平面ＰＢの中心と画像ＰＡの中心とが重なっている場合、二次元直交座標系ＶＳＣ２のｘ軸の正方向は、三次元直交座標系ＶＳＣのｘ軸の正方向と一致する。このため、当該場合、二次元直交座標系ＶＳＣ２のｙ軸の正方向も、三次元直交座標系ＶＳＣのｙ軸の正方向と一致する。

【0081】

図１０に示した平面ＰＢ１は、三次元直交座標系ＶＳＣのｙ軸と平行な軸であって点Ｐを通る第１軸（この第１軸の正方向は、当該ｙ軸の正方向と一致している）周りに、平面ＰＢを角度αだけ回転させた場合に平面ＰＢが重なる平面である。なお、図１０に示した例では、第１軸の負方向に向かって第１軸を見た場合における第１軸を中心とする反時計回りを、この回転の正方向として規定している。ここで、図１０では、便宜的に、平面ＰＢ１上の位置を示す二次元直交座標系の座標を、（Ｘ’，Ｙ’）によって示している。

【0082】

また、図１０に示した平面ＰＢ２は、三次元直交座標系ＶＳＣのｘ軸と平行な軸であって点Ｐを通る第２軸（この第２軸の正方向は、当該ｘ軸の正方向と一致している）を第１軸周りに角度αだけ回転させた後の第２軸周りに、平面ＰＢ１と重なっている平面ＰＢを角度βだけ回転させた場合に平面ＰＢが重なる平面である。なお、図１０に示した例では、第２軸の正方向に向かって第２軸を見た場合における第２軸を中心とする時計回りを、この回転の正方向として規定している。

【0083】

ここで、図１０では、平面ＰＢ上のある位置Ｇを示す二次元直交座標系ＶＳＣ２の座標は、（Ｘ，Ｙ）によって示されている。そして、図１０では、点Ｐと位置Ｇとを通る直線が、三次元直交座標系ＶＳＣのＸＹ平面であって画像ＰＡを含むｘｙ平面と交差する位置を示す当該ｘｙ平面上の座標は、（ｘ，ｙ）によって示されている。この場合、座標（Ｘ，Ｙ）を座標（ｘ，ｙ）へ変換する座標変換は、以下の式（１）及び式（２）によって行うことができる。

【0084】

【数1】

【0085】

【数2】

【0086】

すなわち、生成部１１５は、上記の式（１）と式（２）とを用いることにより、座標（Ｘ，Ｙ）を座標（ｘ，ｙ）へ座標変換することができる。なお、この座標変換は、式（１）を式（２）に代入した１本の式によって表すこともできる。このような意味において、式（１）、式（２）におけるＸ’、Ｙ’のそれぞれは、ダミー変数であるが、前述の平面ＰＢ１上の位置を示す座標であると言い換えることもできる。１本の式にまとめられる座標変換の式を、式（１）、式（２）のように２本に分けている理由は、数値計算を行うプログラムにおいて、関数化、クラス化等を行いやすくし、その結果、計算に要する負荷を小さくするためである。従って、生成部１１５は、座標（Ｘ，Ｙ）から座標（ｘ，ｙ）への座標変換において、１本の式にまとめた座標変換の式を用いる構成であってもよく、式（１）及び式（２）の２本の式を用いる構成であってもよい。

【0087】

ここで、生成部１１５がステップＳ４９０において特定する視点の向きは、点Ｐから平面ＰＢの中心に向かう向きのことである。このため、当該視点の向きは、式（１）及び式（２）に含まれる角度α及び角度βによって特定される。角度α及び角度βは、平面ＰＢの点Ｐ周りの球面上での回転を示すオイラー角である。ここで、視点の向きのうちの前述の基準となる向きは、例えば、α＝０、β＝０によって表される。この場合、基準となる向きは、点Ｐから画像ＰＡの中心に向かう向きのことである。なお、当該基準となる向きは、他の向きであってもよい。なお、図１１は、平面ＰＢの点Ｐ周りの回転が球面上に沿った回転であることを視覚的に見せるための図である。平面ＰＢは、図１１に示した球面Ｃに沿って、点Ｐの周りに回転する。この回転を表すオイラー角が、角度α及び角度βである。なお、図１１では、図が煩雑になるのを防ぐため、三次元直交座標系ＶＳＣを画像ＰＡと重ならない位置に描いている。

【0088】

なお、図９に示したボタンＢＵは、ボタンＢＵへの操作が行われる毎に、角度βの値を所定値増加させる機能を有するＧＵＩである。ここで、所定値は、例えば、１°であるが、１°より小さい角度であってもよく、１°より大きい角度であってもよい。
また、図９に示したボタンＢＤは、ボタンＢＵへの操作が行われる毎に、角度βの値を所定値減少させる機能を有するＧＵＩである。
また、図９に示したボタンＢＬは、ボタンＢＵへの操作が行われる毎に、角度αの値を所定値増加させる機能を有するＧＵＩである。
また、図９に示したボタンＢＲは、ボタンＢＵへの操作が行われる毎に、角度αの値を所定値減少させる機能を有するＧＵＩである。

【0089】

生成部１１５は、ステップＳ４９０において特定した視点の向きに応じて、三次元空間ＶＳ内において、平面ＰＢを回転させる。そして、生成部１１５は、上記の式（１）及び式（２）を用いて、回転させた後の平面ＰＢ２上のある位置Ｇの座標（Ｘ，Ｙ）に対応する三次元直交座標系ＶＳＣのｘｙ平面上の位置を示す座標（ｘ，ｙ）を特定する。生成部１１５は、特定した座標（ｘ，ｙ）が示す位置が、画像ＰＡ上の位置である場合、画像ＰＡ上において座標（ｘ，ｙ）が示す位置の画素値（例えば、輝度、明度、彩度等のそれぞれを示す値）を、平面ＰＢ２上において座標（Ｘ，Ｙ）が示す位置の画素値として割り当てる。一方、生成部１１５は、特定した座標（ｘ，ｙ）が示す位置が、画像ＰＡ上の位置ではない場合、予め決められた画素値（例えば、緑等の単色を示す輝度、明度、彩度等のそれぞれを示す値）を、平面ＰＢ２上において座標（Ｘ，Ｙ）が示す位置の画素値として割り当てる。生成部１１５は、このような画素値の割り当てを、平面ＰＢ２上の各位置について繰り返し行う。そして、生成部１１５は、このような画素値の割り当てを平面ＰＢ２上の全ての位置について行った後、画素値が割り当てられた平面ＰＢ２を、第２画像として記憶部１２の記憶領域に記憶させる。このようにして生成された第２画像は、第１画像を撮像した光学系の物体側主点が第１画像の撮像時において位置していた位置から、角度α及び角度βにより表される向きに向かって標準レンズにより被写体を撮像した場合に得られる撮像画像に相当する画像である。なお、図１０に示した領域ＨＲは、平面ＰＢ２と重なっている場合における平面ＰＢ２の各位置それぞれの座標が、上記の式（１）及び式（２）によって座標変換された後の座標のそれぞれが示す位置の集まりの一例を示している。

【0090】

例えば、図１２は、画像ＰＡの一例を示す図である。画像ＰＡが図１２に示した撮像画像である場合、且つ、α＝２０°及びβ＝－１５°である場合、生成部１１５は、図１３に示したような画像を第２画像として生成する。図１３は、情報処理装置１により生成される第２画像の一例を示す図である。図１３に示した画像には、ほぼ正方形として視認されるテーブルの像が描写されている。一方、図１２に示した画像には、当該テーブルと同一視されるべきテーブルの像が、長方形として視認されるテーブルの像として描写されている。しかしながら、図１２に示した画像の推奨視点から当該テーブルを見ると、当該画像においても、当該テーブルの形状は、正方形として視認される。このようにテーブルの形状が現実の形状と異なる形状に見えてしまうことは、広告等に用いられる撮像画像にとって望ましくない。情報処理装置１は、第２画像を生成し、生成した第２画像を出力することにより、第１画像に描写されている被写体の形状を、現実の被写体の形状、又は、現実の被写体の形状に近い形状に認識させることができ、このような問題を解決することができる。

【0091】

また、例えば、画像ＰＡが図１２に示した撮像画像である場合、且つ、α＝４０°及びβ＝－２０°である場合、生成部１１５は、図１４に示したような画像を第２画像として生成する。図１４は、情報処理装置１により生成される第２画像の他の例を示す図である。なお、図１４に示した領域ＲＡは、第２画像上の領域のうち、前述の予め決められた画素値が割り当てられた領域である。図１４に示した画像には、ほぼ円形として視認されるテーブルの像が描写されている。一方、図１４に示した画像には、当該テーブルと同一視されるべきテーブルの像が、楕円形として視認されるテーブルの像として描写されている。しかしながら、図１２に示した画像の推奨視点から当該テーブルを見ると、当該画像においても、当該テーブルの形状は、円形として視認される。前述した通り、このようにテーブルの形状が現実の形状と異なる形状に見えてしまうことは、広告等に用いられる撮像画像にとって望ましくない。情報処理装置１は、第２画像を生成し、生成した第２画像を出力することにより、第１画像に描写されている被写体の形状を、現実の被写体の形状、又は、現実の被写体の形状に近い形状に認識させることができ、このような問題を解決することができる。

【0092】

なお、第２画像の生成方法は、これに代えて、他の方法であってもよい。例えば、第２画像の生成方法において、三次元空間ＶＳ内に配置される第１画像のサイズは、第１サイズと異なるサイズであってもよい。また、例えば、第２画像の生成方法において、点Ｐ周りの平面ＰＢの回転は、オイラー角に代えて、極座標系、円筒座標系等の座標系における座標等によって表されてもよい。

【0093】

ステップＳ５００の処理が行われた後、表示制御部１１７は、ステップＳ５００において生成部１１５により生成された第２画像を、第２画像表示画像上に表示させる（ステップＳ５１０）。例えば、表示制御部１１７は、当該第２画像を、図９に示した画像Ｐ３２として画像Ｐ３上に表示させる。

【0094】

次に、生成部１１５は、第２画像表示画像上に表示されている４つのボタンの少なくとも１つへの操作が行われたか否かを判定する（ステップＳ５２０）。

【0095】

生成部１１５は、第２画像表示画像上に表示されている４つのボタンの少なくとも１つへの操作（例えば、クリック、タップ等）が行われたと判定した場合（ステップＳ５２０－ＹＥＳ）、ステップＳ４９０へ遷移し、１つ以上のボタンへの操作に応じて、視点の向きを再び特定する。

【0096】

一方、生成部１１５は、第２画像表示画像上に表示されている４つのボタンのいずれにも操作が行われていないと判定した場合（ステップＳ５２０－ＮＯ）、第２画像の表示を終了するか否かを判定する（ステップＳ５４０）。ここで、生成部１１５は、例えば、第２画像の表示を終了させる操作を情報処理装置１が受け付けていた場合、第２画像の表示を終了すると判定する。一方、生成部１１５は、例えば、第２画像の表示を終了させる操作を情報処理装置１が受け付けていなかった場合、第２画像の表示を終了しないと判定する。

【0097】

生成部１１５は、第２画像の表示を終了しないと判定した場合（ステップＳ５４０－ＮＯ）、ステップＳ５２０に遷移し、第２画像表示画像上に表示されている４つのボタンの少なくとも１つへの操作が行われたか否かを再び判定する。

【0098】

一方、生成部１１５は、第２画像の表示を終了すると判定した場合（ステップＳ５４０－ＹＥＳ）、図８に示したフローチャートの処理を終了する。

【0099】

以上のように、情報処理装置１は、第１画像と、第１画像の３５ｍｍ換算焦点距離と、視点の向きを示す向き情報とに基づいて、第２画像を生成し、生成した第２画像を視点関連情報として出力する。これにより、情報処理装置１は、より適切な視点から第１画像を見せることができる。なお、情報処理装置１では、ステップＳ５１０において、情報処理装置１が備える他の機能部、情報処理装置１と通信可能に接続された他の装置等に視点関連情報を通信制御部１１６が出力する構成であってもよい。また、情報処理装置１は、第２画像の３５ｍｍ換算焦点距離をユーザーから受け付ける構成であってもよい。この場合、前述の平面ＰＢのサイズは、ユーザーから受け付けた当該３５ｍｍ換算焦点距離に応じたサイズとなる。

【0100】

以上説明したように、実施形態に係る情報処理装置（上記において説明した例では、情報処理装置１）は、第１の３５ｍｍ換算焦点距離（上記において説明した例では、第１画像の３５ｍｍ換算焦点距離）を有する第１光学系により撮像された第１画像（上記において説明した例では、第１画像）に基づいて、第１の３５ｍｍ換算焦点距離に応じた情報として、第１画像を見る場合における視点に関連する視点関連情報を出力する。これにより、情報処理装置は、より適切な視点から第１画像を見せることができる。

【0101】

また、情報処理装置は、視点関連情報を表示部に表示させる、構成が用いられてもよい。

【0102】

また、情報処理装置は、第１画像に基づいて第１の３５ｍｍ換算焦点距離を推定し、推定した第１の３５ｍｍ換算焦点距離に応じた視点関連情報を出力する、構成が用いられてもよい。

【0103】

また、情報処理装置は、第１画像のメタデータから第１の３５ｍｍ換算焦点距離を示す焦点距離情報を抽出し、抽出した焦点距離情報が示す第１の３５ｍｍ換算焦点距離に応じた視点関連情報を出力する、構成が用いられてもよい。

【0104】

また、情報処理装置では、視点関連情報は、第１画像を見る場合に推奨される推奨視点を示す情報である、構成が用いられてもよい。

【0105】

また、情報処理装置では、視点関連情報は、表示部に表示されている第１画像の焦点距離を示す情報である、構成が用いられてもよい。

【0106】

また、情報処理装置は、第１画像と、第１の３５ｍｍ換算焦点距離と、視点の向きを示す向き情報とに基づいて、第１の３５ｍｍ換算焦点距離よりも長い第２の３５ｍｍ換算焦点距離を有する第２光学系により、第１画像の撮像時の第１光学系における物体側主点の位置と同じ位置から向き情報が示す向きが撮像された場合の画像を、第２画像として生成し、生成した第２画像を視点関連情報として出力する、構成が用いられてもよい。

【0107】

また、情報処理装置は、第１の３５ｍｍ換算焦点距離と第２の３５ｍｍ換算焦点距離との比率を倍率として算出し、算出した倍率と、第１画像と、向き情報とに基づいて、第２画像を生成する、構成が用いられてもよい。

【0108】

また、情報処理装置は、第２の３５ｍｍ換算焦点距離を受け付け、受け付けた第２の３５ｍｍ換算焦点距離に基づいて、第２画像を生成する、構成が用いられてもよい。

【0109】

また、情報処理装置は、第１の３５ｍｍ換算焦点距離は、広角レンズの３５ｍｍ換算焦点距離であり、第２の３５ｍｍ換算焦点距離は、標準レンズの３５ｍｍ換算焦点距離である、構成が用いられてもよい。

【0110】

以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない限り、変更、置換、削除等されてもよい。

【0111】

また、以上に説明した装置（例えば、情報処理装置１）における任意の構成部の機能を実現するためのプログラムを、コンピューター読み取り可能な記録媒体に記録し、そのプログラムをコンピューターシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピューターシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ（Compact Disk）－ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリー（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

【0112】

また、上記のプログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【符号の説明】

【0113】

１…情報処理装置、１１…制御部、１２…記憶部、１３…入力受付部、１４…通信部、１５…表示部、１６…検出部、１１１…受付部、１１２…取得部、１１３…抽出部、１１４…推定部、１１５…生成部、１１６…通信制御部、１１７…表示制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】