特許 7304790 情報処理装置、生成方法、及び生成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-06-29

(45)【発行日】2023-07-07

(54)【発明の名称】情報処理装置、生成方法、及び生成プログラム

(51)【国際特許分類】

   G06T 7/55 20170101AFI20230630BHJP

【ＦＩ】

G06T7/55

【請求項の数】 12

(21)【出願番号】P 2019193104

(22)【出願日】2019-10-24

(65)【公開番号】P2021068194

(43)【公開日】2021-04-30

【審査請求日】2022-07-19

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(73)【特許権者】

【識別番号】304000836

【氏名又は名称】学校法人 名古屋電気学園

(74)【代理人】

【識別番号】100116964

【弁理士】

【氏名又は名称】山形 洋一

(74)【代理人】

【識別番号】100120477

【弁理士】

【氏名又は名称】佐藤 賢改

(74)【代理人】

【識別番号】100135921

【弁理士】

【氏名又は名称】篠原 昌彦

(74)【代理人】

【識別番号】100083840

【弁理士】

【氏名又は名称】前田 実

(72)【発明者】

【氏名】山▲崎▼ 賢人

(72)【発明者】

【氏名】岡原 浩平

(72)【発明者】

【氏名】皆川 純

(72)【発明者】

【氏名】水野 慎士

(72)【発明者】

【氏名】坂田 真太郎

(72)【発明者】

【氏名】榊原 拓実

【審査官】新井 則和

(56)【参考文献】

【文献】特許第６５８４７３５（ＪＰ，Ｂ１）

【文献】上野真実，斎藤豪，色の周辺視野特性を考慮した広角視覚像，情報処理学会第７９回全国大会論文集，2017年03月16日

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／５５

(57)【特許請求の範囲】

【請求項1】

３次元情報をそれぞれ示す複数の点である点群を取得する第１の取得部と、
３次元座標の空間に前記点群を配置する配置部と、
ビューボリュームを示す情報と、視点を示す情報と、前記視点から伸びている線である視線を示す情報とを取得する第２の取得部と、
前記視点と前記視線とに基づいて、前記点群が配置されている前記空間に前記ビューボリュームを設定し、前記視線を中心として、前記中心を含む予め決められた範囲内の情報量が前記範囲外の情報量よりも大きくなるように情報量を調整し、調整した後の状態に基づいて、画像を生成する制御部と、
を有する情報処理装置。

【請求項2】

前記制御部は、前記中心を含む前記範囲内に情報を補間し、前記点群のうちの前記ビューボリューム内に存在する１以上の点と、補間された前記情報とに基づいて、前記画像を生成する、
請求項１に記載の情報処理装置。

【請求項3】

前記制御部は、前記範囲外に存在する点を削除し、前記点群のうちの前記ビューボリューム内に存在する１以上の点に基づいて、前記画像を生成する、
請求項１又は２に記載の情報処理装置。

【請求項4】

前記制御部は、前記視点からの距離が近いほど前記画像を生成するための情報の密度を向上させ、前記視点からの距離が遠いほど前記画像を生成するための情報の密度を低下させる、
請求項１から３のいずれか１項に記載の情報処理装置。

【請求項5】

前記画像を提供する提供部をさらに有する、
請求項１から４のいずれか１項に記載の情報処理装置。

【請求項6】

前記第２の取得部は、
ユーザの右目の視点を示す情報、前記右目の視線を示す情報、前記右目に対応する第１のビューボリュームを示す情報、前記ユーザの左目の視点を示す情報、前記左目の視線を示す情報、及び前記左目に対応する第２のビューボリュームを示す情報を取得し、
前記制御部は、
前記右目の視点と前記右目の視線とに基づいて、前記点群が配置されている前記空間に前記第１のビューボリュームを設定し、前記右目の視線を第１の中心として、前記第１の中心を含む予め決められた第１の範囲内の情報量が前記第１の範囲外の情報量よりも大きくなるように情報量を調整し、調整した後の状態に基づいて、第１の画像を生成し、前記左目の視点と前記左目の視線とに基づいて、前記点群が配置されている前記空間に前記第２のビューボリュームを設定し、前記左目の視線を第２の中心として、前記第２の中心を含む予め決められた第２の範囲内の情報量が前記第２の範囲外の情報量よりも大きくなるように情報量を調整し、調整した後の状態に基づいて、第２の画像を生成する、
請求項１に記載の情報処理装置。

【請求項7】

前記制御部は、前記第１の中心を含む前記第１の範囲内に情報を補間し、前記点群のうちの前記第１のビューボリューム内の１以上の点と、前記第１の範囲内に補間された情報とに基づいて、前記第１の画像を生成し、前記第２の中心を含む前記第２の範囲内に情報を補間し、前記点群のうちの前記第２のビューボリューム内の１以上の点と、前記第２の範囲内に補間された情報とに基づいて、前記第２の画像を生成する、
請求項６に記載の情報処理装置。

【請求項8】

前記制御部は、
前記第１の範囲外に存在する点を削除し、前記点群のうちの前記第１のビューボリューム内に存在する１以上の点に基づいて前記第１の画像を生成し、前記第２の範囲外に存在する点を削除し、前記点群のうちの前記第２のビューボリューム内に存在する１以上の点に基づいて前記第２の画像を生成する、
請求項６又は７に記載の情報処理装置。

【請求項9】

前記制御部は、
前記右目の視点からの距離が近いほど前記第１の画像を生成するための情報の密度を向上させ、前記右目の視点からの距離が遠いほど前記第１の画像を生成するための情報の密度を低下させ、前記左目の視点からの距離が近いほど前記第２の画像を生成するための情報の密度を向上させ、前記左目の視点からの距離が遠いほど前記第２の画像を生成するための情報の密度を低下させる、
請求項６から８のいずれか１項に記載の情報処理装置。

【請求項10】

前記第１の画像及び前記第２の画像を提供する提供部をさらに有する、
請求項６から９のいずれか１項に記載の情報処理装置。

【請求項11】

情報処理装置が、
３次元情報をそれぞれ示す複数の点である点群を取得し、
３次元座標の空間に前記点群を配置し、
ビューボリュームを示す情報と、視点を示す情報と、前記視点から伸びている線である視線を示す情報とを取得し、
前記視点と前記視線とに基づいて、前記点群が配置されている前記空間に前記ビューボリュームを設定し、
前記視線を中心として、前記中心を含む予め決められた範囲内の情報量が前記範囲外の情報量よりも大きくなるように情報量を調整し、
調整した後の状態に基づいて、画像を生成する、
生成方法。

【請求項12】

情報処理装置に、
３次元情報をそれぞれ示す複数の点である点群を取得し、
３次元座標の空間に前記点群を配置し、
ビューボリュームを示す情報と、視点を示す情報と、前記視点から伸びている線である視線を示す情報とを取得し、
前記視点と前記視線とに基づいて、前記点群が配置されている前記空間に前記ビューボリュームを設定し、
前記視線を中心として、前記中心を含む予め決められた範囲内の情報量が前記範囲外の情報量よりも大きくなるように情報量を調整し、
調整した後の状態に基づいて、画像を生成する、
処理を実行させる生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、生成方法、及び生成プログラムに関する。

【背景技術】

【0002】

３次元計測技術が知られている。３次元計測技術では、奥行きが計測される。例えば、センサから取得した距離画像に基づいて空間に存在する物体の表面までの距離が、奥行きとして、計測される。また、例えば、奥行きは、ステレオマッチング又はＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式を用いて、計測することができる。ここで、距離画像では、各ピクセルがセンサ座標系における光軸の距離情報を有している。なお、距離画像は、デプスマップとも言う。

【0003】

また、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）のように、点群（Ｐｏｉｎｔ Ｃｌｏｕｄ）を構築する技術が、知られている。例えば、複数のカメラが撮影することで得られた複数の画像又は１台のカメラが複数の視点から撮影することで得られた複数の画像に基づいて、空間上に点群が構築される。点群に基づいて得られたＣＧＩ（Ｃｏｍｐｕｔｅｒ Ｇｅｎｅｒａｔｅｄ Ｉｍａｇｅｒｙ）は、ユーザが利用するモニタ又はヘッドマウントディスプレイに提供される。例えば、プラント又は工場内を示すＣＧＩが、モニタに提供される。
ここで、色の視感度特性を考慮した広角視覚像を作成する技術が提案されている（非特許文献１を参照）。

【先行技術文献】

【非特許文献】

【0004】

【文献】上野真実、齋藤豪「色の周辺視野特性を考慮した広角視覚像」、情報処理学会第７９回全国大会講演論文集、Ｐ１２７－１２８、２０１７年

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、ＣＧＩの解像度には、ばらつきが生じている場合がある。そこで、画一的に解像度を向上させる方法が考えられる。しかし、当該方法が実行されることは、当該方法を実行する装置の処理負荷を大きくする。

【0006】

本発明の目的は、処理負荷を軽減することである。

【課題を解決するための手段】

【0007】

本発明の一態様に係る情報処理装置が提供される。情報処理装置は、３次元情報をそれぞれ示す複数の点である点群を取得する第１の取得部と、３次元座標の空間に前記点群を配置する配置部と、ビューボリュームを示す情報と、視点を示す情報と、前記視点から伸びている線である視線を示す情報とを取得する第２の取得部と、前記視点と前記視線とに基づいて、前記点群が配置されている前記空間に前記ビューボリュームを設定し、前記視線を中心として、前記中心を含む予め決められた範囲内の情報量が前記範囲外の情報量よりも大きくなるように情報量を調整し、調整した後の状態に基づいて、画像を生成する制御部と、を有する。

【発明の効果】

【0008】

本発明によれば、処理負荷を軽減できる。

【図面の簡単な説明】

【0009】

【図1】実施の形態１の情報処理装置が有する機能ブロックを示す図である。

【図2】実施の形態１の情報処理装置が有するハードウェアの構成を示す図である。

【図3】実施の形態１の情報処理装置が実行する処理の例を示すフローチャートである。

【図4】実施の形態１の画像生成処理の例を示すフローチャートである。

【図5】実施の形態１の情報処理装置が実行する処理の具体例を示す図（その１）である。

【図6】実施の形態１の情報処理装置が実行する処理の具体例を示す図（その２）である。

【図7】実施の形態２の情報処理装置が実行する処理の具体例を示す図（その１）である。

【図8】実施の形態２の情報処理装置が実行する処理の具体例を示す図（その２）である。

【発明を実施するための形態】

【0010】

以下、図面を参照しながら実施の形態を説明する。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。

【0011】

実施の形態１．
図１は、実施の形態１の情報処理装置が有する機能ブロックを示す図である。情報処理装置１００は、生成方法を実行する装置である。情報処理装置１００は、記憶部１１０、モデル生成部１２０、第１の取得部１３０、配置部１４０、決定部１５０、第２の取得部１６０、制御部１７０、及び提供部１８０を有する。

【0012】

ここで、情報処理装置１００が有するハードウェアについて説明する。
図２は、実施の形態１の情報処理装置が有するハードウェアの構成を示す図である。情報処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０２、揮発性記憶装置１０３、不揮発性記憶装置１０４、及びバス１０５を有する。
ＣＰＵ１０１は、情報処理装置１００全体を制御する。ＧＰＵ１０２は、画面の生成及び描画に関する処理を実行する。また、ＣＰＵ１０１及びＧＰＵ１０２は、プロセッサとも言う。

【0013】

揮発性記憶装置１０３は、情報処理装置１００の主記憶装置である。例えば、揮発性記憶装置１０３は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。不揮発性記憶装置１０４は、情報処理装置１００の補助記憶装置である。例えば、不揮発性記憶装置１０４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）である。

【0014】

また、情報処理装置１００は、センサ１１とモニタ１２と接続する。センサ１１は、現実空間の情報を取得する装置である。例えば、センサ１１は、深度センサである。モニタ１２は、情報処理装置１００が生成したＣＧＩを表示する。

【0015】

図１に戻って、情報処理装置１００が有する機能ブロックを説明する。
記憶部１１０は、揮発性記憶装置１０３又は不揮発性記憶装置１０４に確保した記憶領域として実現してもよい。

【0016】

モデル生成部１２０、第１の取得部１３０、配置部１４０、決定部１５０、第２の取得部１６０、制御部１７０、及び提供部１８０の一部又は全部は、プロセッサによって実現してもよい。
モデル生成部１２０、第１の取得部１３０、配置部１４０、決定部１５０、第２の取得部１６０、制御部１７０、及び提供部１８０の一部又は全部は、プロセッサが実行するプログラムのモジュールとして実現してもよい。例えば、プロセッサが実行するプログラムは、生成プログラムとも言う。例えば、生成プログラムは、記録媒体に記録されている。

【0017】

記憶部１１０は、点群を記憶する。点群は、３次元情報をそれぞれ示す複数の点である。すなわち、点群に含まれる各点は、３次元座標で表される。なお、点群は、点群データと表現してもよい。また、各点は、３次元情報以外の情報を有してもよい。例えば、各点は、色情報を有する。
モデル生成部１２０は、法則を示すモデルを生成する。当該モデルについては、後で説明する。

【0018】

第１の取得部１３０は、記憶部１１０から点群を取得する。また、第１の取得部１３０は、センサ１１から点群を取得してもよい。ここで、センサ１１は、点群を取得可能なセンサである。例えば、センサ１１は、Ｍｉｃｒｏｓｏｆｔ（登録商標）社製のｋｉｎｅｃｔ、Ｉｎｔｅｌ（登録商標）社製のＲｅａｌＳｅｎｓｅ、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）のように、点群を取得可能な装置である。センサ１１は、ステレオマッチングを用いて点群を取得する装置でもよい。センサ１１は、機械学習によって得られた情報を用いて点群を取得する装置でもよい。さらに、第１の取得部１３０は、情報処理装置１００に接続可能な他の装置から点群を取得してもよい。なお、他の装置の図示は、省略されている。

【0019】

配置部１４０は、３次元座標の空間に点群を配置する。また、点群を配置する際、配置部１４０は、様々な条件に基づいて、点群を配置してもよい。
決定部１５０は、ビューボリュームを決定してもよい。例えば、決定部１５０は、カメラの内部パラメータに設定されたニアクリップ面に基づいて、ビューボリュームを決定する。また、例えば、決定部１５０は、視野角に基づいて、ビューボリュームを決定する。

【0020】

決定部１５０は、ユーザの視点とユーザの視線を決定してもよい。すなわち、決定部１５０は、ユーザの視点と視点からユーザが見ている方向を決定してもよい。決定部１５０は、ユーザの視点と視線を決定する場合、アウトサイドイン方式又はインサイドアウト方式を用いてもよい。アウトサイドイン方式では、ユーザに付けられたマーカをカメラが検出する。決定部１５０は、カメラが検出することで得られた情報に基づいて、ユーザの視点と視線を決定する。インサイドアウト方式では、決定部１５０は、ユーザに付けられたセンサから得られた情報に基づいて、ユーザの視点と視線を決定する。

【0021】

第２の取得部１６０は、ビューボリュームを示す情報、ユーザの視点を示す情報、及びユーザの視線を示す情報を決定部１５０から取得してもよい。ここで、視線は、視点から伸びている線である。また、ビューボリュームを示す情報、ユーザの視点を示す情報、及びユーザの視線を示す情報が記憶部１１０に格納されている場合、第２の取得部１６０は、ビューボリュームを示す情報、ユーザの視点を示す情報、及びユーザの視線を示す情報を記憶部１１０から取得してもよい。第２の取得部１６０は、ビューボリュームを示す情報、ユーザの視点を示す情報、及びユーザの視線を示す情報を外部装置から取得してもよい。

【0022】

制御部１７０は、画像を生成する。制御部１７０の詳細な機能については、後で説明する。なお、当該画像は、ＣＧＩとも言う。
提供部１８０は、制御部１７０が生成した画像をモニタ１２に提供する。これにより、ユーザは、モニタ１２に表示された画像を見ることができる。

【0023】

次に、情報処理装置１００が実行する処理について、フローチャートを用いて説明する。
図３は、実施の形態１の情報処理装置が実行する処理の例を示すフローチャートである。
（ステップＳ１１）第１の取得部１３０は、記憶部１１０から点群を取得する。
（ステップＳ１２）配置部１４０は、３次元座標の空間に点群を配置する。
（ステップＳ１３）制御部１７０は、画像生成処理を実行する。
（ステップＳ１４）提供部１８０は、制御部１７０が生成した画像をモニタ１２に提供する。
ステップＳ１４の後、制御部１７０は、視点と視線とのうちの少なくとも１つが変更された場合、ステップＳ１３を実行する。

【0024】

図４は、実施の形態１の画像生成処理の例を示すフローチャートである。図４は、ステップＳ１３に対応する。
（ステップＳ２１）制御部１７０は、ビューボリュームを示す情報、ユーザの視点を示す情報、及びユーザの視線を示す情報を第２の取得部１６０から取得する。制御部１７０は、視点と視線とに基づいて、点群が配置されている３次元座標の空間にビューボリュームを設定する。詳細には、制御部１７０は、視線に合うように、点群の向きを変更する。そして、制御部１７０は、視点と視線とに基づいて、３次元座標の空間にビューボリュームを設定する。

【0025】

（ステップＳ２２）制御部１７０は、視線を中心として、当該中心を含む予め決められた範囲内に情報を補間する。補間方法は、バイリニア補間法などの線形補間、非線形補間、近似を用いるニアレストネイバーなどである。これにより、当該範囲内の情報に基づいて画像が生成された場合、当該範囲内の解像度は、向上する。
また、制御部１７０は、当該範囲外に存在する点を削除してもよい。ここで、ユーザは、視角内の全ての範囲を一様に意識していない。例えば、ユーザは、視線から離れた所も見ている。しかし、ユーザは、視線から離れた所を意識していない。よって、制御部１７０が当該範囲外に存在する点を削除しても、ユーザは、気付かない。

【0026】

さらに、制御部１７０は、視点からの距離が近いほど画像を生成するための情報の密度を向上させ、視点からの距離が遠いほど画像を生成するための情報の密度を低下させてもよい。例えば、制御部１７０は、補間方法を用いて、視点からの距離が近い箇所の情報量を増やす。また、例えば、制御部１７０は、視点からの距離が遠い箇所に存在する点を削除する。このように、制御部１７０は、補間方法を用いて、視点からの距離が遠い箇所に情報を補間しない。よって、情報処理装置１００は、補間処理を行わないので、処理負荷を軽減できる。

【0027】

（ステップＳ２３）制御部１７０は、点群のうちのビューボリューム内の１以上の点と、補間された情報とに基づいて、画像を生成する。また、この文は、次のように表現してもよい。制御部１７０は、ビューボリューム内の１以上の点と、補間された情報とに基づいて、レンダリングを実行して、画像を生成する。例えば、制御部１７０は、１以上の点に対してメッシュ化などの処理を行う。これにより、制御部１７０は、画像を生成できる。
このように、制御部１７０は、視線を中心として、中心を含む範囲内の情報量が範囲外の情報量よりも大きくなるように情報量を調整する。そして、制御部１７０は、調整した後の状態に基づいて、画像を生成する。なお、制御部１７０は、情報量を調整する場合、点群を移動させない。上述しているように、制御部１７０は、点群の一部を削除することがある。

【0028】

また、中心を含む範囲内に点群が密集している場合、制御部１７０は、情報を補間しなくてもよい。そして、制御部１７０は、当該範囲外に存在する点を削除する。制御部１７０は、点群のうちのビューボリューム内に存在する１以上の点に基づいて、画像を生成する。このように、制御部１７０は、視線を中心として、中心を含む範囲内の情報量が範囲外の情報量よりも大きくなるように情報量を調整する。そして、制御部１７０は、調整した後の状態に基づいて、画像を生成する。

【0029】

次に、情報処理装置１００が実行する処理を、具体例を用いて説明する。
図５は、実施の形態１の情報処理装置が実行する処理の具体例を示す図（その１）である。
第１の取得部１３０は、記憶部１１０から点群を取得する。配置部１４０は、情報処理装置１００上における、３次元座標の空間に点群を配置する。例えば、図５は、枠２０内の点群が当該空間に配置されていることを示している。また、図５は、視点２１と視線２２を示している。
制御部１７０は、視点２１と視線２２とに基づいて、点群が配置されている空間にビューボリューム３０を設定する。図５は、ニアクリップ面３１とファークリップ面３２とを示している。

【0030】

制御部１７０は、視線２２を中心として、予め決められた範囲内に情報を補間する。これにより、ビューボリューム３０内の情報が、高密度になる。また、制御部１７０は、当該範囲外に存在する点を削除する。
また、図５は、モデル生成部１２０が生成したモデル４０を示している。モデル４０は、楕円錐である。モデル生成部１２０は、モデル４０を予め生成する。すなわち、モデル生成部１２０は、制御部１７０が画像生成処理を実行する前にモデル４０を生成する。モデル生成部１２０は、モニタ１２の解像度などを基にモデル４０を生成してもよい。また、モデル生成部１２０は、外部装置からモデル４０を取得してもよい。

【0031】

モデル４０は、法則を示している。例えば、モデル４０は、楕円錐である。そのため、モデル４０は、底面から先端に近くなるほど面積が小さくなる。モデル生成部１２０は、このような法則を示すモデルを作成する。例えば、図５は、視点からの距離に比例して密度が低下することを示すモデル４０がモデル生成部１２０に生成されることを示している。

【0032】

制御部１７０は、モデル４０に基づいて、密度を調整する。すなわち、制御部１７０は、視点２１からの距離が近いほど画像を生成するための情報の密度を向上させ、視点２１からの距離が遠いほど画像を生成するための情報の密度を低下させる。

【0033】

図６は、実施の形態１の情報処理装置が実行する処理の具体例を示す図（その２）である。図６は、視線２２を中心として、予め決められた範囲内に情報が補間されたことを示している。例えば、補間された情報は、点３３で示している。

【0034】

図６は、視点２１から近い箇所における情報の密度が向上したことを示している。また、図６は、視点２１から遠い箇所における情報の密度が低下したことを示している。
制御部１７０は、ビューボリューム３０内の点群と、補間された情報とに基づいて、画像５０を生成する。提供部１８０は、画像５０をモニタ１２に提供する。

【0035】

ここで、上記で説明したように、ユーザは、視線から離れた所も見ている。しかし、ユーザは、視線から離れた所を意識していない。それならば、情報処理装置１００は、画一的に解像度を向上させなくてよい。視線を中心として、予め決められた範囲内の解像度が高ければよい。
実施の形態１によれば、情報処理装置１００は、画一的に解像度を向上させる処理を行わない。よって、情報処理装置１００は、情報処理装置１００の処理負荷を軽減できる。

【0036】

実施の形態２．
次に、実施の形態２を説明する。実施の形態２では、実施の形態１と相違する事項を主に説明する。そして、実施の形態２では、実施の形態１と共通する事項の説明を省略する。実施の形態２は、図１～４を参照する。

【0037】

実施の形態２では、両眼立体視するための２台のモニタを有するヘッドマウントディスプレイに２つの画像を提供する場合を説明する。
実施の形態２における情報処理装置１００が実行する処理を、具体例を用いて説明する。

【0038】

図７は、実施の形態２の情報処理装置が実行する処理の具体例を示す図（その１）である。第１の取得部１３０は、記憶部１１０から点群を取得する。配置部１４０は、情報処理装置１００上における、３次元座標の空間に点群を配置する。例えば、図７は、枠６１内の点群が当該空間に配置されていることを示している。

【0039】

第２の取得部１６０は、ユーザの右目の視点を示す情報、及びユーザの右目の視線を示す情報を取得する。図７は、右目の視点６２と右目の視線６３を示している。また、第２の取得部１６０は、ユーザの左目の視点を示す情報、及びユーザの左目の視線を示す情報を取得する。図７は、左目の視点６４と左目の視線６５を示している。

【0040】

第２の取得部１６０は、右目に対応するビューボリューム７１を示す情報と左目に対応するビューボリューム７２を示す情報を取得する。なお、ビューボリューム７１は、第１のビューボリュームとも言う。ビューボリューム７２は、第２のビューボリュームとも言う。

【0041】

制御部１７０は、右目の視点６２と右目の視線６３とに基づいて、点群が配置されている空間にビューボリューム７１を設定する。制御部１７０は、左目の視点６４と左目の視線６５とに基づいて、点群が配置されている空間にビューボリューム７２を設定する。

【0042】

制御部１７０は、視線６３を中心として、当該中心を含む予め決められた範囲内の情報量が当該範囲外の情報量よりも大きくなるように情報量を調整する。そして、制御部１７０は、調整した後の状態に基づいて、画像を生成する。当該画像は、第１の画像とも言う。また、制御部１７０は、視線６５を中心として、当該中心を含む予め決められた範囲内の情報量が当該範囲外の情報量よりも大きくなるように情報量を調整する。そして、制御部１７０は、調整した後の状態に基づいて、画像を生成する。当該画像は、第２の画像とも言う。

【0043】

実施の形態２における、制御部１７０の機能を詳細に説明する。
制御部１７０は、視線６３を中心として、当該中心を含む予め決められた範囲内に情報を補間する。具体的には、制御部１７０は、実施の形態１で説明した補間方法を用いて、当該範囲内に情報を補間する。これにより、ビューボリューム７１内の情報が、高密度になる。ここで、当該中心は、第１の中心とも言う。当該範囲は、第１の範囲とも言う。また、制御部１７０は、当該範囲外に存在する点を削除してもよい。

【0044】

制御部１７０は、視線６５を中心として、当該中心を含む予め決められた範囲内に情報を補間する。具体的には、制御部１７０は、実施の形態１で説明した補間方法を用いて、当該範囲内に情報を補間する。これにより、ビューボリューム７２内の情報が、高密度になる。ここで、当該中心は、第２の中心とも言う。当該範囲は、第２の範囲とも言う。また、制御部１７０は、当該範囲外に存在する点を削除してもよい。

【0045】

また、図７は、モデル生成部１２０が生成したモデル８１，８２を示している。モデル生成部１２０は、２つのモデルを生成する際、次の内容を考慮する。奥行の長さが長くなるほど、両眼の視差は、小さくなる。そして、２つのモデルの共通部分が増加する。そのため、モデル生成部１２０は、共通部分における情報の減らし方を緩やかになるように、２つのモデルを生成する。また、モデル生成部１２０は、ユーザの目の間隔に基づいて、２つのモデルを生成する。さらに、両眼で着目する物の奥行は、右目と左目で焦点距離が異なる。そのため、モデル生成部１２０は、右目と左目で焦点距離が異なるように２つのモデルを生成する。なお、モデル生成部１２０は、後に生成される２つの画像の解像度が同じになるように、２つのモデルを生成する。

【0046】

制御部１７０は、モデル生成部１２０が生成したモデルを参考にして、ビューボリューム７１内とビューボリューム７２内の情報を変化させる。詳細には、制御部１７０は、視点６２からの距離が近いほど、右目のために提供される画像を生成するための情報の密度を向上させ、視点６２からの距離が遠いほど、当該画像を生成するための情報の密度を低下させる。例えば、制御部１７０は、補間方法を用いて、視点６２からの距離が近い箇所の情報量を増やす。また、例えば、制御部１７０は、視点６２からの距離が遠い箇所に存在する点を削除する。また、制御部１７０は、視点６４からの距離が近いほど、左目のために提供される画像を生成するための情報の密度を向上させ、視点６４からの距離が遠いほど、当該画像を生成するための情報の密度を低下させる。例えば、制御部１７０は、補間方法を用いて、視点６４からの距離が近い箇所の情報量を増やす。また、例えば、制御部１７０は、視点６４からの距離が遠い箇所に存在する点を削除する。

【0047】

このように、制御部１７０は、補間方法を用いて、視点からの距離が遠い箇所に情報を補間しない。よって、情報処理装置１００は、補間処理を行わないので、処理負荷を軽減できる。

【0048】

図８は、実施の形態２の情報処理装置が実行する処理の具体例を示す図（その２）である。図８は、視線６３を中心として、予め決められた範囲内に情報が補間されたことを示している。例えば、補間された情報は、点７３で示している。また、図８は、視線６５を中心として、予め決められた範囲内に情報が補間されたことを示している。

【0049】

図８は、視点６２，６４から近い箇所における情報の密度が向上したことを示している。また、図８は、視点６２，６４から遠い箇所における情報の密度が低下したことを示している。

【0050】

制御部１７０は、点群のうちのビューボリューム７１内の１以上の点と、補間された情報とに基づいて、画像９１を生成する。ここで、画像９１は、第１の画像とも言う。制御部１７０は、点群のうちのビューボリューム７２内の１以上の点と、補間された情報とに基づいて、画像９２を生成する。ここで、画像９２は、第２の画像とも言う。提供部１８０は、画像９１，９２をヘッドマウントディスプレイに提供する。

【0051】

ここで、視線６３を中心とした、範囲内に点群が密集している場合、制御部１７０は、情報を補間しなくてもよい。そして、制御部１７０は、当該範囲外に存在する点を削除する。制御部１７０は、点群のうちのビューボリューム７１内に存在する１以上の点に基づいて、画像を生成する。このように、情報処理装置１００は、視線６３を中心として、当該中心を含む予め決められた範囲内の情報量が当該範囲外の情報量よりも大きくなるように情報量を調整する。そして、情報処理装置１００は、調整した後の状態に基づいて、画像を生成する。

【0052】

また、視線６５を中心とした、範囲内に点群が密集している場合、制御部１７０は、情報を補間しなくてもよい。そして、制御部１７０は、当該範囲外に存在する点を削除する。制御部１７０は、点群のうちのビューボリューム７２内に存在する１以上の点に基づいて、画像を生成する。このように、情報処理装置１００は、視線６５を中心として、当該中心を含む予め決められた範囲内の情報量が当該範囲外の情報量よりも大きくなるように情報量を調整する。そして、情報処理装置１００は、調整した後の状態に基づいて、画像を生成する。

【0053】

実施の形態２によれば、情報処理装置１００は、実施の形態１と同様に、画一的に解像度を向上させる処理を行わない。よって、情報処理装置１００は、情報処理装置１００の処理負荷を軽減できる。

【0054】

以上に説明した各実施の形態における特徴は、互いに適宜組み合わせることができる。

【符号の説明】

【0055】

１１ センサ、 １２ モニタ、 ２０ 枠、 ２１ 視点、 ２２ 視線、 ３０ ビューボリューム、 ３１ ニアクリップ面、 ３２ ファークリップ面、 ３３ 点、 ４０ モデル、 ５０ 画像、 ６１ 枠、 ６２，６４ 視点、 ６３，６５ 視線、 ７１，７２ ビューボリューム、 ７３ 点、 ８１，８２ モデル、 ９１，９２ 画像、 １００ 情報処理装置、 １０１ ＣＰＵ、 １０２ ＧＰＵ、 １０３ 揮発性記憶装置、 １０４ 不揮発性記憶装置、 １０５ バス、 １１０ 記憶部、 １２０ モデル生成部、 １３０ 第１の取得部、 １４０ 配置部、 １５０ 決定部、 １６０ 第２の取得部、 １７０ 制御部、 １８０ 提供部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】