(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023183693
(43)【公開日】2023-12-28
(54)【発明の名称】画像処理装置、画像処理方法、及びプログラム
(51)【国際特許分類】
G06T 19/00 20110101AFI20231221BHJP
【ＦＩ】
G06T19/00 600
【審査請求】未請求
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2022097342
(22)【出願日】2022-06-16
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】渡部 宏樹
【テーマコード（参考）】
5B050
【Ｆターム（参考）】
5B050BA09
5B050CA07
5B050DA04
5B050DA05
5B050EA07
5B050EA19
5B050EA30
5B050FA05
(57)【要約】
【課題】 ＭＲ静止画像の品質を向上させつつ、ＭＲ静止画像の生成処理の演算量をより少なくする。
【解決手段】 画像処理装置１００は、撮像画像データを取得し、レンダリング条件を示すレンダリング情報に基づいて仮想空間に配置された仮想オブジェクトの仮想視点からの見えに対応するＣＧを生成し、撮像画像にＣＧを重畳させてＭＲ動画像を生成する。また、ＭＲ動画像のフレームに対応するＭＲ静止画像のデータの取得要求を受けたときに、ＭＲ静止画像を生成する際に用いる生成情報を出力する。ここで、生成情報は、取得要求を受けたときの、撮像画像のデータ及びレンダリング情報と、ＣＧを生成するときに生成される中間データであって、取得要求を受けたときの中間データとを含み、中間データは、ＣＧを生成するときのライティング処理に用いられる情報である。
【選択図】 図１
【解決手段】 画像処理装置１００は、撮像画像データを取得し、レンダリング条件を示すレンダリング情報に基づいて仮想空間に配置された仮想オブジェクトの仮想視点からの見えに対応するＣＧを生成し、撮像画像にＣＧを重畳させてＭＲ動画像を生成する。また、ＭＲ動画像のフレームに対応するＭＲ静止画像のデータの取得要求を受けたときに、ＭＲ静止画像を生成する際に用いる生成情報を出力する。ここで、生成情報は、取得要求を受けたときの、撮像画像のデータ及びレンダリング情報と、ＣＧを生成するときに生成される中間データであって、取得要求を受けたときの中間データとを含み、中間データは、ＣＧを生成するときのライティング処理に用いられる情報である。
【選択図】 図１
【特許請求の範囲】
【請求項1】
撮像画像のデータを取得する画像取得手段と、
レンダリング条件を示すレンダリング情報に基づいて、仮想空間に配置された仮想オブジェクトの仮想視点からの見えに対応するＣＧを生成するＣＧ生成手段と、
前記撮像画像に前記ＣＧを重畳させて、ＭＲ動画像を生成するＭＲ生成手段と、
前記ＭＲ動画像のフレームに対応するＭＲ静止画像のデータの取得要求を受け付ける受付手段と、
前記ＭＲ静止画像を生成する際に用いる生成情報を出力する出力手段と、
を有し、
前記出力手段は、前記生成情報として、前記取得要求を受けたときの前記撮像画像のデータと、前記取得要求を受けたときの前記レンダリング情報と、前記ＣＧを生成するときに生成される中間データであって、前記取得要求を受けたときの前記中間データとを出力し、
前記中間データは、前記ＣＧを生成するときのライティング処理に用いられる情報であること
を特徴とする画像処理装置。
レンダリング条件を示すレンダリング情報に基づいて、仮想空間に配置された仮想オブジェクトの仮想視点からの見えに対応するＣＧを生成するＣＧ生成手段と、
前記撮像画像に前記ＣＧを重畳させて、ＭＲ動画像を生成するＭＲ生成手段と、
前記ＭＲ動画像のフレームに対応するＭＲ静止画像のデータの取得要求を受け付ける受付手段と、
前記ＭＲ静止画像を生成する際に用いる生成情報を出力する出力手段と、
を有し、
前記出力手段は、前記生成情報として、前記取得要求を受けたときの前記撮像画像のデータと、前記取得要求を受けたときの前記レンダリング情報と、前記ＣＧを生成するときに生成される中間データであって、前記取得要求を受けたときの前記中間データとを出力し、
前記中間データは、前記ＣＧを生成するときのライティング処理に用いられる情報であること
を特徴とする画像処理装置。
【請求項2】
前記中間データは、前記仮想オブジェクトを構成する１以上の要素のそれぞれの色を示す情報、前記１以上の要素のそれぞれの前記仮想視点からの距離を示す情報、及び前記１以上の要素のそれぞれの反射率を示す情報のうちの少なくとも１つを含むこと
を特徴とする請求項１に記載の画像処理装置。
を特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記仮想オブジェクトが１以上のポリゴンにより構成される場合、前記中間データは、前記仮想オブジェクトを構成する前記１以上のポリゴンのそれぞれの色を示す情報、前記１以上のポリゴンのそれぞれの前記仮想視点からの距離を示す情報、前記１以上のポリゴンのそれぞれの反射率を示す情報、及び前記１以上のポリゴンのそれぞれの向きを示す情報のうちの少なくとも１つを含むこと
を特徴とする請求項１に記載の画像処理装置。
を特徴とする請求項１に記載の画像処理装置。
【請求項4】
前記ＭＲ動画像を表示装置に表示させる表示制御手段をさらに有し、
前記表示装置は、頭部装着型の前記表示装置であり、
前記表示制御手段は、前記ＭＲ動画像を前記頭部装着型の前記表示装置に表示させること
を特徴とする請求項１に記載の画像処理装置。
前記表示装置は、頭部装着型の前記表示装置であり、
前記表示制御手段は、前記ＭＲ動画像を前記頭部装着型の前記表示装置に表示させること
を特徴とする請求項１に記載の画像処理装置。
【請求項5】
前記出力手段は、前記生成情報に加えて、前記取得要求を受けたときの前記ＭＲ動画像のフレームのデータを出力すること
を特徴とする請求項１に記載の画像処理装置。
を特徴とする請求項１に記載の画像処理装置。
【請求項6】
前記レンダリング情報は、少なくとも前記仮想視点の位置を示す視点情報を含み、前記視点情報に加えて、前記取得要求を受けたときに前記レンダリング条件として使用されるシェーダコードのデータ、及び前記取得要求を受けたときに前記レンダリング条件として使用される光源情報のうちの少なくとも１つを含むこと
を特徴とする請求項１に記載の画像処理装置。
を特徴とする請求項１に記載の画像処理装置。
【請求項7】
前記画像取得手段は、前記撮像画像における撮像範囲のうちの少なくとも一部に対応する空間の深度を示す深度データを更に取得し、
前記ＭＲ生成手段は、前記画像取得手段により取得された前記撮像画像のデータ及び前記深度データ、並びに、前記ＣＧ生成手段により生成された前記ＣＧのデータを用いて前記ＭＲ動画像を生成し、
前記出力手段は、前記生成情報として、前記深度データを更に出力すること
を特徴とする請求項１に記載の画像処理装置。
前記ＭＲ生成手段は、前記画像取得手段により取得された前記撮像画像のデータ及び前記深度データ、並びに、前記ＣＧ生成手段により生成された前記ＣＧのデータを用いて前記ＭＲ動画像を生成し、
前記出力手段は、前記生成情報として、前記深度データを更に出力すること
を特徴とする請求項１に記載の画像処理装置。
【請求項8】
前記画像取得手段は、前記撮像画像のデータに対応するＲＡＷデータを更に取得し、
前記出力手段は、前記生成情報として、前記撮像画像のデータに替えて、前記取得要求を受けたときの前記ＲＡＷデータを出力すること
を特徴とする請求項１に記載の画像処理装置。
前記出力手段は、前記生成情報として、前記撮像画像のデータに替えて、前記取得要求を受けたときの前記ＲＡＷデータを出力すること
を特徴とする請求項１に記載の画像処理装置。
【請求項9】
前記ＣＧ生成手段は第１のＣＧ生成手段として動作して第１のＣＧを生成し、
前記ＭＲ生成手段は第１のＭＲ生成手段として動作して前記ＭＲ動画像を生成し、
前記出力手段により出力された前記生成情報を取得する取得手段と、
前記取得手段により取得された前記生成情報に含まれる前記中間データ及び前記レンダリング情報を用いて、ライティング処理を行うことにより、前記第１のＣＧとは異なる第２のＣＧを生成する第２のＣＧ生成手段と、
前記取得手段により取得された前記生成情報に含まれる前記撮像画像のデータと、前記第２のＣＧ生成手段により生成された前記第２のＣＧのデータとを用いて、前記撮像画像に前記第２のＣＧを重畳することにより、前記ＭＲ静止画像を生成する第２のＭＲ生成手段と、
を有すること
を特徴とする請求項１に記載の画像処理装置。
前記ＭＲ生成手段は第１のＭＲ生成手段として動作して前記ＭＲ動画像を生成し、
前記出力手段により出力された前記生成情報を取得する取得手段と、
前記取得手段により取得された前記生成情報に含まれる前記中間データ及び前記レンダリング情報を用いて、ライティング処理を行うことにより、前記第１のＣＧとは異なる第２のＣＧを生成する第２のＣＧ生成手段と、
前記取得手段により取得された前記生成情報に含まれる前記撮像画像のデータと、前記第２のＣＧ生成手段により生成された前記第２のＣＧのデータとを用いて、前記撮像画像に前記第２のＣＧを重畳することにより、前記ＭＲ静止画像を生成する第２のＭＲ生成手段と、
を有すること
を特徴とする請求項１に記載の画像処理装置。
【請求項10】
前記画像取得手段は、前記撮像画像における撮像範囲のうちの少なくとも一部に対応する空間の深度を示す深度データを更に取得し、
前記出力手段は、前記生成情報として、前記取得要求を受けたときの前記深度データを更に出力し、
前記第２のＭＲ生成手段は、前記取得手段により取得された前記生成情報に含まれる前記撮像画像のデータ及び前記深度データ、並びに前記第２のＣＧのデータを用いて、前記ＭＲ静止画像を生成すること
を特徴とする請求項９に記載の画像処理装置。
前記出力手段は、前記生成情報として、前記取得要求を受けたときの前記深度データを更に出力し、
前記第２のＭＲ生成手段は、前記取得手段により取得された前記生成情報に含まれる前記撮像画像のデータ及び前記深度データ、並びに前記第２のＣＧのデータを用いて、前記ＭＲ静止画像を生成すること
を特徴とする請求項９に記載の画像処理装置。
【請求項11】
前記画像取得手段は、前記撮像画像のデータに対応するＲＡＷデータを更に取得し、
前記出力手段は、前記生成情報として、前記撮像画像のデータに替えて、前記取得要求を受けたときの前記ＲＡＷデータを出力し、
前記第２のＭＲ生成手段は、前記撮像画像に替えて、前記取得手段により取得された前記生成情報に含まれる前記ＲＡＷデータを現像することにより得られた画像に、前記第２のＣＧを重畳することにより前記ＭＲ静止画像を生成すること
を特徴とする請求項９に記載の画像処理装置。
前記出力手段は、前記生成情報として、前記撮像画像のデータに替えて、前記取得要求を受けたときの前記ＲＡＷデータを出力し、
前記第２のＭＲ生成手段は、前記撮像画像に替えて、前記取得手段により取得された前記生成情報に含まれる前記ＲＡＷデータを現像することにより得られた画像に、前記第２のＣＧを重畳することにより前記ＭＲ静止画像を生成すること
を特徴とする請求項９に記載の画像処理装置。
【請求項12】
前記第２のＣＧ生成手段は、前記取得手段により取得された前記生成情報に含まれる前記中間データを用いてポストプロセス処理を更に行うことにより、前記第２のＣＧを生成すること
を特徴とする請求項９に記載の画像処理装置。
を特徴とする請求項９に記載の画像処理装置。
【請求項13】
撮像画像のデータを取得する画像取得工程と、
レンダリング条件を示すレンダリング情報に基づいて、仮想空間に配置された仮想オブジェクトの仮想視点からの見えに対応するＣＧを生成するＣＧ生成工程と、
前記撮像画像に前記ＣＧを重畳させて、ＭＲ動画像を生成するＭＲ生成工程と、
前記ＭＲ動画像のフレームに対応するＭＲ静止画像のデータの取得要求を受け付ける受付工程と、
前記ＭＲ静止画像を生成する際に用いる生成情報を出力する出力工程と、
を有し、
前記出力工程は、前記生成情報として、前記取得要求を受けたときの前記撮像画像のデータと、前記取得要求を受けたときの前記レンダリング情報と、前記ＣＧを生成するときに生成される中間データであって、前記取得要求を受けたときの前記中間データとを出力し、
前記中間データは、前記ＣＧを生成するときのライティング処理に用いられる情報であること
を特徴とする画像処理方法。
レンダリング条件を示すレンダリング情報に基づいて、仮想空間に配置された仮想オブジェクトの仮想視点からの見えに対応するＣＧを生成するＣＧ生成工程と、
前記撮像画像に前記ＣＧを重畳させて、ＭＲ動画像を生成するＭＲ生成工程と、
前記ＭＲ動画像のフレームに対応するＭＲ静止画像のデータの取得要求を受け付ける受付工程と、
前記ＭＲ静止画像を生成する際に用いる生成情報を出力する出力工程と、
を有し、
前記出力工程は、前記生成情報として、前記取得要求を受けたときの前記撮像画像のデータと、前記取得要求を受けたときの前記レンダリング情報と、前記ＣＧを生成するときに生成される中間データであって、前記取得要求を受けたときの前記中間データとを出力し、
前記中間データは、前記ＣＧを生成するときのライティング処理に用いられる情報であること
を特徴とする画像処理方法。
【請求項14】
コンピュータを、請求項１乃至１２のいずれか１項に記載の画像処理装置として動作させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ＭＲ画像を生成するための画像処理技術に関する。
【背景技術】
【0002】
ＭＲ（Mixed Reality）動画像を生成して表示装置に表示させる場合、動画像のリアルタイム性を維持するために、ＭＲ画像に重畳させるＣＧ（Computer Graphics）を生成する処理の演算量を少なくして、低品質のＣＧを生成することが一般的に行われている。そのため、ＭＲ動画像のうちの当該時点におけるフレームのデータをそのままＭＲ静止画像のデータとして保存した場合、ＭＲ静止画像は低品質なものになってしまう。特許文献１には、リアルタイムにＣＧを生成する手段と、当該手段とは異なる手段であって、任意の時点におけるＣＧを高品質に生成する手段とを有することにより、動画像としてのリアルタイム性と静止画像としての品質との両立させる技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２０－６７８２０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１に記載された技術を用いて任意の時点における高品質のＣＧを生成するには、生成処理に多くの演算を要する。そのため、特許文献１に記載された技術をＭＲ画像の生成に適用した場合、任意の時点における高品質のＭＲ静止画像を生成するには、生成処理に多くの演算を要する。
【課題を解決するための手段】
【0005】
本開示に係る画像処理装置は、撮像画像のデータを取得する画像取得手段と、レンダリング条件を示すレンダリング情報に基づいて、仮想空間に配置された仮想オブジェクトの仮想視点からの見えに対応するＣＧを生成するＣＧ生成手段と、前記撮像画像に前記ＣＧを重畳させて、ＭＲ動画像を生成するＭＲ生成手段と、前記ＭＲ動画像のフレームに対応するＭＲ静止画像のデータの取得要求を受け付ける受付手段と、前記ＭＲ静止画像を生成する際に用いる生成情報を出力する出力手段と、を有し、前記出力手段は、前記生成情報として、前記取得要求を受けたときの前記撮像画像のデータと、前記取得要求を受けたときの前記レンダリング情報と、前記ＣＧを生成するときに生成される中間データであって、前記取得要求を受けたときの前記中間データとを出力し、前記中間データは、前記ＣＧを生成するときのライティング処理に用いられる情報である。
【発明の効果】
【0006】
本開示によれば、任意の時点におけるＭＲ静止画像の品質を向上させつつ、ＭＲ静止画像の生成処理の際の演算量をより少なくすることができる。
【図面の簡単な説明】
【0007】
【図1】実施形態１に係る画像処理装置１００の機能構成の一例を示すブロック図である。
【図2】実施形態１に係る画像処理装置１００のハードウェア構成の一例を示すブロック図である。
【図3】実施形態１に係る画像生成装置の機能構成の一例を示すブロック図である。
【図4】実施形態１に係る画像処理装置の処理フローの一例を示すフローチャートである。
【図5】実施形態１に係る画像処理装置が有するＣＧ生成部の処理フローの一例を示すフローチャートである。
【図6】実施形態１に係る画像処理装置が有するＣＧ生成部の処理の一例を説明するための説明図である。
【図7】拡散反射光の算出方法の一例を説明するための説明図である。
【図8】鏡面反射光の算出方法の一例を説明するための説明図である。
【図9】実施形態１に係る画像生成装置の処理フローの一例を示すフローチャートである。
【図10】実施形態２に係る画像処理装置の処理フローの一例を示すフローチャートである。
【図11】実施形態２に係る画像生成装置の処理フローの一例を示すフローチャートである。
【発明を実施するための形態】
【0008】
以下、本開示の実施形態について添付の図面を参照して説明する。なお、以下の実施形態は、本開示を必ずしも限定するものではない。また、以下の実施形態において説明されている特徴の組み合わせの全てが本開示の解決手段に必須のものとは限らず、複数の特徴は任意に組み合わせられてもよい。また、フローチャートにおける各工程（ステップ）については「Ｓ」で始まる符号を用いて示す。
【0009】
［実施形態１］
図１乃至９を参照して、実施形態１に係る画像処理装置１００について説明する。まず、図１及び２を参照して、画像処理装置１００の構成について説明する。図１は、実施形態１に係る画像処理装置１００の機能構成の一例を示すブロック図である。画像処理装置１００は、図１に示すように、例えば、画像処理システム１に適用される。画像処理システム１は、画像処理装置１００、撮像装置１１０、及び画像生成装置１２０を有する。
図１乃至９を参照して、実施形態１に係る画像処理装置１００について説明する。まず、図１及び２を参照して、画像処理装置１００の構成について説明する。図１は、実施形態１に係る画像処理装置１００の機能構成の一例を示すブロック図である。画像処理装置１００は、図１に示すように、例えば、画像処理システム１に適用される。画像処理システム１は、画像処理装置１００、撮像装置１１０、及び画像生成装置１２０を有する。
【0010】
画像処理装置１００と撮像装置１１０とは、専用線又はＬＡＮ（Local Area Network）等の通信回線１４０により、互いに通信可能に接続されている。また、画像処理装置１００と画像生成装置１２０とは、専用線又はＬＡＮ等の通信回線１５０により、互いに通信可能に接続されている。撮像装置１１０は、デジタルスチルカメラ又はデジタルビデオカメラ等により構成され、撮像により得た画像（以下、撮像画像と呼ぶ）のデータ（以下、撮像画像データとも呼ぶ）を出力する。
【0011】
画像処理装置１００は、撮像装置１１０から出力された撮像画像データを、通信回線１４０を介して取得して、撮像画像にコンピュータグラフィックス（以下、ＣＧと呼ぶ）を重畳させた画像（以下、ＭＲ画像と呼ぶ）を生成する。なお、画像処理装置１００により生成されるＭＲ画像は動画像（以下、ＭＲ動画像と呼ぶ）である。画像処理装置１００は、生成したＭＲ動画像を図１には不図示の表示装置に表示させる。画像処理装置１００は、例えば、ＨＭＤ（Head Mounted Display）に適用される。画像処理装置１００がＨＭＤに適用される場合、撮像装置１１０は、例えば、ＨＭＤに配置され、ＨＭＤを装着したユーザの顔の向く方向を撮像する。また、この場合、画像処理装置１００は、生成したＭＲ動画像をＨＭＤに配置された表示装置に表示させる。
【0012】
また、画像処理装置１００は、ユーザ等からの、ＭＲ動画像のフレームに対応するＭＲ画像の静止画像（以下、ＭＲ静止画像と呼ぶ）のデータの取得要求（以下、単に、取得要求と呼ぶ）を受け付ける。画像処理装置１００は、取得要求を受けたときのＭＲ動画像におけるフレームに対応するＭＲ静止画像を生成するのに必要な情報を出力する。以下、ＭＲ静止画像を生成するのに必要な情報を「生成情報」と称して説明する。具体的には、画像処理装置１００は、取得要求を受けたときの、撮像画像データ、深度データ、レンダリング情報、及びＣＧを生成するときに生成される中間データを生成情報として出力する。本実施形態では、画像処理装置１００は、撮像画像データ、レンダリング情報、及びＣＧを生成するときに生成される中間データに加えて、取得要求を受けたときの深度データについても生成情報として出力するものとして説明する。ここで、深度データとは、撮像画像における撮像範囲のうちの少なくとも一部に対応する空間の深度、すなわち、撮像装置から当該空間に存在するオブジェクトまでの距離を示すデータである。また、レンダリング情報とは、ＣＧを生成するときに用いられるレンダリング条件を示す情報である。レンダリング情報は、視点の位置を示す視点情報を少なくとも含む。中間データは、ＣＧを生成するときに生成され、例えば、ＣＧを生成するときのライティング処理に用いられる。深度データ、レンダリング情報、及び中間データの詳細については後述する。
【0013】
画像生成装置１２０は、画像処理装置１００から出力された生成情報を、通信回線１５０を介して取得し、取得した生成情報に基づいて、ＭＲ静止画像を生成する。具体的には、画像生成装置１２０は、生成情報に含まれる中間データ及びレンダリング情報を用いて、撮像画像に重畳させるＣＧを生成する。更に、生成したＣＧのデータ、並びに、生成情報に含まれる撮像画像データ及び深度データを用いて、撮像画像にＣＧを重畳させたＭＲ静止画像を生成する。画像生成装置１２０は、中間データ及びレンダリング情報を用いてＣＧを生成することにより、上述のフレームの品質と比較して、高品質のＣＧを少ない演算量で生成することができる。結果として、画像生成装置１２０は、高品質のＭＲ静止画像を少ない演算量で生成することができる。
【0014】
＜画像処理装置の構成＞
画像処理装置１００は、機能構成として、画像取得部１０１、ＣＧ生成部１０２、ＭＲ生成部１０３、受付部１０４、及び出力部１０５を有する。画像処理装置１００が機能構成として備える各部の処理は、画像処理装置１００に内蔵されたＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアによってなされる。当該処理は、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェアによってなされるものであってもよい。また、画像処理装置１００が機能構成として備える各部の処理は、ＲＡＭ（Random Access Memory）等のメモリと、ＣＰＵ（Central Processor Unit）等のプロセッサとを用いたソフトウェアによってなされるものであってもよい。図１に示す各部の処理の詳細については後述する。
画像処理装置１００は、機能構成として、画像取得部１０１、ＣＧ生成部１０２、ＭＲ生成部１０３、受付部１０４、及び出力部１０５を有する。画像処理装置１００が機能構成として備える各部の処理は、画像処理装置１００に内蔵されたＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアによってなされる。当該処理は、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェアによってなされるものであってもよい。また、画像処理装置１００が機能構成として備える各部の処理は、ＲＡＭ（Random Access Memory）等のメモリと、ＣＰＵ（Central Processor Unit）等のプロセッサとを用いたソフトウェアによってなされるものであってもよい。図１に示す各部の処理の詳細については後述する。
【0015】
図２を参照して、画像処理装置１００が機能構成として備える各部がソフトウェアとして動作する場合の画像処理装置１００のハードウェア構成について説明する。図２は、実施形態１に係る画像処理装置１００のハードウェア構成の一例を示すブロック図である。画像処理装置１００は、コンピュータにより構成されており、当該コンピュータは、図２に一例として示すようにＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、補助記憶装置２０４、表示部２０５、操作部２０６、通信部２０７、及びバス２０８を有している。
【0016】
ＣＰＵ２０１は、ＲＯＭ２０２又はＲＡＭ２０３等に格納されているプログラム又はデータを用いて当該コンピュータを制御することにより、当該コンピュータを図１に示す画像処理装置１００が機能構成として備える各部として機能させるプロセッサである。なお、画像処理装置１００は、ＣＰＵ２０１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ２０１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ、ＦＰＧＡ、及びＤＳＰ（デジタルシグナルプロセッサ）等がある。ＲＯＭ２０２は、変更を必要としないプログラム等を格納するメモリである。ＲＡＭ２０３は、補助記憶装置２０４から供給されるプログラム若しくはデータ、又は通信部２０７を介して外部から供給されるデータ等を一時記憶するメモリである。補助記憶装置２０４は、例えばハードディスクドライブにより構成され、プログラム、又は画像データ若しくは音声データ等の種々のデータを記憶する。
【0017】
表示部２０５は、例えば液晶ディスプレイ又はＬＥＤ等により構成され、ユーザが画像処理装置１００を操作、又は画像処理装置１００における処理の状態を閲覧するためのＧＵＩ（Graphical User Interface）等を表示する。本実施形態では、画像処理装置１００により生成されたＭＲ動画像は、表示部２０５に表示されるものとする。操作部２０６は、例えばキーボード、マウス、ジョイスティック、又はタッチパネル等により構成され、ユーザによる操作を受けて各種の指示をＣＰＵ２０１に入力する。ＣＰＵ２０１は、表示部２０５を制御する表示制御部、及び操作部２０６を制御する操作制御部としても動作する。
【0018】
通信部２０７は、画像処理装置１００の外部の装置との間のデータ等の送受信等の通信に用いられる。例えば、画像処理装置１００が外部の装置と有線接続される場合には、通信用のケーブルが通信部２０７に接続される。画像処理装置１００が外部の装置と無線通信する機能を有する場合には、通信部２０７はアンテナを備える。本実施形態では、画像処理装置１００は、通信部２０７を介して、撮像装置１１０及び画像生成装置１２０等と通信する。バス２０８は、画像処理装置１００のハードウェア構成として備える各部をつないで情報を伝達する。実施形態１では、表示部２０５及び操作部２０６は、画像処理装置１００の内部に存在するものとして説明するが、表示部２０５及び操作部２０６の少なくとも一方は、画像処理装置１００の外部に別の装置として存在していてもよい。
【0019】
＜画像処理装置の各機能構成における処理＞
画像処理装置１００が機能構成として備える各部の処理について説明する。画像取得部１０１は、撮像画像データを取得する。具体的には、画像取得部１０１は、撮像装置１１０が出力する撮像画像データを、通信部２０７を介して取得する。撮像画像データの取得元は撮像装置１１０に限定されるものではなく、画像取得部１０１は、図１には不図示の記憶装置から撮像画像データを読み出すことにより、撮像画像データを取得してもよい。この場合、例えば、撮像装置１１０は、記憶装置に撮像画像データを出力して、撮像画像データを記憶装置に予め記憶させる。
画像処理装置１００が機能構成として備える各部の処理について説明する。画像取得部１０１は、撮像画像データを取得する。具体的には、画像取得部１０１は、撮像装置１１０が出力する撮像画像データを、通信部２０７を介して取得する。撮像画像データの取得元は撮像装置１１０に限定されるものではなく、画像取得部１０１は、図１には不図示の記憶装置から撮像画像データを読み出すことにより、撮像画像データを取得してもよい。この場合、例えば、撮像装置１１０は、記憶装置に撮像画像データを出力して、撮像画像データを記憶装置に予め記憶させる。
【0020】
画像取得部１０１は、撮像画像データに加えて、深度データを取得してもよい。例えば、画像取得部１０１は、図１には不図示のデプスカメラが出力する深度画像データを、深度データとして取得する。この場合、撮像装置１１０とデプスカメラとは近接した位置に配置されており、また、撮像装置１１０の光軸の方向とデプスカメラの光軸の方向とは、同一の方向であることが好適である。なお、ここでいう「同一」とは、完全に一致している場合に限定されず、略同一である場合も含む。
【0021】
深度画像データは、デプスカメラが出力するものに限定されるものではない。例えば、撮像装置１１０がステレオカメラである場合、画像取得部１０１は、撮像装置１１０が出力する、左右のそれぞれに対応する２つの撮像画像データを用いて、深度画像データを生成して取得してもよい。ステレオカメラが出力する撮像画像データを用いて深度画像データを生成する手法は周知であるため説明を省略する。深度データは、深度画像データに限定されるものではなく、点群データであってもよい。この場合、例えば、画像取得部１０１は、レーザ光のタイムオブフライト方式等による、図１には不図示の三次元スキャナが出力する点群データを深度データとして取得する。この場合、撮像装置１１０と三次元スキャナとは近接した位置に配置されていることが好適である。以下、画像取得部１０１は、撮像画像データに加えて、深度データについても取得するものとして説明する。
【0022】
ＣＧ生成部１０２は、レンダリング情報に基づいてレンダリングを行うことにより、ＣＧを生成する。ここで、レンダリング情報は、ＣＧ生成部１０２がＣＧを生成するときのレンダリング条件を示す情報である。具体的には、ＣＧ生成部１０２は、レンダリング情報に基づいてレンダリングを行うことにより、仮想空間に配置された仮想オブジェクトの仮想視点からの見えに対応するＣＧを生成する。レンダリング情報には、少なくとも、仮想空間における仮想視点の位置を示す情報（以下、視点情報と呼ぶ）が含まれている。ＣＧの生成処理の詳細については後述する。
【0023】
ＣＧ生成部１０２は、ＣＧを生成するときに、その生成過程で中間データを生成する。中間データは、例えば、ＣＧ生成部１０２がＣＧを生成するときのライティング処理に用いられる。ここで、中間データとは、ベースカラーを示す情報（以下、カラー情報と呼ぶ）、法線を示す情報（以下、法線情報と呼ぶ）、反射率を示す情報（以下、反射率情報と呼ぶ）、又はＣＧの各ピクセルの世界座標を示す情報（以下、ＣＧ座標情報と呼ぶ）等である。中間データには、例えば、上述の情報のうちの少なく１つが含まれる。
【0024】
カラー情報とは、ＣＧに写る、仮想オブジェクトを構成する１以上の要素のそれぞれの色又は色彩を示す情報である。また、法線情報とは、ＣＧに写る、仮想オブジェクトを構成する各要素の向きを示す情報である。また、反射率情報とは、ＣＧに写る、仮想オブジェクトを構成する各要素の反射率を示す情報である。また、ＣＧ座標情報とは、例えば、ＣＧの各ピクセルに対応する、仮想空間における位置を示す情報であって、現実空間と同じ座標系を用いて表現された情報である。
【0025】
具体的には、仮想オブジェクトを示す３次元形状データが１以上のポリゴンにより表現される場合、カラー情報とは、例えば、ＣＧに写る、仮想オブジェクトを構成する各ポリゴンの色又は色彩を示す情報である。また、この場合、法線情報とは、例えば、ＣＧに写る、仮想オブジェクトを構成する各ポリゴンの向きを示す情報であって、各ポリゴンの法線の方向を示す情報である。また、この場合、反射率情報とは、例えば、ＣＧに写る、仮想オブジェクトを構成する各ポリゴンの反射率を示す情報である。
【0026】
仮想オブジェクトを示す３次元形状データは、１以上のポリゴンにより表現されるものに限定されるものではなく、例えば、点群又はボクセルにより表現されるものであってもよい。仮想オブジェクトを示す３次元形状データが点群により表現される場合、カラー情報は、例えば、ＣＧに写る、仮想オブジェクトを示す点群における各点の色を示す情報である。また、この場合、法線情報とは、例えば、ＣＧに写る、仮想オブジェクトを示す点群における各点について、点同士を結んだ線分により囲まれる平面の向きを示す情報であって、この平面の法線の方向を示す情報である。また、この場合、反射率情報とは、例えば、ＣＧに写る、仮想オブジェクトを示す点群における各点について、点同士を結んだ線分により囲まれる平面の反射率を示す情報である。
【0027】
同様に、仮想オブジェクトを示す３次元形状データがボクセルにより表現される場合、カラー情報は、例えば、ＣＧに写る、仮想オブジェクトの表面を示す各ボクセルの色を示す情報である。また、この場合、法線情報とは、例えば、ＣＧに写る、仮想オブジェクトの表面を示すボクセル同士を結んだ線分により囲まれる平面の向きを示す情報であって、この平面の法線の方向を示す情報である。また、この場合、反射率情報とは、例えば、ＣＧに写る、仮想オブジェクトの表面を示すボクセル同士を結んだ線分により囲まれる平面の反射率を示す情報である。以下、仮想オブジェクトを示す３次元形状データは、１以上のポリゴンにより表現されているものとして説明する。
【0028】
ＭＲ生成部１０３は、撮像画像にＣＧを重畳させて、ＭＲ動画像のフレームを生成する。具体的には、撮像画像データ、深度データ、及びＣＧのデータを用いてＭＲ動画像のフレームを生成する。ＭＲ生成部１０３は、ＭＲ動画像のフレームの生成を繰り返すことによりＭＲ動画像を生成する。ＭＲ生成部１０３により生成されたＭＲ動画像は、表示部２０５に出力されて、表示部２０５に表示される。ここで、ＭＲ生成部１０３により生成されるＭＲ画像は動画像であるため、ＭＲ生成部１０３は、ＭＲ動画像の各フレームを表示のフレームレートに合わせて生成する。したがって、ＣＧ生成部１０２は、ＭＲ動画像の各フレームを生成するときに用いられるＣＧを表示のフレームレートに合わせて生成する。撮像画像データとＣＧのデータとを用いたＭＲ動画像のフレームの生成手法については、周知であるため詳細な説明を省略する。
【0029】
受付部１０４は、取得要求を示す信号を受信することにより、取得要求を受け付ける。当該信号は、例えば、ユーザが操作部２０６を操作することにより、操作部２０６から出力される。出力部１０５は、取得要求を受け付けたときのＭＲ動画像のフレームに対応するＭＲ静止画像を生成する際に用いる生成情報を出力する。生成情報には、取得要求を受けたときの、ＭＲ生成部１０３によるＭＲ動画像のフレーム生成に用いられる撮像画像データが含まれる。また、生成情報には、レンダリング情報であって、取得要求を受けたときの、ＭＲ動画像のフレーム生成に用いられるＣＧを生成するときのレンダリング情報が含まれる。更に、生成情報には、中間データであって、取得要求を受けたときの、ＭＲ動画像のフレーム生成に用いられるＣＧを生成するときに生成される中間データが含まれる。
【0030】
また、出力部１０５は、視点情報に加えて、取得要求を受けたときにレンダリング条件として使用されるシェーダコードのデータを含むレンダリング情報を、生成情報に含めて出力してもよい。また、出力部１０５は、視点情報に加えて、光源の位置、光源が放つ光の差し込む角度、この光の色、又はこの光の強度等を示す情報（以下、光源情報と呼ぶ）を含むレンダリング情報を、生成情報に含めて出力してもよい。また、出力部１０５は、撮像画像データに加えて、取得要求を受けたときの、ＭＲ動画像のフレーム生成に用いられる深度データを生成情報に含めて出力してもよい。出力部１０５は、生成情報を、通信回線１５０を介して画像生成装置１２０に出力する。生成情報の出力先は、画像生成装置１２０に限定されるものではなく、出力部１０５は、補助記憶装置２０４又は図１には不図示の記憶装置等に生成情報を出力し、出力した生成情報を記憶させてもよい。
【0031】
＜画像生成装置の構成＞
画像生成装置１２０は、画像処理装置１００が出力する生成情報を用いて、取得要求を受けたときのＭＲ動画像のフレームに対応する高品質のＭＲ静止画像を生成する。具体的には、画像生成装置１２０は、生成情報に含まれるレンダリング情報と中間データとを用いて、再レンダリングを行うことにより、取得要求を受けたときのＭＲ動画像のフレームに重畳されたＣＧに対応する高品質のＣＧを生成する。更に、画像生成装置１２０は、生成情報に含まれる撮像画像データ及び深度データと、生成したＣＧのデータとを用いて、撮像画像にＣＧに重畳させて、高品質のＭＲ静止画像を生成する。図３を参照して、画像生成装置１２０の機能構成について説明する。図３は、実施形態１に係る画像生成装置１２０の機能構成の一例を示すブロック図である。画像生成装置１２０は、機能構成として、取得部３０１、ＣＧ生成部３０２、及びＭＲ生成部３０３を有する。
画像生成装置１２０は、画像処理装置１００が出力する生成情報を用いて、取得要求を受けたときのＭＲ動画像のフレームに対応する高品質のＭＲ静止画像を生成する。具体的には、画像生成装置１２０は、生成情報に含まれるレンダリング情報と中間データとを用いて、再レンダリングを行うことにより、取得要求を受けたときのＭＲ動画像のフレームに重畳されたＣＧに対応する高品質のＣＧを生成する。更に、画像生成装置１２０は、生成情報に含まれる撮像画像データ及び深度データと、生成したＣＧのデータとを用いて、撮像画像にＣＧに重畳させて、高品質のＭＲ静止画像を生成する。図３を参照して、画像生成装置１２０の機能構成について説明する。図３は、実施形態１に係る画像生成装置１２０の機能構成の一例を示すブロック図である。画像生成装置１２０は、機能構成として、取得部３０１、ＣＧ生成部３０２、及びＭＲ生成部３０３を有する。
【0032】
画像生成装置１２０は、パーソナルコンピュータ、スマートフォン、又はタブレット端末等のコンピュータにより構成される。画像生成装置１２０が機能構成として有する各部は、画像生成装置１２０に内蔵されたＣＰＵ又はＧＰＵ等のプロセッサ、及びＲＡＭ等のメモリとを用いたソフトウェアによってなされる。なお、画像生成装置１２０は、プロセッサとは異なる１又は複数の専用のハードウェアを有し、プロセッサによる処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ、ＦＰＧＡ、及びＤＳＰ等がある。
【0033】
＜画像生成装置の各機能構成における処理＞
取得部３０１は、通信回線１５０を介して、画像処理装置１００が出力した生成情報を取得する。生成情報の取得元は、画像処理装置１００に限定されるものではなく、取得部３０１は、生成情報を予め記憶した記憶装置から生成情報を読み出すことにより、生成情報を取得してもよい。ＣＧ生成部３０２は、取得部３０１により取得された生成情報に含まれる中間データとレンダリング情報とを用いて再レンダリングを行うことによりＣＧを生成する。ＣＧ生成部３０２は、中間データを用いて再レンダリングを行うことにより、高品質のＣＧを少ない演算量で生成することができる。
取得部３０１は、通信回線１５０を介して、画像処理装置１００が出力した生成情報を取得する。生成情報の取得元は、画像処理装置１００に限定されるものではなく、取得部３０１は、生成情報を予め記憶した記憶装置から生成情報を読み出すことにより、生成情報を取得してもよい。ＣＧ生成部３０２は、取得部３０１により取得された生成情報に含まれる中間データとレンダリング情報とを用いて再レンダリングを行うことによりＣＧを生成する。ＣＧ生成部３０２は、中間データを用いて再レンダリングを行うことにより、高品質のＣＧを少ない演算量で生成することができる。
【0034】
ＭＲ生成部３０３は、取得部３０１により取得された生成情報に含まれる撮像画像データ及び深度データと、ＣＧ生成部３０２により生成されたＣＧとを用いて、撮像画像にＣＧを重畳させたＭＲ静止画像を生成する。このようにして、画像生成装置１２０は、取得要求を受けたときのＭＲ動画像のフレームに対応する高品質のＭＲ静止画像を少ない演算量で生成することができる。
【0035】
＜画像処理装置の動作＞
図４を参照して、画像処理装置１００の動作について説明する。図４は、実施形態１に係る画像処理装置１００の処理フローの一例を示すフローチャートである。画像処理装置１００は、例えば、ユーザによる操作等による、表示装置へのＭＲ動画像の表示を終了させる指示を受け付けるまでの間、当該フローチャートの処理を繰り返し実行する。まず、Ｓ４１０にて、画像取得部１０１は撮像画像データを取得する。次に、Ｓ４２０にて、画像取得部１０１は深度データを取得する。次に、Ｓ４３０にて、ＣＧ生成部１０２は、ＣＧを生成する。ＣＧ生成部１０２がＣＧを生成する際のレンダリング処理の詳細については、図５及び６を用いて後述する。
図４を参照して、画像処理装置１００の動作について説明する。図４は、実施形態１に係る画像処理装置１００の処理フローの一例を示すフローチャートである。画像処理装置１００は、例えば、ユーザによる操作等による、表示装置へのＭＲ動画像の表示を終了させる指示を受け付けるまでの間、当該フローチャートの処理を繰り返し実行する。まず、Ｓ４１０にて、画像取得部１０１は撮像画像データを取得する。次に、Ｓ４２０にて、画像取得部１０１は深度データを取得する。次に、Ｓ４３０にて、ＣＧ生成部１０２は、ＣＧを生成する。ＣＧ生成部１０２がＣＧを生成する際のレンダリング処理の詳細については、図５及び６を用いて後述する。
【0036】
次に、Ｓ４４０にて、ＭＲ生成部１０３は、Ｓ４１０にて取得された撮像画像データ、Ｓ４２０にて取得された深度データ、及びＳ４３０にて生成されたＣＧのデータを用いて、ＭＲ動画像のフレームを生成する。例えば、ＭＲ生成部１０３は、Ｓ４２０にて取得された深度データと、Ｓ４３０にて生成されたＣＧの各画素の深度、すなわち、仮想視点からＣＧの画素に対応する仮想空間における点までの距離を示す情報とを比較する。具体的には、例えば、ＭＲ生成部１０３は、撮像画像の画素と、この画素に重畳させるＣＧの画素とを画素ごとに比較して、どちらがユーザの視点の位置の近傍に位置するかを判定する。ＣＧの画素の方がユーザの視点の位置の近傍に位置する場合、このＣＧの画素を撮像画像に重畳することによりＭＲ動画像のフレームを生成する。
【0037】
次に、Ｓ４５０にて、受付部１０４は、取得要求を受け付けたか否かを判定する。Ｓ４５０にて取得要求を受け付けたと判定された場合、Ｓ４６０にて、出力部１０５は、生成情報を出力する。このとき、出力部１０５は、生成情報に加えて、Ｓ４４０にて生成されたＭＲ動画像のフレームのデータを出力してもよい。なお、出力部１０５は、生成情報に含まれる撮像画像データ、レンダリング情報、及び中間データ等をまとめて出力してもよく、撮像画像データ、レンダリング情報、及び中間データ等を任意の順に順次出力してもよい。Ｓ４６０の後、又は、Ｓ４５０にて取得要求を受け付けていないと判定された場合、画像処理装置１００は、図４に示すフローチャートの処理を終了する。終了後、画像処理装置１００は、Ｓ４１０の処理に戻って、例えば、表示装置へのＭＲ動画像の表示を終了させる指示を受け付けるまでの間、当該フローチャートの処理を繰り返し実行する。
【0038】
＜レンダリング処理＞
図５及び６を参照して、Ｓ４３０にて実行されるレンダリング処理について説明する。図５は、実施形態１に係る画像処理装置１００が有するＣＧ生成部１０２のレンダリング処理の処理フローの一例を示すフローチャートである。図６は、実施形態１に係る画像処理装置１００が有するＣＧ生成部１０２におけるレンダリング処理の一例を説明するための説明図である。図６（ａ）は、仮想視点６０３と仮想オブジェクト６０１との位置関係を示している。まず、Ｓ４３１にて、ＣＧ生成部１０２は、ポリゴン等の３次元形状データにより表現された仮想オブジェクト６０１の各頂点を、２次元平面６０２に投影する。図６（ｂ）は、仮想視点６０３から見たときの仮想オブジェクト６０１の見えを示すものであって、２次元平面６０２に投影された仮想オブジェクト６０１の頂点同士を線分でつなぎ、この線分で囲まれた領域６０４を示している。すなわち、領域６０４は、２次元平面６０２に投影された仮想オブジェクト６０１に対応する領域である。
図５及び６を参照して、Ｓ４３０にて実行されるレンダリング処理について説明する。図５は、実施形態１に係る画像処理装置１００が有するＣＧ生成部１０２のレンダリング処理の処理フローの一例を示すフローチャートである。図６は、実施形態１に係る画像処理装置１００が有するＣＧ生成部１０２におけるレンダリング処理の一例を説明するための説明図である。図６（ａ）は、仮想視点６０３と仮想オブジェクト６０１との位置関係を示している。まず、Ｓ４３１にて、ＣＧ生成部１０２は、ポリゴン等の３次元形状データにより表現された仮想オブジェクト６０１の各頂点を、２次元平面６０２に投影する。図６（ｂ）は、仮想視点６０３から見たときの仮想オブジェクト６０１の見えを示すものであって、２次元平面６０２に投影された仮想オブジェクト６０１の頂点同士を線分でつなぎ、この線分で囲まれた領域６０４を示している。すなわち、領域６０４は、２次元平面６０２に投影された仮想オブジェクト６０１に対応する領域である。
【0039】
図６（ｃ）は、２次元平面６０２を画像６０５に変換したときの領域６０４に対応する画像領域６０６を示している。Ｓ４３１の後、Ｓ４３２にて、ＣＧ生成部１０２は、２次元平面６０２に投影された形状、すなわち、領域６０４をラスタライズして、領域６０４に対応する画像領域６０６を含む画像６０５を取得する。なお、図６（ｃ）において、画像６０５中に矩形を用いて表現された各領域は、画像６０５における画素（ピクセル）を示し、画像領域６０６は、画素の集まりにより表現される。
【0040】
図６（ｄ）は、中間データ６０７の集まりを示している。Ｓ４３２の後、Ｓ４３３にて、ＣＧ生成部１０２は、後段の処理で用いられる様々なデータを生成して、生成したもののうちの一部又は全部を中間データ６０７としてＲＡＭ２０３等に保存する。後段の処理とは、例えば、仮想オブジェクト６０１に対するライティング処理である。ライティング処理で必要となるデータとは、例えば、上述したカラー情報、法線情報、及びＣＧ座標情報であるが、これに限定されるものではない。
【0041】
図６（ｅ）は、ライティング処理後の仮想オブジェクト６０１に対応する画像領域６０９を含む画像６０８を示している。Ｓ４３３の後、Ｓ４３４にて、ＣＧ生成部１０２は、Ｓ４３３にて生成されたデータを用いて、ライティング処理を行う。ＣＧ生成部１０２は、ライティング処理により、光源から放たれた光が仮想オブジェクト６０１に照射されたときに現れる陰影を算出して、光源の影響を考慮した画像６０８を生成する。ライティング処理の詳細については後述する。
【0042】
図６（ｆ）は、画像６０８に対してエフェクト処理を行った後の画像６１０を示している。Ｓ４３４の後、Ｓ４３５にて、ＣＧ生成部１０２は、Ｓ４３４にて生成された画像６０８に対して、ポストプロセスとして様々なエフェクト処理を行い、仮想オブジェクト６０１に対応する最終的なＣＧとして画像６１０を生成する。エフェクト処理とは、例えば、表示内容に応じて画像全体の明るさを調整する露出処理であるが、これに限定されるものではない。
【0043】
＜ライティング処理＞
本実施形態では、ライティング処理の一例として、拡散反射光及び鏡面反射光の２つの反射光の強さを算出する形態について説明する。以下、本実施形態の光源は、無限遠方に存在し、光源からの距離によらず光の強さが一定であるディレクショナルライトであるものとして説明する。なお、本実施形態では、一例として、光源はディレクショナルライトであり、上述の２つの反射光があるものとして説明するが、ライティング処理の手法はこれに限定されるものではない。
本実施形態では、ライティング処理の一例として、拡散反射光及び鏡面反射光の２つの反射光の強さを算出する形態について説明する。以下、本実施形態の光源は、無限遠方に存在し、光源からの距離によらず光の強さが一定であるディレクショナルライトであるものとして説明する。なお、本実施形態では、一例として、光源はディレクショナルライトであり、上述の２つの反射光があるものとして説明するが、ライティング処理の手法はこれに限定されるものではない。
【0044】
拡散反射は、反射光が様々な方向に同程度の強さで広がる反射である。図７を参照して、拡散反射光の算出方法について説明する。図７は、拡散反射光の一般的な算出方法の一例を説明するための説明図である。以下、ある平面７０１にディレクショナルライトからの光が照射されている場合について説明する。光線ベクトル７０２はディレクショナルライトの照射光が進む方向を示している。法線ベクトル７０３は、平面７０１の法線の方向を示している。このとき、拡散反射光の強さＩdは、次式（１）を用いて算出される。ここで、ｋdは拡散反射率、Ｉiは光源が放つ照射光の強さ、Ｎは平面７０１の法線ベクトル７０３、Ｌはディレクショナルライトの照射光の光線ベクトル７０２である。
Ｉd＝ｋd・Ｉi・（－Ｎ・Ｌ） ・・・式（１）
Ｉd＝ｋd・Ｉi・（－Ｎ・Ｌ） ・・・式（１）
【0045】
鏡面反射は正反射方向に強く反射する、ハイライトとも呼ばれる反射である。図８を参照して、鏡面反射光の算出方法について説明する。図８は、鏡面反射光の一般的な算出方法の一例を説明するための説明図である。以下、ある平面８０１にディレクショナルライトからの光が照射されている場合について説明する。光線ベクトル８０２はディレクショナルライトの照射光が進む方向を示している。法線ベクトル８０３は平面８０１の法線の方向を示している。光線ベクトル８０４はディレクショナルライト８０２からの光の鏡面反射光が進む方向を示している。視点８０６は視点の位置を示し、視線ベクトル８０５は視線の方向を示している。このとき、鏡面反射光の強さＩsは、次式（２）を用いて算出される。ここで、ｋsは鏡面反射率、Ｉiは光源が放つ照射光の強さ、Ｒはディレクショナルライトの照射光が平面８０１で鏡面反射した鏡面反射光が進む方向を示す光線ベクトル、Ｖは視線ベクトル、ｎは鏡面反射の強さを制御するパラメータを表している。
Ｉs＝ｋs・Ｉi・（－Ｒ・Ｖ）n ・・・ 式（２）
Ｉs＝ｋs・Ｉi・（－Ｒ・Ｖ）n ・・・ 式（２）
【0046】
また、反射光ベクトルＲ及び視線ベクトルＶは、次式（３）及び（４）を用いて算出できる。ここで、Ｎは平面８０１の法線ベクトル、Ｌはディレクショナルライトの照射光の光線ベクトル、（ｘe，ｙe，ｚe）は視点の座標、（ｘs，ｙs，ｚs）はディレクショナルライトの照射光の入射点の座標を示している。
Ｒ＝Ｌ＋２（－Ｎ・Ｌ）×Ｎ ・・・ 式（３）
Ｖ＝（ｘs，ｙs，ｚs）－（ｘe，ｙe，ｚe） ・・・ 式（４）
Ｒ＝Ｌ＋２（－Ｎ・Ｌ）×Ｎ ・・・ 式（３）
Ｖ＝（ｘs，ｙs，ｚs）－（ｘe，ｙe，ｚe） ・・・ 式（４）
【0047】
拡散反射及び鏡面反射による２つの反射光の強さを用いて、ライティング処理を行い、その結果として、画素値ＩLは次式（５）を用いて求められる。ここで、ＩBはベースカラーの値を示す。
ＩL＝（Ｉd＋Ｉs）・ＩB ・・・ 式（５）
ＩL＝（Ｉd＋Ｉs）・ＩB ・・・ 式（５）
【0048】
＜画像生成装置の動作＞
図９を参照して、画像生成装置１２０の動作について説明する。図９は、実施形態１に係る画像生成装置１２０の処理フローの一例を示すフローチャートである。例えば、画像生成装置１２０は、これまで用いていない新たな生成情報が存在する場合に図９に示すフローチャートの処理を実行する。まず、Ｓ９１０にて、取得部３０１は、生成情報を取得する。本実施形態では、生成情報には、レンダリング情報として、光源が放つ光の差し込む角度、及びこの光の強度等を示す光源情報が含まれ、ＣＧ生成部３０２は、これらの情報が示す生成情報を使用してＣＧを生成するものとして説明する。なお、ＣＧを生成する際に使用するレンダリング条件は、これに限定されるものではない。
図９を参照して、画像生成装置１２０の動作について説明する。図９は、実施形態１に係る画像生成装置１２０の処理フローの一例を示すフローチャートである。例えば、画像生成装置１２０は、これまで用いていない新たな生成情報が存在する場合に図９に示すフローチャートの処理を実行する。まず、Ｓ９１０にて、取得部３０１は、生成情報を取得する。本実施形態では、生成情報には、レンダリング情報として、光源が放つ光の差し込む角度、及びこの光の強度等を示す光源情報が含まれ、ＣＧ生成部３０２は、これらの情報が示す生成情報を使用してＣＧを生成するものとして説明する。なお、ＣＧを生成する際に使用するレンダリング条件は、これに限定されるものではない。
【0049】
次に、Ｓ９５０にて、ＣＧ生成部３０２は、Ｓ９１０にて取得された生成情報に含まれる、カラー情報、法線情報、反射率情報、及びＣＧ座標情報等の中間データと、視点情報及び光源情報等のレンダリング情報とを用いてＣＧを生成する。具体的には、例えば、ＣＧ生成部３０２は、例えば、ＣＧ生成部１０２によるＳ４３４と同様に、ライティング処理として、まず、拡散反射光及び鏡面反射光の２つの反射光の強さを算出することにより、ＣＧを生成する。拡散反射光の強さは、中間データに含まれる、反射率情報が示す拡散反射率及び法線情報と、レンダリング情報に含まれる、光源情報が示す光源が放つ光の差し込む角度に基づく照射光の光線ベクトル及び光源情報が示す光源が放つ光の強度とを用いて算出される。鏡面反射光の強さは、法線情報と照射光の光線ベクトルとから求められる反射光ベクトル、及び視点情報とＣＧ座標情報とから求められる視線ベクトル、鏡面反射率、及び光源が放つ光の強度を用いて算出される。更に、ＣＧ生成部３０２は、算出した上述の２つの反射光の強さと、中間データに含まれるカラー情報とを用いたライティング処理を行うことにより、最終的なＣＧを生成する。
【0050】
次に、Ｓ９６０にて、ＭＲ生成部３０３は、Ｓ９１０にて取得された生成情報に含まれる、撮像画像データ及び深度データ、並びに、Ｓ９５０にて生成されたＣＧのデータを用いて、撮像画像にＣＧを重畳させたＭＲ静止画像を生成する。Ｓ９６０の後、画像生成装置１２０は、図９に示すフローチャートの処理を終了する。画像生成装置１２０は、取得要求を受けたときの中間データを用いてＣＧのレンダリングを行うことにより、高品質のＣＧを少ない演算量で生成することができる。結果として、画像生成装置１２０は、取得要求を受けたときのＭＲ動画像のフレームに対応する高品質のＭＲ静止画像を少ない演算量で生成することができる。
【0051】
したがって、以上のように構成された画像処理装置１００によれば、任意の時点におけるＭＲ静止画像の品質を向上させつつ、ＭＲ静止画像の生成処理の際の演算量をより少なくすることができる。
【0052】
なお、上述したように、レンダリング情報は、取得要求を受けたときにレンダリング条件として使用されるシェーダコードのデータを含むものであってよい。レンダリング情報にシェーダコードのデータが含まれる場合、ＣＧ生成部３０２は、中間データに加えて、シェーダコードを用いてライティング処理を行ってもよい。このように構成することにより、ＣＧ生成部３０２は、ＣＧ生成部１０２と同じシェーダコードを用いてライティング処理を行うことができる。そのため、ＭＲ生成部３０３は、ＭＲ生成部１０３が生成したＭＲ動画像のフレームに対して、違和感の少ない、且つ、高品質のＭＲ静止画像を少ない演算量で生成することができる。
【0053】
また、実施形態１では、生成情報として出力されるレンダリング情報には、視点情報に加えて、ＣＧ生成部１０２がライティング処理に使用した光源情報も含まれるものとして説明したが、これに限定されるものではない。例えば、生成情報として出力されるレンダリング情報は、光源情報等の視点情報以外の情報を含んでなくてもよい。生成情報として出力されるレンダリング情報が光源情報を含まない場合、ＣＧ生成部３０２は、例えば、予め用意された光源情報を用いてライティング処理を行い、ＣＧを生成してもよい。
【0054】
また、例えば、ＣＧ生成部３０２は、生成情報に含まれる撮像画像データ、又は撮像画像データ及び深度データを用いて、撮像画像に写るオブジェクトとオブジェクトの影とから光源情報を生成し、生成した光源情報を用いてライティング処理を行ってもよい。また、例えば、ＣＧ生成部３０２は、操作部２０６を介してユーザにより設定された光源情報を用いてライティング処理を行ってもよい。なお、光源情報とは、光源が放つ光の差し込む角度、又はこの光の強度等を示す情報であるが、光源情報は、これに限定されるものではない。このように構成することにより、ＣＧ生成部３０２は、ＣＧ生成部１０２がＣＧを生成したときとは異なる条件でライティング処理を行ったＣＧを生成できる。
【0055】
また、実施形態１では、画像処理装置１００は深度データを取得し、深度データを生成情報として更に出力するものと説明したが、画像処理装置１００は必ずしも深度データを取得する必要はなく、また、深度データは生成情報に必ずしも含まれる必要はない。画像処理装置１００が深度データを取得しない場合、ＭＲ生成部１０３は、例えば、撮像画像の全ての画素についてＣＧを重畳する等の手法により、ＭＲ動画像のフレームを生成してもよい。また、画像生成装置１２０が取得した生成情報に深度データが含まれていない場合、ＭＲ生成部３０３は、撮像画像の全ての画素についてＣＧを重畳する等の手法により、ＭＲ静止画像を生成してもよい。なお、撮像画像の全ての画素についてＣＧを重畳する手法は一例であって、深度データがない場合の処理は、これに限定されるものではない。
【0056】
また、実施形態１では、ＣＧ生成部３０２は、Ｓ９５０にてライティング処理を行うことにより最終的なＣＧを生成する形態について説明したが、Ｓ９５０の処理はこれに限定されるものではない。例えば、ＣＧ生成部３０２は、Ｓ９５０にてライティング処理に加えて、Ｓ４３５で行ったようなポストプロセス処理を行ってもよい。この場合、ＣＧ生成部３０２は、生成情報に含まれる中間データを用いてポストプロセス処理を行ってもよい。
【0057】
また、実施形態１では、出力部１０５は、Ｓ４６０にて生成情報の出力を行ったが、生成情報の出力のタイミングはこれに限定されるものではない。例えば、出力部１０５は、Ｓ４６０においてはＲＡＭ２０３等のメモリ上に生成情報を退避しておく。その後、表示装置へのＭＲ動画像の表示を終了させる指示を受け付けてＭＲ動画像のフレームの生成処理が不要となったとき等の処理に余裕ができたときに、メモリ上に退避した生成情報を出力してもよい。
【0058】
また、実施形態１では、画像処理装置１００と画像生成装置１２０とを互いに異なる装置として構成する形態を説明したが、これに限定されるものではない。例えば、画像処理装置１００は、画像取得部１０１、ＣＧ生成部１０２、ＭＲ生成部１０３、受付部１０４、及び出力部１０５に加えて、画像生成装置１２０が有する取得部３０１、ＣＧ生成部３０２、及びＭＲ生成部３０３を有してもよい。
【0059】
また、画像処理装置１００の適用の範囲は、ＨＭＤに限定されるものではない。例えば、画像処理装置１００をスマートフォン又はタブレット端末等に適用することも可能である。例えば、画像処理装置１００をスマートフォンに適用する場合、撮像装置１１０は、例えば、スマートフォンの表示面とは反対の面に配置される。また、この場合、画像処理装置１００は、生成したＭＲ動画像をスマートフォンの表示面に表示させる。
【0060】
［実施形態２］
図１乃至３、並びに図１０及び１１を参照して、実施形態２に係る画像処理装置１００（以下、単に、画像処理装置１００と表記する）について説明する。実施形態１に係る画像処理装置１００は、生成情報として、撮像画像データを出力するものであった。また、実施形態１に係る画像生成装置１２０は、生成情報に含まれる撮像画像データを用いて、撮像画像にＣＧを重畳させたＭＲ静止画像を生成するものであった。
図１乃至３、並びに図１０及び１１を参照して、実施形態２に係る画像処理装置１００（以下、単に、画像処理装置１００と表記する）について説明する。実施形態１に係る画像処理装置１００は、生成情報として、撮像画像データを出力するものであった。また、実施形態１に係る画像生成装置１２０は、生成情報に含まれる撮像画像データを用いて、撮像画像にＣＧを重畳させたＭＲ静止画像を生成するものであった。
【0061】
これに対して、画像処理装置１００は、撮像画像データに加えて、撮像画像データに対応するＲＡＷデータについても取得し、生成情報として、撮像画像データに替えてＲＡＷデータを出力する。また、実施形態２に係る画像生成装置１２０は、生成情報に含まれるＲＡＷデータを用いて、ＲＡＷデータを現像することにより得た画像（以下、現像画像と呼ぶ）にＣＧを重畳させたＭＲ静止画像を生成する。これにより、より高品質のＭＲ静止画像を生成することができる。
【0062】
＜画像処理装置の構成＞
画像処理装置１００は、実施形態１に係る画像処理装置１００と同様に図１に一例として示す各部を備える。画像処理装置１００が備える各部の処理は、実施形態１に係る画像処理装置１００と同様に、画像処理装置１００に内蔵されたＡＳＩＣ若しくはＦＰＧＡ等のハードウェアによってなされる。当該処理は、図２に一例として示すようなＲＡＭ２０３等のメモリとＣＰＵ２０１等のプロセッサとを用いたソフトウェアによってなされてもよい。また、画像処理装置１００は、実施形態１に係る画像処理装置１００と同様に、図１に一例として示す画像処理システム１に適用される。
画像処理装置１００は、実施形態１に係る画像処理装置１００と同様に図１に一例として示す各部を備える。画像処理装置１００が備える各部の処理は、実施形態１に係る画像処理装置１００と同様に、画像処理装置１００に内蔵されたＡＳＩＣ若しくはＦＰＧＡ等のハードウェアによってなされる。当該処理は、図２に一例として示すようなＲＡＭ２０３等のメモリとＣＰＵ２０１等のプロセッサとを用いたソフトウェアによってなされてもよい。また、画像処理装置１００は、実施形態１に係る画像処理装置１００と同様に、図１に一例として示す画像処理システム１に適用される。
【0063】
＜画像処理装置の各機能構成における処理＞
画像処理装置１００が機能構成として備える各部の処理について説明する。なお、以下、画像処理装置１００が備えるＣＧ生成部１０２、ＭＲ生成部１０３、及び受付部１０４は、実施形態１に係る画像処理装置１００が備える対応する各部と同様であるため、詳細な説明を省略する。画像取得部１０１は、撮像画像データ、及び撮像画像データに対応するＲＡＷデータを取得する。具体的には、画像取得部１０１は、撮像装置１１０が出力する撮像画像データ及びＲＡＷデータを取得する。撮像画像データ及びＲＡＷデータの取得元は撮像装置１１０に限定されるものではない。例えば、画像取得部１０１は、図１には不図示の記憶装置から撮像画像データ及びＲＡＷデータの少なくとも一方を読み出すことにより、撮像画像データ又はＲＡＷデータを取得してもよい。この場合、例えば、撮像装置１１０は、撮像画像データ又はＲＡＷデータを記憶装置に出力して、記憶装置に予め記憶させる。画像取得部１０１は、撮像画像データ及びＲＡＷデータに加えて、深度データを取得してもよい。以下、画像取得部１０１は、撮像画像データ及びＲＡＷデータに加えて、深度データについても取得するものとして説明する。
画像処理装置１００が機能構成として備える各部の処理について説明する。なお、以下、画像処理装置１００が備えるＣＧ生成部１０２、ＭＲ生成部１０３、及び受付部１０４は、実施形態１に係る画像処理装置１００が備える対応する各部と同様であるため、詳細な説明を省略する。画像取得部１０１は、撮像画像データ、及び撮像画像データに対応するＲＡＷデータを取得する。具体的には、画像取得部１０１は、撮像装置１１０が出力する撮像画像データ及びＲＡＷデータを取得する。撮像画像データ及びＲＡＷデータの取得元は撮像装置１１０に限定されるものではない。例えば、画像取得部１０１は、図１には不図示の記憶装置から撮像画像データ及びＲＡＷデータの少なくとも一方を読み出すことにより、撮像画像データ又はＲＡＷデータを取得してもよい。この場合、例えば、撮像装置１１０は、撮像画像データ又はＲＡＷデータを記憶装置に出力して、記憶装置に予め記憶させる。画像取得部１０１は、撮像画像データ及びＲＡＷデータに加えて、深度データを取得してもよい。以下、画像取得部１０１は、撮像画像データ及びＲＡＷデータに加えて、深度データについても取得するものとして説明する。
【0064】
出力部１０５は、ＣＧの再レンダリングにより、取得要求を受け付けたときのＭＲ動画像のフレームに対応するＭＲ静止画像を生成する際に用いる生成情報を出力する。生成情報には、取得要求を受けたときのＭＲ動画像のフレーム生成に用いられる撮像画像データに対応するＲＡＷデータが含まれる。画像取得部１０１が深度データを取得する場合、出力部１０５は、出力する生成情報に深度データを含めてもよい。また、出力部１０５は、取得要求を受けたときのＣＧの生成処理に用いるレンダリング情報と、取得要求を受けたときのＣＧの生成処理のときに生成される中間データとを生成情報として出力する。レンダリング情報及び中間データの詳細については上述したため説明を省略する。
【0065】
なお、レンダリング情報には、少なくとも、視点情報が含まれている。レンダリング情報は、視点情報に加えて、取得要求を受けたときの光源情報、及び、取得要求を受けたときにレンダリング条件として使用されるシェーダコードのデータのうちの少なくともいずれかを含んでいてもよい。出力部１０５は、生成情報を、通信回線１５０を介して画像生成装置１２０に出力する。生成情報の出力先は、画像生成装置１２０に限定されるものではなく、出力部１０５は、補助記憶装置２０４、又は図１には不図示の記憶装置等に生成情報を出力し、出力した生成情報をこれらのいずれかに記憶させてもよい。
【0066】
＜画像生成装置の構成＞
画像生成装置１２０は、実施形態１に係る画像生成装置１２０と同様に図３に一例として示す各部を備える。画像生成装置１２０は、実施形態１に係る画像処理装置１００と同様に、コンピュータにより構成される。画像生成装置１２０が機能構成として有する各部は、画像生成装置１２０に内蔵されたＣＰＵ又はＧＰＵ等のプロセッサ、及びＲＡＭ等のメモリとを用いたソフトウェアによってなされる。なお、画像生成装置１２０は、プロセッサとは異なる１又は複数の専用のハードウェアを有し、プロセッサによる処理の少なくとも一部を専用のハードウェアが実行してもよい。
画像生成装置１２０は、実施形態１に係る画像生成装置１２０と同様に図３に一例として示す各部を備える。画像生成装置１２０は、実施形態１に係る画像処理装置１００と同様に、コンピュータにより構成される。画像生成装置１２０が機能構成として有する各部は、画像生成装置１２０に内蔵されたＣＰＵ又はＧＰＵ等のプロセッサ、及びＲＡＭ等のメモリとを用いたソフトウェアによってなされる。なお、画像生成装置１２０は、プロセッサとは異なる１又は複数の専用のハードウェアを有し、プロセッサによる処理の少なくとも一部を専用のハードウェアが実行してもよい。
【0067】
＜画像生成装置の各機能構成における処理＞
画像生成装置１２０が機能構成として備える各部の処理について説明する。なお、以下、画像生成装置１２０が備える取得部３０１及びＣＧ生成部３０２は、実施形態１に係る画像生成装置１２０が備える対応する各部と同様であるため、詳細な説明を省略する。ＭＲ生成部３０３は、取得部３０１により取得された生成情報に含まれるＲＡＷデータと、ＣＧ生成部３０２により生成されたＣＧのデータとを用いてＭＲ静止画像を生成する。ＭＲ生成部３０３により生成されるＭＲ静止画像は、取得要求を受けたときのＭＲ動画像のフレームに対応する高品質のＭＲ静止画像である。
画像生成装置１２０が機能構成として備える各部の処理について説明する。なお、以下、画像生成装置１２０が備える取得部３０１及びＣＧ生成部３０２は、実施形態１に係る画像生成装置１２０が備える対応する各部と同様であるため、詳細な説明を省略する。ＭＲ生成部３０３は、取得部３０１により取得された生成情報に含まれるＲＡＷデータと、ＣＧ生成部３０２により生成されたＣＧのデータとを用いてＭＲ静止画像を生成する。ＭＲ生成部３０３により生成されるＭＲ静止画像は、取得要求を受けたときのＭＲ動画像のフレームに対応する高品質のＭＲ静止画像である。
【0068】
具体的には、まず、ＭＲ生成部３０３は、ＲＡＷデータを現像して、ＲＡＷデータに対応する現像画像を取得する。ここで、現像に使用するパラメータは、例えば、図３には不図示の記憶装置に予め記憶されており、ＭＲ生成部３０３は、記憶装置から読み出すことにより、現像に使用するパラメータを取得する。現像に使用するパラメータは、記憶装置に記憶されているものに限定されるものではなく、例えば、ユーザによる入力により設定されたものであってもよい。次に、ＭＲ生成部３０３は、現像画像にＣＧ生成部３０２により生成されたＣＧを重畳させて、ＭＲ静止画像を生成する。生成情報に深度データが含まれる場合、ＭＲ生成部３０３は、深度データを用いて、現像画像にＣＧを重畳させてもよい。
【0069】
以上のような構成により、画像生成装置１２０は、中間データを用いてレンダリングを行うことにより高品質のＣＧを少ない演算量で生できるため、高品質のＭＲ静止画像を少ない演算量で生成することができる。
【0070】
＜画像処理装置の動作＞
図１０を参照して、画像処理装置１００の動作について説明する。図１０は、実施形態２に係る画像処理装置１００の処理フローの一例を示すフローチャートである。画像処理装置１００は、例えば、ユーザによる操作等による、表示装置へのＭＲ動画像の表示を終了させる指示を受け付けるまでの間、当該フローチャートの処理を繰り返し実行する。以下の説明において、実施形態１に係る画像処理装置１００と同様の処理については、図４と同じ符号を用いて説明を省略する。
図１０を参照して、画像処理装置１００の動作について説明する。図１０は、実施形態２に係る画像処理装置１００の処理フローの一例を示すフローチャートである。画像処理装置１００は、例えば、ユーザによる操作等による、表示装置へのＭＲ動画像の表示を終了させる指示を受け付けるまでの間、当該フローチャートの処理を繰り返し実行する。以下の説明において、実施形態１に係る画像処理装置１００と同様の処理については、図４と同じ符号を用いて説明を省略する。
【0071】
まず、画像処理装置１００は、Ｓ４１０の処理を実行する。Ｓ４１０の後、Ｓ１０１０にて、画像取得部１０１は、Ｓ４１０にて取得した撮像画像データに対応するＲＡＷデータを取得する。Ｓ１０１０の後、画像処理装置１００は、Ｓ４２０からＳ４６０までの処理を実行する。なお、Ｓ４６０にて出力部が出力する生成情報は、撮像画像データを含まず、撮像画像データに対応するＲＡＷデータを含むものである。Ｓ４６０の後、又は、Ｓ４５０にて取得要求を受け付けていないと判定された場合、画像処理装置１００は、図１０に示すフローチャートの処理を終了する。終了後、画像処理装置１００は、Ｓ４１０の処理に戻って、例えば、表示装置へのＭＲ動画像の表示を終了させる指示を受け付けるまでの間、当該フローチャートの処理を繰り返し実行する。
【0072】
＜画像生成装置の動作＞
図１１を参照して、画像生成装置１２０の動作について説明する。図１１は、実施形態２に係る画像生成装置１２０の処理フローの一例を示すフローチャートである。例えば、画像生成装置１２０は、これまで用いていない、新たな生成情報が存在する場合に図１１に示すフローチャートの処理を実行する。以下の説明において、実施形態１に係る画像生成装置１２０と同様の処理については、図９と同じ符号を用いて説明を省略する。
図１１を参照して、画像生成装置１２０の動作について説明する。図１１は、実施形態２に係る画像生成装置１２０の処理フローの一例を示すフローチャートである。例えば、画像生成装置１２０は、これまで用いていない、新たな生成情報が存在する場合に図１１に示すフローチャートの処理を実行する。以下の説明において、実施形態１に係る画像生成装置１２０と同様の処理については、図９と同じ符号を用いて説明を省略する。
【0073】
まず、画像生成装置１２０は、Ｓ９１０及びＳ９５０の処理を実行する。なお、Ｓ９１０にて取得部３０１が取得する生成情報は、ＲＡＷデータを含むものである。Ｓ９５０の後、Ｓ１１１０にて、ＭＲ生成部３０３は、生成情報に含まれるＲＡＷデータを現像して、現像画像のデータを取得する。Ｓ１１１０の後、Ｓ１１２０にて、Ｓ９１０にて取得された生成情報に含まれる深度データ、Ｓ９５０にて生成されたＣＧのデータ、及び、Ｓ１１１０にて取得された現像画像のデータを用いて、現像画像にＣＧを重畳させたＭＲ静止画像を生成する。
【0074】
Ｓ１１１０の後、画像生成装置１２０は、図１１に示すフローチャートの処理を終了する。画像生成装置１２０は、取得要求を受けたときの中間データを用いてＣＧのレンダリングを行うことにより、高品質のＣＧを少ない演算量で生成することができる。結果として、画像生成装置１２０は、取得要求を受けたときのＭＲ動画像のフレームに対応する高品質のＭＲ静止画像を少ない演算量で生成することができる。また、画像生成装置１２０は、取得要求を受けたときの、ＭＲ動画像のフレーム生成に用いられた撮像画像データに対応するＲＡＷデータを用いて、このフレームの対応するＭＲ静止画像を生成する。これにより、画像生成装置１２０は、撮像画像データを用いた場合と比較して、より高品質のＭＲ静止画像を生成することができる。
【0075】
したがって、以上のように構成された画像処理装置１００によれば、任意の時点におけるＭＲ静止画像の品質を向上させつつ、ＭＲ静止画像の生成処理の際の演算量をより少なくすることができる。また、画像処理装置１００によれば、ＲＡＷデータを生成情報として出力することにより、ＭＲ静止画像の品質をより向上させることができる。
【0076】
なお、実施形態２では、画像処理装置１００は、撮像画像データに替えて撮像画像データに対応するＲＡＷデータを生成情報として出力するものとして説明したが、ＲＡＷデータ及び撮像画像データの両方を生成情報として出力してもよい。
【0077】
また、実施形態２では、画像処理装置１００と画像生成装置１２０とを互いに異なる装置として構成する形態を説明したが、これに限定されるものではない。例えば、画像処理装置１００は、画像取得部１０１、ＣＧ生成部１０２、ＭＲ生成部１０３、受付部１０４、及び出力部１０５に加えて、画像生成装置１２０が有する取得部３０１、ＣＧ生成部３０２、及びＭＲ生成部３０３を有してもよい。
【0078】
［その他の実施形態］
本開示は、上述の実施形態の１つ以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１つ以上の機能を実現するＡＳＩＣ等の回路によっても実現可能である。
本開示は、上述の実施形態の１つ以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１つ以上の機能を実現するＡＳＩＣ等の回路によっても実現可能である。
【0079】
また、本開示は、その開示の範囲内において、各実施形態の自由な組み合わせ、各実施形態の任意の構成要素の変形、又は、各実施形態において任意の構成要素の省略が可能である。
【0080】
［本開示の構成］
［構成１］
撮像画像のデータを取得する画像取得手段と、
レンダリング条件を示すレンダリング情報に基づいて、仮想空間に配置された仮想オブジェクトの仮想視点からの見えに対応するＣＧを生成するＣＧ生成手段と、
前記撮像画像に前記ＣＧを重畳させて、ＭＲ動画像を生成するＭＲ生成手段と、
前記ＭＲ動画像のフレームに対応するＭＲ静止画像のデータの取得要求を受け付ける受付手段と、
前記ＭＲ静止画像を生成する際に用いる生成情報を出力する出力手段と、
を有し、
前記出力手段は、前記生成情報として、前記取得要求を受けたときの前記撮像画像のデータと、前記取得要求を受けたときの前記レンダリング情報と、前記ＣＧを生成するときに生成される中間データであって、前記取得要求を受けたときの前記中間データとを出力し、
前記中間データは、前記ＣＧを生成するときのライティング処理に用いられる情報であること
を特徴とする画像処理装置。
［構成１］
撮像画像のデータを取得する画像取得手段と、
レンダリング条件を示すレンダリング情報に基づいて、仮想空間に配置された仮想オブジェクトの仮想視点からの見えに対応するＣＧを生成するＣＧ生成手段と、
前記撮像画像に前記ＣＧを重畳させて、ＭＲ動画像を生成するＭＲ生成手段と、
前記ＭＲ動画像のフレームに対応するＭＲ静止画像のデータの取得要求を受け付ける受付手段と、
前記ＭＲ静止画像を生成する際に用いる生成情報を出力する出力手段と、
を有し、
前記出力手段は、前記生成情報として、前記取得要求を受けたときの前記撮像画像のデータと、前記取得要求を受けたときの前記レンダリング情報と、前記ＣＧを生成するときに生成される中間データであって、前記取得要求を受けたときの前記中間データとを出力し、
前記中間データは、前記ＣＧを生成するときのライティング処理に用いられる情報であること
を特徴とする画像処理装置。
【0081】
［構成２］
前記中間データは、前記仮想オブジェクトを構成する１以上の要素のそれぞれの色を示す情報、前記１以上の要素のそれぞれの前記仮想視点からの距離を示す情報、及び前記１以上の要素のそれぞれの反射率を示す情報のうちの少なくとも１つを含むこと
を特徴とする構成１に記載の画像処理装置。
前記中間データは、前記仮想オブジェクトを構成する１以上の要素のそれぞれの色を示す情報、前記１以上の要素のそれぞれの前記仮想視点からの距離を示す情報、及び前記１以上の要素のそれぞれの反射率を示す情報のうちの少なくとも１つを含むこと
を特徴とする構成１に記載の画像処理装置。
【0082】
［構成３］
前記仮想オブジェクトが１以上のポリゴンにより構成される場合、前記中間データは、前記仮想オブジェクトを構成する前記１以上のポリゴンのそれぞれの色を示す情報、前記１以上のポリゴンのそれぞれの前記仮想視点からの距離を示す情報、前記１以上のポリゴンのそれぞれの反射率を示す情報、及び前記１以上のポリゴンのそれぞれの向きを示す情報のうちの少なくとも１つを含むこと
を特徴とする構成１又は２に記載の画像処理装置。
前記仮想オブジェクトが１以上のポリゴンにより構成される場合、前記中間データは、前記仮想オブジェクトを構成する前記１以上のポリゴンのそれぞれの色を示す情報、前記１以上のポリゴンのそれぞれの前記仮想視点からの距離を示す情報、前記１以上のポリゴンのそれぞれの反射率を示す情報、及び前記１以上のポリゴンのそれぞれの向きを示す情報のうちの少なくとも１つを含むこと
を特徴とする構成１又は２に記載の画像処理装置。
【0083】
［構成４］
前記ＭＲ動画像を表示装置に表示させる表示制御手段をさらに有し、
前記表示装置は、頭部装着型の前記表示装置であり、
前記表示制御手段は、前記ＭＲ動画像を前記頭部装着型の前記表示装置に表示させること
を特徴とする構成１乃至３のいずれか１つに記載の画像処理装置。
前記ＭＲ動画像を表示装置に表示させる表示制御手段をさらに有し、
前記表示装置は、頭部装着型の前記表示装置であり、
前記表示制御手段は、前記ＭＲ動画像を前記頭部装着型の前記表示装置に表示させること
を特徴とする構成１乃至３のいずれか１つに記載の画像処理装置。
【0084】
［構成５］
前記出力手段は、前記生成情報に加えて、前記取得要求を受けたときの前記ＭＲ動画像のフレームのデータを出力すること
を特徴とする構成１乃至４のいずれか１つに記載の画像処理装置。
前記出力手段は、前記生成情報に加えて、前記取得要求を受けたときの前記ＭＲ動画像のフレームのデータを出力すること
を特徴とする構成１乃至４のいずれか１つに記載の画像処理装置。
【0085】
［構成６］
前記レンダリング情報は、少なくとも前記仮想視点の位置を示す視点情報を含み、前記視点情報に加えて、前記取得要求を受けたときに前記レンダリング条件として使用されるシェーダコードのデータ、及び前記取得要求を受けたときに前記レンダリング条件として使用される光源情報のうちの少なくとも１つを含むこと
を特徴とする構成１乃至５のいずれか１つに記載の画像処理装置。
前記レンダリング情報は、少なくとも前記仮想視点の位置を示す視点情報を含み、前記視点情報に加えて、前記取得要求を受けたときに前記レンダリング条件として使用されるシェーダコードのデータ、及び前記取得要求を受けたときに前記レンダリング条件として使用される光源情報のうちの少なくとも１つを含むこと
を特徴とする構成１乃至５のいずれか１つに記載の画像処理装置。
【0086】
［構成７］
前記画像取得手段は、前記撮像画像における撮像範囲のうちの少なくとも一部に対応する空間の深度を示す深度データを更に取得し、
前記ＭＲ生成手段は、前記画像取得手段により取得された前記撮像画像のデータ及び前記深度データ、並びに、前記ＣＧ生成手段により生成された前記ＣＧのデータを用いて前記ＭＲ動画像を生成し、
前記出力手段は、前記生成情報として、前記深度データを更に出力すること
を特徴とする構成１乃至６のいずれか１つに記載の画像処理装置。
前記画像取得手段は、前記撮像画像における撮像範囲のうちの少なくとも一部に対応する空間の深度を示す深度データを更に取得し、
前記ＭＲ生成手段は、前記画像取得手段により取得された前記撮像画像のデータ及び前記深度データ、並びに、前記ＣＧ生成手段により生成された前記ＣＧのデータを用いて前記ＭＲ動画像を生成し、
前記出力手段は、前記生成情報として、前記深度データを更に出力すること
を特徴とする構成１乃至６のいずれか１つに記載の画像処理装置。
【0087】
［構成８］
前記画像取得手段は、前記撮像画像のデータに対応するＲＡＷデータを更に取得し、
前記出力手段は、前記生成情報として、前記撮像画像のデータに替えて、前記取得要求を受けたときの前記ＲＡＷデータを出力すること
を特徴とする構成１乃至７のいずれか１つに記載の画像処理装置。
前記画像取得手段は、前記撮像画像のデータに対応するＲＡＷデータを更に取得し、
前記出力手段は、前記生成情報として、前記撮像画像のデータに替えて、前記取得要求を受けたときの前記ＲＡＷデータを出力すること
を特徴とする構成１乃至７のいずれか１つに記載の画像処理装置。
【0088】
［構成９］
前記ＣＧ生成手段は第１のＣＧ生成手段として動作して第１のＣＧを生成し、
前記ＭＲ生成手段は第１のＭＲ生成手段として動作して前記ＭＲ動画像を生成し、
前記出力手段により出力された前記生成情報を取得する取得手段と、
前記取得手段により取得された前記生成情報に含まれる前記中間データ及び前記レンダリング情報を用いて、ライティング処理を行うことにより、前記第１のＣＧとは異なる第２のＣＧを生成する第２のＣＧ生成手段と、
前記取得手段により取得された前記生成情報に含まれる前記撮像画像のデータと、前記第２のＣＧ生成手段により生成された前記第２のＣＧのデータとを用いて、前記撮像画像に前記第２のＣＧを重畳することにより、前記ＭＲ静止画像を生成する第２のＭＲ生成手段と、
を有すること
を特徴とする構成１乃至８のいずれか１つに記載の画像処理装置。
前記ＣＧ生成手段は第１のＣＧ生成手段として動作して第１のＣＧを生成し、
前記ＭＲ生成手段は第１のＭＲ生成手段として動作して前記ＭＲ動画像を生成し、
前記出力手段により出力された前記生成情報を取得する取得手段と、
前記取得手段により取得された前記生成情報に含まれる前記中間データ及び前記レンダリング情報を用いて、ライティング処理を行うことにより、前記第１のＣＧとは異なる第２のＣＧを生成する第２のＣＧ生成手段と、
前記取得手段により取得された前記生成情報に含まれる前記撮像画像のデータと、前記第２のＣＧ生成手段により生成された前記第２のＣＧのデータとを用いて、前記撮像画像に前記第２のＣＧを重畳することにより、前記ＭＲ静止画像を生成する第２のＭＲ生成手段と、
を有すること
を特徴とする構成１乃至８のいずれか１つに記載の画像処理装置。
【0089】
［構成１０］
前記画像取得手段は、前記撮像画像における撮像範囲のうちの少なくとも一部に対応する空間の深度を示す深度データを更に取得し、
前記出力手段は、前記生成情報として、前記取得要求を受けたときの前記深度データを更に出力し、
前記第２のＭＲ生成手段は、前記取得手段により取得された前記生成情報に含まれる前記撮像画像のデータ及び前記深度データ、並びに前記第２のＣＧのデータを用いて、前記ＭＲ静止画像を生成すること
を特徴とする構成９に記載の画像処理装置。
前記画像取得手段は、前記撮像画像における撮像範囲のうちの少なくとも一部に対応する空間の深度を示す深度データを更に取得し、
前記出力手段は、前記生成情報として、前記取得要求を受けたときの前記深度データを更に出力し、
前記第２のＭＲ生成手段は、前記取得手段により取得された前記生成情報に含まれる前記撮像画像のデータ及び前記深度データ、並びに前記第２のＣＧのデータを用いて、前記ＭＲ静止画像を生成すること
を特徴とする構成９に記載の画像処理装置。
【0090】
［構成１１］
前記画像取得手段は、前記撮像画像のデータに対応するＲＡＷデータを更に取得し、
前記出力手段は、前記生成情報として、前記撮像画像のデータに替えて、前記取得要求を受けたときの前記ＲＡＷデータを出力し、
前記第２のＭＲ生成手段は、前記撮像画像に替えて、前記取得手段により取得された前記生成情報に含まれる前記ＲＡＷデータを現像することにより得られた画像に、前記第２のＣＧを重畳することにより前記ＭＲ静止画像を生成すること
を特徴とする構成９又は１０に記載の画像処理装置。
前記画像取得手段は、前記撮像画像のデータに対応するＲＡＷデータを更に取得し、
前記出力手段は、前記生成情報として、前記撮像画像のデータに替えて、前記取得要求を受けたときの前記ＲＡＷデータを出力し、
前記第２のＭＲ生成手段は、前記撮像画像に替えて、前記取得手段により取得された前記生成情報に含まれる前記ＲＡＷデータを現像することにより得られた画像に、前記第２のＣＧを重畳することにより前記ＭＲ静止画像を生成すること
を特徴とする構成９又は１０に記載の画像処理装置。
【0091】
［構成１２］
前記第２のＣＧ生成手段は、前記取得手段により取得された前記生成情報に含まれる前記中間データを用いてポストプロセス処理を更に行うことにより、前記第２のＣＧを生成すること
を特徴とする構成９乃至１１のいずれか１つに記載の画像処理装置。
前記第２のＣＧ生成手段は、前記取得手段により取得された前記生成情報に含まれる前記中間データを用いてポストプロセス処理を更に行うことにより、前記第２のＣＧを生成すること
を特徴とする構成９乃至１１のいずれか１つに記載の画像処理装置。
【0092】
［構成１３］
撮像画像のデータを取得する画像取得工程と、
レンダリング条件を示すレンダリング情報に基づいて、仮想空間に配置された仮想オブジェクトの仮想視点からの見えに対応するＣＧを生成するＣＧ生成工程と、
前記撮像画像に前記ＣＧを重畳させて、ＭＲ動画像を生成するＭＲ生成工程と、
前記ＭＲ動画像のフレームに対応するＭＲ静止画像のデータの取得要求を受け付ける受付工程と、
前記ＭＲ静止画像を生成する際に用いる生成情報を出力する出力工程と、
を有し、
前記出力工程は、前記生成情報として、前記取得要求を受けたときの前記撮像画像のデータと、前記取得要求を受けたときの前記レンダリング情報と、前記ＣＧを生成するときに生成される中間データであって、前記取得要求を受けたときの前記中間データとを出力し、
前記中間データは、前記ＣＧを生成するときのライティング処理に用いられる情報であること
を特徴とする画像処理方法。
撮像画像のデータを取得する画像取得工程と、
レンダリング条件を示すレンダリング情報に基づいて、仮想空間に配置された仮想オブジェクトの仮想視点からの見えに対応するＣＧを生成するＣＧ生成工程と、
前記撮像画像に前記ＣＧを重畳させて、ＭＲ動画像を生成するＭＲ生成工程と、
前記ＭＲ動画像のフレームに対応するＭＲ静止画像のデータの取得要求を受け付ける受付工程と、
前記ＭＲ静止画像を生成する際に用いる生成情報を出力する出力工程と、
を有し、
前記出力工程は、前記生成情報として、前記取得要求を受けたときの前記撮像画像のデータと、前記取得要求を受けたときの前記レンダリング情報と、前記ＣＧを生成するときに生成される中間データであって、前記取得要求を受けたときの前記中間データとを出力し、
前記中間データは、前記ＣＧを生成するときのライティング処理に用いられる情報であること
を特徴とする画像処理方法。
【0093】
［構成１４］
コンピュータを、構成１乃至１２のいずれか１つに記載の画像処理装置として動作させるためのプログラム。
コンピュータを、構成１乃至１２のいずれか１つに記載の画像処理装置として動作させるためのプログラム。
【符号の説明】
【0094】
１００ 画像処理装置
１０４ 受付部
１０５ 出力部
１０４ 受付部
１０５ 出力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】