特開 2019-175326 プログラム、記録媒体及び画像生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2019-175326(P2019-175326A)

(43)【公開日】2019年10月10日

(54)【発明の名称】プログラム、記録媒体及び画像生成方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20190913BHJP

   G06F 3/0481 20130101ALI20190913BHJP

【ＦＩ】

   G06T19/00 600

   G06F3/0481 150

【審査請求】有

【請求項の数】7

【出願形態】ＯＬ

【全頁数】13

(21)【出願番号】特願2018-65446(P2018-65446)

(22)【出願日】2018年3月29日

(11)【特許番号】特許第6514386号(P6514386)

(45)【特許公報発行日】2019年5月15日

(71)【出願人】

【識別番号】308033283

【氏名又は名称】株式会社スクウェア・エニックス

(74)【代理人】

【識別番号】100076428

【弁理士】

【氏名又は名称】大塚 康徳

(74)【代理人】

【識別番号】100115071

【弁理士】

【氏名又は名称】大塚 康弘

(74)【代理人】

【識別番号】100112508

【弁理士】

【氏名又は名称】高柳 司郎

(74)【代理人】

【識別番号】100116894

【弁理士】

【氏名又は名称】木村 秀二

(74)【代理人】

【識別番号】100130409

【弁理士】

【氏名又は名称】下山 治

(74)【代理人】

【識別番号】100134175

【弁理士】

【氏名又は名称】永川 行光

(72)【発明者】

【氏名】大瀧 浩之

【テーマコード（参考）】

5B050

5E555

【Ｆターム（参考）】

5B050AA10

5B050BA06

5B050BA08

5B050BA11

5B050BA12

5B050BA18

5B050DA02

5B050EA07

5B050EA13

5B050EA19

5B050FA02

5E555AA27

5E555BA06

5E555BB06

5E555BC08

5E555BE16

5E555BE17

5E555CA42

5E555DB37

5E555DB53

5E555DC09

5E555DC11

5E555DC43

5E555DC52

5E555EA08

5E555EA12

5E555EA22

5E555EA25

5E555FA00

(57)【要約】      （修正有）

【課題】複合現実感や拡張現実感の提示を、ユーザにとって好適な態様で行うことを可能とするプログラム、記録媒体及び画像生成方法を提供する。
【解決手段】３次元空間に配置された描画オブジェクトを、撮像装置の位置及び姿勢に応じたカメラについて描画してコンテンツ画像を生成する処理と、生成されたコンテンツ画像を、撮像画像の該所定の画像パターンの位置に重畳させた表示画像を構成する処理とを実行する。撮像画像に複数種類の所定の画像パターンが含まれる場合に、該複数種類の所定の画像パターンの各々についてカメラを定義し、定義されたカメラ各々について、３次元空間に配置された描画オブジェクトのうちの該カメラに対応する所定の画像パターンに予め対応付けられた鑑賞コンテンツを構成する描画オブジェクトのみを描画してコンテンツ画像を生成する。構成する処理は、生成された複数のコンテンツ画像を撮像画像に重畳させて表示画像を構成する。
【選択図】図２

【特許請求の範囲】

【請求項1】

撮像装置が接続されたコンピュータに、
前記撮像装置により撮像された撮像画像を取得する処理と、
取得された前記撮像画像に所定の画像パターンが含まれると判断した場合に、
該所定の画像パターンに予め対応付けられた鑑賞コンテンツを構成する描画オブジェクトを３次元空間に配置する処理と、
前記３次元空間に配置された描画オブジェクトを、撮像装置の位置及び姿勢に応じたカメラについて描画して、コンテンツ画像を生成する処理と、
生成された前記コンテンツ画像を、前記撮像画像の該所定の画像パターンの位置に重畳させた表示画像を構成する処理と、
を実行させ、
前記生成する処理は、前記撮像画像に複数種類の前記所定の画像パターンが含まれる場合に、
該複数種類の所定の画像パターンの各々についてカメラを定義し、
定義されたカメラの各々について、前記３次元空間に配置された描画オブジェクトのうちの、該カメラに対応する前記所定の画像パターンに予め対応付けられた鑑賞コンテンツを構成する描画オブジェクトのみを描画して前記コンテンツ画像を生成し、
前記構成する処理は、生成された複数の前記コンテンツ画像を前記撮像画像に重畳させて前記表示画像を構成するプログラム。

【請求項2】

前記所定の画像パターンは、漫画に含まれる特定のコマの画像である請求項１に記載のプログラム。

【請求項3】

前記所定の画像パターンに予め対応付けられる鑑賞コンテンツは、前記特定のコマに描写される絵柄を表現した３次元コンテンツであって、構成する描画オブジェクトの各々に深度情報が定義される請求項２に記載のプログラム。

【請求項4】

前記３次元空間に配置される描画オブジェクトは、前記特定のコマの外形を有するフレームオブジェクトを含み、
前記生成する処理は、前記所定の画像パターンに対応する前記フレームオブジェクトの面内にのみ、該所定の画像パターンに予め対応付けられた鑑賞コンテンツを構成する描画オブジェクトを描画する
請求項２または３に記載のプログラム。

【請求項5】

前記撮像画像に複数種類の前記所定の画像パターンが含まれる場合、１つのカメラに係る前記コンテンツ画像に描画される描画オブジェクトは、他のカメラに係る前記コンテンツ画像には描画されないよう制御される請求項１乃至４のいずれか１項に記載のプログラム。

【請求項6】

請求項１乃至５のいずれか１項に記載のプログラムを記録した、コンピュータ読み取り可能な記録媒体。

【請求項7】

撮像装置により撮像された撮像画像を取得する工程と、
取得された前記撮像画像に所定の画像パターンが含まれると判断した場合に、
該所定の画像パターンに予め対応付けられた鑑賞コンテンツを構成する描画オブジェクトを３次元空間に配置する工程と、
前記３次元空間に配置された描画オブジェクトを、撮像装置の位置及び姿勢に応じたカメラについて描画して、コンテンツ画像を生成する工程と、
生成された前記コンテンツ画像を、前記撮像画像の該所定の画像パターンの位置に重畳させた表示画像を構成する工程と、
を有する画像生成方法であって、
前記生成する工程において、前記撮像画像に複数種類の前記所定の画像パターンが含まれる場合に、
該複数種類の所定の画像パターンの各々についてカメラが定義され、
定義されたカメラの各々について、前記３次元空間に配置された描画オブジェクトのうちの、該カメラに対応する前記所定の画像パターンに予め対応付けられた鑑賞コンテンツを構成する描画オブジェクトのみを描画して前記コンテンツ画像が生成され、
前記構成する処理において、生成された複数の前記コンテンツ画像を前記撮像画像に重畳させることで、前記表示画像が構成される画像生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム、記録媒体及び画像生成方法に関し、特に複合現実感あるいは拡張現実感を提示する技術に関する。

【背景技術】

【0002】

携帯電話、スマートホン、タブレット、携帯型ゲーム機等の、撮像装置を備えた情報通信端末が普及している。近年ではこのような情報通信端末は、撮像した画像に対する様々な画像処理を実行可能に構成されており、画像解析を行って特定のオブジェクトを検出することなども行うことができる。また情報通信端末は、位置・姿勢の変化を高精度に検出可能なセンサや、グラフィックス描画性能が高いチップを有している。

【0003】

従って、情報通信端末の画像処理性能、センシング性能、描画性能を利用して、複合現実感（ＭＲ：Mixed Reality）や拡張現実感（ＡＲ：Augmented Reality）をユーザに提示することは、容易になってきている（特許文献１）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１０−２４４５７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ＭＲ・ＡＲの提示の一態様として、現実世界に存在する壁や紙面等の特定パターンを認識し、撮像画像内の、当該パターンと関連付けられた位置に、仮想オブジェクトに係るコンピュータグラフィックス（ＣＧ）画像を重畳するものが存在する。一方で、現実世界に存在する実オブジェクトとこのように重畳される仮想オブジェクトとの間、あるいは異なる位置に重畳される仮想オブジェクト間において、遮蔽関係や視覚演出上の不整合等が生じることもあり、好適な観賞体験を実現できない可能性があった。

【0006】

本発明の少なくとも１つの実施形態は、上述の問題点に鑑みてなされたものであり、複合現実感や拡張現実感の提示を、ユーザにとって好適な態様で行うプログラム、記録媒体及び画像生成方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

前述の目的を達成するために、本発明の少なくとも１つの実施形態に係るプログラムは、撮像装置が接続されたコンピュータに、撮像装置により撮像された撮像画像を取得する処理と、取得された撮像画像に所定の画像パターンが含まれると判断した場合に、該所定の画像パターンに予め対応付けられた鑑賞コンテンツを構成する描画オブジェクトを３次元空間に配置する処理と、３次元空間に配置された描画オブジェクトを、撮像装置の位置及び姿勢に応じたカメラについて描画して、コンテンツ画像を生成する処理と、生成されたコンテンツ画像を、撮像画像の該所定の画像パターンの位置に重畳させた表示画像を構成する処理と、を実行させ、生成する処理は、撮像画像に複数種類の所定の画像パターンが含まれる場合に、該複数種類の所定の画像パターンの各々についてカメラを定義し、定義されたカメラの各々について、３次元空間に配置された描画オブジェクトのうちの、該カメラに対応する所定の画像パターンに予め対応付けられた鑑賞コンテンツを構成する描画オブジェクトのみを描画してコンテンツ画像を生成し、構成する処理は、生成された複数のコンテンツ画像を撮像画像に重畳させて表示画像を構成する。

【発明の効果】

【0008】

このような構成により本発明の少なくとも１つの実施形態によれば、複合現実感や拡張現実感の提示を、ユーザにとって好適な態様で行うことが可能となる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施形態に係るスマートホン１００の機能構成を示したブロック図

【図2】本発明の実施形態に係る提示アプリケーションの実行時に表示される、ＭＲ／ＡＲ提示を伴う画面例を示した図

【図3】本発明の実施形態に係る提示アプリケーションにおいて鑑賞コンテンツに係る描画が行われる際の、３次元空間を例示した図

【図4】本発明の実施形態に係る提示アプリケーションにおいて、鑑賞コンテンツの提示対象となる漫画のページ例

【図5】鑑賞コンテンツの意図しない提示例を示した図

【図6】本発明の実施形態に係る提示アプリケーションに係り実行される画面生成処理を例示したフローチャート

【図7】本発明の実施形態に係る提示アプリケーションで用いられる各種データの構成例を示した図

【発明を実施するための形態】

【0010】

［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像生成方法を行うコンピュータの一例としての、装置の動きに応じた複合現実感（ＭＲ）または拡張現実感（ＡＲ）提示を行う画像を生成可能なスマートホンに、本発明を適用した例を説明する。しかし、本発明は、撮像装置が接続された装置の動きに応じたＭＲ／ＡＲ提示を行う画像を生成することが可能な任意の機器に適用可能である。

【0011】

《スマートホンの機能構成》
ここで、スマートホン１００の機能構成について、図１のブロック図を用いて詳細を説明する。

【0012】

制御部１０１は、例えばＣＰＵであり、スマートホン１００が有する各ブロックの動作を制御する。制御部１０１は、記録媒体１０２に記憶されている各ブロックの動作プログラムを読み出し、メモリ１０３に展開して実行することにより各ブロックの動作を制御する。

【0013】

記録媒体１０２は、例えばスマートホン１００が有する書き換え可能な内蔵メモリや、ＨＤＤや光学ドライブを介して読み取り可能になる光学ディスクを含むものであってよい、不揮発性の記録装置である。記録媒体１０２は、各ブロックの動作プログラムだけでなく、各ブロックの動作において必要となる各種パラメータ等の情報を記録する。本実施形態のスマートホン１００において実行される、ＭＲ／ＡＲコンテンツを提示するアプリケーション（以下、単に提示アプリケーション）のプログラムや各種データも、記録媒体１０２に格納されているものとする。メモリ１０３は、例えば揮発性メモリであり、各ブロックの動作プログラムや提示アプリケーションのプログラムの展開領域としてだけでなく、各ブロックの動作において出力された中間データ等を一時的に記憶する格納領域としても用いられる。

【0014】

撮像部１０４は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子を有する撮像装置ユニットであり、スマートホン１００の外界認識手段として機能する。撮像部１０４は、現実世界に存在する被写体を撮像し、撮像画像を出力する。撮像は、間欠的に行われるものとする。なお、本実施形態では、撮像部１０４がＭＲ／ＡＲ提示を行うスマートホン１００に備えられているものとして説明するが、提示用の画面を生成する機器が撮像装置を有している必要はなく、撮像装置により撮像された撮像画像を該機器が取得可能な構成であれば、本発明の実施は可能である。

【0015】

画像処理部１０５は、撮像部１０４により出力された撮像画像に対して種々の画像処理を適用する。本実施形態では画像処理部１０５は、撮像画像を解析し、該画像中に存在する特定パターンを検出する。特定パターンの詳細については後述するが、本実施形態の提示アプリケーションでは、予め検出対象となる画像が必要データとして登録されているものとする。

【0016】

取得部１０６は、スマートホン１００に生じた移動及び回転の情報（動き検出結果）を取得する。取得部１０６には、センサ１１０が接続され、スマートホン１００に生じた移動及び回転の検出を行う。センサ１１０は、例えば加速度センサ、地磁気センサ、ジャイロセンサ等を吹くものであってよく、スマートホン１００の位置変更や姿勢変更があったことを検出すると、その情報を取得部１０６に出力する。取得部１０６は、取得した動き検出結果をメモリ１０３に格納する。

【0017】

描画部１０７は、画像処理部１０５による画像解析結果と、取得部１０６によりメモリ１０３に格納された動き検出結果とに基づき、表示部１２０に表示する画像を生成する。表示部１２０は、例えばＬＣＤ等のスマートホン１００が有する表示装置である。本実施形態では表示部１２０は、スマートホン１００に組み込まれ、一体型であるものとして説明するが、本発明の実施はこれに限られるものではなく、描画部１０７により生成された画像を表示する装置は、スマートホン１００に有線無線を問わず接続された任意の表示装置であってよい。

【0018】

詳細は後述するが、本実施形態の提示アプリケーションでは、撮像部１０４により撮像された撮像画像（実写画像）に対し、所定のＣＧ画像を重畳することで、ＭＲ／ＡＲ提示を実現する。描画部１０７は、実写画像に重畳するＣＧ画像の描画、及び実写画像への該ＣＧ画像の重畳を行い、最終的に表示部１２０に表示される画面を生成する。

【0019】

操作入力部１０８は、例えばタッチパネルやボタン等のスマートホン１００が有するユーザインタフェースである。操作入力部１０８は、ユーザによりなされた操作入力を検出すると、該操作入力に対応する制御信号を制御部１０１に出力する。

【0020】

通信部１０９は、スマートホン１００が有する、他の装置との通信を行うための通信インタフェースである。通信部１０９は、有線無線を問わず、所定の通信方式により例えばネットワーク上に存在する他のサーバ等に接続し、データの送受信を行う。提示アプリケーションや、画像処理部１０５の解析により検出対象となる特定パターンの情報等は、通信部１０９を介して外部の装置から受信可能に構成されるものであってよい。

【0021】

《鑑賞コンテンツ》
ここで、本実施形態のスマートホン１００において提示アプリケーションを実行することで、ユーザ（スマートホン１００の使用者）に対して提示されるコンテンツ（鑑賞コンテンツ）について説明する。

【0022】

提示アプリケーションを実行すると、撮像部１０４の撮像動作が開始され、表示部１２０には、基本的には撮像画像がスルー表示される。即ち、間欠的に撮像されて得られた撮像画像が順次表示部１２０に表示されることで、提示アプリケーションは、現実空間を略リアルタイムに写した状態を鑑賞者に提示することができる。

【0023】

一方、本実施形態の提示アプリケーションは、予め設定された漫画（実物の書籍、雑誌、あるいは表示装置に表示された電子書籍）のページを認識可能に構成されており、撮像画像に係る撮像範囲に該ページの少なくとも一部を検出すると、撮像画像の予め定められたコマ（漫画において、１つの時間や空間を表現する単位）の位置に、該コマと対応するＣＧ画像を重畳することで、ＭＲ／ＡＲを提示する鑑賞コンテンツの鑑賞体験をユーザに提供する。

【0024】

提示アプリケーションの検出対象である漫画のページを示す画像情報は、メモリ１０３または記録媒体１０２に予め格納されており、該画像情報で示されるパターンの少なくとも一部が撮像画像に含まれるかを、画像処理部１０５が解析する。本実施形態では簡単のため、パターンとして認識される画像は、漫画のページの全体であるものとして説明するが、本発明の実施はこれに限られるものではなく、１以上の特定のコマの画像をパターンとして検出するものであってもよい。

【0025】

通常、漫画のコマには、ストーリーにおける固定の瞬間に係る絵柄が描写され、文字として付される台詞や説明（語り）等によってストーリーの内容が綴られている。故に、連続するコマ間では、描写される瞬間や空間が変化しているため、漫画というコンテンツは、読み手がコマ間でのストーリーの繋がりを補間しながら鑑賞するものである。

【0026】

一方、本実施形態の提示アプリケーションにおいて、コマの位置に重畳することで提示される鑑賞コンテンツは、コマに描写された絵柄を表現した３次元コンテンツであって、このように１つのコマや連続するコマ間で表現される、コマに描写されたキャラクタや風景の時間的な流れや音声を表現すべく構成された、動画コンテンツであるものとする。鑑賞コンテンツの提示は、実物の漫画におけるコマに描写された空間を、所望の視点で鑑賞しているようユーザに知覚させるべく、図２（ａ）〜（ｃ）に示されるように実写画像における該当のコマのフレーム（枠、外形）２０１に合わせて表示がなされる。図の例では視点を上方から下方に移動させながら、コマを撮像範囲に捉えた場合の鑑賞コンテンツの変化を、（ａ）→（ｂ）→（ｃ）にて例示している。図示されるように鑑賞コンテンツは、コマと対応する画像や３次元の描画オブジェクト（平板オブジェクトを含む）が配置された３次元空間（ワールド）を、実物のコマのフレームを介して鑑賞可能なように提示される。このため、提示アプリケーションを利用することでユーザは、基本的には実物の漫画の紙面よりも奥側に存在する空間を表現した動画コンテンツを、該当のコマのフレームを窓として、スマートホン１００に対応する位置・方向の視点から鑑賞することができる。

【0027】

以下の説明では、１つのコマについて提示アプリケーション上で実写画像に重畳して提示される画像は、「フレームオブジェクトを描画する」ことで生成されるものとする。ここで、フレームオブジェクトとは、１つのコマについて該コマに対応付けられた鑑賞コンテンツを構成する一連の描画オブジェクトを提示する概念であり、ワールド内の、現実世界の漫画のコマと対応する位置に配置される、コマ（フレーム）と同形状の平板オブジェクトであるものとする。フレームオブジェクトは、特性として、ワールドにおいて該フレームオブジェクトよりも奥（視点から遠離する位置）に配置された描画オブジェクトを、該フレームオブジェクトに係る面内（フレーム内）の領域にのみ表示する。より詳しくは、フレームオブジェクトが描画される際には、フレームオブジェクトのフレーム内の領域には、視点とフレームの位置関係に基づいて確定されるワールド内の空間範囲が切り出されて描画される。

【0028】

なお、本実施形態では鑑賞コンテンツは時間的な流れを表現する動画コンテンツとして説明するが、漫画で用いられる所定の効果やキャラクタの動き等を短時間で表現した後は、状態が固定された３ＤＣＧの鑑賞コンテンツとして機能するものであってもよい。また、本実施形態では簡単のため、撮像される漫画のページは平面状になっているものとし、フレームオブジェクトは平板オブジェクトであるものとして説明するが、本発明の実施はこれに限られるものではない。即ち、現実世界において漫画のページが歪められている状態等、凹凸を有している場合には、フレームオブジェクトの形状を、該凹凸に応じて変更するものであってもよい。

【0029】

〈漫画特有の問題点〉
ところで、漫画のページ上には、一般的に複数のコマが配置されている。本実施形態の提示アプリケーションでは、実写画像中のページに含まれる複数のコマで同時に、各々に対応する鑑賞コンテンツの鑑賞を可能にするが、通常の描画を行う場合、次のような問題が生じ得る。

【0030】

特にスマートホン１００のような携帯端末では演算能力や描画能力も限られるため、鑑賞コンテンツの提示について用いられる３次元空間は１つになる。故に、複数のコマの各々について鑑賞コンテンツの提示に用いられる描画オブジェクトは、全て１つのワールドに配置されることになり、スマートホン１００と漫画のページとの位置関係に応じて設定されたカメラ（視点）について描画される。ここで、コマに係る一連の描画オブジェクトについて、所望の視点からの鑑賞を可能ならしめるために、フレームより奥に存在するように提示する描画オブジェクトは、所定の視点に応じてワールドに配置された場合に、図３（ａ）に示されるようなフレーム３０１内に表示されない部位（図においてハッチングで示す）を含みうる（実写画像におけるコマのフレームに併せて重畳するために、視点との位置関係でフレーム外にある描画オブジェクトはマスクされる）。換言すれば、フレーム内に表示される描画オブジェクトの表示態様は視点に応じて変化し得るものであるため、該コマに係る鑑賞コンテンツを構成する描画オブジェクトは、視点の変更にも対応可能なように、視点によってはフレーム内に含まれない部位を有する。

【0031】

図４に示されるように、隣接して配置された複数のコマ４０１〜４０３について、提示アプリケーションを介することで鑑賞コンテンツの提示がなされる場合も、視点移動に応じた好適な鑑賞体験を提供するために、各コマについてフレームオブジェクト（３０１〜３０３）とフレーム外の部位を有し得る描画オブジェクトがワールドに配置される。例えば、ワールドに配置された各描画オブジェクトは、図３（ｂ）のような関係となる。このとき、スマートホン１００と漫画のページの位置関係に基づく視点や、各コマに係る鑑賞コンテンツを構成する描画オブジェクトに定義される奥行き情報（深度情報）によっては、対応しないフレームオブジェクトのフレーム内に描画されることになるため、好適な鑑賞体験を阻害する可能性があった。

【0032】

例えば図５に示されるように、コマ４０１に係る鑑賞コンテンツを構成する描画オブジェクトは、対応するフレームオブジェクト５０１の描画時には、フレームオブジェクト５０１のフレーム３０１内にのみ表示される。一方、図３（ｂ）に示したように、描画オブジェクト３１１及び３１２の一部はフレーム３０１外にも存在しており、これがフレーム３０３の範囲にも含まれる。即ち、コマ４０３に対応するフレームオブジェクト５０３の描画時には、コマ４０３に係る鑑賞コンテンツを構成する描画オブジェクトだけでなく、コマ４０１に係る鑑賞コンテンツを構成する描画オブジェクト３１１及び３１２がフレーム３０３内に含まれるため、図５に示されるように好適な鑑賞コンテンツの提示がなされない。

【0033】

従って、本実施形態の提示アプリケーションでは、ワールドに全ての描画オブジェクトを配置するものの、フレームオブジェクトごとにフレーム内に表示される描画オブジェクトを制御する処理を行う。

【0034】

《画面生成処理》
以下、本実施形態のスマートホン１００において提示アプリケーションが実行された場合に行われる、ＭＲ／ＡＲ提示を行う画像を生成する画面生成処理について、図６のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０１が、例えば記録媒体１０２に記憶されている対応する処理プログラムを読み出し、メモリ１０３に展開して実行することにより実現することができる。なお、本画面生成処理は、例えば提示アプリケーションが起動された際に開始され、表示部１２０に表示される画面のフレームごとに実行されるものとして説明する。

【0035】

Ｓ６０１で、制御部１０１は、表示する画面に用いる撮像画像を取得する。提示アプリケーションの起動後に撮像部１０４は、所定の撮影フレームレートで独立して撮像を行って、得られた撮像画像をメモリ１０３（カメラバッファ）に蓄積しており、制御部１０１は、本ステップの処理タイミングにおいて最新の撮像画像を、カメラバッファから取得する。画面に用いる撮像画像は、解析及び鑑賞コンテンツに係る画像の重畳に用いられるものであり、１フレームに係る画面生成処理において通して使用される。

【0036】

Ｓ６０２で、制御部１０１は、Ｓ６０１において取得された撮像画像の撮像範囲に、鑑賞コンテンツの提示対象である漫画のページが含まれるか否かを判断する。より詳しくは、制御部１０１は、該当の漫画のページの画像（もしくはコマの画像）に一致するパターンが撮像画像に存在するかを画像処理部１０５に解析させ、該解析結果に基づいて本ステップの判断を行う。制御部１０１は、撮像画像の撮像範囲に該当の漫画のページが含まれると判断した場合は処理をＳ６０３に移し、含まれていないと判断した場合は処理をＳ６１０に移す。

【0037】

Ｓ６０３で、画像処理部１０５は制御部１０１の制御の下、撮像画像及び動き検出結果に基づいて、撮像範囲に含まれる漫画のページ（撮像ページ）とスマートホン１００との相対位置関係を導出し、鑑賞コンテンツの描画に係る視点情報を決定する。本画面生成処理では、該当の漫画のページが含まれるか否かの処理に次いで視点情報を決定するものとして説明するが、視点情報の決定や相対位置関係の導出は、Ｓ６０２における解析処理の過程で行われるものであってもよい。また、例えば撮像ページの中心等、撮像ページ中の特定の位置を原点としてワールド座標系が構築されるものであってよく、鑑賞コンテンツの描画を行う視点情報は、導出された相対位置関係に基づいて、該ワールド座標系の座標（位置）と、その座標における回転角度（姿勢）が導出されることにより、決定されるものであってよい。

【0038】

Ｓ６０４で、描画部１０７は制御部１０１の制御の下、撮像ページ）設定された鑑賞コンテンツについて、該鑑賞コンテンツを構成する描画オブジェクトのデータ読み出し、描画メモリへの展開、及びワールドへの配置を行う。上述したように、撮像ページには鑑賞コンテンツの提示対象であるコマ（拡張コマ）が複数含まれ得るため、その全ての拡張コマに係る鑑賞コンテンツを構成する描画オブジェクトが、本ステップにおいてワールドへの配置の対象となる。

【0039】

ここで、各描画オブジェクトのワールドの配置位置は、描画を行う視点の位置及び姿勢に応じて決定されるものであってよい。鑑賞コンテンツは、撮像ページの拡張コマに描写された世界を３次元的に表現するものであり、視点の移動に応じた見え方の変化は、例えば近景と遠景とで異なるよう提示されるものであってよい。従って、描画部１０７は、例えば撮像ページと所定距離離れて正対する視点について定義された、鑑賞コンテンツの各描画オブジェクトの深度情報を含む配置位置を、決定された視点の情報に基づいて変更して配置するものとする。

【0040】

Ｓ６０５で、制御部１０１は、撮像ページに含まれる拡張コマの各々に対し、対応するフレームオブジェクトを描画するカメラを定義する。本実施形態の提示アプリケーションでは、上述したような他の拡張コマの鑑賞コンテンツに係る描画オブジェクトによって好適な鑑賞体験が阻害されることを回避するため、本ステップにおいて拡張コマのフレームオブジェクトごとにワールドを捉えるカメラを定義する。即ち、撮像ページ内に拡張コマが３つ存在する態様では、本ステップにおいてカメラが３つ定義される。定義されるカメラは、一部のパラメータが、いずれも決定された視点情報によって設定されるものであり、ワールド中の共通の座標に配置され、同一の姿勢でワールドを捉える。

【0041】

ワールドに配置される各描画オブジェクトは、それぞれ拡張コマについて提示される鑑賞コンテンツに関連付けられている。このため、描画オブジェクトについて管理されるオブジェクト情報は、例えば図７（ａ）に示されるように、該描画オブジェクトを識別するオブジェクトＩＤ７０１に関連付けて、基準状態でのワールドの配置を示す基準配置情報７０２、視点に応じた配置変更方法を規定する変更情報７０３、及びいずれの鑑賞コンテンツに対応付けられているフレームオブジェクトを示すフレームＩＤ７０４を含む。

【0042】

１つのカメラについて管理されるカメラ情報は、例えば図７（ｂ）に示されるように、カメラを識別するカメラＩＤ７１１に関連付けて、該カメラが配置されるワールド中の座標（視点情報の座標）を示す位置７１２、該カメラの視線方向（視点情報の姿勢に基づいて導出）を示す視線ベクトル７１３、カメラの上方向（動き検出結果に基づく）を示す上向きベクトル７１４、及び描画対象とするフレームオブジェクトを示すフレームＩＤ７１５を含むものであってよい。このうち、位置７１２、視線ベクトル７１３、及び上向きベクトル７１４は、視点情報を継承することで、全てのカメラについて共通するパラメータとなる。

【0043】

つまり、本ステップにおいて定義されるカメラは、フレーム７１５がそれぞれ異なっており、いずれかの拡張コマについて提供される鑑賞コンテンツの提示に用いられる。換言すれば、ワールドに配置される描画オブジェクトに係るフレームＩＤ７０４は、定義されたいずれかのカメラに係るフレームＩＤ７１５を指している。

【0044】

Ｓ６０６で、制御部１０１は、定義したカメラのうち、まだフレームオブジェクトの描画を行っていないカメラを対象カメラとして選択する。

【0045】

Ｓ６０７で、描画部１０７は制御部１０１の制御の下、対象カメラについてワールドの描画を行う。このとき、対象カメラについて描画対象となる描画オブジェクトは、対象カメラに係るフレームＩＤ７１５で示されるフレームオブジェクトと、ワールドに配置された描画オブジェクトのうち、オブジェクト情報のフレームＩＤ７０４が該フレームＩＤ７１５と同一である描画オブジェクトとなる。

【0046】

即ち、対象カメラに対応付けられたフレームオブジェクトに対応するフレームが図３（ｂ）に示したフレーム３０１である場合、該フレームオブジェクトに係る鑑賞コンテンツを構成する描画オブジェクト３１１〜３１７が描画の対象となり、その他のフレーム（３０２、３０３）に係る鑑賞コンテンツを構成する描画オブジェクトは描画の対象とならない。なお、フレームオブジェクトの描画においては、対象カメラから見て対応するフレーム外の領域に位置する部位は、上述したようにマスクされ、描画されないものとする。

【0047】

Ｓ６０８で、制御部１０１は、定義したカメラの全てについてフレームオブジェクトの描画を行ったか否かを判断する。制御部１０１は、全てのカメラについてフレームオブジェクトの描画を行ったと判断した場合は処理をＳ６０９に移し、行っていないと判断した場合は処理をＳ６０６に戻して異なるカメラについて同様に処理する。

【0048】

Ｓ６０９で、描画部１０７は、定義されたカメラの各々について描画したフレームオブジェクトの画像を実写画像に重畳することで、ＭＲ／ＡＲ提示を行う画像を生成し、表示部１２０に表示する画面として出力する。

【0049】

一方、Ｓ６０２において撮像画像の撮像範囲に該当の漫画ページが含まれていないと判断した場合、制御部１０１はＳ６１０で、撮像画像を表示部１２０に表示する画面として出力させる。

【0050】

このようにすることで、スマートホン１００の位置によって、近接して存在する拡張コマ間で、それぞれの鑑賞コンテンツを構成する、深度情報を有してワールド配置された描画オブジェクトの意図しない遮蔽関係が発生することを回避し、好適な鑑賞体験の提供を実現することができる。

【0051】

以上説明したように、本実施形態の画像生成方法によれば、複合現実感や拡張現実感の提示を、ユーザにとって好適な態様で行うことができる。

【0052】

［その他の実施形態］
本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。また本発明に係る画像生成方法は、１以上のコンピュータに該画像生成方法を実行させるプログラムによっても実現可能である。該プログラムは、コンピュータが読み取り可能な記録媒体に記録されることにより、あるいは電気通信回線を通じて、提供／配布することができる。

【符号の説明】

【0053】

１００：スマートホン、１０１：制御部、１０２：記録媒体、１０３：メモリ、１０４：撮像部、１０５：画像処理部、１０６：取得部、１０７：描画部、１０８：操作入力部、１０９：通信部、１１０：センサ、１２０：表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】