特許 7022250 バーチャルリアリティ又は拡張現実読書システム、書籍及び画像の３次元表示制御プログラム、ならびに、情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-02-08

(45)【発行日】2022-02-17

(54)【発明の名称】バーチャルリアリティ又は拡張現実読書システム、書籍及び画像の３次元表示制御プログラム、ならびに、情報処理方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20220209BHJP

   G06F 3/0483 20130101ALI20220209BHJP

   G06F 3/01 20060101ALI20220209BHJP

【ＦＩ】

G06T19/00 600

G06F3/0483

G06F3/01 570

【請求項の数】 10

(21)【出願番号】P 2021163419

(22)【出願日】2021-10-04

【審査請求日】2021-10-04

【早期審査対象出願】

(73)【特許権者】

【識別番号】515031333

【氏名又は名称】株式会社メディアドゥ

(74)【代理人】

【識別番号】100137338

【弁理士】

【氏名又は名称】辻田 朋子

(72)【発明者】

【氏名】木下 将孝

(72)【発明者】

【氏名】溝口 敦

【審査官】田川 泰宏

(56)【参考文献】

【文献】特表２０１５－５１５０３６（ＪＰ，Ａ）

【文献】国際公開第２０２１／１１２１０７（ＷＯ，Ａ１）

【文献】国際公開第２０１２／００５１８８（ＷＯ，Ａ１）

【文献】国際公開第２０１８／１８６０３１（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０４８３

Ｇ０６Ｆ ３／０１

(57)【特許請求の範囲】

【請求項1】

仮想空間において、複数のページオブジェクトにより構成されるブックオブジェクトを表示させる、バーチャルリアリティ又は拡張現実読書システムであって、
記憶部と、処理部と、を備え、
前記記憶部は、順序が特定された書籍の内容を示す書籍情報を記憶し、
前記処理部は、
前記順序に基づいて、書籍において連続する複数のページを表示対象として特定して対応するページ画像を取得し、
前記書籍の当該特定されたページにおいて、連続する２ページの前記ページ画像を、対応する前記ページオブジェクトの両面にそれぞれレンダリングし、ユーザの視点に基づいて前記ページ画像がレンダリングされたページオブジェクトにより構成されるブックオブジェクトを表示させる、バーチャルリアリティ又は拡張現実読書システム。

【請求項2】

前記ブックオブジェクトは、複数の前記ページオブジェクトの辺が背表紙の位置で接するように構成され、
前記処理部は、ページをめくる指示を受け付けて、前記ページ画像がレンダリングされた前記ページオブジェクトを撓らせてめくるアニメーションを表示させ、隣接するページを開くように、次のページの前記ページ画像がレンダリングされた前記ページオブジェクトを表示させる、請求項１に記載のバーチャルリアリティ又は拡張現実読書システム。

【請求項3】

前記処理部は、連続して複数のページをめくる指示を受け付けて、それぞれ両面に前記ページ画像がレンダリングされた複数の前記ページオブジェクトを連続して撓らせてめくるアニメーションを表示させる、請求項２に記載のバーチャルリアリティ又は拡張現実読書システム。

【請求項4】

前記処理部は、ユーザの手指を検出し、前記手指の位置が所定の条件を満たす場合に、ページの移動を行うための前記手指のジェスチャを認識し、前記ページをめくる指示を受け付ける、請求項２または請求項３に記載のバーチャルリアリティ又は拡張現実読書システム。

【請求項5】

前記処理部は、前記条件として、２本指の先端の距離が所定値未満である場合に、前記手指のジェスチャを認識し、前記ページをめくる指示を受け付ける請求項４に記載のバーチャルリアリティ又は拡張現実読書システム。

【請求項6】

前記処理部は、前記ページをめくる指示として、手を回転させる動作を受け付けた場合に、連続して複数の前記ページオブジェクトをめくる、請求項５に記載のバーチャルリアリティ又は拡張現実読書システム。

【請求項7】

前記書籍情報は、書籍ごとに前回閲覧を中止したページを示す情報を含み、
前記処理部は、前記ブックオブジェクトとして表現する書籍の選択を受け付けると、前記前回閲覧を中止したページを開き、当該開いたページを中心とした複数のページを表示対象として特定して、複数のページオブジェクトについてそれぞれ両面に前記書籍の前記ページ画像をレンダリングする請求項１から請求項６の何れかに記載のバーチャルリアリティ又は拡張現実読書システム。

【請求項8】

前記処理部は、前記ブックオブジェクトが開いているページの前後所定範囲に属する複数の前記ページ画像について、それぞれ前記ページオブジェクトにレンダリングする請求項７に記載のバーチャルリアリティ又は拡張現実読書システム。

【請求項9】

仮想空間において、複数のページオブジェクトにより構成されるブックオブジェクトを表示させる、書籍及び画像の３次元表示制御プログラムであって、
コンピュータを、記憶部と、処理部と、として機能させ、
前記記憶部は、順序が特定された書籍の内容を示す書籍情報を記憶し、
前記処理部は、
前記順序に基づいて、書籍において連続する複数のページを表示対象として特定して対応するページ画像を取得し、
前記書籍の当該特定されたページにおいて、連続する２ページの前記ページ画像を、対応する前記ページオブジェクトの両面にそれぞれレンダリングし、ユーザの視点に基づいて前記ページ画像がレンダリングされたページオブジェクトにより構成されるブックオブジェクトを表示させる、書籍及び画像の３次元表示制御プログラム。

【請求項10】

仮想空間において、複数のページオブジェクトにより構成されるブックオブジェクトを表示させる情報処理方法であって、
コンピュータが、
順序が特定された書籍の内容を示す書籍情報を記憶し、
前記順序に基づいて、書籍において連続する複数のページを表示対象として特定して対応するページ画像を取得し、
前記書籍の当該特定されたページにおいて、連続する２ページの前記ページ画像を、対応する前記ページオブジェクトの両面にそれぞれレンダリングし、ユーザの視点に基づいて前記ページ画像がレンダリングされた複数のページオブジェクトにより構成されるブックオブジェクトを表示させる、情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、バーチャルリアリティ又は拡張現実読書システム、書籍及び画像の３次元表示制御プログラムおよび情報処理方法に関する。

【背景技術】

【0002】

仮想的な空間やオブジェクトを定義し視点に応じて表示する技術を利用し、ユーザに仮想空間における体験を提供するＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）技術や、実空間の景色に仮想オブジェクトを表示するＡＲ（Ａｒｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ＶＲ技術やＡＲ技術の利用においては、特に装着型ディスプレイを用いることで、ユーザの視界に仮想空間を表現し、高い没入感を提供することが行われている。

【0003】

一方、書籍の電子化が進んでおり、実物を持ち歩かなくても手軽に書籍を楽しむ使い方がされている。しかしながら、電子媒体を用いて読書をするだけでなく、電子書籍ならではのより自由な読書体験に需要があった。

【0004】

そこで、近年では、仮想空間内で電子書籍の内容を表示する技術が知られている。例えば特許文献１には、仮想オブジェクトを表示フレームとして用いて、表示フレーム内に更に仮想オブジェクトを配置する技術において、表示フレームを漫画のページとして表現することが記載されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０２１－０２２２０７号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１に記載の技術では、ＶＲ技術によって提供される仮想空間に漫画のページを表示フレームとして表示すれば、ユーザは自由な空間で読書を楽しむことができる。しかしながら、単にオブジェクト上に書籍のページが画像として表示されるだけでは、実物の本を見た時の印象とは大きく離れてしまい、味気ない印象を与えてしまうという課題が存在していた。

【0007】

以上の現状に鑑みて、本発明は、仮想空間における自然な読書体験を実現するための新規な技術を提供することを課題とする。

【課題を解決するための手段】

【0008】

上記課題を解決するために、本発明は、仮想空間において、複数のページオブジェクトにより構成されるブックオブジェクトを表示させる、バーチャルリアリティ又は拡張現実読書であって、記憶部と、処理部と、を備え、前記記憶部は、書籍の内容を示す書籍情報を記憶し、前記処理部は、前記書籍情報に基づき、書籍を構成する複数のページについてページ画像を取得し、前記書籍において連続する２ページの前記ページ画像を、前記ページオブジェクトの両面にそれぞれレンダリングし、ユーザの視点に基づいて前記ブックオブジェクトを表示させる。

【0009】

このような構成とすることで、単にページ画像が本の形に表示されるのとは異なり、実物の書籍と同様にページオブジェクトの両面にページ画像が印刷されたような状態で表示がされるため、ユーザはより現実の読書に近い感覚で仮想空間での読書を楽しむことができる。具体的には、例えばブックオブジェクトを異なる視点から見た場合や、ページオブジェクトをめくるように動かした場合に、裏面にレンダリングされたページ画像が見えることで、実物の書籍を見ているかのような高い没入感を得ることができる。

【0010】

本発明の好ましい形態では、前記ブックオブジェクトは、複数の前記ページオブジェクトの辺が背表紙の位置で接するように構成され、前記処理部は、ページをめくる指示を受け付けて、前記ページ画像がレンダリングされた前記ページオブジェクトを撓らせてめくるアニメーションを表示させ、隣接するページを開くように、次のページの前記ページ画像がレンダリングされた前記ページオブジェクトを表示させる。

【0011】

このような構成とすることで、両面にページ画像がレンダリングされたページオブジェクトが、実物の書籍のページと同様に動く様子が表示され、より自然な読書体験を提供することができる。

【0012】

本発明の好ましい形態では、前記処理部は、連続して複数のページをめくる指示を受け付けて、それぞれ両面に前記ページ画像がレンダリングされた複数の前記ページオブジェクトを連続して撓らせてめくるアニメーションを表示させる。

【0013】

このような構成とすることで、複数ページをまたいで閲覧部分を移動する場合にも、現実の書籍においてページを移動するのと同様の表現が実現される。またこの時にも、各ページオブジェクトの両面にページ画像がレンダリングされた状態であるため、ただ「ページをめくるアニメーション」が表示されるのではなく、開いていたその書籍のページが連続してめくられていくように表示され、ユーザにより高い没入感を与えることができる。

【0014】

本発明の好ましい形態では、前記処理部は、前記ブックオブジェクトとして表現する書籍の選択を受け付けると、複数のページオブジェクトについてそれぞれ両面に前記書籍の前記ページ画像をレンダリングする。

【0015】

このような構成とすることで、ページ移動のたびにレンダリングする必要がなくなり、表示速度が向上する。これにより、ページをめくる動きが遅れたり止まったり、あるいはページ画像のレンダリングされていないページオブジェクトが表示されてしまう等、現実では起こらない現象が生じてしまう不具合を減らし、より現実感のある読書体験を提供することができる。

【0016】

本発明の好ましい形態では、前記処理部は、前記ブックオブジェクトが開いているページの前後所定範囲に属する複数の前記ページ画像について、それぞれ前記ページオブジェクトにレンダリングする。

【0017】

このような構成とすることで、現在開いているページの近傍の所定範囲についてはすぐに表示することができる状態となるため、多数のページ移動があった場合にも滑らかな表示が可能となる。また、レンダリングする範囲を開いているページの前後所定範囲とすることで、メモリに制限がある場合にも没入感を損なわない素早い表示が可能となる。

【0018】

上記課題を解決するために、本発明は、仮想空間において、複数のページオブジェクトにより構成されるブックオブジェクトを表示させる、書籍及び画像の３次元表示制御プログラムであって、コンピュータを、記憶部と、処理部と、として機能させ、前記記憶部は、書籍の内容を示す書籍情報を記憶し、前記処理部は、前記書籍情報に基づき、書籍を構成する複数のページについてページ画像を取得し、前記書籍において連続する２ページの前記ページ画像を、前記ページオブジェクトの両面にそれぞれレンダリングし、ユーザの視点に基づいて前記ブックオブジェクトを表示させる。

【0019】

上記課題を解決するために、本発明は、仮想空間において、複数のページオブジェクトにより構成されるブックオブジェクトを表示させる情報処理方法であって、コンピュータが、書籍の内容を示す書籍情報を記憶し、前記書籍情報に基づき、書籍を構成する複数のページについてページ画像を取得し、前記書籍において連続する２ページの前記ページ画像を、前記ページオブジェクトの両面にそれぞれレンダリングし、ユーザの視点に基づいて前記ブックオブジェクトを表示させる。

【発明の効果】

【0020】

本発明によれば、仮想空間における自然な読書体験を実現するための新規な技術を提供することができる。

【図面の簡単な説明】

【0021】

【図1】本発明の実施形態におけるバーチャルリアリティ又は拡張現実読書システムの構成例を示す概略図である。

【図2】本発明の実施形態におけるバーチャルリアリティ又は拡張現実読書システムの機能ブロック図である。

【図3】本発明の実施形態におけるバーチャルリアリティ又は拡張現実読書システムの画面表示例である。

【図4】本発明の実施形態におけるバーチャルリアリティ又は拡張現実読書システムの画面表示例である。

【図5】本発明の実施形態におけるバーチャルリアリティ又は拡張現実読書システムのページめくり時におけるブックオブジェクトの表示例である。

【図6】本発明の実施形態におけるバーチャルリアリティ又は拡張現実読書システムの入力に用いられるジェスチャの例を示す図である。

【図7】本発明の実施形態におけるバーチャルリアリティ又は拡張現実読書システムの入力に用いられるジェスチャの例を示す図である。

【発明を実施するための形態】

【0022】

以下、図面を用いて、本発明のバーチャルリアリティ又は拡張現実読書システムについて説明する。なお、以下に示す実施形態は本発明の一例であり、本発明を以下の実施形態に限定するものではなく、様々な構成を採用することもできる。

【0023】

例えば、本実施形態ではバーチャルリアリティ又は拡張現実読書システムの構成、動作等について説明するが、同様の構成の方法、装置、コンピュータプログラム等も、同様の作用効果を奏することができる。また、プログラムは、記録媒体に記憶させてもよい。この記録媒体を用いれば、例えばコンピュータにプログラムをインストールすることができる。ここで、プログラムを記憶した記録媒体は、例えばＣＤ－ＲＯＭ等の非一過性の記録媒体であっても良い。

【0024】

本発明は、電子書籍に含まれるページのページ画像を、ページの形状を表現した３次元の仮想オブジェクトであるページオブジェクトにレンダリングすることで、３次元のブックオブジェクトを表示する技術に関する。特に本実施形態では、ユーザの視界を覆う装着型ディスプレイを利用して、仮想空間を背景として表示し、ユーザの顔の向きにより仮想空間の視点を制御し、仮想空間内にブックオブジェクトを配置して表示する。なおこの他にも、仮想的な背景を表示する代わりに、実空間の撮影画像に仮想空間上で位置を定義されたブックオブジェクトを重畳表示するＡＲ技術を用いてもよい。

【0025】

なお本発明において扱う電子書籍には特に制限はなく、内容やページ数、右開き、左開き等、各種の条件に関わらず様々な電子書籍を利用することができる。

【0026】

図１及び図２を用いて、本実施形態におけるバーチャルリアリティ又は拡張現実読書システムの構成を説明する。図１は、ＶＲ端末１と、配信装置２と、がネットワークＮＷを介して通信可能に構成されている。ネットワークＮＷとしては、インターネット等が想定される。なお、本発明はＶＲ端末１単体で構成されてもよい。

【0027】

ＶＲ端末１としては、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の演算装置、記憶装置、ネットワークＮＷへの接続手段、ディスプレイを含む種々の入出力装置等を備えた、任意のコンピュータ装置を利用することができる。本実施形態では、ＧＰＵヘッドマウントディスプレイを備えた、一体型の専用装置を想定する。なお、スマートフォンやタブレット型端末を利用して、装着型の装置と連携させることで本発明のＶＲ端末１を実現してもよい。後述の処理部としてコンピュータ装置の演算装置を機能させるための専用のアプリケーションや、専用のウェブページにアクセスするためのブラウザアプリケーション等が記憶装置に記憶され、演算装置が各種の処理を実行することで、任意のコンピュータ装置が本発明のＶＲ端末１として機能する。

【0028】

また配信装置２としては、ＣＰＵやＧＰＵ等の演算装置、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の主記憶装置、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュメモリ等の補助記憶装置、ネットワークＮＷへの接続手段を含む種々の入出力装置等を備えた、サーバ装置等の一般的なコンピュータ装置を利用することができる。配信装置２は、電子書籍を配信するサービスを提供するサーバであり、ユーザ情報や電子書籍の情報を管理する。

【0029】

図２は、本実施形態におけるバーチャルリアリティ又は拡張現実読書システムの機能構成を示す図である。本実施形態では、配信装置２が、ＶＲ端末１からの要求に応じて電子書籍のデータを配信する配信部２１と、電子書籍のデータを格納するデータベース２２と、を備える。このように本実施形態では配信装置２においてユーザ情報及び電子書籍のデータを管理しており、ユーザが電子書籍を購入すると、当該ユーザのユーザ情報に対応付けて指定された電子書籍の利用権があることを示す情報を登録することで、電子書籍の販売が行われる。そして、利用権のあるユーザから配信要求を受信した場合に、配信部２１がデータベース２２に保存された書籍のデータを、当該ユーザのＶＲ端末１に配信する。

【0030】

ここで、データベース２２において記憶される情報は、本発明のシステムにおけるＶＲ端末１以外の、一般的なコンピュータがブラウザアプリケーションやその他の書籍ビューワアプリケーションにより書籍を閲覧する際にも共通して利用されうる。すなわち、配信装置２は例えば、従来から知られる一般的な電子書籍の配信サーバであってよく、本発明のＶＲ端末１においては、既存のシステムで利用されている情報やサーバ装置にアクセスして、購入済みの書籍をＶＲ空間で楽しむことが可能である。

【0031】

この時、既存のシステムで販売された電子書籍の一部は、ＶＲ端末１における利用を許可されない場合がある。この場合、データベース２２においては、配信対象の書籍のデータとして、本発明のＶＲ端末１における利用の可否を記憶しておき、ユーザが対象の書籍の利用権を有しており、かつ、対象の書籍がＶＲ端末１において利用可能である場合に、ユーザからの配信要求に対して配信装置２が書籍の配信を行う。

【0032】

ＶＲ端末１は、処理部１１及び記憶部１２を備える。またディスプレイやスピーカー等の出力装置を備えており、処理部１１による処理結果が出力される。ＶＲ端末１は、配信装置２に電子書籍の配信要求を送信して、ユーザの認証を経て書籍のデータをダウンロードして記憶部１２に保存し、保存されたデータに基づいて処理部１１が表示処理を実行することで、ブックオブジェクトの表示が行われる。なお、本発明はこのような形態に限られず、例えば、処理部１１及び記憶部１２の一部又は全部が配信装置２に備えられてレンダリングを含む表示処理が配信装置２において行われ、ＶＲ端末１が配信装置２から表示処理結果を受信してディスプレイに表示する形態としてもよい。

【0033】

記憶部１２には、書籍の内容を示す書籍情報が記憶されている。本実施形態では書籍情報として、書籍を構成する複数のページについてそれぞれページ画像が記憶されている。また書籍情報にはこの他にも、書籍のタイトル、巻数、作者、発行年月日等、書籍に関する各種の情報が含まれる。更に、最後に書籍の閲覧を中止したときに開いていたページにフラグを立て、次に同じ書籍を開いた場合には処理部１１が当該ページから表示することが好ましい。

【0034】

ここで本実施形態の記憶部１２は書籍情報としてページ画像そのものを記憶するが、書籍のページに表現すべき内容、すなわちページ画像を生成するための文字や画像の情報が、ページ画像の代わりに記憶されていてもよい。例えば、使用するデバイスの画面サイズや解像度により表示量やレイアウトを変更可能な、いわゆるリフロー型ＥＰＵＢと呼ばれるファイル形式がある。このようなリフロー型ＥＰＵＢのファイルを記憶部１２が書籍情報として記憶しておき、これに基づいて処理部１１が画像を生成することで、ページごとのページ画像の取得が行われてもよい。

【0035】

処理部１１は、記憶部１２に格納された書籍情報に基づいてページ画像を取得し、書籍において連続する２ページのページ画像を、ページオブジェクトの両面にそれぞれレンダリングし、ユーザの視点に基づいてブックオブジェクトをディスプレイに表示させる。本実施形態では書籍情報として全ページ分のページ画像が記憶されているため、処理部１１は記憶部１２からページ画像を取得してページオブジェクトへのレンダリングを行う。すなわち本実施形態において「書籍情報に基づいてページ画像を取得する」とは、書籍情報に含まれるページ画像を読み込むことを指す。

【0036】

具体的には、まず記憶部１２に書籍情報が記憶された書籍のタイトル一覧を表示し、選択を受け付ける。図３は、書籍の選択画面の表示例である。このように、例えば図書館や書斎のような仮想空間において本棚を表示し、本棚上に書籍が並んだ状態で表示することが想定される。なお、記憶部１２に書籍情報が記憶された書籍以外にも、配信装置２においてユーザに利用権があることを示す情報が登録されている書籍を表示し、当該書籍が選択された場合には、処理部１１が配信装置２に書籍の配信要求を送信してもよい。

【0037】

ここで例えば上下巻等、複数冊のシリーズがある続き物の書籍等の場合には、一覧の表示においては、例えば各タイトルの１巻等、代表となる１冊の表紙等の画像を表示してもよい。そして図３の画面ではタイトルの選択を受け付けると、更に選択されたタイトルの複数の書籍、例えば１巻～１０巻等が表示され、更に選択を受け付けることができる。

【0038】

このようにして特定の書籍が選択されると、処理部１１は、前回閲覧を中止したときに開いていたページを中心に、複数のページ画像のレンダリングを行う。初めて開く書籍の場合や、前回最後のページまで閲覧して書籍を閉じた場合には、処理部１１は、表紙がユーザの方向を向くようにして書籍が閉じた状態のブックオブジェクトを表示処理する。

【0039】

ここで、特定の書籍が選択されたときに、処理部１１は、開くページの前後所定範囲のページ画像について、全てページオブジェクトにレンダリングする。例えば第２００ページを開く場合、本実施形態では前後１００ページ分のページ画像をページオブジェクトにレンダリングする。即ち、第１００ページから第３００ページまでのページ画像を、それぞれ連続するページが両面に配置されるように、１００枚のページオブジェクトにレンダリングする。

【0040】

またページを移動した場合、即ち他のページが開かれた場合には、その都度前後所定範囲に含まれるページのレンダリングが完了した状態となるように、所定範囲から外れたページ画像がレンダリングされたページオブジェクトのデータを削除して、新たに所定範囲に入ったページ画像のレンダリングを行う。このように、書籍を開いた時点で複数のページ画像のレンダリングを行っておくことにより、ページを移動したときの表示の遅れを低減できる。

【0041】

ここで本実施形態のレンダリング処理には、バイナリデータであるページ画像を画像形式に変換してメモリに読み込む処理と、読み込まれたページ画像をページオブジェクトの形状に合わせて変形させる処理と、の２段階が存在する。本実施形態では、１段階目のメモリへの読み込みのみ、より多くのページ、例えば開くページの前後１５０ページ分行っておき、そのうちの一部、例えば開くページの前後１００ページ分について、ページオブジェクトに合わせた変形及び表示の処理まで完了させる。これにより、完全にはレンダリングが完了していないページへの移動が行われた際にも、メモリに読み込まれたデータに基づいて２段階目の変形・表示の処理を実行するのみで表示が可能となり、処理の遅れが軽減される。

【0042】

次に、電子書籍の閲覧時の表示について、図面を参照して具体的に説明する。前述のように特定の書籍が選択されると、書籍の選択時の仮想空間から、読書をするための別の仮想空間に切り替えるための表示処理を処理部１１が実行する。本実施形態では、複数種類の仮想空間が記憶部１２に登録されており、ユーザが自由に選択して切り替えることができる。なお、書籍のタイトルや個々の書籍に応じて好ましい仮想空間を登録しておき、登録された仮想空間が表示処理される構成であってもよい。

【0043】

図４は、本実施形態において処理部１１によって仮想空間内にブックオブジェクトＢＯを配置した表示例である。このように本実施形態のブックオブジェクトＢＯは、実物の書籍と同様に、複数のページオブジェクトＰＯの辺が接するように配置されて表現される。ページを開いた状態では、実物の書籍と同様に、隣接するページとともに見開きの２ページが正面に配置される。この時、ページオブジェクトは、書籍を綴じた厚みによって曲面を描くように撓った状態に表示処理され、曲面を描くページオブジェクト上にレンダリングされたページ画像も同様に局面に応じた歪みを呈して表示処理されている。

【0044】

また背景には仮想空間が表示され、ユーザは指示を入力することで自由に仮想空間内を移動したり、視点を変えたりすることができる。ブックオブジェクトＢＯは、ユーザが選択した仮想空間に配置されており、図４の例では芝生の環境が選択された例が示されている。

【0045】

ここで、背景は任意に変更が可能である。本実施形態では、書籍の内容を示す書籍情報に対応付けて背景が設定されており、閲覧中の書籍情報の位置、即ちブックオブジェクトＢＯにおいて開いているページに応じて、自動的に背景が選択される。具体的には、ページ画像のそれぞれに対応付けて背景が記憶されており、開いているページオブジェクトに応じて背景が決定される。また、章や話等の単位ごとに対応する背景を設定してもよい。

【0046】

この他にも、例えば閲覧開始から移動したページ数、即ちページをめくった回数に応じて背景が自動的に切り替わる構成としてもよい。あるいは、閲覧開始からの経過時間に応じて所定の間隔で背景が切り替わるようにしてもよいし、これらの条件を組み合わせて、背景の切り替えを判断してもよい。また例えば、書籍情報に紐づけて、選択可能な背景の情報を記憶部１２に記憶しておき、登録された背景の中からユーザが自由に選択できる形態であってもよい。

【0047】

図４のような書籍の閲覧画面において、ページをめくる指示を受け付けると、処理部１１は、ページ画像がレンダリングされたページオブジェクトを撓らせてめくるアニメーションを表示処理し、ディスプレイに表示させる。更にそのまま隣接するページを開くように、次のページ画像がレンダリングされたページオブジェクトをディスプレイに表示させる。この際に、紙の書籍をめくったような効果音を再生することがより好ましい。

【0048】

図５は本実施形態におけるページめくりの表示を説明するための図である。図５では右開きの書籍を例示しており、各ページ下部の見開きで外側になる位置にページ数が表示されている。第９ページと第１０ページの見開きが表示された状態から、１ページ戻る、即ち右側のページをめくる指示が受け付けられると、まず図５（ａ）のように、選択されたページオブジェクトを変形させて移動させるアニメーションが表示されるように処理部１１が表示処理する。

【0049】

この時、ユーザの視点から見える各ページオブジェクトにはそれぞれ両面にページ画像がレンダリングされた状態であるため、めくろうとする第９ページ（Ａ面）にも、一部が裏返って見える状態になっている第８ページ（Ｂ面）にも、それぞれ対応するページ画像がページオブジェクトの形状に沿って表示されている。更に、ページをめくることで現れる第７ページも同様に、ページオブジェクトにページ画像がレンダリングされた状態で配置され、図５（ａ）の状態から滑らかに図５（ｂ）の状態に移って、実物の書籍を閲覧するときと同じようにページを移動してブックオブジェクトを読むことができる。

【0050】

以上のように、ページオブジェクトの両面にページ画像をレンダリングし、オブジェクトを現実の書籍と同じように変形させて表示することにより、より自然な読書体験を提供することができる。ここで、書籍の選択やページめくり等の各種の入力は、ＶＲ端末１に対応した物理的なコントローラを用いて行ってもよいが、ＶＲ端末１が備えるカメラによってユーザの手を撮影して撮影画像からジェスチャを認識し、ジェスチャ操作によって処理部１１が各種の入力を受け付けてもよい。

【0051】

以下、書籍の閲覧画面において認識されるジェスチャ操作について、図６、図７を参照して説明する。図６は、ページを移動する入力を行うためのジェスチャの一例を示す図である。図６（ａ）～（ｃ）は、１ページずつページをめくる場合のジェスチャの例である。

【0052】

図６（ａ）の例では、撮影画像からユーザの手指を検出し、各指を伸ばしているかを判定して、人差し指を伸ばし、中指、薬指、小指を伸ばしていない場合にジェスチャを認識する。そして、人差し指の先端の座標が所定値以上の速度で移動した場合に、処理部１１がページをめくる指示として受け付け、指の移動方向に応じた方向にページをめくる。

【0053】

また図６（ｂ）の例では、撮影画像からユーザの手指を検出し、ブックオブジェクトに対して指が本の正面から所定範囲内の角度で接している場合にジェスチャを認識する。ジェスチャが認識されると、処理部１１がページをめくる指示として受け付け、ユーザの手が触れた側のページをめくる。

【0054】

また図６（ｃ）の例では、撮影画像からユーザの手指を検出し、手の位置に応じてポインタを表示する。そしてポインタが図６（ｃ）に点線で示したページの左右端の操作領域内にある状態において、人差し指と親指の先端の距離が所定値未満の場合に、ジェスチャを認識して、処理部１１がページをめくる指示として受け付ける。この場合、ポインタの位置によりめくるページの方向が決定される。

【0055】

図６（ｄ）、（ｅ）は、連続して複数のページをめくる場合のジェスチャの例である。図６（ｄ）の例では、撮影画像からユーザの手指を検出し、手の位置に関わらず、人差し指と親指の先端の距離、及び中指と親指の先端の距離が所定値未満の場合にジェスチャを認識する。そして、複数の紙を重ねて端を弾くように連続してめくる時の動作と同様に、手を回転させる動作が行われると、処理部１１が連続して複数のページをめくる指示として受け付け、回転方向に対応する方向に連続してページをめくる。ここで、処理部１１はジェスチャの開始位置からの回転角度を認識し、回転角度が大きいほどページめくりのスピードが速くなるように連続してページめくりの表示処理を実行する。

【0056】

図６（ｅ）の例では、図６（ｄ）と同様に、人差し指と親指、中指と親指のそれぞれの先端の距離が所定値未満の場合にジェスチャを認識する。そしてその状態が所定時間以上保たれた場合に、処理部１１が操作部としてスライダーを表示処理し、ユーザが手を左右に動かす動作が行われると、処理部１１が連続して複数のページをめくる指示として受け付け、移動方向に対応する方向に連続して複数のページをめくる。ここで、処理部１１はスライダーの移動量、即ちジェスチャの開始位置からの移動量を認識し、移動量が大きいほどページめくりのスピードが速くなるように連続してページめくりの表示処理を実行する。

【0057】

なお本実施形態では、図６（ａ）～（ｃ）のジェスチャについても一定時間以上ジェスチャを続けたと認識された場合、処理部１１が連続して複数のページをめくる指示として受け付けて、所定の速度で連続して複数のページをめくるように表示処理する。

【0058】

次に、ブックオブジェクトを移動する指示を入力するためのジェスチャについて図７を参照して説明する。図７（ａ）の例では、画像からユーザの両手の手指を検出し、各指を伸ばしているかを判定して、人差し指と中指が曲がっている状態を「持つ」ジェスチャとして認識する。ブックオブジェクトの両端の位置で両手の「持つ」ジェスチャが認識されると、処理部１１は移動の指示として受け付け、ユーザが手を前後左右に動かすことにより、手の位置に連動してブックオブジェクトを移動させるように表示処理する。

【0059】

また図７（ｂ）の例では、撮影画像からユーザの両手の手指を検出し、人差し指と親指の先端の距離が所定値未満の場合に、ジェスチャを認識する。そして、両手についてジェスチャが認識された場合に、左右の指の間にポインタを表示する。その状態で両手の距離を変化させる動作が行われると、処理部１１は拡大縮小の指示として受け付け、ジェスチャの認識時点からの距離変化の大きさに応じて、ブックオブジェクトの大きさを変化させるように表示処理する。なお拡大縮小とはすなわち、仮想空間におけるユーザの視点とブックオブジェクトの距離の変化を指し、拡大はユーザとブックオブジェクトが近づくこと、縮小はユーザとブックオブジェクトが遠ざかることに対応する。

【0060】

図７（ｃ）、（ｄ）の例では、片手で移動の指示を行う場合のジェスチャを示している。この場合、画像からユーザの手指を検出し、各指を伸ばしているかを判定して、人差し指と中指が曲がっている状態を「持つ」ジェスチャとして認識する。そして、ブックオブジェクトの端の位置で「持つ」ジェスチャが認識されると、処理部１１は移動の指示として受け付け、ユーザが手を前後左右に動かすことにより、手の位置に連動してブックオブジェクトを移動させるように表示処理する。

【0061】

また図７（ｄ）の例では、画像から撮影画像からユーザの手指を検出し、手の位置に応じてポインタを表示する。そしてポインタが図７（ｄ）に点線で示した見開きの中央付近の操作領域内にある状態において、人差し指と親指の先端の距離が所定値未満の場合に、書籍を持つジェスチャを認識して、処理部１１が移動の指示として受け付け、ユーザが手を前後左右に動かすことにより、手の位置に連動してブックオブジェクトを移動させるように表示処理する。

【0062】

以上のように、現実の書籍の読書と近い動きにより各種の操作を受け付けることにより、更に没入感を高め、より自然な読書体験を提供することができる。

【0063】

ここで更に本実施形態のＶＲ端末１は、ユーザの操作を必要とせず、事前に設定された時間間隔で自動的にページめくりを行う自動ページめくり機能を備える。ユーザによる設定により、自動ページめくり機能の有効又は無効、更にその時間間隔が決定される。

【0064】

この機能が有効になっている場合、処理部１１は、設定された間隔でページをめくる指示を自ら生成して受け付け、前述の通りブックオブジェクトのページをめくる。本実施形態では上記の通り、デバイスやコントローラを持つことなく、かつ自由な姿勢で各種の操作が可能であるため、更に設定された間隔で自動的にページがめくられることにより、ユーザは例えばランニングマシン等で運動をしながら、あるいは横になった姿勢で体を動かさずに読書を楽しむことができる。

【0065】

一方で、ページによって情報量が異なる場合等、基本的には自動ページめくり機能を利用しつつも、一時停止させたいという要望が想定される。したがって本実施形態では、自動ページめくり機能が有効な状態で、処理部１１が自動ページめくりを一時停止する指示を受け付け、指示を受け付けている間はページをめくる処理を行わない。自動ページめくりを一時停止する指示についても、コントローラによる入力が行われてもよいし、ジェスチャで入力が行われてもよい。自動ページめくりを一時停止する指示をするためのジェスチャ操作としては、例えば、ブックオブジェクトに指を向ける、手を開いた状態でブックオブジェクトに触れる、等が想定される。

【0066】

以上のように、本実施形態によれば、実物の書籍と同様にページ両面に内容が表示された状態でブックオブジェクトを表示でき、それにより没入感を高めた自然な読書体験をユーザに提供することができる。更にジェスチャ操作により各種の指示を受け付けたり、所定の間隔で自動ページめくりを実行することによって、より自由な環境で読書が可能となる。

【符号の説明】

【0067】

１ ：ＶＲ端末
２ ：配信装置
１１ ：処理部
１２ ：記憶部
２１ ：配信部
２２ ：データベース
ＢＯ ：ブックオブジェクト
ＮＷ ：ネットワーク
ＰＯ ：ページオブジェクト

【要約】

【課題】
仮想空間における自然な読書体験を実現するための新規な技術を提供すること。
【解決手段】
仮想空間において、複数のページオブジェクトにより構成されるブックオブジェクトを表示させる画像処理システムであって、記憶部と、処理部と、を備え、前記記憶部は、書籍の内容を示す書籍情報を記憶し、前記処理部は、前記書籍情報に基づき、書籍を構成する複数のページについてページ画像を取得し、前記書籍において連続する２ページの前記ページ画像を、前記ページオブジェクトの両面にそれぞれレンダリングし、ユーザの視点に基づいて前記ブックオブジェクトを表示させる。
【選択図】図４

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】