特開 2024-75328 表示制御装置および方法並びにプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024075328

(43)【公開日】2024-06-03

(54)【発明の名称】表示制御装置および方法並びにプログラム

(51)【国際特許分類】

   G06F 3/0483 20130101AFI20240527BHJP

   G06F 3/04815 20220101ALI20240527BHJP

   G06T 19/00 20110101ALI20240527BHJP

【ＦＩ】

G06F3/0483

G06F3/04815

G06T19/00 600

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022186706

(22)【出願日】2022-11-22

(71)【出願人】

【識別番号】000250502

【氏名又は名称】理想科学工業株式会社

(74)【代理人】

【識別番号】100128451

【弁理士】

【氏名又は名称】安田 隆一

(72)【発明者】

【氏名】馬場 花菜子

(72)【発明者】

【氏名】坂田 幸基

(72)【発明者】

【氏名】楊 紅

【テーマコード（参考）】

5B050

5E555

【Ｆターム（参考）】

5B050AA03

5B050BA06

5B050BA09

5B050BA13

5B050CA07

5B050DA01

5B050EA04

5B050EA19

5B050EA26

5B050FA02

5B050FA05

5B050FA13

5E555AA27

5E555BA06

5E555BA38

5E555BA73

5E555BB06

5E555BB38

5E555BC18

5E555BE17

5E555CA13

5E555CA42

5E555CB12

5E555CB14

5E555CB42

5E555CB46

5E555CB48

5E555CC05

5E555DA08

5E555DA09

5E555DB11

5E555DB51

5E555DB53

5E555DB56

5E555DC09

5E555DC13

5E555DC19

5E555DC53

5E555DC54

5E555DC59

5E555DD06

5E555EA07

5E555EA22

5E555FA00

(57)【要約】

【課題】紙の書籍に対して印を直接つけることなく、書籍のページ毎に印付けでき、後でその印を表示させて確認することができる表示制御装置および方法並びにプログラムを提供する。
【解決手段】書籍の所定のページの画像を撮影する撮影部１０と、撮影部１０によって撮影された画像を表示部１４に表示させる制御部１５と、所定のページの画像内に含まれるページを特定するページ特定情報を取得するページ特定情報取得部１１と、所定のページの画像内においてＡＲ表示するＡＲオブジェクトの情報を取得するＡＲオブジェクト情報取得部１２と、ページ特定情報毎のＡＲオブジェクトの情報を記憶する記憶部１３とを備え、制御部が１５、記憶部１３に記憶されたページ特定情報毎のＡＲオブジェクトの情報に基づいて、所定のページの画像内にＡＲオブジェクトを表示させる。
【選択図】図１

【特許請求の範囲】

【請求項1】

書籍の所定のページの画像を撮影する撮影部と、
前記撮影部によって撮影された画像を表示部に表示させる制御部と、
前記所定のページの画像内に含まれる前記ページを特定するページ特定情報を取得するページ特定情報取得部と、
前記所定のページの画像内においてＡＲ表示するＡＲオブジェクトの情報を取得するＡＲオブジェクト情報取得部と、
前記ページ特定情報毎の前記ＡＲオブジェクトの情報を記憶する記憶部とを備え、
前記制御部が、前記記憶部に記憶された前記ページ特定情報毎の前記ＡＲオブジェクトの情報に基づいて、前記所定のページの画像内に前記ＡＲオブジェクトを表示させる表示制御装置。

【請求項2】

前記ページ特定情報が、前記ＡＲオブジェクトの表示の基準となるＡＲマーカーである請求項１記載の表示制御装置。

【請求項3】

前記ページ特定情報が、前記書籍のページ番号の画像を含む請求項１記載の表示制御装置。

【請求項4】

前記制御部が、前記ページ特定情報の変更を認識し、該変更に応じて前記ＡＲオブジェクトの表示を切り替える請求項１記載の表示制御装置。

【請求項5】

前記制御部が、前記書籍の所定のページの４隅の位置情報を取得し、該４隅の位置によって特定される矩形領域内の画像に基づいて、前記ページ特定情報を認識し、該認識したページ特定情報に対応する前記ＡＲオブジェクトの情報を前記記憶部から読み出して前記表示部にＡＲ表示させる請求項１記載の表示制御装置。

【請求項6】

前記ＡＲオブジェクト情報取得部が、ユーザの手または所定の指示部材の動きを認識することによって、前記ＡＲオブジェクトの情報を取得する請求項１記載の表示制御装置。

【請求項7】

書籍の所定のページの画像を撮影し、
該撮影した画像内に含まれる前記ページを特定するページ特定情報を取得し、
前記所定のページの画像内においてＡＲ表示するＡＲオブジェクトの情報を取得し、
前記ページ特定情報毎の前記ＡＲオブジェクトの情報を予め記憶し、
該記憶された前記ページ特定情報毎の前記ＡＲオブジェクトの情報に基づいて、前記所定のページの画像内に前記ＡＲオブジェクトを表示させる表示制御方法。

【請求項8】

書籍の所定のページの画像を撮影するステップと、
該撮影した画像内に含まれる前記ページを特定するページ特定情報を取得するステップと、
前記所定のページの画像内においてＡＲ表示するＡＲオブジェクトの情報を取得するステップと、
前記ページ特定情報毎の前記ＡＲオブジェクトの情報を予め記憶するステップと、
該記憶された前記ページ特定情報毎の前記ＡＲオブジェクトの情報に基づいて、前記所定のページの画像内に前記ＡＲオブジェクトを表示させるステップとをコンピュータに実行させる表示制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、書籍の画像を撮影し、その画像上にＡＲオブジェクトをＡＲ表示させる表示制御装置および方法並びにプログラムに関するものである。

【背景技術】

【0002】

書籍を読んでいる際に、読者にとって気になるところがあった場合、その箇所にペンなどを用いて印を付け、後で確認できるようにすることがある。

【0003】

このような印付けは、読者が所有する書籍であれば可能であるが、たとえば他人や図書館から借りた本に印付けを行うことはできない。

【0004】

特許文献１においては、電子書籍において、実際の書籍のように簡単な操作を行うだけで任意の要素に印をつけることができる技術が提案されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００１－５８１６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１の手法では、紙の書籍をデジタル化して電子書籍とする必要があり、デジタル化の手間がかかってしまう。また著作権を侵害してしまう恐れがある。

【0007】

本発明は、上記事情に鑑み、紙の書籍に対して印を直接つけることなく、書籍のページ毎に印付けでき、後でその印を表示させて確認することができる表示制御装置および方法並びにプログラムを提供することを目的とするものである。

【課題を解決するための手段】

【0008】

本発明の表示制御装置は、書籍の所定のページの画像を撮影する撮影部と、撮影部によって撮影された画像を表示部に表示させる制御部と、所定のページの画像内に含まれるページを特定するページ特定情報を取得するページ特定情報取得部と、所定のページの画像内においてＡＲ表示するＡＲオブジェクトの情報を取得するＡＲオブジェクト情報取得部と、ページ特定情報毎のＡＲオブジェクトの情報を記憶する記憶部とを備え、制御部が、記憶部に記憶されたページ特定情報毎のＡＲオブジェクトの情報に基づいて、所定のページの画像内にＡＲオブジェクトを表示させる。

【発明の効果】

【0009】

本発明の表示制御装置および方法並びにプログラムによれば、書籍のページを特定するページ特定情報毎のＡＲオブジェクトの情報を予め記憶し、その記憶されたページ特定情報毎のＡＲオブジェクトの情報に基づいて、所定のページの画像内にＡＲオブジェクトを表示させるようにしたので、紙の書籍に対して印を直接つけることなく、書籍のページ毎の印付けとしてＡＲオブジェクトを記憶し、後でそのＡＲオブジェクトを表示させて確認することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の表示制御装置の一実施形態を用いた仮想表示装置の概略構成を示す図

【図2】書籍のページ毎に表示されるＡＲオブジェクトの設定方法を説明するためのフローチャート

【図3】書籍の所定のページを撮影した画像が台形である一例を示す図

【図4】所定のページの画像、その所定のページの画像の領域を特定する矩形領域、およびページ特定情報の領域を指定するための四角形を表示した例を示す図

【図5】ページ特定情報の領域を指定するための四角形をドラッグする様子を示す図

【図6】ＡＲオブジェクトの種類を指定するためのメニューバーの一例を示す図

【図7】書籍の各ページにＡＲオブジェクトをＡＲ表示させる処理を説明するためのフローチャート

【図8】表紙リストの一例を示す図

【発明を実施するための形態】

【0011】

以下、図面を参照して本発明の表示制御装置の一実施形態を用いた仮想表示装置について詳細に説明する。図１は、本実施形態の仮想表示装置１の概略構成を示すブロック図である。

【0012】

本実施形態の仮想表示装置１は、たとえばスマートフォンから構成されるものであり、ユーザの頭部に装着されるＡＲグラス（図示省略）に設置される。そして、仮想表示装置１が設置されたＡＲグラスがユーザの頭部の両目部分に装着されることによって、ユーザは、ＡＲ表示を観察することができる。

【0013】

本実施形態の仮想表示装置１は、書籍の所定のページを撮影した際、その撮影したページの画像上に、ページ毎に予め記憶されたＡＲオブジェクト（たとえば文章に付される蛍光マーカーやアンダーラインなど）を重ねてＡＲ表示することができるものである。

【0014】

具体的には、仮想表示装置１は、図１に示すように、撮影部１０と、ページ特定情報取得部１１と、ＡＲオブジェクト情報取得部１２と、記憶部１３と、表示部１４と、制御部１５とを備えている。

【0015】

撮影部１０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Device）イメージセンサなどの撮像素子および結像レンズなど光学系を有し、書籍の所定のページの画像を撮影するものである。撮影部１０によって撮影された画像は、制御部１５によって表示部１４に表示される。

【0016】

ページ特定情報取得部１１は、撮影部１０によって撮影された所定のページの画像内に含まれるページを特定するページ特定情報を取得する。ページ特定情報としては、たとえば所定のページの画像内に含まれるページ番号の領域の画像を取得することができる。ページ番号の領域の画像は、たとえば所定のページの画像に含まれる数字を自動的に認識し、その数字およびその周辺領域を含む画像を取得するようにしてもよいし、ユーザが、ページ番号の領域を指定し、その領域の画像をページ特定情報としてもよい。ユーザによる指定方法については、後で詳述する。

【0017】

また、ページ特定情報としては、ページ番号を含む領域の画像に限らず、たとえば所定のページの画像内に含まれるタイトルが印字された領域の画像でもよい。タイトルが印字された領域についても、予め設定された文字列の条件などに基づいて自動的に認識するようにしてもよいし、ユーザが指定するようにしてもよい。

【0018】

また、ページ特定情報は、上記の例に限らず、ページを特定できる情報であれば如何なる情報でもよい。

【0019】

ＡＲオブジェクト情報取得部１２は、撮影部１０によって撮影された所定のページの画像内においてＡＲ表示するＡＲオブジェクトの情報を取得する。ＡＲオブジェクトとしては、たとえば書籍の所定のページの所定の文章に付された蛍光マーカーやアンダーライン、またはページ内の所定の箇所に付されたマークやテキストなどがあるが、これに限らない。ＡＲオブジェクトの情報は、撮影部１０によって撮影された所定のページの画像内において設定入力されるが、その設定入力方法については、後で詳述する。

【0020】

記憶部１３は、ページ特定情報毎のＡＲオブジェクトの情報を記憶する。具体的には、本実施形態の記憶部１３は、上述したページ特定情報、ページ特定情報によって特定されるページ内で設定入力されたＡＲオブジェクトの情報、およびページ特定情報とＡＲオブジェクトの情報との距離（位置関係）の情報を紐付けして記憶する。ページ特定情報とＡＲオブジェクトの情報との距離とは、画像の座標系の直交する２方向（Ｘ方向およびＹ方向）の距離である。

【0021】

表示部１４は、撮影部１０によって撮影された所定のページの画像を表示するとともに、そのページのページ特定情報に紐づけられたＡＲオブジェクトを画像上に重ねてＡＲ表示する。本実施形態の表示部１４は、タッチパネルから構成され、撮影部１０によって撮影された画像やＡＲオブジェクトを表示させるとともに、種々の設定入力を受け付ける。

【0022】

制御部１５は、仮想表示装置１全体を制御する。特に、本実施形態の制御部１５は、撮影部１０によって撮影された書籍の所定のページの画像を表示部１４に表示させるとともに、その画像上に、記憶部１３に記憶されたＡＲオブジェクトを重ねてＡＲ表示させる。

【0023】

また、制御部１５は、ユーザによって設定入力されたページ特定情報およびＡＲオブジェクトの情報を受け付け、これらを紐付けして記憶部１３に記憶する。

【0024】

また、制御部１５は、撮影部１０によって撮影された書籍の所定のページの画像に対して、台形補正を含む種々の画像処理を施す。

【0025】

本実施形態の仮想表示装置１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random access memory）などの半導体メモリ、並びに通信Ｉ／Ｆを備えている。仮想表示装置１の半導体メモリには、本発明の表示制御プログラムの一実施形態がインストールされており、この表示制御プログラムが、制御部１５が有するＣＰＵによって実行されることにより、仮想表示装置１の各部が機能する。

【0026】

なお、本実施形態においては、仮想表示装置１の各部の機能を表示制御プログラムにより実現するようにしたが、これに限らず、一部または全部の機能もしくは制御をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）、その他の電気回路などのハードウェアによって実現するようにしてもよい。

【0027】

次に、書籍のページ毎に表示されるＡＲオブジェクトの設定方法について、図２に示すフローチャートを参照しながら説明する。

【0028】

所定の書籍について、新たにＡＲオブジェクトの情報を設定する際には、まず、その書籍の表紙の画像が撮影され、その表紙の画像とともに、書籍の名前が設定入力され、表紙の画像と書籍の名前が紐付けされて記憶部１３に記憶される（Ｓ１０）。この表紙の撮影および書籍の名前の入力については、仮想表示装置１をＡＲグラスから取り外した状態で行う。

【0029】

次に、ユーザは、書籍の所定のページを開き、その所定のページを仮想表示装置１によって撮影する（Ｓ１２）。そして、仮想表示装置１によって撮影された書籍の所定のページの画像は、制御部１５によって表示部１４に表示され、ユーザが、所定のページの画像の４隅を指定する（Ｓ１４）。４隅の指定は、たとえばユーザがタッチパネルである表示部１４にタップすることによって行われる。

【0030】

そして、仮想表示装置１の制御部１５は、ユーザによって指定された４隅の点の位置情報を取得し、図３に示すように、その４つの点を結ぶ矩形領域が台形であり、台形補正が必要であると判定した場合には（Ｓ１６，ＹＥＳ）、その矩形領域の画像に対して台形補正を施し、略長方形の画像とする（Ｓ１８）。

【0031】

一方、制御部１５は、ユーザによって指定された４隅の点を結ぶ矩形領域が略長方形であり、台形補正が必要ないと判定した場合には（Ｓ１６，ＮＯ）、台形補正を施さず、略長方形の画像のままとする。

【0032】

なお、本実施形態においては、所定のページの画像の４隅をユーザが指定するようにしたが、これに限らず、制御部１５が、書籍の所定のページの領域を画像認識することによって自動的に検出するようにしてもよい。

【0033】

次に、表示部１４に表示された所定のページの画像上において、ページ特定情報の領域が指定される（Ｓ２０）。なお、本実施形態のページ特定情報は、書籍の所定のページを特定するための情報であるとともに、ＡＲオブジェクトの表示の基準となるＡＲマーカーとしても用いられる。

【0034】

具体的には、制御部１５は、所定のページの画像と、その画像の領域を指定する上述した４隅の点を結ぶ矩形領域とを表示部１４に表示させ、さらにその４隅の点を結ぶ矩形領域内に、ページ特定情報の領域を指定するための四角形を表示させる。図４は、所定のページの画像、その所定のページの画像の領域を特定する矩形領域（破線で示す四角形）、およびページ特定情報の領域を指定するための四角形（一点鎖線で示す四角形）を表示した例を示す図である。ページ特定情報の領域を指定するための四角形の初期位置は、図４に示すように、ページの画像の領域を特定する矩形領域の真ん中辺りとしてもよいし、直近の前回指定された位置としてもよい。

【0035】

そして、ユーザは、ページ特定情報の領域を指定するための四角形を、図５に示すようにドラッグして移動させることによって、ページ特定情報の領域を指定する。ユーザは、たとえば上記四角形をページ番号の位置まで移動させ、そのページ番号の近傍を囲むように、ピンチインまたはピンチアウトによって上記四角形の大きさを調整する。そして、ユーザによって図４に示す「完了」ボタンがタップされた場合には、上記四角形内の画像がページ特定情報としてページ特定情報取得部１１によって取得され、記憶部１３に記憶される（Ｓ２２）。

【0036】

なお、仮想表示装置１には、ジャイロセンサや加速度センサなど（図示省略）が設けられており、たとえば仮想表示装置１が書籍に対して移動し、ページの画像を特定する矩形領域の書籍に対する位置がずれた場合には、制御部１５は、ジャイロセンサや加速度センサなどの検出信号に基づいて、ページの画像を特定する矩形領域を移動させる。すなわち、制御部１５は、仮想表示装置１の移動に応じて、ページの画像を特定する矩形領域を移動させることによって、書籍と上記矩形領域との位置関係が維持されるようにする。

【0037】

続いて、ＡＲグラスに仮想表示装置１を設置して頭部に装着した後、ＡＲオブジェクトの情報の指定が行われる（Ｓ２４）。具体的には、表示部１４に所定のページの画像が表示された状態において、ユーザは、ＡＲオブジェクトの種類を選択する。本実施形態では、ＡＲオブジェクトとして、所定の文章に付される蛍光マーカーやアンダーラインをＡＲ表示する。ユーザは、その蛍光マーカーの太さおよび色やアンダーラインの色などをＡＲオブジェクトの種類として指定する。ＡＲオブジェクトの種類の指定は、たとえば図６に示すような表示部１４に表示されたメニューバーＭを用いて行われる。ユーザは、仮想表示装置１とＡＲグラスとの隙間から指を挿入し、表示部１４に表示されたメニューバーＭをタップすることによって、ＡＲオブジェクトの種類を選択する。

【0038】

そして、ＡＲオブジェクトの種類が選択された後、所定のページにおいて、物理的なペン型デバイス２（本発明の指示部材に相当する）を用いて、ＡＲオブジェクト（蛍光マーカー、アンダーライン）の位置が指定される。物理的なペン型デバイス２は、たとえばそのペン先に書籍の所定のページに接触したことを検出する接触センサなどを有し、その接触センサによる検出信号を無線通信によって仮想表示装置１に送信する。

【0039】

仮想表示装置１は、ペン型デバイス２から送信された検出信号を受信した場合には、その接触点を蛍光マーカーやアンダーラインの開始点と認識し、接触状態から非接触状態になった点をマーカーやアンダーラインの終了点として認識する。

【0040】

ＡＲオブジェクト情報取得部１２は、ユーザによるメニューバーＭによる選択によってＡＲオブジェクトの種類の情報を取得し、ペン型デバイス２の接触および非接触の検出信号を受け付けることによってＡＲオブジェクトの位置の情報を取得する。

【0041】

そして、制御部１５は、ＡＲオブジェクトの種類、および上述したページ特定情報の領域とＡＲオブジェクトの位置との距離（位置関係）を紐付けして記憶部１３に記憶する（Ｓ２６）。

【0042】

制御部１５は、Ｓ１２～Ｓ２６の処理を書籍のページ毎に行い、書籍のページ毎に、ページＡＲオブジェクトの種類、およびページ特定情報の領域とＡＲオブジェクトの位置との距離（位置関係）を紐付けし、書籍の画像および名前に対応付けて記憶部１３に記憶する。

【0043】

次に、ユーザが、書籍を読む際に、書籍の各ページにＡＲオブジェクトをＡＲ表示させる処理について、図７に示すフローチャートを参照しながら説明する。

【0044】

まず、ユーザは、仮想表示装置１にインストールされたアプリケーションを起動し、図８に示すような表紙リストを表示させる（Ｓ３０）。表紙リストは、書籍毎に撮影された表紙の画像とその書籍の名前（図２のＳ１０で記憶されたもの）をリスト表示したものである。

【0045】

そして、ユーザは、表紙リストの中から今回読む書籍の表紙の画像を選択した後（Ｓ３２）、仮想表示装置１を設置したＡＲグラスを頭部に装着する。

【0046】

次に、ユーザは、今回読む書籍の所定のページを開き、その所定のページを仮想表示装置１によって撮影する（Ｓ３４）。そして、仮想表示装置１によって撮影された書籍の所定のページの画像は、制御部１５によって表示部１４に表示され、ユーザが、所定のページの画像の４隅を指定する（Ｓ３６）。４隅の指定は、たとえばユーザがタッチパネルである表示部１４にタップすることによって行われる。

【0047】

そして、仮想表示装置１の制御部１５は、ユーザによって指定された４隅の点の位置情報を取得し、その４つの点を結ぶ矩形領域が台形であり、台形補正が必要であると判定した場合には（Ｓ３８，ＹＥＳ）、その矩形領域の画像に対して台形補正を施し、略長方形の画像とする（Ｓ４０）。

【0048】

一方、制御部１５は、ユーザによって指定された４隅の点を結ぶ矩形領域が略長方形であり、台形補正が必要ないと判定した場合には（Ｓ３８，ＮＯ）、台形補正を施さず、略長方形の画像のままとする。

【0049】

なお、本実施形態においては、所定のページの画像の４隅をユーザが指定するようにしたが、これに限らず、制御部１５が、書籍の所定のページの領域を画像認識することによって自動的に検出するようにしてもよい。

【0050】

続いて、制御部１５は、ユーザによって指定された矩形領域内の画像（書籍の所定のページの画像）に基づいて、ページ特定情報を抽出する（Ｓ４２）。具体的には、制御部１５は、今回読む書籍に対応づけて記憶部１３に記憶されたページ毎のページ特定情報を参照しながら、現在撮影されているページの画像内を検索し、一致するページ特定情報を抽出する。

【0051】

そして、制御部１５は、抽出されたページ特定情報に紐づけて記憶部１３に記憶されたＡＲオブジェクトの情報を読み出して取得し（Ｓ４４）、そのＡＲオブジェクトの情報に基づいて、表示部１４に表示された所定のページの画像上にＡＲオブジェクトを重ねてＡＲ表示させる（Ｓ４６）。

【0052】

そして、制御部１５は、書籍のページがユーザによってめくられ、ページの画像が変更された場合には（Ｓ４８，ＹＥＳ）、その変更後のページの画像内を検索し、ページ特定情報を抽出する（Ｓ４２）。制御部１５は、ページの画像内から検索されるページ特定情報が変更したことを認識することによって、書籍のページがめくられたことを認識する。

【0053】

そして、制御部１５は、書籍のページがめくられた場合には、変更後のページ特定情報に紐づけて記憶部１３に記憶されたＡＲオブジェクトの情報を読み出して取得し（Ｓ４４）、そのＡＲオブジェクトの情報に基づいて、表示部１４に表示された変更後のページの画像上にＡＲオブジェクトを重ねてＡＲ表示させる（Ｓ４６）。すなわち、制御部１５は、ページの変更に応じてＡＲオブジェクトを切り替えてＡＲ表示させる。

【0054】

一方、ユーザが、書籍のページを変更せず（Ｓ４８，ＮＯ）、読む書籍を変更したいと考えた場合には、所定の操作を行うことによってＳ３０に戻り（Ｓ５０，ＹＥＳ）、表紙リストを表示部１４に表示させる。書籍のページを変更せず（Ｓ４８，ＮＯ）、書籍の変更も行われない場合には（Ｓ５０，ＮＯ）、制御部１５は、Ｓ４８に戻る。

【0055】

上記実施形態の仮想表示装置１によれば、書籍のページを特定するページ特定情報毎のＡＲオブジェクトの情報を予め記憶し、その記憶されたページ特定情報毎のＡＲオブジェクトの情報に基づいて、所定のページの画像内にＡＲオブジェクトを表示させるようにしたので、紙の書籍に対して印を直接つけることなく、書籍のページ毎の印付けとしてＡＲオブジェクトを記憶し、後でそのＡＲオブジェクトを表示させて確認することができる。

【0056】

また、上記実施形態の仮想表示装置１によれば、ページ特定情報を、ＡＲオブジェクトの表示の基準となるＡＲマーカーとして利用するようにしたので、ユーザがＡＲマーカーの位置を任意に設定することができる。

【0057】

また、上記実施形態の仮想表示装置１によれば、ページ特定情報が、書籍のページ番号の画像を含むようにしたので、ページ毎のＡＲオブジェクトを特定して表示させる際、より簡易な画像認識処理でページ特定情報を抽出することができる。

【0058】

また、上記実施形態の仮想表示装置１によれば、ページ特定情報の変更を認識し、その変更に応じてＡＲオブジェクトの表示を切り替えるようにしたので、ユーザが意識することなく、書籍のページめくりに応じてＡＲオブジェクトの表示を切り替えることができる。

【0059】

また、上記実施形態の仮想表示装置１によれば、書籍の所定のページの４隅の位置情報を取得し、その４隅の位置によって特定される矩形領域内の画像に基づいて、ページ特定情報を認識し、その認識したページ特定情報に対応するＡＲオブジェクトの情報を記憶部１３から読み出して表示部１４にＡＲ表示させるようにしたので、ページ特定情報を認識する際の処理負担を軽減し、処理速度を上げることができる。

【0060】

なお、上記実施形態の仮想表示装置１においては、ペン型デバイス２を用いて蛍光マーカーやアンダーラインなどのＡＲオブジェクトの情報を取得するようにしたが、これに限らず、たとえばＡＲオブジェクト情報取得部１２が、撮影部１０によって撮影されたユーザの手の動きを認識することによって、ＡＲオブジェクトの位置の情報を取得するようにしてもよい。具体的には、ＡＲオブジェクト情報取得部１２は、ユーザの指を画像認識し、所定のページの画像上において指の画像が所定の位置で予め設定された時間以上静止している場合には、その位置を蛍光マーカーやアンダーラインの開始点とする。そして、ＡＲオブジェクト情報取得部１２は、上述したように開始点を認識した後、指の画像が移動し、再び所定の位置で予め設定された時間以上静止している場合には、その位置を蛍光マーカーやアンダーラインの終了点とする。

【0061】

上述したようにユーザの手またはペン型デバイス２の動きを認識することによって、ＡＲオブジェクトの情報を取得するようにした場合には、より簡易かつ直感的な操作でＡＲオブジェクトの情報を取得することができる。

【0062】

また、ＡＲオブジェクトとしてマークを表示させる場合には、たとえばマークを選択するメニューバーを表示部１４に表示させ、そのメニューバーからマークの種類を選択し、ペン型デバイス２またはユーザの指により、ページの画像上でマークの表示位置を指定することによって、ＡＲオブジェクトの位置の情報を取得するようにしてもよい。

【0063】

また、ＡＲオブジェクトとしてテキストを表示させる場合には、たとえばペン型デバイス２またはユーザの指の先端の動きを認識することによって文字認識してＡＲオブジェクトとして表示させるテキストの情報を取得し、ペン型デバイス２またはユーザの指によりページの画像上でテキストの表示位置を指定することによって、ＡＲオブジェクトの位置の情報を取得するようにしてもよい。

【0064】

また、上記実施形態においては、仮想表示装置１をＡＲグラスに設置するようにしたが、これに限らず、仮想表示装置１とＡＲグラスが一体化されたＡＲゴーグルの構成としてもよい。

【0065】

なお、本発明は、上記実施形態に限定されるものではなく、実施段階でその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。たとえば実施形態に示される全構成要素を適宜組み合わせても良い。このような、発明の趣旨を逸脱しない範囲内において種々の変形や応用が可能であることはもちろんである。

【0066】

本発明に関し、さらに以下の付記を開示する。

【0067】

（付記１）
本発明の表示制御装置は、書籍の所定のページの画像を撮影する撮影部と、撮影部によって撮影された画像を表示部に表示させる制御部と、所定のページの画像内に含まれるページを特定するページ特定情報を取得するページ特定情報取得部と、所定のページの画像内においてＡＲ表示するＡＲオブジェクトの情報を取得するＡＲオブジェクト情報取得部と、ページ特定情報毎のＡＲオブジェクトの情報を記憶する記憶部とを備え、制御部が、記憶部に記憶されたページ特定情報毎のＡＲオブジェクトの情報に基づいて、所定のページの画像内にＡＲオブジェクトを表示させる。

【0068】

（付記２）
付記１記載の発明の表示制御装置において、ページ特定情報は、ＡＲオブジェクトの表示の基準となるＡＲマーカーとすることができる。

【0069】

（付記３）
付記１または付記２記載の発明の表示制御装置において、ページ特定情報は、書籍のページ番号の画像を含むことができる。

【0070】

（付記４）
付記１から付記３いずれかに記載の発明の表示制御装置において、制御部は、ページ特定情報の変更を認識し、その変更に応じてＡＲオブジェクトの表示を切り替えることができる。

【0071】

（付記５）
付記１から付記４いずれかに記載の発明の表示制御装置において、制御部は、書籍の所定のページの４隅の位置情報を取得し、その４隅の位置によって特定される矩形領域内の画像に基づいて、ページ特定情報を認識し、その認識したページ特定情報に対応するＡＲオブジェクトの情報を記憶部から読み出して表示部にＡＲ表示させることができる。

【0072】

（付記６）
付記１から付記５いずれかに記載の発明の表示制御装置において、ＡＲオブジェクト情報取得部は、ユーザの手または所定の指示部材の動きを認識することによって、ＡＲオブジェクトの情報を取得することができる。

【0073】

（付記７）
本発明の表示制御方法は、書籍の所定のページの画像を撮影し、その撮影した画像内に含まれるページを特定するページ特定情報を取得し、所定のページの画像内においてＡＲ表示するＡＲオブジェクトの情報を取得し、ページ特定情報毎のＡＲオブジェクトの情報を予め記憶し、その記憶されたページ特定情報毎のＡＲオブジェクトの情報に基づいて、所定のページの画像内にＡＲオブジェクトを表示させる。

【0074】

（付記８）
本発明の表示制御プログラムは、書籍の所定のページの画像を撮影するステップと、その撮影した画像内に含まれるページを特定するページ特定情報を取得するステップと、所定のページの画像内においてＡＲ表示するＡＲオブジェクトの情報を取得するステップと、ページ特定情報毎のＡＲオブジェクトの情報を予め記憶するステップと、その記憶されたページ特定情報毎のＡＲオブジェクトの情報に基づいて、所定のページの画像内にＡＲオブジェクトを表示させるステップとをコンピュータに実行させる。

【符号の説明】

【0075】

１ 仮想表示装置
２ ペン型デバイス
１０ 撮影部
１１ ページ特定情報取得部
１２ ＡＲオブジェクト情報取得部
１３ 記憶部
１４ 表示部
１５ 制御部
Ｍ メニューバー

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】