特許 6233314 情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6233314

(24)【登録日】2017年11月2日

(45)【発行日】2017年11月22日

(54)【発明の名称】情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体

(51)【国際特許分類】

   G06F 3/0488 20130101AFI20171113BHJP

   G06F 3/041 20060101ALI20171113BHJP

【ＦＩ】

   G06F3/0488 130

   G06F3/041 595

【請求項の数】10

【全頁数】20

(21)【出願番号】特願2014-545628(P2014-545628)

(86)(22)【出願日】2013年10月16日

(86)【国際出願番号】JP2013078102

(87)【国際公開番号】WO2014073346

(87)【国際公開日】20140515

【審査請求日】2016年9月26日

(31)【優先権主張番号】特願2012-247842(P2012-247842)

(32)【優先日】2012年11月9日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000002185

【氏名又は名称】ソニー株式会社

(74)【代理人】

【識別番号】100095957

【弁理士】

【氏名又は名称】亀谷 美明

(74)【代理人】

【識別番号】100096389

【弁理士】

【氏名又は名称】金本 哲男

(74)【代理人】

【識別番号】100101557

【弁理士】

【氏名又は名称】萩原 康司

(74)【代理人】

【識別番号】100128587

【弁理士】

【氏名又は名称】松本 一騎

(72)【発明者】

【氏名】笠原 俊一

(72)【発明者】

【氏名】繁田 脩

【審査官】 萩島 豪

(56)【参考文献】

【文献】 特開平１１−１４４０２４（ＪＰ，Ａ）

【文献】 特開２０１１−０２８６２９（ＪＰ，Ａ）

【文献】 特開２００１−１５４７８１（ＪＰ，Ａ）

【文献】 特開平１１−０４５１４９（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１０／２６２５９１（ＵＳ，Ａ１）

【文献】 特開２００７−２４９４１９（ＪＰ，Ａ）

【文献】 特開２０１２−１９０１１８（ＪＰ，Ａ）

【文献】 特開平７−５９７８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４１

Ｇ０６Ｆ ３／０４８−３／０４８９

(57)【特許請求の範囲】

【請求項1】

実体と仮想オブジェクトとを操作可能な拡張作業空間内において入力された入力情報に基づいて、前記入力情報に対応する付加情報を決定する解析部と、
前記入力情報に基づく第１の仮想オブジェクトを前記拡張作業空間に表示するとともに、前記入力情報に基づく前記第１の仮想オブジェクトへの新たな操作入力を受けて、前記付加情報を用いて当該拡張作業空間に対して表示される第２の仮想オブジェクトの表示制御を行う表示制御部と、
を備える、情報処理装置。

【請求項2】

前記解析部は、前記拡張作業空間内においてユーザが手書き入力した筆跡を認識し、当該入力情報に対応する前記付加情報を決定する、請求項１に記載の情報処理装置。

【請求項3】

前記解析部は、ユーザが手書き入力した前記筆跡を、手書き入力を行う筆記用機器から発信される信号処理を行う入力検出デバイスから受信する、請求項２に記載の情報処理装置。

【請求項4】

前記筆記用機器は、仮想的な筆記入力が可能であり、
前記解析部は、前記仮想的な筆記入力の筆跡を認識し、当該筆跡を前記入力情報とする、請求項３に記載の情報処理装置。

【請求項5】

前記解析部は、前記拡張作業空間内に存在する実体に含まれる情報を入力情報として認識し、当該入力情報に対応する前記付加情報を決定する、請求項１〜４のいずれか１項に記載の情報処理装置。

【請求項6】

前記付加情報は、前記第２の仮想オブジェクトを表示するか否かを判定するための情報である、請求項１〜５のいずれか１項に記載の情報処理装置。

【請求項7】

前記第２の仮想オブジェクトは、前記解析部により認識された前記入力情報に関連する情報である、請求項１〜６のいずれか１項に記載の情報処理装置。

【請求項8】

前記拡張作業空間内において実体に対して表示されている前記第１の仮想オブジェクトの位置情報を、当該第１の仮想オブジェクトに関連する前記拡張作業空間内の実体に固有の物体座標系に変換する座標処理部をさらに備え、
前記拡張作業空間において前記実体を移動する操作入力があったとき、前記表示制御部は、当該実体の移動に応じて前記第１の仮想オブジェクトの表示位置を移動させる、請求項１に記載の情報処理装置。

【請求項9】

実体と仮想オブジェクトとを操作可能な拡張作業空間内において入力された入力情報に基づいて、前記入力情報に対応する付加情報を決定すること、
前記入力情報に基づく第１の仮想オブジェクトを前記拡張作業空間に表示すること、
前記入力情報に基づく前記第１の仮想オブジェクトへの新たな操作入力を受けて、前記付加情報を用いて当該拡張作業空間に対して表示される第２の仮想オブジェクトの表示制御を行うこと、
を含む、情報処理方法。

【請求項10】

コンピュータに、
実体と仮想オブジェクトとを操作可能な拡張作業空間内において入力された入力情報に基づいて、前記入力情報に対応する付加情報を決定する解析部と、
前記入力情報に基づく第１の仮想オブジェクトを前記拡張作業空間に表示するとともに、前記入力情報に基づく前記第１の仮想オブジェクトへの新たな操作入力を受けて、前記付加情報を用いて当該拡張作業空間に対して表示される第２の仮想オブジェクトの表示制御を行う表示制御部と、
を備える、情報処理装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体に関する。

【背景技術】

【0002】

紙の上にペンで文字を書く、キッチンの上で食材を切る、カードゲームで遊ぶといった、実際に触ることのできる実体を伴った行為と、パソコンやスマートフォンのようにデジタル情報を用いて行う行為とは、同一空間で行うことができない。しかし、将来的には実世界の上に例えばプロジェクタ等を用いてデジタル情報を重畳することで、実世界とデジタル情報の世界とを融合した空間での作業ができるようになると考えられる。例えば、紙の上に数式を記述することでグラフを自動生成する、料理に合わせて食材を適切に切られるようカットラインをプロジェクションすることが考えられる。このような処理を実現するためのＡＲアプリケーションとして、例えば特許文献１等に開示された技術がある。

【0003】

実世界の上にデジタル情報を提示する先行技術としては、例えば、プロジェクタや、シースル型のＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）、スマートフォン等のカメラ内蔵型ディスプレイなどを用いた技術がある。このような実世界とデジタル情報とが融合された作業空間を、以下、拡張作業空間と称する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１０−２３８０９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

実世界での入力情報をデジタル情報としてダイレクトに取得できる入力システムのひとつに、手書きの筆跡を認識してデジタル情報とする手書き筆跡入力システムがある。この入力システムは、赤外線信号もしくは超音波信号を発信する電子ペンから発信される各信号を受信部で受信し、各信号の受信結果より電子ペンの位置座標を算出することで、電子ペンの筆跡をデジタル情報で表すものである。このような入力システムを用いることで、実世界とデジタル情報とが融合された拡張作業空間内で実施可能な作業のバリエーションをさらに増やすことができると考えられる。

【0006】

そこで、本開示では、拡張作業空間で行われる手書き入力内容に応じてインタラクティブに作業を実施することの可能な、新規かつ改良された情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体を提案する。

【課題を解決するための手段】

【0007】

本開示によれば、実体と仮想オブジェクトとを操作可能な拡張作業空間内において入力された入力情報に基づいて、入力情報に対応する付加情報を決定する解析部と、入力情報への新たな操作入力を受けて、付加情報を用いて当該拡張作業空間に対して表示される仮想オブジェクトの表示制御を行う表示制御部と、を備える、情報処理装置が提供される。

【0008】

本開示によれば、拡張作業空間において認識された入力情報に対応する付加情報を拡張作業空間に反映するとともに、反映された付加情報に対する操作入力に応じて仮想オブジェクトの表示を制御する。このような情報の表示制御によるフィードバックにより、インタラクティブな操作を実現し、ユーザに対して直観的にわかりやい、興味を引くような情報を提供することができる。

【0009】

また、本開示によれば、実体と仮想オブジェクトとを操作可能な拡張作業空間内において入力された入力情報に基づいて、入力情報に対応する付加情報を決定すること、入力情報への新たな操作入力を受けて、付加情報を用いて当該拡張作業空間に対して表示される仮想オブジェクトの表示制御を行うこと、を含む、情報処理方法が提供される。

【0010】

さらに、本開示によれば、コンピュータに上記情報処理装置として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体が提供される。

【発明の効果】

【0011】

以上説明したように本開示によれば、拡張作業空間で行われる手書き入力内容に応じてインタラクティブに作業を実施することの可能な情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体を提供することができる。

【図面の簡単な説明】

【0012】

【図1】本開示の実施形態に係る拡張作業空間システムの一構成例を示す説明図である。

【図2】同実施形態に係る情報認識表示装置およびペン入力検出デバイスの機能構成を示すブロック図である。

【図3】同実施形態に係る情報フィードバック処理を示すフローチャートである。

【図4】同実施形態に係る情報フィードバック処理を適用した情報表示例を示す説明図である。

【図5】同実施形態に係る情報フィードバック処理を適用した学習アシスト機能を示す説明図である。

【図6】デジタル情報により表示された電卓における情報フィードバック処理の一例を示す説明図である。

【図7】拡張作業空間システムにおけるキャリブレーション方法を示す説明図である。

【図8】同実施形態に係る情報認識表示装置によるデジタル情報のトラッキング表示処理を示すフローチャートである。

【図9】同実施形態に係る情報認識表示装置によるデジタル情報のトラッキング表示の一例を示す説明図である。

【図10】デジタル情報の消去方法の一例を示す説明図である。

【図11】リモート機能を用いた作業アシスタントの一例として、実際にテキストブックを用いて勉強している生徒の学習アシスタントを行う例を示す説明図である。

【図12】物体の物理的操作によるデジタル情報の消去方法の一例を示す説明図である。

【図13】物体の物理的操作による物体へのデジタル情報表示の一例を示す説明図である。

【図14】物体の物理的操作による物体の動きに応じたデジタル情報の移動の一例を示す説明図である。

【図15】情報処理部の一ハードウェア構成を示すブロック図である。

【発明を実施するための形態】

【0013】

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0014】

なお、説明は以下の順序で行うものとする。
１．本開示の実施形態
１．１．拡張作業空間システムの構成例
１．２．情報認識表示装置の機能構成
１．３．入力情報に対応した情報フィードバック処理
１．４．キャリブレーションへの適用
１．５．デジタル情報のトラッキング表示
１．６．リモート機能
１．７．デジタル情報の物理的操作
２．ハードウェア構成例

【0015】

＜１．本開示の実施形態＞
［１．１．拡張作業空間システムの構成例］
まず、図１を参照して、本開示の実施形態に係る拡張作業空間システムの構成例について説明する。なお、図１は、本実施形態に係る拡張作業空間システムの一構成例を示す説明図である。

【0016】

本実施形態に係る拡張作業空間システムは、実世界に存在する実物を認識可能であるとともに、デジタル情報を実世界に重畳し、実世界とデジタル情報とが融合する拡張作業空間を構築するシステムである。拡張作業空間システムは、例えば、デジタル情報を拡張作業空間に投影するプロジェクタや、拡張作業空間を撮影するカメラ、拡張作業空間で行われたタッチやピンチイン、ピンチアウト等のジェスチャ認識を行うセンシングデバイス、無線通信装置から構成される。

【0017】

例えば図１に示すように、卓上を作業面２とし、プロジェクタ、カメラ、無線通信装置、センシングデバイスを備えた情報認識表示装置１００を卓上に設置して作業面２にデジタル情報を投影することで、拡張作業空間を構築することができる。情報認識表示装置１００は、作業面２を含む空間をカメラで撮影し、作業面２で行われるユーザのジェスチャをセンシングデバイスにより認識する。また、プロジェクタによりデジタル情報を作業面２に投影し、実世界に存在する物体にデジタル情報を重畳する。

【0018】

拡張作業空間システムにおいて、図１の例では、卓上にプロジェクタを備える情報認識表示装置１００を設置して作業面２にデジタル情報を投影しているが、プロジェクタは卓上に設置されるデスクライトスタンドや天井照明、あるいは壁等に設置してもよい。また、プロジェクタによりデジタル情報を投影する代わりに、例えば、カメラが内蔵されたＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）やシースル型のＨＭＤ等のようにメガネ型のデバイスを用いてもよい。このとき、拡張作業空間に重畳されるデジタル情報は、ユーザが装着するメガネ型のディスプレイ上に重畳される。また、プロジェクタの代替としてカメラおよびディスプレイが内蔵されたスマートフォン等のデバイスを用いて、ディスプレイに表示された、カメラにより撮影されているスルー画像の上に、デジタル情報を重畳して表示してもよい。

【0019】

また、センシングデバイスには、例えば作業面２に対して並行に照射された赤外線を検出するＩＲカメラや、ステレオカメラ、奥行き情報を取得可能な特殊センサ等で用いてもよい。また、センシングデバイスには、指等の作業面２への接触を検出するタッチセンサや、図１に示すように、超音波と赤外線とを用いてデジタルペン２００による筆跡の座標を取得可能なペン入力検出デバイス２１０を用いてもよい。なお、筆跡の座標は、デジタルペン２００を用いなくとも、通常のペンの筆跡をカメラ等の別のセンサで検出してもよい。

【0020】

無線通信装置には、例えばＢｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ‐ｆｉ（登録商標）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）等の外部デバイスと通信可能な装置が用いられる。

【0021】

なお、本実施形態に係る拡張作業空間システムにおいては、プロジェクタの投影領域と、デジタルペン２００の動きをトラッキングする領域とが同一空間に存在し、これらの関係が既知であるとする。これらの関係は、キャリブレーションにより取得することができる。

【0022】

［１．２．情報認識表示装置の機能構成］
次に、図２に基づいて、情報認識表示装置１００およびペン入力検出デバイス２１０の機能構成について説明する。なお、図２は、本実施形態に係る情報認識表示装置１００およびペン入力検出デバイス２１０の機能構成を示すブロック図である。まず、本実施形態に係る情報認識表示装置１００は、投影部１１０と、検出部１２０と、撮像部１３０と、情報処理部１４０と、通信部１５０とから構成される。

【0023】

投影部１１０は、デジタル情報を拡張作業空間に投影する機能部であり、図１で説明したプロジェクタ等により実現される。投影部１１０は、後述する情報処理部１４０からの表示指示を受けて、投影部１１０が設置されている拡張作業空間にデジタル情報を表示する。

【0024】

検出部１２０は、拡張作業空間における動き情報を検出する。検出部１２０は、例えば図１で説明したセンシングデバイス等により実現される。検出部１２０は、検出結果を後述する情報処理部１４０へ出力する。

【0025】

撮像部１３０は、拡張作業空間を撮影する機能部であり、図１で説明したカメラ等により実現される。撮像部１３０は、撮像画像を後述する情報処理部１４０へ出力する。

【0026】

情報処理部１４０は、拡張作業空間における物体の位置や動きを解析し、解析結果に対応して当該拡張作業空間におけるデジタル情報の表示処理を行う。情報処理部１４０は、図２に示すように、解析部１４２と、座標処理部１４４と、表示制御部１４６と、設定記憶部１４８とを備える。

【0027】

解析部１４２は、検出部１２０の検出結果および撮像部１３０による撮像画像のうち少なくともいずれか一方の情報に基づいて、拡張作業空間における物体の位置や動きを解析する。例えば、解析部１４２は、検出部１２０による検出結果よりユーザの手の動きの変化を算出する。そして、解析部１４２は、設定記憶部１４８を参照し、特定したユーザの手の動きの変化から、拡張作業空間においてユーザが行ったタッチやピンチイン、ピンチアウト等のジェスチャを特定する。解析部１４２による解析結果はユーザが拡張作業空間で行った操作入力情報であり、当該解析結果に基づいて仮想作業空間へデジタル情報が表示される。

【0028】

また、解析部１４２には、通信部１５０を介して、後述するデジタルペン２００の入力を検出するペン入力検出デバイス２１０からの入力情報が入力される。ユーザがデジタルペン２００を用いて文字列や図形等を描くと、ペン入力検出デバイス２１０によって描いた内容が認識され、認識された内容が入力情報として情報認識表示装置１００へ出力される。解析部１４２は、デジタルペン２００による入力情報より、拡張作業空間内に投影されているデジタル情報および同空間内にある実物との位置関係を解析し、デジタルペン２００による入力情報をこれらに対応付ける。解析部１４２は、解析結果を座標処理部１４４および表示制御部１４６へ出力する。なお、入力情報は、予め実体に記載されている情報を物体認識して取得してもよい。

【0029】

座標処理部１４４は、拡張作業空間内にあるデジタル情報や実物、デジタルペン２００による入力情報について、空間内での位置を同一座標系に変換する。座標処理部１４４により同一座標系で各情報の表示位置を把握することで、異なる情報の表示位置を同時に同一方向に移動させる等の表示処理を容易にすることができる。座標処理部１４４は、座標処理結果を表示制御部１４６へ出力する。

【0030】

表示制御部１４６は、解析部１４２の解析結果に基づいて、拡張作業空間のデジタル情報の表示処理を行う。表示制御部１４６は、例えばデジタルペン２００からの入力情報に対してユーザが動作を行ったとき、動作に応じたフィードバックを行う。表示制御部１４６のフィードバック内容は、投影部１１０を介して拡張作業空間に表示される。

【0031】

設定記憶部１４８は、情報処理部１４０にて行われる解析や各種情報の座標系を統一するために必要な情報を記憶する。設定記憶部１４８に記憶された情報を参照して、例えば解析部１４２はユーザが拡張作業空間で行った操作入力情報を特定し、座標処理部１４４は拡張作業空間における各情報の座標変換処理を行う。

【0032】

通信部１５０は、ペン入力検出デバイス２１０と情報の送受信をする。これにより、デジタルペン２００による手書き入力情報も拡張作業空間内の情報の１つとして認識することができる。また、通信部１５０は、他の拡張作業空間の情報認識表示装置１００とも情報の送受信をする。通信部１５０により、他の拡張作業空間の情報認識表示装置１００との情報のやり取りが可能となることで、互いの拡張作業空間の状況をそれぞれの空間に反映させることができる。

【0033】

次に、本実施形態に係る拡張作業空間で使用されるデジタルペン２００およびペン入力検出デバイス２１０の構成について説明する。

【0034】

デジタルペン２００は、ユーザが文字等を書くために用いる筆記用機器であり、実際にインクを吐出するペン先を紙等に押し付けることで文字等を書くことができる。デジタルペン２００は、筆記中にペン先から赤外線信号および超音波信号を発信しており、ペン入力検出デバイス２１０により受信される。

【0035】

また、本実施形態に係るデジタルペン２００は、ペン先からインクを吐出するオン状態と、ペン先からインクを吐出しないオフ状態とを切り替え可能に構成してもよい。これにより、紙等に文字を記載するときにはデジタルペン２００をオン状態とし、タップやドラッグ等の操作を行うときにはデジタルペン２００をオフ状態として使用することで、デジタルペン２００により入力可能な情報を広げることができる。デジタルペン２００のオンオフの切り替え機構には、例えばペン先と反対側にスイッチ機構を設けたノック式や把持部分近辺にボタンを設けるボタン式等を用いることができる。

【0036】

ペン入力検出デバイス２１０は、デジタルペン２００から出力される信号を受信して、デジタルペン２００のペン先の動きを割り出す装置である。ペン入力検出デバイス２１０は、信号受信部２１２と、信号処理部２１４と、入力情報送信部２１６とからなる。信号受信部２１２は、デジタルペン２００から出力された赤外線信号および超音波信号を受信し、信号処理部２１４へ出力する。信号処理部２１４は、所定の時間間隔で、赤外線信号および超音波信号の受信時間差に基づきペン先の動きを算出する。信号処理部２１４は、この演算によりペン先の位置を都度特定する。特定された位置を点として連続的に表示することにより、滑らかな線を表すことができる。信号処理部２１４により特定されたペン先の位置情報は入力情報送信部２１６へ出力され、入力情報送信部２１６から情報認識表示装置１００の通信部１５０を介して解析部１４２へ送信される。

【0037】

［１．３．入力情報に対応した情報フィードバック処理］
本実施形態に係る拡張作業空間システムでは、拡張作業空間において認識された入力情報に対応する付加情報を拡張作業空間に反映するとともに、反映された付加情報に対する操作入力に応じて仮想オブジェクトの表示を制御する。このような情報の表示制御によるフィードバックにより、インタラクティブな操作を実現し、ユーザに対して直観的にわかりやい、興味を引くような情報を提供することができる。

【0038】

まず、図３および図４に基づいて、本実施形態に係る情報フィードバック処理について説明する。なお、図３は、本実施形態に係る情報フィードバック処理を示すフローチャートである。図４は、本実施形態に係る情報フィードバック処理を適用した情報表示例を示す説明図である。なお、以下では、入力情報を認識して設定されるデジタル情報を付加情報とし、入力情報に対する操作入力を受けて付加情報を用いて表示されるデジタル情報を仮想オブジェクトとする。

【0039】

本実施形態に係る情報フィードバック処理では、図３に示すように、まず、情報認識表示装置１００により、拡張作業空間における入力情報が認識される（Ｓ１００）。ステップＳ１００では、デジタルペン２００等により実際に紙に書かれた文字や図形等を入力情報として認識する。例えば、図４上に示すように、紙４にデジタルペン２００で絵３００が描かれるとする。このとき、デジタルペン２００から発信される各信号はペン入力検出デバイス２１０で受信され、筆跡が入力情報として情報認識表示装置１００へ出力される。

【0040】

入力情報を受けた情報認識表示装置１００は、認識した入力情報に対応する付加情報が解析部１４２によって拡張作業空間に反映される（Ｓ１１０）。すなわち、情報認識表示装置１００は、入力情報を認識すると、当該入力情報への操作入力に対するフィードバックを行うために、付加情報を拡張作業空間に与える。付加情報は、ユーザが視認可能な情報であってもよく、視認できない情報であってもよい。図４の例では、解析部１４２は、紙４に描かれた絵３００の輪郭で囲まれた領域を認識領域３１０として設定し、情報を付加する。情報認識表示装置１００は、認識領域３１０として設定したことをユーザに明示するために認識領域３１０内あるいは輪郭に色を付ける等してもよく、認識領域３１０を明示的に示さなくてもよい。

【0041】

その後、情報認識表示装置１００は、入力情報に対して操作入力が行われたか否かを定期的に判定し（Ｓ１２０）、操作入力があったと判定したとき、付加情報を用いて操作入力に応じた情報を表示制御によりフィードバックする（Ｓ１３０）。フィードバックされる情報は、入力情報の内容とその入力情報に対する付加情報とに基づき決定されており、設定記憶部１４８に予め記憶されている。図４には２つのフィードバック例を示している。例えば、ユーザが紙４に記載された絵３００の内部、すなわち認識領域３１０に指をタッチさせると、吹き出し３２０が表示するフィードバックをしてもよい（パターン１）。あるいは、同様にユーザが紙４に記載された絵３００の内部に指をタッチさせると、絵３００の色を変更するフィードバックをしてもよい（パターン２）。

【0042】

以上、本実施形態に係る情報フィードバック処理について説明した。ユーザが手書きで入力した情報に対して、新たな情報をフィードバックすることで、インタラクティブな操作を実現し、ユーザに対して直観的にわかりやい、興味を引くような情報を提供することができる。また、本技術は、情報認識表示装置１００が認識する入力情報と、付加情報が付加された後に当該入力情報に対して入力される操作入力とは内容的に独立した、直接的な関連性がないものであってもよい。例えば、図３のように、描かれた絵という入力情報と、吹き出しを表示させるために絵にタッチするという操作入力とは、連続した内容ではない。しかし、これにより、最初に入力された情報に対して新たな情報を提供することができ、拡張作業空間における情報の展開をより一層広げることが可能となる。

【0043】

このような情報フィードバック処理は、図４に示した例以外にも、例えば、図５に示すように教育用アプリケーションへ適用することもできる。図５の例では、紙４に実際にインクで書かれた内容（３０１ａ、３０１ｂ）に対して、補助的情報をデジタル情報（細線で示す情報、４０１ａ、４０１ｂ）により表示して、ユーザの作業をアシストしている。数学の例では、答案用紙に記載された数式に回答を表示したり、図形に補助線を示したりして、正解を伝えたり正解を導くための情報を提供している。また、スペルガイドの例では、紙４上に正しいスペルをデジタル情報４０２で表示し、ユーザにデジタル情報の上をペンでなぞらせる（符号３０２で示す線）というようにユーザをアシストしている。あるいは、ドローイングの例では、絵の下書きをデジタル情報４０３で表示してユーザにデジタル情報の上をペンでなぞらせたり（符号３０３で示す線）、描きかけの絵に対して完成に近づけるためのラインをデジタル情報で表示したりして、ユーザをアシストしている。

【0044】

また、本実施形態に係る情報フィードバック処理は、図６に示すような手書きの入力装置において、ユーザがタッチした領域に対してフィードバックする処理にも適用できる。図６には、紙４に手書きで記載された電卓３０４を示している。この電卓３０４は、拡張作業空間内において、情報認識表示装置１００により各キーが認識され、それぞれに対して付加情報として認識領域が設定される。その後ユーザが紙４上のキーにタッチすると、タッチした認識領域に対応するキーの色が変わるというフィードバックがある。このように、本実施形態に係る情報フィードバック処理により、ユーザに自身の操作入力をわかりやすく伝えることもできる。

【0045】

［１．４．キャリブレーションへの適用］
上述したように、本実施形態に係る拡張作業空間システムにおいては、プロジェクタの投影領域と、デジタルペン２００の動きをトラッキングする領域とが同一空間に存在し、これらの関係を、キャリブレーションにより予め取得しておく。キャリブレーションの方法としては、例えば、図７上に示すように、拡張作業空間に置かれた紙４の四隅に指定されている４つのポイントＰ１〜Ｐ４をデジタルペンで指定する方法がある。

【0046】

また、本実施形態に係る拡張作業空間システムでは、上述の情報フィードバック処理を応用して、図形トレースによるキャリブレーションを実施することもできる。かかるキャリブレーション方法では、例えば拡張作業空間に紙４が置かれたときに当該紙４上に任意の図形４０５をプロジェクタにより投影し表示させる。そして、表示された図形をデジタルペン２００や指等によってなぞらせることでキャリブレーションを実施する。

【0047】

デジタル情報の投影面に傾きがある場合、情報認識表示装置１００を設置する度に当該キャリブレーションを実行する必要がある。図形トレースによるキャリブレーションは、ユーザが簡単に行うことができるとともに、例えば拡張作業空間における入力のアンロック状態を解除するためのジェスチャ入力としても用いることもできる。この場合、ユーザは１つのジェスチャ入力を行うことでキャリブレーションと入力アンロック状態解除という２つの処理を実行させることができ、ユーザの入力負荷を軽減することもできる。

【0048】

［１．５．デジタル情報のトラッキング表示］
本実施形態に係る拡張作業空間システムでは、デジタルペン２００を用いた情報の入力が可能である。上述したように、本実施形態に係るデジタルペン２００は、オンオフの切り替え機構によりインクの吐出を制御することができる。ユーザは、インクを吐出させて紙４に実際に文字等を書くことも可能であり、インクを吐出させずにタッチ等の入力操作を行ったり実際のインクではなくデジタル情報として表示される文字等を書いたりすることも可能である。

【0049】

インクの吐出をオフ状態にした場合、情報認識表示装置１００は、デジタルペン２００の用途をユーザに確認する確認情報を拡張作業空間に表示させてもよい。確認情報は、例えば「手書き入力を行いますか？」という問いに対してＹＥＳ／ＮＯで用途を選択できるようなものであってもよい。ＹＥＳが選択されれば、情報認識表示装置１００は、デジタルペン２００の動きを解析した結果、手書き入力された情報を、デジタル情報として拡張作業空間に表示する。一方、ＮＯが選択されれば、情報認識表示装置１００は、デジタルペン２００の動きは操作入力としてのものであると認識し、操作入力に応じた処理を実行する。

【0050】

ここで、インクの吐出をオフにした状態でデジタルペン２００による手書き入力が行われている状態を考える。このとき、デジタルペン２００での手書き入力に対応して表示されるデジタル情報が拡張作業空間内の物体に投影されていると、当該物体とデジタル情報とは独立しているため、物体を移動してもデジタル情報は現在の表示位置に残り続けることになる。そうすると、ユーザが物体に文字をデジタル情報として書いたつもりであっても、物体の移動とともに文字が移動しないというユーザの意図しない状況が生じる可能性がある。

【0051】

そこで、本実施形態に係る情報認識表示装置１００は、拡張作業空間内の物体を認識し、デジタルペン２００による手書き入力が行われている物体をトラッキングする。情報認識表示装置１００は、当該物体に手書き入力されたデジタル情報を、トラッキングしている物体の移動に合わせて移動させる処理を行うことで、物体に書かれた情報として当該デジタル情報をユーザに認識させる。以下、図８および図９に基づいて、かかる処理を詳細に説明する。なお、図８は、本実施形態に係る情報認識表示装置１００によるデジタル情報のトラッキング表示処理を示すフローチャートである。図９は、本実施形態に係る情報認識表示装置１００によるデジタル情報のトラッキング表示の一例を示す説明図である。

【0052】

まず、図８に示すように、情報認識表示装置１００は、拡張作業空間内の物体を認識する（Ｓ２００）。ステップＳ２００では、拡張作業空間内にある、例えば紙やテキスト、本等の物体を認識する、物体認識は、画像認識等により行うことができる。このとき、拡張作業空間における物体の位置および姿勢は、投影部１１０であるプロジェクタの投影座標系で認識されている。

【0053】

一方、ペン入力検出デバイス２１０は、デジタルペン２００のペン先の位置情報より、デジタルペン２００で手書き入力されたデジタル情報の入力座標を、情報認識表示装置１００へ送信する（Ｓ２１０）。デジタルペン２００により入力されたデジタル情報の入力座標は、デジタルペン２００の動きを検出するペン入力検出デバイス２１０により定義されるデジタルペン入力座標系で表されている。

【0054】

ペン入力検出デバイス２１０からデジタルペン２００により入力されたデジタル情報の入力座標を受信した情報認識表示装置１００は、入力座標をデジタルペン入力座標系からプロジェクタ投影座標系に変換する（Ｓ２２０）。ステップＳ２２０では、デジタル情報の入力座標と物体の位置姿勢情報との座標系を合わせる処理を行っている。

【0055】

さらに情報認識表示装置１００は、プロジェクタ投影座標系に変換されたデジタル情報の入力座標を、ステップＳ２００で認識した物体の位置姿勢情報に基づき、当該物体中心の座標系に変換する（Ｓ２３０）。情報認識表示装置１００は、ステップＳ２２０の処理により物体とデジタル情報との位置関係を把握することができる。そして、ステップＳ２３０にてデジタル情報の入力位置を当該物体基準の座標系で表すことで、物体が拡張作業空間内で移動したとしても、この物体の座標系でデジタル情報を表示することで、当該デジタル情報が物体とともに移動したように表示されるようになる。

【0056】

例えば、図９上に示すように、情報認識表示装置１００により構築される拡張作業空間があり、その作業面２にデジタルペン２００の出力信号を受信するペン入力検出デバイス２１０と紙４とが置かれている。紙４には、デジタルペン２００によりデジタル情報として手書き入力された文字４０６が表示されている。すなわち、文字４０６は実際に紙４に記載されたものではなく、紙４とは独立している。このとき、情報認識表示装置１００は、プロジェクタ座標系における紙４の位置姿勢情報を取得するとともに、文字４０６の入力座標をデジタルペン入力座標系からプロジェクタ座標系に変換した後、さらに紙４を中心とする座標系に変換する。

【0057】

このような状態で、情報認識表示装置１００は紙４をトラッキングしている。そして、図９下に示すように紙４が回転されると、情報認識表示装置１００は紙４の回転を検出してプロジェクタ座標系における紙４の新たな位置姿勢情報を取得する。そして、情報認識表示装置１００は、紙４の位置姿勢の変化に伴って、変化量分だけ紙４の中心座標系に基づき文字４０６の表示位置を変更する。これにより、紙４の上に表示されている文字４０６も紙４と一体に移動して表示されるので、違和感のない表示をユーザに提供することができる。

【0058】

なお、例えばデジタルペン２００によりデジタル情報として手書き入力された文字等は、デジタルペン２００による入力と、情報認識表示装置１００により認識されるユーザの手や腕等の形状等を組み合わせることで、消去できるようにしてもよい。例えば、図１０に示すように、拡張作業空間の作業面２に、デジタルペン２００により手書き入力されたデジタル情報の図形４０７が投影部１１０により表示されているとする。ここで、ユーザが指を作業面２に接触させて図形４０７上で指を周期的に動かしていることが認識されると、情報認識表示装置１００は、指が動かされている部分の図形４０７を非表示とする。これにより、デジタルペン２００により入力されたデジタル情報が消去されたように表現することができる。

【0059】

［１．６．リモート機能］
本実施形態に係る拡張作業空間システムは、複数の拡張作業空間の情報を互いに表示するリモート機能を備えてもよい。リモート機能により、遠隔にあるユーザによる協調作業や作業アシスタントが可能となる。リモート機能を用いた作業アシスタントの一例として、図１１に実際にテキストブックを用いて勉強している生徒の学習アシスタントを行う例を示す。

【0060】

図１１左に示すように、生徒が数学のテキストブック５を用いて勉強しているとする。テキストブック５は、情報認識表示装置１００により構築される拡張作業空間の作業面２に置かれている。生徒の学習の様子は、情報認識表示装置１００の撮像部１２０によって、遠隔にある教師が見ることができるようになっている。このとき、教師側にも情報認識表示装置が設置されて拡張作業空間が構築されており、生徒側の情報認識表示装置１００と教師側の情報認識表示装置とは情報を通信可能に接続されている。

【0061】

教師は、生徒の学習が進まない様子を見ると、教師側の拡張作業空間でデジタルペンなどを用いて問題を解くためのヒントとなる情報を書く。教師の入力情報は、教師側の情報認識表示装置から生徒側の情報認識表示装置１００へ送信され、図１１中央に示すように、生徒側の拡張作業空間に教示される。このとき、教師側と生徒側では拡張作業空間のプロジェクタ座標系を一致させておくことで、テキストブック５の内容に対応した位置に教師の入力情報が表示される。このようにリモート機能を用いることで、遠隔にある教師が生徒の学習をアシストすることが可能になる。

【0062】

また、生徒の学習補助機能として、例えば図１１右に示すように、図６に示したような電卓３０４を必要に応じて拡張作業空間に表示させて使用することもできる。生徒は、例えばダブルタップ等の所定のジェスチャを行ったり、操作メニュー等を表示させて電卓表示の項目を選択したりして、電卓３０４を拡張作業空間の作業面に表示させる。このように、必要な機器をデジタル情報として表示して使用できることで、実際の機器を用意する必要がなくなり利便性を高めることができる。

【0063】

［１．７．デジタル情報の物理的操作］
拡張作業空間に表示されるデジタル情報は、拡張作業空間内に存在する紙等の実際の物体を用いる物理法則に従った操作により操作できるようにしてもよい。この場合、情報認識表示装置１００は、拡張作業空間において認識された実際の物体と、当該物体に対して行われた操作とに基づいて、拡張作業空間に表示されているデジタル情報の表示処理を行う。

【0064】

（１）デジタル情報の消去
例えば、図１２左に示すように、拡張作業空間にある紙４の上に、デジタル情報４１０が投影されているとする。なお、図１２左および右の図では、上側に拡張作業空間の作業面２を上から見た状態を示しており、下側に拡張作業空間を側面から見た状態を示している。また、図１２では、説明のため、紙４の上に表示されているデジタル情報４１０に厚みを持たせて示しているが、実際はデジタル情報４１０の厚みはなくてもよい。

【0065】

図１２の例では、紙４に投影されたデジタル情報４１０の消去方法として、紙面が重力方向に対して直交する状態から紙４を傾けたとき、デジタル情報４１０を消去するようにしてもよい。仮にデジタル情報４１０を物体とすると、紙４を傾けることによって重力によって紙４上のデジタル情報４１０が傾斜に沿って落ちる。そこで、仮想の情報であるデジタル情報４１０についても、図１２右に示すように、紙４の傾きによってデジタル情報がこぼれ落ち紙４上から消えるようにすることで、ユーザは直観的にわかりやすい操作でデジタル情報を消去させることができる。

【0066】

（２）物体へのデジタル情報表示
また、拡張作業空間に存在する実際の物体に対してデジタル情報を表示する際に、物体自体にデジタル情報が記載されているような表示方法を提示することもできる。例えば図１３に示すように、拡張作業空間の作業面２に、表面４ａに問題３１１が印字された紙４が置かれているとする。ユーザが紙４をめくり裏面４ｂをみると、裏面４ｂに問題３１１の解答がデジタル情報４１１により表示される。このように、実際には印字されていない紙４の裏面４ｂにデジタル情報４１１を表示させることで、ユーザに直観的に情報を提示することができる。

【0067】

（３）物体の動きに応じたデジタル情報の移動
さらに、拡張作業空間に表示されたデジタル情報を、当該空間内にある物体によって移動させるようにしてもよい。例えば図１４上に示すように、拡張作業空間の作業面２にデジタル情報４１２が投影されているとする。次いで、実際の物体、例えば紙４が拡張作業空間に持ち込まれ、作業面２に投影されているデジタル情報４１２が当該紙４の上に表示されるように置かれたとする。図１４中央に示すように、デジタル情報４１２は紙４上に表示されると、情報認識表示装置１００は、デジタル情報４１２を紙４と一体に移動させるように取り扱う。

【0068】

その後、図１４中央に示す状態から図１４下に示すように、紙４を左から右へ移動させると、紙４上に表示されているデジタル情報４１２も紙４の移動に伴って移動する。このような処理により、デジタル情報４１２を紙４の上に載せて運ぶような直観的な操作が実現でき、ユーザは直観的にわかりやすい操作でデジタル情報４１２を移動させることができる。なお、ここではデジタル情報４１２を紙４の上に載せて移動させるという処理を説明したが、図１４中央に示す状態においてデジタル情報４１２を紙４にコピーさせる処理を行うようにしてもよい。この場合、図１４下に示すように紙４を移動させると、紙４とともに移動するデジタル情報４１２が紙４上に表示されているとともに、作業面２の元の表示位置にもデジタル情報４１２が表示される。

【0069】

図１２〜図１４に示したようなデジタル情報の操作において、デジタル情報を操作する物体は紙４以外であってもよく、例えばタブレット端末やスマートフォン、電子ペーパー等であってもよい。

【0070】

＜２．ハードウェア構成例＞
上述の実施形態に係る情報認識表示装置１００の情報処理部１４０による処理は、ハードウェアにより実行させることもでき、ソフトウェアによって実行させることもできる。この場合、情報処理部１４０は、図１５に示すように構成することもできる。以下、図１５に基づいて、情報処理部１４０の一ハードウェア構成例について説明する。

【0071】

情報処理部１４０は、上述したように、コンピュータ等の処理装置により実現することができる。情報処理部１４０は、図１５に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３と、ホストバス９０４ａとを備える。また、情報処理部１４０は、ブリッジ９０４と、外部バス９０４ｂと、インタフェース９０５と、入力装置９０６と、出力装置９０７と、ストレージ装置（ＨＤＤ）９０８と、ドライブ９０９と、接続ポート９１１と、通信装置９１３とを備える。

【0072】

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理部１４０内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス９０４ａにより相互に接続されている。

【0073】

ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。

【0074】

入力装置９０６は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。出力装置９０７は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置や、スピーカなどの音声出力装置を含む。

【0075】

ストレージ装置９０８は、情報処理部１４０の記憶部の一例であり、データ格納用の装置である。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置９０８は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置９０８は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。

【0076】

ドライブ９０９は、記憶媒体用リーダライタであり、情報処理部１４０に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。

【0077】

接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。また、通信装置９１３は、例えば、通信網１０に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置９１３は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ワイヤレスＵＳＢ対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

【0078】

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

【0079】

なお、上記実施形態において、情報処理部１４０は情報認識表示装置１００に設けたが、本技術はかかる例に限定されず、例えばネットワークに接続されたサーバ上に設けてもよい。

【0080】

なお、以下のような構成も本開示の技術的範囲に属する。
（１） 実体と仮想オブジェクトとを操作可能な拡張作業空間内において入力された入力情報に基づいて、前記入力情報に対応する付加情報を決定する解析部と、
前記入力情報への新たな操作入力を受けて、前記付加情報を用いて当該拡張作業空間に対して表示される仮想オブジェクトの表示制御を行う表示制御部と、
を備える、情報処理装置。
（２） 前記解析部は、前記拡張作業空間内においてユーザが手書き入力した筆跡を認識し、当該入力情報に対応する前記付加情報を決定する、前記（１）に記載の情報処理装置。
（３） 前記解析部は、ユーザが手書き入力した前記筆跡を、手書き入力を行う筆記用機器から発信される信号処理を行う入力検出デバイスから受信する、前記（２）に記載の情報処理装置。
（４） 前記筆記用機器は、仮想的な筆記入力が可能であり、
前記解析部は、前記仮想的な筆記入力の筆跡を認識し、当該筆跡を前記付加情報とする、前記（３）に記載の情報処理装置。
（５） 前記解析部は、前記拡張作業空間内に存在する実体に含まれる情報を入力情報として認識し、当該入力情報に対応する前記付加情報を決定する、前記（１）〜（４）のいずれか１項に記載の情報処理装置。
（６） 前記付加情報は、前記仮想オブジェクトを表示するか否かを判定するための情報である、前記（１）〜（５）のいずれか１項に記載の情報処理装置。
（７） 前記仮想オブジェクトは、前記解析部により認識された前記入力情報に関連する情報である、前記（１）〜（６）のいずれか１項に記載の情報処理装置。
（８） 前記拡張作業空間内において実体に対して表示されている仮想オブジェクトの位置情報を、当該仮想オブジェクトに関連する前記拡張作業空間内の実体に固有の物体座標系に変換する座標処理部をさらに備え、
前記拡張作業空間において前記実体を移動する操作入力があったとき、前記表示制御部は、当該物体の移動に応じて前記仮想オブジェクトの表示位置を移動させる、前記（１）に記載の情報処理装置。

【符号の説明】

【0081】

２ 作業面
１００ 情報認識表示装置
１１０ 投影部
１２０ 検出部
１３０ 撮像部
１４０ 情報処理部
１４２ 解析部
１４４ 座標処理部
１４６ 表示制御部
１４８ 設定記憶部
１５０ 通信部
２００ デジタルペン
２１０ ペン入力検出デバイス
２１２ 信号受信部
２１４ 信号処理部
２１６ 入力情報送信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】