特許 6790630 ドキュメント共有方法、プログラム及びドキュメント共有装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6790630

(24)【登録日】2020年11月9日

(45)【発行日】2020年11月25日

(54)【発明の名称】ドキュメント共有方法、プログラム及びドキュメント共有装置

(51)【国際特許分類】

   G06F 3/0481 20130101AFI20201116BHJP

   G06F 13/00 20060101ALI20201116BHJP

   G06F 3/0488 20130101ALI20201116BHJP

【ＦＩ】

   G06F3/0481

   G06F13/00 650A

   G06F3/0488

【請求項の数】15

【全頁数】26

(21)【出願番号】特願2016-177629(P2016-177629)

(22)【出願日】2016年9月12日

(65)【公開番号】特開2017-194944(P2017-194944A)

(43)【公開日】2017年10月26日

【審査請求日】2019年8月30日

(31)【優先権主張番号】15/133,608

(32)【優先日】2016年4月20日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】000005496

【氏名又は名称】富士ゼロックス株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】特許業務法人太陽国際特許事務所

(72)【発明者】

【氏名】パトリック チィーウ

(72)【発明者】

【氏名】スベン クラッツ

(72)【発明者】

【氏名】新宮 淳

(72)【発明者】

【氏名】ローラン ドゥヌ

【審査官】 佐伯 憲太郎

(56)【参考文献】

【文献】 特開２００８−０２７２２０（ＪＰ，Ａ）

【文献】 特開平１１−１４４０２４（ＪＰ，Ａ）

【文献】 直接的な手書き入力による画面隠れを軽減させる半透明提示手法，ヒューマンインタフェース学会研究報告集，特定非営利活動法人ヒューマンインタフェース学会，２００９年１１月１２日，Ｖｏｌ．１１ Ｎｏ．５，pp.47-52

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０４８−３／０４８９

Ｇ０６Ｆ １３／００

(57)【特許請求の範囲】

【請求項1】

プロセッサが、
ドキュメントと関連する第１画像データを取得し、
取得した前記第１画像データに基づいて前記ドキュメントのコンテンツを検出し、
ユーザによって制御され、前記ドキュメントに対して相対的に移動するユーザの指、手、又は腕であるオブジェクトに関連する第２画像データを取得して、オブジェクトのジェスチャを検出し、
前記ドキュメントと前記オブジェクトとの間の相対位置に基づいて前記第１画像データと前記第２画像データの部分を結合して、表示する結合画像データを生成し、
前記オブジェクトと前記コンテンツの部分との間の相対位置を決定し、
前記コンテンツの部分に対する第１相対位置に前記オブジェクトが存在するジェスチャが検出されると、前記結合画像データの前記コンテンツの部分を強調する第１アクションを実行し、
前記コンテンツの部分に対する第２相対位置に前記オブジェクトが存在するジェスチャが検出されると、前記結合画像データの前記コンテンツの部分を強調する第２アクションであって、前記第１アクションとは異なる第２アクションを実行する、
ドキュメント共有方法。

【請求項2】

前記第１アクション及び第２アクションの各々は、前記ドキュメントの前記コンテンツの部分をハイライトすること、前記コンテンツの部分を拡大すること、前記コンテンツの部分を鮮鋭化すること、前記コンテンツの部分をぼかすこと、前記コンテンツの部分をクロッピングすること、の１つもしくは複数を含む、
請求項１に記載のドキュメント共有方法。

【請求項3】

前記第１アクション及び第２アクションの各々は、前記オブジェクト又は前記ジェスチャを表すアイコンを生成し、前記ドキュメントに前記アイコンを重畳すること、を含む、請求項１に記載のドキュメント共有方法。

【請求項4】

前記第１アクションは、前記コンテンツの部分全体をハイライトすることを含み、
前記第２アクションは、前記コンテンツの部分全体を前記第１アクションより低い程度でハイライトすることを含む、
請求項１に記載のドキュメント共有方法。

【請求項5】

前記ドキュメントと前記オブジェクトとの間の相対位置に基づいて、前記第２画像データの前記オブジェクトの部分の画素値を低下させる、
請求項１から請求項４までのいずれか１項に記載のドキュメント共有方法。

【請求項6】

前記ドキュメントから遠い位置にある前記オブジェクトの部分ほど画素値を低下させる、
請求項５に記載のドキュメント共有方法。

【請求項7】

生成した前記結合画像データを、将来、表示するためにアーカイブに保存する、
請求項１から請求項６までのいずれか１項に記載のドキュメント共有方法。

【請求項8】

ドキュメントと関連する第１画像データを取得し、
取得した前記第１画像データに基づいて前記ドキュメントのコンテンツを検出し、
ユーザによって制御され、前記ドキュメントに対して相対的に移動するユーザの指、手、又は腕であるオブジェクトに関連する第２画像データを取得して、オブジェクトのジェスチャを検出し、
前記ドキュメントと前記オブジェクトとの間の相対位置に基づいて前記第１画像データと前記第２画像データの部分を結合して、表示する結合画像データを生成し、
前記オブジェクトと前記コンテンツの部分との間の相対位置を決定し、
前記コンテンツの部分に対する第１相対位置に前記オブジェクトが存在するジェスチャが検出されると、前記結合画像データの前記コンテンツの部分を強調する第１アクションを実行し、
前記コンテンツの部分に対する第２相対位置に前記オブジェクトが存在するジェスチャが検出されると、前記結合画像データの前記コンテンツの部分を強調する第２アクションであって、前記第１アクションとは異なる第２アクションを実行する、
ドキュメント共有処理をコンピュータに実行させるためのプログラム。

【請求項9】

前記第１アクション及び第２アクションの各々は、前記ドキュメントの前記コンテンツの部分をハイライトすること、前記コンテンツの部分を拡大すること、前記コンテンツの部分を鮮鋭化すること、前記コンテンツの部分をぼかすこと、前記コンテンツの部分をクロッピングすること、の１つもしくは複数を含む、
請求項８に記載のプログラム。

【請求項10】

前記第１アクション及び第２アクションの各々は、前記ジェスチャを表すアイコンを生成し、前記ドキュメントに前記アイコンを重畳すること、を含む、
請求項８に記載のプログラム。

【請求項11】

前記第１アクションは、前記コンテンツの部分全体をハイライトすることを含み、
前記第２アクションは、前記コンテンツの部分全体を前記第１アクションより低い程度でハイライトすることを含む、
請求項８に記載のプログラム。

【請求項12】

前記ドキュメントと前記オブジェクトとの間の相対位置に基づいて、前記第２画像データの前記オブジェクトの部分の画素値を低下させる、
請求項８から請求項１１までのいずれか１項に記載のプログラム。

【請求項13】

前記ドキュメントから遠い位置にある前記オブジェクトの部分ほど画素値を低下させる、
請求項１２に記載のプログラム。

【請求項14】

メモリと、
画像取得デバイスと、
プロセッサと、
を含む、
ドキュメント共有装置であって、
前記プロセッサが、
ドキュメントと関連する第１画像データを取得し、
取得した前記第１画像データに基づいて前記ドキュメントのコンテンツを検出し、
ユーザによって制御され、前記ドキュメントに対して相対的に移動するユーザの指、手、又は腕であるオブジェクトに関連する第２画像データを取得して、オブジェクトのジェスチャを検出し、
前記ドキュメントと前記オブジェクトとの間の相対位置に基づいて前記第１画像データと前記第２画像データの部分を結合して、表示する結合画像データを生成し、
前記オブジェクトと前記コンテンツの部分との間の相対位置を決定し、
前記コンテンツの部分に対する第１相対位置に前記オブジェクトが存在するジェスチャが検出されると、前記結合画像データの前記コンテンツの部分を強調する第１アクションを実行し、
前記コンテンツの部分に対する第２相対位置に前記オブジェクトが存在するジェスチャが検出されると、前記結合画像データの前記コンテンツの部分を強調する第２アクションであって、前記第１アクションとは異なる第２アクションを実行する、
ドキュメント共有装置。

【請求項15】

前記第１アクションは、前記コンテンツの部分全体をハイライトすることを含み、
前記第２アクションは、前記コンテンツの部分全体を前記第１アクションより低い程度でハイライトすることを含む、
請求項１４に記載のドキュメント共有装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ドキュメントを共有する方法、プログラム及び装置に関する。

【背景技術】

【0002】

遠隔同時会議（例えば、遠隔に位置するユーザによるテレプレゼンスまたはテレカンファレンス）の間、遠隔に位置するユーザはドキュメントまたはスライドについて議論することを所望する場合があるが、遠隔に位置するユーザが議論に追従することは困難である。例えば、遠隔同時会議に関する関連技術のシステムは、遠隔ユーザの顔及び／または体のビデオ画像とは別に、ドキュメントのライブフィードを提示することができる。このような関連技術のシステムでは、スピーカ（話者）がドキュメントの異なる部分について話している場合、または、ドキュメントの異なる部分を参照している場合、リスナー（視聴者）はドキュメントのどの部分について議論されているか判定することが困難となるだろう。

【0003】

関連技術のシステムのいくつかでは、プレゼンタがテレポインタ（例えば、マウスまたは他の制御デバイスで制御される遠隔グラフィカルカーソル）を使用することができる。しかしながら、テレポインタが極めて小さい場合、テレカンファレンスの間、リスナーがテレポインタを見ることは困難である。一方、テレポインタが極めて大きい場合、テレポインタはドキュメントコンテンツの極めて多くの部分を隠してしまう。また、マウスまたは他の制御デバイスを使用しなければならないため、グラフィカルカーソルはあまり表現力をもたず、テレポインタとの相互関与はプレゼンタにとって直感的でない。

【0004】

他の関連技術のシステムでは、指または他のオブジェクトで、ユーザはドキュメントの部分を指し示すことができ、遠隔ユーザのサイトに手またはオブジェクトを表示するビデオデータを使用する。しかしながら、手又はオブジェクトを見ることができることと、コンテンツが隠れてしまうこととの間にトレードオフが存在する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】米国特許第８２３０３６７号

【特許文献2】特開２０１０−５３０５９０号公報

【非特許文献】

【0006】

【非特許文献1】コーワン（COWAN）ら、「シャドウパペット：ハンドシャドウを使用したモバイルプロジェクタフォンによる共存相互関与支援（ShadowPuppets: Supporting Collocated Interaction with Mobile Projector Phones Using Hand Shadows）」, ＣＨＩ２０１１、カナダ、２０１１年５月７日〜１２日、頁２７０７〜２７１６

【非特許文献2】ジェネスト（GENEST）ら、「キネクトアーム：分散テーブルトップグループウェアにおける腕取得及び表示のためのツールキット（KinectArms: A Toolkit for Capturing and Displaying Arm Embodiments in Distributed Tabletop Groupware）、ＣＳＣＷ’１３、２０１３年２月２３日〜２７日、米国、頁１５７〜１６６

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明は、ドキュメントを指し示すオブジェクトの視認性と、指し示されるドキュメントのコンテンツの視認性の双方を向上させることを目的とする。

【課題を解決するための手段】

【0008】

第１の態様は、ドキュメント共有方法であって、プロセッサが、ドキュメントと関連する第１画像データを取得し、取得した前記第１画像データに基づいて前記ドキュメントのコンテンツを検出し、ユーザによって制御され、前記ドキュメントに対して相対的に移動するオブジェクトに関連する第２画像データを取得し、前記ドキュメントと前記オブジェクトとの間の相対位置を決定し、決定された前記相対位置に基づいて前記第１画像データと前記第２画像データの部分を結合し、表示する結合画像データを生成し、前記相対位置に基づいて、表示した前記結合画像データのコンテンツの部分を強調する。

【0009】

第２の態様は、第１の態様のドキュメント共有方法であって、前記コンテンツの部分を強調することは、前記第２画像データに基づいて前記オブジェクトを表すアイコンを生成し、生成した前記結合画像データの前記コンテンツの部分に前記アイコンを重畳することを含む。

【0010】

第３の態様は、第１の態様のドキュメント共有方法であって、前記コンテンツの部分を強調することは、前記ドキュメントとオブジェクトとの間の決定した相対位置に基づいて、前記コンテンツの部分をハイライトすることを含む。

【0011】

第４の態様は、第１の態様のドキュメント共有方法であって、前記オブジェクトはユーザの腕であり、前記第２画像データを取得することは、前記腕のジェスチャを検出することを含み、前記コンテンツの部分を強調することは、検出した前記ジェスチャに関連付けられたアクションを実行することを含む。

【0012】

第５の態様は、第４の態様のドキュメント共有方法であって、検出した前記ジェスチャに関連付けられ、実行される前記アクションは、前記ドキュメントの前記コンテンツの部分をハイライトすること、前記コンテンツの部分を拡大すること、前記コンテンツの部分を鮮鋭化すること、前記コンテンツの部分をぼかすこと、前記コンテンツの部分をクロッピングすること、の１つもしくは複数を含む。

【0013】

第６の態様は、第４の態様のドキュメント共有方法であって、実行される前記アクションは、前記ジェスチャを表すアイコンを生成し、前記ドキュメントに前記アイコンを重畳すること、を含む。

【0014】

第７の態様は、第４の態様のドキュメント共有方法であって、前記腕と前記コンテンツの部分との間の相対位置を決定する、ことをさらに含み、検出した前記ジェスチャに関連付けられたアクションを実行することは、前記コンテンツの部分に対する第１相対位置に前記腕が存在する判定に基づいて第１アクションを実行し、前記コンテンツの部分に対する第２相対位置に前記腕が存在する判定に基づいて前記第１アクションとは異なる第２アクションを実行する、ことを含む。

【0015】

第８の態様は、第７の態様のドキュメント共有方法であって、前記第１アクションは、前記コンテンツの部分に対する前記第１相対位置に前記腕が存在する判定に基づいて、前記コンテンツの部分全体をハイライトすることを含み、前記第２アクションは、前記コンテンツの部分に対する前記第２相対位置に前記腕が存在する判定に基づいて、前記コンテンツの部分全体を前記第１アクションより低い程度でハイライトすることを含む。

【0016】

第９の態様は、第１〜第８の何れかの態様のドキュメント共有方法であって、生成した前記結合画像データを、将来、表示するためにアーカイブに保存する。

【0017】

第１０の態様は、プログラムであって、ドキュメントと関連する第１画像データを取得し、取得した前記第１画像データに基づいて前記ドキュメントのコンテンツを検出し、ユーザによって制御され、前記ドキュメントに対して相対的に移動するオブジェクトに関連する第２画像データを取得し、前記ドキュメントと前記オブジェクトとの間の相対位置を決定し、決定された前記相対位置に基づいて前記第１画像データと前記第２画像データの部分を結合し、表示する結合画像データを生成し、前記相対位置に基づいて、表示した前記結合画像データのコンテンツの部分を強調する、ドキュメント共有処理をコンピュータに実行させる。

【0018】

第１１の態様は、第１０の態様のプログラムであって、前記コンテンツの部分を強調することは、前記ドキュメントとオブジェクトとの間の決定した相対位置に基づいて、前記コンテンツの部分をハイライトすることを含む。

【0019】

第１２の態様は、第１０の態様のプログラムであって、前記オブジェクトはユーザの腕であり、前記第２画像データを取得することは、前記腕のジェスチャを検出することを含み、前記コンテンツの部分を強調することは、検出した前記ジェスチャに関連付けられたアクションを実行することを含む。

【0020】

第１３の態様は、第１２の態様のプログラムであって、検出した前記ジェスチャに関連付けられ、実行される前記アクションは、前記ドキュメントの前記コンテンツの部分をハイライトすること、前記コンテンツの部分を拡大すること、前記コンテンツの部分を鮮鋭化すること、前記コンテンツの部分をぼかすこと、前記コンテンツの部分をクロッピングすること、の１つもしくは複数を含む。

【0021】

第１４の態様は、第１２の態様のプログラムであって、実行される前記アクションは、前記ジェスチャを表すアイコンを生成し、前記ドキュメントに前記アイコンを重畳すること、を含む。

【0022】

第１５の態様は、第１２の態様のプログラムであって、前記腕と前記コンテンツの部分との間の相対位置を決定する、ことをさらに含み、検出した前記ジェスチャに関連付けられたアクションを実行することは、前記コンテンツの部分に対する第１相対位置に前記腕が存在する判定に基づいて第１アクションを実行し、前記コンテンツの部分に対する第２相対位置に前記腕が存在する判定に基づいて前記第１アクションとは異なる第２アクションを実行する、ことを含む。

【0023】

第１６の態様は、第１５の態様のプログラムであって、前記第１アクションは、前記コンテンツの部分に対する前記第１相対位置に前記腕が存在する判定に基づいて、前記コンテンツの部分全体をハイライトすることを含み、前記第２アクションは、前記コンテンツの部分に対する前記第２相対位置に前記腕が存在する判定に基づいて、前記コンテンツの部分全体を前記第１アクションより低い程度でハイライトすることを含む。

【0024】

第１７の態様は、ドキュメント共有装置であって、メモリと、画像取得デバイスと、プロセッサと、を含む。前記プロセッサが、ドキュメントと関連する第１画像データを取得し、取得した前記第１画像データに基づいて前記ドキュメントのコンテンツを検出し、ユーザによって制御され、前記ドキュメントに対して相対的に移動するオブジェクトに関連する第２画像データを取得し、前記ドキュメントと前記オブジェクトとの間の相対位置を決定し、決定された前記相対位置に基づいて前記第１画像データと前記第２画像データの部分を結合し、表示される結合画像データを生成し、前記相対位置に基づいて、表示された前記結合画像データのコンテンツの部分を強調する。

【0025】

第１８の態様は、第１７の態様のドキュメント共有装置であって、前記プロセッサは、前記第２画像データに基づいて前記オブジェクトを表すアイコンを生成し、生成した前記結合画像データの前記コンテンツの部分に前記アイコンを重畳することで、前記コンテンツの部分を強調する。

【0026】

第１９の態様は、第１７の態様のドキュメント共有装置であって、前記オブジェクトはユーザの腕であり、前記プロセッサは、前記腕のジェスチャを検出することで、前記第２画像データを取得し、検出した前記ジェスチャに関連付けられたアクションを実行することで、前記コンテンツの部分を強調する。

【0027】

第２０の態様は、第１９の態様のドキュメント共有装置であって、前記プロセッサは、さらに、前記腕と前記コンテンツの部分との間の相対位置を決定し、前記コンテンツの部分に対する第１相対位置に前記腕が存在する判定に基づいて第１アクションを実行し、前記コンテンツの部分に対する第２相対位置に前記腕が存在する判定に基づいて前記第１アクションとは異なる第２アクションを実行する、ことで、検出した前記ジェスチャに関連付けられたアクションを実行する。

【発明の効果】

【0028】

本発明は、ドキュメントを指し示すオブジェクトの視認性と、指し示されるドキュメントのコンテンツの視認性の双方を向上させることを可能とする。

【図面の簡単な説明】

【0029】

【図1】第１の例示的な実装による遠隔同時会議システムにおけるドキュメント共有デバイスを例示する。

【図2】第２の例示的な実装による遠隔同時会議システムにおけるドキュメント共有デバイスを例示する。

【図3】例示的な実装によるドキュメント共有プロセスのフローチャートを例示する。

【図4】例示的な実装によるプロセスにおけるドキュメント共有アルゴリズムのフローチャートを例示する。

【図5A】例示的な実装によるドキュメント共有画面を例示する。

【図5B】例示的な実装によるドキュメント共有画面を例示する。

【図5C】例示的な実装によるドキュメント共有画面を例示する。

【図6A】例示的な実装によるドキュメント共有画面を例示する。

【図6B】例示的な実装によるドキュメント共有画面を例示する。

【図6C】例示的な実装によるドキュメント共有画面を例示する。

【図6D】例示的な実装によるドキュメント共有画面を例示する。

【図6E】例示的な実装によるドキュメント共有画面を例示する。

【図7A】ドキュメントコンテンツ上へのアイコン表示を例示する。

【図7B】ドキュメントコンテンツ上へのアイコン表示を例示する。

【図8A】オブジェクトが指し示されているドキュメントの領域抽出を例示する。

【図8B】オブジェクトが指し示されているドキュメントの領域抽出を例示する。

【図9A】例示的な実装に基づくドキュメントコンテンツとの相互関与を例示する。

【図9B】例示的な実装に基づくドキュメントコンテンツとの相互関与を例示する。

【図10】例示的な実装での使用に適したコンピュータデバイスを含む計算処理環境を例示する。

【発明を実施するための形態】

【0030】

以下で、本願の図面及び例示的な実装をより詳細に説明する。説明を明確にするため、複数の図面で重複する構成要素の参照符号及び説明は省略する。説明を通して使用される用語は例示であり、限定を意図していない。例えば、用語「自動的」は、全自動または、実装のある局面においてユーザまたはオペレータの制御が関与する半自動の実装を含む。

【0031】

本願の例示的な実装において、ドキュメント上をホバリングする、スピーカによって制御されるオブジェクト（例えば、手、ペン、ポインタスティック、または、指し示すために使用することができる任意の他のオブジェクト）は、部分的に透過するように、表示されてもよい。透過レベルは、ドキュメントへの近さに依存してもよい。このオプションの効果は、ドキュメントに近いスピーカによって制御されるオブジェクトが、議論への追従を支援するために、議論されているドキュメントのピンポイント領域に対して、あまり透過せずに表示されることである。さらに、ドキュメントから離れたオブジェクトの部分はより透過して表示されることで、ドキュメントの隠れを低減する。以下で、より詳細に説明するように、例示的な実装のいくつかでは、オブジェクトの位置は３次元空間でモデリングされ、ドキュメントの意味的に有意な部分（例えば、ワード、テキスト行、段落、図）が、オブジェクトとドキュメントとの間の相対位置に基づいて、強調されてもよい。

【0032】

図１は、本願の第１の例示的な実装による遠隔同時会議システム１００でドキュメントを共有する装置１０５を例示する。装置１０５は、ドキュメント支持面１２０から、ｚ軸方向に離隔して配置される画像取得デバイス１１０を含む。例示的な実装において、画像取得デバイス１１０は深度カメラであってよく、深度カメラは、カラー画像データ及び深度画像データを取得する複数のチャネルを有する。使用可能な深度カメラの例は、INTEL REALSENSE F200カメラ及びMICROSOFT KNECTデバイスを含む。図２を使用して以下で説明するように、本願の例示的な実装のいくつかは、深度カメラを使用せず、深度情報を決定する他の技術を使用する。例示的な実装において、画像取得デバイスは、デジタルカメラ、ビデオカメラ、ウェブカメラ、または任意の他の画像取得デバイスであってよい。

【0033】

画像取得デバイス１１０は、ドキュメント支持面１２０に置かれたドキュメント１１５の画像データを取得する。例示的な実装のいくつかでは、ドキュメント１１５は紙または任意の他の印刷可能マテリアルに印刷が施された印刷ドキュメントであってよい。他の例示的な実装において、ドキュメント１１５はタブレットまたは他の計算処理デバイスに表示された電子ドキュメントであってもよい。例示的な実装において、画像取得デバイス１１０は、オブジェクト認識、テキスト認識、パターン認識、または他の画像認識技術を使用して、ドキュメントのコンテンツまたはドキュメントのコンテンツの部分を検出してもよい。

【0034】

オブジェクト１２５が画像取得デバイス１１０とドキュメント支持面１２０との間で検出されると、画像取得デバイス１１０は、オブジェクト１２５（例えば、ドキュメント１１５を指し示すために使用される手、ペン、ポインタスティック、または任意の他のオブジェクト）を表す画像データ即ち画像信号を取得する。ドキュメント支持面１２０は、テーブル面、カウンター面、机面、床、棚、またはドキュメントまたはドキュメント表示デバイスを置くことができる任意の他の面であってよいが、これらに限定されない。

【0035】

画像取得デバイス１１０は、オブジェクト１２５とドキュメント１１５との間の相対位置を検出してもよい。例えば、画像取得デバイス１１０は、オブジェクト追跡技術を使用して、カメラの視野内の（例えば、ｘ軸及びｙ軸に沿った）相対位置を検出及び／または計算してもよい。また、画像取得デバイスとして深度カメラを使用する例示的な実装では、画像取得デバイス１１０はｚ軸に沿ったオブジェクトの相対位置を追跡してもよい。

【0036】

ドキュメントを共有する装置１０５は、画像取得デバイス１１０に接続された計算処理デバイス１３０を含み、ドキュメント１１５の取得された画像データ、オブジェクト１２５の取得された画像データ、及びオブジェクト１２５の検出された、または、計算された相対位置を処理する。例えば、計算処理デバイス１３０は、オブジェクト認識、テキスト認識、パターン認識、または他の画像認識技術を実行して、ドキュメント１１５のコンテンツを検出してもよい。計算処理デバイス１３０はオブジェクト追跡技術を実行して、相対位置を検出及び／または計算してもよい。例示的な実装のいくつかにおいて、計算処理デバイス１３０は、計算処理デバイス（例えば、以下で説明する図１０の計算処理環境１０００の計算処理デバイス１００５）であってよい。

【0037】

以下で詳細に説明するように、例示的な実装のいくつかにおいて、計算処理デバイス１３０は、ドキュメント１１５の取得された画像データ、オブジェクト１２５の取得された画像データ、及びオブジェクト１２５の検出された、または計算された相対位置に基づく結合画像データを生成してもよい。例示的な実装のいくつかにおいて、計算処理デバイス１３０は、（例えば、有線接続及び／または無線接続された）ネットワーク１３５を介して、相互に、通信可能に接続された複数のデバイス１４０〜１７０に、結合画像データを伝送するようにしてもよい。

【0038】

複数のデバイス１４０〜１７０は、コンピュータ１４０（例えば、ラップトップ計算処理デバイス）、モバイルデバイス１４５（例えば、スマートフォンまたはタブレット）、ウェアラブルデバイス１６０（例えば、スマートウォッチ）、ストレージデバイス１５５に接続されたサーバコンピュータ１５０及び他の計算処理デバイス１６５〜１７０を含んでいてもよいが、これらに限定されない。デバイス１４０〜１７０は、図１０に示されるように計算処理環境１０００を有していてもよい。

【0039】

例示的な実装のいくつかにおいて、複数のデバイス１４０〜１７０に結合画像データを伝送する前に、計算処理デバイス１３０は、結合画像データを生成してもよいが、例示的な実装はこれに限定されない。例えば、計算処理デバイス１３０は、ドキュメント１１５の取得された画像データ、オブジェクト１２５の取得された画像データ及びオブジェクト１２５の検出された、または計算された相対位置を組み合わせ、以下で説明する処理またはアルゴリズムを使用して結合画像データを生成してもよい。

【0040】

反対に、他の例示的な実装において、計算処理デバイス１３０は、ドキュメント１１５の取得した画像データ、オブジェクト１２５の取得した画像データ及びオブジェクト１２５の検出された、または計算された相対位置を、別個のデータとして、複数のデバイス１４０〜１７０の一つまたは複数に伝送してもよい。別個のデータが受信されると、複数のデバイス１４０〜１７０の各々は、以下で説明する処理またはアルゴリズムを使用して、別個のデータを組み合わせ、結合画像データを生成してもよい。

【0041】

計算処理デバイス１３０は、遠隔同時会議の初期設定で、組み合わせられた画像データを伝送するか、ドキュメント１１５の取得した画像データ、オブジェクト１２５の取得した画像データ、及びオブジェクト１２５の検出されたまたは計算された相対位置を表すデータに対応する別個のデータを伝送するか判断してもよい。結合画像データを伝送するか、または別個のデータを伝送するかを判断することは、複数のデバイス１４０〜１７０の各々への問い合わせに基づいていてもよく、問い合わせにより、複数のデバイス１４０〜１７０の各々の性能及び複数のデバイス１４０〜１７０の各々にデータを伝送するために利用可能な帯域幅を判定する。

【0042】

図２は、遠隔同時会議システム２００において、ドキュメントを共有する他の装置２０５を例示する。装置２０５は、上記装置１０５と類似しているが、以下で説明する構成要素及び機能が追加されている。装置２０５は、ｚ軸に沿って、ドキュメント支持面２２０から離隔されて配置される画像取得デバイス２１０を含む。例示的な実装のいくつかにおいて、画像取得デバイス２１０は、深度カメラであってよく、深度カメラは、カラー画像データ及び深度画像データを取得する複数のチャネルを有する。他の例示的な実装において、画像取得デバイス２１０は、深度画像を取得しないウェブカメラまたは他のカメラであってよい。

【0043】

画像取得デバイス２１０は、ドキュメント支持面２２０に配置されたドキュメント２１５の画像データを取得してもよい。例示的な実装のいくつかにおいて、ドキュメント２１５は、紙または他の印刷可能なマテリアルに印刷された印刷ドキュメントであってよい。他の例示的な実装において、ドキュメント２１５はタブレットまたは他の計算処理デバイスに表示される電子ドキュメントであってよい。例示的な実装のいくつかにおいて、画像取得デバイス２１０は、オブジェクト認識、テキスト認識、パターン認識または他の画像認識技術を使用して、ドキュメントのコンテンツまたはコンテンツの部分を検出してもよい。

【0044】

画像取得デバイス２１０は、オブジェクト２２５（例えば、ドキュメント２１５を指し示すために使用される手、ペン、ポインタスティックまたは任意の他のオブジェクト）が画像取得デバイス２１０とドキュメント支持面２２０との間に検出された場合に、画像データを取得してもよいし、オブジェクト２２５を表す画像データを取得してもよい。ドキュメント支持面２２０は、テーブル面、カウンター面、デスク面、床、棚またはドキュメントまたはドキュメント表示デバイスを置くことができる任意の他の面であってよいが、これらに限定されない。

【0045】

画像取得デバイス２１０は、オブジェクト２２５とドキュメント２１５との間の相対位置を検出してもよい。例えば、画像取得デバイス２１０は、オブジェクト追跡技術を使用して、カメラの視野内の（例えば、ｘ軸及びｙ軸に沿った）相対位置を検出し、及び／または計算してもよい。画像取得デバイス２１０として深度カメラを使用する例示的な実装において、画像取得デバイス２１０は、オブジェクト２２５のｚ軸に沿った相対位置を追跡してもよい。

【0046】

装置２０５は、オブジェクト２２５と画像取得デバイス２１０及び／またはドキュメント支持面２２０との間の距離を検出するセンサ部２７５を含んでいてもよい。センサ部２７５は、静電容量センサまたはオブジェクト２２５と画像取得デバイス２１０またはドキュメント支持面２２０との間の距離を検出することができる何れか他のセンサであってよい。センサ部２７５は、オブジェクト２２５のｚ軸に沿った相対距離を追跡するために使用されてもよい。

【0047】

ドキュメントを共有する装置２０５は、画像取得デバイス２１０に接続され、取得したドキュメント２１５の画像データ、取得したオブジェクト２２５の画像情報及び検出または算出したオブジェクト２２５の相対位置を処理する計算処理デバイス２３０を含んでいてもよい。例えば、計算処理デバイス２３０は、オブジェクト認識、テキスト認識、パターン認識、または他の画像認識技術を実行して、ドキュメントの内容を検出してもよい。計算処理デバイス２３０は、オブジェクト追跡技術を実行し、相対位置を検出及び／または算出してもよい。例示的な実装のいくつかにおいて、計算処理デバイス２３０は計算処理デバイス（例えば、後述する図１０の計算処理環境１０００の１００５）であってよい。

【0048】

例示的な実装のいくつかにおいて、以下で詳細に説明するように、計算処理デバイス２３０は、取得したドキュメント２１５の画像データ、取得したオブジェクト２２５の画像情報及び検出または算出したオブジェクト２２５の相対位置に基づいて、結合画像データを生成してもよい。例示的な実装のいくつかにおいて、計算処理デバイス２３０は、例えば、（有線接続及び／または無線接続で）ネットワーク２３５を介して、相互に、通信可能に接続された複数のデバイスに結合画像データを伝送してもよい。

【0049】

複数のデバイス２４０〜２７０は、コンピュータ２４０（例えば、ラップトップ計算処理デバイス）、モバイルコンピュータ２５０（例えば、スマートフォンまたはタブレット）、ウェアラブルデバイス２６０（例えば、スマートウォッチ）、ストレージデバイス２５５に接続されたサーバコンピュータ２５０及び他の計算処理デバイス２６５〜２７０を含んでいてよいが、これらに限定されるものではない。デバイス２４０〜２７０は、後述する図１０で例示されるように、計算処理環境を有していてもよい。

【0050】

例示的な実装のいくつかにおいて、計算処理デバイス２３０は、結合画像データを複数のデバイス２４０〜２７０に送信する前に、結合画像データを生成してもよいが、本開示の例示的な実装はこれに限定されない。例えば、計算処理デバイス２３０は、ドキュメント２１５の取得した画像データ、オブジェクト２２５の取得した画像データ、及びオブジェクト２２５の検出または算出した相対位置を表すデータを結合し、後述する処理またはアルゴリズムを使用して、結合画像データを生成してもよい。

【0051】

反対に、他の例示的な実装では、計算処理デバイス２３０は、ドキュメント２１５の取得した画像データ、オブジェクト２２５の取得した画像情報、オブジェクト２２５の検出または算出した相対位置を、別個のデータとして、複数のデバイス２４０〜２７０の１つもしくは複数に送信してもよい。別個のデータを受信すると、複数のデバイス２４０〜２７０の各々は、後述するプロセスまたはアルゴリズムを使用して、結合画像データを生成してもよい。

【0052】

計算処理デバイス２３０は、遠隔同時会議の初期設定において、ドキュメント２１５の取得した画像データ、オブジェクト２２５の取得した画像データ、及び、オブジェクト２２５の検出または算出した相対位置を表すデータに対応する結合画像データを送信するか、別個のデータを送信するか設定されていてもよい。結合画像データを送信するか、別個のデータを送信するかを決定することは、複数のデバイス２４０〜２７０の各々の能力及び複数のデバイス２４０〜２７０の各々へのデータ送信に利用できる帯域幅を判定するために、複数のデバイス２４０〜２７０の各々に問い合わせを行うことに基づいていてもよい。

【0053】

図３は、本開示の例示的な実装によるドキュメント共有のプロセス３００のフローチャートを例示する。例示的な実装のいくつかにおいて、プロセス３００の全てまたは部分は、遠隔同時会議システム（例えば、図１の遠隔同時会議システム１００、図２の遠隔同時会議システム２００）内のドキュメント共有装置（例えば、図１の装置１０５、図２の装置２０５）によって実行されてもよい。他の例示的な実装において、プロセス３００の全てまたは部分は、ドキュメント共有装置と通信を行う他の計算処理デバイス（例えば、図１のデバイス１４０〜１７０、図２のデバイス２４０〜２７０）によって実行されてもよい。プロセス３００は、何れか他の装置によって実行されてもよい。

【0054】

プロセス３００において、ドキュメントと関連付けられる第１画像データが３０５で取得される。例示的な実装のいくつかでは、第１画像データは、ウェブカメラ、深度カメラ、ビデオカメラ、デジタル画像カメラ、または何れか他の撮像デバイスなどの撮像デバイスによって取得されてもよい。

【0055】

しかしながら、例示的な実装はこれらに限定されない。他の例示的な実装では、第１画像データは、撮像デバイスを使用せずに取得されてもよい。例えば、ドキュメントと関連付けられる第１画像データは、ドキュメント共有装置と接続されている計算処理デバイス（例えば、スマートフォン、タブレット、ラップトップ、または何れか他の計算処理デバイス）に記憶されたデータファイルからデジタル的に抽出されてもよい。ドキュメントと関連付けられる第１画像データは、何れか他の機構を使用して取得されてもよい。

【0056】

第１画像データを取得すると、３１０で、第１画像データから、ドキュメントのコンテンツを検出する。ドキュメントのコンテンツは、オブジェクト認識、文字認識、パターン認識または何れか他の画像認識技術の１つもしくは複数を、取得した第１画像データに適用することで検出されてもよい。例示的な実装のいくつかにおいて、ドキュメントコンテンツ検出は、画像データから、ワード、フレーズまたは画像コンテンツを識別することを含んでいてもよい（例えば、画像データに認識技術を適用することで、ワード、フレーズ、または画像コンテンツが識別されてもよい。）。

【0057】

他の例示的な実装において、ドキュメントコンテンツ検出は書式（例えば、行、段落、欄、または何れか他のドキュメント構造）を認識することを含んでいてもよい。例えば、ＸＹカットアルゴリズム（XY-cutting algorithms）を使用して、ドキュメントは二値化され、抽出された構成要素が結合され、ワードまたは行にグループ化され、領域にセグメント化されてもよい。コンテンツ検出の結果は、ワード、行、段落、表、図領域のセットを含んでいてもよい。

【0058】

３１５で、ドキュメントと相対的に位置付けられまたは移動するオブジェクトと関連付けられる第２画像データを取得する。第２画像データは、ウェブカメラ、深度カメラ、ビデオカメラ、デジタルカメラ、または何れか他の撮像デバイスなどの撮像デバイスによって取得されてもよい。例示的な実装のいくつかにおいて、オブジェクトはプレゼンタの手または腕であってよく、第２画像データは手または腕のジェスチャの検出を含んでいてもよい。例えば、検出されたジェスチャは、「サムズアップ」ジェスチャ、「ＯＫ］ジェスチャ、「サムズダウン」ジェスチャ、または何れか他のジェスチャであってよい。

【0059】

例示的な実装のいくつかにおいて、第２画像データを取得する間、３２０で、ドキュメントと相対的に移動するオブジェクトと、ドキュメントと、の間の相対位置が決定される。他の例示的な実装において、ドキュメントとオブジェクトとの間の相対位置は、第２画像データが取得される前に決定されてもよいし、後に決定されてもよい。

【0060】

ドキュメントとオブジェクトとの間の相対位置は、深度カメラで取得された画像データ及び深度データを使用して決定されてもよい。代替的に、ドキュメントとオブジェクトとの間の相対位置は、３次元でオブジェクトの位置をマッピングする静電容量センサまたは他のセンサを使用して決定されてもよい。

【0061】

ドキュメントとオブジェクトとの間の相対位置が決定されると、３２５で、第１画像データ及び第２画像データは、オブジェクトとドキュメントとの間の決定された相対位置に基づいて結合され、結合画像データを生成してもよい。例示的な実装のいくつかにおいて、第２画像データは、オブジェクトとドキュメントとの間の相対位置が、オブジェクトがドキュメントに近い（例えば、オブジェクトとドキュメントとの間の相対的な距離が短い）ことを示す領域で第１画像データの上に追加されてもよいし、重畳されてもよい。例示的な実装において、第２画像データに関連付けられた画像値は、オブジェクトとドキュメントとの間の相対的な距離の関数として低減されてもよい（例えば、オブジェクトがドキュメントから遠ざかるように移動すると、第２画像データの画像値は０に低減される）。第１画像データと第２画像データとを結合するアルゴリズムについては図４を使用して後述する。結合画像データの例示的な実装については、図５Ａ〜図６Ｂを使用して例示する。

【0062】

結合画像データが生成されると、３３０で、結合画像データをユーザに対して表示してもよい。例示的な実装のいくつかにおいて、結合画像データは、画像取得デバイスと離隔して配置された計算処理デバイスに表示されてもよい。例えば、画像取得デバイスは、結合画像データを他のデバイス（例えば、図１のデバイス１４０〜１７０、図２のデバイス２４０〜２７０）に、ネットワーク（例えば、有線ネットワークまたは無線ネットワーク）を経由して、送信するドキュメント共有装置（例えば、図１の装置１０５、図２の装置２０５）と関連付けられていてもよい。他の例示的な実装において、結合画像データは、画像取得デバイスに直接接続されている計算処理デバイスにおいて、ユーザに対して、表示されてもよい。

【0063】

例示的な実装のいくつかにおいて、結合画像データは、表示デバイスに送信される前に生成されてもよい。例示的な実装では、表示デバイスによる処理パワー要求を低減してもよい。他の例示的な実装において、第１画像データ、第２画像データ、及びオブジェクトとドキュメントとの間の相対位置は、別個に表示デバイスに送信され、表示デバイスによって結合画像データが生成されてもよい。例示的な実装は、伝送帯域幅要求を低減してもよい。

【0064】

結合画像データを表示している間、検出されたコンテンツの部分は、オブジェクトとドキュメントとの間の決定された相対位置に基づいて強調されてもよい。例えば、オブジェクトの近くのコンテンツの部分（例えば、オブジェクトに対する相対的な距離が短いコンテンツ）は、強調されてもよいし、オブジェクトに近いコンテンツの部分にアイコンが配置されてもよい。例示的な実装のいくつかにおいて、強調することは、決定された相対位置及び第２画像で検出されたジェスチャに基づいて、アイコンを配置することを含んでいてもよい。他の機構によって、オブジェクトとドキュメントとの間の決定された相対位置に基づいてドキュメントコンテンツの部分を強調してもよい。オブジェクトとドキュメントとの間の相対位置に基づいて検出されたコンテンツの部分を強調する例示的な実装については、図７Ａ〜図９Ｂに関連して後述する。検出されたコンテンツの部分を強調した後、プロセス３００は終了してもよい。

【0065】

図４は、本開示の例示的な実装によるプロセス（例えば、図３のプロセス３００）の間ドキュメントを共有するアルゴリズムのフローチャート４００を例示する。例示的な実装のいくつかにおいて、アルゴリズム４００の全てまたは部分は、遠隔同時会議システム（例えば、図１の遠隔同時会議システム１００、図２の遠隔同時会議システム２００）内のドキュメント共有装置（例えば、図１の装置１０５、図２の装置２０５）によって実行されてもよい。他の例示的な実装において、アルゴリズム４００の全てまたは部分は、ドキュメント共有装置と通信を行う他の計算処理デバイス（例えば、図１のデバイス１４０〜１７０、図２のデバイス２４０〜２７０）によって実行されてもよい。

【0066】

図４の例示的な実装において、画像取得デバイス（例えば、深度カメラ、ウェブカメラ、ビデオカメラまたは他の画像取得デバイス）を使用して、第１画像及び第２画像の双方を取得し、後述するように、画像取得装置から取得されたフレームを背景画像（例えば、第１画像データ）またはマスク画像（例えば、第２画像データ）に分類してもよい。背景画像及びマスク画像は、次に、結合され、後述するように結合画像データを生成してもよい。本開示の例示的な実装はアルゴリズム４００に限定されず、代替的なアルゴリズムを使用してもよい。

【0067】

例示するように、４０５で、新しいフレームＩ（例えば、カラー及び深度画像）を画像取得デバイスによって取得してもよい。例示的な実装のいくつかにおいて、画像取得デバイスは深度カメラ（例えば、ＲＧＢ−Ｄカメラ）であってよい。他の例示的な実装では、他のタイプの画像取得デバイスを使用してもよい。

【0068】

フレームＩが取得されると、４１０で、フレームＩをさらに処理する前に、自動的に、フレームＩをクロッピングし、ドキュメント領域の周囲の領域の何れかを取り除いてもよいが、この処理は必須ではない。自動的なクロッピングは、ドキュメントエッジ検出技術または何れか他の自動クロッピング技術を使用して実行されてもよい。

【0069】

フレームＩが背景フレーム（例えば、第１画像データ）であるか、マスクフレーム（例えば、第２画像データ）であるか判定するために、４１５で、オブジェクト（例えば、プレゼンタの手または腕、ペン、ポインタ、または何れか他のポインティングオブジェクト）が存在しているか否か、フレームＩを分析してもよい。例示的な実装のいくつかにおいて、オブジェクトの検出は、画像取得デバイス（例えば、深度カメラまたは他の画像取得デバイス）によって提供される既存の機能またはアルゴリズムを使用して実行されてもよい。

【0070】

オブジェクトが検出されない場合（例えば、４１５でＮＯの場合）、４２０で、ドキュメント領域のコンテンツが検出される。例示的な実装のいくつかにおいて、ドキュメントコンテンツ検出は、ワード、フレーズまたは画像コンテンツを、フレームＩから識別することを含んでいてもよい（例えば、ワード、フレーズまたは画像コンテンツが、フレームＩに認識技術を適用することで識別されてもよい。）。例示的な実装のいくつかにおいて、ドキュメント領域のコンテンツは、オブジェクト認識、文字認識、パターン認識、または何れか他の画像認識技術の一つもしくは複数を適用することで検出されてもよい。

【0071】

他の例示的な実装において、ドキュメントコンテンツ検出は、ドキュメントと共に書式（例えば、行、段落、欄、または何れか他のドキュメント構造）を認識することを含む。例えば、ドキュメントを二値化し、抽出した構成要素を接続し、ワード、行にグループ化し、ＸＹカットアルゴリズムを使用して領域にセグメント化してもよい。検出の結果は、ワード、行、段落、表及び図領域のセットを含んでいてもよい。

【0072】

ドキュメント領域のコンテンツが検出されると、４２５で、フレームＩは背景画像フレームＢとして保存される。背景画像フレームＢを使用して、後述するように、結合画像データを生成する。

【0073】

４３０で、フレームＩをユーザに対して表示してもよい。例示的な実装のいくつかにおいて、フレームＩは画像取得デバイスから離隔して配置された計算処理デバイスで遠隔ユーザに対して表示されてもよい。例えば、画像取得デバイスは、結合画像データを他のデバイス（例えば、図１のデバイス１４０〜１７０、図２のデバイス２４０〜２７０）に、ネットワーク（例えば、有線ネットワークまたは無線ネットワーク）を介して、送信するドキュメント共有装置（例えば、図１の装置１０５、図２の装置２０５）と関連付けられていてもよい。他の例示的な実装において、フレームＩは画像取得デバイスに直接接続されている計算処理デバイスでユーザに対して表示されてもよい。フレームＩがユーザに対して表示された後、プレゼンテーションが終了したか否かについて判定が行われる。プレゼンテーションが終了した場合（４６０でＹＥＳの場合）、アルゴリズム４００は終了する。プレゼンテーションが終了していない場合（４６０でＮＯの場合）、アルゴリズム４００は４０５に戻り、新しいフレームＩを取得する。

【0074】

アルゴリズム ４００が４１５に戻り、フレームＩでオブジェクトが検出された場合（４１５でＹＥＳの場合）、４３５で、フレームＩは、オブジェクトの前景マスク画像Ｍ（例えば、第２画像データ）として保存される。

【0075】

フレームＩが前景マスク画像Ｍとして保存された後、画素（ｘ，ｙ）のフレームＩの深度値を正規化することで、４４０で、画素を範囲［０．０，１．０］に収める。この範囲は、画像取得デバイス及びドキュメントの検出によって画定される物理世界座標の範囲に対応してもよい。後述するように、背景画像ＢとフレームＩとを混合させるために、例示的な実装のいくつかにおいて、マスク画像Ｍ内の画素だけが必要とされる。マスク画像Ｍ内の画素は深度値に設定されてもよい。
M(x,y)=depth(I(x,y)) (1)

【0076】

マスク画像Ｍ内の画素が正規化された後、４４５で、背景画像Ｂ及びフレームＩを混合し、結合または混合画像Ｊ（例えば、結合画像データ）を生成してもよい。マスク画像内の混合画像Ｊを取得するためにフレーム画像Ｉを背景画像Ｂと混合することは、マスクＭ内の画素の各々の値を式（２）で設定することで実行されてもよい。
J(x,y)=M(x,y)*I(x,y)+(1.0-M(x,y))*B(x,y) (2)

【0077】

マスク画像Ｍ内に存在しない混合画像Ｊの画素の値は、背景画像Ｂの値に設定されてもよい。
J(x, y) = B(x, y) (3)

【0078】

フレームＩと背景画像Ｂとの結合または混合の例示的な実装については、図５Ａ〜図６Ｂを使用して後述する。

【0079】

結合または混合画像Ｊが生成された後、結合画像Ｊはユーザに対して表示されてもよい。例示的な実装のいくつかにおいて、結合画像Ｊは、画像取得デバイスから離隔して配置された計算処理デバイスで遠隔ユーザに対して表示されてもよい。例えば、画像取得デバイスは、結合画像を他のデバイス（例えば、図１のデバイス１４０〜１７０、図２のデバイス２４０〜２７０）に、ネットワーク（例えば、有線ネットワークまたは無線ネットワーク）を介して、送信するドキュメント共有装置（例えば、図１の装置１０５、図２の装置２０５）に関連付けられていてもよい。他の例示的な実装において、結合画像Ｊは、画像取得デバイスに直接接続されている計算処理デバイスでユーザに対して表示されてもよい。

【0080】

例示的な実装のいくつかにおいて、混合画像Ｊが計算処理デバイスに送信され、ユーザに対して表示されてもよい。他の例示的な実装において、フレームＩ、背景画像Ｂ、マスク画像Ｍが計算処理デバイスに別個に送信されてもよい。計算処理デバイスは、ユーザに対して混合画像を表示する前に画像の混合を行ってもよい。例示的な実装によれば、伝送帯域幅に基づいて、低いフレームレートで、高解像度のドキュメント（即ち、背景画像Ｂ）を送信し、一方、高いフレームレートかつ低解像度で、移動するオブジェクト（即ち、前景マスク画像Ｍ）を送信してもよい。

【0081】

結合画像Ｊを表示する間、検出されたコンテンツ領域の部分は、オブジェクトのマスク画像Ｍの深度値に基づいて強調されてもよい。例えば、オブジェクトに近いコンテンツの部分（例えば、オブジェクトに対するコンテンツの相対距離が短い）は、強調されてもよく、オブジェクトに近いコンテンツの部分にアイコンが配置されてもよい。例示的な実装のいくつかにおいて、強調は、決定された相対位置及びマスク画像で検出されたジェスチャに基づくアイコンの配置を含んでいてもよい。オブジェクトとドキュメントとの間の決定した相対位置に基づいてドキュメントコンテンツの部分を強調するために他の機構を使用してもよい。オブジェクトとドキュメントとの間の決定した相対位置に基づいて検出したコンテンツの部分を強調する例示的な実装については、図７Ａ〜図９Ｂを使用して後述する。

【0082】

結合画像Ｊがユーザに対して表示され、検出したコンテンツの部分が強調された後、プレゼンテーションが終了したか否か判定される。プレゼンテーションが終了した場合（４６０でＹＥＳの場合）、アルゴリズム４００は終了する。プレゼンテーションが終了していない場合（４６０でＮＯの場合）、アルゴリズム４００は４０５に戻り、新しいフレームＩを取得する。

【0083】

図５Ａ〜図５Ｃは、本開示の例示的な実装によるドキュメント共有の画面５００〜５１０を例示する。図５Ａは、画像取得デバイスによって取得されたドキュメント５１５の背景画像５００（例えば、第１画像データ）を例示する。背景画像５００はクロッピングされ、ドキュメントコンテンツ５３０の領域の外側は取り除かれる。例示するように、ドキュメント５１５は、計算処理デバイス５３５（例えば、タブレット、スマートフォン、または他の計算処理デバイス）で表示される電子ドキュメントである。

【0084】

図５Ｂは、オブジェクト５２５のマスク画像Ｍ（第２画像データ）を生成するために使用されるフレーム画像５０５（例えば、フレームＩ）を例示する。フレーム画像５０５内で、計算処理デバイス５３５のドキュメント５１５が、オブジェクト５２５の背後に、表示されている。フレーム画像５０５は、オブジェクト５２５とドキュメント５１５との間の横方向及び縦方向の相対位置（例えば、画像内の位置）を判定するために使用されてもよい。

【0085】

上記したように、ドキュメントコンテンツ５３０が検出される例示的な実装において、オブジェクト５２５とドキュメント５３０との間の横方向及び縦方向の相対位置（例えば、画像内の位置）が判定されてもよい。フレーム画像５０５が深度カメラで取得される場合、フレーム画像５０５は、相対的深度（例えば、オブジェクト５２５と画像取得デバイスまたはドキュメント５１５との間の距離）を判定するために使用される深度情報を含んでいてもよい。例示的な実装のいくつかにおいて、オブジェクト５２５の深度情報は、深度または距離センサ（例えば、図２のセンサユニット２７５）を使用して検出されてもよい。

【0086】

図５Ｃは、ユーザに対して表示される結合または混合画像５１０（例えば、混合画像Ｊ）を例示する。例示されるように、ドキュメント５１５の背景画像は、オブジェクト５２５が検出されない領域でドキュメントコンテンツ５３０を描画するために使用される。また、フレーム画像５０５は、背景画像５００に重畳されるオブジェクト５２５のマスク画像を生成するために使用される。図５Ｂ及び図５Ｃにおいて、オブジェクト５２５の領域５４０は、オブジェクト５２５の領域５４５よりもドキュメント５１５に近い（例えば、オブジェクト５２５の領域５４０は、領域５４５より画像取得デバイスに近い）。深度情報に基づいて、オブジェクト５２５のマスク画像は、オブジェクト５２５がドキュメント５１５からより離れている（例えば、画像取得デバイスにより近い）、混合画像５１０の領域で、より透過するように描画される。例示されるように、図５Ｃにおいて、オブジェクト５２５の領域５４５は、オブジェクト５２５の領域５４０よりも透過するように描画される。

【0087】

図６Ａ〜図６Ｅは、本開示の他の例示的な実装によるドキュメント共有の画面６００、６０５〜６０８を例示する。図６Ａは、画像取得デバイスによって取得されるドキュメント６１０の背景画像６００（例えば、第１画像データ）を例示する。例示されるように、ドキュメント６１０は、紙に印刷され、画像取得デバイスの下の面６２０に配置されている。例示的な実装のいくつかにおいて、ドキュメントコンテンツ６２５は、上記した認識技術を使用してドキュメント６１０から検出されてもよい。

【0088】

図６Ｂは、オブジェクト６１５のマスク画像６０７（図６Ｄを使用して後述する）を生成するために使用されるフレーム画像６０５（例えば、フレームＩ）を例示する。フレーム画像６０５は、オブジェクト６１５とドキュメント６１０との間の横方向及び縦方向の相対位置（例えば、画像内の位置）を判定するために使用されてもよい。上記したように、ドキュメントコンテンツ６２５が検出される例示的な実装において、オブジェクト６１５とドキュメントコンテンツ６２５との間の横方向及び縦方向の相対位置（例えば、画像内の位置）が判定されてもよい。

【0089】

図６Ｂ（及び後述する図６Ｃ〜図６Ｅ）において、オブジェクト６１５の領域６３０は、オブジェクト６１５の領域６３５よりも、ドキュメント６１０に近い（例えば、オブジェクト６１５の領域６３５は領域６３０よりも画像取得デバイスに近い）。フレーム画像６０５が深度カメラで取得された場合、フレーム画像６０５は、相対的深度（例えば、オブジェクト６１５と画像取得デバイスまたはドキュメント６１０との間の距離）を判定するために使用される深度情報６０６（図６Ｃで例示される）を含んでいてもよい。オブジェクト６１５の深度情報６０６は、例示的な実装のいくつかにおいて、深度または距離センサ（例えば、図２のセンサユニット２７５）を使用して検出されてもよい。

【0090】

図６Ｃは、フレーム画像６０５（例えば、フレームＩ）から抽出される深度情報６０６を例示する。深度画像６０６は、グレイスケール画像であり、深度カメラに近いポイントほど濃いグレイで表されている（画像を処理する際、無視してよい雑音領域は黒で表されている）。上記したように、オブジェクト６１５の領域６３０は、オブジェクト６１５の領域６３５よりもドキュメント６１０に近い（例えば、オブジェクト６１５の領域６３５は領域６３０よりも画像取得デバイスに近い）。すなわち、オブジェクト６１５の領域６３０は、領域６４０において相対的に薄いグレイ値を有し、オブジェクト６１５の領域６３５は、領域６４５において相対的に濃いグレイ値を有する。深度情報６０６は、図６Ｅの混合画像６０８を生成するために、図６Ｄのマスク画像６０７と図６Ｂのフレーム画像６０５との結合または混合のために使用されてもよい。

【0091】

図６Ｄは、フレーム画像６０５（例えば、フレームＩ）から抽出されるオブジェクト６１５のマスク画像６０７を例示する。オブジェクト６１５の領域６３０は、オブジェクト６１５の領域６３５よりドキュメント６１０に近い（例えば、オブジェクト６１５の領域６３５は、領域６３０よりも画像取得デバイスに近い）。マスク画像６０７は他の背景情報を全て取り除いてオブジェクト６１５を例示する。

【0092】

図６Ｅは、ユーザに対して表示される結合または混合画像６０８（例えば、混合画像Ｊ）を例示する。例示されるように、ドキュメント６１０の背景画像６００（図６Ａに例示される）は、オブジェクト６１５が検出されないドキュメントコンテンツ６２５の領域を描画するために使用される。また、フレーム画像６０５は、背景画像６００に重畳されるオブジェクト６１５のマスク画像６０７（図６Ｄに例示される）を作成するために使用される。深度情報６０６（図６Ｃに例示される）に基づいて、オブジェクト６１５を作り出すマスク画像６０７（図６Ｄに例示される）内のフレーム画像（例えば、フレームＩ）の画素は、オブジェクトがドキュメント６１０から離れているほど（例えば、画像取得デバイスに近いほど）混合画像６０８の領域でより透過するように描画される。例示されるように、図６Ｅにおいて、オブジェクト６１５の領域６３５は、オブジェクト６１５の領域６３０よりも透過するように描画される。

【0093】

図７Ａ及び図７Ｂは、本開示によるドキュメントコンテンツ上のアイコンを表示する例示的な実装を示す。図７Ａは、オブジェクト７１０に最も近いポイントでドキュメント７０５に配置されたアイコン７１５の第１実装７００を例示する。アイコン７１５は、ドット、ボックス、矢印、または何れか他のアイコンであってよいが、これらに限定されない。

【0094】

例示的な実装のいくつかにおいて、アイコン７１５は、オブジェクト７１０とドキュメント７０５との間の横方向の相対位置（画像内の位置）にだけ基づいて配置されてもよい。

【0095】

例えば、オブジェクト認識アルゴリズムが、オブジェクト７１０がどの方向を指し示しているかを判定するために使用され、アイコン７１５は、ドキュメント７０５で、オブジェクト７１０が指し示している位置に最も近いポイントに配置されてもよい。アイコン７１５は、横方向の相対位置（例えば、画像内の位置）だけに基づいて配置されてもよいので、深度カメラまたはセンサからの相対的な深度位置情報はなくてもよい。したがって、アイコン７１５の配置は単純化されてもよい。

【0096】

図７Ｂは、ドキュメント７２５で、オブジェクト７３０の向き及び位置に基づいて推測されるポイントに、アイコン７４０が配置される第２実装７２０を例示する。アイコン７４０は、ドット、ボックス、矢印、何れか他のアイコンを含んでいてもよいが、これらに限定されない。

【0097】

例示的な実装のいくつかにおいて、アイコン７４０は、オブジェクト７３０とドキュメント７２５との間の横方向の相対位置（例えば、画像内の位置）と縦方向の相対位置（例えば、画像取得デバイスまたはドキュメントからの深度または距離）の双方に基づいて配置されてもよい。図８Ａ及び図８Ｂを使用して後述するように、オブジェクト７３０の向きは、オブジェクト７３０の横方向及び縦方向の検出した相対位置に基づいて判定されてもよい。検出した向きに基づいて、オブジェクト７３０が指し示しているドキュメント７２５のポイントを抽出し、アイコン７４０を抽出したポイントに配置してもよい。

【0098】

図８Ａ及び図８Ｂは、本開示の例示的な実装によるオブジェクト８１０が指し示しているドキュメント８０５の領域８４５の抽出を例示する。図８Ａは、ドキュメント８０５の上で検出されるオブジェクト８１０と、支持面８０２に配置されているドキュメント８０５と、を側面から見た図である。図８Ｂは、ドキュメント８０５の上で検出されるオブジェクト８１０を上から見た図である。例示的な実装において、深度情報は、支持面８０２の上の空間の３次元幾何モデルを生成するために使用され、オブジェクトに沿った線及び、線とドキュメント面との交差位置を推測し、カーソルまたはアイコンの混合画像での配置を決定する。

【0099】

例えば、オブジェクト８１０の最も低いポイント８２０（例えば、ドキュメント８０５に最も近いオブジェクト８１０のポイント）は、深度カメラまたは他の深度センサからの深度情報に基づいて識別されてもよい。オブジェクトの識別された最も低いポイント８２０に基づいて、オブジェクト８１０が最も低いポイント８２０を通る向きの面８２５が、オブジェクト追跡アルゴリズムを使用して識別されてもよい。オブジェクトの向きの面８２５が識別されると、識別した面８２５とドキュメント８０５の面８１５との間の交差線８３０が判定されてもよい。

【0100】

交差線８３０を使用して、上から見て（画像取得デバイスから見て）、交差線８３０に最も近いオブジェクト８１０のポイント８３５を識別する。オブジェクト８１０の識別したポイント８３５に基づいて、オブジェクト８１０の指示方向ベクトル８４０を、マッピング及びオブジェクト認識アルゴリズムを使用して決定してもよい。指示方向ベクトル８４０と交差線８３０との間の交差点をドキュメント８０５上で識別し、図７Ｂを使用して上記したように、カーソルまたはアイコンの配置に使用してもよい。

【0101】

上記オブジェクト位置追跡を使用して、例示的な実装は、オブジェクト（例えば、手、指、または腕）の動きを、ハイライト、ズーム、ぼかし／鮮鋭化、注釈の付加などの特定のアクションにマッピングしてもよい。例えば、オブジェクト（例えば、手、指または腕）の動きをマッピングすることで、ユーザがコンテンツ（例えば、ワード及びテキスト行）の意味論的意味の部分と相互関与することができる。コンテンツのこれらの部分は、ストレージデバイスに記憶されるドキュメント（例えば、ドキュメントファイル）の電子版の符号化に基づいて、利用可能であってよい。代替的に、コンテンツのこれらの部分は、ドキュメントコンテンツ分析アルゴリズムによって決定されてもよい。また、レイアウト分析をドキュメントに対して実行し、ワードまたはテキスト行、欄、画像領域及びこれらの境界ボックスを識別してもよい。

【0102】

また、オブジェクトが指し示している場所を判定し（例えば、図８Ａ及び図８Ｂを使用して上記した３次元モデリングを使用して）、指し示されているワードまたは行をハイライトして（例えば、ボックスを使用して）描画することによって、指し示されているものに基づいて、コンテンツとの様々な相互関与が可能となってもよい。例えば、図９Ａ及び図９Ｂは、本開示の例示的な実装に基づくドキュメントコンテンツとの様々な相互関与を例示する。

【0103】

図９Ａは、ドキュメントコンテンツ９１５との第１の相互関与で表示される画像９００を例示する。例示されるように、オブジェクト９１０（例えば、手、腕、指または他のポインティングオブジェクト）が、コンテンツ９１５の部分（例えば、ワード）の近くで、ドキュメント上に例示される。コンテンツ９１５の部分（例えば、ワード）の近くでオブジェクト９１０を検出すると、コンテンツ９１５のコンテンツの部分（例えば、ワード）をハイライトするボックス９２０を表示画像９００に追加する。

【0104】

図９Ｂは、ドキュメントコンテンツ９４０との第２の相互関与の表示画像９２５を例示する。例示されるように、オブジェクト９３５（例えば、手、腕、指または他のポインティングオブジェクト）がコンテンツ９４０の大きい部分（例えば、行）の近くのドキュメント９３０の端部９５０の近くに例示される。コンテンツ９４０の大きい部分（例えば、行）の近くのドキュメント９３０の端部９５０の近くのオブジェクト９３５を検出することに基づいて、コンテンツ９４０のコンテンツの大きい部分（例えば、行）をハイライトするボックス９４５が表示画像９２５に追加される。ドキュメントコンテンツ９４０との相互関与の他の例示的な実装については後述する。

【0105】

例示的な実装のいくつかにおいて、ドキュメントの上で検出されたオブジェクトは、ユーザの手または腕であってよく、ドキュメントコンテンツの領域の上のユーザの手または腕の位置によって、ドキュメントへの重畳またはドキュメントの拡大が行われてもよい。例を以下に示す。
●テキストハイライト：テキストラインを指し示している間、ユーザが指または腕を横方向に動かすと、関心領域を遠隔ユーザが理解する支援となるように、テキストを一時的にハイライトしてもよい。
●領域の拡大：ドキュメントの部分の上でユーザが数回タップすると、ドキュメントの部分を拡大してもよい。
●領域の鮮鋭化／領域以外のぼかし：段落領域の近くでユーザが指または腕を縦方向に動かすと、注釈を生成し、必須ではないが、ドキュメントページの段落領域以外をぼかし、及び／または選択された段落領域の解像度を増大して表示する。
●クロッピング：ユーザは領域を「クロッピング」するために手または腕の双方を使用してもよい。
●欄のハイライト：表欄上でユーザが指を縦方向に動かすと、欄全体をハイライトする。

【0106】

また、ドキュメントの部分を指し示している間に、プレゼンタはジェスチャを行ってもよい（例えば、サムズアップ（「良い」）、サムズダウン（「悪い」）、手を振る（「わからない」）、開いた手を置く（「これは何？」））。例示的な実装のいくつかにおいて、これらのジェスチャは、画像取得デバイスによって認識されてもよく、ジェスチャによって表されることが、プレゼンタが指し示している位置に隣接して、ドキュメント上に表示されてもよい。これにより、遠隔に存在する参加者は、ドキュメントの詳細と共に、プレゼンテーションに付随するジェスチャを見ることができる。例えば、認識されたジェスチャは、そのまま表示されてもよいし、より抽象的なグラフィック表示（例えば、サムズアップアイコン、クエスチョンマークアイコンなど）に置き替えられてもよい。例示的な実装のいくつかにおいて、共有または提示ドキュメントは、アーカイブするために取得されてもよい。例えば、プレゼンタは、リアルタイムでは遠隔会議に参加することができない他のユーザとドキュメントについて議論し、そのドキュメントを当該他のユーザと共有する。共有したドキュメントは取得され、その他のユーザが後で見ることができるように保存される。ユーザがアーカイブした共有ドキュメントを再生すると、以前のプレゼンテーションで行われた重要なジェスチャが再生を見ているユーザに提示されてもよい。即ち、注釈を生成するジェスチャが取得され、著者が意図するページに配置されてもよい。

【0107】

「評価」
インテルＦ２００ＲＧＢ−Ｄカメラを使用して、評価用プロトタイプを構築した。評価のために、カラー及び深度画像を６０ｆｐｓ（フレーム毎秒）で取得し、画像処理（即ち、背景分離、アルファブレンディング）は速度を落とし４５ｆｐｓで行った。これらの速度は、標準的なビデオ速度３０ｆｐｓよりも好ましい結果を産む。別個のモジュールをつくり、遠隔クライアントへの混合画像の送信を評価した。フレーム画像は、非圧縮でＬＡＮ上を送信され、画像データは速度１２０ｆｐｓで送信可能であり、画像を受信デバイスのウィンドウで表示する場合でも、５０ｆｐｓで送信することができた。

【0108】

「環境例」
図１０は、例示的な実装のいくつかにおける使用に適した例示的な計算処理デバイス１００５によって遠隔同時会議で使用され得る計算処理環境１０００を例示する。計算処理環境１０００の計算処理装置１００５は、１つもしくは複数の処理ユニット、コアまたはプロセッサ１０１０、メモリ１０１５（例えば、ＲＡＭ、ＲＯＭなど）、内部ストレージ１０２０（例えば、磁気、光、ソリッドステート及び／または有機）、及び／または、Ｉ／Ｏインターフェイス１０２５を含み、これらの何れかは通信機構またはバス１０３０と接続され、情報を伝達してもよいし、計算処理デバイス１００５に埋め込まれていてもよい。

【0109】

計算処理デバイス１００５は、入力／ユーザインターフェイス１０３５及び出力デバイス／インターフェイス１０４０に、通信可能に接続されていてもよい。入力／ユーザインターフェイス１０３５及び出力デバイス／インターフェイス１０４０の一方または双方は、有線または無線インターフェイスであってよく、取り外し可能であってよい。入力／ユーザインターフェイス１０３５は、何れかのデバイス、コンポーネント、センサ、またはインターフェイスであってよく、物理的または仮想的であってよく、入力（例えば、ボタン、タッチスクリーンインターフェイス、キーボード、ポインティング／カーソル制御、マイクロフォン、カメラ、点字器、モーションセンサ、オプティカルリーダーなど）を提供するために使用されてもよい。出力デバイス／インターフェイス１０４０は、ディスプレイ、テレビ、モニタ、プリンタ、スピーカ、点字器などを含んでいてもよい。例示的な実装のいくつかにおいて、入力／ユーザインターフェイス１０３５及び出力デバイス／インターフェイス１０４０は、計算処理デバイス１００５に埋め込まれていてもよいし、計算処理デバイス１００５と物理的に接続されていてもよい。他の例示的な実装において、他の計算処理デバイスが、入力／ユーザインターフェイス１０３５及び出力デバイス／インターフェイス１０４０として機能してもよいし、これらの機能を計算処理デバイス１００５に提供してもよい。

【0110】

計算処理デバイス１００５の例は、高機能モバイルデバイス（例えば、スマートフォン、車及び他のマシンの搭載デバイス、人または動物によって搬送されるデバイスなど）、モバイルデバイス（例えば、タブレット、ノートブック、ラップトップ、パーソナルコンピュータ、ポータブルテレビ、ラジオなど）、固定デバイス（例えば、デスクトップコンピュータ、サーバデバイス、他のコンピュータ、情報キオスク、１つもしくは複数のプロセッサが埋め込まれているか接続されているテレビ、ラジオなど）を含んでいてもよいが、これらに限定されない。

【0111】

計算処理デバイス１００５は、何れかの複数のネットワークコンポーネントデバイス、及び、同じまたは異なる構成を有する１つもしくは複数の計算処理デバイスを含むシステムと通信するネットワーク１０５０及び外部ストレージ１０４５に、通信可能に（例えば、Ｉ／Ｏインターフェイス１０２５を介して）接続されていてもよい。計算処理デバイス１００５または何れかの接続計算処理デバイスは、サーバ、クライアント、シンサーバ、汎用マシン、特定用途マシン、または他のものとして機能してもよいし、これらのサービスを提供してもよいし、これらを参照してもよい。

【0112】

Ｉ／Ｏインターフェイス１０２５は、計算処理環境１０００内の少なくとも全ての接続されたコンポーネント、デバイス、及びネットワークへ通信を送るための、及び／または、これらからの通信を受け取るための、通信またはＩ／Ｏプロトコル、または標準（例えば、イーサネット（登録商標）、８０２．１１ｘ、ＵＳＢ（Universal System Bus）、ＷｉＭＡＸ、モデム、携帯電話ネットワークプロトコルなど）の何れかを使用した有線及び／または無線インターフェイスを含んでいてもよいが、これらに限定されない。ネットワーク１０５０は、ネットワークまたはネットワークの組み合わせ（例えば、インターネット、ＬＡＮ（local area network）、ＷＡＮ（wide area network）、電話ネットワーク、携帯電話ネットワーク、衛星ネットワークなど）の何れかであってよい。

【0113】

計算処理デバイス１００５は、一時的媒体及び非一時的媒体を含むコンピュータ使用可能またはコンピュータ読み取り可能媒体を使用し、及び／または、これらを使用した通信を行ってもよい。一時的媒体は、伝送媒体（例えば、金属ケーブル、光ファイバー）、データ、搬送波などを含む。非一時的媒体は、磁気媒体（例えば、ディスク及びテープ）、光媒体（例えば、ＣＤ ＲＯＭ、デジタルビデオディスク、ブルーレイディスク）、ソリッドステート媒体（例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ソリッドステートストレージ）、及び他の不揮発性ストレージまたはメモリを含む。

【0114】

計算処理デバイス１００５は、例示的な計算処理環境のいくつかにおいて、技術、方法、アプリケーション、プロセス、または、コンピュータ実行可能命令を実装するために使用されてもよい。コンピュータ実行可能命令は、一時的媒体から取り出され、非一時的媒体に記憶され、非一時的媒体から取り出されてもよい。実行可能命令は、プログラミング、スクリプト、及びマシン言語（例えば、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）、Ｖｉｓｕａｌ Ｂａｓｉｃ、Ｐｙｔｈｏｎ、Ｐｅｒｌ、ＪａｖａＳｃｒｉｐｔ（登録商標）など）の何れか１つもしくは複数から生成されてもよい。

【0115】

プロセッサ１０１０は、物理的または仮想的な環境において、何れかの（図示しない）オペレーティングシステムの下で稼動してもよい。１つもしくは複数のアプリケーションは、論理ユニット１０５５、ＡＰＩ（application programming interface）ユニット１０６０、入力ユニット１０６５、出力ユニット１０７０、画像データ取得ユニット１０７５、コンテンツ検出ユニット１０８０、相対位置検出ユニット１０８５、画像データ結合ユニット１０９０、及び、異なるユニットが相互に通信を行うためのユニット間通信機構１０９５を含み、オペレーティングシステム、及び他のアプリケーション（図示しない）と共に、展開されてもよい。例えば、画像データ取得ユニット１０７５、コンテンツ検出ユニット１０８０、相対位置検出ユニット１０８５、及び画像データ結合ユニット１０９０は、図３及び図４に示される１つもしくは複数のプロセスを実装してもよい。上記ユニット及び要素は設計、機能、構成、または実装において変更可能であり、上記に限定されない。

【0116】

例示的な実装のいくつかにおいて、情報または実行命令がＡＰＩユニット１０６０によって受信されると、１つもしくは複数の他のユニット（例えば、論理ユニット１０５５、入力ユニット１０６５、出力ユニット１０７０、画像データ取得ユニット１０７５、コンテンツ検出ユニット１０８０、相対位置決定ユニット１０８５、及び画像データ結合ユニット１０９０）に情報または実行命令を伝達してもよい。例えば、画像データ取得ユニット１０７５がドキュメントの画像データを取得すると、画像データは、コンテンツ検出ユニット１０８０に送信され、ドキュメントのコンテンツが検出されてもよい。また、相対位置決定ユニット１０８５は、ドキュメントに対するオブジェクトの相対位置を決定し、画像データ結合ユニット１０９０に相対位置情報を提供してもよい。さらに、画像データ結合ユニット１０９０は、画像データ取得ユニット１０７５及び相対位置決定ユニット１０８５によって取得された第１及び第２画像データに基づいて結合画像データを生成してもよい。

【0117】

上記例示的な実装のいくつかによる例のいくつかにおいて、論理ユニット１０５５は、ユニット間の情報フローを制御し、ＡＰＩユニット１０６０、入力ユニット１０６５、出力ユニット１０７０、画像データ取得ユニット１０７５、コンテンツ検出ユニット１０８０、相対位置決定ユニット１０８５、及び画像データ結合ユニット１０９０によって提供されるサービスを指示する。例えば、１つもしくは複数のプロセスまたは実装の流れは、論理ユニット１０５５単独で制御されてもよいし、論理ユニット１０５５とＡＰＩユニット１０６０とによって制御されてもよい。

【0118】

いくつかの例示的な実装について記載したが、これらの例示的な実装に限定されることなく、例示的な実装によって説明した内容については様々な実装が可能である。当該内容は、上記定義または説明された詳細がなくても、また、説明されていない他のまたは異なる要素によっても実行可能である。また、当該内容から乖離することなく例示的な実装に変更を加えることも可能である。

【符号の説明】

【0119】

１０１０ プロセッサ
１０１５ メモリ
１０５０ ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図6A】

【図6B】

【図6C】

【図6D】

【図6E】

【図7A】

【図7B】

【図8A】

【図8B】

【図9A】

【図9B】

【図10】