特開 2024-117726 ＬｉＤＡＲを使用して文書印刷のための印刷可能エリアを定義すること

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024117726

(43)【公開日】2024-08-29

(54)【発明の名称】ＬｉＤＡＲを使用して文書印刷のための印刷可能エリアを定義すること

(51)【国際特許分類】

   G06F 3/12 20060101AFI20240822BHJP

   G06T 19/00 20110101ALI20240822BHJP

   B41J 5/30 20060101ALI20240822BHJP

【ＦＩ】

G06F3/12 323

G06T19/00 600

B41J5/30 Z

G06F3/12 343

G06F3/12 356

G06F3/12 308

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024010998

(22)【出願日】2024-01-29

(31)【優先権主張番号】18/171,076

(32)【優先日】2023-02-17

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】596170170

【氏名又は名称】ゼロックス コーポレイション

【氏名又は名称原語表記】ＸＥＲＯＸ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(74)【代理人】

【識別番号】100141553

【弁理士】

【氏名又は名称】鈴木 信彦

(72)【発明者】

【氏名】ショーバン クマール ジャヤラジ デバドス

(72)【発明者】

【氏名】パンディアラジャン スブラマニアン

(72)【発明者】

【氏名】ジェフリー エイ．チェスター

【テーマコード（参考）】

2C187

5B050

【Ｆターム（参考）】

2C187AD14

2C187BH27

2C187DB28

5B050AA09

5B050BA06

5B050BA09

5B050BA11

5B050BA13

5B050BA20

5B050CA07

5B050CA08

5B050DA01

5B050EA08

5B050EA13

5B050EA19

5B050EA26

5B050FA02

5B050FA05

5B050FA09

(57)【要約】      （修正有）

【課題】拡張現実を使用して印刷テンプレートを作成するための方法及びシステムが開示される。
【解決手段】環境内の標的エリアの三次元（３Ｄ）表現を取得する深度センサ及びディスプレイデバイスを含み、環境の画像を取得及び表示するモバイル電子デバイスであって、３Ｄ表現を処理して標的エリアの境界を識別し、表面マップを生成し、標的エリア上に配置されるコンテンツを識別し、境界内にフィットするようにサイズ決めされており、かつ、表面マップに適合した基材上にコンテンツを印刷するための印刷ジョブを生成する。
【選択図】図３

【特許請求の範囲】

【請求項1】

拡張現実を使用して印刷テンプレートを作成するための方法であって、前記方法が、
深度センサとディスプレイデバイスとを含むモバイル電子デバイスのプロセッサによって、
前記ディスプレイデバイスに環境の画像を表示させることと、
前記深度センサに、前記画像内にある前記環境の標的エリアの三次元（３Ｄ）表現を取得させることと、
前記モバイル電子デバイスの前記プロセッサ及び／又は別の電子デバイスのプロセッサによって、
前記３Ｄ表現を処理して前記標的エリアの境界を識別し、表面マップを生成することと、
前記環境内の前記標的エリア上に印刷及び配置されるコンテンツを識別することと、
印刷デバイスに、前記境界内にフィットするようにサイズ決定されており、かつ前記表面マップに適合した基材上に前記コンテンツを印刷させるように構成された印刷ジョブを生成することと、
前記ディスプレイデバイスに、前記画像内の前記標的エリアの上に前記コンテンツを示めさせることと、を含む、方法。

【請求項2】

印刷デバイスによって、前記印刷ジョブを処理して、前記境界内にフィットするように集合的にサイズ決定されており、かつ前記表面マップに適合するように成形された１つ以上の基材上に前記コンテンツを印刷することを更に含む、請求項１に記載の方法。

【請求項3】

前記プロセッサのうちの１つ以上によって、
前記画像を前記印刷ジョブに関連付けて保存することと、
前記基材の第１の面に前記コンテンツを印刷し、前記基材の第２の面に前記画像を印刷するための命令を前記印刷ジョブに含めることと、を更に含む、請求項１に記載の方法。

【請求項4】

前記モバイル電子デバイスの位置センサによって、前記深度センサが前記標的エリアの前記３Ｄ表現を取得する時間に近接する時間内に、前記環境に対する場所データをキャプチャすることと、
前記基材の第１の面に前記コンテンツを印刷し、前記基材の第２の面に、前記場所データに対応する場所を印刷するための命令を前記印刷ジョブに含めることと、を更に含む、請求項３に記載の方法。

【請求項5】

前記画像を前記印刷ジョブに関連付けて保存することと、
前記印刷デバイスが前記印刷ジョブを使用して前記コンテンツを１つ以上の基材上に印刷した後に、前記ディスプレイデバイスに、前記コンテンツが前記標的エリア上に配置された状態で、前記画像を表示させることと、を更に含む、請求項１に記載の方法。

【請求項6】

前記深度センサに前記３Ｄ表現を取得させる前に、前記モバイル電子デバイスのユーザインターフェースを介して、前記標的エリアの選択を受信することを更に含む、請求項１に記載の方法。

【請求項7】

前記深度センサが、ＬｉＤＡＲシステムを含み、
前記深度センサに、前記標的エリアの前記３Ｄ表現を取得させることが、前記ＬｉＤＡＲシステムに、前記標的エリアの３Ｄメッシュを生成させることを含む、請求項１に記載の方法。

【請求項8】

前記印刷ジョブを生成することが、前記コンテンツが前記標的エリアの前記境界内にフィットするようにスケーリングされている印刷テンプレートに前記コンテンツを適用することを含む、請求項１に記載の方法。

【請求項9】

前記印刷ジョブを生成することが、前記標的エリアの前記表面マップにフィットするように前記コンテンツを歪ませることを更に含む、請求項８に記載の方法。

【請求項10】

前記深度センサに前記標的エリアの前記３Ｄ表現を取得させることに関連して、前記深度センサが複数の角度から前記標的エリアに対するデータをキャプチャすることを可能にする位置に前記デバイスを移動させるように前記モバイル電子デバイスのユーザをガイドするためのプロンプトを出力することを更に含む、請求項１に記載の方法。

【請求項11】

印刷テンプレートを作成するためのシステムであって、前記システムが、
モバイル電子デバイスであって、
深度センサと、
ディスプレイデバイスと、を備える、モバイル電子デバイスと、
プログラミング命令を含むメモリと、を備え、前記プログラミング命令が、１つ以上のプロセッサに、
ディスプレイに環境の画像を表示させることと、
前記深度センサに、前記画像内にある前記環境の標的エリアの三次元（３Ｄ）表現を取得させることと、
前記３Ｄ表現を処理して前記標的エリアの境界を識別し、表面マップを生成することと、
前記環境内の前記標的エリア上に印刷及び配置されるコンテンツを識別することと、
印刷デバイスに、前記境界内にフィットするようにサイズ決定されており、かつ前記表面マップに適合した基材上に前記コンテンツを印刷させるように構成された印刷ジョブを生成することと、
前記ディスプレイデバイスに、前記画像内の前記標的エリアの上に前記コンテンツを示めさせることと、を行わせるように構成されている、システム。

【請求項12】

印刷デバイスと、
前記印刷デバイスに、前記印刷ジョブを処理して、前記境界内にフィットするように集合的にサイズ決定されており、かつ前記表面マップに適合するように成形された１つ以上の基材上に前記コンテンツを印刷することを行わせるように構成されている追加のプログラミング命令と、を更に含む、請求項１１に記載のシステム。

【請求項13】

追加のプログラミング命令を更に含み、前記追加のプログラミング命令が、前記１つ以上のプロセッサに、
前記画像を前記印刷ジョブに関連付けて保存することと、
前記基材の第１の面に前記コンテンツを印刷し、前記基材の第２の面に前記画像を印刷するための命令を前記印刷ジョブに含めることと、を行わせるように構成されている、請求項１１に記載のシステム。

【請求項14】

前記モバイル電子デバイスは、位置センサを更に備え、
前記システムが、追加のプログラミング命令を含み、前記追加のプログラミング命令が、前記１つ以上のプロセッサに、
前記位置センサに、前記深度センサが前記標的エリアの前記３Ｄ表現を取得する時間に近接する時間内に、前記環境に対する場所データをキャプチャさせることと、
前記基材の第１の面に前記コンテンツを印刷し、前記基材の第２の面に、前記場所データに対応する場所を印刷するための命令を前記印刷ジョブに含めることと、を行わせるように構成されている、請求項１３に記載のシステム。

【請求項15】

追加のプログラミング命令を更に含み、前記追加のプログラミング命令が、前記１つ以上のプロセッサに、
前記画像を前記印刷ジョブに関連付けて保存することと、
前記印刷デバイスが前記印刷ジョブを使用して、１つ以上の基材上に前記コンテンツを印刷した後に、前記ディスプレイデバイスに、前記コンテンツが前記標的エリア上に配置された状態で、前記画像を表示させることと、を行わせるように構成されている、請求項１１に記載のシステム。

【請求項16】

追加のプログラミング命令を更に含み、前記追加のプログラミング命令が、前記１つ以上のプロセッサに、前記深度センサに前記３Ｄ表現を取得させる前に、ユーザに前記標的エリアを選択するように促すことを行わせるように構成されている、請求項１１に記載のシステム。

【請求項17】

前記深度センサが、ＬｉＤＡＲシステムを含み、
前記深度センサに、前記標的エリアの前記３Ｄ表現を取得させるための前記命令が、前記ＬｉＤＡＲシステムに、前記標的エリアの３Ｄメッシュを生成させるための命令を含む、請求項１１に記載のシステム。

【請求項18】

前記印刷ジョブを生成するための前記命令は、
前記コンテンツが前記標的エリアの前記境界内にフィットするようにスケーリングされている印刷テンプレートに前記コンテンツを適用し、かつ
前記標的エリアの前記表面マップにフィットするように前記コンテンツを歪ませるための命令を含む、請求項１１に記載のシステム。

【請求項19】

前記深度センサに前記標的エリアの前記３Ｄ表現を取得させることに関連して、前記深度センサが複数の角度から前記標的エリアに対するデータをキャプチャすることを可能にする位置に前記デバイスを移動させるように前記モバイル電子デバイスのユーザをガイドするためのプロンプトを出力するためのプログラミング命令を更に含む、請求項１１に記載のシステム。

【請求項20】

メモリとプログラミング命令とを備えるコンピュータプログラム製品であって、前記プログラミング命令が、１つ以上のプロセッサに、
モバイル電子デバイスのディスプレイデバイスに、環境の画像を表示させることと、
前記モバイル電子デバイスの深度センサに、前記画像内にある前記環境の標的エリアの三次元（３Ｄ）表現を取得させることと、
前記３Ｄ表現を処理して前記標的エリアの境界を識別し、表面マップを生成することと、
前記環境内の前記標的エリア上に印刷及び配置されるコンテンツを識別することと、
印刷デバイスに、前記境界内にフィットするようにサイズ決定されており、かつ前記表面マップに適合した基材上に前記コンテンツを印刷させるように構成された印刷ジョブを生成することと、
前記ディスプレイデバイスに、前記画像内の前記標的エリアの上に前記コンテンツを示めさせることと、を行わせるように構成されている、コンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、カスタム印刷の分野に関し、特に、印刷されて既存の表面に適用される文書のためのカスタマイズされた印刷テンプレートを開発するための方法及びシステムに関する。

【背景技術】

【0002】

印刷システムが文書を印刷する準備をするときに、印刷システムは、通常、印刷テンプレートを使用して、コンテンツが印刷される境界を定義する。境界は、通常、既知の基材のサイズ及び形状に対応する（又は少なくともそれよりも大きくない）サイズ及び形状を有する。しかしながら、全ての印刷アプリケーションが事前定義された基材を伴うわけではない。例えば、ユーザは、ポスターを印刷して、ユーザのオフィス、自宅、又はポスターが場所のサイズに好適な他の場所の特定の場所につり下げることを望むことがある。別の例として、商業ユーザは、会場の既存の構造にフィットする広告又は他の画像を印刷することを望むことがある。スタジアム、アリーナ、又は他の娯楽会場のステップなどのいくつかの状況では、場所又は構造は、二次元の平坦表面ではないことがある。このような場所では、カスタムプリントデカールは、画像が複数のデカールの間でスプリットされるように設計されてもよく、複数のデカールは、次いで、複数の階段ライザに適用されて、集合画像を形成してもよい。

【0003】

現在、上述したような独特な場所に印刷される文書の印刷テンプレートの境界を定義するために、ユーザは、場所を手動で測定し、次いで、印刷される各文書のテンプレートをカスタマイズする必要がある。これは時間がかかり、潜在的にエラーを起こしやすいプロセスである。加えて、環境の拡張現実又は二次元（two-dimensional、２Ｄ）画像を使用して、文書が環境内でどのように見えるかを示すいくつかの印刷システムが存在するが、このようなシステムは、湾曲又は他の不規則な表面エリアを考慮することができず、照明が画像キャプチャにとって理想的ではない環境において標的エリアを定義することが困難である可能性がある。したがって、独特の表面のための複雑なカスタマイズされた印刷テンプレートを設計するためのより良いシステム及び方法が必要とされる。

【発明の概要】

【0004】

様々な実施形態では、本明細書は、拡張現実を使用して、印刷テンプレートを作成するための方法を説明する。本方法では、深度センサ及びディスプレイデバイスを含むモバイル電子デバイスのプロセッサは、ディスプレイデバイスに、環境の画像を表示させる。プロセッサはまた、深度センサに、環境内の標的エリアの三次元（three-dimensional、３Ｄ）表現を取得させ、標的エリアは、画像内に現れる。モバイル電子デバイスのプロセッサ及び／又は別の電子デバイスのプロセッサは、（ｉ）３Ｄ表現を処理して標的エリアの境界を識別し、表面マップを生成し、（ｉｉ）環境内の標的エリア上に印刷及び配置されるコンテンツを識別し、（ｉｉｉ）印刷デバイスに、境界内にフィットするようにサイズ決定されており、かつ表面マップに適合した基材上にコンテンツを印刷させるように構成された印刷ジョブを生成し、かつ（ｉｖ）ディスプレイデバイスに、画像内の標的エリアの上にコンテンツを示めさせる。

【0005】

任意選択で、上記の方法では、印刷デバイスは、印刷ジョブを処理して、境界内にフィットするように集合的にサイズ決定されており、かつ表面マップに適合するように成形された１つ以上の基材上にコンテンツを印刷してもよい。

【0006】

任意選択で、上述の実施形態のいずれかにおいて、プロセッサのうちの１つ以上は、画像を印刷ジョブに関連付けて保存し、かつ基材の第１の面にコンテンツを印刷し、基材の第２の面に画像を印刷するための命令を印刷ジョブに含めることができる。また任意選択で、モバイル電子デバイスの位置センサは、深度センサが標的エリアの３Ｄ表現を取得する時間に近接する時間内に、環境に対する場所データをキャプチャしてもよく、１つ以上のプロセッサは、次いで、基材の第１の面にコンテンツを印刷し、基材の第２の面に、場所データに対応する場所を印刷するための命令を印刷ジョブに含めてもよい。

【0007】

任意選択で、上述の実施形態のいずれかでは、プロセッサのうちの１つ以上は、画像を印刷ジョブに関連付けて保存し、かつ印刷デバイスが印刷ジョブを使用して、コンテンツを１つ以上の基材上に印刷した後に、ディスプレイデバイスに、コンテンツが標的エリア上に配置された状態で、画像を表示させることができる。

【0008】

任意選択で、上述の実施形態のいずれかでは、深度センサは、３Ｄ表現を取得してもよい。加えて、デバイスは、ユーザインターフェースを介してユーザから、標的エリアの選択を受信してもよい。

【0009】

任意選択で、上述の実施形態のいずれかでは、深度センサは、ＬｉＤＡＲシステムを含み得、深度センサに標的エリアの３Ｄ表現を取得させることは、ＬｉＤＡＲシステムに標的エリアの３Ｄメッシュを生成させることを含んでもよい。

【0010】

８任意選択で、上述の実施形態のいずれかでは、印刷ジョブを生成することは、コンテンツが標的エリアの境界内にフィットするようにスケーリングされている印刷テンプレートにコンテンツを適用することを含んでもよい。加えて、印刷ジョブを生成することが、標的エリアの表面マップにフィットするようにコンテンツを歪ませることを更に含んでもよい。

【0011】

任意選択で、上述の実施形態のいずれかでは、本方法は、深度センサに標的エリアの３Ｄ表現を取得させることに関連して、深度センサが複数の角度から標的エリアに対するデータをキャプチャすることを可能にする位置にデバイスを移動させるようにデバイスのユーザをガイドするためのプロンプトを出力することを含んでもよい。

【0012】

上述の方法は、プロセッサと、プログラミング命令を含むメモリと、を含むシステムにおいて具現化されてもよく、プログラミング命令は、実行されたときにプロセッサに上述のアクションを実装させる。システムはまた、ディスプレイデバイスと、深度センサと、を有するモバイル電子デバイスを含んでもよい。システムはまた、印刷デバイスを含んでもよい。システムはまた、モバイル電子デバイス及び／又は印刷デバイスと通信する１つ以上の追加の電子デバイスを含んでもよい。様々な実施形態には、このようなプログラミング命令を含むコンピュータプログラム製品、及びコンピュータプログラム製品を含むメモリも含まれる。

【図面の簡単な説明】

【0013】

特許又は出願ファイルには、カラーで作成された少なくとも１つの図面が含まれている。本特許又は特許出願公開のカラー図面の写しは、その請求に応じて、必要な料金を支払うことにより、特許庁から提供されることとなる。

【図1】印刷ジョブを生成し、その印刷ジョブに対応する文書を印刷するためのシステムの様々な構成要素を示す。

【図2】環境の指定された標的エリア上に配置するためのコンテンツを印刷するのに適切な印刷ジョブを生成するためのシステムの例示的なアプリケーションを示す。

【図3】指定された標的エリアに配置するためのコンテンツを印刷するための印刷ジョブを生成する方法を示すフローチャートである。

【図4】光検出及び測距（light detection and ranging、ＬｉＤＡＲ）データセットから生成された部屋の例示的な表面マップを示す。

【図5】図１のシステムに組み込まれ得るコンピューティングデバイスの例示的な構成要素を示す。

【発明を実施するための形態】

【0014】

本明細書で使用される際、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈がそうでない旨を明確に指示しない限り、複数の指示内容を含む。別途定義されない限り、本明細書で使用される全ての技術用語及び科学用語は、当業者によって一般的に理解される意味と同じ意味を有する。本明細書で使用される際、「備える（comprising又はcomprises）」という用語は、「限定するものではないが、含む（including又はincludes）」を意味する。

【0015】

本明細書では、「第１の」及び「第２の」などの用語が名詞を修飾するために使用される場合、そのような使用は、単に１つの項目を別の項目と区別することを意図するものであり、具体的に記載されない限り、連続的な順序を必要とすることを意図するものではない。「およそ」という用語は、数値に関連して使用されるとき、その数字に近いが正確にはその数字ではない値を含むことが意図される。例えば、いくつかの実施形態では、「およそ」という用語は、値の＋／－１０パーセント以内の値を含み得る。

【0016】

本開示に関連する更なる用語は、本発明を実施するための形態の部分の最後に定義される。

【0017】

図１は、本開示に関連するシステムの様々な構成要素を示す。システムは、印刷デバイス１１０によって印刷される画像などのコンテンツ１０１を含む文書を印刷するために使用される。スマートフォン又はタブレットコンピューティングデバイスなどのモバイル電子デバイス１０２は、それ自体で、又はリモートサーバ１１５と連携して、コンテンツが配置される環境に関する情報をキャプチャするソフトウェアアプリケーションを実行する。ソフトウェアアプリケーションは、キャプチャされた情報を使用して印刷ジョブを生成し、標的エリアが平坦でないか又は厳密に二次元（２Ｄ）の表面でない場合であっても、環境内の標的エリアにフィットし対応するように文書をサイズ決定及びフォーマットする。

【0018】

図１の電子デバイス１０２は、標的エリアの表面の三次元表現を生成することができる深度センサを含む。当技術分野で知られているようなそのような深度センサの例は、光検出及び測距（ＬｉＤＡＲ）センサであり、これは、１つ以上の光ビームを放出するための１つ以上の光エミッタを、表面によって反射された後の光ビームを検出するための１つ以上の光検出器とともに含む。ＬｉＤＡＲシステムは、センサによってキャプチャされた放出から受信までの光の移動時間を使用して、表面の三次元表現を生成することができる。スマートフォン及びタブレットコンピューティングデバイスなどのパーソナル電子デバイスは、そのようなシステムを組み込んでもよい。例えば、いくつかのスマートフォンは、単一の光パルスを放出し、放出と反射との間のパルスの時間を使用してエリア全体をマッピングする深度センサを含み、他のスマートフォンは、複数の光パルスを生成してエリアのより詳細かつ正確なマップを生成する深度センサを有する。単一の光パルスを放出する深度センサは、一般に、飛行時間（time-of-flight、ＴｏＦ）センサと呼ばれ、一方、単一の時間に複数の光パルスを同時に放出することができる深度センサは、より一般的に、ＬｉＤＡＲシステムと呼ばれる。簡単にするために、本明細書は、単一の光パルス又は複数の光パルスのいずれかを放出するシステムを指すために、ＬｉＤＡＲという用語を使用する。

【0019】

図２は、印刷ジョブを生成するためのパラメータを取得するためにシステムがどのように動作し得るかを示す。図２では、電子デバイス１０２は、そのカメラがオフィス、家庭、又は他の会場などの環境２０５の画像をキャプチャするように位置付けされる。電子デバイスは、画像がキャプチャされるときにリアルタイムでそのディスプレイデバイス２０７上に画像を表示する。システムは、環境内の標的エリア２０３を識別する。標的エリアは、図２の標的エリア２０３の境界によって示されるように、境界ボックスによって定義される。この例では、標的エリア２０３は、壁のセグメントである。実際には、標的エリアは、棚ユニット、椅子の後部、又は環境内の任意の他のアイテムなど、任意の構造のセグメントであってよい。標的エリアはまた、環境内の複数の構造のセグメントの組み合わせであってもよい。

【0020】

標的エリアが定義されるときに、システムは、標的エリア２０３内に位置付けされたコンテンツ１０１を示すために、ディスプレイデバイス２０７上の画像を拡張してもよい。このように、システムは、拡張現実を使用して、コンテンツ１０１が環境の標的エリアに配置されたときにどのように見えるかを示す。

【0021】

図３は、システムが、図２のキャプチャプロセス中に取得された情報を使用して、標的エリアのサイズ及び（もしあれば）表面高さ変化に対応するサイズ及びフォーマットでコンテンツを印刷するための印刷ジョブを生成してもよいプロセスを示す。システムは、モバイル電子デバイス上、リモートサーバ上、又はその２つの組み合わせ上に記憶されたソフトウェアアプリケーションを実行することによって、図３のプロセスを実装してもよい。図３に示されるようなステップの順序は、示される順序でステップが実行されなければならないことを暗示することを意図するものではない。前のステップからのデータを使用するステップが、前のステップの後に必ず発生しなければならないことを除いて、示されるステップは、任意の代替構成において再順序付けされてもよく、いくつかのステップは、同時に実行されてもよい。

【0022】

３０１において、システムは、印刷されるコンテンツを識別する。システムは、任意の適切な方式でこれを行ってもよい。例えば、ソフトウェアアプリケーションは、ユーザがコンテンツを含む文書ファイルをロードすることを可能にしてもよい。ソフトウェアアプリケーションは、ユーザが記憶されたコンテンツファイルを選択してもよいコンテンツのライブラリを含んでもよい。代替的に、ソフトウェアアプリケーションは、アプリケーションがコンテンツを取り出し得る場所を指定するアドレス（統一参照ロケータなど）又は他の場所識別子をユーザが提供することを可能にしてもよい。

【0023】

３０２において、モバイル電子デバイスは、環境の画像をキャプチャし、３０３において、電子デバイスは、電子デバイスのディスプレイ上に画像を表示する。画像は、静止画像又はビデオシーケンスであってもよい。画像キャプチャは、画像がキャプチャされているときにリアルタイムで画像が表示されるように、電子デバイスのカメラによって実行されてもよい。しかしながら、記憶された画像がプロセスのいくつかの部分で使用され得ることが可能である。

【0024】

３０４において、システムは、画像内の標的エリアを識別する。いくつかの実施形態では、ソフトウェアアプリケーションは、境界ボックスを描画、配置、サイズ決定、及び／又は他の方法で定義することなどによって、標的エリアのユーザの選択を受信することを介して、ユーザインターフェースを生成してもよい。システムは、境界ボックスを使用して、以下で説明されるようなプロセスを使用して、標的エリアの寸法を計算してもよい。いくつかの実施形態では、システムは、画像内の物体の表面に対応するものとして標的エリアの定義を可能にしてもよい。標的エリアを定義する他の方法も使用されてもよい。

【0025】

３０５において、モバイル電子デバイスのＬｉＤＡＲシステムは、標的エリアに対するＬｉＤＡＲデータを取得する。ＬｉＤＡＲデータは、ＬｉＤＡＲエミッタと標的エリア内の様々な場所との間の距離を含む３Ｄ点群データセットを含む。上述したように、ＬｉＤＡＲシステムは、各放出された光ビームがＬｉＤＡＲシステムのエミッタから標的エリアの表面に移動し、ＬｉＤＡＲシステムの受光体に戻るのにかかる時間を測定することによって、これらの距離を計算することができる。ＬｉＤＡＲデータの収集は、標的エリアが定義されたときに自動的にトリガされてもよく、又はアプリケーションがユーザにＬｉＤＡＲシステムを開始するように促してもよい。

【0026】

３０６において、システムは、標的エリアの境界を測定し、表面マップを判定する。このステップにおいて標的エリアの表面マップを生成するために、システムは、ＬｉＤＡＲデータセットのポイントクラウドを処理して、ｘ，ｙ，ｚ座標における標的エリアの表面の３Ｄマップを生成し提供する。部屋の例示的な表面マップ４０１を図４に示す。実際には、表面マップは、深さの差を示すために色の変化を含んでもよい。図４では、陰影及びパターンは、画像を特許庁図面要件に適合させるために、白黒でこの区別を示すために使用される。使用されるＬｉＤＡＲシステムのタイプに応じて、レーザ走査角度、レーザ走査方向、及び位置センサからの位置情報などの他の測定値が、計算において使用されてもよい。ＬｉＤＡＲシステムはまた、分類器として知られる訓練された機械学習モデルを使用して、標的エリアを特定のタイプの物体として分類してもよい。アプリケーションはまた、スケール不変特徴変換（scale-invariant feature transform、ＳＩＦＴ）フレームワーク、勾配方向ヒストグラム（histogram of oriented gradient、ＨＯＧ）フレームワーク、Ｖｉｏｌａ Ｊｏｎｅｓオブジェクト検出フレームワーク、シングルショットマルチボックス検出器（single shot multibox detector、ＳＳＤ）フレームワーク、及び／又は実世界画像内のオブジェクトを検出及び／又は測定するための任意の他の好適なフレームワークなどの、オブジェクト検出を実行するための１つ以上の他のフレームワークを含んでもよい。

【0027】

ステップ３０６において標的エリアの境界を測定するために、システムは、１つ以上の基準点に関する情報を使用して、標的エリアの境界のサイズを測定してもよい。例えば、システムは、境界についての測定特性を提供するようにユーザに求めてもよい。代替的に、標的エリアが既知の寸法を有する物体のセグメントである場合、システムは、ユーザに物体の識別情報を入力するように要求してもよく、又はシステムは、任意の現在又は今後知られる物体検出方法を使用して物体を認識してもよく、システムは、物体の寸法を標的エリア及び／又は視野の寸法と相関させてもよい。例えば、システムは、既知の物体が５ｃｍ幅であり、視野の水平寸法の５％を占めると判定してもよい。そうである場合、システムは、視野が１００ｃｍの水平寸法を有すると判定してもよい。次いで、標的が視野内に現れるときに、システムは、標的エリアの水平寸法が視野の何パーセントを占めるかを判定してもよく、次いで、標的エリアの水平寸法を判定するために、そのパーセンテージに全視野水平寸法（１００ｃｍなど）を乗算してもよい。システムは、同様の計算を使用して、標的エリアの垂直寸法を判定してもよい。

【0028】

標的エリアの境界の寸法を判定することに加えて、システムは、標的エリア内の点の深さの変化を識別するために表面マップを使用する。例えば、ユーザが境界ボックスを定義するときに、システムは、そのボックス内に入るＬｉＤＡＲ点群の点の一部又は全部を分析してもよい。システムは、それらの点からメッシュを作成し、メッシュに含まれる全ての点の法線を抽出してもよい。表面の全ての点の平均法線は、表面が向いている方向の指標を提供し、それは平坦であってもよく、又はデバイスに対してある角度で位置付けられてもよい。境界寸法及び表面法線を使用して、システムは、長方形平面を作成し、コンテンツが印刷されることになるエリアのサイズ及びエリア内の表面変化を判定することができる。

【0029】

任意選択で、システムは、印刷される画像のアスペクト比を識別してもよい。画像のアスペクト比が標的エリアのアスペクト比と一致しない場合、画像を標的エリアにフィットさせる前に、システムは、画像を１つ以上のエッジで切り出すオプションをユーザに提供してもよく、次いで、システムは、切り出された画像を標的エリアにフィットさせる。

【0030】

任意選択で、３０７において、システムは、電子デバイスのセンサを使用して、デバイスの場所、したがって環境の場所を識別してもよい。例えば、システムは、電子デバイスの全地球測位システム（global positioning system、ＧＰＳ）センサを使用して環境の座標をキャプチャしてもよく、それらの座標を電子デバイスの場所（したがって環境の場所）に相関させてもよい。代替的に、システムは、その通信デバイスを使用して、それが接続されるｗｉ－ｆｉネットワークのアドレス又は他の識別子を識別してもよいし、近距離通信デバイスを使用して、モバイル電子デバイスの通信範囲内にある１つ以上の他の既知のデバイスを識別してもよく、データストアに問い合わせて、検出されたネットワークアドレス又は検出されたデバイスに関連付けられた場所を返してもよい。

【0031】

３０８において、システムは、境界内にフィットするようにサイズ決定されており、かつ表面マップに適合した基材上にコンテンツを印刷するための印刷ジョブを生成してもよい。基材自体がそのサイズであってもよいし、印刷されたコンテンツが基材の残りの部分を満たすように、基材が境界の周りでトリミングされ得るように、印刷されたコンテンツが境界内にサイズ決定されてもよい。システムによって判定された境界測定値は、標的エリア内の他の特徴の測定値とともに、標的エリア上に正確にフィットし、かつ表面の形状及び深さに適合する印刷テンプレートが生成されることを可能にする。例えば、表面エリアが複数の階段ライザを含む場合、システムは、各階段ライザの境界及び各階段ライザの相対的な深さを測定することができる。システムは、これらの測定値を使用して、適用された最終印刷物の観察者が特定の視点から画像を正確に観察するように、画像の視点を変更することができる。

【0032】

別の例として、印刷ジョブを生成するときに、システムは、カット間の画像のセグメントが、全てが同様の表面法線を有し、したがって実質的に同じ方向に向けられている表面マップの領域内にフィットするように、カット場所（すなわち、画像がスプリットされる場所）を配置してもよい。画像のセグメントがそれらの領域上に配置されるとき、セグメントが配置される表面は全て実質的に同じ方向を向いているので、画像は平坦に見える。

【0033】

システムはまた、印刷された文書が非平面表面の周りに巻き付けられる、及び／又は非平面表面にわたってセグメント化される、スプリット、折り畳み、又は他のプレースを識別する他の方法を使用してもよい。テクスチャマッピングのために３Ｄモデルの表面が２Ｄ画像上に投影されるＵＶマッピングは、そのような既知の方法の１つである。ＵＶマッピングプロセスは知られており、「Ｂｌｅｎｄｅｒ」として知られるオープンソースグラフィックスツールキットなどの製品において利用可能である。

【0034】

３１０において、印刷デバイスは、印刷ジョブを処理し、標的エリア内にフィットするようにサイズ決定され、かつ（必要に応じて）印刷ジョブファイルによって指定された標的エリアの表面マップに適合するように歪められたコンテンツを基材上に印刷する。

【0035】

任意選択で、印刷ジョブを印刷する前に、３０９において、システムは、画像、場所データ、又はその両方を印刷ジョブに関連付けて保存してもよい。例えば、システムは、これらの項目を印刷ジョブ自体に保存してもよいし、印刷ジョブファイルへのポインタを有するデータファイルに保存してもよいし、印刷ジョブファイルが指し示す２つに保存してもよい。システムがこれを行う場合、３１０において、印刷ジョブを印刷するとき、プリンタは、基材の第１の面にコンテンツを印刷してもよく、プリンタは、基材の第２の（反対の）面に画像及び／又は場所データを印刷してもよい。

【0036】

上記で説明した処理ステップの一部又は全部は、画像をキャプチャする電子デバイスによって、又は画像をキャプチャする電子デバイスと通信している別の電子デバイスによって行われてもよい。例えば、モバイル電子デバイスは、画像及びＬｉＤＡＲデータをキャプチャし、そのデータをリモートサーバ、通信可能に接続された印刷デバイス、又は別のデバイスに送信してもよく、その場合、他のデバイスは、標的エリアを識別して印刷ジョブを生成する処理ステップの一部又は全部を実行してもよい。

【0037】

図５は、図１のモバイル電子デバイス１０２、サーバ１１５、及び／又は印刷デバイス１１０など、システムの電子構成要素のいずれかに含まれ得る内部ハードウェアの一例を示す。電気バス５００は、メッセージ、命令、データ、又は他の情報がハードウェアの他の図示された構成要素間で共有され得る通信経路として機能する。プロセッサ５０５は、プログラミング命令を実行するのに必要とされる計算及び論理演算を行うように構成された、システムの中央処理デバイスである。本明細書及び特許請求の範囲で使用されるとき、用語「プロセッサ」及び「処理デバイス」は、中央処理ユニット（central processing unit、ＣＰＵ）、グラフィック処理ユニット（graphics processing unit、ＧＰＵ）、リモートサーバ、又はこれらの組み合わせなどの一連の演算を集合的に実行するプロセッサのセット内の単一のプロセッサ又は任意の数のプロセッサを指し得る。読み出し専用メモリ（read only memory、ＲＯＭ）、ランダムアクセスメモリ（random access memory、ＲＡＭ）、フラッシュメモリ、ハードドライブ、及び電子データを記憶することが可能な他のデバイスは、メモリデバイス５２５の例を構成する。メモリデバイスには、データ及び／又は命令が記憶される単一のデバイス又はデバイスの集合が含まれ得る。

【0038】

ハードウェアには、キーボード、マウス、ジョイスティック、タッチスクリーン、タッチパッド、リモートコントロール、ポインティングデバイス、及び／又はマイクロフォンなどの入力デバイス５５０からのデータの受信を可能にするユーザインターフェースセンサ５４５も含まれ得る。

【0039】

デバイスは、デバイスの環境に関するデータをキャプチャするための複数のセンサを含む。カメラ５２０は、ビデオ及び／又は静止画像をキャプチャし、画像をデジタルファイルに保存するように構成される。ＬｉＤＡＲセンサなどの深度センサ５８０は、表面の三次元表現を生成するように構成される。ＬｉＤＡＲセンサに関する追加情報は、上記で提供される。デバイスはまた、デバイスの位置及び動きを検出するように構成されたモーションセンサ５７０及び位置センサ５６０を含んでもよい。モーションセンサ５７０の例には、ジャイロスコープ又は加速度計が含まれる。位置センサ５６０の例には、外部ＧＰＳネットワークから位置データを受信する全地球測位システム（ＧＰＳ）センサデバイス、及び慣性航法システム（ＩＮＳ）のものが含まれる。

【0040】

ディスプレイインターフェース５３０は、システムのセンサによってキャプチャされたか、又はシステムのプロセッサによって生成された情報が、視覚、グラフィック、及び／又は英数字フォーマットでディスプレイデバイス５３５上に表示されることを可能にする。オーディオインターフェース及びオーディオ出力（スピーカーなど）も提供されてもよい。

【0041】

外部デバイスとの通信は、無線アンテナ、無線自動識別（radio frequency identification、ＲＦＩＤ）タグ、及び／又は短距離若しくは近距離通信送受信機などの様々な通信デバイス５４０を使用して発生してもよく、これらのそれぞれは、任意選択で、１つ以上の通信システムを介して、そのデバイスの他の構成要素と通信可能に接続してもよい。通信デバイス５４０は、インターネット、ローカルエリアネットワーク、又はセルラー電話データネットワークなどの通信ネットワークに通信可能に接続されるように構成されてもよい。

【0042】

本開示に関連する用語は、以下を含む。
「電子デバイス」又は「コンピューティングデバイス」は、プロセッサ及びメモリを含むデバイス又はシステムを指す。各デバイスは、それ自体のプロセッサ及び／若しくはメモリを有し得るか、又はプロセッサ及び／若しくはメモリは、仮想機械若しくはコンテナ構成のように他のデバイスと共有され得る。メモリは、プロセッサによって実行されるとき、電子デバイスに、プログラミング命令に従って１つ以上の動作を実行させるプログラミング命令を含むか、又は受信する。電子デバイスの例としては、パーソナルコンピュータ、サーバ、メインフレーム、仮想マシン、コンテナ、ゲームシステム、テレビ、デジタルホームアシスタント、及びスマートフォン、フィットネストラッキングデバイス、ウェアラブル仮想現実デバイス、スマートウォッチ及びスマートアイウェアなどのインターネット接続されたウェアラブル機器、携帯情報端末、カメラ、タブレットコンピュータ、ノートパソコン、メディアプレーヤなどのモバイル電子デバイスが挙げられる。クライアント－サーバ構成では、クライアントデバイス及びサーバが電子デバイスであり、サーバは、１つ以上の通信ネットワーク内の１つ以上の通信リンクを介してクライアントデバイスがアクセスする命令及び／又はデータを含む。仮想機械構成では、サーバは電子デバイスであり得、各仮想機械又はコンテナもまた、電子デバイスとみなされ得る。上記の考察において、クライアントデバイス、サーバデバイス、仮想機械又はコンテナは、簡潔さのために単に「デバイス」と称され得る。「モバイル」電子デバイスは、人間によって持ち運ばれることによって、又は自律ロボットデバイスなどの自発的なものによって、携帯可能な電子デバイスである。電子デバイスに含まれ得る追加の要素は、図５に関連して上述されている。

【0043】

「プロセッサ」及び「処理デバイス」という用語は、プログラミング命令を実行するように構成された電子デバイスのハードウェア構成要素を指す。具体的に記載される場合を除いて、単数形の用語「プロセッサ」及び「処理デバイス」は、単一の処理デバイスの実施形態、及び複数の処理デバイスが一緒に又は集合的にプロセスを実行する実施形態の両方を含むことが意図される。

【0044】

「メモリ」、「メモリデバイス」、「コンピュータ可読媒体」、「データストア」、「データ記憶設備」などの用語は各々、コンピュータ可読データ、プログラミング命令、又はその両方が記憶される非一時的なデバイスを指す。具体的に記載される場合を除いて、「メモリ」、「メモリデバイス」、「コンピュータ可読媒体」、「データストア」、「データ記憶設備」などの用語は、単一のデバイスの実施形態、複数のメモリデバイスがデータ又は命令のセットを一緒に又は集合的に記憶する実施形態、並びにそのようなデバイス内の個々のセクタを含むことが意図される。コンピュータプログラム製品は、プログラミング命令が記憶されているメモリデバイスである。

【0045】

「印刷デバイス」という用語は、デジタル文書ファイルを受信し、ファイルからの情報及び関連する印刷命令を使用して、ファイル内に表された文書を基材上に印刷し、物理的文書を生成することが可能なハードウェアを有する機械を指す。印刷デバイスの構成要素は、典型的には、インク、トナー、又は別の印刷材料を含む印刷カートリッジなどの構成要素を含み得る印刷ヘッドなどの印刷ハードウェアを含む印刷エンジン、並びに印刷ヘッドが基材上に文字及び／又は画像を印刷することができるように基材を印刷デバイスに通すように構成された文書供給システムを含む。いくつかの実施形態では、印刷デバイスは、スキャン又はファックスなどの追加の機能を有してもよく、したがって、多機能デバイスであってもよい。

【0046】

「印刷ジョブ」とは、印刷デバイスによって受信されるときに、印刷デバイスに１つ以上の文書ファイルからのコンテンツを基材上に印刷させる命令及びデータのセットを指す。印刷ジョブは、印刷デバイスが受け入れるようにプログラムされたフォーマットでコンテンツをレンダリングしてもよい。代替的に、印刷デバイス又は外部変換アプリケーションは、コンテンツを印刷デバイスによって理解されるフォーマットにレンダリングするように構成されてもよい。印刷ジョブは通常、フォーマットされ、１つ以上のコンピュータ可読ファイルとしてメモリに保存される。

【0047】

「分類器」という用語は、データポイントのグループによって定義されるオブジェクトにラベル又はカテゴリを割り当てるように訓練される機械学習モデルを意味する。分類器の訓練は、通常、ラベル付けされた（及び任意選択でラベル付けされていない）訓練データのセットから開始し、１つ以上のアルゴリズムを適用して、様々なラベル又はクラスに対応するデータ内の１つ以上の特徴及び／又はパターンを検出する。アルゴリズムは、限定ではないが、決定木のように単純なもの、ナイーブベイズ分類のように複雑なもの、及び／又はｋ近傍などの中間アルゴリズムを含んでもよい。分類器は、人工ニューラルネットワーク（artificial neural network、ＡＮＮ）、サポートベクトルマシン分類器、及び／又は多くの異なるタイプの分類器のうちのいずれかを含んでもよい。訓練されると、分類器は、訓練中に学習した知識ベースを使用して新しいデータポイントを分類してもよい。分類器を訓練するプロセスは、分類器が更新されたデータに対して周期的に訓練されてもよく、分類器が誤って分類した可能性があるデータに関する情報が提供されたことから学習してもよいので、時間とともに進化することができる。分類器は、プログラミング命令を実行するプロセッサによって実装され、画像データ、ＬｉＤＡＲデータ、及び／又は他のデータなどの大きなデータセットに対して動作してもよい。

【0048】

上で説明される特徴及び機能、並びに代替物は、多くの他の異なるシステム又は用途に組み合わされ得る。様々な代替物、修正、変形、又は改善が当業者によって行われ得、これらの各々はまた、開示される実施形態によって包含されることを意図される。

【図1】

【図2】

【図3】

【図4】

【図5】

【外国語明細書】