IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ セイコーエプソン株式会社の特許一覧

特許7395856印刷制御装置、印刷制御プログラム、及び、印刷物生産方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-04
(45)【発行日】2023-12-12
(54)【発明の名称】印刷制御装置、印刷制御プログラム、及び、印刷物生産方法
(51)【国際特許分類】
   G06F 3/12 20060101AFI20231205BHJP
   H04N 1/387 20060101ALI20231205BHJP
   B41J 3/28 20060101ALI20231205BHJP
   B41J 29/38 20060101ALI20231205BHJP
【FI】
G06F3/12 356
G06F3/12 308
G06F3/12 342
G06F3/12 344
H04N1/387
B41J3/28
B41J29/38
【請求項の数】 9
(21)【出願番号】P 2019122785
(22)【出願日】2019-07-01
(65)【公開番号】P2021009545
(43)【公開日】2021-01-28
【審査請求日】2022-05-10
(73)【特許権者】
【識別番号】000002369
【氏名又は名称】セイコーエプソン株式会社
(74)【代理人】
【識別番号】100179475
【弁理士】
【氏名又は名称】仲井 智至
(74)【代理人】
【識別番号】100216253
【弁理士】
【氏名又は名称】松岡 宏紀
(74)【代理人】
【識別番号】100225901
【弁理士】
【氏名又は名称】今村 真之
(72)【発明者】
【氏名】中西 弘晃
(72)【発明者】
【氏名】増島 郁夫
(72)【発明者】
【氏名】上條 清和
(72)【発明者】
【氏名】宮澤 圭
(72)【発明者】
【氏名】大谷 隆宏
(72)【発明者】
【氏名】山本 純子
(72)【発明者】
【氏名】青木 毅
(72)【発明者】
【氏名】宮坂 明伸
(72)【発明者】
【氏名】成瀬 史織
【審査官】豊田 真弓
(56)【参考文献】
【文献】特開2017-010271(JP,A)
【文献】特開2015-099448(JP,A)
【文献】特開2017-113100(JP,A)
【文献】特開2015-108621(JP,A)
【文献】国際公開第2005/088244(WO,A1)
【文献】特開2014-045927(JP,A)
【文献】特開2016-016571(JP,A)
【文献】特開2014-239367(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/12
H04N 1/387
B41J 3/28
B41J 29/38
(57)【特許請求の範囲】
【請求項1】
印刷装置に印刷を実行させる印刷制御装置であって、
撮影センサーが撮影した撮影画像の合焦位置に基づいて奥行き方向への距離を測定する測距部と、
前記撮影センサーが撮影した撮影画像から該撮影画像の各画素の奥行き方向への距離に基づいて印刷対象を特定する特定部と、
元印刷データに基づくプレビュー画像を前記撮影画像に重畳した画面をディスプレイに表示させる表示部と、
印刷指示を受け付ける印刷指示受付部と、
前記印刷指示に応じて、前記元印刷データに基づく前記印刷対象への印刷を前記印刷装置に実行させる制御部と、
を備えた印刷制御装置。
【請求項2】
前記特定部は、前記印刷対象を三次元座標において特定し、
前記表示部は、前記三次元座標において前記プレビュー画像を前記印刷対象に合わせてトリミングしたリミング画像を前記撮影画像に重畳した前記画面を前記ディスプレイに表示させる、請求項1に記載の印刷制御装置。
【請求項3】
前記三次元座標において前記印刷対象に対する前記プレビュー画像の相対位置の設定を受け付ける設定受付部を備え、
前記制御部は、前記三次元座標において前記印刷対象に対して前記相対位置に合わせた前記元印刷データを前記印刷対象の形状に合わせて切り出すことにより印刷データを生成し、該印刷データに基づく前記印刷対象への印刷を前記印刷装置に実行させる、請求項2に記載の印刷制御装置。
【請求項4】
前記表示部は、前記印刷対象を含むように前記プレビュー画像を変形し、変形した前記プレビュー画像を前記印刷対象に合わせてトリミングしたリミング画像を前記撮影画像に重畳した前記画面を前記ディスプレイに表示させ、
前記制御部は、前記プレビュー画像に合わせて前記元印刷データを変形することにより得られる印刷データに基づく前記印刷対象への印刷を前記印刷装置に実行させる、請求項1~請求項3のいずれか一項に記載の印刷制御装置。
【請求項5】
前記撮影画像に含まれる前記印刷装置と、前記印刷対象と、の相対位置関係を特定する相対位置特定部をさらに備え、
前記制御部は、前記相対位置関係に基づいて印刷データを生成し、該印刷データに基づく前記印刷対象への印刷を前記印刷装置に実行させる、請求項1~請求項4のいずれか一項に記載の印刷制御装置。
【請求項6】
前記印刷装置は、手動走査型のプリンター、又は、自走型のプリンターである、請求項1~請求項5のいずれか一項に記載の印刷制御装置。
【請求項7】
前記表示部は、前記撮影画像の平面部分にドット群を付けた前記画面を前記ディスプレイに表示させる、請求項1~請求項6のいずれか一項に記載の印刷制御装置。
【請求項8】
印刷装置に印刷を実行させるための印刷制御プログラムであって、
撮影センサーが撮影した撮影画像の合焦位置に基づいて奥行き方向への距離を測定する測距機能と、
前記撮影センサーが撮影した撮影画像から該撮影画像の各画素の奥行き方向への距離に基づいて印刷対象を特定する特定機能と、
元印刷データに基づくプレビュー画像を前記撮影画像に重畳した画面をディスプレイに表示させる表示機能と、
印刷指示を受け付ける印刷指示受付機能と、
前記印刷指示に応じて、前記元印刷データに基づく前記印刷対象への印刷を前記印刷装置に実行させる制御機能と、
をコンピューターに実現させる印刷制御プログラム。
【請求項9】
印刷装置により印刷物を生産する印刷物生産方法であって、
撮影センサーが撮影した撮影画像の合焦位置に基づいて奥行き方向への距離を測定する測距工程と、
前記撮影センサーが撮影した撮影画像から該撮影画像の各画素の奥行き方向への距離に基づいて印刷対象を特定する特定工程と、
元印刷データに基づくプレビュー画像を前記撮影画像に重畳した画面をディスプレイに表示させる表示工程と、
印刷指示を受け付ける印刷指示受付工程と、
前記印刷指示に応じて、前記元印刷データに基づいて前記印刷装置により前記印刷物を形成する印刷工程と、
を含む印刷物生産方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、印刷装置に印刷を実行させる印刷制御装置、印刷制御プログラム、及び、印刷物生産方法に関する。
【背景技術】
【0002】
紙搬送システムを有していない手動走査型のプリンターが提案されている。特許文献1に開示された情報処理装置は、ハンドヘルドプリンターが印刷媒体上の位置を検知することができるように、ハンドヘルドプリンターと印刷媒体を同時に撮像する。当該情報処理装置は、ハンドヘルドプリンターと印刷媒体が撮像されている撮像データからハンドヘルドプリンターと印刷媒体を検出し、印刷媒体に対するハンドヘルドプリンターの位置を決定し、ハンドヘルドプリンターの位置をハンドヘルドプリンターに送信する。
上述の情報処理装置は、印刷される画像が印刷媒体よりも大きい場合、画像を印刷媒体の範囲内に縮小する。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2017-010271号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述した情報処理装置は、印刷媒体と画像とが相似形でない限り、印刷媒体に印刷される画像の周辺に印刷されない領域が残る。そこで、印刷媒体の全面に画像を印刷する等、より思い通りの印刷を実現させることが望まれる。
【課題を解決するための手段】
【0005】
本発明の印刷制御装置は、印刷装置に印刷を実行させる印刷制御装置であって、
撮影センサーが撮影した撮影画像から印刷対象を特定する特定部と、
元印刷データのプレビュー画像を前記印刷対象に合わせてトリミングしたトリミング画像を前記撮影画像に重畳した画面をディスプレイに表示させる表示部と、
前記印刷対象に対する前記プレビュー画像の相対位置の設定を受け付ける設定受付部と、
前記相対位置における印刷指示を受け付ける印刷指示受付部と、
前記印刷指示に応じて、前記元印刷データと前記相対位置とに合わせた印刷データに基づく前記印刷対象への印刷を前記印刷装置に実行させる制御部と、
を備えた、態様を有する。
【0006】
また、本発明は、上述した印刷制御装置の各部に対応する機能をコンピューターに実現させる印刷制御プログラムの態様を有する。
さらに、本発明は、上述した印刷制御装置の各部に対応する工程を含む印刷物生産方法の態様を有する。
【図面の簡単な説明】
【0007】
図1】印刷システムの構成例を模式的に示す斜視図。
図2】印刷装置の底面の例、及び、マスク情報の例を模式的に示す図。
図3】印刷装置の構成例を模式的に示すブロック図。
図4】印刷制御装置の構成例を模式的に示すブロック図。
図5】印刷制御プログラムがコンピューターに実現させる複数の機能の例を模式的に示すブロック図。
図6】印刷制御装置が行う印刷制御処理の例を模式的に示すフローチャート。
図7】印刷制御装置が行う印刷制御処理の例を模式的に示すフローチャート。
図8】印刷制御装置が行う印刷対象候補抽出処理の例を模式的に示すフローチャート。
図9】印刷対象候補の例を模式的に示す図。
図10】仮の印刷対象候補の領域の例を模式的に示す図。
図11】被写体が撮影センサーに正対する向きからずれている例を模式的に示す図。
図12】三次元座標を変換する例を模式的に示す図。
図13】被写体のサイズを求める例を模式的に説明する図。
図14図14A,14Bは仮の印刷対象候補の大きさの例を模式的に示す図。
図15】印刷対象候補を含む撮影画像を表示している印刷制御装置の例を模式的に示す図。
図16】元画像選択画面を表示している印刷制御装置の例を模式的に示す図。
図17図17Aは印刷対象を含むように元印刷データを変形する例を模式的に示す図、図17Bは印刷対象に対するプレビュー画像の相対位置の設定を受け付ける例を模式的に示す図。
図18】印刷対象に対するプレビュー画像の相対位置の設定を受け付ける画面の例を模式的に示す図。
図19】プレビュー画像を印刷対象に合わせてトリミングする例を模式的に示す図。
図20】トリミング画像を撮影画像に重畳した画面を表示している印刷制御装置の例を模式的に示す図。
図21】印刷装置と印刷対象を含む撮影画像にトリミング画像を重畳した画面を表示している印刷制御装置の例を模式的に示す図。
図22】印刷制御装置が行う印刷対象候補抽出処理の別の例を模式的に示すフローチャート。
図23】印刷対象候補の例を模式的に示す図。
図24】撮影画像群から印刷対象候補を抽出する例を模式的に示す図。
【発明を実施するための形態】
【0008】
以下、本発明の実施形態を説明する。むろん、以下の実施形態は本発明を例示するものに過ぎず、実施形態に示す特徴の全てが発明の解決手段に必須になるとは限らない。
【0009】
(1)本発明に含まれる技術の概要:
まず、図1~24に示される例を参照して本発明に含まれる技術の概要を説明する。後述する複数の態様には、請求項に対応していない態様が含まれる。尚、本願の図は模式的に例を示す図であり、これらの図に示される各方向の拡大率は異なることがあり、各図は整合していないことがある。むろん、本技術の各要素は、符号で示される具体例に限定されない。「本発明に含まれる技術の概要」において、括弧内は直前の語の補足説明を意味する。
【0010】
態様1:
本技術の一態様に係る印刷制御装置(例えば図1に示す携帯型ホスト装置10)は、印刷装置(例えば図1に示す手動走査型プリンター100)に印刷を実行させる印刷制御装置(10)であって、特定部U1、表示部U2、設定受付部U3、印刷指示受付部U4、及び、制御部U6を備える。前記特定部U1は、撮影センサー21が撮影した撮影画像IM0から印刷対象ME0を特定する。前記表示部U2は、図19,20に例示するように、元印刷データDA0のプレビュー画像IP0を前記印刷対象ME0に合わせてトリミングしたトリミング画像IT0を前記撮影画像IM0に重畳した画面をディスプレイ16に表示させる。前記設定受付部U3は、図17Bに例示するように、前記印刷対象ME0に対する前記プレビュー画像IP0の相対位置の設定を受け付ける。前記印刷指示受付部U4は、前記相対位置における印刷指示を受け付ける。前記制御部U6は、前記印刷指示に応じて、前記元印刷データDA0と前記相対位置とに基づく前記印刷対象ME0への印刷を前記印刷装置(100)に実行させる。
【0011】
上記態様1では、元印刷データDA0のプレビュー画像IP0を印刷対象ME0に合わせてトリミングしたトリミング画像IT0を撮影画像IM0に重畳した画面が表示される。ユーザーは、印刷対象ME0に対するプレビュー画像IP0の相対位置を設定することができ、設定した相対位置の印刷を指示することができる。印刷指示に応じて、印刷装置(100)は、元印刷データDA0と相対位置とに基づいて印刷対象ME0に印刷する。本態様は、印刷対象ME0よりも大きい元印刷データDA0を扱うことができ、印刷対象ME0からはみ出した部分にはプレビュー画像IP0が重ならないので、予想される印刷結果を容易に確認することができる。従って、本態様は、より思い通りの印刷結果を得ることが可能な印刷制御装置を提供することができる。
【0012】
態様2:
前記特定部U1は、前記印刷対象ME0を三次元座標において特定してもよい。図19,20に例示するように、前記表示部U2は、前記三次元座標において前記プレビュー画像IP0を前記印刷対象ME0に合わせてトリミングした前記トリミング画像IT0を前記撮影画像IM0に重畳した前記画面を前記ディスプレイ16に表示させてもよい。本態様は、予想される印刷結果を三次元的に確認したうえで印刷対象ME0に印刷することができるので、さらに思い通りの印刷結果を得ることができる。
【0013】
態様3:
前記設定受付部U3は、前記三次元座標において前記相対位置の設定を受け付けてもよい。前記制御部U6は、前記三次元座標において前記印刷対象ME0に対して前記相対位置に合わせた前記元印刷データDA0を前記印刷対象ME0の形状に合わせて切り出すことにより前記印刷データDA1を生成してもよく、該印刷データDA1に基づく前記印刷対象ME0への印刷を前記印刷装置(100)に実行させてもよい。本態様は、印刷対象ME0の形状に合わせて印刷が行われるので、さらに思い通りの印刷結果を得ることができる。
【0014】
態様4:
図17Bに例示するように、前記設定受付部U3は、前記相対位置として、前記プレビュー画像IP0の大きさと回転角度の少なくとも一方の設定を受け付けてもよい。本態様は、大きさと回転角度の少なくとも一方を変更した予想印刷結果を確認したうえで印刷対象ME0に印刷することができるので、さらに思い通りの印刷結果を得ることができる。
【0015】
態様5:
図17A,18に例示するように、前記表示部U2は、前記印刷対象ME0を含むように前記プレビュー画像IP0を変形してもよく、変形した前記プレビュー画像IP0を前記印刷対象ME0に合わせてトリミングした前記トリミング画像IT0を前記撮影画像IM0に重畳した前記画面を前記ディスプレイ16に表示させてもよい。前記制御部U6は、前記プレビュー画像IP0に合わせて前記元印刷データDA0を変形することにより得られる印刷データDA1に基づく前記印刷対象ME0への印刷を前記印刷装置(100)に実行させてもよい。本態様は、印刷対象ME0の全面にプレビュー画像IP0が自動的に重ねられ、プレビュー画像IP0の変形に合わせられた印刷データDA1に基づく印刷が行われるので、さらに思い通りの印刷結果を得ることができる。
【0016】
態様6:
本印刷制御装置(10)は、前記撮影画像IM0に含まれる前記印刷装置(100)と、前記印刷対象ME0と、の相対位置関係を特定する相対位置特定部U5をさらに備えていてもよい。前記制御部U6は、前記相対位置関係に基づいて前記印刷データDA1を生成してもよく、該印刷データDA1に基づく前記印刷対象ME0への印刷を前記印刷装置(100)に実行させてもよい。本態様は、自動的に印刷装置(100)と印刷対象ME0との位置合わせが行われるので、印刷装置の使い勝手を向上させることができる。
【0017】
態様7:
前記印刷装置(100)は、手動走査型のプリンター、又は、自走型のプリンターでもよい。この態様は、手動走査型又は自走型のプリンターの使い勝手を向上させることができる。
【0018】
態様8:
図15に例示するように、前記表示部U2は、前記撮影画像IM0の平面部分にドット群400を付けた前記画面を前記ディスプレイ16に表示させてもよい。この態様は、撮影画像IM0の平面部分が分かるので、利便性を向上させることができる。
【0019】
態様9:
また、上記態様1に対応する印刷制御プログラムPR1は、図5に例示するように、特定部U1に対応する特定機能FU1、表示部U2に対応する表示機能FU2、設定受付部U3に対応する設定受付機能FU3、印刷指示受付部U4に対応する印刷指示受付機能FU4、及び、制御部U6に対応する制御機能FU6をコンピューターに実現させる。本態様は、より思い通りの印刷結果を得ることが可能な印刷制御プログラムを提供することができる。本印刷制御プログラムPR1は、相対位置特定部U5に対応する相対位置特定機能FU5をコンピューターに実現させてもよい。
【0020】
態様10:
さらに、上記態様1に対応する印刷物生産方法は、図5に例示するように、特定部U1に対応する特定工程ST1、表示部U2に対応する表示工程ST2、設定受付部U3に対応する設定受付工程ST3、印刷指示受付部U4に対応する印刷指示受付工程ST4、及び、制御部U6に対応する印刷工程ST6を含む。本態様は、より思い通りの印刷結果を得ることが可能な印刷物生産方法を提供することができる。本印刷物生産方法は、相対位置特定部U5に対応する相対位置特定工程ST5を含んでいてもよい。
【0021】
態様11:
ところで、本技術の別の態様に係る印刷制御装置(10)は、印刷装置(100)に印刷を実行させる印刷制御装置(10)であって、特定部U1、及び、制御部U6を備える。前記特定部U1は、図10等に例示するように、撮影センサー21が撮影した撮影画像IM0と、該撮影画像IM0の各画素の被写体距離と、に基づいて、所定範囲の色において連続している領域を印刷対象ME0として特定する。前記制御部U6は、特定された前記印刷対象ME0に対応する印刷データDA1を生成し、該印刷データDA1に基づく前記印刷対象ME0への印刷を前記印刷装置(100)に実行させる。
【0022】
上記態様11では、撮影センサー21が撮影した撮影画像IM0と、該撮影画像IM0の各画素の被写体距離と、に基づいた、所定範囲の色において連続している領域が印刷対象ME0として特定されるので、奥行き方向への不連続箇所等、印刷に不向きな領域が印刷対象ME0から除外される。従って、本態様は、使い勝手を向上させることが可能な印刷制御装置を提供することができる。
【0023】
態様12:
前記特定部U1は、前記所定範囲の色において連続している前記領域を印刷対象候補A0として抽出する抽出部U11を含んでいてもよく、前記印刷対象候補A0から前記印刷対象ME0を特定する操作を受け付ける印刷対象受付部U12を含んでいてもよい。本態様は、ユーザーが印刷対象候補A0から印刷対象ME0を決めることができるので、印刷制御装置の使い勝手をさらに向上させることができる。
【0024】
態様13:
図14A,14Bに例示するように、前記抽出部U11は、所定の大きさ以上となるように前記所定範囲の色において連続している前記領域を前記印刷対象候補A0として抽出してもよい。この態様は、印刷に好適な大きさを有する印刷対象候補A0が抽出されるので、印刷制御装置の使い勝手をさらに向上させることができる。
【0025】
態様14:
前記制御部U6は、図19に例示するように前記印刷対象ME0に対応付けられている元印刷データDA0を前記印刷対象ME0の形状に合わせて切り出すことにより前記印刷データDA1を生成してもよく、該印刷データDA1に基づく前記印刷対象ME0への印刷を前記印刷装置(100)に実行させてもよい。本態様は、印刷対象ME0の形状に合わせて印刷が行われるので、印刷装置の使い勝手を向上させることができる。
【0026】
態様15:
前記制御部U6は、前記撮影画像群G1に含まれる撮影画像IM0の画角θ1(図13参照)に基づいて、前記印刷対象ME0に正対した場合の前記印刷対象ME0の正対形状(図12参照)を求めてもよく、前記元印刷データDA0を前記正対形状に合わせて切り出すことにより前記印刷データDA1を生成してもよく、該印刷データDA1に基づく前記印刷対象ME0への印刷を前記印刷装置(100)に実行させてもよい。本態様は、印刷対象の形状に合わせて印刷を行う好適な例を提供することができる。
【0027】
態様16:
前記制御部U6は、前記印刷対象ME0に対応付けられている元印刷データDA0を、前記印刷対象ME0を含むように変形することにより前記印刷データDA1を生成してもよく、該印刷データDA1に基づく前記印刷対象ME0への印刷を前記印刷装置(100)に実行させてもよい。本態様は、印刷対象の全面に印刷を行うことができる。
【0028】
態様17:
前記制御部U6は、前記印刷対象ME0と前記撮影センサー21との間の被写体距離Lと、前記撮影画像群G1における前記印刷対象ME0の大きさと、に基づいて前記印刷対象ME0のサイズを決定してもよく(図13参照)、前記印刷対象ME0に対応付けられている元印刷データDA0を前記サイズに基づいて変形することにより前記印刷データDA1を生成してもよく、該印刷データDA1に基づく前記印刷対象ME0への印刷を前記印刷装置(100)に実行させてもよい。本態様は、印刷対象のサイズに合わせて印刷を行うことができる。
【0029】
態様18:
前記制御部U6は、前記相対位置関係を表す情報含めて前記印刷データDA1を生成してもよく、該印刷データDA1を前記印刷装置(100)に送信してもよい。本態様は、自動的に印刷装置と印刷対象との位置合わせを行う好適な例を提供することができる。
【0030】
態様19:
ところで、上記態様11に対応する印刷制御プログラムPR1は、図5に例示するように、特定部U1に対応する特定機能FU1、及び、制御部U6に対応する制御機能FU6をコンピューターに実現させる。本態様は、使い勝手を向上させることが可能な印刷制御プログラムを提供することができる。本印刷制御プログラムPR1は、抽出部U11に対応する抽出機能FU11、印刷対象受付部U12に対応する印刷対象受付機能FU12、及び、相対位置特定部U5に対応する相対位置特定機能FU5をコンピューターに実現させてもよい。
【0031】
態様20:
また、上記態様11に対応する印刷物生産方法は、図5に例示するように、特定部U1に対応する特定工程ST1、及び、制御部U6に対応する印刷工程ST6を含む。本態様は、使い勝手を向上させることが可能な印刷物生産方法を提供することができる。本印刷物生産方法は、抽出部U11に対応する抽出工程ST11、印刷対象受付部U12に対応する印刷対象受付工程ST12、及び、相対位置特定部U5に対応する相対位置特定工程ST5を含んでいてもよい。
【0032】
さらに、本技術は、印刷制御装置と印刷装置を含む印刷システム、印刷制御装置の制御方法、印刷システムの制御方法、印刷制御プログラムを記録したコンピューター読み取り可能な媒体、印刷システムの制御プログラム、該制御プログラムを記録したコンピューター読み取り可能な媒体、等に適用可能である。前述のいずれかの装置は、分散した複数の部分で構成されてもよい。
【0033】
(2)印刷システムの具体例:
図1は、印刷システムの構成例を模式的に示している。図1に示す印刷システムSY1は、印刷装置の例である手動走査型の手持ちプリンター100と、印刷制御装置の例である携帯型ホスト装置10と、を含んでいる。プリンター100は、ユーザーが手で把持することができる大きさの筐体101を有している。ユーザーは、プリンター100を手で把持し、印刷対象ME0の表面に沿ってプリンター100をスライドさせることにより、印刷対象ME0に画像を印刷させることができる。尚、プリンター100は、移動用のモーターを有する自走型プリンターでもよい。プリンター100の上面には、印刷対象ME0とプリンター100との相対位置関係を特定するためのマーカーMA1と、ホスト装置10に印刷要求を送信するため等のボタン140と、が配置されている。プリンター100とホスト装置10とは、無線により接続されているが、有線により接続されてもよい。ホスト装置10は、ユーザーが印刷したい画像を撮影画像に重畳する拡張現実(Augmented Reality)表示装置として機能し、使い勝手が良好であり、思い通りの印刷画像IMpをプリンター100に出力させることができる。撮影画像に複数の印刷対象候補A0が含まれる場合、ユーザーは、画像を印刷させる印刷対象ME0を選択可能である。
【0034】
図2は、プリンター100の底面、及び、マスク情報IN1を模式的に例示している。
プリンター100の底面には、複数の移動量検出センサー130、及び、記録ヘッド150が配置されている。各移動量検出センサー130は、発光ダイオード又はレーザーといった光源と、反射光を検出する光学センサーと、を備え、自らの移動方向及び移動距離を検出する。図2には、一つの移動量検出センサー130が記録ヘッド150からノズル並び方向D1に向かった位置にあり、残りの移動量検出センサー130が記録ヘッド150からノズル並び方向D1とは反対方向へ向かった位置にあることが示されている。むろん、各移動量検出センサー130の配置は、図2に示す配置に限定されない。プリンター100に複数の移動量検出センサー130があることにより、プリンター100の向きも把握される。記録ヘッド150は、シアンインク吐出用のノズル列150C、マゼンタインク吐出用のノズル列150M、イエローインク吐出用のノズル列150Y、及び、ブラックインク吐出用のノズル列150Kを含んでいる。各ノズル列150C,150M,150Y,150Kは、ノズル並び方向D1へ並べられた複数のノズル151を有している。各ノズル151は、インク滴を吐出することによりドットを印刷対象ME0に形成する。ノズル列150C,150M,150Y,150Kは、ノズル並び方向D1と交差する方向、図2ではノズル並び方向D1と直交する方向へ並べられている。
【0035】
マスク情報IN1は、既に印刷した箇所を画素単位で示す情報であり、Cで示されるシアンのマスク情報、Mで示されるシアンのマスク情報、Yで示されるシアンのマスク情報、及び、Kで示されるシアンのマスク情報を含んでいる。図2には、マスク情報IN1における複数の画素PXのうち印刷済みの画素に印刷済みフラグFL1が格納されていることが示されている。マスク情報IN1は、ホスト装置10に格納されていてもよいし、プリンター100に格納されていてもよいし、ホスト装置10とプリンター100の両方に格納されていてもよい。
【0036】
図3は、プリンター100の構成を模式的に例示している。図3に示すプリンター100は、コントローラー110、通信I/F120、1以上の移動量検出センサー130、1以上のボタン140、記録ヘッド150、及び、電源190を備えている。ここで、I/Fは、インターフェイスの略称である。電源190は、プリンター100の各部に電力を供給する。電源190には、充電池を含む電池、太陽電池、給電ケーブルからの受電回路、等を用いることができる。
【0037】
コントローラー110は、CPU111、ROM112、RAM113、記憶装置114、等を含んでいる。これらの要素111~114等は、電気的に接続されていることにより互いに情報を入出力可能である。すなわち、プリンター100は、コンピューターの一種でもある。記憶装置114は、コンピューターをプリンター100として機能させるファームウェアFW1等を記憶している。記憶装置114には、フラッシュメモリーといった不揮発性半導体メモリー等を用いることができる。
通信I/F120は、図4に示すホスト装置10の通信I/F17と無線通信可能であり、移動量検出センサー130の検出結果に基づく相対位置情報をホスト装置10に送信したり、印刷データDA1をホスト装置10から受信したりすることが可能である。通信I/F120,17には、無線LAN、Wi-Fiダイレクト通信、近距離無線通信、LTE通信、赤外線通信、といった規格に従った通信I/Fを用いることができる。ここで、LANはLocal Area Networkの略称であり、LTEはLong Term Evolutionの略称である。
【0038】
記録ヘッド150は、各ノズル151からインク滴を噴射させる駆動回路152を備えている。駆動回路152には、各ノズル151に連通する圧力室の液体に圧力を加える圧電素子を駆動する回路、各圧力室の液体に対して熱により気泡を発生させるサーマル素子を駆動する回路、等を用いることができる。印刷対象にインク滴が着弾することにより、ホスト装置10からの印刷データDA1に対応する印刷画像IMpが印刷対象に形成される。
【0039】
図4は、ホスト装置10の構成を模式的に例示している。図4に示すホスト装置10は、CPU11、ROM12、RAM13、記憶装置14、入力装置15、ディスプレイ16、通信I/F17、カメラ20、等を備えている。これらの要素11~17,20等は、電気的に接続されていることにより互いに情報を入出力可能である。ホスト装置10は、不図示の電源も備えている。ホスト装置10には、スマートフォンやタブレット端末といった携帯端末、デジタルスチルカメラやデジタルビデオカメラといったデジタルカメラ、パーソナルコンピューター、等を用いることができる。
記憶装置14は、コンピューターを印刷制御装置として機能させる印刷制御プログラムPR1等を記憶している。記憶装置14には、フラッシュメモリーといった不揮発性半導体メモリー等を用いることができる。
【0040】
入力装置15には、ディスプレイ16の表面に貼り付けられたタッチパネル、ポインティングデバイス、キーボードを含むハードキー、等を用いることができる。ディスプレイ16には、液晶パネルといった表示パネル等を用いることができる。通信I/F17は、プリンター100の通信I/F120と無線通信可能であり、移動量検出センサー130の検出結果に基づく相対位置情報をプリンター100から受信したり、印刷データDA1をプリンター100に送信したりすることが可能である。
【0041】
カメラ20は、撮影センサー21とフォーカスコントローラー25を備え、ズーム倍率を変更可能なズーム機能を有している。
撮影センサー21は、多数の撮像素子22、不図示の光学レンズ系、不図示のオートゲインコントローラ、不図示のアナログデジタル変換器、等を備え、撮影により撮影画像IM0を生成し、RAM13に格納する。複数の撮影画像IM0が所定の時間間隔で生成されると、撮影画像群が生成される。撮像素子22には、CCDイメージセンサー等を用いることができる。ここで、CCDは、Charge-Coupled Deviceの略称である。
【0042】
フォーカスコントローラー25は、被写体距離Lを測定する測距部26、ピントが合う距離fを制御するピント制御部27、及び、AF部28を備えている。ここで、AFは、オートフォーカスの略称である。測距部26には、アクティブ方式、パッシブ方式のいずれか又は併用により被写体距離Lを測定する手段を用いることができる。ここで、アクティブ方式の測距部は、例えば、被写体に赤外線又は超音波を照射し、反射波を方向とともに検出することにより、被写体距離Lを測定する。パッシブ方式の測距部は、赤外線等を使わず、被写体からの光を方向とともに検出することにより、被写体距離Lを測定する。ピント制御部27は、所定の範囲内でピントが合う距離fを変える制御を行う。AF部28は、測距部26により得られた被写体距離Lに基づいてピントが合う距離fを決定し、該距離fにする指示をピント制御部27に出す。
むろん、上述したフォーカスコントローラー25の構成は一例に過ぎず、フォーカスコントローラーには様々な構成を採用可能である。
【0043】
図5は、印刷制御プログラムPR1がホスト装置10に実現させる複数の機能を模式的に例示している。図5に示す印刷制御プログラムPR1は、抽出機能FU11と印刷対象受付機能FU12を含む特定機能FU1、表示機能FU2、設定受付機能FU3、印刷指示受付機能FU4、相対位置特定機能FU5、及び、制御機能FU6をホスト装置10に実現させる。
ホスト装置10のCPU11は、記憶装置14に記憶されている情報を適宜、RAM13に読み出し、読み出したプログラムを実行することにより各種処理を行う。CPU11は、RAM13に読み出された印刷制御プログラムPR1を実行することにより、上述した機能FU1~FU6に対応する処理を行う。印刷制御プログラムPR1は、コンピューターであるホスト装置10を、抽出部U11と印刷対象受付部U12を含む特定部U1、表示部U2、設定受付部U3、印刷指示受付部U4、相対位置特定部U5、及び、制御部U6として機能させる。また、印刷制御プログラムPR1を実行するホスト装置10は、抽出工程ST11と印刷対象受付工程ST12を含む特定工程ST1、表示工程ST2、設定受付工程ST3、印刷指示受付工程ST4、相対位置特定工程ST5、及び、印刷工程ST6を実施する。印刷制御プログラムPR1を記憶したコンピューター読み取り可能な媒体は、ホスト装置内の記憶装置に限定されず、ホスト装置外の記録媒体でもよい。
【0044】
(3)印刷システムの処理の具体例:
図6,7は、ホスト装置10が行う印刷制御処理を模式的に例示している。図8は、図6のステップS102で行われる印刷対象候補抽出処理を模式的に例示している。ホスト装置10は、マルチタスクにより複数の処理を並列して実行している。ここで、図8のステップS202~S216と図6のステップS104~S110は、特定部U1、特定機能FU1、及び、特定工程ST1に対応している。図8のステップS202~S216は、抽出部U11、抽出機能FU11、及び、抽出工程ST11に対応している。図6のステップS110は、印刷対象受付部U12、印刷対象受付機能FU12、及び、印刷対象受付工程ST12に対応している。図8のステップS218と図6のステップS112~S114,S118は、表示部U2、表示機能FU2、及び、表示工程ST2に対応している。図6のステップS116は、印刷指示受付部U4、印刷指示受付機能FU4、及び、印刷指示受付工程ST4に対応している。図6のステップS120は、相対位置特定部U5、相対位置特定機能FU5、及び、相対位置特定工程ST5に対応している。図7のステップS132は、相対位置特定部U5、相対位置特定機能FU5、及び、相対位置特定工程ST5に対応している。図7のステップS134~S140は、制御部U6、制御機能FU6、及び、印刷工程ST6に対応している。以下、「ステップ」の記載を省略し、括弧内に各ステップの符号を示す。
【0045】
ユーザーが印刷制御プログラムPR1を実行させる操作をホスト装置10に行うと、印刷制御処理が開始する。例えば、ホスト装置10がスマートフォンであって印刷制御プログラムPR1が手持ちプリンターアプリである場合、ユーザーは、手持ちプリンターアプリを起動させる操作をスマートフォンに行えばよい。印刷制御処理が開始すると、ホスト装置10は、図8に例示する印刷対象候補抽出処理を行う(S102)。
【0046】
図8に示す印刷対象候補抽出処理が開始すると、ホスト装置10は、カメラ20が動作していない場合にカメラ20を起動させ、パンフォーカスで撮影を行なわせ、撮影画像IM0を取得する(S202)。被写体の想定は、図9に例示するような印刷対象候補A1,A2である。図9には、テーブルといった台B1の上に印刷対象候補A1,A2が置かれていることが示されている。尚、印刷対象候補を総称する場合には符号A0を使用し、印刷対象候補を個別に説明する場合には符号A1,A2を使用する。
【0047】
その後、ホスト装置10は、測距部26を用いて撮影画像IM0中の各画素の被写体距離を測定する(S204)。
【0048】
撮影画像IM0の取得後、ホスト装置10は、撮影画像IM0から印刷対象の候補となる仮の印刷対象候補を取得する処理を行う。図10は、仮の印刷対象候補TAの領域を模式的に例示している。「仮の印刷対象候補」と呼んでいるのは、後の処理で所定の大きさ未満の「仮の印刷対象候補」を印刷対象候補から外すためである。
仮の印刷対象候補TAは、例えば、ほぼ同一の薄い色が連続する領域である。具体的には、薄い色に相当する範囲に含まれる画素を基準画素PX0とし、基準画素PX0の隣接画素のうち測距部26を用いて測定した距離が同じ又は近傍であり、基準画素との色との所定の色空間上の距離が閾値以下である画素を基準画素PX0と同一の領域に含まれるとして扱う。
【0049】
まず、ホスト装置10は、撮影画像IM0の全画素から順に基準画素PX0を設定する(S206)。図10には、測距部26により測定された基準画素PX0の被写体距離がLp0と示されている。
【0050】
基準画素PX0の設定後、ホスト装置10は、基準画素PX0を基準として撮影画像IM0から仮の印刷対象候補TAを取得する(S208)。例えば、ホスト装置10は、まず、基準画素PX0に対して縦横に隣接している隣接画素の内、測距部26を用いて測定した距離が同じ又は近傍であり、基準画素PX0との色との所定の色空間上の距離が閾値以下である隣接画素PX1を取得する。この隣接画素PX1は、基準画素PX0と同じ仮の印刷対象候補TA内の画素となる。図10には、測距部26により測定された隣接画素PX1の距離がLp1と示されている。同じ仮の印刷対象候補TA内であることは、例えば、|Lp1-Lp0|が所定の閾値以下であることを意味する。
尚、色については、所定の色空間上の距離ではなく、色の各成分値の全てが基準画素を中心とした所定の大きさの範囲に含まれる画素を同一の領域に含まれるとして扱っても良い。
【0051】
ホスト装置10は、撮影画像IM0から基準画素PX0を全て設定するまで、S206~S208の処理を繰り返す(S210)。S206~S210の処理後、ホスト装置10は、撮影画像IM0の内、基準画素PX0と隣接画素PX1とが隣接している箇所を繋ぎ、薄い色の領域を選択することにより、仮の印刷対象候補TAを取得する(S212)。薄い色とは、例えば、画素値で示される輝度や明度が所定値以上の色を意味する。画素値がRGB値で表現されている場合、輝度には、R値とG値とB値の相加平均、重み付けを異ならせたR値とG値とB値の平均、等を用いることができる。ここで、Rは赤を意味し、Gは緑を意味し、Bは青を意味する。
【0052】
次いで、ホスト装置10は、仮の印刷対象候補TAが所定の大きさ以上あるか否かに応じて処理を分岐させる(S214)。仮の印刷対象候補TAが所定の大きさ未満である場合、ホスト装置10は、仮の印刷対象候補TAを印刷対象候補にしないで処理をS218に進める。仮の印刷対象候補TAが所定の大きさ以上ある場合、ホスト装置10は、仮の印刷対象候補TAを印刷対象候補A0に設定し(S216)、処理をS218に進める。
【0053】
撮影画像IM0に含まれる被写体は、撮影センサー21に正対しているとは限らず、多くの場合、正対する向きからずれている。図11は、被写体Obが撮影センサー21に正対する向きから角度θ2ずれている様子を模式的に例示している。図11には、撮影センサー21から被写体Obまでの距離Lp11,Lp12,Lp13,Lp14,Lp15が順に長くなっている様子が示されている。そこで、図12に例示するように、ホスト装置10の撮影センサー21を基準にした三次元のカメラ座標系300と、プリンター100のマーカーMA1を基準にした三次元のプリンター座標系310と、を設定し、座標系300,310を適宜、変換することにしている。撮影画像IM0にプリンター100が含まれていない場合、仮の印刷対象候補TA、印刷対象候補A0、又は、印刷対象ME0をXp-Yp平面に合わせたプリンター座標系310を設定すればよい。
【0054】
図12に示すカメラ座標系300は、Xc-Yc平面にディスプレイ16の撮影画像IM0を合わせ、Zc軸を撮影センサー21から被写体Obに向かう方向に合わせている。Xc軸とYc軸とZc軸とは、互いに直交している。被写体ObのZc座標は、被写体距離Lである。
図12に示すプリンター座標系310は、Xp-Yp平面にプリンター100の上面を合わせ、Zp軸をマーカーMA1から印刷対象ME0に向かう方向に合わせている。Xp軸とYp軸とZp軸とは、互いに直交している。プリンター100の底面、仮の印刷対象候補TA、印刷対象候補A0、及び、印刷対象ME0は、Xp-Yp平面に沿った向きとなる。プリンター100の角といった特徴部をマーカーMA1としてプリンター座標系310を設定することも可能である。
【0055】
撮影画像IM0に含まれる被写体Obの正対位置からの傾きが分かれば、三次元の係数行列を用いた行列式によりカメラ座標系300の座標値(Xc,Yc,Zc)をプリンター座標系310の座標値(Xp,Yp,Zp)に変換することができる。また、前述の係数行列の逆行列を用いた行列式により、プリンター座標系310の座標値(Xp,Yp,Zp)をカメラ座標系300の座標値(Xc,Yc,Zc)に変換することができる。撮影画像IM0に含まれる被写体Obの正対位置からの傾きは、測距部26が測定した撮影画像IM0中の各画素の被写体距離をZc座標にした被写体Obの三次元座標値(Xc,Yc,Zc)から計算することができる。
【0056】
図13は、被写体Obのサイズを求める例を模式的に説明するための図である。まず、被写体Obが撮影センサー21に正対する向きであると仮定した説明をする。図13中、サイズSZ0は或る撮影画像IM0が撮影された時の被写体Obにおける或る向きの長さ、例えば、メートル単位であり、サイズSZ1は前述の撮影画像IM0が撮影された時の撮影範囲350における前述の向きの長さ、例えば、メートル単位であり、画素数NU0は撮影画像IM0中における被写体Obにおける前述の向きの画素数であり、画素数NU1は撮影画像IM0における前述の向きの画素数である。前述の向きにおける撮影範囲350の画角θ1を用いると、簡単な計算例として、撮影範囲350のサイズSZ1は、
SZ1=2Ltan(θ1/2)
の計算式により算出される。また、被写体ObのサイズSZ0は、
SZ0=(NU0/NU1)SZ1
の計算式により算出される。
実際には、被写体Obが撮影センサー21に正対していないことが多い。被写体Obが撮影センサー21に正対する向きから角度θ2ずれている場合、簡単な計算例として、被写体ObのサイズSZ2は、
SZ2=SZ0/cosθ2
の計算式により算出される。
以上より、被写体距離Lと、撮影画像IM0における被写体Obの大きさと、に基づいて被写体ObのサイズSZ0が決定される。また、画角θ1はズーム倍率に応じて変わるので、被写体ObのサイズSZ0は画角θ1に応じて変わる。
【0057】
仮の印刷対象候補TAは、プリンター座標系310のXp-Yp平面上に変換されたうえで、大きさが判断される。Xp-Yp平面上における仮の印刷対象候補TAは、撮影画像IM0の画角θ1に基づいて求められる正対形状である。仮の印刷対象候補TAの大きさは、図14Aに例示するように面積に基づいて判断されてもよいし、図14Bに例示するようにYp軸方向における長さである高さに基づいて判断されてもよい。
【0058】
図14Aに示すように、接続処理後に、面積の閾値TSよりも大きい面積S1の仮の印刷対象候補TA、及び、閾値TSよりも小さい面積S2の仮の印刷対象候補TAが抽出されたとする。閾値TSは、例えば、図2に示すノズル列150C,150M,150Y,150Kのノズル並び方向D1における長さの2乗程度にすることができるが、限定されない。S1>TSの仮の印刷対象候補TAは、印刷に適切な印刷対象候補A1に設定される。S2<TSの仮の印刷対象候補TAは、印刷に不向きな領域A9である。
【0059】
図14Bに示すように、接続処理後に、高さの閾値THよりも高い高さH1の仮の印刷対象候補TA、及び、閾値THよりも低い高さH2の仮の印刷対象候補TAが抽出されたとする。閾値THは、例えば、図2に示すノズル列150C,150M,150Y,150Kのノズル並び方向D1における長さ程度にすることができるが、限定されない。H1>THの仮の印刷対象候補TAは、印刷に適切な印刷対象候補A1に設定される。H2<THの仮の印刷対象候補TAは、印刷に不向きな領域A9である。
【0060】
印刷対象候補A0の設定後、ホスト装置10は、図15に例示するように、表示している撮影画像IM0の平面部分にドット群400を付け、印刷対象候補A0に所定の色を付け(S218)、印刷対象候補抽出処理を終了させる。ホスト装置10は、印刷対象候補A0の背景にある滑らかな面のプリンター座標系310の三次元座標値を取得し、該三次元座標値に基づいて撮影画像IM0の平面部分を抽出し、該平面部分にドット群400を付ける。ディスプレイ16に表示されている撮影画像IM0は、S202においてフォーカスが合っている時のピントが合う距離fにおける静止画であるものとするが、限定されない。図15は、撮影画像IM0から印刷対象候補A1,A2が抽出された例を示している。図15に示すドット群400は、撮影画像中の平面部分を明瞭に示すため、白点の集まりとされている。撮影画像IM0の平面部分にドット群400が付されることにより、ユーザーは、撮影画像IM0の平面部分が分かり、ホスト装置10が撮影画像IM0の平面部分を正しく認識していない不具合があることも分かる。図15に示す印刷対象候補A1,A2は、撮影画像IM0の中で目立たせるため、白ではないが明るい色が付されている。
【0061】
印刷対象候補抽出処理の終了後、ホスト装置10は、撮影画像IM0に印刷対象候補A0が有るか否かに応じて処理を分岐させる(図6のS104)。撮影画像IM0に印刷対象候補A0が無い場合、ホスト装置10は、印刷対象候補無しを通知する表示をディスプレイ16に出し(S106)、S102に戻る。ユーザーがホスト装置10を動かすことで、撮影画像に1以上の印刷対象候補A0が含まれるようになるまで繰り返し、印刷対象候補抽出処理を繰り返すことになる。
【0062】
撮影画像IM0に1以上の印刷対象候補A0が有る場合、ホスト装置10は、1以上の印刷対象候補A0から印刷対象を選択する操作を受け付ける(S110)。例えば、撮影画像IM0中の印刷対象候補A0について、各印刷対象候補A0をそれぞれ区別可能にディスプレイ16に表示し、どの印刷対象候補A0を印刷対象にするのか選択を行なうようにユーザーに促す。ユーザーがこれを受けて、1つの印刷対象候補A0を選択すると、ホスト装置10は選択された印刷対象候補A0を印刷対象として選択する。印刷対象が選択されるまではS102に戻り印刷対象候補抽出処理を繰り返す。これによって、ユーザーは、1つの印刷対象候補A0を選択するまでにホスト装置10を動かすことで、ユーザーが印刷を行ないたいと考えている媒体を選択することが可能になる。なお、ユーザーは印刷対象ME0としたい印刷対象候補A0の表示をタップすることで、印刷対象候補A0を選択できるようにしても良い。以下では、図15の表示において、印刷対象候補A1がタップされて印刷対象候補A1が印刷対象ME0として選択された場合を例として説明を行なう。
【0063】
印刷対象ME0の特定後、ホスト装置10は、印刷対象ME0への印刷に使用する元印刷データを指定する操作を受け付ける(S112)。
【0064】
図16は、ディスプレイ16に元画像選択画面を表示しているホスト装置10を模式的に例示している。元画像選択画面は、印刷対象ME0への印刷に使用可能な1以上の元画像OR0を含んでいる。各元画像OR0には、元印刷データのサムネイル画像を用いることができる。例えば、ホスト装置10は、元画像OR0のサムネイル画像をディスプレイ16に並べて表示し、表示されている1以上のサムネイル画像からいずれか一つのサムネイル画像の選択操作を入力装置15により受け付ける処理を行えばよい。例えば、あるサムネイル画像をユーザーがタップすると、タップされたサムネイル画像に対応する元印刷データDA0が印刷対象ME0への印刷用として指定される。図16には、タップされたサムネイル画像としての元画像OR1が示されている。
【0065】
元印刷データDA0の指定後、ホスト装置10は、三次元座標系において元画像OR0のプレビュー画像IP0を撮影画像IM0に重畳するMixed Reality表示をディスプレイ16において行う(S114)。以下、Mixed Reality表示をMR表示と呼ぶことにする。
図17A,17Bは、撮影画像IM0を基にプレビュー画像IP0のMR表示を図12に示す三次元のカメラ座標系300において行う様子を模式的に例示している。図17A,17Bにおいて、プレビュー画像IP0が実線で示され、印刷対象ME0が二点鎖線で示されている。便宜上、図17A,17Bに示す各場面に符号501,502,511~514を付している。
【0066】
元印刷データDA0は、図12に示すプリンター座標系310のXp-Yp平面上のデータとして用意されている。まず、ホスト装置10は、図17Aに示す場面502のように、Xp-Yp平面上に、印刷対象ME0の正対形状と、元印刷データDA0と、を配置する。本実施例では、ホスト装置10は、場面502のように、印刷対象ME0に外接するようにプレビュー画像IP0を配置して、印刷対象ME0の形状に合わせてトリミングをする。初期状態では、場面501ではなく場面502のように印刷対象ME0の一部が元印刷データDA0からはみ出すことが無いようにしている。
【0067】
プレビュー画像IP0の変形後、ホスト装置10は、図17Bに示す場面511のように、Xp-Yp平面上の元印刷データDA0をカメラ座標系300に変換することにより、Xc-Yc平面に合わせたプレビュー画像IP0を生成する。ホスト装置10は、このプレビュー画像IP0を撮影画像IM0に重畳するMR表示をディスプレイ16において行えばよい。撮影画像IM0を基にしたプレビュー画像IP0のMR表示は、拡張現実表示といえる。
【0068】
プレビュー画像IP0のMR表示後、ホスト装置10は、三次元座標において印刷対象ME0に対するプレビュー画像IP0のレイアウトの設定を受け付ける(S116)。図18は、印刷対象ME0に対するプレビュー画像IP0のレイアウトの設定を受け付ける画面を模式的に例示している。例えば、ホスト装置10は、ディスプレイ16に表示されているプレビュー画像IP0をスライドさせる接触操作、プレビュー画像IP0の大きさを変更する接触操作、Xp-Yp平面上におけるプレビュー画像IP0の回転角度を変更する接触操作、の少なくとも一つを入力装置15により受け付ける処理を行えばよい。
例えば、ユーザーが場面511のプレビュー画像IP0を上へスライドさせる操作を行うと、場面512のようにXp-Yp平面を基準としてプレビュー画像IP0が上へスライドする。この時、ホスト装置10は、三次元のプレビュー画像IP0をプリンター座標系310に変換し、Xp-Yp平面上においてプレビュー画像IP0をスライドさせてから、スライド後のプレビュー画像IP0をカメラ座標系300に変換し、座標変換後のプレビュー画像IP0を撮影画像IM0に重畳すればよい。プレビュー画像IP0が上以外、例えば、下、左、又は、右にスライドする場合も、ホスト装置10は類似する処理を行えばよい。
【0069】
ユーザーが場面511のプレビュー画像IP0の回転角度を変える操作を行うと、場面513のようにXp-Yp平面を基準としてプレビュー画像IP0の回転角度が変わる。この時、ホスト装置10は、三次元のプレビュー画像IP0をプリンター座標系310に変換し、Xp-Yp平面上においてプレビュー画像IP0の回転角度を変更してから、変更後のプレビュー画像IP0をカメラ座標系300に変換し、座標変換後のプレビュー画像IP0を撮影画像IM0に重畳すればよい。回転角度を変える操作は、プレビュー画像IP0を右回りに変える操作でもよいし、プレビュー画像IP0を左回りに変える操作でもよい。
ユーザーが場面511のプレビュー画像IP0の大きさを変える操作を行うと、場面514のようにXp-Yp平面を基準としてプレビュー画像IP0の大きさが変わる。この時、ホスト装置10は、三次元のプレビュー画像IP0をプリンター座標系310に変換し、Xp-Yp平面上においてプレビュー画像IP0の大きさを変更してから、変更後のプレビュー画像IP0をカメラ座標系300に変換し、座標変換後のプレビュー画像IP0を撮影画像IM0に重畳すればよい。大きさを変える操作は、プレビュー画像IP0を等倍又は変倍において拡大する操作でもよいし、プレビュー画像IP0を等倍又は変倍において縮小する操作でもよい。
【0070】
以上のようにして、三次元座標において印刷対象ME0に対するプレビュー画像IP0の相対位置が設定される。尚、ホスト装置10は、何らかの方法でプレビュー画像IP0の相対位置の設定を受け付けることができればよい。このため、プレビュー画像IP0の回転角度を変更することができなくてもよく、プレビュー画像IP0の大きさを変更することができなくてもよく、プレビュー画像IP0をスライドさせることができなくてもよい。
尚、ユーザーがホスト装置10を動かすと、既に撮影された画像から変わることになる。そこで、ホスト装置10は、自らの移動に応じて、又は、定期的に図6のS102,S114,S116の処理を行い、新たな撮影画像IM0にプレビュー画像IP0を重畳した画面をディスプレイ16に表示させることにしている。
プレビュー画像IP0の相対位置の設定後、ホスト装置10は、図19に例示するように、必要に応じて変形されたプレビュー画像IP0を印刷対象ME0に合わせてトリミングしたトリミング画像IT0を撮影画像IM0に重畳したMR表示をディスプレイ16において行う(S118)。図19において、プレビュー画像IP0、元印刷データDA0、印刷データDA1、及び、トリミング画像IT0が実線で示され、印刷対象ME0が二点鎖線で示されている。便宜上、図19に示す各場面に符号521~524を付している。
【0071】
図19の場面521は、カメラ座標系300のXc-Yc平面において印刷対象ME0に対するプレビュー画像IP0の相対位置の例を示している。ホスト装置10は、まず、場面522に示すように、Xc-Yc平面におけるプレビュー画像IP0の相対位置に合わせてプリンター座標系310のXp-Yp平面上に元印刷データDA0を配置する。次に、ホスト装置10は、場面523に示すように、Xp-Yp平面において印刷対象ME0の正対形状に合わせて元印刷データDA0をトリミングすることにより、仮の印刷データDA2を生成する。「仮の」が付されているのは、場面521に示す状態でプレビュー画像IP0の相対位置が確定し、且つ、プリンター100と印刷対象ME0との相対位置関係が特定された場合、トリミングされた元印刷データDA0は前述の相対位置関係が付加されると印刷データDA1として流用可能であるためである。最後に、ホスト装置10は、場面524に示すように、Xp-Yp平面上の仮の印刷データDA2をカメラ座標系300に変換することによりトリミング画像IT0を生成し、該トリミング画像IT0を撮影画像IM0に重畳する。これにより、図20に例示するように、三次元座標においてプレビュー画像IP0を印刷対象ME0に合わせてトリミングしたトリミング画像IT0を撮影画像IM0に重畳したMR表示がディスプレイ16において行われる。ここでも、ホスト装置10は、自らの移動に応じて、又は、定期的に図6のS102,S118の処理を行い、新たな撮影画像IM0にトリミング画像IT0を重畳した画面をディスプレイ16に表示させることにしている。
尚、プレビュー画像IP0が印刷対象ME0からはみ出ていない場合、プレビュー画像IP0をトリミングする必要が無いので、S118の処理をスキップすればよい。
【0072】
トリミング画像IT0のMR表示後、ホスト装置10は、設定された相対位置における印刷データDA1の印刷指示を受け付けたか否かに応じて処理を分岐させる(S120)。ホスト装置10は、印刷指示を受け付けていない場合にS116~S120の処理を繰り返し、印刷指示を受け付けた場合に処理を図7のS132に進める。例えば、ホスト装置10は、ディスプレイ16に不図示の決定ボタンを表示し、この決定ボタンへの接触操作を入力装置15により受け付けると、印刷指示を受け付けたとして処理をS132に進めてもよい。ユーザーは、決定ボタンをタップしなければ、プレビュー画像IP0のレイアウトを何回でも変更することができる。また、ホスト装置10は、印刷対象ME0とともにプリンター100を撮影する操作を受け付けたことを、印刷指示を受け付けたこととして、処理をS132に進めてもよい。
【0073】
印刷指示の受け付け後、ホスト装置10は、印刷対象ME0とプリンター100の両方が認識されると両者を撮影し、得られる撮影画像IM0に含まれるプリンター100と、印刷対象ME0と、の相対位置関係を特定する(S132)。
図21は、プリンター100と印刷対象ME0を含む撮影画像IM0をディスプレイ16において表示しているホスト装置10を模式的に例示している。図21に示す撮影画像IM0には、印刷対象ME0に合わせてトリミング画像IT0が重畳されている。ホスト装置10は、まず、三次元のカメラ座標系300において、印刷対象ME0とプリンター100の座標を求める。プリンター100の座標には、マーカーMA1の座標も含まれる。ここでも、ホスト装置10は、撮影センサー21が撮影した撮影画像IM0と、測距部26が測定した撮影画像IM0中の各画素の被写体距離と、に基づいて、印刷対象ME0と、プリンター100の上面と、のZc軸座標を求めることができる。次に、ホスト装置10は、カメラ座標系300における印刷対象ME0及びプリンター100の三次元座標値(Xc,Yc,Zc)をプリンター座標系310における三次元座標値(Xp,Yp,Zp)に変換する。すると、ホスト装置10は、プリンター座標系310のXp-Yp平面上において、マーカーMA1を基準としてプリンター100と印刷対象ME0との相対位置関係を特定することができる。例えば、Xp-Yp平面上において、マーカーMA1を原点にすると、図2に示すプリンター100の各ノズル151の座標が決まり、印刷対象ME0に設定される各画素の座標が決まる。これにより、プリンター100と印刷対象ME0との相対位置関係が特定される。
【0074】
ディスプレイ16において印刷対象ME0に重畳されるトリミング画像IT0のMR表示は、図6のS118に類似する処理により実現することができる。図19の場面522のように、プリンター座標系310のXp-Yp平面上において印刷対象ME0に対する元印刷データDA0の相対位置が設定されている。そこで、ホスト装置10は、場面523に示すようにXp-Yp平面において印刷対象ME0の正対形状に合わせて元印刷データDA0をトリミングし、場面524に示すようにXp-Yp平面上の仮の印刷データDA2をカメラ座標系300に変換し、得られるトリミング画像IT0を撮影画像IM0に重畳すればよい。
【0075】
尚、プリンター100と印刷対象ME0との相対位置関係は、マーカーを使用しなくても特定可能である。例えば、プリンター100には、複数の角、ボタン140、といった複数の特徴点が存在し得る。そこで、ホスト装置10は、撮影画像IM0からカメラ座標系300における1以上の特徴点の三次元座標値を求め、いずれかの特徴点を原点としてプリンター座標系310においてプリンター100と印刷対象ME0との相対位置関係を特定してもよい。また、略直方体の筐体101を有するプリンター100の8箇所の角のうち4箇所以上の角を一つの撮影画像IM0から抽出すると、抽出結果に基づいて、印刷対象ME0と、プリンター100の上面と、のZc軸座標を求めることができる。そこで、ホスト装置10は、抽出した特徴点の内、いずれかの特徴点を原点としてプリンター座標系310においてプリンター100と印刷対象ME0との相対位置関係を特定してもよい。
【0076】
相対位置関係の特定後、ホスト装置10は、印刷対象ME0に対して設定されたレイアウトに合わせた元印刷データDA0を三次元のプリンター座標系310において印刷対象ME0の正対形状に合わせて切り出すことにより、印刷データDA1を生成する(S134)。印刷データDA1は、プリンター100と印刷対象ME0との相対位置関係を含み、例えば、プリンター座標系310のXp-Yp平面上においてマーカーMA1を原点とした座標値(Xp,Yp)に各画素のドットの形成状態を表すドットデータとすることができる。ドットデータは、例えば、各画素について、シアンインクのドットの有無、マゼンタインクのドットの有無、イエローインクのドットの有無、及び、ブラックインクのドットの有無を表すデータとすることができる。ホスト装置10は、S132の処理においてプリンター座標系310のXp-Yp平面において印刷対象ME0の正対形状に合わせて元印刷データDA0をトリミングすることにより仮の印刷データDA2を生成した場合、仮の印刷データDA2に相対位置関係を表す情報を付加することにより印刷データDA1を生成してもよい。
【0077】
印刷データDA1の生成後、ホスト装置10は、プリンター100から印刷要求が有るまで待機する(S136)。例えば、ユーザーが手持ちプリンター100を印刷したい場所にスライドさせて押さえ付けたりボタン140を押したりする等すると、対応する印刷位置の印刷を開始させる印刷トリガーとしての印刷要求をプリンター100がホスト装置10に送信すればよい。図2に示すプリンター100は、各移動量検出センサー130により検出した移動方向及び移動距離に基づいて、プリンター座標系310のXp-Yp平面上における自らの座標値及び向きを計算している。そこで、プリンター100は、印刷要求と合わせて、自らの座標値及び向きをホスト装置10に送信すればよい。
【0078】
印刷要求を受信したホスト装置10は、用意した印刷データDA1の内、印刷位置に対応する部分のデータをプリンター100に送信する(S138)。ホスト装置10は、プリンター100の座標値及び向きを受信すると、プリンター100の向きを考慮して各ノズル151に割り当てた部分的なドットデータを生成し、該部分的なドットデータをプリンター100に送信する。また、ホスト装置10は、図2に示すマスク情報を図4に示すRAM13に格納しており、印刷済みフラグFL1が格納されている画素にはドット無しを割り当てる。部分的なドットデータを受信したプリンター100は、ユーザーの操作によりスライドすると、部分的なドットデータに従って記録ヘッド150からインク滴を印刷対象ME0に吐出する。
【0079】
ホスト装置10は、印刷を終了するまでS136~S138の処理を繰り返し(S140)、印刷を終了すると印刷制御処理を終了させる。S136~S140の処理が繰り返されることにより、図1に示すように、印刷対象ME0のうちユーザーがプリンター100をスライドさせた部分に印刷画像IMpが形成され、印刷物が形成される。
以上のようにして、ホスト装置10は、プレビュー画像IP0に合わせた変更を元印刷データDA0に行うことにより、特定された印刷対象ME0に対応する印刷データDA1を生成し、該印刷データDA1に基づく印刷対象ME0への印刷をプリンター100に実行させる。また、ホスト装置10は、印刷対象ME0を含むように元印刷データDA0を印刷対象ME0に対して設定された相対位置に合わせて変形し、変形後の元印刷データDA0を印刷対象ME0の正対形状に合わせてトリミングした印刷データDA1に基づく印刷対象ME0への印刷をプリンター100に実行させる。
【0080】
以上説明したように、図8で示した印刷対象候補抽出処理が行われることにより、撮影センサー21が撮影した撮影画像IM0と、測距部26が測定した撮影画像IM0中の各画素の被写体距離と、に基づいて、所定範囲の色において連続している領域が印刷対象候補A0として特定され、該印刷対象候補A0のいずれか一つが印刷対象ME0として特定される。これにより、奥行き方向への不連続箇所等、印刷に不向きな領域が印刷対象ME0から除外される。従って、本具体例は、使い勝手を向上させることができる。
また、図6で示したS112~S118におけるトリミング画像IT0のMR表示処理が行われることにより、印刷対象ME0よりも大きい元印刷データDA0が扱われ、印刷対象ME0からはみ出した部分にはプレビュー画像IP0が重ならない。これにより、ユーザーは、予想される印刷結果を三次元的に容易に確認することができる。従って、本具体例は、より思い通りの印刷結果を得ることができる。
【0081】
(4)変形例:
本発明は、種々の変形例が考えられる。
例えば、印刷対象に画像を形成するインクの種類は、シアン、マゼンタ、イエロー、及び、ブラックに加えて、シアンよりも低濃度のライトシアン、マゼンタよりも低濃度のライトマゼンタ、白色のホワイト、光沢を与えるクリア等を含んでいてもよい。また、シアン、マゼンタ、イエロー、及び、ブラックの一部のインクを使用しない場合も、本技術を適用可能である。
上述した処理は、順番を入れ替える等、適宜、変更可能である。例えば、図8に示すS214の処理を無くし、大きさにかかわらず仮の印刷対象候補TAを印刷対象候補A0に設定することが可能である。また、仮の印刷対象候補TAを印刷対象候補A0ではなく、直接、印刷対象ME0に設定することも可能である。
【0082】
図7は手持ちプリンター100を印刷対象ME0にかざした範囲に対する印刷要求をホスト装置10が受けてプリンター100に印刷データDA1を複数に分けて送信する例を示しているが、ホスト装置10は事前に全ての印刷データDA1をプリンター100に送信してもよい。全ての印刷データDA1を受信したプリンター100は、印刷データDA1のうち印刷位置に対応する部分のデータを各ノズル151に割り当てた部分的なドットデータを逐次生成し、該部分的なドットデータに従って記録ヘッド150からインク滴を印刷対象ME0に吐出してもよい。
【0083】
図8のS202~S216は撮影センサー21が撮影した撮影画像IM0と、測距部26が測定した撮影画像IM0中の各画素の被写体距離と、に基づいて印刷対象候補A0を設定する例を示しているが、上述した態様11を実施しない場合、別の方法で印刷対象候補A0が設定されてもよい。
例えば、ホスト装置10は、被写界深度と複数フォーカスを用いることにより撮影画像IM0から印刷対象候補A0、テーブル、ホワイトボード、等の滑らかな面を抽出してもよいし、人工知能による画像認識により撮影画像IM0から印刷対象候補A0等の滑らかな面を抽出してもよい。また、ホスト装置10が深度カメラを備えている場合、ホスト装置10は、深度カメラからカメラ座標系300のZc座標値を取得することにより撮影画像IM0から印刷対象候補A0等を抽出してもよい。さらに、ホスト装置10は、撮影画像IM0の複数の画素値からヒストグラムを生成し、該ヒストグラムに基づいて撮影画像IM0から印刷対象候補A0等を抽出してもよい。さらに、ホスト装置10は、撮影画像IM0に対してフィルター又はマスクを適用することにより撮影画像IM0から印刷対象候補A0等を抽出してもよい。これらの場合、印刷対象候補A0等を抽出するための撮影画像IM0は、1枚でもよい。
【0084】
図21はプリンター100と印刷対象ME0の両方を撮影することにより両者の相対位置関係を特定する例を示しているが、プリンター100を撮影しなくてもプリンター100と印刷対象ME0との相対位置関係を特定することが可能である。例えば、ホスト装置10は、印刷対象ME0を含む撮影画像IM0に原点を示す原点画像を重畳した画面をディスプレイ16に表示させてもよい。この場合、ディスプレイ16の画面を見たユーザーは、原点画像の位置にプリンター100を置いてからスライドさせる操作を行えばよい。すると、印刷データDA1が印刷対象ME0に印刷される。
【0085】
ところで、図6のS102の印刷対象候補抽出処理は、図8で示した印刷対象候補抽出処理に限定されず、様々な処理が可能である。
図22は、図6のS102で実行可能な印刷対象候補抽出処理を模式的に例示している。ここで、S302~S316は、抽出部U11、抽出機能FU11、及び、抽出工程ST11に対応している。S318は、図6のS112~S114,S118とともに、表示部U2、表示機能FU2、及び、表示工程ST2に対応している。図23は、撮影画像群G1から印刷対象候補A0を抽出する様子を模式的に例示している。尚、図4に示す測距部26は、撮影範囲から合焦している合焦位置200を検出するものとする。合焦位置200は、ピントが合っている位置を意味する。カメラ20は、撮影画像IM0が生成されると、合焦位置200を示す情報を撮影画像IM0に対応付けてRAM13に格納する。
【0086】
図22に示す印刷対象候補抽出処理が開始すると、ホスト装置10は、カメラ20が動作していない場合にカメラ20を起動させ、被写体にフォーカスが合っていない場合にフォーカスが合うまで待機する(S302)。被写体の想定は、図9に例示するような印刷対象候補A1,A2である。被写体にフォーカスが合うと、ピントが合う距離fが定まり、被写体距離Lが定まる。
被写体にフォーカスが合っていることが確認された後、ホスト装置10は、ピント制御部27によりピントが合う距離fを変えながら撮影センサー21により被写体を撮影し、撮像画像群G1を取得する(S304)。各距離fにおいて、測距部26は、被写体距離Lを測定し、合焦位置200を検出する。ホスト装置10は、S302で定まったピントが合う距離fを所定距離分小さくしてから徐々に増加させながら被写体を撮影してもよいし、S302で定まったピントが合う距離fを所定距離分大きくしてから徐々に減少させながら被写体を撮影してもよい。
【0087】
図23は、撮影画像群G1から印刷対象候補A0を抽出する様子を模式的に例示している。図23に示す撮影画像群G1は、ピントが合う距離fをf1からf6まで徐々に増加させながら撮影した静止画である撮影画像IM1~IM6を含んでいる。撮影画像IM1~IM6は、所定範囲の第一の色である印刷対象候補A1と、所定範囲の第二の色である印刷対象候補A2と、を含んでいる。ただし、印刷対象候補A1,A2は、撮影画像IM1~IM6から抽出される領域であり、印刷対象候補の抽出処理を行う前は印刷対象候補であるか否かは分かっていない。各撮影画像IM1~IM6には、各距離f1~f6において合焦している合焦位置200が対応付けられている。説明の都合上、図23には、第一の色の合焦位置200のみハッチングを付している。図22に示すS304の処理では、図23に示すような撮影画像群G1が取得される。
【0088】
撮影画像群G1の取得後、ホスト装置10は、各撮影画像IM0から合焦位置200の領域を取得する(S306)。ここで、合焦位置200の領域を合焦領域と呼ぶことにする。合焦領域は、例えば、図23に示す探索色領域AS1~AS6であり、図示していないが印刷対象候補A2となる部分にも存在する。
【0089】
合焦領域の取得後、ホスト装置10は、合焦領域から所定範囲の探索色を設定する(S308)。合焦領域に互いに異なる第一の色及び第二の色がある場合、第一の色と第二の色が順に探索色に設定される。図23には、ピントが合う距離f1の撮影画像IM1において、第一の色である探索色の合焦領域が探索色領域AS1として示されている。
印刷対象候補A0は、ほぼ同一の薄い色であることを前提としているが、厳密に同一の色であるとは限らない。そこで、探索色領域AS1の色を基準として所定範囲内の色であれば探索色領域AS2~AS6も第一の色であると判断することにしている。同一の色とする所定範囲は、例えば、探索色領域AS1の色を基準として所定の色差の範囲としてもよいし、探索色領域AS1の輝度を基準として所定の輝度差の範囲としてもよいし、RGB色空間において探索色領域AS1のRGB値を基準として所定の直方体に入る範囲としてもよい。撮影画像IM0が画素毎のRGB値で表現されている場合、輝度には、R値とG値とB値の相加平均、重み付けを異ならせたR値とG値とB値の平均、等を用いることができる。
【0090】
探索色の設定後、ホスト装置10は、ピントが合う距離fの順に連続している探索色領域を接続する処理を行う(S310)。図23に示すように、ピントが合う距離f2の撮影画像IM2に含まれる第一の色の合焦位置200である探索色領域AS2が探索されたとする。図23において撮影画像IM2の右に示すように、ホスト装置10は、探索色領域AS1,AS2を同じ平面上に並べる処理を行えばよい。探索色領域AS1,AS2が繋がっている場合、探索色領域AS1,AS2は、第一の色において連続している合焦領域である。尚、探索色領域AS1,AS2が繋がっていることには、同じ平面上で探索色領域AS1と探索色領域AS2とが一部重複する場合と、同じ平面上で探索色領域AS1と探索色領域AS2とが重複していないが探索色領域AS1と探索色領域AS2と間に隙間が無い場合と、の両方が含まれる。
以下、ピントが合う距離f3の撮影画像IM3に含まれる探索色領域AS3、ピントが合う距離f4の撮影画像IM4に含まれる探索色領域AS4、ピントが合う距離f5の撮影画像IM5に含まれる探索色領域AS5、及び、ピントが合う距離f6の撮影画像IM6に含まれる探索色領域AS6も上述の平面上に並べられる。繋がっている探索色領域AS1~AS6は、接続される。接続された探索色領域AS1~AS6は、撮影画像群G1からピントが合う距離fの順に合焦位置200が所定範囲の第一の色において連続している滑らかな面の領域である。図示していないが、撮影画像群G1からピントが合う距離fの順に合焦位置200が所定範囲の第二の色において連続している複数の探索色領域も接続される。
【0091】
被写体には、均一色の領域に段差といった奥行き方向への不連続箇所がある。図24は、被写体に段差がある場合に撮影画像群G1から探索色領域を抽出する様子を模式的に例示している。図24において、撮影画像IM1,IM2から第一の色の探索色領域AS1,AS2が抽出されることは、図23で示した例と同じである。ここで、探索色領域AS2の先に段差がある場合、次の撮影画像IM3に第一の色の探索色領域が現れない。従って、その次の撮影画像IM4に第一の色の探索色領域AS4が現れても、探索色領域AS2,AS4はピントが合う距離fの順に合焦位置200が所定範囲の第一の色において連続しているとは言えない。
【0092】
探索色領域の接続処理後、ホスト装置10は、処理後の探索色領域が所定の大きさ以上あるか否かに応じて処理を分岐させる(S312)。処理後の探索色領域が所定の大きさ未満である場合、ホスト装置10は、処理後の探索色領域を印刷対象候補にしないで処理をS316に進める。処理後の探索色領域が所定の大きさ以上ある場合、ホスト装置10は、処理後の探索色領域のうち薄い探索色領域を印刷対象候補A0に設定し(S314)、処理をS316に進める。印刷対象候補A0は薄い色であることを前提としているので、ホスト装置10は、例えば、処理後の探索色領域のうち所定の輝度以上の探索色領域を印刷対象候補A0として設定すればよい。処理後に所定の大きさ以上の探索色領域のうち印刷対象候補A0でない領域は、印刷対象候補A0の背景にある滑らかな面に設定される。
【0093】
接続処理後の探索色領域は、プリンター座標系310のXp-Yp平面上に変換されたうえで、大きさが判断される。Xp-Yp平面上における処理後の探索色領域は、撮影画像群G1に含まれる撮影画像IM0の画角θ1に基づいて求められる正対形状である。ホスト装置10は、所定の大きさ以上となるようにピントが合う距離fの順に合焦位置200が所定範囲の色において連続している滑らかな面の領域を印刷対象候補A0として抽出する。処理後の探索色領域の大きさは、図14Aに例示するように面積に基づいて判断されてもよいし、図14Bに例示するようにYp軸方向における長さである高さに基づいて判断されてもよい。
【0094】
図14Aに示すように、接続処理後に、面積の閾値TSよりも大きい面積S1の探索色領域、及び、閾値TSよりも小さい面積S2の探索色領域が抽出されたとする。S1>TSの探索色領域は、印刷に適切な印刷対象候補A1に設定される。S2<TSの探索色領域は、印刷に不向きな領域A9である。
図14Bに示すように、接続処理後に、高さの閾値THよりも高い高さH1の探索色領域、及び、閾値THよりも低い高さH2の探索色領域が抽出されたとする。H1>THの探索色領域は、印刷に適切な印刷対象候補A1に設定される。H2<THの探索色領域は、印刷に不向きな領域A9である。
【0095】
ホスト装置10は、上述したS308~S314の処理を設定する探索色が無くなるまで繰り返す(S316)。これにより、撮影画像群G1からピントが合う距離fの順に合焦位置200が所定範囲の色において連続している所定の大きさ以上の印刷対象候補A0が抽出される。
【0096】
印刷対象候補A0の抽出後、ホスト装置10は、図15に例示するように、表示している撮影画像IM0の平面部分にドット群400を付け、印刷対象候補A0に所定の色を付け(S318)、印刷対象候補抽出処理を終了させる。
【0097】
以上説明したように、図22で示した印刷対象候補抽出処理が行われることにより、撮影画像群G1からピントが合う距離fの順に合焦位置200が所定範囲の色において連続している領域が印刷対象候補A0として特定され、該印刷対象候補A0のいずれか一つが印刷対象ME0として特定される。これにより、奥行き方向への不連続箇所等、印刷に不向きな領域が印刷対象ME0から除外される。従って、本変形例は、使い勝手を向上させることができる。
【0098】
(5)結び:
以上説明したように、本発明によると、種々の態様により、より思い通りの印刷結果を得ることが可能な技術、印刷制御処理の使い勝手を向上させる技術、等を提供することができる。むろん、独立請求項に係る構成要件のみからなる技術でも、上述した基本的な作用、効果が得られる。
また、上述した例の中で開示した各構成を相互に置換したり組み合わせを変更したりした構成、公知技術及び上述した例の中で開示した各構成を相互に置換したり組み合わせを変更したりした構成、等も実施可能である。本発明は、これらの構成等も含まれる。
【符号の説明】
【0099】
10…ホスト装置(印刷制御装置の例)、15…入力装置、16…ディスプレイ、20…カメラ、21…撮影センサー、22…撮像素子、25…フォーカスコントローラー、26…測距部、27…ピント制御部、28…AF部、100…プリンター(印刷装置の例)、110…コントローラー、130…移動量検出センサー、140…ボタン、150…記録ヘッド、150C,150M,150Y,150K…ノズル列、151…ノズル、200…合焦位置、300…カメラ座標系、310…プリンター座標系、350…撮影範囲、400…ドット群、A0,A1,A2…印刷対象候補、AS1~AS6…探索色領域、DA0…元印刷データ、DA1…印刷データ、DA2…仮の印刷データ、G1…撮影画像群、IM0…撮影画像、IMp…印刷画像、IN1…マスク情報、IP0…プレビュー画像、IT0…トリミング画像、MA1…マーカー、ME0…印刷対象、Ob…被写体、OR0,OR1…元画像、PR1…印刷制御プログラム、SY1…印刷システム、U1…特定部、U2…表示部、U3…設定受付部、U4…印刷指示受付部、U5…相対位置特定部、U6…制御部、U11…抽出部、U12…印刷対象受付部。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24