特許第6798243号(P6798243)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ブラザー工業株式会社の特許一覧

<>
  • 特許6798243-プログラム及び情報処理端末 図000002
  • 特許6798243-プログラム及び情報処理端末 図000003
  • 特許6798243-プログラム及び情報処理端末 図000004
  • 特許6798243-プログラム及び情報処理端末 図000005
  • 特許6798243-プログラム及び情報処理端末 図000006
  • 特許6798243-プログラム及び情報処理端末 図000007
  • 特許6798243-プログラム及び情報処理端末 図000008
  • 特許6798243-プログラム及び情報処理端末 図000009
  • 特許6798243-プログラム及び情報処理端末 図000010
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6798243
(24)【登録日】2020年11月24日
(45)【発行日】2020年12月9日
(54)【発明の名称】プログラム及び情報処理端末
(51)【国際特許分類】
   G06F 3/12 20060101AFI20201130BHJP
   H04N 9/04 20060101ALI20201130BHJP
   H04N 1/60 20060101ALI20201130BHJP
【FI】
   G06F3/12 344
   G06F3/12 308
   G06F3/12 392
   H04N9/04 B
   H04N1/60
【請求項の数】14
【全頁数】16
(21)【出願番号】特願2016-205708(P2016-205708)
(22)【出願日】2016年10月20日
(65)【公開番号】特開2018-67166(P2018-67166A)
(43)【公開日】2018年4月26日
【審査請求日】2019年10月15日
(73)【特許権者】
【識別番号】000005267
【氏名又は名称】ブラザー工業株式会社
(74)【代理人】
【識別番号】100117101
【弁理士】
【氏名又は名称】西木 信夫
(74)【代理人】
【識別番号】100120318
【弁理士】
【氏名又は名称】松田 朋浩
(72)【発明者】
【氏名】山田 純
【審査官】 白石 圭吾
(56)【参考文献】
【文献】 特開2012−166511(JP,A)
【文献】 特開2004−341642(JP,A)
【文献】 特開2006−135796(JP,A)
【文献】 特開2002−214724(JP,A)
【文献】 特開2016−51260(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/09−3/12
H04N 1/00
B41J 5/00−5/52;21/00−21/18
B41J 29/00−29/70
G03G 13/34;15/00;15/36;21/00;21/02;21/14;21/20
H04N 1/38−1/393
H04N 1/56
H04N 9/04
G06T 19/00
(57)【特許請求の範囲】
【請求項1】
ディスプレイと、入力インタフェースと、通信インタフェースとを備える情報処理端末によって読取可能なプログラムであって、
該プログラムは、
複数の画像データのうちの1つを、指定データとして指定するユーザ操作を、前記入力インタフェースを通じて受け付ける第1受付処理と、
プリントシートを設置し得る場所を撮影した撮影画像を、前記ディスプレイに表示させる第1表示処理とを前記情報処理端末に実行させ、前記プリントシートは、前記指定データで示される指定画像が記録されたシートであり、
該プログラムは、前記第1表示処理で表示させた前記撮影画像上の指定座標を指定するユーザ操作を、前記入力インタフェースを通じて受け付ける第2受付処理を前記情報処理端末に実行させ、前記指定座標は、前記撮影画像に含まれる場所のうち、前記プリントシートを設置する設置位置に対応する座標であり、
該プログラムは、
前記設置位置に存在する物の種類に対応する方法で、前記指定データを加工する第1加工処理と、
前記通信インタフェースを通じてプリンタにプリント指示情報を送信するプリント指示処理とを前記情報処理端末に実行させ、前記プリント指示情報は、前記指定画像をシートにプリントして、前記プリントシートを出力させるための情報であるプログラム。
【請求項2】
前記情報処理端末は、カメラを備えており、
該プログラムは、前記第1表示処理において、前記カメラに撮影を開始させ且つ前記カメラが撮影した前記撮影画像を、前記ディスプレイに表示させる請求項1に記載のプログラム。
【請求項3】
該プログラムは、
前記第1表示処理において、前記撮影画像に対して相対移動可能な前記指定画像を、前記撮影画像に重ねて前記ディスプレイに表示させ、
前記第2受付処理において、ユーザによって相対移動された前記指定画像が重ねられた前記撮影画像上の座標を、前記指定座標として受け付ける請求項1又は2に記載のプログラム。
【請求項4】
前記情報処理端末は、カメラを備えており、
該プログラムは、
前記第1表示処理において、所定の時間間隔毎に前記カメラが撮影した前記撮影画像を切り替えて表示させ、且つ前記撮影画像上に前記指定画像を固定表示させ、
前記第2受付処理において、前記カメラの向きを変更するユーザ操作に追従して、前記指定画像に対して前記撮影画像を移動させる請求項3に記載のプログラム。
【請求項5】
前記入力インタフェースは、前記ディスプレイ上にタッチされた入力媒体の座標を検出するタッチセンサであり、
該プログラムは、前記第2受付処理において、前記指定画像上にタッチされた前記入力媒体の前記ディスプレイ上の移動に追従して、前記撮影画像に対して前記指定画像を移動させる請求項3に記載のプログラム。
【請求項6】
該プログラムは、前記撮影画像内の前記指定座標を含む小画像に対する画像認識処理によって、前記小画像で示される物の種類を特定する特定処理を前記情報処理端末に実行させ、前記小画像は、前記設置位置に存在する物をカメラが撮影したことによって得られた画像であり、
前記プログラムは、前記第1加工処理において、前記特定処理で特定した物の種類に対応する方法で、前記指定データを加工する請求項1から5のいずれかに記載のプログラム。
【請求項7】
該プログラムは、前記撮影画像に対する画像認識処理によって、前記撮影画像に含まれる複数の小画像を認識する認識処理を前記情報処理端末に実行させ、前記小画像は、前記プリントシートを設置し得る場所に存在する物をカメラが撮影したことによって得られた画像であり、
該プログラムは、
前記第1表示処理において、前記認識処理で認識した複数の前記小画像それぞれを識別するための情報を、前記撮影画像に重ねて前記ディスプレイに表示させ、
前記第1加工処理において、前記指定座標を含む前記小画像で示される物の種類に対応する方法で、前記指定データを加工する請求項1から5のいずれかに記載のプログラム。
【請求項8】
該プログラムは、前記設置位置に存在する物の種類が壁である場合の前記第1加工処理において、前記指定画像を構成する全ての画素について、色相環上における壁の色を頂点とする正三角形の他の頂点に対応する色を強調する請求項1から7のいずれかに記載のプログラム。
【請求項9】
該プログラムは、前記設置位置に存在する物の種類が家具である場合の前記第1加工処理において、家具の素材に対応する模様を表し且つ前記指定画像が透過される模様画像を、前記指定画像の全域に合成する請求項1から8のいずれかに記載のプログラム。
【請求項10】
該プログラムは、前記設置位置に存在する物の種類が標識が設置され得る物であることに応じて、
標識の種類を指定するユーザ操作を、前記入力インタフェースを通じて受け付ける第3受付処理を前記情報処理端末に実行させ、
前記第1加工処理において、前記指定画像を構成する全ての画素について、前記第3受付処理で指定された種類に対応する色を強調する請求項1から9のいずれかに記載のプログラム。
【請求項11】
該プログラムは、前記設置位置に存在する物の種類がフォトフレームである場合の前記第1加工処理において、前記指定画像を構成する全ての画素について、フォトフレームの枠の色の補色を強調する請求項1から10のいずれかに記載のプログラム。
【請求項12】
該プログラムは、前記設置位置に存在する物の種類がフォトフレームである場合の前記第1加工処理において、
前記撮影画像と、前記撮影画像内のフォトフレームに重ねられた前記指定画像とを、前記ディスプレイに表示させる第2表示処理と、
フォトフレームの枠に対する前記指定画像のサイズを変更するユーザ操作を、前記入力インタフェースを通じて受け付ける第4受付処理と、
前記第4受付処理でサイズが変更された前記指定画像のうち、フォトフレームの枠の内側の画像を示す画像データを、新たな前記指定データとして生成するトリミング処理とを前記情報処理端末にさらに実行させる請求項11に記載のプログラム。
【請求項13】
前記指定データは、カメラによって撮影された写真を示すデータであり、且つ撮影時の気温を推定するためのメタデータが対応付けられており、
該プログラムは、前記指定画像を構成する全ての画素について、前記メタデータで推定される気温に応じた色を強調する第2加工処理を、前記情報処理端末に実行させる請求項1から12のいずれかに記載のプログラム。
【請求項14】
ディスプレイと、
入力インタフェースと、
通信インタフェースと、
コントローラとを備える情報処理端末であって、
前記コントローラは、
複数の画像データのうちの1つを、指定データとして指定するユーザ操作を、前記入力インタフェースを通じて受け付ける第1受付処理と、
プリントシートを設置し得る場所を撮影した撮影画像を、前記ディスプレイに表示させる第1表示処理とを実行し、前記プリントシートは、前記指定データで示される指定画像が記録されたシートであり、
前記コントローラは、前記第1表示処理で表示させた前記撮影画像上の指定座標を指定するユーザ操作を、前記入力インタフェースを通じて受け付ける第2受付処理を実行し、前記指定座標は、前記撮影画像に含まれる場所のうち、前記プリントシートを設置する設置位置に対応する座標であり、
前記コントローラは、
前記設置位置に存在する物の種類に対応する方法で、前記指定データを加工する第1加工処理と、
前記通信インタフェースを通じてプリンタにプリント指示情報を送信するプリント指示処理とを実行し、前記プリント指示情報は、前記指定画像をシートにプリントして、前記プリントシートを出力させるための情報である情報処理端末。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、プリンタにプリントさせる画像を加工する情報処理端末のプログラムに関する。
【背景技術】
【0002】
例えば特許文献1には、デジタルカメラとプリンタとの色ずれを補正するための色補正テーブルを用いて、デジタルカメラに撮影させた画像を、プリンタにプリントさせる前に色補正する技術が開示されている。そして特許文献1には、上記の色補正を実行することによって、色ずれのない良好なプリント結果を得ることができると記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2005−136603号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
近年、情報処理端末に搭載されたハードウェアの能力向上に伴って、さらに複雑な画像処理が可能になっている。すなわち、今日の情報処理端末では、さらに良好なプリント結果を得るための画像処理が可能となっている。しかしながら、特許文献1に記載の色補正では、向上したハードウェアの能力を十分に活用して、ユーザの意図に合った画像に補正できているとは言い難い。
【0005】
本発明は、上記の事情に鑑みてなされたものであり、プリントシートにプリントされる画像を、ユーザの意図に適した方法で加工することが可能な情報処理端末のプログラムを提供することにある。
【課題を解決するための手段】
【0006】
本明細書では様々な開示を行う。開示例の1つであるプログラムは、ディスプレイと、入力インタフェースと、通信インタフェースとを備える情報処理端末によって読取可能である。該プログラムは、複数の画像データのうちの1つを、指定データとして指定するユーザ操作を、前記入力インタフェースを通じて受け付ける第1受付処理と、プリントシートを設置し得る場所を撮影した撮影画像を、前記ディスプレイに表示させる第1表示処理とを前記情報処理端末に実行させる。前記プリントシートは、前記指定データで示される指定画像が記録されたシートである。該プログラムは、前記第1表示処理で表示させた前記撮影画像上の指定座標を指定するユーザ操作を、前記入力インタフェースを通じて受け付ける第2受付処理を前記情報処理端末に実行させる。前記指定座標は、前記撮影画像に含まれる場所のうち、前記プリントシートを設置する設置位置に対応する座標である。該プログラムは、前記設置位置に存在する物の種類に対応する方法で、前記指定データを加工する第1加工処理と、前記通信インタフェースを通じてプリンタにプリント指示情報を送信するプリント指示処理とを前記情報処理端末に実行させる。前記プリント指示情報は、前記指定画像をシートにプリントして、前記プリントシートを出力させるための情報である。
【0007】
上記構成によれば、プリントシートを設置する物に対応した方法で指定画像が加工される。すなわち、設置位置を指定したユーザの意図に適した指定画像がプリントされたプリントシートを得ることができる。
【図面の簡単な説明】
【0008】
図1図1は、実施形態に係るシステム100のブロック図である。
図2図2は、対応する画像データ、日時情報、及び位置情報の一例を示す図である。
図3図3は、プリント処理のフローチャートである。
図4図4は、個別加工処理のフローチャートである。
図5図5(A)はフレーム加工処理のフローチャートであり、図5(B)は共通加工処理のフローチャートである。
図6図6は、ディスプレイ53の表示例であって、(A)はデータ選択画面を、(B)は種類選択画面を示す。
図7図7は、位置選択画面の画面例である。
図8図8は、トリミング画面の画面例である。
図9図9は、個別加工処理に用いる色の例であって、(A)は色相環を、(B)は家具素材及び模様画像の対応関係を、(C)は標識の種類に対応する色を、(D)はフレーム色の補色を示す。
【発明を実施するための形態】
【0009】
以下、適宜図面を参照して本発明の実施形態について説明する。なお、以下に説明される実施形態は本発明の一例にすぎず、本発明の要旨を変更しない範囲で、本発明の実施形態を適宜変更できることは言うまでもない。
【0010】
図1は、本実施形態に係るシステム100の概略図である。図1に示されるシステム100は、MFP(Multi-Function Peripheralの略)10と、携帯端末50とで構成されている。また、システム100は、MFP10に代えて、プリンタ単能機を含んでもよい。MFP10及び携帯端末50は、通信ネットワーク101を通じて相互に通信可能に構成されている。通信ネットワーク101の具体例は特に限定されないが、例えば、インターネット、有線LAN、無線LAN、或いはこれらの組み合わせであってもよい。または、MFP10及び携帯端末50は、USBケーブル等によって接続されていてもよい。
【0011】
MFP10は、図1に示されるように、プリンタ11と、スキャナ12と、ディスプレイ23と、入力I/F24と、通信I/F25と、CPU31と、メモリ32と、通信バス33とを主に備える。MFP10を構成する各構成要素は、通信バス33を通じて相互に接続されている。
【0012】
プリンタ11は、画像データで示される画像をシートに記録するプリント動作を実行する。プリンタ11の記録方式としては、インクジェット方式や電子写真方式などの公知の方式を採用することができる。スキャナ12は、原稿に記録された画像を読み取って画像データを生成するスキャン動作を実行する。但し、スキャナ12は、省略可能である。
【0013】
ディスプレイ23は、液晶ディスプレイ、有機ELディスプレイ等であり、各種情報を表示する表示画面を備える。
【0014】
入力I/F24は、ユーザによる入力操作を受け付けるユーザインタフェースである。具体的には、入力I/F24はボタンを有しており、押下されたボタンに対応づけられた各種の操作信号をCPU31へ出力する。さらに、入力I/F24は、ディスプレイ23の表示面に重畳された膜状のタッチセンサを有していてもよい。ディスプレイ23の表示面に表示されたオブジェクトを指定する操作、文字列或いは数字列を入力する操作は、ユーザ操作の一例である。「オブジェクト」とは、例えば、ディスプレイ23に表示された文字列、アイコン、ボタン、リンク、ラジオボタン、チェックボックス、プルダウンメニュー等である。
【0015】
タッチセンサとして実現される入力I/F24は、ユーザがタッチした表示面上の位置を示す位置情報を出力する。なお、本明細書中における「タッチ」とは、入力媒体を表示面に接触させる操作全般を含む。また、入力媒体が表示面に触れていなくても、表示面との間の距離がごく僅かな位置まで入力媒体を近接させる「ホバー」或いは「フローティングタッチ」を、前述の「タッチ」の概念に含めてもよい。さらに入力媒体とは、ユーザの指であってもよいし、タッチペン等であってもよい。ディスプレイ23に表示されたオブジェクトの位置のタップするユーザ操作は、当該オブジェクトを指定する指定操作の一例である。
【0016】
通信I/F25は、通信ネットワーク101を通じて外部装置と通信可能なインタフェースである。すなわち、MFP10は、通信I/F25を通じて外部装置に各種情報を送信し、通信I/F25を通じて外部装置から各種情報を受信する。通信I/F25の具体的な通信手順は特に限定されないが、例えば、Wi−Fi(登録商標)を採用することができる。また、MFP10及び携帯端末50がUSBケーブルで接続される場合、通信I/F25は、USBケーブルを着脱可能なUSBインタフェースであってもよい。
【0017】
CPU31は、MFP10の全体動作を制御するものである。CPU31は、入力I/F24から出力される各種情報、通信I/F25を通じて外部装置から受信した各種情報等に基づいて、後述する各種プログラムをメモリ32から取得して実行する。CPU31及びメモリ32は、コントローラの一例を構成する。
【0018】
メモリ32は、OS34と、装置プログラム35とを記憶している。装置プログラム35は、単一のプログラムであってもよいし、複数のプログラムの集合体であってもよい。また、メモリ32は、装置プログラム35の実行に必要なデータ或いは情報等を記憶する。メモリ32は、例えば、RAM、ROM、EEPROM、HDD、MFP10に着脱されるUSBメモリ等の可搬記憶媒体、CPU31が備えるバッファ等、或いはそれらの組み合わせによって構成される。
【0019】
メモリ32は、コンピュータが読み取り可能なストレージ媒体であってもよい。コンピュータが読み取り可能なストレージ媒体とは、non−transitoryな媒体である。non−transitoryな媒体には、上記の例の他に、CD−ROM、DVD−ROM等の記録媒体も含まれる。また、non−transitoryな媒体は、tangibleな媒体でもある。一方、インターネット上のサーバなどからダウンロードされるプログラムを搬送する電気信号は、コンピュータが読み取り可能な媒体の一種であるコンピュータが読み取り可能な信号媒体であるが、non−transitoryなコンピュータが読み取り可能なストレージ媒体には含まれない。後述する携帯端末50のメモリ62についても同様である。
【0020】
携帯端末50は、図1に示されるように、カメラ52と、ディスプレイ53と、入力I/F54と、通信I/F55と、CPU61と、メモリ62と、通信バス63とを主に備える。携帯端末50に含まれるディスプレイ53、入力I/F54、通信I/F55、CPU61、メモリ62、及び通信バス63は、MFP10に含まれるディスプレイ23、入力I/F24、通信I/F25、CPU31、メモリ32、及び通信バス33と同様の構成であるので、説明は省略する。CPU61及びメモリ62は、コントローラの一例である。
【0021】
携帯端末50は、例えば、携帯電話、スマートフォン、タブレット端末等である。より詳細には、携帯端末50のディスプレイ53は、表示画面のサイズが12インチ以下、より好ましくは8インチ以下であるのが望ましい。また、携帯端末50の入力I/F54は、ディスプレイ53の表示画面に重ねられたタッチパネルであるのが望ましい。携帯端末50は、情報処理端末の一例である。但し、情報処理端末の具体例は携帯端末50に限定されず、PC等であってもよい。
【0022】
カメラ52は、被写体を撮影してカラーの画像データ(以下、「撮影画像データ」と表記することがある。)を生成する。カメラ52の動作は、例えば、メモリ62に記憶される不図示のカメラプログラムによって制御される。すなわち、カメラプログラムは、カメラ52が生成した撮影画像データで示される撮影画像と、[撮影]アイコンとをディスプレイ53に表示させる。また、ディスプレイ53に表示される撮影画像は、カメラ52の向きが変更されるのに追従して変更される。そして、カメラプログラムは、[撮影]アイコンを指定するユーザ操作を入力I/F54を通じて受け付けたことに応じて、カメラ52が生成した撮影画像データをメモリ62に記憶させる。
【0023】
メモリ62は、図2に示されるように、複数の画像データを記憶することができる。画像データは、例えば、カメラ52が撮影したものであってもよいし、不図示のペイントプログラムがユーザの指示に従って生成したものであってもよい。なお、画像データは、メモリ62に代えて、インターネット上の不図示のサーバに記憶されていてもよい。
【0024】
また、画像データには、日時情報及び位置情報の少なくとも1つが対応付けられていてもよい。日時情報は、対応する画像データが生成された日時を示す。位置情報は、対応する画像データを生成された場所の緯度及び経度を示す。すなわち、位置情報は、カメラ52によって撮影された撮影画像データのみに対応付けられていればよい。日時情報及位置情報は、カメラ52によって撮影された写真の撮影時の気温を推定するためのメタデータの一例である。
【0025】
また図示は省略するが、メモリ62は、後述する画像認識処理に用いる特徴データベースを記憶していてもよい。特徴データベースは、例えば、カメラ52が物(例えば、壁、家具、フォトフレーム、扉、消火栓、ガスコンロ等)を撮影することによって得られる画像データに対応する情報を含むデータベースである。より詳細には、画像データに対応する情報とは、画像データの特徴を示すための情報である。すなわち、端末プログラム65は、例えば、カメラ52による撮影で得られた撮影画像データと、特徴データベースで示される画像データの特徴とをマッチングすることによって、撮影画像データで示される撮影画像内の小画像が、どの種類の物を撮影することで得られた画像であるかを特定することができる。
【0026】
「撮影画像データの特徴」とは、例えば、撮影画像データ上において、同一種類の物が共通して有する特徴的な形状(例えば、ドアノブ、家具の把手等)を示す形状データ、特定の素材(例えば、金属、プラスチック、木材等)を撮影したときの写り方(例えば、光の反射の仕方、木目等)を示す素材データ等である。但し、画像内に含まれる物の種類及び素材を特定する方法は、前述の例に限定されず、周知の他の方法を用いてもよい。
【0027】
本実施形態に係る画像認識処理では、例えば、撮影画像データと形状データとをマッチングすることによって、壁紙、家具、標識が設置され得る物(例えば、扉、消火栓、ガスコンロ等)、フォトフレームのうちの1つが、設置位置に存在する物として特定される。また、本実施形態に係る画像認識処理では、撮影画像データと素材データとをマッチングすることによって、設置位置に存在する物の素材が特定される。
【0028】
[システム100の動作]
図3図5を参照して、本実施形態に係るシステム100の動作を説明する。
【0029】
本明細書のフローチャートは、基本的に、プログラムに記述された命令に従ったCPU31、61の処理を示す。すなわち、以下の説明における「判断」、「抽出」、「選択」、「算出」、「決定」、「特定」、「制御」等の処理は、CPU31、61の処理を表している。CPU31、61による処理は、OS34、64を介したハードウェア制御も含む。また、本明細書中の「データ」とは、コンピュータに読取可能なビット列で表される。そして、実質的な意味内容が同じでフォーマットが異なるデータは、同一のデータとして扱われるものとする。本明細書中の「情報」についても同様である。
【0030】
まず、端末プログラム65は、図6(A)に示されるデータ選択画面をディスプレイ53に表示させる(S11)。データ選択画面は、データアイコン111、112、113、114、115、116を含む。データアイコン111〜116は、メモリ62或いはインターネット上のサーバに記憶された画像データの1つに対応する。そして、端末プログラム65は、データ選択画面に対するユーザ操作を、入力I/F54を通じて受け付ける(S12)。S12の処理は、第1受付処理の一例である。
【0031】
次に、端末プログラム65は、例えばデータアイコン112の指定を入力I/F54を通じて受け付けたことに応じて(S12:Yes)、データアイコン112に対応する画像データを、指定データとしてメモリ62に一時記憶させる。データアイコン112を指定するユーザ操作は、複数の画像データのうちの1つを、指定データとして指定するユーザ操作の一例である。
【0032】
次に、端末プログラム65は、図7に示される位置選択画面をディスプレイ53に表示させる(S13)。位置選択画面は、撮影画像131と、指定画像132と、[決定]アイコン133とを含む。撮影画像131は、後述するプリントシートを設置し得る場所をカメラ52が撮影した画像である。指定画像132は、S12で指定された指定データで示される画像である。そして、端末プログラム65は、位置選択画面に対するユーザ操作を、入力I/F54を通じて受け付ける(S14)。S13の処理は第1表示処理の一例であり、S14の処理は第2受付処理の一例である。
【0033】
より詳細には、端末プログラム65は、カメラ52の撮影開始をカメラプログラムに指示し、所定時間毎にカメラ52が撮影した複数の撮影画像131をカメラプログラムを通じて順番に取得する。そして、端末プログラム65は、カメラプログラムから順番に取得した複数の撮影画像131を切り替えて表示させる。一方、端末プログラム65は、ディスプレイ53に表示させた撮影画像131の中央の固定位置に、指定画像132を重ねて固定表示させる。換言すれば、撮影画像131と指定画像132との相対位置は、カメラ52の向きを変更するユーザ操作に追従して変更される。
【0034】
次に、端末プログラム65は、[決定]アイコン133の指定を入力I/F54を通じて受け付けたことに応じて(S14:Yes)、指定画像132が重ねられた撮影画像131の位置を示す座標を、指定座標として特定する。指定座標は、例えば、指定画像132が重ねられた撮影画像131のうち、[決定]アイコン133がタップされた時の指定画像132の中心位置に対応する撮影画像131上の位置を指す。また、指定座標は、撮影画像131に含まれる場所のうち、プリントシートを設置する設置位置に対応する座標である。座標とは、例えば、ディスプレイ53の左上隅を原点とするディスプレイ53上の位置を示すための情報(例えば、x座標及びy座標の組み合わせ)である。
【0035】
すなわち、携帯端末50のユーザは、カメラ52の向きを調整することによって、プリントシートを設置したい撮影画像131上の物に指定画像132を重ねて、[決定]アイコン133をタップすればよい。そして、端末プログラム65は、図4に示される個別加工処理を実行する(S15)。
【0036】
まず、端末プログラム65は、指定座標を含む小画像を撮影画像131から抽出する。小画像は、設置位置に存在する物をカメラ52が撮影したことによって得られた画像である。換言すれば、小画像は、撮影画像131に含まれる複数の物のうちの1つを示す画像である。そして、端末プログラム65は、抽出した小画像を特徴データベースとマッチングして、小画像で示される物の種類を特定する(S21〜S24)。また、端末プログラム65は、抽出した小画像で示される物を特定できなかった場合、抽出範囲(例えば、大きさ、中心位置等)を変更して、前述の処理を繰り返せばよい。S21〜S24の処理は、特定処理の一例である。
【0037】
そして、端末プログラム65は、S21〜S24で特定した物の種類に対応する方法で、指定データを加工する(S25〜S32)。なお、本明細書中の「加工」とは、例えば、指定画像を構成する全ての画素に対して行われる画像処理を指し、線の描画或いは画像の一部の消去等の指定画像の一部に選択的に行われる画像処理とは異なる。より詳細には、「加工」とは、例えば、指定画像に色合いや風味を付加することを指し、指定画像を説明する文字列を指定画像に合成する処理等とは異なる。また、本明細書中の「強調」とは、例えば、RGBで構成される画素値のうち、特定の色の値のみを選択的に増加させることを指す。
【0038】
一例として、端末プログラム65は、小画像で示される物の種類を壁だと特定したことに応じて(S21:Yes)、小画像で示される壁の色(例えば、青)を特定する(S25)。端末プログラム65は、例えば、小画像を構成する複数の画素について画素値のヒストグラムを生成し、生成したヒストグラムの最頻値の画素値で表される色を、小画像で示される壁の色と特定してもよい。後述するS41でも同様である。
【0039】
そして、端末プログラム65は、指定データで示される指定画像に含まれる複数の色のうち、S25で特定した色の調和色(例えば、赤、黄)を強調する(S26)。換言すれば、端末プログラム65は、指定画像を構成する全ての画素について、調和色の画素値を増加させる。調和色とは、例えば図9(A)に示される色相環上において、壁の色を頂点とする正三角形の他の頂点に対応する色である。S25、S26の処理は、第1加工処理の一例である。
【0040】
他の例として、端末プログラム65は、小画像で示される物の種類を家具だと特定したことに応じて(S22:Yes)、小画像で示される家具の素材(例えば、金属)を特定する(S27)。家具の素材は、例えば、特徴データベースとのマッチングによって特定される。そして、端末プログラム65は、S27で特定した素材に対応する模様(例えば、メタル調)を示す模様画像を、指定画像の全域に合成する(S28)。S27、S28の処理は、第1加工処理の一例である。
【0041】
模様画像は、例えば、家具の素材に対応する模様を表し且つ指定画像が透過される画像である。すなわち、端末プログラム65は、S28において、家具の素材に対応するテクスチャを指定画像に付加する。家具の素材と模様画像との対応関係は、例えば、図9(B)に示されるように予め定められている。また、模様画像を示す画像データは、メモリ62或いはインターネット上のサーバに記憶されている。
【0042】
他の例として、端末プログラム65は、小画像で示される物の種類を扉だと特定したことに応じて(S23:Yes)、図6(B)に示される種類選択画面をディスプレイ53に表示させる(S29)。種類選択画面は、種類アイコン121、122、123、124、125を含む。種類アイコン121〜125は、設置位置に設置される標識の種類を示す。そして、端末プログラム65は、種類選択画面に対するユーザ操作を、入力I/F54を通じて受け付ける(S30)。S30の処理は、第3受付処理の一例である。
【0043】
次に、端末プログラム65は、例えば種類アイコン124の指定を入力I/F54を通じて受け付けたことに応じて(S30:Yes)、指定データで示される指定画像に含まれる複数の色のうち、種類アイコン124で示される標識の種類に対応する色(例えば、青)を強調する(S31)。S31の処理は、第1加工処理の一例である。より詳細には、端末プログラム65は、指定画像を構成する全ての画素について、標識の種類に対応する色の画素値を増加させる。標識の種類と色との対応関係は、例えば図9(C)に示されるように、JIS Z 9101:2003,9103によって定義されている。
【0044】
さらに他の例として、端末プログラム65は、小画像で示される物の種類をフォトフレームだと特定したことに応じて(S24:Yes)、図5(A)に示されるフレーム加工処理を実行する(S32)。
【0045】
端末プログラム65は、小画像で示されるフォトフレームの枠の色(例えば、赤)を特定する(S41)。次に、端末プログラム65は、指定データで示される指定画像に含まれる複数の色のうち、S41で特定した色の補色(例えば、緑)を強調する(S42)。より詳細には、端末プログラム65は、指定画像を構成する全ての画素について、フォトフレームの枠の色の補色の画素値を増加させる。フレームの枠の色と補色との対応関係は、例えば、図9(D)に示されるように予め定められている。S41、S42の処理は、第1加工処理の一例である。
【0046】
次に、端末プログラム65は、図8に示されるトリミング画面をディスプレイ53に表示させる(S43)。トリミング画面は、S42で加工された指定画像135が指定画像132に代えて表示されている点と、指定画像135に重ねてトリミング枠134がさらに表示されている点とを除いて、位置選択画面と同様である。トリミング枠134の大きさ及び縦横比は、S24で特定したフォトフレームの枠と同一である。そして、端末プログラム65は、トリミング画面に対するユーザ操作を、入力I/F54を通じて受け付ける(S44)。S43の処理は第2表示処理の一例であり、S44の処理は第4受付処理の一例である。
【0047】
次に、端末プログラム65は、指定画像135の位置に対するピンチイン操作を入力I/F54を通じて受け付けたことに応じて(S44:ピンチイン)、トリミング画面上で指定画像135を縮小する(S45)。一方、端末プログラム65は、指定画像135の位置に対するピンチアウト操作を入力I/F54を通じて受け付けたことに応じて(S44:ピンチアウト)、トリミング画面上で指定画像135を拡大する(S45)。ピンチイン操作及びピンチアウト操作は、フォトフレームの枠(すなわち、トリミング枠134)に対する指定画像135のサイズを変更するユーザ操作の一例である。
【0048】
より詳細には、ピンチイン操作は、指定画像135上の2点にタッチした2つの入力媒体を、ディスプレイ53上で互いに近づける向きに移動させる操作である。そして、入力媒体の移動量は、指定画像の縮小量に対応する。ピンチアウト操作は、指定画像135上の2点にタッチした2つの入力媒体を、ディスプレイ53上で互いに遠ざける向きに移動させる操作である。そして、入力媒体の移動量は、指定画像の拡大量に対応する。
【0049】
次に、端末プログラム65は、[決定]アイコン133の指定を入力I/F54を通じて受け付けたことに応じて(S44:決定)、トリミング画面に表示された指定画像135のうち、トリミング枠134の内側の画像を抽出する。そして、端末プログラム65は、抽出した画像を示す画像データを新たな指定データとして生成する(S46)。すなわち、S46で抽出された画像は、フォトフレームの枠と縦横比が同一となる。S46の処理は、トリミング処理の一例である。
【0050】
次に図3に戻って、端末プログラム65は、個別加工処理で加工した指定データに対して、図5(B)に示される共通加工処理を実行する(S16)。まず、端末プログラム65は、指定データにメタデータが対応付けられているか否かを判断する(S51)。そして、端末プログラム65は、指定データにメタデータが対応付けられていないと判断したことに応じて(S51:No)、S52〜S54の処理をスキップして、後述するS55の処理を実行する。
【0051】
一方、端末プログラム65は、指定データにメタデータが対応付けられていると判断したことに応じて(S51:Yes)、指定データで示される写真の撮影時の気温を、メタデータに基づいて推定する。換言すれば、端末プログラム65は、撮影時の気温が閾値未満の寒冷モードか、撮影時の気温が閾値以上の温暖モードかを判断する(S52)。一例として、画像データ“image01.JPEG”はアイスランドで撮影された写真を示すから、撮影日時に拘わりなく寒冷モードと判断される。他の例として、画像データ“image02.JPEG”は小豆島で夏に撮影された写真を示すから、温暖モードと判断される。但し、撮影時の気温の推定方法は、前述の例に限定されない。
【0052】
次に、端末プログラム65は、寒冷モードと判断したことに応じて(S52:寒冷)、前記指定画像を構成する全ての画素について、寒色(例えば、青)を強調する(S53)。一方、端末プログラム65は、温暖モードと判断したことに応じて(S52:温暖)、前記指定画像を構成する全ての画素について、暖色(例えば、オレンジ)を強調する(S54)。すなわち、端末プログラム65は、指定画像を構成する全ての画素について、S52で判断したモードに応じた色の画素値を増加させる。S53、S54の処理は、第2加工処理の一例である。
【0053】
次に、端末プログラム65は、指定画像を記録するシートのサイズに合わせて、指定画像を拡大或いは縮小する(S55)。一例として、端末プログラム65は、MFP10にセットしたシートのサイズを、入力I/F54を通じてユーザに指定させてもよい。他の例として、端末プログラム65は、MFP10にセットされたシートのサイズを示すサイズ情報を、通信I/F55を通じてMFP10から受信してもよい。
【0054】
再び図3に戻って、端末プログラム65は、通信I/F55を通じてMFP10にプリント指示情報を送信する(S17)。プリント指示情報は、指定画像をシートにプリントして、プリントシートを出力させるための情報である。プリント指示情報は、例えば、指定データを含む。S17の処理は、プリント指示処理の一例である。
【0055】
一方図示は省略するが、MFP10の装置プログラム35は、通信I/F25を通じて携帯端末50からプリント指示情報を受信する。そして、装置プログラム35は、受信したプリント指示情報に従ったプリント動作を、プリンタ11に実行させる。すなわち、プリンタ11は、指定データで示される指定画像をシートに記録して、プリントシートを出力する。
【0056】
[本実施形態の作用効果]
上記の実施形態によれば、プリントシートを設置する物に対応した方法で指定画像が加工される。すなわち、設置位置を指定したユーザの意図に適した指定画像がプリントされたプリントシートを得ることができる。なお、特定処理で特定した物の種類と、図9を用いて説明した加工の具体例との関係は、前述の例に限定されない。
【0057】
また、上記の実施形態によれば、指定画像132を撮影画像131に重ねて表示させることによって、所望の位置にプリントシートが設置された状態をディスプレイ53上で確認しながら、プリントシートの設置位置を指定することができる。また、プリントシートを設置したい場所にカメラ52を向けることによって、撮影画像131及び指定画像132の相対位置を変化させることができる。これにより、直感的なユーザ操作でプリントシートの設置位置を指定することができる。
【0058】
なお、撮影画像131に対して指定画像132を相対移動させる方法は、前述の例に限定されない。他の例として、端末プログラム65は、図7に示される位置選択画面上において、指定画像132に対するドラッグ操作に追従して、撮影画像131上で指定画像132を移動させてもよい。ドラッグ操作とは、指定画像132上にタッチした入力媒体を、ディスプレイ53上で移動させるユーザ操作である。また、この場合の撮影画像131は、カメラ52によってリアルタイムに撮影されたものに限定されず、事前に撮影されたものであってもよい。
【0059】
また、上記の実施形態では、位置選択画面を通じて指定座標をユーザに指定させ、指定座標を含む小画像で示される物の種類を特徴データベースを用いて特定する例を説明した。この処理は、例えば、カメラ52によって撮影画像131をリアルタイムに撮影させる場合に、特に有効である。但し、撮影画像131に含まれる物の種類を特定する方法は、前述の例に限定されない。
【0060】
また、端末プログラム65は、撮影画像131に対する画像認識処理によって、撮影画像131に含まれる複数の小画像それぞれを認識する認識処理を、S13の処理に先立って実行してもよい。そして、S13で表示させる位置選択画面において、認識処理で認識した小画像それぞれを識別するための情報を、撮影画像131に重ねてディスプレイ53に表示させてもよい。この処理は、認識処理の一例である。
【0061】
「小画像を識別するための情報」とは、例えば、小画像で示される物の種類に対応する色であってもよいし、小画像で示される物の種類を示す文字列であってもよい。これにより、位置選択画面上において、撮影画像131に含まれる複数の物を、ユーザに容易に認識させることができる。この処理は、予め撮影された撮影画像131を表示させる場合に限定されず、カメラ52によってリアルタイムに撮影された撮影画像131を表示させる場合にも適用され得る。
【0062】
また、上記の実施形態によれば、プリントシートを設置するフォトフレームの縦横比に合わせて指定画像をトリミングすることができる。これにより、当該フォトフレームに設置するのに適した指定画像がプリントされたプリントシートを得ることができる。なお、指定画像をトリミングする処理は、特定処理でフォトフレームを特定した場合に限定されず、他の物を特定した場合にも適用可能である。
【0063】
また、上記の実施形態によれば、カメラ52によって撮影された指定画像を撮影時の気温に応じて加工するので、撮影時の雰囲気を反映させた指定画像がプリントされたプリントシートを得ることができる。なお、寒冷モード及び温暖モードの判断は、画像データに対応付けられたメタデータに基づい行うことに限定されず、プリント処理を実行する携帯端末50の現在位置を示す情報に基づいて行ってもよい。端末プログラム65は、例えば、不図示のシステムクロックから日時情報を取得し、不図示のGPSアンテナを通じて位置情報を取得してもよい。
【0064】
また、上記の実施形態のMFP10及び携帯端末50において、メモリ32、62に記憶された各種プログラムがCPU31、61によって実行されることによって、本発明のコントローラが実行する各処理が実現される例を説明した。しかしながら、コントローラの構成はこれに限定されず、その一部又は全部を集積回路等のハードウェアで実現してもよい。
【0065】
さらに、本発明は、MFP10及び携帯端末50として実現できるだけでなく、MFP10及び携帯端末50に処理を実行させるプログラムとして実現してもよい。そして、当該プログラムは、non−transitoryな記録媒体に記録されて提供されてもよい。non−transitoryな記録媒体は、CD−ROM、DVD−ROM等の他、通信ネットワーク101を通じてMFP10及び携帯端末50に接続可能なサーバに搭載されたメモリを含んでもよい。そして、サーバのメモリに記憶されたプログラムは、当該プログラムを示す情報或いは信号として、インターネット等の通信ネットワーク101を通じて配信されてもよい。
【符号の説明】
【0066】
10・・・MFP
11・・・プリンタ
50・・・携帯端末
53・・・ディスプレイ
54・・・入力I/F
55・・・通信I/F
61・・・CPU
62・・・メモリ
65・・・端末プログラム
図1
図2
図3
図4
図5
図6
図7
図8
図9