(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0019】
図1は、本発明に係る一実施形態のネットワークシステムの構成を示すブロック図である。1−1、1−2、1−3、・・・はパーソナルコンピュータ(PC)やスマートフォン、携帯電話、情報端末などのいわゆる端末であり、インターネット500を介して画像サービスサイト10と接続可能で、ビューアーの役割をするものである。
【0020】
画像サービスサイト10は、ユーザーからアップロードされたオリジナル画像データを絵画調の画調からなる絵画調画像データに変換(絵画変換)するサービス、ユーザーから絵画変換された絵画調画像データのプリントの注文を受けてプリント媒体にプリントするサービスや、ユーザーから投稿された写真や絵画調画像データを公開するサービス等を行うウエブサイトである。なお、投稿された写真(オリジナル画像データ)、絵画変換された絵画調画像データ、プリント媒体にプリントされた写真等を総称して作品と呼ぶものとする。
【0021】
この画像サービスサイト10は、サーバー11を有し、上記画像データを絵画調の画調からなる絵画調画像データに変換するサービスを含む各種サービスに係る処理を行うとともに、プリント装置12を有し、ユーザーから注文を受けた絵画調画像データのプリントを行う。プリント装置12は、画像サービスサイト10の中にある必要はなく、他のプリントサイトに委託するものも含む。
【0022】
図2Aは、ユーザーから注文を受けた写真のプリントについて説明するもので、紙や印画紙等のプリント媒体20に絵画調画像32をプリントし、その絵画調画像32の主要部24上にQRコード(登録商標)等からなるマーカー22をプリントされて印刷物25が形成されている。
これにより、印刷物25において絵画調画像32の主要部24がマーカー22で隠されて見えないようになっている。
【0023】
マーカー22によってマスクする絵画調画像32の部位は、絵画調画像32の中央部付近等の画像データの内容に拘わらず一義的な位置でもよい。また、また、特開2011−54071号公報記載の着目領域抽出技術を用いて人間が着目するであろう領域を抽出し、この抽出した領域を主要部としてもよいし、他の画像認識技術を用いて絵画調画像32の主要部を自動認識した領域を主要部としてもよい。さらには、絵画調画像32のオリジナル画像データをアップロードしたユーザーが指定した部位を主要部とするようにしてもよい。この場合は、ウエブサイトにユーザーがマスクの位置や大きさを指定する機能を設ける。
【0024】
また、マーカーの形状については、QRコード(登録商標)のみで構成した場合は、図示のように、マーカー22のようにその形状が矩形となる。しかし、サーバー11に、星型、楕円形、等あらかじめテンプレートが用意されていて、テンプレートのサイズと位置を調整して、印刷物25におけるマーカーを適宜の形状にすることができる。この場合においてもQRコード(登録商標)を用いる場合には、星形の中に矩形のQRコード(登録商標)を入れたマーカーを形成してプリントする。
【0025】
そして
図2Bに示すように、端末1−1の裏面にある図示しないカメラでマーカー22を読み取る。マーカー22は画像サービスサイト10のサーバー11のURLアドレスを示しているため、端末1−1は画像サービスサイト10に接続して、絵画調画像32を、サーバー11から端末1−1にダウンロードする。したがって、表示部31に絵画調画像32を表示することができる。
これにより、主要部24上にあるマーカー22が消えて、絵画調画像32全体を端末1−1の表示部31で見ることができる。
【0026】
図3はサーバー11の構成を示すブロック図であり、13はユーザーがアップロードした写真(オリジナル画像データ)を記憶するためのオリジナル画像データ記憶部、14はオリジナル画像データを絵画調の画像に変換した絵画調画像データが記憶される絵画調画像データ記憶部、15はサーバー11と端末1−1のリンクを制御するためのリンク制御プログラムが記憶されているリンク制御プログラム記憶部である。
リンク制御プログラムはオリジナル画像データ若しくは絵画調画像データの記憶場所をマーカーである二次元バーコードに変換する機能も備えている。
【0027】
16は、絵画変換のアルゴリズムに沿って絵画変換処理を実行する絵画変換プログラム及び絵画変換に必要なエフェクト処理のためのパラメータが記憶されている絵画変換プログラム記憶部、17は、注文を受けた絵画変換した絵画調画像データと、そのオリジナル画像データを記憶している場所を示すマーカーとともにプリントさせるためのプリント制御プログラムが記憶されているプリント制御プログラム記憶部である。
【0028】
また、18はマーカー22を絵画調画像32上のどの位置にどのようなサイズや形状で重畳するかを制御するマーカー制御プログラムを記憶するマーカー制御プログラム記憶部である。
【0029】
ここで、絵画変換プログラムで絵画変換処理が可能な絵画調の画調の種類としては、油絵画調、水彩画調、パステル画調、色鉛筆画調、ゴシック画調、エアブラシ画調、野獣派画調、ししゅう画調、イラスト画調、淡い水彩画調、クレヨン画調、ガッシュ画調、シルクスクリーン画調、コラージュ画調、ドローイング画調、重厚な油彩画調、の16種類が用意されている。
【0030】
13Aはオリジナル画像データ記憶部13のスタートアドレスであり、15Aはリンク制御プログラム記憶部15のスタートアドレスであり、14Aは絵画調画像データ記憶部14のスタートアドレスである。このスタートアドレスを指定することにより、オリジナル画像データや各種リンク制御プログラム、各種絵画調画像データを指定する。
【0031】
図4(A)は、写真のプリントを発注した場合の流れを説明するためのフローチャートである。手順に沿って説明しているので、端末1−1によって行われる処理とサーバー11によって行われる処理が1つのフローチャートに記載してある。
実際のサーバー11と端末1−1の通信部分のシーケンスは
図9を用いて後述する。
【0032】
まずユーザーは、写真をインターネット経由で画像サービスサイト10にプリント発注したい場合、端末1−1からサーバー11へオリジナル画像のアップロードを行う(ステップS401)。その際、プリント枚数やプリントサイズ等の指定もする。
【0033】
サーバー11側では、アップロードされたオリジナル画像データをオリジナル画像データ記憶部13に記憶する(ステップS402)。そしてステップS403でそのオリジナル画像データに対し絵画変換プログラムにより絵画変換処理を行う。画調の種類は、上述したとおり16種類あるが、ここでは16種類すべてを作成して絵画調画像データ記憶部14に記憶するものとする(ステップS404)。画調の種類の指定を受けてから、その指定された画調の絵画調画像データに変換することもできる。
【0034】
続いて、絵画調画像データ記憶部14のスタートアドレス14A、すなわち各種絵画調画像データが記憶されている場所を示すマーカーをリンク制御プログラムにより作成する(ステップS405)。マーカーは、前述のように例えばQRコード(登録商標)である。
【0035】
続いて、ステップS406でこの作成したマーカー22を絵画調画像32の主要部24上に重畳して同じプリント媒体20にプリントする(
図2A,2B参照)。プリント自体は画像サービスサイト10内で行ってもよいし、別のプリントサーバーやプリント業者に対してプリント指示を行ってもよい。
そして、その絵画調画像32とマーカー22の両方が重ねてプリントされたプリント媒体20を画像サービスサイト10から、あるいは委託を受けたプリント業者からユーザーに郵送する(ステップS407)。
【0036】
図4(B)はユーザーの端末1−1側の操作手順を示すフローチャートである。端末1−1に備えられている図示しないカメラ(後述する
図8の81)でプリント媒体20にプリントされているマーカー22を撮影する(ステップS411)。そうすると、端末1−1はマーカー22を認識し、そのマーカー22の指定しているサーバー11のリンク先、すなわち絵画調画像データの記憶されている場所に自動的に接続する(ステップS412)。この際、一旦リンク先のURLアドレスを表示してクリックを要求するかどうかは設計事項なので、本実施形態では直接絵画調画像データの記憶されている場所のスタートアドレス14Aに接続するものとする。そしてその場所に記憶されている絵画調画像データ、例えば油絵調の絵画調画像データを端末1−1にダウンロードして(ステップS413)、絵画調画像32を表示部31に表示する(ステップS414)。
【0037】
このようにすることによって、ユーザーは端末1−1をプリント媒体20上に翳すだけで、主要部24を隠しているマーカー22が消えた絵画調画像32を見ることができる。
【0038】
図5は、絵画変換プログラム記憶部16に記憶されている絵画変換プログラムによる絵画変換処理を示すフローチャートである。
まず前処理を行う(ステップS502)。ここは画調の種類にかかわらず共通して実行される処理で、絵画変換処理は画像データがビットマップ形式である必要があるので、JPEG形式で表現されている画像データをビットマップ形式に変換する。また、フィルタをかけてノイズ除去を行う。
【0039】
続いて、画調選択処理を行う(ステップS504)。
画調が選択されると、それぞれの画調変換アルゴリズムのステップへ移る。例えば油絵調変換であればステップS506へ、水彩画調変換であればステップS510へ進む。それ以外であればその他の画調変換アルゴリズムのステップへと進む(ステップS520)。
【0040】
なお、絵画変換処理の各アルゴリズムを実行する際は、変換に必要なエフェクト処理のための各種パラメータを取得する(ステップS508、ステップS512)。パラメータは絵画変換プログラム記憶部16内に有している。パラメータとは画素にエフェクト処理をかけるための要素である。すなわち、画素は一般的にRGB各複数ビットの階調で表現されるが、そのビットデータに演算をかけるための要素である。
エフェクト処理はフォトレタッチソフトなどで採用されているエフェクト処理と基本的には同じ作用を得るものである。
【0041】
また、エフェクト処理の一種として、HDR(High Dynamic Range)と呼ばれる通常の写真では表現できない広いダイナミックレンジの写真を、トーンマッピングにより狭いダイナミックレンジ幅内に入れ込むことで露出過多の白飛びや露出不足の黒つぶれを補正して表現力を増大するエフェクト処理もある。このエフェクト処理を応用して写真を人の脳が受けた記憶や印象に近づけ、芸術的な表現を加味した新しい写真表現を実現した画像を得ることもできる。HDR変換も絵画変換の一種である。
【0042】
そしてステップS522、ステップS504を経由して上述した16種類の絵画変換処理を行う。
なお、16種類の絵画変換処理は端末1−1の表示部31で見ることを想定しているので、それほど大きい画像は必要なく、例えばオリジナル画像データを800×600画素程度にリサイズしたリサイズ画像データに対して処理を実施している。オリジナル画像データは一般的に4000×3000程度の非常に大きなものである。そこで、プリント発注等の特定の画調の決定が行われると(ステップS522)、ステップS524に進み、オリジナル画像データについて絵画変換処理を行う(ステップS524)。この際、必要なパラメータを取得する(ステップS526)のは同様である。ただし、同じ画像に対して同じ画調で絵画変換する場合でも、元画像のサイズやプリントサイズが変わると適切なパラメータも変わってくるので、ステップS508、ステップS512で取得するパラメータとステップS526で取得するパラメータは異なってくる。
【0043】
しかる後、絵画変換後の絵画調画像データを再びJPEG形式に変換する後処理を行う(ステップS528)。オリジナル画像データの絵画変換が必要ない場合は、ステップS524、ステップS526はスキップして良い。
【0044】
図6は本実施形態において、端末1−1の表示部31に複数種類の絵画調画像データを表示する状態を示すものである。すなわち、端末1−1の表示部31に16種類の絵画調画像データの縮小画像41a、42b、・・・を一覧表示している(符号41)。41aは油絵画調、41bは水彩画調、41cはパステル画調、41dは色鉛筆画調、41eはゴシック画調、・・・に変換された絵画調画像データを示している。
端末1−1の表示部31はタッチパネルを有しており、いずれかの縮小画像41a、41b、・・・をタッチするとその画像が拡大表示されて
図7に示すような操作メニュー表示が出てくる。
【0045】
図7において32は選択された画調の絵画調画像データであり、42は操作メニューを表示しているものである。
端末1−1の表示ブラウザは例えばHTML(HyperText Markup Language)5若しくはCSS(Cascading Style Sheets)3等を使用して構成されており、機種に依存しない互換性のあるもので、サーバー11のリンク制御プログラム記憶部15に記憶されたリンク制御プログラムと連携を取ることができる。
すなわち、端末1−1の表示部31のタッチパネル上で、操作メニュー42のいずれかのメニューを操作すると、その操作信号を、インターネット500を介してサーバー11に送信し、対応するリンク制御プログラム記憶部15のアドレス16Aへ飛び、サーバー11のリンク制御プログラムがそれに対応した処理を実行する。
【0046】
次に
図8及び
図9を参照してサーバー11と端末1−1のリンク制御について説明する。
図8は端末1−1の構成を示す説明するための機能ブロック図である。この構成により
図7に示す表示を実現している。
81は
図2Bでは図示していない端末1−1の裏面に設置されたカメラであり、マーカー22を読み取るためのものである。
82は送信部であり、マーカー22を読み取ってサーバー11のリンク先へアクセスし、オリジナル画像データをサーバー11にアップロードするために機能する。
83は受信部であり、サーバー11から送信されてくる制御データや、オリジナル画像データ、絵画調画像データを受信するために機能する。
84は表示制御部であり、表示部31の表示を制御するものであり、操作メニュー42をメニュー表示制御部85の制御により表示部31に表示させたり、絵画調画像データ表示制御部86の制御により、操作メニュー42の操作に応じて所定の画調の絵画調画像データを表示部31に表示させたりするために機能する。
87は端末側リンク制御部であり、サーバー11のリンク制御プログラム記憶部15に記憶されたリンク制御プログラムと連携を取るために機能する。連携を取るために送信部82及び受信部83により端末1−1とサーバー11の間で各種制御信号の送受が行われる。
88は操作制御部であり、タッチパネルの制御を行い、操作メニュー42の操作を受けて操作信号を出力するために機能する。
【0047】
図7において、絵画調画像32が表示されている状態で操作メニュー42の「次へ」キーまたは「戻る」キーを押すと、
図6で一覧表示された種類の画調の絵画調画像データを1枚ずつ順送りまたは逆送りされて表示される。表示部31のタッチパネルの絵画調画像32の部分にタッチしてページ送りする(スワイプする)ことも可能である。
【0048】
「一覧表示」キーを押すと
図6に示す一覧表示状態となる。
【0049】
「拡大表示」キーを押すと現在表示されている表示が拡大され、画像の細部を見ることができる。前述したとおり端末1−1の表示部31の画素数は800×600画素程度であり、実際の画像データは4000×3000画素程度あるので、拡大することによってより実物に近い画像の細部を確認することができる。
【0050】
また、絵画調画像データをプリント発注したい場合は、「サイズ指定」キーでプリントサイズを選び、「額縁指定」キーで額縁の有無や種類を選び、「媒体指定」キーでプリント媒体としてキャンバス地、マグカップ、Tシャツ、・・・等を選択する。最終的に「プリント注文」キーを押すことで発注される。
【0051】
もちろん、1つの操作キーを押すとサブメニューを表示させることができるようになっている。
【0052】
以上の操作は画像サービスサイト10を特に意識することなく絵画調画像データの選択、表示、プリント注文等ができるが、「トップページ」キーを操作することにより、画像サービスサイト10のトップページを表示部31に表示する。そしてプリント注文に限らず、他のユーザーの投稿した写真を閲覧したり、自分の写真を投稿したりすることができる。
【0053】
この場合、端末1−1がパーソナルコンピュータやスマートフォンの場合は画像サービスサイト10の通常のホームページが表示されるが、携帯電話の場合は携帯電話専用のモバイルページへ飛ぶようにしてもよい。
【0054】
図9は端末とサーバーの通信部分のシーケンス図であり、前記
図8の動作の信号の流れを示したものである。
画像サービスサイト10から郵送されてくる印刷物25は、プリント媒体20にマーカー22が主要部24をマスクするように重畳された画像32がプリントされている(マーカー画像データ(A))。このマーカー22を端末1−1のカメラ81で読み取ると、端末1−1は、画像サービスサイト10のサーバー11が有するリンク制御プログラム記憶部15に記憶されたリンク制御プログラムと連携を取る。そして、サーバー11のURLアドレスを認識し(マーカー情報(C))、絵画調画像32が記憶されている絵画調画像データ記憶部14のアドレス14Aへ飛ぶ。
そして、アドレス14Aで指定される絵画調画像32(マーカーに対応する画像データ(B))を読み出して端末1−1へ送る。
【0055】
これらを制御するのはサーバー11のリンク制御プログラム記憶部15と端末1−1のリンク制御部87である。
【0056】
これにより、主要部24上にあるマーカー22が消えて、絵画調画像32全体を端末1−1の表示部31で見ることができる。
【0057】
[第2の実施形態]
本発明の第2の実施形態は、マーカーの中に作品の主要部を隠している情報を入れ込んだものである。すなわち、第1の実施形態では、マーカーで主要部が隠されている画像から、元の画像をダウンロードすることによって画像全体を差替えたが、本実施形態では、マーカーによって隠されている部分の画像を符号化してマーカーに書き込んである。
【0058】
図10は、同実施の形態を説明するための模式図である。
図10(A)は、ユーザーから注文を受けた画像のプリントについて説明するもので、紙や印画紙等のプリント媒体20に画像33がプリントされ、その画像33の主要部24上にマーカー23がプリントされている。
したがって、印刷物25における画像33の主要部24がマーカー23で隠されて見えないようになっている。
【0059】
このマーカー23は、画像33においてマーカー23で隠されて見えない部分、つまり
図10(C)に実線で示した不足データ35を符号化してマーカー23に書き込んだものである。不足データ35が符号化されて書き込まれているマーカー23は、画像サービスサイト10のサーバー11から有料又は無料でダウンロードしたアプリケーションを用いて、端末1−1の絵画調画像データ表示制御部86が復元することができるものである。
【0060】
そこでユーザーは、端末1−1が有するカメラ81により、プリント媒体20にプリントされているマーカー23を含む画像33を撮影する。そうすると、端末1−1はマーカー23を認識し、絵画調画像データ表示制御部86が前記アプリケーションに基づき動作することにより、符号化された不足データ35を生成する。
【0061】
さらに、前記カメラ81での撮影により表示部31に表示されているマーカー23を含む画像33から、マーカー23を除去した後、このマーカー23が除去された画像33と不足データ35とをマッチングさせて、その輪郭等を合致させて表示する。これにより、
図10(B)に示すように、不足データ35が補間された本来の画像33が表示部31に表示され、主要部24上にあるマーカー23を消去して、画像33全体を端末1−1の表示部31で見ることができる。
【0062】
図11は、本発明の第2の実施形態の変形例を説明するための模式図である。
図11(A)は、ユーザーから注文を受けた画像のプリントについて説明するもので、紙や印画紙等のプリント媒体20に画像33がプリントされているが、その画像33の主要部24は、加工画像からなるマーカー34で構成されている。この加工画像からなるマーカー34は、同図(C)に示す画像33における本来の画像部分である加工前画像データ331を加工して、本来の画像部分とは異なる画像を表示させたものである。これにより、印刷物25における画像33の主要部24が加工画像からなるマーカー34で隠されて見えないようになっている。
【0063】
この本来の画像である加工前画像331を加工して、本来の画像部分とは異なる画像を表示させているマーカー34は、画像サービスサイト10のサーバー11から有料又は無料でダウンロードしたアプリケーションを用いて、絵画調画像データ表示制御部86が処理を実行することにより、本来の画像部分に復元できるデータからなる。
【0064】
そこでユーザーは、端末1−1が有するカメラ81により、プリント媒体20にプリントされているマーカー34を含む画像33を撮影する。そうすると、端末1−1はマーカー23を認識し、絵画調画像データ表示制御部86が前記アプリケーションに基づき動作することにより、符号化された本来の画像部分を復号して生成する。
【0065】
さらに、前記カメラ81での撮影により表示部31に表示されている加工画像からなるマーカー34を含む画像33から、加工画像からなるマーカー34を除去した後、このマーカー34が除去された画像33と、加工前画像データ331とをマッチングさせて表示する。これにより、
図11(B)に示すように、加工画像からなるマーカー34の部分が加工前画像データ331に置換された本来の画像33が表示部31に表示され、主要部24上にある加工画像からなるマーカー34を除去して、画像33全体を端末1−1の表示部31で見ることができる。
【0066】
図12は、第2の実施形態におけるデータフロー図を示すものである。図において、印刷物25は画像サービスサイト10、あるいは委託を受けたプリント業者からユーザーに郵送されたものである。ユーザーは、端末1−1が有するカメラ81により、印刷物25を撮影する。端末1−1は、加工画像データからなるマーカー34を読み取って(ステップS601)、マーカー34の情報を取得する。
【0067】
このマーカー34は、
図11を持って説明したように、その画像33の主要部24を加工した加工画像からなる。また、この加工画像からなるマーカー34は、
図11(C)に示す画像33における本来の画像部分である加工前画像データ331を加工して、本来の画像部分とは異なる画像を表示させたものである。これにより、印刷物25における画像33の主要部24が加工画像からなるマーカー34で隠されて見えないようになっている。
そして、前記取得したマーカー情報に基づき、加工前画像を表示させる加工前データの存在と、前記印刷物を撮影することにより得られた加工画像(マーカー34)が意味する加工画像データの存在とを、絵画調画像データ表示制御部86にて問い合わせる(ステップS602)。
【0068】
そして、前記カメラ81での撮影により表示部31に表示されている加工画像からなるマーカー34を含む画像33から、加工画像からなるマーカー34を除去した後、このマーカー34が除去された画像33と、加工前画像データ331とをマッチングさせて合成する(ステップS603)。しかる後に、この合成より、加工画像からなるマーカー34の部分が加工前画像データ331に置換された本来の画像33を端末1の表示部31に表示する(ステップS604)これにより、ユーザーは、主要部24上にある加工画像からなるマーカー34が除去された画像33全体を端末1−1の表示部31で見ることが可能となる。
【0069】
図13は、第2の実施の形態における端末の内部フローを示す図である。この実施の形態において、
図8に示した端末1−1の絵画調画像データ表示制御部86には、予め画像サービスサイト10のサーバー11にアクセスして、有料又は無料でダウンロードした下記アプリケーション(1)(2)(3)が格納されている。
(1)不足データに対応するアプリケーション
(2)加工前画像データに対応するアプリケーション
(3)別の加工画像データに対応するアプリケーション
【0070】
さらに、絵画調画像データ表示制御部86には、
(A)マーカーに対応する不足データ
(B)マーカーに対応する加工前画像データ
(C)マーカーに対応する別の加工前画像データ
が予め画像サービスサイト10のサーバー11から、有料又は無料でダウンロードして格納されている。
【0071】
以上の構成において、端末1−1は、ユーザーが端末1−1を用いて前記印刷物25を撮影する操作を行うと、カメラ81により印刷物25の画像中に存在するマーカーを読み取る(ステップS701)。そして、この読み取ったマーカーが、下記(a)、(b)、(c)の何れを意味するものであるかを判断する(ステップS702)。
(a)不足データに対応するマーカー
(b)加工前画像データに対応するマーカー
(c)別の加工画像データに対応するマーカー
【0072】
「(a)不足データに対応するマーカー」である場合、つまり不足データ35を符号化してマーカー23に書き込んだものである場合には、絵画調画像データ表示制御部86は(1)不足データに対応するアプリケーションを起動する。そして、このアプリケーションにより、(A)マーカーに対応する不足データ取得する(ステップS703)。
【0073】
また、「(b)加工前画像データに対応するマーカー」である場合には、つまり加工画像データを符号化してマーカー34に書き込んだものである場合には、絵画調画像データ表示制御部86は、(2)加工前画像データに対応するアプリケーションを起動する。そして、このアプリケーションにより、(B)マーカーに対応する加工前画像データを取得する(ステップS704)。
【0074】
また、「(c)別の加工画像データに対応するマーカー」である場合には、つまり(bとは異なる加工画像データを符号化してマーカー34に書き込んだものである場合には、絵画調画像データ表示制御部86は、(3)別の加工画像データに対応するアプリケーションを起動する。そして、このアプリケーションにより、(C)マーカーに対応する別の加工前画像データを取得する(S705)。
【0075】
しかる後に、前記カメラ81での撮影により表示部31に表示されているマーカーを含む画像から、マーカーを除去した後、このマーカーが除去された画像と、ステップS703〜705の何れかで取得した画像とをマッチングする(ステップS706)。このとき、カメラ81での撮影により表示部31に表示されている画像は、撮影時のおける端末1−1の撮影角度よる影響で、必ずしも正面から撮影されてはいないので、射影変換する(ステップS707)。しかる後に、表示部31上の映像に合成し(ステップS708)、端末1−1の表示部31に表示する(ステップS709)。これにより、ユーザーは、主要部24上にある加工画像からなるマーカー34が除去された画像33全体を端末1−1の表示部31で見ることが可能となる。
【0076】
[第3の実施形態]
図14は、本発明の第3の実施の形態における端末の内部フローを示す図である。第3の実施の形態は、前述した第2の実施の形態とはことなり、マーカーは、端末1側においては不足データ、加工前画像データ、別の加工前画像データに復元することはできず、画像サービスサイト10側においてのみ復元することが可能である。
【0077】
そこでユーザーは、端末1−1が有するカメラ81により、プリント媒体20にプリン
トされているマーカー23を含む画像33を撮影する。そうすると、端末1−1はカメラ
81により印刷物25の画像中に存在するマーカーを読み取る(ステップS801)。そ
して、このマーカーは、下記
(a)、(b)、(c)の何れかを意味するものであるかを
判断する(ステップS802)。
(a)不足データに対応するマーカー
(b)加工前画像データに対応するマーカー
(c)別の加工画像データに対応するマーカー
【0078】
「(a)不足データに対応するマーカー」である場合には、マーカーの指定しているサーバー11のリンク先から不足データを取得する(ステップS803)。また、「(b)加工前画像データに対応する」である場合には、マーカーの指定しているサーバー11のリンク先から加工前画像データを取得し(S704)、「(c)別の加工加工画像データに対応する」である場合には、別の加工画像データに対応するマーカーの指定しているサーバー11のリンク先から別の加工前画像データを取得する(ステップS805)。
【0079】
しかる後に、前記カメラ81での撮影により表示部31に表示されているマーカーを含む画像から、マーカーを除去した後、このマーカーが除去された画像と、ステップS803〜705の何れかで取得した画像とをマッチングする(ステップS806)。このとき、カメラ81での撮影により表示部31に表示されている画像は、撮影時のおける端末1−1の撮影角度よる影響で、必ずしも正面から撮影されてはいないので、射影変換する(ステップS807)。しかる後に、表示部31上の映像に合成し(ステップS808)、端末1−1の表示部31に表示する(ステップS809)。これにより、ユーザーは、主要部24上にある加工画像からなるマーカー34が除去された画像33全体を端末1−1の表示部31で見ることが可能となる。
【0080】
以上説明したように、マーカーにより作品のコピー防止を図りながら、ユーザーは簡単な操作で、色々な画調に絵画変換された画像をその場で見て確認することができる。また、確認して、気に入った画調の絵画調画像データのプリントを発注することができる。更に、マグカップやTシャツなどのプリント媒体を選んだり、額縁を選んだりすることができる。
【0081】
ユーザーがプリントを注文した絵画調画像データ中に存在するマーカーを読み取るだけでマーカーが除去された画像を見ることができるので、簡単である。その際に画像サービスサイトとの連携が発生するので、副次的な効果としてウエブサイトへのアクセス機会が増大し、当該ウエブサイトへの誘導、認知度向上が期待できる。
【0082】
なお、上記実施形態では、マーカーとしてQRコード(登録商標)を使用したが、これに限ることなく、二次元バーコードや一次元バーコードでもよく、丸型や四角、星形等のテンプレート内にマーカーを入れ込んでもよい。
【0083】
プリント媒体は紙やマグカップ、Tシャツなどにハードプリントする例を説明したが、液晶やEL、電子ペーパー等の表示媒体上に、主要部をマーカーで隠された作品を表示させても(ソフトプリント)同じ効果を得ることができる。例えばパーソナルコンピュータの画面上に主要部をマーカーで隠された作品を表示させ、ビューアーのカメラでマーカーを読み取らせることによってビューアー上にマーカーが消えた作品の全体像を表示させることができる。
【0084】
また、
図7では画像データの表示と操作メニュー表示を同時に行っている例を示したが、全面操作メニュー表示にしてもよいことは勿論である。
【0085】
また、端末1−1とサーバー11の連携についてはサーバー11のリンク制御プログラムが制御するようにしてサーバー主体で動作するようにしているが、アプリケーションプログラムを端末1−1にダウンロードしてインストールし、端末主体で動作するようにしてもよい。
【0086】
以上、この発明の実施形態について説明したが、この発明はこれらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
【0087】
以下に、本出願の特許請求の範囲に記載された発明を付記する。
【0088】
<請求項1>
端末と該端末にネットワークを介して接続されるサーバーとで構成される画像処理システムであって、
前記端末は、
画像がプリントされているとともに、該画像の一部をマスクするようにマーカーがプリントされた印刷物から前記マーカーを読み取る読取手段と、
前記読取手段により読み取られたマーカーにより示される情報に基づき、前記サーバーに接続する接続手段と、
前記接続手段により接続されたサーバーから、前記画像であって前記マーカーによるマスクのない画像を表示する画像データを取得する取得手段と、
前記取得手段により取得された画像データに基づき、前記マーカーによるマスクのない画像を表示する表示手段とを備え、
前記サーバーは、
前記マーカーによるマスクのない画像を表示する画像データを記憶した記憶手段と、
前記記憶手段から前記画像データを読み出して、前記端末の取得手段に供給する画像データ供給手段と、
を備えることを特徴とする画像処理システム。
【0089】
<請求項2>
前記サーバーの画像データ供給手段は、前記端末が有する前記表示手段の大きさに応じたサイズで前記マーカーによるマスクのない画像を表示する画像データを前記端末の取得手段に供給することを特徴とする請求項1記載の画像処理システム。
【0090】
<請求項3>
表示部に画像を表示させるとともに、該画像の一部をマスクするようにマーカーを表示させる第1の表示制御手段と、
前記第1の表示制御手段により前記表示部に表示された前記マーカーを読み取る読取手段と、
前記読取手段により読み取られたマーカーにより示される情報に基づき、前記画像であって前記マーカーによるマスクのない画像を前記表示部に表示させる第2の表示制御手段と、
を備えることを特徴とする画像処理装置。
【0091】
<請求項4>
画像がプリントされているとともに、該画像の一部をマスクするようにマーカーがプリントされた印刷物から前記マーカーを読み取る読取手段と、
前記読取手段により読み取られたマーカーにより示される情報に基づき、前記画像であって前記マーカーによるマスクのない画像を表示部に表示させる表示制御手段と、
を備えることを特徴とする画像処理装置。
【0092】
<請求項5>
前記読取手段は、前記マーカーにより一部がマスクされた前記画像を撮像する撮像手段を有し、
前記表示制御手段は、前記撮像手段により前記印刷物から撮像された画像を表示部に表示させた後、該表示させた画像を処理して前記マーカーによるマスクのない画像を表示部に表示させることを特徴とする請求項4記載の画像処理装置。
【0093】
<請求項6>
前記第2の表示制御手段により前記表示手段に表示された前記マーカーによるマスクのない画像を表示させる画像データをサーバーよりダウンロードするダウンロード手段を備えることを特徴とする請求項3又は4記載の画像処理装置。
【0094】
<請求項7>
画像がプリントされているとともに、該画像の一部をマスクするようにマーカーがプリントされた印刷物から前記マーカーを読み取る読取手段と、
前記読取手段により読み取られたマーカーにより示される情報に基づき、前記画像であって前記マーカーによるマスクのない画像を表示部に表示させる表示制御手段とを備え、
前記マーカーには、前記マスクされた画像の一部を表示させる部分画像データが含まれ、
前記表示制御手段は、
前記印刷物から撮像された画像を表示部に表示させるとともに、前記マーカーに基づき前記マスクされた画像の一部を復元する復元手段と、
前記復元手段により復元された前記部分画像データに基づく部分画像により、前記表示手段に表示された画像の前記マーカーを除去した部分を補間する補間手段と、
を備えることを特徴とする画像処理装置。
【0095】
<請求項8>
端末とネットワークを介して接続されるサーバーとを用いる画像処理方法であって、
前記端末には、
画像がプリントされているとともに、該画像の一部をマスクするようにマーカーがプリントされた印刷物から前記マーカーを読み取る読取ステップと、
前記読取ステップにより読み取られたマーカーにより示される情報に基づき、前記サーバーに接続する接続ステップと、
前記接続により接続されたサーバーから、前記画像であって前記マーカーによるマスクのない画像を表示する画像データを取得する取得ステップと、
前記取得ステップにより取得された画像データに基づき、前記マーカーによるマスクのない画像を表示する表示ステップとを実行させ、
前記サーバーには、
前記マーカーによるマスクのない画像を表示する画像データを記憶した記憶手段からから前記画像データを読み出して、前記端末の取得ステップに供給する画像データ供給ステップ、
を実行させることを特徴とする画像処理方法。
【0096】
<請求項9>
表示部に画像を表示させるとともに、該画像の一部をマスクするようにマーカーを表示させる第1の表示制御ステップと、
前記第1の表示制御ステップにより前記表示部に表示された前記マーカーを読み取る読取ステップと、
前記読取ステップにより読み取られたマーカーにより示される情報に基づき、前記画像であって前記マーカーによるマスクのない画像を前記表示部に表示させる第2の表示制御ステップと、
を含むことを特徴とする画像処理方法。
【0097】
<請求項10>
画像がプリントされているとともに、該画像の一部をマスクするようにマーカーがプリントされた印刷物から前記マーカーを読み取る読取ステップと、
前記読取ステップにより読み取られたマーカーにより示される情報に基づき、前記画像であって前記マーカーによるマスクのない画像を表示部に表示させる表示制御ステップと、
含むことを特徴とする画像処理方法。
【0098】
<請求項11>
画像がプリントされているとともに、該画像の一部をマスクするようにマーカーがプリントされた印刷物から前記マーカーを読み取る読取ステップと、
前記読取ステップにより読み取られたマーカーにより示される情報に基づき、前記画像であって前記マーカーによるマスクのない画像を表示部に表示させる表示制御ステップとを含み、
前記マーカーには、前記マスクされた画像の一部を表示させる部分画像データが含まれ、
前記表示制御ステップは、
前記印刷物から撮像された画像を表示部に表示させるとともに、前記マーカーに基づき前記マスクされた画像の一部を復元する復元ステップと、
前記復元ステップにより復元された前記部分画像データに基づく部分画像を、前記表示ステップに表示された画像の前記マーカーを除去した部分にマッチングさせて補間するマッチングステップと、
を含むことを特徴とする画像処理方法。
【0099】
<請求項12>
画像処理装置が有するコンピュータで実行される前記コンピュータが読み取り可能なプログラムであって、
前記コンピュータを、
表示部に画像を表示させるとともに、該画像の一部をマスクするようにマーカーが表示させる第1の表示制御手段と、
前記第1の表示手段制御手段により前記表示部に表示された前記マーカーを読み取る読取手段と、
前記読取手段により読み取られたマーカーにより示される情報に基づき、前記画像であって前記マーカーによるマスクのない画像を前記表示部に表示させる第2の表示制御手段と、
して機能させることを特徴とする画像処理プログラム。
【0100】
<請求項13>
画像処理装置が有するコンピュータで実行される前記コンピュータが読み取り可能なプログラムであって、
前記コンピュータを、
画像がプリントされているとともに、該画像の一部をマスクするようにマーカーがプリントされた印刷物から前記マーカーを読み取る読取手段と、
前記読取手段により読み取られたマーカーにより示される情報に基づき、前記画像であって前記マーカーによるマスクのない画像を表示部に表示させる表示制御手段と、
を備えることを特徴とする画像処理プログラム。
【0101】
<請求項14>
画像処理装置が有するコンピュータで実行される前記コンピュータが読み取り可能なプログラムであって、
前記コンピュータを、
画像がプリントされているとともに、該画像の一部をマスクするようにマーカーがプリントされた印刷物から前記マーカーを読み取る読取手段と、
前記読取手段により読み取られたマーカーにより示される情報に基づき、前記画像であって前記マーカーによるマスクのない画像を表示部に表示させる表示制御手段とを備え、
前記マーカーには、前記マスクされた画像の一部を表示させる部分画像データが含まれ、
前記表示制御手段は、
前記印刷物から撮像された画像を表示部に表示させるとともに、前記マーカーに基づき前記マスクされた画像の一部を復元する復元手段と、
前記復元手段により復元された前記部分画像データに基づく部分画像を、前記表示手段に表示された画像の前記マーカーを除去した部分にマッチングさせて補間するマッチング手段と、
して機能させることを特徴とする画像処理プログラム。
【0102】
<請求項15>
画像がプリントされているとともに、該画像の一部をマスクするようにマーカーがプリントされ、
前記マーカーには、当該マーカーによりによるマスクのない画像を表示する画像データが格納されているサーバーに端末を接続させる接続情報が含まれていることを特徴とする印刷物。
【0103】
<請求項16>
画像がプリントされているとともに、該画像の一部をマスクするようにマーカーがプリントされ、
前記マーカーには、前記画像であって前記マーカーによるマスクのない画像を表示部に表示させる情報が含まれていることを特徴とする印刷物。
【0104】
<請求項17>
画像がプリントされているとともに、該画像の一部をマスクするようにマーカーがプリントされ、
前記マーカーには、前記マーカーにより一部がマスクされた前記画像が撮像された場合において、該撮像された画像を表示部に表示させた後、該表示させた画像を処理して前記マーカーによるマスクのない画像を表示部に表示させる情報が含まれていることを特徴とする印刷物。
【0105】
<請求項18>
前記マーカーには、当該マーカーによるマスクのない画像に対応する元画像である作品を所定のサーバーよりダウンロードするためのダウンロード情報が含まれていることを特徴とする請求項16記載の印刷物。