(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-13
(45)【発行日】2022-07-22
(54)【発明の名称】画像処理方法、プログラム、及び画像処理システム
(51)【国際特許分類】
G06T 11/60 20060101AFI20220714BHJP
H04N 1/387 20060101ALI20220714BHJP
【FI】
G06T11/60 100A
H04N1/387 110
(21)【出願番号】P 2019058896
(22)【出願日】2019-03-26
【審査請求日】2021-03-02
(73)【特許権者】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】100083116
【氏名又は名称】松浦 憲三
(74)【代理人】
【識別番号】100170069
【氏名又は名称】大原 一樹
(74)【代理人】
【識別番号】100128635
【氏名又は名称】松村 潔
(74)【代理人】
【識別番号】100140992
【氏名又は名称】松浦 憲政
(72)【発明者】
【氏名】立川 紀美子
【審査官】板垣 有紀
(56)【参考文献】
【文献】特開2020-160744(JP,A)
【文献】特表2016-535335(JP,A)
【文献】特開2014-174782(JP,A)
【文献】特開2014-039171(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 11/60
H04N 1/387
(57)【特許請求の範囲】
【請求項1】
取得した画像を解析し、前記画像からオブジェクトを抽出する画像解析工程と、
前記オブジェクトに関連する漢字を一文字以上含む漢字列を決定する漢字列決定工程と、
前記漢字列を前記画像に合成するレイアウトを決定するレイアウト決定工程と、
前記レイアウトに基づき、前記画像に前記漢字列を合成して合成画像を生成する合成工程と、
を含み、
前記レイアウト決定工程は、前記オブジェクトを前記合成画像の前景とし、前記漢字列を前記合成画像の背景とするレイアウトを決定する画像処理方法。
【請求項2】
前記レイアウト決定工程は、前記漢字列に抜き文字を適用するレイアウトを決定する請求項1に記載の画像処理方法。
【請求項3】
前記レイアウト決定工程は、前記抜き文字の背景に対して半透過を適用するレイアウトを決定する請求項2に記載の画像処理方法。
【請求項4】
前記レイアウト決定工程は、前記画像において前記オブジェクトを除いた非オブジェクトの少なくとも一部が、前記抜き文字が適用された前記漢字列を通して見えるレイアウトを決定する請求項2又は3に記載の画像処理方法。
【請求項5】
前記レイアウト決定工程は、前記オブジェクトの一部を前記抜き文字の背景と重畳させるレイアウトを決定する請求項2から4のいずれか一項に記載の画像処理方法。
【請求項6】
前記レイアウト決定工程は、前記画像の被写体を避けて前記漢字列を配置するレイアウトを決定する請求項1から5のいずれか一項に記載の画像処理方法。
【請求項7】
前記レイアウト決定工程は、前記画像の被写体に対して前記漢字列を重畳させるレイアウトを決定する請求項1から5のいずれか一項に記載の画像処理方法。
【請求項8】
印刷装置を用いて前記合成画像を印刷する印刷工程を含む請求項1から7のいずれか一項に記載の画像処理方法。
【請求項9】
前記漢字列の意味に関するアルファベット文字列を決定するアルファベット文字列決定工程を含み、
前記レイアウト決定工程は、前記アルファベット文字列を前記画像に合成する請求項1から8のいずれか一項に記載の画像処理方法。
【請求項10】
前記レイアウト決定工程は、前記アルファベット文字列に抜き文字を適用するレイアウトを決定する請求項9に記載の画像処理方法。
【請求項11】
前記レイアウト決定工程は、前記抜き文字の背景に対して半透過を適用するレイアウトを決定する請求項10に記載の画像処理方法。
【請求項12】
前記レイアウト決定工程は、前記画像におけるオブジェクトを除いた非オブジェクトの少なくとも一部が、前記抜き文字が適用された前記アルファベット文字列を通して見えるレイアウトを決定する請求項10又は11に記載の画像処理方法。
【請求項13】
コンピュータに、
取得した画像を解析し、前記画像からオブジェクトを抽出する画像解析機能、
前記オブジェクトに関連する漢字を一文字以上含む漢字列を決定する漢字列決定機能、
前記漢字列を前記画像に合成するレイアウトを決定するレイアウト決定機能、及び
前記レイアウトに基づき、前記画像に前記漢字列を合成して合成画像を生成する合成機能を実現させるプログラムであって、
前記レイアウト決定機能は、前記オブジェクトを前記合成画像の前景とし、前記漢字列を前記合成画像の背景とするレイアウトを決定するプログラム。
【請求項14】
取得した画像を解析し、前記画像からオブジェクトを抽出する画像解析部と、
前記オブジェクトに関連する漢字を一文字以上含む漢字列を決定する漢字列決定部と、
前記漢字列を前記画像に合成するレイアウトを決定するレイアウト決定部と、
前記レイアウトに基づき、前記画像に前記漢字列を合成して合成画像を生成する合成部 と、
を備え、
前記レイアウト決定部は、前記オブジェクトを前記合成画像の前景とし、前記漢字列を前記合成画像の背景とするレイアウトを決定する画像処理システム。
【請求項15】
前記合成画像を印刷する印刷部を備えた請求項14に記載の画像処理システム。
【請求項16】
ネットワークを介して通信可能に接続される画像処理システムであって、
取得した画像を解析し、前記画像からオブジェクトを抽出する画像解析部と、
前記オブジェクトに関連する漢字を一文字以上含む漢字列を決定する漢字列決定部と、
前記漢字列を前記画像に合成するレイアウトを決定するレイアウト決定部と、
前記レイアウトに基づき、前記画像に前記漢字列を合成して合成画像を生成する合成部と、
を備え、
前記レイアウト決定部は、前記オブジェクトを前記合成画像の前景とし、前記漢字列を前記合成画像の背景とするレイアウトを決定する画像処理システム。
【請求項17】
前記ネットワークを介して通信可能に接続される印刷装置であり、前記合成画像の印刷を実施する印刷装置を備えた請求項16に記載の画像処理システム。
【請求項18】
前記印刷装置は、前記画像解析部、前記漢字列決定部、前記レイアウト決定部、及び前記合成部を備え、前記画像に基づく前記合成画像の印刷を実施する請求項17に記載の画像処理システム。
【請求項19】
前記ネットワークを介して通信可能に接続されるサーバ装置であり、前記画像解析部、前記漢字列決定部、前記レイアウト決定部、及び前記合成部を具備するサーバ装置を備えた請求項
16又は
17に記載の画像処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は画像処理方法、プログラム、及び画像処理システムに係り、特に漢字を楽しむコンテンツに関する。
【背景技術】
【0002】
日本を訪れる外国人であり、特に普段は漢字を使わない外国人にとって漢字は珍しい。漢字は、鑑賞の対象として衣類及びポストカード等の物品に付与され得る。また、漢字が合成された電子コンテンツも、外国人に愛好され、購買されている。
【0003】
漢字を外国人に楽しんでもらう工夫として、印面に日本語の漢字とアルファベットとを使用した印鑑の作成、及び外国語人名の発音に対応付けて一以上の当て字を並べて、人名漢字を作成する等が挙げられる。しかし、いずれも元々テキストになっているものを翻訳するもの、又は外国人に提示する漢字自体は日本人が個別に考えるものに過ぎない。
【0004】
特許文献1は、利用者を被写体として撮像されたサンプル画像を加工するシール作成装置が記載されている。同文献はサンプル画像を前景とし、合成用画像を背景として生成された合成画像を開示している。
【0005】
特許文献2は、写真画像と複数の編集用画像とを合成した合成画像を生成する写真撮影遊戯機が記載されている。同文献は、写真画像を前景とし、編集用画像を背景として生成された合成画像を開示している。
【0006】
特許文献3は、画像全体に文字が表示される半透明の前景画像が、撮像画像に重畳された合成画像を開示している。
【先行技術文献】
【特許文献】
【0007】
【文献】特許第5545507号公報
【文献】特許第6232662号公報
【文献】特許第5574031号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、現状では、日本を訪れる外国人観光客等が簡便に漢字を楽しめるコンテンツが存在しない。また、特許文献1から3は、撮像画像と合成用画像等とを合成して生成された合成画像を開示しているが、いずれも、撮像画像と合成用画像等との組み合わせを任意に選択して、単に合成画像を楽しむものであって、画像と漢字とを一体的に楽しむものではない。
【0009】
本発明はこのような事情に鑑みてなされたもので、画像と漢字とを一体的に楽しむことを可能とする、画像処理方法、プログラム、及び画像処理システムを提供することを目的とする。
【課題を解決するための手段】
【0010】
上記目的を達成するために、次の発明態様を提供する。
【0011】
第1態様に係る画像処理方法は、取得した画像を解析し、画像からオブジェクトを抽出する画像解析工程と、オブジェクトに関連する漢字を一文字以上含む漢字列を決定する漢字列決定工程と、漢字列を画像に合成するレイアウトを決定するレイアウト決定工程と、レイアウトに基づき、画像に漢字列を合成して合成画像を生成する合成工程と、を含み、レイアウト決定工程は、オブジェクトを合成画像の前景とし、漢字列を合成画像の背景とするレイアウトを決定する画像処理方法である。
【0012】
第1態様によれば、取得した画像に含まれるオブジェクトに関連する漢字列を抽出し、オブジェクトを前景とし漢字列を背景として漢字列を画像に合成する。これにより、オブジェクトの視認性を阻害することなく、オブジェクトを含む画像に漢字列を合成することができ、画像と漢字とを一体的に楽しむことが可能となる。
【0013】
画像に含まれるオブジェクトは、人物、自然構造物、及び建築物等の画像における被写体を適用し得る。オブジェクトは、空及び風景等の画像における背景を適用し得る。画像解析工程は、複数のオブジェクトの中から一つのオブジェクトを抽出してもよいし、二つ以上のオブジェクトを抽出してもよい。
【0014】
漢字は日本語に使用される漢字を適用し得る。漢字は中国等の外国において使用される漢字を適用してもよい。
【0015】
オブジェクトに関連する漢字列の例として、オブジェクトの内容を表す漢字列、オブジェクトのイメージを表す漢字列、及びオブジェクトから想像され得る漢字列等が挙げられる。
【0016】
レイアウトはオブジェクトの位置の情報が含まれ得る。レイアウトは画像における漢字列の位置、漢字列の色、及び漢字列のフォント等の情報が含まれ得る。
【0017】
オブジェクトの位置の情報、漢字列の位置の情報、及びアルファベット文字列の位置の情報は、画像における座標値を適用し得る。
【0018】
第2態様は、第1態様の画像処理方法において、レイアウト決定工程は、漢字列に抜き文字を適用するレイアウトを決定する構成としてもよい。
【0019】
第2態様によれば、合成画像において、オブジェクト及び漢字列の両者が強調され、かつデザイン性に優れた合成画像を生成し得る。
【0020】
抜き文字は文字領域を透明とする態様を採用し得る。かかる態様は、合成画像において漢字列の背景となる、画像におけるオブジェクトを除いた非オブジェクトを視認し得る。
【0021】
第3態様は、第2態様の画像処理方法において、レイアウト決定工程は、抜き文字の背景に対して半透過を適用するレイアウトを決定する構成としてもよい。
【0022】
第3態様によれば、合成画像において、オブジェクトを抽出した画像におけるオブジェクトを除いた非オブジェクトを視認し得る。
【0023】
第4態様は、第2態様又は第3態様の画像処理方法において、レイアウト決定工程は、画像においてオブジェクトを除いた非オブジェクトの少なくとも一部が、抜き文字が適用された漢字列を通して見えるレイアウトを決定する構成としてもよい。
【0024】
第4態様によれば、合成画像の全体を視認し得る。
【0025】
第5態様は、第2態様から第4態様のいずれか一態様の画像処理方法において、レイアウト決定工程は、オブジェクトの一部を抜き文字の背景と重畳させるレイアウトを決定する構成としてもよい。
【0026】
第5態様によれば、合成画像においてオブジェクトが強調される。
【0027】
第6態様は、第1態様から第5態様のいずれか一態様の画像処理方法において、レイアウト決定工程は、画像の被写体を避けて漢字列を配置するレイアウトを決定する構成としてもよい。
【0028】
第6態様によれば、合成画像における被写体の視認性を確保し得る。
【0029】
画像の被写体は、画像においてピントが合っている領域であり、例えば、人物等が挙げられる。被写体はオブジェクトでもよいし、非オブジェクトでもよい。
【0030】
第7態様は、第1態様から第5態様のいずれか一態様の画像処理方法において、レイアウト決定工程は、画像の被写体に対して漢字列を重畳させるレイアウトを決定する構成としてもよい。
【0031】
第7態様によれば、合成画像において漢字列を強調し得る。
【0032】
第8態様は、第1態様から第7態様のいずれか一態様の画像処理方法において、印刷装置を用いて合成画像を印刷する印刷工程を含む構成としてもよい。
【0033】
第8態様によれば、合成画像を印刷した印刷物を提供し得る。これにより、印刷物を用いて漢字を楽しむことが可能となる。
【0034】
第9態様は、第1態様から第8態様のいずれか一態様の画像処理方法において、漢字列の意味に関するアルファベット文字列を決定するアルファベット文字列決定工程を含み、レイアウト決定工程は、アルファベット文字列を画像に合成する構成としてもよい。
【0035】
第9態様によれば、漢字列の意味の理解が困難な外国人等が、漢字列の意味を理解し得る。これにより、漢字列の意味の理解が困難な外国人等が漢字を楽しむことが可能となる。
【0036】
アルファベット文字列は、漢字列の意味を表す英単語等の外国語単語を適用し得る。アルファベット文字列は、ハッシュタグ等のように特定の記号等が含まれていてもよい。
【0037】
漢字列に関連するアルファベット文字列の例として、漢字列の意味を表すアルファベット文字列、漢字列のイメージを表すアルファベット文字列、及び漢字列から想像され得るアルファベット文字列等が挙げられる。
【0038】
レイアウトは画像におけるアルファベット文字列の位置、アルファベット文字列の色、及びアルファベット文字列のフォント等の情報が含まれ得る。
【0039】
第10態様は、第9態様の画像処理方法において、レイアウト決定工程は、アルファベット文字列に抜き文字を適用するレイアウトを決定する構成としてもよい。
【0040】
第10態様によれば、合成画像において、漢字列と同様にアルファベット文字列が強調される。また、合成画像において、アルファベット文字列と漢字列との一体感が得られる。
【0041】
第11態様は、第10態様の画像処理方法において、レイアウト決定工程は、抜き文字の背景に対して半透過を適用するレイアウトを決定する構成としてもよい。
【0042】
第11態様によれば、合成画像において、オブジェクトを抽出した画像におけるオブジェクトを除いた非オブジェクトを視認し得る。
【0043】
第12態様は、第10態様又は第11態様の画像処理方法において、レイアウト決定工程は、画像におけるオブジェクトを除いた非オブジェクトの少なくとも一部が、抜き文字が適用されたアルファベット文字列を通して見えるレイアウトを決定する構成としてもよい。
【0044】
第12態様によれば、合成画像の全体を視認し得る。
【0045】
第13態様に係るプログラムは、コンピュータに、取得した画像を解析し、画像からオブジェクトを抽出する画像解析機能、オブジェクトに関連する漢字を一文字以上含む漢字列を決定する漢字列決定機能、漢字列を画像に合成するレイアウトを決定するレイアウト決定機能、及びレイアウトに基づき、画像に漢字列を合成して合成画像を生成する合成機能を実現させるプログラムであって、レイアウト決定機能は、オブジェクトを合成画像の前景とし、漢字列を合成画像の背景とするレイアウトを決定するプログラムである。
【0046】
第13態様によれば、第1態様と同様の効果を得ることができる。
【0047】
第13態様において、第2態様から第12態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理方法において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担うプログラムの構成要素として把握することができる。
【0048】
第14態様に係る画像処理システムは、取得した画像を解析し、画像からオブジェクトを抽出する画像解析部と、オブジェクトに関連する漢字を一文字以上含む漢字列を決定する漢字列決定部と、漢字列を画像に合成するレイアウトを決定するレイアウト決定部と、レイアウトに基づき、画像に漢字列を合成して合成画像を生成する合成部と、を備え、レイアウト決定部は、オブジェクトを合成画像の前景とし、漢字列を合成画像の背景とするレイアウトを決定する画像処理システムである。
【0049】
第14態様によれば、第1態様と同様の効果を得ることができる。
【0050】
第14態様において、第2態様から第12態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理方法において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う画像処理システムの構成要素として把握することができる。
【0051】
第15態様は、第14態様の画像処理システムにおいて、合成画像を印刷する印刷部を備えた構成としてもよい。
【0052】
第15態様によれば、合成画像を印刷した印刷物を提供し得る。これにより、印刷物を用いて漢字を楽しむことが可能となる。
【0053】
第16態様に係る画像処理システムは、ネットワークを介して通信可能に接続される画像処理システムであって、取得した画像を解析し、画像からオブジェクトを抽出する画像解析部と、オブジェクトに関連する漢字を一文字以上含む漢字列を決定する漢字列決定部と、漢字列を画像に合成するレイアウトを決定するレイアウト決定部と、レイアウトに基づき、画像に漢字列を合成して合成画像を生成する合成部と、を備え、レイアウト決定部は、オブジェクトを合成画像の前景とし、漢字列を合成画像の背景とするレイアウトを決定する画像処理システムである。
【0054】
第16態様によれば、第1態様と同様の効果を得ることができる。
【0055】
第16態様において、第2態様から第12態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、画像処理方法において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う画像処理システムの構成要素として把握することができる。
【0056】
第17態様は、第16態様の画像処理システムにおいて、ネットワークを介して通信可能に接続される印刷装置であり、合成画像の印刷を実施する印刷装置を備えた構成としてもよい。
【0057】
第17態様によれば、合成画像を印刷した印刷物を提供し得る。これにより、印刷物を用いて漢字を楽しむことが可能となる。
【0058】
第18態様は、第17態様の画像処理システムにおいて、印刷装置は、画像解析部、漢字列決定部、レイアウト決定部、及び合成部を備え、画像に基づく合成画像の印刷を実施する構成としてもよい。
【0059】
第18態様によれば、印刷装置は端末装置から処理対象の画像を取得し、取得した画像に基づく合成画像を生成し、合成画像を印刷した印刷物をユーザへ提供し得る。
【0060】
第19態様は、第17態様又は第18態様の画像処理システムにおいて、ネットワークを介して通信可能に接続されるサーバ装置であり、画像解析部、漢字列決定部、レイアウト決定部、及び合成部を具備するサーバ装置を備えた構成としてもよい。
【0061】
第19態様によれば、ネットワーク接続されたサーバ装置を用いて、合成画像の生成が可能である。
【発明の効果】
【0062】
本発明によれば、取得した画像に含まれるオブジェクトに関連する漢字列を抽出し、オブジェクトを前景とし漢字列を背景として漢字列を画像に合成する。これにより、オブジェクトの視認性を阻害することなく、オブジェクトを含む画像に漢字列を合成することができ、画像と漢字とを一体的に楽しむことが可能となる。
【図面の簡単な説明】
【0063】
【
図1】
図1は第一実施形態に係る画像処理システムの機能ブロック図である。
【
図2】
図2は
図1に示す画像処理装置の具体例に係るスマートフォンの正面図である。
【
図3】
図3は
図1に示すレイアウト決定部の機能ブロック図である。
【
図4】
図4は第一実施形態に係る画像処理方法の手順を示すフローチャートである。
【
図5】
図5は
図4に示すレイアウト決定工程の手順を示すフローチャートである。
【
図6】
図6は漢字テンプレートデータベースの具体例の説明図である。
【
図7】
図7は第二実施形態に係る画像処理システムの構成図である。
【
図8】
図8は
図7に示すセルフ印刷端末装置の機能ブロック図である。
【
図9】
図9は第二実施形態に係る画像処理方法の手順を示すフローチャートである。
【
図10】
図10はレイアウト設定画面の一例を示す画面図である。
【発明を実施するための形態】
【0064】
以下、添付図面に従って本発明の好ましい実施の形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明は適宜省略する。
【0065】
[画像処理システムの全体構成]
図1は第一実施形態に係る画像処理システムの機能ブロック図である。同図に示す画像処理システム10は、画像から抽出されたオブジェクトに関連する漢字列、及び漢字列の意味に関連するアルファベット文字列を、画像に合成して合成画像を生成する。
【0066】
合成画像を生成する際に、オブジェクトを前景とし漢字列を背景とする。合成画像を表す信号が印刷端末装置へ送信された場合、印刷端末装置は合成画像を印刷した印刷物を生成する。
【0067】
以下に、漢字列として漢字一文字を適用し、アルファベット文字列としてハッシュタグを適用する例について説明する。なお、本明細書において、画像という用語は、画像自身を表す場合だけでなく、画像を表す信号である画像データを表すことがあり得る。
【0068】
ハッシュタグは、アルファベット文字列の前にハッシュ記号を付与したラベルである。アルファベットとは、任意の言語に適用される一定の配列順序を持った文字体系に属する任意の文字である。例えば、ラテン文字、ギリシャ文字、及びキリル文字等が挙げられる。
【0069】
なお、以下の実施形態において、漢字列の意味に関連するハッシュタグの抽出、及びハッシュタグの合成は省略してもよい。
【0070】
画像処理システム10は、スマートフォン等のモバイル端末装置を適用し得る。画像処理システム10は、パーソナルコンピュータ等のコンピュータを適用してもよい。コンピュータは、ディスクトップ型コンピュータ、ノート型コンピュータ、及びタブレット型コンピュータ等を適用し得る。
【0071】
画像処理システム10は、合成画像を生成するアプリケーションソフトウェアがインストールされる。画像処理システム10は、合成画像を生成するアプリケーションソフトウェアを実行して、合成画像の生成における各機能を実現し得る。
【0072】
画像処理システム10は、画像取得部12及び画像記憶部13を備える。画像取得部12は、スマートフォンに内蔵される撮像装置等を用いて撮像された画像を取得する。画像取得部12は、画像記憶部13へ取得した画像を記憶する。
【0073】
画像処理システム10は、外部の記憶装置から処理対象の画像を取得してもよい。例えば、画像取得部12は、USBポート及びメモリカードを挿入可能なスロット等の、図示しない通信インターフェースを介して処理対象の画像を取得してもよい。なお、USBはUniversal Serial Busの省略語である。
【0074】
画像処理システム10はオブジェクト抽出部14を備える。オブジェクト抽出部14は、処理対象の画像を解析し、処理対象の画像から一つ以上のオブジェクトを抽出する。オブジェクト抽出は公知の画像処理技術を適用し得る。オブジェクト抽出部14は、オブジェクトとして主要被写体を抽出してもよいし、背景の構成要素を抽出してもよい。
【0075】
オブジェクト抽出部14は、処理対象の画像から抽出したオブジェクトからオブジェクト属性情報を抽出する。オブジェクト属性情報は、オブジェクトの種類、オブジェクトの向き、オブジェクトのサイズ、オブジェクトの画像における位置、及びオブジェクトの色等が含まれ得る。オブジェクト抽出部14は、オブジェクト属性情報を画像と関連付けして、オブジェクト属性情報記憶部15へ記憶する。なお、実施形態に示すオブジェクト抽出部14は、画像解析部の一例に相当する。
【0076】
画像処理システム10は、漢字照合部16及び漢字テンプレートデータベース22を備える。漢字照合部16は、漢字テンプレートデータベース22を参照して、オブジェクト属性情報をパラメータとして、オブジェクトの内容を表す漢字及び漢字の意味を表すハッシュタグを照合する。
【0077】
なお、オブジェクトの内容を表す漢字は、オブジェクトに関連する漢字を一文字以上含む漢字列の一例に相当する。また、漢字の意味を表すハッシュタグは、漢字列の意味に関連するアルファベット文字列の一例に相当する。
【0078】
漢字テンプレートデータベース22は、スマートフォンの撮像装置等を用いて撮像し得る被写体等を表す漢字、及び漢字の意味を表すハッシュタグの組み合わせを被写体と関連付けして記憶する。漢字テンプレートデータベース22は、漢字及びハッシュタグを組み合わせたテンプレートを被写体と関連付けして記憶し得る。
【0079】
すなわち、漢字照合部16は、漢字テンプレートデータベース22からオブジェクト属性情報に対応する漢字及びハッシュタグを組み合わせたテンプレートを読み出す。なお、
図1等に示すDBはData Baseの省略語である。
【0080】
漢字テンプレートデータベース22は、画像処理システム10の外部に具備され得る。漢字テンプレートデータベース22は、ネットワーク等を介して画像処理システム10と通信可能に接続され得る。
【0081】
画像処理システム10は、レイアウト決定部18を備える。レイアウト決定部18は、漢字照合部16を用いて漢字テンプレートデータベース22から読み出した漢字テンプレートの画像における位置、漢字テンプレートの大きさ、及び漢字テンプレートの色等の合成画像におけるレイアウトを決定する。
【0082】
なお、実施形態に示すレイアウト決定部18は、オブジェクトに関連する漢字を一文字以上含む漢字列を決定する漢字列決定部の一例に相当する。また、レイアウト決定部18は、漢字列の意味に関連するアルファベット文字列を決定するアルファベット文字列決定部の一例に相当する。
【0083】
画像処理システム10は、合成部20を備える。合成部20は、処理対象の画像に対して、レイアウト決定部18を用いて決められた漢字テンプレートを合成して合成画像を生成する。
【0084】
画像処理システム10は、表示部24を備える。表示部24はスマートフォンの液晶ディスプレイが適用される。表示部24は、合成部20を用いて生成された合成画像を表示する。
【0085】
画像処理システム10は、合成画像記憶部26を備える。合成部20は、合成画像を記憶することを表す指令信号を取得した場合に、合成画像を合成画像記憶部26へ記憶する。
【0086】
[画像処理システムのハードウェア構成]
図1に示す各種処理部のハードウェアは、各種のプロセッサを適用し得る。各種のプロセッサには、CPU(Central Processing Unit)及びGPU(Graphics Processing Unit)を適用し得る。CPUはプログラムを実行して各種処理部として機能する汎用的なプロセッサである。GPUは画像処理に特化したプロセッサである。
【0087】
各種のプロセッサとして、専用電気回路等が含まれるデバイスを適用し得る。専用電気回路等が含まれるデバイスの例として、PLD(Programmable Logic Device)及びASIC(Application Specific Integrated Circuit)が挙げられる。PLDはデバイスの製造後に回路構成を変更可能なプロセッサである。ASICは特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである。
【0088】
一つの処理部は、上記したプロセッサのうちの一つを用いて構成されていてもよいし、二つ以上を用いて構成されてもよい。二つ以上のプロセッサを用いて一つの処理部を構成する例として、同じ種類のプロセッサを用いて一つの処理部を構成する例及び異なる種類のプロセッサを用いて一つの処理部を構成する例が挙げられる。
【0089】
同じ種類のプロセッサを用いて一つの処理部を構成する例として、二つ以上のFPGAを用いる例が挙げられる。異なる種類のプロセッサを用いて一つの処理部を構成する例として、一つ以上のCPUと一つ以上のFPGAとを用いて一つの処理部を構成する例が挙げられる。
【0090】
一つのプロセッサを用いて複数の処理部を構成してもよい。一つのプロセッサを用いて複数の処理部を構成する例として、一つ以上のCPUとプログラムとの組み合わせを適用して一つのプロセッサを構成し、かかる構成のプロセッサが複数の処理部として機能する形態が挙げられる。かかる形態の具体例として、サーバ装置及びクライアント装置等のコンピュータが挙げられる。
【0091】
一つのプロセッサを用いて複数の処理部を構成する他の例として、複数の処理部を含むシステム全体の機能を一つのICチップを用いて実現するプロセッサを使用する形態が挙げられる。
【0092】
かかる形態の具体例として、システムオンチップが挙げられる。なお、ICは集積回路を表すIntegrated Circuitの省略語である。システムオンチップは英語表記を用いてSoC(System On Chip)と記載されることがある。
【0093】
各種の処理部は、ハードウェア的な構造として、各種のプロセッサを一つ以上用いて構成される。各種のプロセッサのハードウェア的な構造は、半導体素子等の回路素子を組み合わせた電気回路である。電気回路は英語表記を用いてcircuitryと表される場合があり得る。
【0094】
[画像処理装置の具体例]
図2は
図1に示す画像処理装置の具体例に係るスマートフォンの正面図である。同図に示すスマートフォン10Aは、液晶ディスプレイ24Aを用いて合成画像52を表示する。スマートフォン10Aは、予め、合成画像生成アプリケーションソフトウェアがインストールされている。以下、合成画像生成アプリケーションソフトウェアをアプリと記載する。
【0095】
スマートフォン10Aの操作者はアプリを起動する。スマートフォン10Aの操作者はスマートフォン10Aに内蔵される撮像装置30を起動し、撮像を開始する。液晶ディスプレイ24Aはスルー画を表示する。なお、実施形態に記載の撮像装置30は画像取得部の一例に相当する。
【0096】
規定の被写体がフォーカス領域に入った場合に、被写体であるオブジェクト42に対応する一文字以上の漢字を含む漢字列44、及び漢字列44の意味を表すハッシュタグ46を含む漢字テンプレート48が読み出される。漢字テンプレート48はオブジェクト42を含む画像50に合成される。画像50に漢字テンプレート48を合成した合成画像52は、液晶ディスプレイ24Aに表示される。
【0097】
液晶ディスプレイ24Aに合成画像52が表示された状態において図示しない撮像ボタンが操作された場合に、撮像装置30は画像50を記憶する。アプリは、漢字テンプレート48を画像50に合成した合成画像52を生成する。アプリは、合成画像52を記憶する。
【0098】
図2に示す合成画像52は、都市の風景59をバックに笑っている複数の人物を写した画像50が適用される。合成画像52は、画像50に対して、オブジェクト42として抽出された、笑っている複数の人物に関連する、笑が漢字列44として合成されている。また、合成画像52は、画像50に対して、笑という漢字列44に関連する#SMILEがハッシュタグ46として合成されている。
【0099】
すなわち、合成画像52は、オブジェクト42及び都市の風景59の輪郭に沿って漢字列44が切り取られている。すなわち、合成画像52は、オブジェクト42及び都市の風景59が前景とされ、漢字列44及びハッシュタグ46が背景とされる。
【0100】
漢字列44は白の縁取りが施された飾り文字が適用される。ハッシュタグ46は漢字列44と同一の色彩が適用される。また、ハッシュタグ46の背景色は、漢字列44の縁取りと同一の色彩が適用される。なお、画像50は、都市の風景59を背景とし、複数の人物を前景として、両者を合成して生成されてもよい。
【0101】
[レイアウト決定部の機能ブロックの説明]
図3は
図1に示すレイアウト決定部の機能ブロック図である。レイアウト決定部18は、文字サイズ決定部140、文字フォント決定部141、文字色決定部142、文字位置決定部144、文字方向決定部146、文字修飾決定部148、前景決定部150、及び透過決定部152を備える。
【0102】
文字サイズ決定部140は、漢字列44及びハッシュタグ46のサイズを決定する。文字サイズ決定部140は、オブジェクト属性情報に含まれるオブジェクト42のサイズ等に応じて、漢字列44のサイズを決定し得る。文字サイズ決定部140は、漢字列44のサイズに応じてハッシュタグ46のサイズを決定する。
【0103】
文字フォント決定部141は、漢字列44及びハッシュタグ46のフォントを決定する。フォントは印刷分野において標準化されているフォントを適用してもよいし、オリジナルフォントを適用してもよい。文字フォント決定部141は、漢字列44に適用されるフォントと、ハッシュタグ46に適用されるフォントとを個別に設定し得る。
【0104】
文字色決定部142は、漢字列44及びハッシュタグ46の色を決定する。文字色決定部142は、オブジェクト属性情報に含まれるオブジェクトの色に応じて漢字列44の色を決定し得る。文字色決定部142は、漢字列44の色に応じてハッシュタグ46の色を決定する。
【0105】
文字色決定部142は漢字列44及びハッシュタグ46に抜き文字を適用するか否かを決定する。文字色決定部142は漢字列44及びハッシュタグ46に抜き文字を適用する際に抜き文字の背景色を決定する。抜き文字は文字を透明とする態様を採用し得る。
【0106】
文字位置決定部144は、漢字列44及びハッシュタグ46の位置を決定する。漢字列44及びハッシュタグ46の位置は、取得した画像50に設定された座標を適用し得る。文字位置決定部144は、オブジェクトの座標に応じて漢字列44の座標を決定し得る。文字位置決定部144は、漢字列44の座標に応じてハッシュタグ46の座標を決定し得る。漢字列44の座標は漢字列44の重心位置の座標を適用し得る。ハッシュタグ46の座標はハッシュタグ46の重心位置の座標を適用し得る。
【0107】
文字方向決定部146は、漢字列44及びハッシュタグ46の方向を決定する。文字方向決定部146は、漢字列44及びハッシュタグ46の方向として、画像50に設定された基準方向に対する角度を適用し得る。文字方向決定部146は、オブジェクトの方向に応じて漢字列44の方向を決定し得る。文字方向決定部146は、漢字列44の方向に応じてハッシュタグ46の方向を決定し得る。
【0108】
文字修飾決定部148は、漢字列44及びハッシュタグ46に対して修飾処理を実施するか否かを決定する。文字修飾決定部148は、漢字列44の内容に応じて漢字列44に対して修飾処理を実施し得る。文字修飾決定部148は、漢字列44に対する修飾処理に応じてハッシュタグ46に対して修飾処理を実施し得る。
【0109】
前景決定部150は、漢字列44及びハッシュタグ46を前景とするか又は背景とするかを決定する。前景決定部150は、漢字列44及びハッシュタグ46を前景とする初期設定に対して、漢字列44及びハッシュタグ46を背景とする設定へ変更してもよい。
【0110】
透過決定部152は、漢字列44及びハッシュタグ46が前景の場合に、漢字列44及びハッシュタグ46の透過の程度を設定する。透過決定部152は、透過の程度を表す指標値として透過度を適用し得る。透過決定部152は漢字列44及びハッシュタグ46が抜き文字の場合に、抜き文字の背景の透過度を決定する。
【0111】
透過度は、前景が背景を透過させない状態を0パーセントとし、前景が透明の状態を100パーセントとし得る。透過決定部152は、漢字列44及びハッシュタグ46の透過度を、0パーセントを超える値であり、100パーセント未満の値に設定し得る。透過決定部152は、抜き文字の背景の透過度を、0パーセントを超える値であり、100パーセント未満の値に設定し得る。
【0112】
レイアウト決定部18は、レイアウト修正部154を備える。レイアウト修正部154は、画像処理システム10がレイアウトの修正を表す指令信号を受信した場合に、レイアウトの修正を実施する。
【0113】
レイアウト修正部154は、文字サイズ、文字色、文字位置、文字方向、及び文字修飾を修正し得る。レイアウト修正部154は、前景と背景との修正、及び前景の透過の程度等を修正し得る。
【0114】
[画像処理方法のフローチャート]
図4は第一実施形態に係る画像処理方法の手順を示すフローチャートである。アプリ起動工程S10では、
図2に示すスマートフォン10Aの操作者がスマートフォン10Aの操作ボタンを操作してアプリを起動する。アプリ起動工程S10の後に画像処理方法の手順は撮像開始工程S12へ進む。
【0115】
撮像開始工程S12では、スマートフォン10Aの操作者がスマートフォン10Aの操作ボタンを操作して、スマートフォン10Aに内蔵される撮像装置30を起動する。スマートフォン10Aの操作者は、撮像装置30のレンズを撮像対象へ向ける。なお、撮像装置30のレンズの図示は省略する。スマートフォン10Aの液晶ディスプレイ24Aは撮像対象のスルー画を表示する。撮像開始工程S12の後に画像処理方法の手順はオブジェクト抽出工程S14へ進む。
【0116】
オブジェクト抽出工程S14では、
図1に示すオブジェクト抽出部14は、規定の被写体が撮像装置30のフォーカス領域に入ったか否かを判定する。オブジェクト抽出工程S14において、オブジェクト抽出部14が規定の被写体が撮像装置30のフォーカス領域に入っていないと判定した場合はNo判定となる。No判定の場合、画像処理方法の手順は撮像終了判定
工程S28へ進む。
【0117】
一方、オブジェクト抽出工程S14において、オブジェクト抽出部14が規定の被写体が撮像装置30のフォーカス領域に入っていると判定した場合はYes判定となる。Yes判定の場合、オブジェクト抽出部14は規定の被写体をオブジェクト42として抽出し、画像処理方法の手順はテンプレート読出工程S16へ進む。なお、実施形態に示すオブジェクト抽出工程S14は、画像解析工程の一例に相当する。
【0118】
テンプレート読出工程S16では、漢字照合部16はオブジェクト42に対応する漢字テンプレート48を、漢字テンプレートデータベース22から読み出す。テンプレート読出工程S16の後に画像処理方法の手順はレイアウト決定工程S18へ進む。
【0119】
なお、実施形態に示すテンプレート読出工程S16は、オブジェクトに関連する漢字を一文字以上含む漢字列を決定する漢字列決定工程の一例に相当する。また、テンプレート読出工程S16は、漢字列の意味に関連するアルファベット文字列を決定するアルファベット文字列決定工程の一例に相当する。
【0120】
レイアウト決定工程S18では、レイアウト決定部18は漢字テンプレート48及び画像50に基づき合成画像52のレイアウトを決定する。レイアウト決定工程S18の後に画像処理方法の手順は合成画像生成工程S20へ進む。
【0121】
レイアウト決定工程S18は、決定された漢字列44を修正する漢字列修正工程が含まれてもよい。また、レイアウト決定工程S18は、決定されたハッシュタグ46を修正するハッシュタグ修正工程が含まれてもよい。なお、実施形態に示すハッシュタグ修正工程は、アルファベット文字列修正工程の一例に相当する。
【0122】
合成画像生成工程S20では、合成部20は漢字テンプレート48及び画像50を合成した合成画像52を生成する。合成画像生成工程S20の後に画像処理方法の手順は合成画像表示工程S22へ進む。
【0123】
合成画像表示工程S22では、表示部24は合成画像52を表示する。合成画像表示工程S22の後に画像処理方法の手順は合成画像記憶判定工程S24へ進む。
【0124】
合成画像記憶判定工程S24では、画像処理システム10は、表示部24へ合成画像が表示されたタイミングからスマートフォン10Aの撮像ボタンが操作されたか否かを判定する。
【0125】
合成画像記憶判定工程S24において、画像処理システム10が表示部24へ合成画像が表示されたタイミングからスマートフォン10Aの撮像ボタンが操作されず、一定期間が経過したと判定された場合はNo判定となる。No判定の場合、画像処理方法の手順はオブジェクト抽出工程S14へ進む。以下、合成画像記憶判定工程S24においてYes判定となるまで、オブジェクト抽出工程S14から合成画像記憶判定工程S24までの各工程が繰り返し実施される。
【0126】
一方、合成画像記憶判定工程S24において、画像処理システム10が表示部24へ合成画像が表示されたタイミングから一定期間経過内にスマートフォン10Aの撮像ボタンが操作されたと判定された場合はYes判定となる。Yes判定の場合、画像処理方法の手順は合成画像記憶工程S26へ進む。
【0127】
合成画像記憶工程S26では、合成部20は合成画像52を合成画像記憶部26へ記憶する。合成画像記憶工程S26の後に画像処理方法の手順は撮像終了判定工程S28へ進む。
【0128】
撮像終了判定工程S28では、画像処理システム10は撮像を終了するか否かを判定する。撮像終了判定工程S28において画像処理システム10が撮像を終了しないと判定した場合はNo判定となる。No判定の場合、画像処理方法の手順はオブジェクト抽出工程S14へ進み、撮像終了判定工程S28においてYes判定となるまで、オブジェクト抽出工程S14から撮像終了判定工程S28の各工程を繰り返し実施する。
【0129】
一方、撮像終了判定工程S28において画像処理システム10が撮像を終了すると判定した場合はYes判定となる。Yes判定の場合は、画像処理システム10は画像処理方法を終了する。
【0130】
[レイアウト決定工程のフローチャート]
図5は
図4に示すレイアウト決定工程の手順を示すフローチャートである。仮合成工程S200では、
図1に示すレイアウト決定部18は画像50と漢字テンプレート48とを合成し仮合成画像を生成する。仮合成工程S200の後にレイアウト決定工程の手順は仮表示工程S202へ進む。
【0131】
仮表示工程S202では、レイアウト決定部18は
図2に示す液晶ディスプレイ24Aを用いて仮合成画像を表示する。仮表示工程S202の後にレイアウト決定工程の手順は設定判定工程S204へ進む。設定判定工程S204では、レイアウト決定部18は仮合成画像に対してレイアウト設定を実施するか否かを判定する。
【0132】
設定判定工程S204において、レイアウト決定部18が仮合成画像に対して設定を実施しないと判定した場合はNo判定となる。No判定の場合、レイアウト決定部18はレイアウト決定工程を終了し、
図4の合成画像生成工程S20へ進む。
【0133】
一方、設定判定工程S204において、レイアウト決定部18が仮合成画像に対して設定を実施すると判定した場合はYes判定となる。Yes判定の場合、レイアウト決定工程の手順はサイズ決定工程S206へ進む。
【0134】
設定判定工程S204では、レイアウト決定部18は液晶ディスプレイ24Aを用いて、仮合成画像に対して設定を実施するか否かを選択可能に構成された選択画面を表示してもよい。ユーザは、選択画面を操作して仮合成画像に対する設定の実施を指示し得る。
【0135】
サイズ決定工程S206では、
図3に示す文字サイズ決定部140は漢字テンプレート48のサイズを決定する。サイズ決定工程S206の後に画像処理方法の手順は色決定工程S208へ進む。色決定工程S208では、文字色決定部142は漢字テンプレート48の色を決定する。
【0136】
色決定工程S208では、文字色決定部142は漢字テンプレート48に抜き文字を適用するか否かを決定する。漢字テンプレート48に抜き文字が適用される場合、文字色決定部142は抜き文字の背景色を決定する。
【0137】
色決定工程S208において漢字テンプレート48に抜き文字を適用する場合の例として、ユーザインターフェースを用いて、ユーザが漢字テンプレート48に抜き文字を適用することを指定する場合が挙げられる。
【0138】
すなわち、色決定工程S208は、漢字テンプレート48に抜き文字を適用するか否かを判定する抜き文字適用判定工程、及び抜き文字の背景色を決定する背景色決定工程が含まれ得る。色決定工程S208の後にレイアウト決定工程の手順は位置決定工程S210へ進む。
【0139】
位置決定工程S210では、文字位置決定部144は漢字テンプレート48の位置を決定する。位置決定工程S210の後に画像処理方法の手順は方向決定工程S212へ進む。方向決定工程S212では、文字方向決定部146は漢字テンプレート48の方向を決定する。方向決定工程S212の後にレイアウト決定工程の手順は修飾決定工程S214へ進む。
【0140】
修飾決定工程S214では、文字修飾決定部148は漢字テンプレート48の修飾の有無を決定する。文字修飾決定部148は漢字テンプレート48の修飾を実施する場合に修飾の内容を決定する。修飾決定工程S214の後にレイアウト決定工程の手順は前景背景決定工程S216へ進む。
【0141】
前景背景決定工程S216では、前景決定部150はオブジェクト42を前景とし、漢字テンプレート48を背景とするレイアウトを決定する。前景背景決定工程S216では、前景決定部150は、画像50におけるオブジェクト42を除いた非オブジェクトを漢字テンプレート48の前景とするか否かを決定し得る。前景背景決定工程S216の後にレイアウト決定工程の手順は透過度決定工程S218へ進む。
【0142】
透過度決定工程S218では、透過決定部152は漢字テンプレート48の透過度を決定する。透過度決定工程S218の後に画像処理方法の手順はレイアウト確認判定工程S220へ進む。レイアウト確認判定工程S220において、レイアウト決定部18がレイアウトの修正が必要と判定した場合はNo判定となる。No判定の場合、レイアウト決定工程の手順はサイズ決定工程S206へ進む。以降、レイアウト確認判定工程S220においてYes判定となるまで、サイズ決定工程S206からレイアウト確認判定工程S220までの各工程を繰り返し実施する。
【0143】
一方、レイアウト確認判定工程S220において、レイアウト決定部18がレイアウトの修正が不要と判定した場合はYes判定となる。Yes判定の場合、レイアウト決定部18はレイアウト設定工程を終了し、
図4の合成画像生成工程S20へ進む。
【0144】
図5に示すフローチャートにおいて、サイズ決定工程S206からレイアウト確認判定工程S220までの工程ののうち、前景背景決定工程S216以外の工程は適宜省略してもよい。
図5に示すレイアウト設定工程のフローチャートは、レイアウトの修正を実施する際のフローチャートにも適用可能である。
【0145】
本実施形態では、サイズ及び位置等の決定の単位を漢字テンプレート48としたが、漢字列及びアルファベット文字列のそれぞれについて、サイズ及び位置等を個別に決定してもよい。
【0146】
[漢字テンプレートデータベースの具体例]
図6は漢字テンプレートデータベースの具体例の説明図である。同図に示す漢字テンプレートデータベース22は、オブジェクト属性情報と漢字列44及びハッシュタグ46の組み合わせとの対応関係が記憶されている。
【0147】
漢字テンプレートデータベース22は、一つのオブジェクト属性情報に対して一つ以上の漢字が関連付けされる。また、漢字テンプレートデータベース22は、一つの漢字列44に対して一つ以上のハッシュタグ46が関連付けされる。
図1に示す漢字照合部16は、一つのオブジェクト属性情報に基づき、漢字列44及びハッシュタグ46の組み合わせを選択的に決定することが可能である。
【0148】
漢字テンプレートデータベース22は、オブジェクト属性情報をパラメータとして、漢字列44及びハッシュタグ46の組み合わせを照合し得る。漢字テンプレートデータベース22は、オブジェクト属性情報を追加し、追加されたオブジェクト属性情報に対応する漢字列44及びハッシュタグ46の組み合わせを追加してもよい。
【0149】
なお、実施形態に示す漢字テンプレートデータベース22は、オブジェクトを表す複数の漢字列の候補から、一つ以上の合成対象の漢字列を決定する漢字列決定工程に適用される。
【0150】
また、実施形態に示す漢字テンプレートデータベース22は、漢字列の意味を表す複数のアルファベット文字列の候補から、合成対象のアルファベット文字列を決定するアルファベット文字列決定工程に適用される。
【0151】
[漢字照合部及びテンプレート読出工程の変形例]
図1に示す漢字照合部16及び
図4に示すテンプレート読出工程S16は、オブジェクト属性情報と漢字テンプレート48との対応関係を学習した学習器を適用してもよい。すなわち、漢字照合部16は、オブジェクト属性情報と漢字列44との対応関係を学習した学習器及び、漢字列44とハッシュタグ46との対応関係を学習した学習器を用いて、オブジェクト属性情報に対応する漢字テンプレート48を決定し得る。
【0152】
学習器は、畳み込みニューラルネットワーク等の深層学習を適用し得る。学習器が適用される漢字照合部16は、漢字テンプレート48の決定結果を用いて、再学習を実施してもよい。
【0153】
[第一実施形態に係る画像処理システム及び画像処理方法の作用効果]
第一実施形態に係る画像処理システム10及び画像処理方法によれば、以下の作用効果を得ることが可能である。
【0154】
〔1〕
スマートフォン10Aの撮像装置30を用いた撮像の際に、液晶ディスプレイ24Aを用いて、画像50から抽出されたオブジェクト42に関連する漢字列44を画像50に対して合成した合成画像52を表示する。合成画像は、オブジェクト42が前景とされ漢字列44が背景とされる。これにより、オブジェクト42の視認性を阻害することなく、オブジェクト42を含む画像50に漢字列44を合成することができ、外国人等が簡便に漢字を楽しむことが可能となる。
【0155】
〔2〕
合成画像52において、漢字列44に抜き文字が適用される。これにより、オブジェクト42及び漢字列44の両者が強調され、かつデザイン性に優れた合成画像52を生成し得る。また、合成画像52において、画像50における非オブジェクトを視認し得る。
【0156】
〔3〕
合成画像52において、抜き文字の背景に半透過を適用する。これにより、合成画像52において、画像50の非オブジェクトを視認し得る。
【0157】
〔4〕
合成画像52において、非オブジェクトの少なくとも一部が、抜き文字を適用した漢字列44を通して見えるレイアウトが適用される。これにより、合成画像52において、画像50の全体を視認し得る。
【0158】
〔5〕
合成画像52において、オブジェクトの一部を抜き文字の背景と重畳させる。これにより、合成画像52においてオブジェクト42が強調される。
【0159】
〔6〕
合成画像52において、画像の被写体を避けて漢字列44を配置する。これにより、合成画像における被写体の視認性を確保し得る。
【0160】
〔7〕
合成画像52において、画像の被写体に対して漢字列44を重畳させる位置に配置する。これにより、合成画像52において漢字列44を強調し得る。
【0161】
〔8〕
合成画像52において、漢字列44の意味に関連するハッシュタグ46を合成する。これにより、漢字列44の意味の理解が困難な外国人等が、漢字列の意味を理解でき、外国人等が漢字を楽しむことが可能となる。
【0162】
〔9〕
合成画像52において、ハッシュタグ46は漢字列44と同様のレイアウトが適用される。これにより、ハッシュタグ46についても、上記した漢字列44と同様の作用効果を得ることが可能である。
【0163】
[第二実施形態に係る画像処理システムの説明]
図7は第二実施形態に係る画像処理システムの構成図である。同図に示す画像処理システム100はサーバ装置102を備え、サーバ装置102はネットワーク104を介して端末装置と通信可能に接続される。
【0164】
図7には端末装置として、第一スマートフォン106A及び第二スマートフォン106Bを含む複数のスマートフォンを示す。また、
図7には他の端末装置として、ノート型パーソナルコンピュータ108及びセルフ印刷端末装置110を示す。
【0165】
図7に示すサーバ装置102は、
図1に示す画像処理システム10におけるハードウェア構成を適用し得る。ここでは、サーバ装置102の機能の説明は省略する。サーバ装置102は図示しない通信インターフェースを備える。サーバ装置102は通信インターフェースを介してネットワーク104と通信可能に接続される。
【0166】
セルフ印刷端末装置110は、空港、駅、宿泊施設、及び店舗等の観光客の拠点に設置される。セルフ印刷端末装置110は、観光客が自身の所有する画像を印刷するプリントサービスを提供し得る。
【0167】
[セルフ印刷端末装置の構成例]
図8は
図7に示すセルフ印刷端末装置の機能ブロック図である。なお、セルフ印刷端末装置110のハードウェア構成は
図1に示す画像処理システム10と同様の構成を適用し得る。
【0168】
図8に示すセルフ印刷端末装置110は、画像取得部120、画像記憶部122、オブジェクト抽出部124、オブジェクト属性情報記憶部126、漢字照合部128、レイアウト決定部130、合成部132、漢字テンプレートデータベース134、表示部136を備える。また、セルフ印刷端末装置110は、印刷部138を備える。
【0169】
セルフ印刷端末装置110における画像取得部120、画像記憶部122、オブジェクト抽出部124、オブジェクト属性情報記憶部126、漢字照合部128、レイアウト決定部130、合成部132、漢字テンプレートデータベース134、及び表示部136は、
図1に示す画像処理システム10の各部と同様である。ここでは、これらの説明を省略する。
【0170】
図8に示す印刷部138は、合成画像の印刷を実施する。印刷部138はインクジェット方式の印刷装置を適用し得る。印刷部138は電子写真方式の印刷装置を適用してもよい。
【0171】
図7に示す第一スマートフォン106A等の端末装置から、ネットワーク104を介してセルフ印刷端末装置110へ画像をアップロードする。セルフ印刷端末装置110は画像からオブジェクト及びオブジェクト属性情報を抽出し、漢字テンプレートを選択し、漢字テンプレートに基づき合成画像におけるレイアウトを決定する。
【0172】
セルフ印刷端末装置110は、決定されたレイアウトに基づき合成画像を生成する。セルフ印刷端末装置110は、合成画像を印刷する。
【0173】
図8に示す漢字テンプレートデータベース134は、セルフ印刷端末装置110の外部に配置され、ネットワーク104を介してセルフ印刷端末装置110と通信可能に接続されてもよい。
【0174】
セルフ印刷端末装置110におけるオブジェクト抽出部124、オブジェクト属性情報記憶部126、漢字照合部128、レイアウト決定部130、合成部132は、
図8に示すサーバ装置102が備えてもよい。
【0175】
第一スマートフォン106A等の端末装置から、ネットワーク104を介してサーバ装置102へ画像をアップロードする。サーバ装置102はアップロードした画像に基づき合成画像を生成する。セルフ印刷端末装置110は合成画像をダウンロードし、表示部136を用いて合成画像を表示し、印刷部138を用いて合成画像を印刷し得る。
【0176】
[第二実施形態に係る画像処理方法のフローチャート]
図9は第二実施形態に係る画像処理方法の手順を示すフローチャートである。以下、
図4に示すフローチャートと重複する工程の説明を適宜省略する。画像取得工程S100では、
図8に示す画像取得部120は処理対象の画像を取得する。例えば、画像取得部120は画像を撮像した第一スマートフォン106A等から取り出したメモリカードから画像を取得し得る。また、画像取得部120は画像を撮像した第一スマートフォン106A等と通信可能に接続された通信ポートを介して、撮像装置のメモリから画像を取得し得る。
【0177】
図7ではセルフ印刷端末装置110はネットワーク104を介して第一スマートフォン106A等と無線通信が可能に接続されているが、セルフ印刷端末装置110と第一スマートフォン106A等との通信は有線通信を適用し得る。
【0178】
セルフ印刷端末装置110は、第一スマートフォン106A等からサーバ装置102へアップロードされた画像を、第一スマートフォン106A等から送信される指令信号に基づきサーバ装置102から取得してもよい。画像取得部120は、画像記憶部122へ取得した画像を記憶する。画像取得工程S100の後に画像処理方法の手順はオブジェクト抽出工程S102へ進む。
【0179】
オブジェクト抽出工程S102では、オブジェクト抽出部124は取得した画像から一つ以上のオブジェクトを抽出する。オブジェクト抽出工程S102において、オブジェクト抽出部124がオブジェクトを抽出しない場合はNo判定となる。No判定の場合、画像処理方法の手順は終了判定工程S116へ進む。
【0180】
一方、オブジェクト抽出工程S102において、オブジェクト抽出部124が画像から一つ以上のオブジェクトを抽出した場合はYes判定となる。Yes判定の場合、画像処理方法の手順はテンプレート読出工程S104へ進む。テンプレート読出工程S104の後に画像処理方法の手順は、レイアウト決定工程S106、合成画像生成工程S108、及び合成画像表示工程S110の順に各工程を実施する。
【0181】
図9に示すテンプレート読出工程S104から合成画像表示工程S110までの各工程は、
図4に示すテンプレート読出工程S16から合成画像表示工程S22までの各工程と同様の処理を実施する。合成画像表示工程S110の後に画像処理方法の手順は印刷判定工程S112へ進む。
【0182】
印刷判定工程S112では、印刷部138は印刷指示信号を取得したか否かを判定する。印刷判定工程S112において印刷部138が印刷指示信号を取得しないと判定された場合はNo判定となる。No判定の場合、画像処理方法の手順は終了判定工程S116へ進む。
【0183】
印刷判定工程S112において印刷部138が印刷指示信号を取得しないと判定する例として、表示部136に印刷を実施するか否かを選択するボタンを表示し、印刷を実施しないことを選択するボタンが操作された場合が挙げられる。
【0184】
一方、印刷判定工程S112において、印刷部138が印刷指示信号を取得したと判定された場合はYes判定となる。Yes判定の場合、画像処理方法の手順は合成画像印刷工程S114へ進む。印刷判定工程S112において印刷部138が印刷指示信号を取得したと判定する例として、表示部136に表示した、印刷を実施することを選択するボタンが操作された場合が挙げられる。
【0185】
合成画像印刷工程S114では、印刷部138は合成画像の印刷を実施する。合成画像印刷工程S114では、印刷用紙のサイズ、画質、及び解像度等の印刷条件を設定する印刷条件設定工程を実施してもよい。
【0186】
また、印刷判定工程S112において、印刷に対する課金条件を設定する課金条件設定工程を実施してもよい。課金条件とは、現金支払、電子マネー支払、及びクレジットカード支払等の支払条件を含み得る。合成画像印刷工程S114の後に画像処理方法の手順は終了判定工程S116へ進む。
【0187】
終了判定工程S116では、セルフ印刷端末装置110は規定の終了条件を満たすか否かを判定する。終了条件の例として、画像処理方法を終了するか否かを選択する終了選択画面において、画像処理方法を終了することが選択された場合が挙げられる。
【0188】
終了判定工程S116において、セルフ印刷端末装置110が規定の終了条件を満たしていないと判定した場合はNo判定となる。No判定の場合、画像処理方法の手順はオブジェクト抽出工程S102へ進む。以下、終了判定工程S116においてYes判定となるまで、オブジェクト抽出工程S102から終了判定工程S116の各工程を繰り返し実行する。
【0189】
一方、終了判定工程S116において、セルフ印刷端末装置110が規定の終了条件を満たしていると判定した場合はYes判定となる。Yes判定の場合、セルフ印刷端末装置110は規定の終了処理を実施して画像処理方法を終了する。
【0190】
セルフ印刷端末装置110は、画像処理を終了する際に、表示部136を用いて画像からオブジェクトが抽出されないことを表す文字情報、及び画像処理を終了することを表す文字情報等の終了メッセージを表示してもよい。
【0191】
[第二実施形態に係る画像処理システム及び画像処理方法の作用効果]
第二実施形態に係る画像処理システムによれば、以下の作用効果を得ることが可能である。
【0192】
〔1〕
セルフ印刷端末装置110は第一スマートフォン106A等からアップロードされた画像に基づき合成画像を生成する。セルフ印刷端末装置110は印刷部138を用いて合成画像を印刷し得る。これにより、印刷物を用いて合成画像における漢字を簡便に楽しむことが可能である。
【0193】
〔2〕
セルフ印刷端末装置110は、第一スマートフォン106A等からサーバ装置102へアップロードされた画像に基づき、サーバ装置102を用いて生成された合成画像をダウンロードし、ダウンロードした合成画像を印刷し得る。これにより、印刷物を用いて合成画像における漢字を簡便に楽しむことが可能である。
【0194】
〔3〕
セルフ印刷端末装置110は、第一スマートフォン106A等からセルフ印刷端末装置110へアップロードされた画像をサーバ装置102へ送信し、サーバ装置102を用いて生成された合成画像をダウンロードし、ダウンロードした合成画像を印刷し得る。これにより、印刷物を用いて合成画像における漢字を簡便に楽しむことが可能である。
【0195】
[ユーザインターフェースの構成例]
次にユーザインターフェースの構成例について説明する。
図10はレイアウト設定画面の一例を示す画面図である。同図に示すレイアウト設定画面200は、レイアウトを手動設定する際に、表示部24B等に表示される。ここでは、表示部24Bの例としてコンピュータに接続される液晶モニタ装置を例示する。
【0196】
操作者は、レイアウト設定画面200を視認し、図示しないキーボード及びマウス等の操作部材を操作して、合成画像のレイアウトの設定を実施し得る。なお、ここでいう設定という用語は修正の概念を含み得る。
【0197】
レイアウト設定画面200は、合成画像表示領域202が含まれる。合成画像表示領域202は、処理対象の画像50、漢字列44、及びハッシュタグ46が表示される。
【0198】
レイアウト設定画面200は、位置設定領域210が含まれる。位置設定領域210は、x座標値が表示されるx座標値ボックス212、及びy座標値が表示されるy座標値ボックス214が含まれる。
【0199】
レイアウト設定画面200はサイズ設定領域220が含まれる。サイズ設定領域220は、漢字列44のポイント数が表示される漢字ポイントボックス222、及びハッシュタグ46のポイント数が表示されるハッシュタグポイントボックス224が含まれる。
【0200】
レイアウト設定画面200は、色設定領域230が含まれる。色設定領域230は色を表示する色表示ボックス232及び抜き文字を適用するか否かを表す抜きボタン234が含まれる。色表示ボックス232は色を表示してもよいし、色を表す文字列を表示してもよい。抜きボタン234がチェックされた場合、色表示ボックス232は抜き文字の背景色を表示する。
【0201】
レイアウト設定画面200は、方向設定領域240が含まれる。方向設定領域240は基準方向に対する角度の値が表示される角度ボックス242が含まれる。基準方向に対する角度は基準角度を0度として、時計周り方向をプラス方向とし、反時計回りをマイナス方向としてもよい。
【0202】
レイアウト設定画面200は、修飾の有無を設定する修飾設定領域250が含まれる。修飾設定領域250は、修飾を実施する場合に選択する有ボタン252及び修飾を実施しない非実施の場合に選択する無ボタン254が含まれる。
【0203】
レイアウト設定画面200は、漢字列44及びハッシュタグ46を前景とするか又は背景とするかを設定する前景設定領域260が含まれる。前景設定領域260は漢字列44及びハッシュタグ46を前景とする場合に選択する前景選択ボタン262、及び漢字列44及びハッシュタグ46を背景とする場合に選択する背景選択ボタン264が含まれる。
図10に示すレイアウト設定画面200は、オブジェクト42を前景とし、漢字列44を背景とする場合が選択される状態を表す。
【0204】
レイアウト設定画面200は、漢字列44及びハッシュタグ46を前景とする場合の、漢字列44及びハッシュタグ46の透過度を設定する透過度設定領域270が含まれる。透過度設定領域270は透過度の値が表示される透過度ボックス272が含まれる。
【0205】
x座標値ボックス212等は、数値等を入力する態様を適用してもよいし、プルダウンメニューを表示させる態様を適用してもよい。レイアウト設定画面200は合成パラメータの初期設定を表示してもよい。
【0206】
図10に示すレイアウト設定画面200は、
図2に示すスマートフォン10A等に具備されるディスプレイに対応して、機能の縮小化等の変更が可能である。また、設定項目ごとにページを作成し、複数のページをスクロールしながら各設定を実施可能に構成してもよい。
【0207】
[合成画像の具体例]
〔第一具体例〕
図11は第一具体例に係る合成画像の説明図である。同図に示す合成画像52Eは、ラーメンを写した画像50Eが適用される。合成画像52Eは、画像50Eに対して、オブジェクト42Eとして抽出されたラーメンに関連する麺が漢字列44Eとして合成される。
【0208】
また、合成画像52Eは、画像50Eに対して、麺という漢字列44Eの意味に関連する#ramenがハッシュタグ46Eとして合成される。更に、合成画像52Eは、画像50Eに対して、合成画像52Eの下縁に、写真という漢字を模した第三模様60が合成される。第三模様60は、オブジェクト42Eのラーメン丼の外周面に表された模様のスタイルを模したものである。
【0209】
漢字列44Eは抜き文字が適用される。ハッシュタグ46E及び第三模様60もまた、透明の抜き文字が適用される。漢字列44E等の背景は任意の色のベタでもよいし、任意の色の網でもよい。なお、本明細書では、透明という用語は半透明の概念が含まれて得る。
【0210】
合成画像52Eは、相対的に太い抜き文字が適用される漢字列44Eの中から、画像50Eの背景が見える。また、合成画像52Eは、漢字列44Eを介してオブジェクト42Eを確実に覗かせる。
【0211】
更に、合成画像52Eは、オブジェクト42Eの少なくとも一部の輪郭を切り取り、漢字列44Eの輪郭の外に配置する。更にまた、漢字列44Eの背景は半透明であり、画像50Eの背景がうっすらと見える。
【0212】
第一具体例に係る合成画像52Eは、画像50Eの雰囲気を損なうことなく、オブジェクト42Eに関連する漢字列44Eを楽しむことが可能となる。
【0213】
〔第二具体例〕
図12は第二具体例に係る合成画像の説明図である。同図に示す合成画像52Lは、皿に盛りつけた握り鮨を写した画像50Lが適用される。合成画像52Lは、画像50Lに対して、オブジェクト42Lとして抽出された握り鮨に関連する鮨という単語が、漢字列44Lとして合成される。また、合成画像52Lは、画像50Lに対して、鮨という漢字列44Lの意味に関連する#SUSHIがハッシュタグ46Lとして合成される。
【0214】
漢字列44Lは抜き文字が適用される。抜き文字の背景71はオブジェクト42Lに使用される色が適用される。また、合成画像52Lは、一つの漢字列44Lに対して二つのハッシュタグ46Lが適用される。合成画像52Lは、合成画像52Lの中心位置に漢字列44Lの中心が配置され、漢字列44Lに対して左右対象に二つのハッシュタグ46Lが配置される。二つのハッシュタグ46Lは互いに反対向きに設定されている。
【0215】
第二具体例に係る合成画像52Lは、全体として色の統一感があり、対象性が重視されたデザインが採用される。ハッシュタグ46Lに適用されるアルファベットは大文字を適用し得る。ハッシュタグ46Lに適用されるアルファベットは頭文字のみを大文字とし得る。一つの漢字列44Lに対して複数のハッシュタグ46Lを合成し得る。
【0216】
〔第三具体例〕
図13は第三具体例に係る合成画像の説明図である。同図に示す合成画像52Mは、ポストに座った人物を写した画像と日中の繁華街の風景を写した画像とを合成した画像50Mが適用される。合成画像52Mは、画像50Mに対して、オブジェクト42Mとして抽出された人物に関連する忍という単語が、漢字列44Mとして合成される。また、合成画像52Mは、画像50Mに対して、忍という漢字列44Mの意味に関連する#ninjaがハッシュタグ46Mとして合成される。
【0217】
合成画像52Mは、画像
50Mに対して、
図11に示す第三模様60と同様の第四模様72が合成画像
52Mの下縁に合成される。
【0218】
合成画像52Mは、画像50Mを構成するポストに座った人物が漢字列44Mの最前面とされ、画像50Mを構成する日中の繁華街の風景が合成画像52Mにおける最背面とされる。
【0219】
第三具体例に係る合成画像52Mは、画像50Mとして二つの画像を合成した画像が適用され、二つの画像の一方が最前面とされ、他方が最背面とされる。このようにして、様々な画像を合成して、漢字を楽しむことが可能である。
【0220】
〔第四具体例〕
図14は第四具体例に係る合成画像の説明図である。同図に示す合成画像52Nは、参道を歩く人物を写した画像50Nが適用される。合成画像52Nは、画像50Nに対して、オブジェクト42Nとして抽出された参道を歩く人物に関連する歩という単語が、漢字列44Nとして合成される。また、合成画像52Nは、画像50Nに対して、歩という漢字列44Nの意味に関連する
#walkingがハッシュタグ46Nとして合成される。
【0221】
合成画像52Nは、漢字列44Nを空間に合わせて変形し、空間的に違和感のない漢字列44Nの配置を実現している。漢字列44Nは、画像50Nの参道の形状に合わせて変形されている。
【0222】
第四具体例に係る合成画像52Nは、空間的に違和感がない漢字列44Nの変形及び配置が適用され、デザイン性に優れている。
【0223】
〔第五具体例〕
図15は第五具体例に係る合成画像の説明図である。同図に示す合成画像52Pは、カップルを写した画像50Pが適用される。合成画像52Pは、画像50Pに対して、オブジェクト42Pとして抽出されたカップルに関連する愛という単語が、漢字列44Pとして合成される。また、合成画像52Pは、画像50Pに対して、愛という漢字列44Pの意味に関連する#loveがハッシュタグ46Pとして合成される。
【0224】
合成画像52Pは、オブジェクト42Pの顔を避け、二人の人物のそれぞれの肩の位置に漢字列44Pが一つずつ配置される。二つの漢字列44Pの一方の背景には第五模様74が合成され、他方の背景には第六模様76が合成される。ハッシュタグ46Pは、二つの漢字列44Pのうち、一方の第五模様74と重畳される位置のみに配置される。
【0225】
第五具体例に係る合成画像52Pは、オブジェクト42Pの顔を避けて、複数の漢字列44Pが配置される。これにより、オブジェクト42Pと漢字列44Pとの一体感が表現される。また、漢字列44Pに対して第五模様74及び第六模様76を重畳させる。これにより、デザイン性に優れた漢字列44Pの適用が可能となる。
【0226】
[コンピュータを画像処理システムとして機能させるプログラムへの適用例]
上述した画像処理方法及び画像処理システムは、コンピュータを用いて、画像処理方法における各工程、又は画像処理システムにおける各工程に対応する機能を実現させるプログラムとして構成可能である。
【0227】
例えば、取得した画像50を解析し、オブジェクト42を抽出する画像解析機能、オブジェクトに関連する漢字列を決定する漢字列決定機能、合成画像のレイアウトを決定するレイアウト決定機能、レイアウトに基づき合成画像を生成する合成機能を実現するプログラムを構成し得る。
【0228】
上述した画像処理機能をコンピュータに実現させるプログラムを、有体物である非一時的な情報記憶媒体である、コンピュータが読取可能な情報記憶媒体に記憶し、情報記憶媒体を通じてプログラムを提供することが可能である。
【0229】
また、非一時的な情報記憶媒体にプログラムを記憶して提供する態様に代えて、通信ネットワークを介してプログラム信号を提供する態様も可能である。
【0230】
[実施形態及び変形例等の組み合わせについて]
上述した実施形態で説明した構成要素、及び変形例で説明した構成要素は、適宜組み合わせて用いることができ、また、一部の構成要素を置き換えることもできる。
【0231】
以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成要件を変更、追加、削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で当該分野の通常の知識を有する者により、多くの変形が可能である。
【符号の説明】
【0232】
10 画像処理システム
10A スマートフォン
12 画像取得部
13 画像記憶部
14 オブジェクト抽出部
15 オブジェクト属性情報記憶部
16 漢字照合部
18 レイアウト決定部
20 合成部
22 漢字テンプレートデータベース
24 表示部
24A 液晶ディスプレイ
26 合成画像記憶部
30 撮像装置
42 オブジェクト
42E オブジェクト
42L オブジェクト
42M オブジェクト
42N オブジェクト
42P オブジェクト
44 漢字列
44E 漢字列
44L 漢字列
44M 漢字列
44N 漢字列
44P 漢字列
46 ハッシュタグ
46E ハッシュタグ
46L ハッシュタグ
46M ハッシュタグ
46N ハッシュタグ
46P ハッシュタグ
48 漢字テンプレート
50 画像
50E 画像
50L 画像
50M 画像
50N 画像
50P 画像
52 合成画像
52E 合成画像
52L 合成画像
52M 合成画像
52N 合成画像
52P 合成画像
59 風景
60 第三模様
71 背景
72 第四模様
74 第五模様
76 第六模様
100 画像処理システム
102 サーバ装置
104 ネットワーク
106A 第一スマートフォン
106B 第二スマートフォン
108 ノート型パーソナルコンピュータ
110 セルフ印刷端末装置
120 画像取得部
122 画像記憶部
124 オブジェクト抽出部
126 オブジェクト属性情報記憶部
128 漢字照合部
130 レイアウト決定部
132 合成部
134 漢字テンプレートデータベース
136 表示部
138 印刷部
140 文字サイズ決定部
142 文字色決定部
144 文字位置決定部
146 文字方向決定部
148 文字修飾決定部
150 前景決定部
52 透過決定部
154 レイアウト修正部
200 レイアウト設定画面
202 合成画像表示領域
210 位置設定領域
212 x座標値ボックス
214 y座標値ボックス
220 サイズ設定領域
222 漢字ポイントボックス
224 ハッシュタグポイントボックス
230 色設定領域
232 色表示ボックス
234 抜きボタン
240 方向設定領域
242 角度ボックス
250 修飾設定領域
252 有ボタン
254 無ボタン
260 前景設定領域
262 前景選択ボタン
264 背景選択ボタン
270 透過度設定領域
272 透過度ボックス
S10からS28、S100からS116、S200からS220 画像処理方法の各工程