特許 6011092 画像処理装置、画調変換方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6011092

(24)【登録日】2016年9月30日

(45)【発行日】2016年10月19日

(54)【発明の名称】画像処理装置、画調変換方法及びプログラム

(51)【国際特許分類】

   G06T 11/80 20060101AFI20161006BHJP

【ＦＩ】

   G06T11/80 A

【請求項の数】13

【全頁数】19

(21)【出願番号】特願2012-157821(P2012-157821)

(22)【出願日】2012年7月13日

(65)【公開番号】特開2014-21613(P2014-21613A)

(43)【公開日】2014年2月3日

【審査請求日】2015年7月8日

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100159651

【弁理士】

【氏名又は名称】高倉 成男

(74)【代理人】

【識別番号】100088683

【弁理士】

【氏名又は名称】中村 誠

(74)【代理人】

【識別番号】100109830

【弁理士】

【氏名又は名称】福原 淑弘

(74)【代理人】

【識別番号】100075672

【弁理士】

【氏名又は名称】峰 隆司

(74)【代理人】

【識別番号】100095441

【弁理士】

【氏名又は名称】白根 俊郎

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100119976

【弁理士】

【氏名又は名称】幸長 保次郎

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100140176

【弁理士】

【氏名又は名称】砂川 克

(74)【代理人】

【識別番号】100158805

【弁理士】

【氏名又は名称】井関 守三

(74)【代理人】

【識別番号】100124394

【弁理士】

【氏名又は名称】佐藤 立志

(74)【代理人】

【識別番号】100112807

【弁理士】

【氏名又は名称】岡田 貴志

(74)【代理人】

【識別番号】100111073

【弁理士】

【氏名又は名称】堀内 美保子

(74)【代理人】

【識別番号】100134290

【弁理士】

【氏名又は名称】竹内 将訓

(72)【発明者】

【氏名】北條 芳治

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１２−３３０１１（ＪＰ，Ａ）

【文献】 特開２０１１−１９８０５０（ＪＰ，Ａ）

【文献】 特開２０１１−１８０６４３（ＪＰ，Ａ）

【文献】 特開平１１−１１０５７７（ＪＰ，Ａ）

【文献】 特開平９−２７０３５（ＪＰ，Ａ）

【文献】 米国特許第６３５６２７４（ＵＳ，Ｂ１）

【文献】 井上光平, 外１名，”バイラテラルボロノイ分割によるステンドグラス風画像の生成”，画像ラボ，日本，日本工業出版株式会社，２００８年 ２月 １日，第１９巻, 第２号，p.40-44

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００，１１／６０−１１／８０

(57)【特許請求の範囲】

【請求項1】

元画像から少なくとも主要な被写体画像を含む特定画像を分離する画像分離手段と、
上記画像分離手段によって上記元画像から分離された上記特定画像の特徴形状を決定する特徴形状決定手段と、
上記元画像から分離された上記特定画像を線画変換する線画変換手段と、
上記特定画像の上記特徴形状に基づいて、上記線画変換手段により線画変換によって得られた線画の各線をつないで幾何学的な形状を有する複数の分割画像を形成する画像変換手段と、
上記画像変換手段によって形成された上記各分割画像内の領域を、それぞれ特定の色で着色する着色手段と、
を具備する、
ことを特徴とする画像処理装置。

【請求項2】

上記画像分離手段は、変換対象となる上記元画像から上記主要な被写体画像と、上記被写体画像を除く背景画像と、を上記特定画像として分離することを特徴とする請求項１記載の画像処理装置。

【請求項3】

上記着色手段は、
上記画像変換手段によって形成された上記各分割画像を上記分割画像部分の上記元画像の色に応じた色で着色することを特徴とする請求項１記載の画像処理装置。

【請求項4】

上記特徴形状決定手段は、
上記特定画像の上記特徴形状を決定できない場合に、予め用意された複数種類の上記特徴形状のパターンから任意の１つを選択する特徴形状選択手段を有することを特徴とする請求項１記載の画像処理装置。

【請求項5】

上記画像分離手段は、上記特定画像として、上記元画像から上記被写体画像と背景画像とを分離し、
上記着色手段による着色後の上記被写体画像と上記背景画像とを合成する画像合成手段を、さらに有することを特徴とする請求項１記載の画像処理装置。

【請求項6】

上記画像合成手段は、
上記被写体画像を予め設定された倍率だけ拡大する画像拡大手段を有し、
上記背景画像、上記画像拡大手段によって拡大された上記被写体画像の順で重ね合わせることを特徴とする請求項５記載の画像処理装置。

【請求項7】

上記特徴形状決定手段によって決定された上記特定画像の上記特徴形状に基づいて複数のフレーム素材からなるフレーム画像を作成するフレーム画像作成手段をさらに有することを特徴とする請求項１記載の画像処理装置。

【請求項8】

上記着色手段による着色後の上記特定画像と上記フレーム画像作成手段によって作成された上記フレーム画像とを合成する画像合成手段を、さらに有することを特徴とする請求項７記載の画像処理装置。

【請求項9】

上記フレーム画像作成手段は、
上記特定画像の上記特徴形状を決定できない場合に、予め用意された複数種類の上記フレーム素材から任意の１つを選択するフレーム素材選択手段を有し、
上記フレーム素材選択手段によって選択された上記フレーム素材を予め設定されたフレームエリアに並べて上記フレーム画像を作成することを特徴とする請求項７記載の画像処理装置。

【請求項10】

上記線画変換手段、上記画像変換手段及び上記着色手段は、単一の制御回路内に形成され、
上記元画像を外部から取得する元画像取得手段と、
上記元画像取得手段にて取得された上記元画像を記憶するための特定エリアを有するメモリと、
をさらに具備し、
上記制御回路内の上記線画変換手段は、上記メモリの上記特定エリアに記憶された上記元画像を線画変換し、
上記着色手段は、着色された画像を上記メモリの上記特定エリア以外のエリアに記憶させることを特徴とする請求項１記載の画像処理装置。

【請求項11】

元画像から分離された少なくとも主要な被写体画像を含む特定画像の特徴形状を決定する特徴形状決定手段と、
上記元画像から分離された上記特定画像を線画変換する線画変換手段と、
上記特定画像の上記特徴形状に基づいて、上記線画変換手段により線画変換によって得られた線画の各線をつないで幾何学的な形状を有する複数の分割画像を形成する画像変換手段と、
を具備する、
ことを特徴とする画像処理装置。

【請求項12】

変換対象となる元画像の画調を変換する画調変換方法において、
上記元画像から少なくとも主要な被写体画像を含む特定画像を分離する画像分離ステップと、
上記画像分離ステップにおいて上記元画像から分離された上記特定画像の特徴形状を決定する特徴形状決定ステップと、
上記元画像から分離された上記特定画像を線画変換する線画変換ステップと、
上記特定画像の上記特徴形状に基づいて、上記線画変換ステップにおいて線画変換によって得られた線画の各線をつないで幾何学的な形状を有する複数の分割画像を形成する画像変換ステップと、
上記画像変換ステップにおいて形成された上記各分割画像内の領域を、それぞれ特定の色で着色する着色ステップと、
を含む、
ことを特徴とする画調変換方法。

【請求項13】

変換対象となる元画像を取得し、上記元画像の画調を変換する機能を備えたコンピュータによって実行されるプログラムであって、
上記コンピュータに、
上記元画像から少なくとも主要な被写体画像を含む特定画像を分離する画像分離ステップと、
上記画像分離ステップにおいて上記元画像から分離された上記特定画像の特徴形状を決定する特徴形状決定ステップと、
上記元画像から分離された上記特定画像を線画変換する線画変換ステップと、
上記特定画像の上記特徴形状に基づいて、上記線画変換ステップにおいて線画変換によって得られた線画の各線をつないで幾何学的な形状を有する複数の分割画像を形成する画像変換ステップと、
上記画像変換ステップにおいて形成された上記各分割画像内の領域を、それぞれ特定の色で着色する着色ステップと、
を実行させる、
ことを特徴とするコンピュータ読み取り可能なプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影された画像の画調を変換する画像処理装置、画像処理装置に用いられる画調変換方法及びプログラムに関する。

【背景技術】

【0002】

近年、デジタルカメラで撮影された画像をそのまま表示させるだけでなく、様々な編集や加工を施して表示させる試みがなされている。その一例として、例えば特許文献１にあるように、撮影画像を絵画風に画調変換する提案がなされている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２−０３３０１１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

教会や西洋館の窓の装飾に多く用いられているステンドグラスが注目されている。ステンドグラスは、エ字形の断面を持つ鉛のリムを用いて着色ガラスの小片を結合して、絵や模様を表現したものである。ステンドグラスは、モダニズム建築全盛の時期には用いられなくなっていたが、外部からの透過光を通してみると、人の目に非常に美しく写るため、近年では再び見直され、公共建築、住宅などにも採用されている。

【0005】

しかしながら、実際のステンドグラスには窓が必要であり、かかる手間・コストも大きい。そこで、ユーザがお気に入りの写真などを加工してステンドグラスとして利用することが望まれている。

【0006】

本発明は上記のような点に鑑みなされたもので、任意の画像を用いてステンドグラス風の画像に画調変換することのできる画像処理装置、画調変換方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するため本発明に係る画像処理装置の一様態は、元画像から少なくとも主要な被写体画像を含む特定画像を分離する画像分離手段と、上記画像分離手段によって上記元画像から分離された上記特定画像の特徴形状を決定する特徴形状決定手段と、上記元画像から分離された上記特定画像を線画変換する線画変換手段と、上記特定画像の上記特徴形状に基づいて、上記線画変換手段により線画変換によって得られた線画の各線をつないで幾何学的な形状を有する複数の分割画像を形成する画像変換手段と、上記画像変換手段によって形成された上記各分割画像内の領域を、それぞれ特定の色で着色する着色手段と、を具備する、ことを特徴とする。
また、上記目的を達成するため本発明に係る画像処理装置の一様態は、元画像から分離された少なくとも主要な被写体画像を含む特定画像の特徴形状を決定する特徴形状決定手段と、上記元画像から分離された上記特定画像を線画変換する線画変換手段と、上記特定画像の上記特徴形状に基づいて、上記線画変換手段により線画変換によって得られた線画の各線をつないで幾何学的な形状を有する複数の分割画像を形成する画像変換手段と、を具備する、ことを特徴とする。
また、上記目的を達成するため本発明に係る画調像処理方法の一様態は、変換対象となる元画像の画調を変換する画調変換方法において、上記元画像から少なくとも主要な被写体画像を含む特定画像を分離する画像分離ステップと、上記画像分離ステップにおいて上記元画像から分離された上記特定画像の特徴形状を決定する特徴形状決定ステップと、上記元画像から分離された上記特定画像を線画変換する線画変換ステップと、上記特定画像の上記特徴形状に基づいて、上記線画変換ステップにおいて線画変換によって得られた線画の各線をつないで幾何学的な形状を有する複数の分割画像を形成する画像変換ステップと、上記画像変換ステップにおいて形成された上記各分割画像内の領域を、それぞれ特定の色で着色する着色ステップと、を含む、ことを特徴とする。
また、上記目的を達成するため本発明に係るプログラムの一様態は、変換対象となる元画像を取得し、上記元画像の画調を変換する機能を備えたコンピュータによって実行されるプログラムであって、上記コンピュータに、上記元画像から少なくとも主要な被写体画像を含む特定画像を分離する画像分離ステップと、上記画像分離ステップにおいて上記元画像から分離された上記特定画像の特徴形状を決定する特徴形状決定ステップと、上記元画像から分離された上記特定画像を線画変換する線画変換ステップと、上記特定画像の上記特徴形状に基づいて、上記線画変換ステップにおいて線画変換によって得られた線画の各線をつないで幾何学的な形状を有する複数の分割画像を形成する画像変換ステップと、上記画像変換ステップにおいて形成された上記各分割画像内の領域を、それぞれ特定の色で着色する着色ステップと、を実行させる、ことを特徴とする。

【発明の効果】

【0008】

本発明によれば、ユーザがお気に入りの写真など、任意の画像を用いてステンドグラス風の画像に画調変換でき、その画像を窓に貼るなどして利用することができる。

【図面の簡単な説明】

【0009】

【図1】図１は本発明の一実施形態に係る画像処理装置の構成を示すブロック図である。

【図2】図２は同実施形態における画像処理装置に備えられたＣＰＵの機能構成を示すブロック図である。

【図3】図３は同実施形態における画像処理装置に備えられたＲＡＭのワークエリアの構成を示す図である。

【図4】図４は同実施形態における画像処理装置の処理動作を示すフローチャートである。

【図5】図５は同実施形態における画像処理装置の特徴形状決定処理の動作を示すフローチャートである。

【図6】図６は同実施形態における画像処理装置のステンドグラス変換処理の動作を示すフローチャートである。

【図7】図７は同実施形態における画像処理装置のフレーム作成処理の動作を示すフローチャートである。

【図8】図８は同実施形態における画像処理装置の合成処理の動作を示すフローチャートである。

【図9】図９は同実施形態における撮影画像の一例を示す図である。

【図10】図１０は同実施形態におけるステンドグラス変換画像の一例を示す図であり、図９の撮影画像をステンドグラス変換した図である。

【図11】図１１は同実施形態における他の撮影画像の一例を示す図である。

【図12】図１２は同実施形態における他のステンドグラス変換画像の一例を示す図であり、図１０の撮影画像をステンドグラス変換した図である。

【図13】図１３は同実施形態における他の撮影画像の一例を示す図である。

【図14】図１４は同実施形態における他のステンドグラス変換画像の一例を示す図であり、図１３の撮影画像をステンドグラス変換した図である。

【図15】図１５は同実施形態における線画変換を説明するための図である。

【図16】図１６は同実施形態における分割画像を説明するための図である。

【図17】図１７は同実施形態における背景画像のサンプルの一例を示す図である。

【発明を実施するための形態】

【0010】

以下、図面を参照して本発明の一実施形態について説明する。

【0011】

図１は本発明の一実施形態に係る画像処理装置の構成を示すブロック図である。図中の１０は画像処理装置全体を示す。図２は画像処理装置１０に備えられたＣＰＵ１１の機能構成を示すブロック図、図３は画像処理装置１０に備えられたＲＡＭ１４のワークエリアの構成を示す図である。

【0012】

図１に示すように、画像処理装置１０は、ＣＰＵ１１と、このＣＰＵ１１にシステムバス１２を介して接続されるＲＯＭ１３、ＲＡＭ１４、表示部１５、入力部１６、元画像取得部１７を備える。

【0013】

ＣＰＵ１１は、ＲＯＭ１３から画像変換プログラム１３ａを含む各種プログラムを読み出し、ＲＡＭ１４上に展開して記憶させた上でそれらを順次実行する。図２に示すように、このＣＰＵ１１には、画像変換プログラム１３ａによって実現される機能として、画像分離部２１、特徴形状決定部２２、線画変換部２０、画像変換部２３、着色部２４、フレーム画像作成部２６、画像合成部２７が備えられている。

【0014】

画像分離部２１は、変換対象となる元画像から少なくとも主要な被写体画像を含む特定画像を分離する。より詳しくは、画像分離部２１は、変換対象となる元画像から主要な被写体画像と当該被写体画像を除く背景画像を特定画像として分離する。

【0015】

特徴形状決定部２２は、画像分離部２１によって元画像から分離された特定画像（被写体画像と背景画像）の特徴形状を決定する。「特徴形状」とは、その画像に写されている物体の特徴的な形のことである。また、この特徴形状決定部２２は、被写体画像または背景画像の特徴形状を決定できない場合に、予め用意された複数種類の特徴形状のパターンから任意の１つを選択する特徴形状選択部２２ａを有する。

【0016】

線画変換部２０は、元画像を線画変換する。より詳しくは、線画変換部２０は、画像分離部２１によって元画像から分離された特定画像を線画変換する。この線画変換部２０は、後述する画像変換部２３と着色部２４と共にステンドグラス変換部２５を構成している。

【0017】

画像変換部２３は、線画変換部２０により線画変換によって得られた線画の各線をつないで幾何学的な形状を有する複数の分割画像を形成する。なお、ここで言う「幾何学的な形状」とは、方形、三角形、菱形、多角形、円形などの様々な形状のことである。また、この画像変換部２３は、特定画像の特徴形状に基づいて線画の各線を加工処理する加工処理部２３ａを有する。

【0018】

着色部２４は、画像変換部２３によって形成された各分割画像内の領域を、それぞれ特定の色で着色する。詳しくは、被写体画像と背景画像に形成された各分割画像を当該分割画像部分の元画像の色に応じた透過色で着色する。このように、線画の各線をつないで幾何学的な形状を有する複数の分割画像を形成し、これらの分割画像を透過色で着色するまでの処理のことを「ステンドグラス変換」と呼ぶ。

【0019】

フレーム画像作成部２６は、特徴形状決定部２２によって決定された特定画像の特徴形状に基づいて複数のフレーム素材からなるフレーム画像を作成する。また、このフレーム画像作成部２６は、特定画像の特徴形状を決定できない場合に、予め用意された複数種類のフレーム素材から任意の１つを選択するフレーム素材選択部２６ａを有し、このフレーム素材選択部２６ａによって選択されたフレーム素材を予め設定されたフレームエリアに並べてフレーム画像を作成する。

【0020】

画像合成部２７は、着色部２４による着色後の特定画像とフレーム画像作成部２６によって作成されたフレーム画像を合成して1枚のステンドグラス風の画像を作成する。また、この画像合成部２７は、被写体画像を予め設定された倍率だけ拡大する画像拡大部２７ａを有し、この画像拡大部２７ａによって拡大された被写体画像を用いて、背景画像、被写体画像、フレーム画像の順で重ね合わせる。

【0021】

ＲＯＭ１３には、本発明を実現するための画像変換プログラム１３ａを含む各種制御プログラムが記憶されている。

【0022】

ＲＡＭ１４は、ＣＰＵ１１の動作に伴う各種データを記憶するためのワークエリアとして用いられる。図３に示すように、このＲＡＭ１４には、元画像エリア３１、被写体画像エリア３２、背景画像エリア３３、特徴形状エリア３４、フレーム画像エリア３５、変換背景画像エリア３６、変換被写体画像エリア３７、合成画像エリア３８、フレーム素材エリア３９、背景画像サンプルエリア４０、特徴形状サンプルエリア４１が設けられている。

【0023】

元画像エリア３１には、元画像取得部１７によって取得された元画像が記憶される。被写体画像エリア３２には、ＣＰＵ１１の画像分離部２１によって元画像から分離された被写体画像が記憶される。背景画像エリア３３には、ＣＰＵ１１の画像分離部２１によって元画像から分離された背景画像が記憶される。

【0024】

特徴形状エリア３４には、ＣＰＵ１１の特徴形状決定部２２によって決定された被写体画像と背景画像のそれぞれの特徴形状が画像種毎に区別して記憶される。フレーム画像エリア３５には、ＣＰＵ１１のフレーム画像作成部２６によって作成されたフレーム画像が記憶される。

【0025】

変換背景画像エリア３６には、ステンドグラス変換部２５によって得られた変換後の背景画像が記憶される。変換被写体画像エリア３７には、ステンドグラス変換部２５によって得られた変換後の被写体画像が記憶される。合成画像エリア３８には、画像合成部２７によって作成された合成画像が記憶される。

【0026】

フレーム素材エリア３９には、フレーム画像を構成するための複数種類のフレーム素材が記憶されている。具体的には、丸、三角、四角などの様々な形状を有する小片のパターンがフレーム素材として記憶されている。

【0027】

背景画像サンプルエリア４０には、複数種類の背景画像のサンプルが記憶されている。この背景画像のサンプルは、元画像から背景画像を抽出できない場合や背景画像をステンドグラス変換できない場合に使用される。また、特徴形状サンプルエリア４１には、複数種類の特徴形状のサンプルが記憶されている。この特徴形状のサンプルは、画像の特徴形状を判別できない場合に使用される。

【0028】

図１に戻って、表示部１５は、例えばＬＥＤ（light emitting diode）などで構成され、画像などの各種データの表示を行う。入力部１６は、例えばキーボート、スイッチ、マウス、タブレットなどで構成され、ユーザによる各種データの入力や指示操作のために用いられる。

【0029】

元画像取得部１７は、変換対象となる元画像として取得する部分である。この元画像の取得方法としては、例えばデジタルカメラで撮影された画像を直接取り込む方法の他、記録メディアから画像を読み出す方法、あるいは、通信ネットワークを介して外部から画像を取り込む方法などがある。

【0030】

次に、本実施形態における画像処理装置１０の動作について、（ａ）全体の流れ、（ｂ）特徴形状決定処理、（ｃ）ステンドグラス変換処理、（ｄ）合成処理に分けて詳しく説明する。

【0031】

（ａ）全体の流れ
図４は画像処理装置１０の処理動作を示すフローチャートであり、任意の画像を用いてステンドグラス風の画像を作成するための処理の流れが示されている。なお、このフローチャートに示される処理は、コンピュータであるＣＰＵ１１がＲＯＭ１３に記憶された画像変換プログラム１３ａを読み込むことにより実行される。

【0032】

入力部１６の操作により画像処理装置１０のステンドグラス機能が起動されると、ＣＰＵ１１は、ＲＡＭ１４の内容をクリアするなどのイニシャライズを実行した後（ステップＳ１０１）、元画像取得部１７を通じて変換対象となる元画像を取得してＲＡＭ１４の元画像エリア３１に格納する（ステップＳ１０２）。

【0033】

変換対象となる元画像が得られると、ＣＰＵ１１は画像分離部２１を起動して、元画像エリア３１に格納された元画像を被写体画像と背景画像とに分離する（ステップＳ１０３）。

【0034】

なお、被写体画像と背景画像の分離方法としては、例えば元画像の中心部分に存在する物体を主要な被写体画像として判断し、その物体の輪郭を追跡として切り出す方法などがある。また、ユーザが被写体画像に当たる部分を所定の操作により明示的に指示することでも良い。画像分離部２１によって分離された被写体画像と背景画像は、特定画像として、それぞれＲＡＭ１４の被写体画像エリア３２と背景画像エリア３３に格納される。

【0035】

次に、ＣＰＵ１１は特徴形状決定部２２を起動して、被写体画像エリア３２に格納された被写体画像と背景画像エリア３３に格納された背景画像の特徴形状をそれぞれに決定する（ステップＳ１０４）。特徴形状決定部２２によって決定された被写体画像と背景画像の特徴形状は、それぞれにＲＡＭ１４の特徴形状エリア３４に画像種毎に区別して記憶される。なお、この特徴形状を決定する処理については、後に図５を参照して説明する。

【0036】

また、ＣＰＵ１１はステンドグラス変換部２５（線画変換部２０と画像変換部２３と着色部２４）を起動して、被写体画像エリア３２に格納された被写体画像と背景画像エリア３３に格納された背景画像を線画変換し、その線画変換によって得られた線画の各線をつないで幾何学的な形状を有する複数の分割画像を形成すると共に、これらの分割画像内の領域を透過色で着色する（ステップＳ１０５）。

【0037】

上述したように、線画変換から分割画像の形成、透過色での着色までの処理のことを「ステンドグラス変換」と呼ぶ。ステンドグラス変換部２５によって変換された背景画像と被写体画像は、ＲＡＭ１４の変換背景画像エリア３６、変換被写体画像エリア３７にそれぞれ記憶される。なお、このステンドグラス変換については、後に図６を参照して説明する。

【0038】

また、ＣＰＵ１１はフレーム画像作成部２６を起動して、被写体画像を含む画像全体の周囲を囲むフレーム画像を作成する（ステップＳ１０６）。フレーム画像作成部２６によって作成されたフレーム画像は、ＲＡＭ１４のフレーム画像エリア３５に記憶される。なお、このフレーム画像を作成する処理については、後に図７を参照して説明する。

【0039】

このようにして、変換後の背景画像と被写体画像、フレーム画像が得られると、ＣＰＵ１１は画像合成部２７を起動し、これらの画像を所定の順で合成することにより、その合成画像を１枚のステンドグラス風の画像として作成する（ステップＳ１０７）。この画像合成部２７によって作成された合成画像（ステンドグラス風の画像）は、ＲＡＭ１４の合成画像エリア３８に記憶される。なお、この合成画像を作成する処理については、後に図８を参照して説明する。

【0040】

（ｂ）特徴形状決定処理
図５は画像処理装置１０の特徴形状決定処理の動作を示すフローチャートである。このフローチャートに示される処理は、ＣＰＵ１１に備えられた特徴形状決定部２２によって図４のステップＳ１０４で実行される。

【0041】

まず、特徴形状決定部２２は、元画像から特定画像として分離された被写体画像をＲＡＭ１４の被写体画像エリア３２から読み出し、その被写体画像の特徴形状を判別する（ステップＳ２０１）。これは、被写体画像の輪郭を追跡することで行う。輪郭を追跡できなかった場合、あるいは、輪郭を追跡できても、その形状を特定できなかった場合には判別不可となる。

【0042】

特徴形状を判別できなかった場合には（ステップＳ２０２のＹＥＳ）、特徴形状決定部２２は、特徴形状選択部２２ａを通じてＲＡＭ１４の特徴形状サンプルエリア４１の中からランダムに特徴形状のパターンの１つを選択する（ステップＳ２０３）。特徴形状決定部２２は、この特徴形状サンプルエリア４１から選択した特徴形状を当該被写体画像の特徴形状としてＲＡＭ１４の特徴形状エリア３４に記憶する（ステップＳ２０４）。

【0043】

特徴形状を判別できた場合には（ステップＳ２０２のＮＯ）、特徴形状決定部２２は、当該被写体画像の特徴形状としてＲＡＭ１４の特徴形状エリア３４に記憶する（ステップＳ２０４）。

【0044】

背景画像についても同様である。
すなわち、特徴形状決定部２２は、元画像から特定画像として分離された背景画像をＲＡＭ１４の背景画像エリア３３から読み出し、その背景画像の特徴形状を輪郭追跡により判別する（ステップＳ２０５）。

【0045】

特徴形状を判別できなかった場合には（ステップＳ２０６のＹＥＳ）、特徴形状決定部２２は、特徴形状選択部２２ａを通じてＲＡＭ１４の特徴形状サンプルエリア４１からランダムに特徴形状のパターンの１つを選択し（ステップＳ２０７）、これを当該背景画像の特徴形状としてＲＡＭ１４の特徴形状エリア３４に記憶する（ステップＳ２０８）。

【0046】

特徴形状を判別できた場合には（ステップＳ２０６のＮＯ）、特徴形状決定部２２は、当該背景画像の特徴形状としてＲＡＭ１４の特徴形状エリア３４に記憶する（ステップＳ２０８）。

【0047】

このように、被写体画像と背景画像のそれぞれの特徴形状を判別して、ＲＡＭ１４の特徴形状エリア３４に記憶しておく。後述するように、この特徴形状はステンドグラスの小片に相当する分割画像を形成するときに参照される。また、被写体画像の特徴形状はステンドグラスのフレームを作成するときに参照される。

【0048】

また、被写体や背景の構図によっては特徴形状を判別できない場合があるが、その場合には特徴形状サンプルエリア４１から任意の特徴形状を選択することで対応できる。

【0049】

（ｃ）ステンドグラス変換処理
図６は画像処理装置１０のステンドグラス変換処理の動作を示すフローチャートである。このフローチャートに示される処理は、ＣＰＵ１１に備えられたステンドグラス変換部２５によって図４のステップＳ１０５で実行される。

【0050】

ステンドグラス変換部２５は、線画変換部２０と画像変換部２３と着色部２４とで構成される。線画変換部２０は、元画像から分離された被写体画像をＲＡＭ１４の被写体画像エリア３２から読み出し、その被写体画像を線画変換する（ステップＳ３０１）。「線画変換」とは、元画像を白黒の輪郭線だけで表した線画に変換する手法である（図１５参照）。なお、この線画変換の手法については公知であるため、ここではその詳しい説明は省略するものとする。

【0051】

画像変換部２３は、この線画変換によって得られた線画の各線をつないで幾何学的な形状を有する複数の分割画像を形成する（ステップＳ３０２）。この分割画像は、ステンドグラスを構成する各小片に相当するものであり、線画の各線のそれぞれを閉曲線になるように補正することで形成される（図１６参照）。その際、画像変換部２３は、加工処理部２３ａを通じて線画の各線を被写体画像の特徴形状に応じて加工処理する（ステップＳ３０３）。

【0052】

例えば、被写体画像の特徴形状が丸の形であった場合には、丸みを帯びた分割画像となるように線画の各線を外側に若干湾曲させて円弧でつなぎ、直線的な形状が多い場合には直線でつなぐ。このような加工処理により、被写体の形状に近い小片を組み合わせたステンドグラスを作成することができる。

【0053】

このようにして、被写体画像における線画の各線を用いてステンドグラスの小片に相当する複数の分割画像が形成されると、続いて着色部２４が起動される。着色部２４は、画像変換部２３によって形成された各分割画像（閉曲線エリア）の領域内を透過色で均等に着色する（ステップＳ３０４）。

【0054】

この場合、分割画像部分の元画像の色に応じた透過色を特定色として定め、分割画像の領域内を着色するものとする。例えば、分割画像部分に対応した元画像の色が赤色であった場合には、赤色に対応した透過色で着色する。このように、元画像の色に応じた透過色で着色することで、元画像の色調を大きく変えることなく、ステンドグラスを作成できる。各分割画像に対する透過色の着色が施された被写体画像は、ステンドグラス変換された被写体画像としてＲＡＭ１４の変換被写体画像エリア３７に記憶される。

【0055】

背景画像についても同様である。

【0056】

すなわち、画像変換部２３は、元画像から分離された背景画像をＲＡＭ１４の背景画像エリア３３から読み出し、その背景画像を線画変換した後（ステップＳ３０５）、この線画変換によって得られた線画の各線をつないで幾何学的な形状を有する複数の分割画像を形成する（ステップＳ３０６）。その際、画像変換部２３は、加工処理部２３ａを通じて線画の各線を背景画像の特徴形状に応じて加工処理する（ステップＳ３０７）。

【0057】

続いて、着色部２４は、画像変換部２３によって形成された各分割画像（閉曲線エリア）の領域内を分割画像部分の元画像の色に応じた透過色で均等に着色する（ステップＳ３０８）。各分割画像に対する透過色の着色が施された背景画像は、ステンドグラス変換された背景画像としてＲＡＭ１４の変換背景画像エリア３６に記憶される。

【0058】

（ｃ）フレーム作成処理
図７は画像処理装置１０のフレーム作成処理の動作を示すフローチャートである。このフローチャートに示される処理は、ＣＰＵ１１に備えられたフレーム画像作成部２６によって図４のステップＳ１０６で実行される。

【0059】

まず、フレーム画像作成部２６は、被写体画像から特徴形状を決定できたか否かを判断する（ステップＳ４０１）。これは、ＲＡＭ１４の特徴形状エリア３４に被写体画像の特徴形状が記憶されているか否かをチェックすることで行う。

【0060】

特徴形状を決定できた場合、つまり、特徴形状エリア３４に被写体画像の特徴形状が記憶されている場合（ステップＳ４０１のＹＥＳ）、フレーム画像作成部２６は、その特徴形状と一致するフレーム素材をＲＡＭ１４のフレーム素材エリア３９から取り出す（ステップＳ４０２）。

【0061】

例えば、被写体画像の特徴形状が丸であった場合には、フレーム素材エリア３９から丸の形状を有するフレーム素材を取り出すことになる。フレーム画像作成部２６は、このフレーム素材を予め画像の外周に設定されたフレーム作成エリアに並べてフレーム画像を作成する（ステップＳ４０４）。

【0062】

一方、特徴形状を決定できなかった場合、つまり、特徴形状エリア３４に被写体画像の特徴形状が記憶されていない場合には（ステップＳ４０１のＮＯ）、フレーム画像作成部２６は、フレーム素材選択部２６ａを通じてＲＡＭ１４のフレーム素材エリア３９からランダムに１枚のフレーム素材を選択して取り出し（ステップＳ４０３）、これをフレーム作成エリアに並べてフレーム画像を作成する（ステップＳ４０４）。このようにして作成されたフレーム画像は、ＲＡＭ１４のフレーム画像エリア３５に記憶される。

【0063】

このように、被写体画像から特徴形状を決定できている場合には、その特徴形状と一致したフレーム素材を用いることで、当該被写体画像に適したフレーム画像を作成することができる。また、被写体画像から特徴形状を決定できない場合であっても、フレーム素材エリア３９から任意のフレーム素材を選択することで、フレーム画像を作成することができる。

【0064】

（ｄ）合成処理
図８は画像処理装置１０の合成処理の動作を示すフローチャートである。このフローチャートに示される処理は、ＣＰＵ１１に備えられた画像合成部２７によって図４のステップＳ１０７で実行される。

【0065】

まず、画像合成部２７は、ＲＡＭ１４の変換被写体画像エリア３７から変換後の被写体画像を読み出し、画像拡大部２７ａを通じて当該被写体画像のサイズを１１０％〜１２０％の倍率で拡大しておく（ステップＳ５０１）。

【0066】

すなわち、１枚の元画像から被写体画像と背景画像とを分離してステンドグラス変換するため、変換後に重ね合わせたときに画像間に隙間が生じる可能性がある。このような画像間の隙間をなくすために、被写体画像のサイズを若干拡大しておく。また、主要画像である被写体画像を拡大しておくことで、被写体中心のステンドグラスが得られるといった効果もある。

【0067】

続いて、画像合成部２７は、ＲＡＭ１４の変換背景画像エリア３６から変換後の背景画像を読み出すと共にフレーム画像エリア３５からフレーム画像を読み出し、これらの画像と上記拡大された変換後の被写体画像と合わせて１つの合成画像を作成する（ステップＳ５０２）。

【0068】

この場合、変換後の背景画像、変換後の被写体画像、フレーム画像の順で重ね合わせる。つまり、変換後の背景画像を最下層に置き、その背景画像の上に拡大された変換後の被写体画像を重ね、最後にフレーム画像を重ねる。このような順で各画像を重ね合わせることで、隙間のない合成画像を１枚のステンドグラス風の画像として得ることができる。

【0069】

このようにして作成されたステンドグラス風の画像はＲＡＭ１４の合成画像エリア３８に記憶され、表示部１５にて確認することができ、また、必要に応じて図示せぬプリンタを通じて適宜印刷して窓などに貼ることができる。

【0070】

次に、具体例を挙げて説明する。
（具体例１）
図９はネコを撮影した画像の一例を示す図、図１０はその撮影画像を元画像としてステンドグラス変換して得られた画像の一例を示す図である。

【0071】

この例では、ネコが主要な被写体であり、点線５１で示すように、そのネコの顔や目が丸い等の形状認識から被写体画像の特徴形状として「丸」が決定される。なお、背景画像の特徴形状は判別不可である。ステンドグラス変換では、被写体画像の特徴形状が反映される。その結果、図１０に示すように、被写体画像をやや丸みを帯びた複数の小片５２で表したステンドグラス風の画像が得られる。また、フレーム画像にも被写体画像の特徴形状が反映され、丸形状のフレーム素材５３が使われる。

【0072】

（具体例２）
図１１は山を撮影した画像の一例を示す図、図１２はその撮影画像を元画像としてステンドグラス変換して得られた画像の一例を示す図である。

【0073】

この例では、山が主要な被写体であり、点線６１で示すように、その山の形である三角が被写体画像の特徴形状として決定される。なお、背景画像の特徴形状は判別不可である。ステンドグラス変換では、被写体画像の特徴形状が反映される。その結果、図１２に示すように、被写体画像を三角形の小片６２で表したステンドグラス風の画像が得られる。また、フレーム画像にも被写体画像の特徴形状が反映され、三角形のフレーム素材６３が使われる。

【0074】

（具体例３）
図１３は別のネコを撮影した画像の一例を示す図、図１２はその撮影画像を元画像としてステンドグラス変換して得られた画像の一例を示す図である。

【0075】

この例では、ネコが主要な被写体であり、その被写体画像７１をダイナミックに切り出してステンドグラス変換している。なお、被写体画像７１や背景画像７２の特徴形状は判別不可であったとする。ステンドグラス変換では、図１４に示すように、被写体画像７１を小片で細かく分割した変換画像７３が得られる。

【0076】

背景画像７２は変換できなかったため、予め用意された背景画像のサンプル７４が用いられている。なお、この例では、飾りフレームが無しの場合を示している。

【0077】

ここで、上記具体例３について、ステンドグラス変換の手順について説明する。

【0078】

まず、元画像を被写体画像７１と背景画像７２とに分離し、それぞれに線画変換する。図１５は線画変換結果であり、図中の８１が被写体画像７１に対応した線画、８２が背景画像７２に対応した線画を示している。

【0079】

次に、図１６に示すように、被写体画像７１に関し、線画８１を構成する各線をつないで幾何学的な形状を有する複数の分割画像８３を形成する。これらの分割画像８３がステンドグラスを構成する複数の小片に相当し、それぞれに元画像である被写体画像７１の色に対応した透過色で着色することでステンドグラス風の画像が得られる。

【0080】

なお、例えば２４色のカラーパレットなどを使って、例えばａの部分８４は青の透過色、ｂの部分８５は赤の透過色、ｃの部分８６は緑の透過色…といったように、ユーザが任意の色を指定することも可能である。

【0081】

背景画像７２に関しても同様である。ただし、この例では、背景画像７２に対応した線画８２が細かすぎて、ステンドグラス変換が困難と判断されている。このような場合、図１７に示すような背景画像のサンプル７４を用いて合成処理が行われ、最終的に図１４のようなステンドグラス風の画像が作成される。

【0082】

以上のように、元画像を被写体画像と背景画像に分け、それぞれにステンドグラス変換し、その変換後の被写体画像と背景画像と、別途作成されるフレーム画像とを合成することで、１枚のステンドグラス風の画像が作成される。この場合、変換対象となる元画像としては、被写体が判別可能に写っている物であれば、どのような画像であっても良い。したがって、ユーザがお気に入りの写真などを用いてステンドグラス風の画像を作成でき、窓に貼るなどして利用することができる。

【0083】

なお、ステンドグラス変換において、朝日や夕日等を透過する条件で配色を考慮するようにしても良い。このようにすれば、バックライトなどを用いて時間により朝日や夕日を再現した場合にステンドグラスとしての趣をより強く出すことができる。

【0084】

また、東西南北のどの配置で画像を飾るのかを変換パラメータとして予め入力しておくことにより、画像の配置に応じて配色を変えるようにしても良い。

【0085】

また、本発明の画像処理装置は、例えばパーソナルコンピュータ、携帯型の端末装置、デジタルカメラなど、画像データを扱う電子機器のすべてに適用される。

【0086】

要するに、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。

【0087】

以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

【0088】

［１］
元画像を線画変換する線画変換手段と、
この線画変換手段により線画変換によって得られた線画の各線をつないで幾何学的な形状を有する複数の分割画像を形成する画像変換手段と、
この画像変換手段によって形成された上記各分割画像内の領域を、それぞれ特定の色で着色する着色手段と、
を具備したことを特徴とする画像処理装置。

【0089】

［２］
上記元画像から少なくとも主要な被写体画像を含む特定画像を分離する画像分離手段をさらに有し、
上記線画変換手段は、上記元画像から分離された特定画像を線画変換することを特徴とする［１］記載の画像処理装置。

【0090】

［３］
上記画像分離手段は、変換対象となる元画像から主要な被写体画像と、当該被写体画像を除く背景画像を特定画像として分離することを特徴とする［２］記載の画像処理装置。

【0091】

［４］
上記着色手段は、
上記画像変換手段によって形成された上記各分割画像を当該分割画像部分の上記元画像の色に応じた色で着色することを特徴とする請求項［１］記載の画像処理装置。

【0092】

［５］
上記画像分離手段によって上記元画像から分離された上記特定画像の特徴形状を決定する特徴形状決定手段をさらに有し、
上記画像変換手段は、
上記特定画像の特徴形状に基づいて上記線画の各線を加工処理する加工処理手段を有することを特徴とする［２］記載の画像処理装置。

【0093】

［６］
上記特徴形状決定手段は、
上記特定画像の特徴形状を決定できない場合に、予め用意された複数種類の特徴形状のパターンから任意の１つを選択する特徴形状選択手段を有することを特徴とする［５］記載の画像処理装置。

【0094】

［７］
上記画像分離手段は、上記特定画像として、元画像から上記被写体画像と背景画像とを分離し、
上記着色手段による着色後の上記被写体画像と上記背景画像とを合成する画像合成手段を、さらに有することを特徴とする［２］記載の画像処理装置。

【0095】

［８］
上記画像合成手段は、
上記被写体画像を予め設定された倍率だけ拡大する画像拡大手段を有し、
上記背景画像、上記画像拡大手段によって拡大された上記被写体画像の順で重ね合わせることを特徴とする［７］記載の画像処理装置。

【0096】

［９］
上記特徴形状決定手段によって決定された上記特定画像の特徴形状に基づいて複数のフレーム素材からなるフレーム画像を作成するフレーム画像作成手段をさらに有することを特徴とする［５］記載の画像処理装置。

【0097】

［１０］
上記着色手段による着色後の上記特定画像と上記フレーム画像作成手段によって作成された上記フレーム画像を合成する画像合成手段を、さらに有することを特徴とする［９］記載の画像処理装置。

【0098】

［１１］
上記フレーム画像作成手段は、
上記特定画像の特徴形状を決定できない場合に、予め用意された複数種類のフレーム素材から任意の１つを選択するフレーム素材選択手段を有し、
このフレーム素材選択手段によって選択されたフレーム素材を予め設定されたフレームエリアに並べてフレーム画像を作成することを特徴とする［９］記載の画像処理装置。

【0099】

［１２］
変換対象となる元画像の画調を変換する画調変換方法において、
元画像を線画変換する線画変換ステップと、
この線画変換ステップにより線画変換によって得られた線画の各線をつないで幾何学的な形状を有する複数の分割画像を形成する画像変換ステップと、
この画像変換ステップによって形成された上記各分割画像内の領域を、それぞれ特定の色で着色する着色ステップと、
を有することを特徴とする画調変換方法。

【0100】

［１３］
変換対象となる元画像を取得し、その元画像の画調を変換する機能を備えたコンピュータによって実行されるプログラムであって、
上記コンピュータに、
元画像を線画変換する線画変換ステップと、
この線画変換ステップにより線画変換によって得られた線画の各線をつないで幾何学的な形状を有する複数の分割画像を形成する画像変換ステップと、
この画像変換ステップによって形成された上記各分割画像内の領域を、それぞれ特定の色で着色する着色ステップと、
を実行させることを特徴とするコンピュータ読み取り可能なプログラム。

【符号の説明】

【0101】

１０…画像処理装置、１１…ＣＰＵ、１２…システムバス、１３…ＲＯＭ、１３ａ…画像変換プログラム、１４…ＲＡＭ、１５…表示部、１６…入力部、１７…元画像取得部、２０…線画変換部、２１…画像分離部、２２…特徴形状決定部、２３…画像変換部、２３ａ…加工処理部、２４…着色部、２５…ステンドグラス変換部、２６…フレーム画像作成部、２６ａ…フレーム素材選択部、２７…画像合成部、２７ａ…画像拡大部、２８…フレーム画像、２９…フレーム画像、３１…元画像エリア、３２…被写体画像エリア、３３…背景画像エリア、３４…特徴形状エリア、３５…フレーム画像エリア、３６…変換背景画像エリア、３７…変換被写体画像エリア、３８…合成画像エリア、３９…フレーム素材エリア、４０…背景画像サンプルエリア、４１…特徴形状サンプルエリア。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図17】

【図16】