特許 7641734 画像変換装置、画像変換方法、文字情報変換装置、文字情報変換方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-02-27

(45)【発行日】2025-03-07

(54)【発明の名称】画像変換装置、画像変換方法、文字情報変換装置、文字情報変換方法及びプログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20250228BHJP

   H04N 1/387 20060101ALI20250228BHJP

   G06T 11/80 20060101ALI20250228BHJP

【ＦＩ】

G06T1/00 510

H04N1/387

H04N1/387 110

G06T11/80 A

【請求項の数】 8

(21)【出願番号】P 2020212671

(22)【出願日】2020-12-22

(65)【公開番号】P2022098970

(43)【公開日】2022-07-04

【審査請求日】2023-11-22

(73)【特許権者】

【識別番号】000005957

【氏名又は名称】三菱鉛筆株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100160705

【弁理士】

【氏名又は名称】伊藤 健太郎

(74)【代理人】

【氏名又は名称】阿形 直起

(72)【発明者】

【氏名】峯 成伸

(72)【発明者】

【氏名】塚田 海斗

(72)【発明者】

【氏名】三井 章仁

(72)【発明者】

【氏名】阪上 正史

(72)【発明者】

【氏名】大川 菜々子

(72)【発明者】

【氏名】古場 涼太

【審査官】佐田 宏史

(56)【参考文献】

【文献】特開２０１０－２７３８５９（ＪＰ，Ａ）

【文献】特開２０１２－１４２７５７（ＪＰ，Ａ）

【文献】特開２０１４－０５９８４３（ＪＰ，Ａ）

【文献】特開２００７－０９７１７１（ＪＰ，Ａ）

【文献】特開２０１７－２１１７２５（ＪＰ，Ａ）

【文献】宇野 啓祐、外３名，“実写画像を用いた木版画風画像の生成に関する研究”，ＦＩＴ２０１５ 第１４回情報科学技術フォーラム 講演論文集 第３分冊，日本，一般社団法人情報処理学会、一般社団法人電子情報通信学会，2015年08月24日，pp.265-266

【文献】景 琳琳、外2名，“自己商画像の非等方平滑化に基づくイラスト風画像”，電子情報通信学会論文誌，日本，社団法人電子情報通信学会，2006年05月01日，Vol.J89-A, No.5，pp.385-386

【文献】串田 聡、外２名，“階層化領域分割と平面フィッティングを用いた視差推定”，情報処理学会研究報告 オーディオビジュアル複合情報処理（ＡＶＭ），日本，一般社団法人情報処理学会，2012年02月15日，No.75，pp.1-6

【文献】小林 祐一、外２名，“分解能の調節可能な画像情報からの状態空間の構成”，日本ロボット学会誌，日本，社団法人日本ロボット学会，2007年07月15日，Vol.25, No.5，pp.120-128

【文献】猪島 靖公、吉田 俊之，“実写画像に対する水彩画風イメージ生成について”，映像情報メディア学会技術報告，日本，（社）映像情報メディア学会，2008年09月25日，Vol.32, No.38，pp.85-90

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００，１１／８０

Ｈ０４Ｎ １／３８７，１／４６－１／６２

(57)【特許請求の範囲】

【請求項1】

複数の指定色を記憶する記憶部と、
入力画像を取得する取得部と、
前記入力画像を構成する各画素の色成分値を、前記各画素のうちから選択した処理対象画素の近傍に位置し且つ前記処理対象画素と近似した色成分値を有する画素の前記色成分値に基づいて変換し、前記変換された色成分値に基づいて複数の代表色を算出し、各画素の色成分値を前記複数の代表色のうちの何れかの代表色の色成分値に変換することによって色数削減画像を生成する色数削減部と、
前記色数削減画像の各画素の色成分値を、前記複数の指定色のうちＬａｂ色空間における色差が最も小さい指定色の色成分値に変換することによって変換画像を生成する色変換部と、
前記変換画像を出力する出力部と、
を有し、
前記記憶部は、各指定色に対応する筆記具に関する情報を記憶し、
前記複数の指定色のうちから、前記変換画像において当該指定色の色成分値を示す画素の数が多い所定数の指定色を抽出し、前記抽出された指定色に対応する筆記具に関する情報を提示する提示部と、をさらに有する、ことを特徴とする画像変換装置。

【請求項2】

前記入力画像にエッジ検出処理を適用して二値画像を生成するエッジ検出部をさらに有し、
前記出力部は、前記二値画像をさらに出力する、
請求項１に記載の画像変換装置。

【請求項3】

前記出力部は、前記変換画像と前記二値画像とを合成した画像を出力する、
請求項２に記載の画像変換装置。

【請求項4】

記憶部により、複数の指定色を記憶し、
取得部により、入力画像を取得し、
色数削減部により、前記入力画像を構成する各画素の色成分値を、前記各画素のうちから選択した処理対象画素の近傍に位置し且つ前記処理対象画素と近似した色成分値を有する画素の前記色成分値に基づいて変換し、前記変換された色成分値に基づいて複数の代表色を算出し、各画素の色成分値を前記複数の代表色のうちの何れかの代表色の色成分値に変換することによって色数削減画像を生成し、
色変換部により、前記色数削減画像の各画素の色成分値を、前記複数の指定色のうちＬａｂ色空間における色差が最も小さい指定色の色成分値に変換することによって変換画像を生成し、
出力部により、前記変換画像を出力し、
前記記憶部により、各指定色に対応する筆記具に関する情報を記憶し、
提示部により、前記複数の指定色のうちから、前記変換画像において当該指定色の色成分値を示す画素の数が多い所定数の指定色を抽出し、前記抽出された指定色に対応する筆記具に関する情報を提示する、
ことを含むことを特徴とする画像変換方法。

【請求項5】

複数の指定色を記憶する記憶部を有するコンピュータに、
入力画像を取得し、
前記入力画像を構成する各画素の色成分値を、前記各画素のうちから選択した処理対象画素の近傍に位置し且つ前記処理対象画素と近似した色成分値を有する画素の前記色成分値に基づいて変換し、前記変換された色成分値に基づいて複数の代表色を算出し、各画素の色成分値を前記複数の代表色のうちの何れかの代表色の色成分値に変換することによって色数削減画像を生成し、
前記色数削減画像の各画素の色成分値を、前記複数の指定色のうちＬａｂ色空間における色差が最も小さい指定色の色成分値に変換することによって変換画像を生成し、
前記変換画像を出力し、
各指定色に対応する筆記具に関する情報を記憶し、
前記複数の指定色のうちから、前記変換画像において当該指定色の色成分値を示す画素の数が多い所定数の指定色を抽出し、前記抽出された指定色に対応する筆記具に関する情報を提示する、
ことを実行させることを特徴とするプログラム。

【請求項6】

複数の指定色を記憶する記憶部と、
入力画像及び文字情報を取得する取得部と、
前記入力画像を構成する各画素の色成分値を、前記各画素のうちから選択した処理対象画素の近傍に位置し且つ前記処理対象画素と近似した色成分値を有する画素の前記色成分値に基づいて変換し、前記変換された色成分値に基づいて複数の代表色を算出する算出部と、
前記複数の代表色のそれぞれについて、前記複数の指定色のうちＬａｂ色空間における色差が最も小さい指定色を特定することによって変換画像を生成する特定部と、
前記文字情報を、前記特定された指定色により表示するための指定色文字情報を出力する出力部と、
を有し、
前記記憶部は、各指定色に対応する筆記具に関する情報を記憶し、
前記複数の指定色のうちから、前記変換画像において当該指定色の色成分値を示す画素の数が多い所定数の指定色を抽出し、前記抽出された指定色に対応する筆記具に関する情報を提示する提示部と、をさらに有する、ことを特徴とする文字情報変換装置。

【請求項7】

記憶部により、複数の指定色を記憶し、
取得部により、入力画像及び文字情報を取得し、
算出部により、前記入力画像を構成する各画素の色成分値を、前記各画素のうちから選択した処理対象画素の近傍に位置し且つ前記処理対象画素と近似した色成分値を有する画素の前記色成分値に基づいて変換し、前記変換された色成分値に基づいて複数の代表色を算出し、
特定部により、前記複数の代表色のそれぞれについて、前記複数の指定色のうちＬａｂ色空間における色差が最も小さい指定色を特定することによって変換画像を生成し、
出力部により、前記文字情報を、前記特定された指定色により表示するための指定色文字情報を出力し、
前記記憶部は、各指定色に対応する筆記具に関する情報を記憶し、
提示部により、前記複数の指定色のうちから、前記変換画像において当該指定色の色成分値を示す画素の数が多い所定数の指定色を抽出し、前記抽出された指定色に対応する筆記具に関する情報を提示する、
ことを含むことを特徴とする文字情報変換方法。

【請求項8】

複数の指定色を記憶する記憶部を有するコンピュータに、
入力画像及び文字情報を取得し、
前記入力画像を構成する各画素の色成分値を、前記各画素のうちから選択した処理対象画素の近傍に位置し且つ前記処理対象画素と近似した色成分値を有する画素の前記色成分値に基づいて変換し、前記変換された色成分値に基づいて複数の代表色を算出し、
前記複数の代表色のそれぞれについて、前記複数の指定色のうちＬａｂ色空間における色差が最も小さい指定色を特定することによって変換画像を生成し、
前記文字情報を、前記特定された指定色により表示するための指定色文字情報を出力し、
各指定色に対応する筆記具に関する情報を記憶し、
前記複数の指定色のうちから、前記変換画像において当該指定色の色成分値を示す画素の数が多い所定数の指定色を抽出し、前記抽出された指定色に対応する筆記具に関する情報を提示する、
ことを実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像変換装置、画像変換方法、文字情報変換装置、文字情報変換方法及びプログラムに関する。

【背景技術】

【0002】

従来、筆記具には、数十色を超える多様なカラーバリエーションで提供されているものがある。このような筆記具を販売する店舗では、各色の筆記具を使用して筆記した際の筆跡の発色や形状を顧客が確認できるように、試し書きの機会が提供されている。しかしながら、試し書きでは使用できる筆記具の色や筆記対象が限られていることが通常である。したがって、試し書きによって、複数色の筆記具を組み合わせて使用した際の印象を顧客に適切に伝え、筆記具の購入を動機付けることは難しかった。

【0003】

特許文献１には、元画像に使用されている色をあらかじめ指定された指定色の中で近似する色に変換した画像を生成し、かかる画像を表示する装置が記載されている。特許文献１の装置を用いることで、元画像の色を指定色である筆記具の色に変換することができるため、顧客に複数色の筆記具の色を組み合わせて使用した際の印象を適切に伝えることが可能となる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１２－１４２７５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

筆記具の色を組み合わせた画像を提示するのみならず、筆記具を用いて描画したような風合いで画像を提示することで、顧客に対して筆記具の購入をより強く動機づけることができる。

【0006】

本発明は、上述の課題を解決するためになされたものであり、所定の色の筆記具を用いて描画されたような風合いの画像を提示することを可能とする画像変換装置、画像変換方法、文字情報変換装置、文字情報変換方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明に係る画像変換装置は、複数の指定色を記憶する記憶部と、入力画像を取得する取得部と、入力画像を構成する各画素の色成分値に基づいて複数の代表色を算出し、各画素の色成分値を複数の代表色のうちの何れかの代表色の色成分値に変換することによって色数削減画像を生成する色数削減部と、色数削減画像の各画素の色成分値を、複数の指定色のうちＬａｂ色空間における色差が最も小さい指定色の色成分値に変換することによって変換画像を生成する色変換部と、変換画像を出力する出力部と、を有することを特徴とする。

【0008】

また、本発明に係る画像変換装置において、色数削減部は、各画素の色成分値を、各画素と所定の関係にある画素の色成分値に基づいて変換し、変換された色成分値に基づいて複数の代表色を算出する、ことが好ましい。

【0009】

また、本発明に係る画像変換装置において、入力画像にエッジ検出処理を適用して二値画像を生成するエッジ検出部をさらに有し、出力部は、二値画像をさらに出力する、ことが好ましい。

【0010】

また、本発明に係る画像変換装置において、出力部は、変換画像と二値画像とを合成した画像を出力する、ことが好ましい。

【0011】

また、本発明に係る画像変換装置において、記憶部は、各指定色に対応する筆記具に関する情報を記憶し、複数の指定色のうちから、変換画像において指定色の色成分値を示す画素の数が多い所定数の指定色を抽出し、抽出された指定色に対応する筆記具に関する情報を提示する提示部と、をさらに有する、ことが好ましい。

【0012】

本発明に係る画像変換方法は、複数の指定色を記憶し、入力画像を取得し、入力画像を構成する各画素の色成分値に基づいて複数の代表色を算出し、各画素の色成分値を複数の代表色のうちの何れかの代表色の色成分値に変換することによって色数削減画像を生成し、色数削減画像の各画素の色成分値を、複数の指定色のうちＬａｂ色空間における色差が最も小さい指定色の色成分値にさらに変換することによって変換画像を生成し、変換画像を出力する、ことを含むことを特徴とする。

【0013】

本発明に係るプログラムは、複数の指定色を記憶する記憶部を有するコンピュータに、入力画像を取得し、入力画像を構成する各画素の色成分値に基づいて複数の代表色を算出し、各画素の色成分値を複数の代表色のうちの何れかの代表色の色成分値に変換することによって色数削減画像を生成し、色数削減画像の各画素の色成分値を、複数の指定色のうちＬａｂ色空間における色差が最も小さい指定色の色成分値にさらに変換することによって変換画像を生成し、変換画像を出力する、ことを実行させることを特徴とする。

【0014】

本発明に係る文字情報変換装置は、複数の指定色を記憶する記憶部と、入力画像及び文字情報を取得する取得部と、入力画像を構成する各画素の色成分値に基づいて複数の代表色を算出する算出部と、複数の代表色のそれぞれについて、複数の指定色のうちＬａｂ色空間における色差が最も小さい指定色を特定する特定部と、文字情報を、特定された指定色により表示するための指定色文字情報を出力する出力部と、を有することを特徴とする。

【0015】

本発明に係る文字情報変換方法は、複数の指定色を記憶し、入力画像及び文字情報を取得し、入力画像を構成する各画素の色成分値に基づいて複数の代表色を算出し、複数の代表色のそれぞれについて、複数の指定色のうちＬａｂ色空間における色差が最も小さい指定色を特定し、文字情報を、特定された指定色により表示するための指定色文字情報を出力する、ことを含むことを特徴とする。

【0016】

本発明に係るプログラムは、複数の指定色を記憶する記憶部を有するコンピュータに、入力画像及び文字情報を取得し、入力画像を構成する各画素の色成分値に基づいて複数の代表色を算出し、複数の代表色のそれぞれについて、複数の指定色のうちＬａｂ色空間における色差が最も小さい指定色を特定し、文字情報を、特定された指定色により表示するための指定色文字情報を出力する、ことを実行させることを特徴とする。

【発明の効果】

【0017】

本発明に係る画像変換装置、画像変換方法、文字情報変換装置、文字情報変換方法及びプログラムは、所定の色の筆記具を用いて描画されたような風合いの画像を提示することを可能とする。

【図面の簡単な説明】

【0018】

【図1】本発明の概要を説明するための模式図である。

【図2】変換システム１の概略構成の一例を示す図である。

【図3】端末装置２の概略構成の一例を示す図である。

【図4】変換装置３の概略構成の一例を示す図である。

【図5】指定色テーブルＴ１のデータ構造の一例を示す図である。

【図6】代表色テーブルＴ２のデータ構造の一例を示す図である。

【図7】変換処理の流れの一例を示すシーケンス図である。

【図8】色数削減処理の流れの一例を示すフロー図である。

【図9】変換情報表示画面１００の一例を示す図である。

【図10】筆記具情報表示画面２００の一例を示す図である。

【発明を実施するための形態】

【0019】

以下、図面を参照しつつ本発明の様々な実施形態について説明する。本発明の技術的範囲はこれらの実施形態に限定されず、特許請求の範囲及びその均等物に及ぶ点に留意されたい。

【0020】

図１は、本発明の概要を説明するための模式図である。本発明に係る変換装置は、例えば、所定のカラーバリエーションで展開される筆記具を用いて描画されたような風合いの画像をユーザに提示し、ユーザに筆記具の購入を動機づけるために用いられる。変換装置は、筆記具のカラーバリエーションに対応する色をあらかじめ指定色として記憶する。例えば、筆記具が４０色のカラーバリエーションで展開されている場合、変換装置はその４０色のそれぞれを指定色として記憶する。

【0021】

変換装置は、入力画像ＩＰ及び入力文字情報ＩＴを取得する。入力画像ＩＰ及び入力文字情報ＩＴは、例えば、ある一日の日記を構成する画像及び文字情報である。入力画像ＩＰ及び入力文字情報ＩＴは、入力画像ＩＰ及び入力文字情報ＩＴを他の装置から受信することによって取得される。入力画像ＩＰ及び入力文字情報ＩＴは、画像及び文字情報を含み且つ所定の形式で作成された日記を撮像して撮像画像を生成し、撮像画像に対して公知の光学文字認識技術及び画像認識技術等を適用することによって取得されてもよい。

【0022】

変換装置は、取得した入力画像ＩＰを構成する各画素の色成分値に基づいて複数の代表色を算出する。複数の代表色は、各画素の色成分値に基づいて定められるが、その数はあらかじめ（例えば、６０色に）定められている。代表色は、入力画像ＩＰに用いられている複数の色を代表する色である。代表色は、例えば、入力画像ＩＰに用いられている色を公知のクラスタリング技術等を用いて複数のグループに分類した場合において、各グループに属する色の平均となる色として算出される。変換装置は、各画素の色成分値を複数の代表色のうちの何れかの代表色の色成分値に変換することによって色数削減画像ＤＰを生成する。

【0023】

変換装置は、複数の代表色のそれぞれについて、複数の指定色のうちＬａｂ色空間における代表色との色差が最も小さい指定色を特定する。変換装置は、複数の代表色のうちの何れかである色数削減画像ＤＰの各画素の色成分値を、その代表色について特定された指定色の色成分値に変換することによって変換画像ＣＰを生成する。

【0024】

また、変換装置は、入力文字情報ＩＴを何れかの代表色について特定された指定色で表示するための表示データである指定色文字情報ＣＴを生成する。変換装置は、変換画像ＣＰ及び指定色文字情報ＣＴを出力する。

【0025】

変換画像ＣＰ及び指定色文字情報ＣＴは、例えば、それらを含む日記の画像Ｎとして出力される。図１に示す例では、出力される日記の画像Ｎに含まれる変換画像ＣＰは、入力画像ＩＰを構成する各画素の色成分値が、複数の指定色の何れかの色成分値に変換された画像である。また、日記の画像Ｎに含まれる指定色文字情報ＣＴは、入力文字情報ＩＴに含まれる各文字が、変換画像ＣＰに含まれる指定色によって書き分けられた文字情報である。

【0026】

このように、変換装置は、入力画像ＩＰの各画素の色成分値を変換して色数削減画像ＤＰを生成し、色数削減画像ＤＰの各画素の色成分値を複数の指定色のうち色差の小さい指定色に変換して変換画像ＣＰを生成して出力する。これにより、画像変換装置は、所定の色を組み合わせ、且つ、その色の筆記具を用いて描画されたような風合いの画像を提示することを可能とする。

【0027】

すなわち、変換画像ＣＰは、所定の筆記具のカラーバリエーションに対応する指定色のみによって構成される。また、変換画像ＣＰは、あらかじめ定められた色数によって構成される色数削減画像ＤＰに基づいて生成されるため、細かな陰影が消去された、所謂イラストタッチな画像となる。したがって、変換画像ＣＰは、所定の筆記具を用いて描画されたような印象を利用者に与えることを可能とする。

【0028】

また、変換装置は、変換画像ＣＰを構成する指定色により文字情報を表示するための指定色文字情報ＣＴを出力する。これにより、変換装置は、所定の色の筆記具を用いて筆記されたような風合いの文字情報を提示することを可能とする。

【0029】

上述した説明は、本発明の理解を深めるためのものに過ぎない。本発明は、次に述べる各実施形態及び変形例により実現される。

【0030】

図２は、本発明に係る変換システム１の概略構成の一例を示す図である。変換システム１は、ユーザ端末２と、変換装置３とを有する。ユーザ端末２は、ユーザが使用する携帯電話、多機能携帯電話（スマートフォン）又はＰＣ（Personal Computer）等の情報処理端末である。変換装置３は、ＰＣ又はサーバ等の情報処理装置である。ユーザ端末２と変換装置３とは、インターネット又はイントラネット等のネットワーク４を介して相互に通信可能に接続される。

【0031】

図３は、ユーザ端末２の概略構成の一例を示す図である。ユーザ端末２は、端末記憶部２１、端末通信部２２、表示部２３、操作部２４、撮像部２５及び端末処理部２６を有する。

【0032】

端末記憶部２１は、データ及びプログラムを記憶するための構成であり、例えば半導体メモリを備える。端末記憶部２１は、端末処理部２６による処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム、データ等を記憶する。

【0033】

端末通信部２２は、ユーザ端末２を変換装置３と通信可能にする構成であり、通信インタフェース回路を備える。端末通信部２２が備える通信インタフェース回路は、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ又はＬＴＥ（Long Term Evolution）等の通信インタフェース回路である。端末通信部２２は、変換装置３から受信したデータを端末処理部２６に供給するとともに、端末処理部２６から供給されたデータを変換装置３に送信する。

【0034】

表示部２３は、画像を表示するための構成であり、例えば、液晶ディスプレイ又は有機ＥＬ（Electro-Luminescence）ディスプレイを備える。表示部２３は、端末処理部２６から供給された表示データに基づいて画像を表示する。

【0035】

操作部２４は、ユーザ端末２に対するユーザの入力操作を受け付けるための構成であり、例えば、キーパッド、キーボード及びマウス等を備える。操作部２４は、表示部２３と一体化されたタッチパネルを備えてもよい。操作部２４は、ユーザの入力操作に応じた信号を生成して端末処理部２６に供給する。

【0036】

撮像部２５は、撮像により画像を生成するための構成であり、例えばカメラを備える。撮像部２５は、レンズ等の光学部品を用いて被写体からの光線を集束することにより結像した被写体像に対応する画像信号を生成し、所定の形式の画像データに変換して端末処理部２６に供給する。

【0037】

端末処理部２６は、ユーザ端末２の動作を統括的に制御する構成であり、一又は複数個のプロセッサ及びその周辺回路を備える。端末処理部２６は、例えば、ＣＰＵ（Central Processing Unit）、ＬＳＩ（Large Scale Integration）又はＡＳＩＣ（Application Specific Integrated Circuit）を備える。端末処理部２６は、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）等を備えてもよい。端末処理部２６は、端末記憶部２１に記憶されているプログラムに基づいて、ユーザ端末２の各種処理が適切に実行されるようにユーザ端末２の各構成の動作を制御するとともに、各種処理を実行する。

【0038】

端末処理部２６は、生成部２６１、変換情報表示部２６２及び筆記具情報表示部２６３を機能ブロックとして備える。これらの各部は、端末処理部２６が実行するプログラムに基づいて実現される機能モジュールである。これらの各部は、ファームウェアとしてユーザ端末２に実装されてもよい。

【0039】

図４は、変換装置３の概略構成の一例を示す図である。変換装置３は、記憶部３１、通信部３２及び処理部３３を有する。

【0040】

記憶部３１は、データ及びプログラムを記憶するための構成であり、例えば半導体メモリを備える。記憶部３１は、処理部３３による処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム、データ等を記憶する。これらのプログラムは、ＣＤ（Compact Disc）－ＲＯＭ（Read Only Memory）等のコンピュータ読み取り可能且つ非一時的な記憶媒体から、公知のセットアッププログラムを用いて記憶部３１にインストールされる。

【0041】

通信部３２は、変換装置３をユーザ端末２と通信可能にする構成であり、通信インタフェース回路を備える。通信部３２が備える通信インタフェース回路は、有線ＬＡＮ又は無線ＬＡＮ等の通信インタフェース回路である。通信部３２は、ユーザ端末２から受信したデータを処理部３３に供給するとともに、処理部３３から供給されたデータをユーザ端末２に送信する。

【0042】

処理部３３は、変換装置３の動作を統括的に制御する構成であり、一又は複数個のプロセッサ及びその周辺回路を備える。処理部３３は、例えば、ＣＰＵ、ＬＳＩ又はＡＳＩＣを備える。処理部３３は、ＧＰＵ、ＤＳＰ、ＦＰＧＡ等を備えてもよい。処理部３３は、記憶部３１に記憶されているプログラムに基づいて、変換装置３の各種処理が適切に実行されるように変換装置３の各構成の動作を制御するとともに、各種処理を実行する。

【0043】

処理部３３は、取得部３３１、色数削減部３３２、色変換部３３３、エッジ検出部３３４、文字情報生成部３３５、出力部３３６及び提示部３３７を有する。これらの各部は、処理部３３によって実行されるプログラムによって実現される機能モジュールである。これらの各部は、ファームウェアとして変換装置３に実装されてもよい。

【0044】

図５は、記憶部３１に記憶され、複数の指定色に関する情報を管理する指定色テーブルＴ１のデータ構造の一例を示す図である。指定色テーブルＴ１は、指定色ＩＤ、色成分値及び筆記具情報を相互に関連付けて記憶する。

【0045】

指定色ＩＤは、複数の指定色のそれぞれを一意に識別するための識別情報である。色成分値は、所定の色空間において各指定色に対応する色成分値を示す情報である。所定の色空間は、以下ではＲＧＢ色空間であるものとするが、ＣＭＹ色空間等の任意の色空間でもよい。筆記具情報は、所定の筆記具のうち、指定色に対応する筆記具に関する情報である。筆記具情報には、例えば、筆記具の色の名称及び筆記具の画像が含まれる。

【0046】

指定色テーブルＴ１の各種データは、所定の筆記具のカラーバリエーションのそれぞれについて、変換装置３の管理者によってあらかじめ設定される。

【0047】

図６は、記憶部３１に記憶され、複数の代表色に関する情報を管理する代表色テーブルＴ２のデータ構造の一例を示す図である。代表色テーブルＴ２は、代表色ＩＤ、色成分値、画素、対応指定色を相互に関連付けて記憶する。

【0048】

代表色ＩＤは、入力画像を構成する各画素の色成分値に基づいて定められる複数の代表色のそれぞれを一意に識別するための情報である。色成分値は、所定の色空間において各代表色に対応する色成分値を示す情報である。画素は、入力画像を構成する画素のうち、各代表色に関連付けられる画素を識別するための情報である。後述するように、入力画像を構成する各画素の色成分値が、関連付けられた代表色の色成分値に変換される。これにより、複数の画素が単一の代表色の色成分値を有することとなるため、入力画像よりも少ない色数を含む色数削減画像が生成される。画素を識別するための情報は、例えば、入力画像における各画素の位置を示す二次元座標である。対応指定色は、複数の指定色のうち、各代表色とのＬａｂ色空間における色差が最も小さい指定色の指定色ＩＤである。

【0049】

代表色テーブルＴ２のデータは、後述する変換処理において設定される。

【0050】

図７は、変換システム１によって実行される変換処理の流れの一例を示すシーケンス図である。変換処理は、各装置の処理部がプログラムに基づいて各装置のハードウェア構成と協働することにより実現される。

【0051】

まず、ユーザ端末２の生成部２６１は、入力画像及び入力文字情報を生成する（Ｓ１０１）。例えば、生成部２６１は、操作部２４に対するユーザの操作に応じて撮像部２５を制御して対象物を撮像することにより、入力画像を生成する。また、生成部２６１は、操作部２４に対するユーザの文字入力操作を受け付けることにより、入力文字情報を取得する。入力画像及び入力文字情報は、あらかじめ端末記憶部２１に記憶されていてもよく、所定の形式で作成された日記を撮像することにより生成されてもよい。生成部２６１は、端末通信部２２を介して、入力文字情報及び入力画像を変換装置３に送信する。

【0052】

続いて、変換装置３の取得部３３１は、通信部３２を介して、入力画像及び入力文字情報をユーザ端末２から受信することにより取得する（Ｓ１０２）。

【0053】

続いて、色数削減部３３２は、色数削減処理を実行する（Ｓ１０３）。色数削減処理は、入力画像を構成する各画素の色成分値に基づいて複数の代表色を算出し、各画素の色成分値を複数の代表色のうちの何れかの代表色の色成分値に変換することによって色数削減画像を生成する処理である。

【0054】

図８は、色数削減処理の流れの一例を示すフロー図である。まず、色数削減部３３２は、入力画像を構成する各画素の色成分値を、各画素と所定の関係にある画素の色成分値に基づいて変換し、平滑化画像を生成する（Ｓ２０１）。色成分値の変換は、例えば次に述べるMean-shiftフィルタによってなされる。

【0055】

まず、色数削減部３３２は、入力画像を構成する各画素のうちから処理対象画素ｐｉを選択する。色数削減部３３２は、変数（Ｘ，Ｙ）を処理対象画素ｐｉの座標（ｘｉ，ｙｉ）に、変数（Ｒ，Ｇ，Ｂ）を処理対象画素ｐｉのＲＧＢ空間における色成分値（ｒｉ，ｇｉ，ｂｉ）にそれぞれ設定する。色数削減部３３２は、入力画像を構成する画素のうち、処理対象画素ｐｉと所定の関係にある画素ｐｊの集合｛ｐｊ｝を生成する。処理対象画素ｐｉと所定の関係にある画素ｐｊは、次の式のそれぞれを満たす画素である。

【数1】

ここで、（ｘｊ、ｙｊ）は画素ｐｊの座標であり、（ｒｊ、ｇｊ、ｂｊ）は画素ｐｊの色成分値である。また、ｈｓ及びｈｒはフィルタのカーネルサイズとしてあらかじめ定められた値である。すなわち、所定の関係にある画素ｐｊは、処理対象画素ｐｉの近傍に位置し且つ処理対象画素ｐｉと近似した色成分値を有する画素である。

【0056】

続いて、色数削減部３３２は、集合｛ｐｊ｝に含まれる画素の座標の平均値（ｘ’，ｙ’）及び集合｛ｐｊ｝に含まれる画素の色成分値の平均値（ｒ’，ｇ’，ｂ’）をそれぞれ算出する。平均値は例えば相加平均であるが、これに限られず相乗平均等が用いられてもよい。色数削減部３３２は、処理対象画素ｐｉの座標及び色成分値と算出された画素の平均値及び色成分値の平均値とを比較することにより、終了条件が満たされるか否かを判定する。終了条件は、変数（Ｘ，Ｙ）及び（Ｒ，Ｇ，Ｂ）と算出された平均値とが近似することであり、例えば、次の二つの式の何れかが満たされることである。

【数2】

【数3】

ここで、ｔはあらかじめ定められた閾値である。

【0057】

終了条件が満たされると判定された場合、色数削減部３３２は、処理対象画素ｐｉの色成分値（ｒｉ，ｇｉ，ｂｉ）を算出された色成分値の平均値（ｒ’，ｇ’，ｂ’）に変換する。終了条件が満たされないと判定された場合、色数削減部３３２は、変数（Ｘ，Ｙ）及び（Ｒ，Ｇ，Ｂ）を（ｘ’，ｙ’）及び（ｒ’，ｇ’，ｂ’）にそれぞれ再設定し、再設定した変数に基づいて集合｛ｐｊ｝を再生成する。色数削減部３３２は、終了条件が満たされるまで上述の処理を繰り返す。

【0058】

入力画像を構成する各画素を処理対象画素ｐｉとして選択して、各画素について上述の処理を実行することにより、色数削減部３３２は入力画像を構成する各画素の色成分値を変換し、平滑化画像を生成する。

【0059】

続いて、色数削減部３３２は、平滑化画像の色成分値に基づいて、複数の代表色を算出する（Ｓ２０２）。色数削減部３３２は、平滑化画像を構成する各画素の色成分値に基づいて、各画素を複数のクラスタのうちの何れかのクラスタに分類する。分類は、例えば、次に述べるｋ－平均法によってなされる。

【0060】

まず、色数削減部３３２は、平滑化画像を構成する各画素を無作為に所定数（例えば、６０個）のクラスタに分類する。色数削減部３３２は、各クラスタについて、そのクラスタに属する画素の色成分値の平均値を算出する。色数削減部３３２は、平滑化画像を構成する各画素と算出された各クラスタに属する画素の色成分値の平均値との色の距離ｄを次の式により算出する。

【数4】

ここで、（ｒ，ｇ，ｂ）は各画素の色成分値であり、（ｒｃ、ｇｃ、ｂｃ）は各クラスタに属する画素の色成分値の平均値である。

【0061】

色数削減部３３２は、平滑化画像を構成する各画素を、所定数のクラスタのうち、算出された色の距離ｄが最小となるクラスタに再分類する。色数削減部３３２は、再分類前のクラスタと再分類後のクラスタとを比較することにより、終了条件が満たされたか否かを判定する。終了条件は、例えば、再分類前と再分類後とで属するクラスタが変化した画素が所定数以下であることである。

【0062】

終了条件が満たされないと判定された場合、色数削減部３３２は、再分類後のクラスタに属する画素の色成分値の平均値を算出し、上述の処理を繰り返す。

【0063】

終了条件が満たされると判定された場合、色数削減部３３２は、再分類後の各クラスタに属する画素の色成分値の平均値を算出し、算出された色成分値に対応する色を代表色とする。色数削減部３３２は、各クラスタに対応する代表色と各クラスタに属する画素の座標とを関連付けて、代表色テーブルＴ２に記憶する。

【0064】

続いて、色数削減部３３２は、平滑化画像を構成する各画素の色成分値を複数の代表色のうちの何れかの代表色の色成分値に変換することにより、色数削減画像を生成する（Ｓ２０３）。色数削減部３３２は、各画素の色成分値を、代表色テーブルＴ２において各画素に関連付けられた代表色の色成分値に変換する。

【0065】

図７に戻り、色変換部３３３は、色数削減画像の各画素の色成分値を、複数の指定色のうちＬａｂ色空間における色差が最も小さい指定色の色成分値に変換することによって変換画像を生成する（Ｓ１０４）。色変換部３３３は、代表色テーブルＴ２に記憶された複数の代表色のＲＧＢ空間における色成分値を、公知の変換式を用いてＬａｂ色空間（例えば、ＣＩＥ１９７６（Ｌ＊，ａ＊，ｂ＊）色空間）における色成分値に変換する。また、色変換部３３３は、指定色テーブルＴ１に記憶された複数の指定色のＲＧＢ空間における色成分値を、同様にＬａｂ色空間における色成分値に変換する。

【0066】

色変換部３３３は、各代表色について、各指定色との間の色差を算出する。色差の算出には、例えば、ＣＩＥＤＥ２０００によって定められた算出式が用いられる。色差の算出には、ＣＩＥ１９７６色差計算式（すなわち、ＣＩＥ１９７６色空間におけるユークリッド距離）又はＣＩＥ１９９４色差計算式が用いられてもよい。色変換部３３３は、各代表色について、複数の指定色のうち、算出された色差が最も小さい指定色を特定し、代表色テーブルＴ２に対応指定色として記憶する。色変換部３３３は、平滑化画像を構成する各画素の色成分値を、代表色テーブルＴ２において関連付けられた対応指定色の色成分値に変換することにより、変換画像を生成する。

【0067】

続いて、エッジ検出部３３４は、入力画像にエッジ検出処理を適用して二値画像を生成する（Ｓ１０５）。エッジ検出処理は、例えばＣａｎｎｙのエッジ検出法であるが、これに限られず任意の手法が用いられてもよい。エッジ検出部３３４は、エッジ検出処理によって検出された入力画像におけるエッジ画素の画素値を１、他の画素の画素値を０とする二値画像を生成する。

【0068】

続いて、文字情報生成部３３５は、指定色文字情報を生成する（Ｓ１０６）。文字情報生成部３３５は、複数の指定色のうち、代表色テーブルＴ２において対応指定色として記憶されている指定色を抽出する。また、文字情報生成部３３５は、入力文字情報に公知の形態素解析処理を適用して、入力文字情報を単語ごとに分割する。文字情報生成部３３５は、各単語を抽出された指定色のうちの何れかの指定色の文字で表示するための表示データである指定色文字情報を生成する。

【0069】

なお、指定色文字情報において、相互に隣接する単語は異なる指定色で表示されることが好ましい。また、文字情報生成部３３５は、入力文字情報を文節ごとに分割してもよい。この場合、文字情報生成部３３５は各単語の品詞を特定し、特定の品詞（例えば、名詞と助詞等）を組み合わせることで入力文字情報を文節ごとに分割し、各文節を抽出された指定色のうちの何れかの指定色の文字で表示するための表示データである指定色文字情報を生成する。文字情報生成部３３５は、入力文字情報を文ごと又は段落ごとに分割して、指定色文字情報を生成してもよい。

【0070】

続いて、出力部３３６は、通信部３２を介して、変換画像、二値画像及び指定色文字情報をユーザ端末２に送信することにより出力する（Ｓ１０７）。

【0071】

続いて、ユーザ端末２の変換情報表示部２６２は、変換画像、二値画像及び指定色文字情報を表示する（Ｓ１０８）。変換情報表示部２６２は、変換画像、二値画像及び指定色文字情報を含む変換情報表示画面を表示部２３に表示する。

【0072】

図９は、変換情報表示画面１００の一例を示す図である。変換情報表示画面１００は、画像１１０及びテキスト１２０を含む。画像１１０は、変換画像と二値画像とを合成した画像である。すなわち、画像１１０は、変換画像を構成する各画素のうち、二値画像における画素値が１である画素（すなわち、エッジ画素）の色成分値を所定色（例えば、黒色）に対応する値に変換した画像である。これにより、画像１１０において輪郭が強調される。また、テキスト１２０は、単語ごとに、画像１１０に含まれる指定色のうちの何れかの指定色の文字で表示されている。

【0073】

図７に戻り、変換装置３の提示部３３７は、複数の指定色のうちから、変換画像において色成分値を示す画素の数が多い所定数の指定色を抽出し、抽出された指定色に対応する筆記具に関する情報を提示する（Ｓ１０９）。提示部３３７は、代表色テーブルＴ２を参照して、対応指定色ごとに、関連付けられている画素を計数する。提示部３３７は、計数した画素の数が多い順に所定数（例えば、１０色）の指定色を抽出する。

【0074】

提示部３３７は、抽出した指定色の筆記具情報を指定色テーブルＴ１から取得する。提示部３３７は、取得した筆記具情報を含む筆記具情報表示画面の表示データを生成する。提示部３３７は、通信部３２を介して、筆記具情報表示画面の表示データをユーザ端末２に送信する。

【0075】

続いて、ユーザ端末２の筆記具情報表示部２６３は、筆記具に関する情報を表示する（Ｓ１１０）。筆記具情報表示部２６３は、受信した表示データに基づいて、筆記具情報表示画面を表示する。

【0076】

図１０は、筆記具情報表示画面２００の一例を示す図である。筆記具情報表示画面２００は、指定色表示領域２１０と、筆記具情報表示領域２２０を含む。指定色表示領域２１０には、変換画像に含まれる指定色で塗りつぶされた複数の円が表示される。それぞれの円は、変換画像において対応する指定色の色成分値を有する画素が多いほど、大きい面積で表示される。筆記具情報表示領域２２０には、抽出された所定数の指定色に対応する筆記具の画像２２１及び名称２２２が表示される。筆記具の画像２２１及び名称２２２は、指定色テーブルＴ１に記憶された、抽出された指定色に対応する筆記具情報に基づいて生成される。図１０に示す例では、複数の筆記具がユーザに推奨されるアソート（組合せ）として提示されている。

【0077】

以上説明したように、変換装置３は、入力画像を構成する各画素の色成分値を複数の代表色のうちの何れかの代表色に変換することによって、色数削減画像を生成する。また、変換装置３は、色数削減画像の各画素の色成分値を複数の指定色のうちＬａｂ色空間における色差が最も小さい指定色の色成分値にさらに変換することによって変換画像を生成する。これにより、変換装置３は、所定の色の筆記具を用いて描画されたような風合いの画像を提示することを可能とする。

【0078】

また、変換装置３は、各画素の色成分値を各画素と所定の関係にある画素の色成分値に基づいて変換し、変換された色成分値に基づいて複数の代表色を算出する。これにより、画素の位置関係及び色成分値の関係に基づいて各画素の色成分値が平滑化されるため、変換装置３は、自然な風合いの画像を提示することを可能とする。

【0079】

すなわち、事前に各画素の位置関係及び色成分値の関係に基づいて各画素の色成分値が平滑化されることにより、位置関係が近接し且つ色成分値が類似する画素の色成分値が同一の色成分値に変換されるため、画像内の陰影が消去され又は弱められる。入力画像において、これにより、色数削減画像において、単一色の物に対応する領域が同一の代表色で表示されるため、自然な風合いの画像が提示される。

【0080】

また、変換装置３は、入力画像にエッジ検出処理を適用して二値画像を生成し、変換画像を二値画像とを合成した画像を出力する。これにより、出力される画像の輪郭線が強調されるため、変換装置３はよりイラストタッチな画像を提示することを可能とする。

【0081】

また、変換装置３は、複数の指定色のうちから変換画像においてその指定色の色成分値を示す画素の数が多い所定数の指定色を抽出し、抽出された指定色に対応する筆記具に関する情報を提示する。これにより、変換装置３は、さらに提示された画像の描画に適した筆記具の情報を利用者に提示し、筆記具の購入を動機づけることを可能とする。

【0082】

また、変換装置３は、入力画像を構成する各画素の色成分値に基づいて複数の代表色を算出し、複数の代表色のそれぞれについて複数の指定色のうちＬａｂ色空間における色差が最も小さい指定色を特定する。また、変換装置３は、文字情報を特定された指定色により表示するための指定色文字情報を出力する。これにより、変換装置３は、所定の色の筆記具を用いて筆記されたような風合いの文字情報を提示することを可能とする。

【0083】

上述した説明では、変換装置３は変換画像及び指定色文字情報の両方を出力するものとしたが、何れか一方のみを出力するものとしてもよい。変換画像のみを出力する場合、ユーザ端末２及び変換装置３はそれぞれ、変換処理のＳ１０１及びＳ１０２において入力文字情報を生成及び取得しなくてもよい。また、変換装置３は、変換処理のＳ１０６を実行しなくてもよい。指定色文字情報のみを出力する場合、変換システム１は、Ｓ１０４において指定色を特定すれば足り、変換画像を生成しなくてもよい。また、変換装置３は、変換処理のＳ１０６及び色数削減処理のＳ２０３を実行しなくてもよい。

【0084】

変換装置３は、二値画像を生成しなくてもよい。この場合、変換装置３は、変換処理のＳ１０５を実行しなくてもよい。また、変換装置３は、色数削減画像又は変換画像を生成する前に二値画像を生成するようにしてもよい。

【0085】

変換装置３は、二値画像と変換画像とを合成せずに、個別に出力するようにしてもよい。これにより、変換装置３は、利用者が二値画像を塗り絵用の線画として用いることを可能とする。すなわち、利用者は、出力された二値画像を印刷して、変換画像を参照しながら塗り絵を楽しむことができる。このとき、変換画像は所定の筆記具の色のみから構成されているため、利用者は所定の筆記具を用いて塗り絵をすることが可能となり、筆記具の購入が動機づけられる。

【0086】

上述した説明では、変換装置３は、色数削減処理のＳ２０１においてMean-Shiftフィルタによって平滑化画像を生成するものとしたが、このような例に限られない。例えば、変換装置３は、バイラテラルフィルタ又はガウスフィルタ等の他のフィルタを用いて平滑化画像を生成してもよい。また、変換装置３は、ボックスフィルタ又はメディアンフィルタ等を用いてもよい。また、変換装置３は、色数削減処理において平滑化画像を生成せずに、入力画像を構成する各画素の色成分値を変換することにより、入力画像から直接に色数削減画像を生成してもよい。

【0087】

上述した説明では、各指定色に一つの筆記具に関する情報が関連付けられていたが、このような例に限られない。各指定色に複数の種類の筆記具（例えば、ボールペン及びマーカー）が関連付けられていてもよい。この場合、変換装置３は、Ｓ１０９において、抽出された指定色に対応する複数の種類の筆記具をそれぞれ提示する。これにより、マーカーを用いて描画されたような風合いの画像と、ボールペンを用いて筆記されたような文字が提示される。したがって、変換装置３は、ユーザに対して複数の種類の筆記具の購入を動機づけることができる。

【0088】

上述した説明では、変換システム１はユーザ端末２及び変換装置３を有するものとしたが、このような例に限られない。変換装置３の機能の一部又は全部はユーザ端末２によって実現されてもよい。また、ユーザ端末２又は変換装置３の機能は、複数の装置によって実現されてもよい。

【0089】

当業者は、本発明の精神および範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。例えば、上述した各部の処理は、本発明の範囲において、適宜に異なる順序で実行されてもよい。また、上述した実施形態及び変形例は、本発明の範囲において、適宜に組み合わせて実施されてもよい。

【符号の説明】

【0090】

３ 変換装置
３１ 記憶部
３２ 通信部
３３１ 取得部
３３２ 色数削減部
３３３ 色変換部
３３４ エッジ検出部
３３５ 文字情報生成部
３３６ 出力部
３３７ 提示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】