IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ セイコーエプソン株式会社の特許一覧

特開2023-175310色予測モデル管理方法、管理装置および色予測モデルの生成システム
<>
  • 特開-色予測モデル管理方法、管理装置および色予測モデルの生成システム 図1
  • 特開-色予測モデル管理方法、管理装置および色予測モデルの生成システム 図2
  • 特開-色予測モデル管理方法、管理装置および色予測モデルの生成システム 図3
  • 特開-色予測モデル管理方法、管理装置および色予測モデルの生成システム 図4
  • 特開-色予測モデル管理方法、管理装置および色予測モデルの生成システム 図5
  • 特開-色予測モデル管理方法、管理装置および色予測モデルの生成システム 図6
  • 特開-色予測モデル管理方法、管理装置および色予測モデルの生成システム 図7
  • 特開-色予測モデル管理方法、管理装置および色予測モデルの生成システム 図8
  • 特開-色予測モデル管理方法、管理装置および色予測モデルの生成システム 図9
  • 特開-色予測モデル管理方法、管理装置および色予測モデルの生成システム 図10
  • 特開-色予測モデル管理方法、管理装置および色予測モデルの生成システム 図11
  • 特開-色予測モデル管理方法、管理装置および色予測モデルの生成システム 図12
  • 特開-色予測モデル管理方法、管理装置および色予測モデルの生成システム 図13
  • 特開-色予測モデル管理方法、管理装置および色予測モデルの生成システム 図14
  • 特開-色予測モデル管理方法、管理装置および色予測モデルの生成システム 図15
  • 特開-色予測モデル管理方法、管理装置および色予測モデルの生成システム 図16
  • 特開-色予測モデル管理方法、管理装置および色予測モデルの生成システム 図17
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023175310
(43)【公開日】2023-12-12
(54)【発明の名称】色予測モデル管理方法、管理装置および色予測モデルの生成システム
(51)【国際特許分類】
   H04N 1/60 20060101AFI20231205BHJP
【FI】
H04N1/60 300
H04N1/60 160
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2022087691
(22)【出願日】2022-05-30
(71)【出願人】
【識別番号】000002369
【氏名又は名称】セイコーエプソン株式会社
(74)【代理人】
【識別番号】110000028
【氏名又は名称】弁理士法人明成国際特許事務所
(72)【発明者】
【氏名】山下 充裕
(72)【発明者】
【氏名】山本 祐子
(72)【発明者】
【氏名】鎌田 崇廣
(72)【発明者】
【氏名】大野 拓也
【テーマコード(参考)】
5C079
【Fターム(参考)】
5C079HB03
5C079HB08
5C079HB12
5C079KA12
5C079KA15
5C079LA02
5C079LA31
5C079LB01
5C079MA04
5C079MA10
5C079MA13
5C079NA03
5C079NA13
5C079PA03
(57)【要約】
【課題】色予測モデルの管理や、既存の色予測モデルを用いて新たなモデルを生成した場合の参照関係の管理などを行なう。
【解決手段】コンピューターを用いて、色予測モデルを管理する方法であって、画像を形成するために用いられるインク量と前記画像から得られる測色値との対応関係を機械学習させた学習済色予測モデルを取得する色予測モデル取得工程と、前記学習済色予測モデルの前記対応関係に影響を与える関与情報を取得する関与情報取得工程と、前記学習済色予測モデルと前記関与情報とを紐付けて、記憶部に記憶する記憶工程と、前記関与情報の少なくとも一部を用いて、前記記憶された学習済色予測モデルを検索し、前記検索の結果を用いて、新たな色予測モデルの生成に用いる情報を提示する提示工程と、を備える。
【選択図】図11
【特許請求の範囲】
【請求項1】
コンピューターを用いて、色予測モデルを管理する方法であって、
画像を形成するために用いられるインクのインク量と前記画像から得られる測色値との対応関係を機械学習させた学習済色予測モデルを取得する色予測モデル取得工程と、
前記学習済色予測モデルの前記対応関係に影響を与える関与情報を取得する関与情報取得工程と、
前記学習済色予測モデルと前記関与情報とを紐付けて、記憶部に記憶する記憶工程と、
前記関与情報の少なくとも一部を用いて、前記記憶された学習済色予測モデルを検索し、前記検索の結果を用いて、新たな色予測モデルの生成に用いる情報を提示する提示工程と、
を備えた色予測モデル管理方法。
【請求項2】
前記関与情報は、
前記インクを用いて画像を形成する印刷装置を特定する印刷装置情報、
前記インクを特定するインク情報、
前記インクにより前記画像が形成される印刷媒体を特定する印刷媒体情報、
を含む、請求項1記載の色予測モデル管理装置。
【請求項3】
前記色予測モデルにおける対応関係の学習に用いられた測色値は、前記インク情報により特定されたインクを用いて、前記印刷媒体情報により特定された印刷媒体上に、前記印刷装置情報により特定された印刷装置によって形成されたカラーチャートの分光反射率である、請求項2に記載の色予測モデル管理方法。
【請求項4】
前記記憶工程では、前記学習済色予測モデルを記憶する際、前記学習済色予測モデルを一意に特定する識別子を前記学習済色予測モデルに紐付けて記憶する、請求項1から請求項3のいずれか一項に記載の色予測モデル管理方法。
【請求項5】
前記関与情報は、前記学習済色予測モデルを生成する際に利用した色予測モデルである基礎色予測モデルが存在する場合、前記基礎色予測モデルを特定する前記識別子を含む、請求項4に記載の色予測モデル管理方法。
【請求項6】
前記提示工程では、
前記検索の結果に、前記関与情報の前記少なくとも一部が該当する前記学習済色予測モデルが記憶部に記憶されているか否かが含まれており、
前記関与情報の前記少なくとも一部に該当する前記学習済色予測モデルが記憶部に記憶されていた場合には、前記検索された学習済色予測モデルを、前記新たな色予測モデルの生成に利用できるか否かを判断する情報を提示する、
請求項1から請求項3のいずれか一項に記載の色予測モデル管理装置。
【請求項7】
画像を形成するために用いられるインク量と前記画像から得られる測色値との対応関係を機械学習させた学習済色予測モデルを取得する色予測モデル取得部と、
前記学習済色予測モデルの前記対応関係に影響を与える関与情報を取得する関与情報取得部と、
前記学習済色予測モデルと前記関与情報とを紐付けて記憶する記憶部と、
前記関与情報の少なくとも一部を用いて、前記記憶された学習済色予測モデルを検索し、前記検索の結果を用いて、色予測モデルの生成および利用の少なくとも一方のために用いる情報を提示する提示部と、
を備えた色予測モデル管理装置。
【請求項8】
既存の学習済色予測モデルを管理する色予測モデル管理装置と、新たな色予測モデルを作成する色予測モデル作成装置と、を備えた色予測モデル生成システムであって、
前記色予測モデル管理装置は、
画像を形成するために用いられるインク量と前記画像から得られる測色値との対応関係を機械学習した学習済色予測モデルを取得する色予測モデル取得部と、
前記学習済色予測モデルの前記対応関係に影響を与える関与情報を取得する関与情報取得部と、
前記学習済色予測モデルと前記関与情報とを紐付けて記憶する記憶部と、
を備え、
前記色予測モデル作成装置は、
前記新たな生成しようとする色予測モデルの前記関与情報の少なくとも一部を用いて、前記記憶された学習済色予測モデルを検索し、前記検索の結果を用いて、新たな色予測モデルの生成に用いる生成情報を取得する生成情報取得部と、
前記取得した生成情報にしたがって、前記新たな色予測モデルを生成する色予測モデル生成部と、
を備え、前記色予測モデル生成部は、
前記生成情報に、前記関与情報の少なくとも一部が該当する学習済色予測モデルが含まれている場合には、前記学習済色予測モデルを利用して、前記新たな色予測モデルを生成し、
前記生成情報に、前記関与情報の少なくとも一部が該当する学習済色予測モデルが含まれていない場合には、予め定めたパターンを印刷し、当該パターンの印刷に用いたインク量と前記印刷されたパターンから得られた測色値との対応関係および前記パターンの印刷に関与した前記関与情報を用いた機械学習によって、前記新たな色予測モデルを生成する、
色予測モデル生成システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、色予測モデルを管理する技術に関する。
【背景技術】
【0002】
プリンターなどの印刷装置では、所望の色を印刷媒体上に再現することが求められる。ここで印刷装置における色の再現には、フルカラーのみならず、色数の少ない限定的なカラー印刷や単色での印刷も含まれる。このため、実際の印刷に先立って、印刷媒体上に再現される色を予測する技術が求められる。近年、この分野では機械学習を用いて、色予測モデルを生成することが行なわれているが、新たな印刷媒体やインクセットに対して、一から機械学習を行なって新たな色予測モデルを生成するには、再現する色ごとに教師データを用意せねばならず、また色予測モデルの演算に相当の時間がかかってしまう。そこで、特許文献1に記載されているように、予め作成された色予測モデルを参照して、転移学習やファインチューニングを行なうことで、新たな色予測モデルを効率的に作成する方法が提案されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2021-150782号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1記載の技術は、色予測モデルの生成を容易にする優れたものであるが、こうした技術を用いて色予測モデルが容易に生成されると、その管理が煩雑になってしまう虞があった。また、既存の色予測モデルを用いて新たなモデルを生成した場合、その参照関係を管理する必要も生じ得る。もとよりこうした色予測モデルの管理という課題は、特許文献1以外の手法で新たな色予測モデルが生成される場合でも同様である。
【課題を解決するための手段】
【0005】
本開示は、以下の形態又は適用例として実現することが可能である。
【0006】
(1)本開示の第1の態様は、色予測モデル管理方法として態様である。この方法は、コンピューターを用いて、色予測モデルを管理する方法であって、画像を形成するために用いられるインク量と前記画像から得られる測色値との対応関係を機械学習させた学習済色予測モデルを取得する色予測モデル取得工程と、前記学習済色予測モデルの前記対応関係に影響を与える関与情報を取得する関与情報取得工程と、前記学習済色予測モデルと前記関与情報とを紐付けて、記憶部に記憶する記憶工程と、前記関与情報の少なくとも一部を用いて、前記記憶された学習済色予測モデルを検索し、前記検索の結果を用いて、新たな色予測モデルの生成に用いる情報を提示する提示工程と、を備える。
(2)また本開示の第2の態様は、色予測モデル管理装置として形態である。この色予測モデル管理装置は、画像を形成するために用いられるインク量と前記画像から得られる測色値との対応関係を機械学習させた学習済色予測モデルを取得する色予測モデル取得部と、前記学習済色予測モデルの前記対応関係に影響を与える関与情報を取得する関与情報取得部と、前記学習済色予測モデルと前記関与情報とを紐付けて記憶する記憶部と、前記関与情報の少なくとも一部を用いて、前記記憶された学習済色予測モデルを検索し、前記検索の結果を用いて、色予測モデルの生成および利用の少なくとも一方のために用いる情報を提示する提示部とを備える。
(3)更に、本開示の第3の態様は、既存の色予測モデルを管理する色予測モデル管理装置と、新たな色予測モデルを作成する色予測モデル作成装置と、を備えた色予測モデル生成システムとして形態である。この色予測モデル生成システムでは、前記色予測モデル管理装置は、前記学習済色予測モデルを取得する色予測モデル取得部と、前記学習済色予測モデルの前記対応関係に影響を与える関与情報を取得する関与情報取得部と、前記学習済色予測モデルと前記関与情報とを紐付けて記憶する記憶部と、を備える。また、前記色予測モデル作成装置は、前記新たな生成しようとする色予測モデルの前記関与情報の少なくとも一部を用いて、前記記憶された学習済色予測モデルを検索し、前記検索の結果を用いて、新たな色予測モデルの生成に用いる生成情報を取得する生成情報取得部と、前記取得した生成情報にしたがって、前記新たな色予測モデルを生成する色予測モデル生成部と、を備え、前記色予測モデル生成部は、前記生成情報に、前記関与情報の少なくとも一部が該当する学習済色予測モデルが含まれている場合には、前記学習済色予測モデルを利用して、前記新たな色予測モデルを生成し、前記生成情報に、前記関与情報の少なくとも一部が該当する学習済色予測モデルが含まれていない場合には、予め定めたパターンを印刷し、当該パターンの印刷に用いたインク量と前記印刷されたパターンから得られた測色値との対応関係および前記パターンの印刷に関与した前記関与情報を用いた機械学習によって、前記新たな色予測モデルを生成する。
【図面の簡単な説明】
【0007】
図1】色予測モデルを管理する装置の概念的な構成を示す概略構成図。
図2】色予測モデル管理装置において管理されるデータの相関を示す説明図。
図3】色予測モデルに紐付けられデータの一例を示す色予測モデルテーブルの説明図。
図4】色予測モデルの登録処理の一例を示すフローチャート。
図5】印刷機情報の構成を例示する説明図。
図6】インク情報の構成を例示する説明図。
図7】メディア情報の構成を例示する説明図。
図8】ひとまとまりの教師データの構成を例示する説明図。
図9】教師データの詳細な構成を例示する説明図。
図10】色予測モデルの生成システムの概略構成図。
図11】色予測モデルの作成処理の一例を示すフローチャート。
図12】色予測モデル作成フォームの一例を示す説明図。
図13】発色特性確認パターンの印刷と測色までの各装置間のやり取りを例示する説明図。
図14】検索された色予測モデルが利用可能な場合の各装置間のやり取りを例示する説明図。
図15】色予測モデルの流用や転用が可能かを判断する条件を例示する説明図。
図16】検索された色予測モデルが利用可能でない場合の各装置間のやり取りを例示する説明図。
図17】色予測モデルの更新処理の一例を示すフローチャート。
【発明を実施するための形態】
【0008】
A.第1実施形態:
(A1)色予測モデルの作成と管理の概要:
実施形態の色予測モデルの管理と色予測モデルの生成について説明する。図1は、色予測モデルの生成と管理について説明するための概略構成図である。この色予測モデル管理装置50は、印刷機であるブリンター20に接続された色予測モデル作成装置40と検索装置70とを備える。これらの装置は、図ではデータを直接やり取りできる接続関係にあるように示したが、実際には、有線・無線等によるネットワークを介して接続されていていてもよい。また、メモリーカード等にデータを保存して、物理的にメモリーカードを移動することで、データをやり取りするようにしてもよい。
【0009】
実際に運用される色予測モデル生成システム10の構成と運用については、後述するものとして、まず、色予測モデルの作成とその登録の手法について説明する。色予測モデル作成装置40は、関与情報入力部41と測色値入力部43と色予測モデル機械学習部45等を備える。関与情報入力部41は、ブリンター20に接続されており、ブリンター20から、関与情報として、印刷機情報、インク情報、メディア情報などが入力される。なお、これらの情報の一部または全部は、色予測モデル作成装置40に設けられた図示しない入出力機器を用いて、利用者が手動で入力するようにしてもよい。
【0010】
ブリンター20は、本体21にインクカートリッジを含む印刷部22および印刷媒体24であるメディアを搬送する図示しない印刷媒体搬送部などが設けられており、外部から入力された画像データに従い、印刷媒体24上に画像を形成する。印刷媒体24は、一般的な印刷用紙のみならず、ビニールなどのシート状の合成樹脂やシルク、綿などの布なども含まれる。これのメディアは、専用のカートリッジ等に収容して、ブリンター20にセットされるものとしてもよい。ブリンター20には、印刷媒体24上に形成された画像の実際の色を測色するセンサー26も設けられている。センサー26は、具体的には、可視光の波長範囲程度(例えば380~730nm)の光を印刷媒体24に照射し、その反射光の強度を分解能10nm程度で検出して、各波長範囲での光の反射率(以下、分光反射率という)を検出する。もとより、こうした検出する波長範囲は更に狭くても広くてもよい。また、分光反射率に代えて、反射光の波長毎の強度を検出してもよい。
【0011】
このブリンター20に予め用意した色予測モデル作成用の色予測モデル作成パターンCCを印刷させ、その色予測モデル作成パターンCCの各色の分光反射率をセンサー26を用いて読み取り、これを教師データの一部として機械学習することにより色予測モデルを作成できる。詳しい説明は省略するが、色予測モデル作成装置40の色予測モデル機械学習部45は、畳み込み演算を行なう多層のニューラルネットワークを備え、いわゆるディープラーニングに行なうことにより、色予測モデル作成パターンCCの印刷に用いたインク量と測色値との対応関係を学習し、任意のインク量が与えられた際の発色を予測する色予測モデルを作成する。図において符号CIとして示したのは、ブリンター20が印刷し測色した色予測モデル作成パターンCCに対応するインク量のデータであるインク量チャートである。なお、色予測モデル機械学習部45は、訓練用の学習モデルを用意し、これに対して、一から機械学習を行なって、学習済みの色予測モデルである学習済色予測モデルを作成するだけでなく、既存の学習済色予測モデルを利用して、転移学習などにより、新たな学習済色予測モデルを作成することも可能である。これらの処理の違いについては、後述する。また、本実施形態では、色予測モデルの機械学習は、CNN(Convolutional Neural Network)を用いた深層学習を用いたが、カプセルネットワーク型やベクトルニューラルネットワーク型などの各種ニューラルネットワークなど、他のタイプのネットワークや学習のアルゴリズムを利用することも差し支えない。
【0012】
同じインク量であっても、印刷媒体24上に形成された画像の色(発色)は、印刷に用いたインクの種類、印刷媒体24の種類、印刷機自体の違いなどにより異なる。インク量と測色値との対応関係に影響を与えるこれらの情報を関与情報と呼び、機械学習された学習済色予測モデルには、これらの関与情報を紐付ける。
【0013】
図2は、色予測モデルを中心に、これら関与情報との関係を示す。色予測モデルには、色予測モデルデータセットCLR-MDLとして、色予測モデルを他の色予測モデルから識別するユニークな色予測モデルID、印刷の対象となるメディアを区別するメディアID、学習に用いた教師データを識別する教師データID、印刷機を特定する印刷機ID、印刷機において用いられたインクセットを特定するインクセットIDなどが含まれる。また、この色予測モデルがコンピューターがアクセするファイルとしてどの位置に保存されているかを示すバイナリーデータのファイルバスと、そのファイルの登録日も含まれる。
【0014】
この色予測モデルには、教師データTDと印刷機情報PRN-INF、メデイア情報MED-INFが直接紐付けられている。また、インク情報INK-INFが、インクが収容されたインクカートリッジが装着される印刷機の印刷機情報PRN-INFを介して、紐付けられている。
【0015】
教師データTDには、インクセットID、印刷機情報ID、教師データ数が含まれる。ここでいう教師データTDは、色予測モデルの機械学習に用いられた複数の教師データの集合をまとめて呼称するものである。教師データTDには、複数の学習用データが含まれる。これを、詳細教師データTDDとして示した。詳細教師データTDDには、教師データIDごとに、色予測モデルの作成に用いるインク量チャートCI上の色番号と、その色の印刷に用いられた各インク1~3のインク量とが含まれる。
【0016】
詳細教師データTDDは、色予測モデル作成パターンCCを印刷した印刷機であるブリンター20で用いられたインク量のデータなので、図示するように、教師データTDは、印刷機情報PRN-INFとも間接的に紐付けられている。その印刷機情報PRN-INFには、印刷機であるブリンター20を識別する印刷機情報ID、色予測モデル作成パターンCCの印刷に用いられたインクセットIDが含まれ、印刷機情報IDには、印刷機型番と印刷機シリアルナンバー(No)も含まれる。同じ印刷機でも、型番やシリアルNoが異なれば、印刷された色予測モデル作成パターンCCにおける発色は異なるからである。
【0017】
この印刷機情報PRN-INFに紐付けられたインク情報INK-INFには、インクセットを特定するインクセットID毎に、インクセットに含まれるインクの色数と、インクセットに含まれるインク1、インク2、インク3・・・・の情報とが含まれる。印刷機情報PRN-INFには、この他、双方向印刷の有無やパス数、あるいはインク滴の大きさや種類、記録方法といった情報が含まれるものとしてもよい。印刷された色予測モデル作成パターンCCの発色には、このインクセットと共に、インクが吐出されたメディア(印刷媒体)の種類が大きな影響を与える。このため色予測モデルには、メディア情報MED-INFが紐付けられている。メディア情報MED-INFには、メディアを特定するメディアID毎に、メディアが紙なのかビニールなどの樹脂シートなのかといったメディア種別、そのメディアを製造したメーカー、メディアの型番、メディアが受け入れられるインク量の上限であるインクデューティ(Duty)が含まれる。
【0018】
色予測モデル管理装置50は、登録部51と、問合部52と、色予測モデルデータベース55とを備える。登録部51は、色予測モデル作成装置40から、学習された色予測モデルとこの色予測モデルの学習に用いられた教師データTDを含む関与情報とを受け取り、これを色予測モデルデータベース55に登録する。登録部51は、色予測モデルの登録に際して、色予測モデルと関与情報とを紐付け、かつこれらを検索可能にインデクスを作成して、色予測モデルデータベース55に登録する。
【0019】
登録されたデータベースの一例を図3に示した。図示するように、色予測モデルデータベース55に登録されている色予測モデルは、色予測モデルを識別するための色予測モデルID、この色予測モデルを作成した際に用いられた印刷機を識別する印刷機情報ID、その印刷機で用いられたインクセットを識別するインクセットID、印刷が行なわれた印刷媒体であるメディアを識別するメディアID、色予測モデルを機械学習するのに用いられた教師データを識別する教師データID、色予測モデルのバイナリーデータが保存された場所を示すファイルパス、色予測モデルの作成に利用した色予測モデルを識別する利用色予測モデルID、色予測モデルが登録された日付を示す登録日、などのデータとして、保存されている。利用色予測モデルIDにおいて、「NULL」とされているのは、色予測モデルの作成に利用した既存の色予測モデルがないことを示している。
【0020】
こうした色予測モデルデータベース55にアクセスして、所望の色予測モデルを検索するために、モデル管理装置50には、問合部52が備えられている。この問合部52は、外部の検索装置70に接続されており、検索装置70からの問合せ言語(SQL)により、色予測モデルデータベース55内の該当する色予測モデルを検索する。登録の際にインデクスが作成されているので、利用者が、検索装置70の入力部71を操作して、検索に必要な関与情報、例えば印刷機情報などを入力すると、検索装置70内部でこれをSQLに変換して色予測モデル管理装置50の問合部52に送り、色予測モデルデータベース55内を検索する。検索装置70は、その検索結果を、問合部52を介して受け取り、表示部72に表示する。検索は、関与情報を用いて行なう。つまり、特定のプリンターの特定のインクセットを用いた色予測モデルが、色予測モデルデータベース55に登録されているかを検索するといった使い方が可能である。検索は、図2に示した関与情報の組合わせであれば、どのようなものでも行なうことができる。なお、利用者が直接SQLを入力して検索を行なわせてもよい。
【0021】
図1に示した色予測モデル作成装置40による色予測モデルの作成と、色予測モデル管理装置50による色予測モデルの登録処理について図4を用いて説明する。なお、以下の処理では、既存の色予測モデルを利用して新たな色予測モデルを作成する場合を含まない。既存の色予測モデルを利用して新たな色予測モデルを作成する場合を含む処理については、後述する。図4には、二つの処理フローが記載されている。色予測モデル作成処理は、ブリンター20が接続された色予測モデル作成装置40が行なう処理を示し、色予測モデル作成装置40からの要請を受けて行なわれる登録処理は、色予測モデル管理装置50が行なう処理を示している。
【0022】
図4に示した色予測モデル作成処理が開始されると、色予測モデル作成装置40は、作成しようとする色予測モデルにおける画像を形成するために用いられるインク量と実際に印刷された画像から得られる測色値との対応関係に影響を与える関与情報を取得する(ステップS110)。ここで、関与情報とは、具体的には、図2に示した印刷機情報PRN-INF、インク情報INK-INF、メディア情報MED-INF、である。印刷機情報PRN-INFの一例を、図5に示した。印刷機情報PRN-INFは、プリンター1、プリンター2などの印刷機を区別するための印刷機情報IDと、その印刷機情報IDに対応付けられたインクセットID、印刷機型番、印刷機のシリアル番号とを含む。印刷機型番や印刷機シリアル番号などを含むのは、同一のインクセットIDと紐付けられた印刷機でも、型番が異なり、シリアル番号が異なれば、印刷される色が微妙に異なり、色予測モデルが異なるからである。同じ型番の印刷機における印刷機個々の違い、つまりシリアル番号の異なる印刷機間の発色の違いが十分に小さければ、こうした情報は、印刷機情報PRN-INFに含めず、管理しなくてもよい。
【0023】
同様に、インク情報INK-INFには、図6に一例を示したように、インクセットを識別するインクセットID、そのインクセットに含まれる色数M、インク1~Mまでのインク名が含まれる。インクセットIDが、例えばインク1であれば、図示するように、色数は8であり、「Cyan01」から「LightMagenta01」までの8種類のインク名が登録されている。
【0024】
メディア情報MED-INFには、図7に例示するように、メディアを識別するメディアID、メディアの種別、つまり塩ビや布、あるいはシルクAなどの種別、メディアを製造したメーカー、型番、ロット番号、一次色に対するインク量の制限値を示すインクデューティ(Duty)、同じく二次色に対するインクデューティなどの情報が含まれる。この例では、メディアのロット番号まで管理しているが、ロット毎の相違が十分に小さければ、ロット番号は管理の対象としなくてもよい。
【0025】
色予測モデルの作成処理(図4)では、ステップS110において、上述した関与情報を取得する。つまり、色予測モデル作成パターンCCの印刷を行なう印刷機の情報、用いるインクセットの情報、印刷を行なうメディアの情報、などを取得する。印刷機の情報、インクセットの情報、メディアの情報などは、利用者が入力してもよいし、ブリンター20に問い合わせて、ブリンター20から取得してもよい。
【0026】
続いて、色予測モデル作成パターン(以下、単に作成パターンと呼ぶことがある)CCの印刷を行なう(ステップS120)。この処理は、まず色予測モデル作成するための作成パターンCCを生成する処理と(ステップS125)、取得した作成パターンCCを印刷する処理(ステップS135)とを含む。色予測モデル作成装置40は、ステップS110で取得した関与情報から、色予測モデルの作成に必要な色画像の数やインク量の組み合わせなどを、予め定めた規則に従って求め、インク量チャートCIを構成する各部のインクデータを生成し(ステップS125)、このインクデータをブリンター20に送って、これを所定のメディア上に印刷する処理を行なう(ステップS135)。
【0027】
ブリンター20は、特定のメディア上に、色予測モデル作成装置40から受け取ったインクデータに従って、作成パターンCCを印刷する。色予測モデル作成装置40は、ブリンター20による印刷が完了すると、印刷されたメディアから色情報を取得して、教師データを生成する処理(ステップS140)を行なう。この教師データの生成処理(ステップS140)には、印刷されたメディア上の作成パターンCCをセンサー26を用いて測色させる処理(ステップS145)と、得られた測色データを用いて教師データTDDを準備する処理(ステップS155)とが含まれる。このステップS145の測色処理では、センサー26を用いて、印刷された各色の領域の分光反射率を取得する。作成パターンCCの各領域は、図9に示したように、各色インクのインク量として規定されているので、各領域に形成された画像の色を分光反射率として取得すれば、インク量データと分光反射率データとを対応付けた教師データTDDを作成できる。この処理がステップS155の教師データの準備処理である。
【0028】
教師データTDには、図8に示すように、教師データを識別するための教師データID、色予測モデル作成パターンCCの作成も用いられたインクセットを示すインクセットID、色予測モデル作成パターンCCの印刷に用いられた印刷機を識別する印刷機情報ID、教師データの数を示す教師データ数などが含まれる。教師データ数は、色予測モデル作成パターンCCにおける色数に対応している。また、教師データTDの中身、つまり詳細教師データTDDは、図9に例示するように、一つの教師データIDに含まれる色予測モデル作成パターンCCの色番号、その色番号の色の印刷に用いられたインク種毎のインク量、その色番号の色をセンサー26等により読み取った色情報、具体的には、分光反射率のデータを含む。
【0029】
こうして教師データを準備すると、次にこの教師データを用いた機械学習を行なって、色予測モデルを作成する(ステップS160)。作成パターンCCには、複数の色の領域があり、その領域の画像を形成するために用いられたインク量とその領域の画像毎に得られる測色値との対応関係を、機械学習させることで、学習済色予測モデルが作成される。その上で、作成された学習済色予測モデルに関与情報を紐付ける(ステップS170)。こうして得られた学習済色予測モデルと関与情報とを、色予測モデル管理装置50の色予測モデルデータベース55に登録するよう、色予測モデル管理装置50に要請する(ステップS180)。
【0030】
この要請を受けたモデル管理装置50は、色予測モデル毎にユニークな識別子を発行し(ステップS191)、学習済色予測モデルと関与情報とを紐付けて、色予測モデルデータベース55に登録し(ステップS192)、登録完了を、色予測モデル作成装置40に返信する(ステップS193)。これ完了通知を受けて、色予測モデル作成装置40は、処理を終了する。
【0031】
(A2)色予測モデル生成システムについて:
以上、色予測モデルの作成と登録の概要を説明した。次に、実際の色予測モデル生成システム10の構成と、色予測モデルの管理について詳しく説明する。図10は実施形態における色予測モデル生成システム10の概略構成図である。この色予測モデル生成システム10は、印刷機であるブリンター20と接続されたコンピューター100と、色予測モデル作成サーバー600と色予測モデル管理サーバー500とを、インターネットなどの広域ネットワークNWで相互に接続した構成を備える。コンピューター100は、色予測モデルを入手しようとする利用者(以下、オペレーターという)が用いるものであり、色予測モデルを入手するためのアプリケーションプログラムをダウンロードして動作させる。コンピューター100は、キーボード101などの入力手段を用いてデータや指示を入力し、広域ネットワークNWを介して、色予測モデル管理サーバー500や色予測モデル作成サーバー600とやり取りして、色予測モデルの入手を受注する受注システムとして機能する。
【0032】
コンピューター100に接続されたブリンター20は、センサー26を初め、図1に示したものと同様の構成を備える。図1に示した構成では、理解の便を図って、ブリンター20は、色予測モデル作成装置40と接続され、色予測モデル作成パターンCCに対応するインク量チャートCIを色予測モデル作成装置40から受け取って、作成パターンCCの印刷するものとして説明した。これに対して、実際の色予測モデル生成システム10では、色予測モデル作成パターンCCに対応するインク量チャートCIは、色予測モデル作成サーバー600が生成し、広域ネットワークNWを介して、コンピューター100がこれを受け取り、ブリンター20に印刷させる。
【0033】
色予測モデル管理サーバー500の構成は、色予測モデルデータベース55を備えるといった点で、図1に示した色予測モデル管理装置50と基本的に同様である。図1に示した登録部51や問合部52は、図10では、広域ネットワークNWを介して外部とやり取りする機能を含めて、管理制御部56として示した。この管理制御部56は、CPUを備え、色予測モデル管理サーバー500全体の機能を制御する。
【0034】
色予測モデル作成サーバー600は、図1に示した色予測モデル作成装置40と同様に、教師データTDにより、色予測モデルを機械学習するものであり内部に機械学習器DLEを備える。また、教師データTDを整えたり、教師データTDを構成するために、色予測モデル作成パターンCCに対応したインク量チャートCIを生成したりする生成制御部66を備える。この生成制御部66は、内部にCPUを備え、広域ネットワークNWを介してコンピューター100や色予測モデル管理サーバー500とやり取りする機能を含めて、色予測モデル作成サーバー600全体の機能を制御する。
【0035】
オペレーターは、コンピューター100を操作して、以下のようにして、使用しようとする印刷機であるプリンターでどのような発色が得られるかを予測する色予測モデルを作成する。オペレーターは、このような色予測モデルを作成することで、実際に印刷を行なう前に、印刷物の発色の様子を知ることができる。図10に示した色予測モデル生成システム10での処理の様子を、図11に示したフローチャートに沿って説明する。なお、図の処理は、コンピューター100、色予測モデル管理サーバー500、および色予測モデル作成サーバー600の三者の処理を統合したものである。どの装置による処理かは、逐次説明する。
【0036】
図11に示した色予測モデルの生成処理が開始されると、まず色予測モデル作成フォームを、コンピューター100のディスプレイ102に表示する処理を行なう(ステップS210)。表示される色予測モデル作成フォームの一例を図12に示した。このフォームの上半分は、関与情報の入力用の入力欄等を表示し、下半分は、色予測モデルの作成に関わる処理の実行に関わるボタンなどを表示している。このフォームの上半分の入力欄を用いて、関与情報の入力や取得を行なう(ステップS212)。
【0037】
具体的には、印刷機の機種名を印刷機入力欄81に、メディアの種別をメディア種入力欄82に、印刷機における印刷モードを印刷モード入力欄83に、インクセット名をインクセット入力欄84に、また、入力したメディアのデューティ制限値の一次色,二次色,合計値をデューティ制限値入力欄86に、それぞれ入力する。このうち、印刷機の機種名と印刷モードとインクセットとは、印刷機情報取得ボタン75をポインティングデバイス等でクリックすることで、ブリンター20から取得してもよい。同様に、メディア種別とそのメディアに対するインクデューティとは、メディア情報取得ボタン76をクリックすることで、ブリンター20から、あるいはブリンター20を介して印刷媒体24を収容したメディアカートリッジから取得するようにしてもよい。
【0038】
これらの情報を印刷機側から取得する場合、印刷機に予めこれらの情報を記憶しておき、コンピューター100からの問合せに応じて、記憶しておいた情報を出力するようにしてもよいし、問合せを受けた際には、メディアやインクの分光反射率などのデータを取得し、予め機械学習した学習済みモデルを用いて、メディアやインクの種別を判別して、コンピューター100側に出力するものとしてもよい。メディアやインクは、種別に応じて、それぞれ異なる分光反射率などの光学的特性が異なるので、機械学習済みモデルを用いてこれを判別することは可能である。
【0039】
色予測モデル作成フォームの下半分のうち、上段には、既存の色予測モデルの検索を指示する色予測モデル検索ボタン91、検索の結果を表示する検索結果表示欄92、検索の結果得られた色予測モデルを使用するか否かを指示する利用可否のラジオボタン97と検索して得られた色予測モデルを更新版として利用することを指示するチェックボックス98などが表示される。このチェックボックス98による「更新」の指示がなされた場合の処理については、別途後述する。色予測モデル作成フォームの最下段には、左から順に、発色特性確認パターンの印刷を指示する発色特性確認パターン印刷ボタン93、発色特性確認パターンの測色を指示する発色特性確認パターン測色ボタン94、色予測モデル作成パターンの印刷を指示する色予測モデル作成パターン印刷ボタン95、色予測モデル作成パターンの測色を指示する色予測モデル作成パターン測色ボタン96が設けられている。更に、色予測モデル作成フォームの下半分右端には、色予測モデルの作成を指示する色予測モデル作成ボタン99が設けられている。
【0040】
色予測モデル作成フォームの上半分の入力欄に関与情報を入力した後、検索ボタン91をクリックすると、入力された関与情報に基づき、色予測モデルデータベース55に登録された色予測モデルを検索する。図12に示した例では、印刷機はプリンターModelXであり、印刷されるメディアはシルクAであり、インクセットはCMYKRGrLcLmであり、印刷モードが16passである条件で、既に作成された色予測モデルが、色予測モデルデータベース55に登録されているか検索する。なお、CMYKRGrLcLmのインクセットとは、図6に示したインク1である。
【0041】
図11のフローチャートに戻り、上述した検索ボタン91を含めて、色予測モデル作成フォーム(図12)の各ボタンが操作された場合の動作を、順に説明する。関与情報の入力や取得(ステップS212)を行なった後、発色特性確認パターン印刷処理(ステップS214)と、発色特性確認パターン測色処理(ステップS216)とを行なう。これらの処理は、色予測モデル作成フォーム最下段の発色特性確認パターン印刷ボタン93と発色特性確認パターン測色ボタン94とがオペレーターによりこの順に操作されることにより順次実行される。発色特性確認パターン印刷ボタン93が操作された場合に実行される発色特性確認パターン印刷処理とは、発色特性を確認するためのパターンを、ブリンター20により印刷する処理である。ここで印刷するパターンは、発色特性を確認するために用意されたパターンである。オペレーターは、このパターンを取得して、これをブリンター20により印刷する。発色特性確認用パターン(以下、パターンAとも呼ぶ)を印刷すると、次に発色特性確認パターン測色ボタン94を操作して、印刷された発色特性確認パターンをセンサー26を用いて測色する処理を行なう(ステップS216)。
【0042】
ここまでの処理における各装置間のやり取りを、図13に示した。各装置による処理を、図11と対応付けて説明すると、受注システムであるコンピューター100が、色予測モデル作成フォーム(図12)をディスプレイ102に表示し、オペレーターはこのフォームを用いて色予測モデル作成条件として各種の関与情報を入力する(図11、ステップS212)。オペレーターが、色予測モデル作成フォームの発色特性確認パターン印刷ボタン93を操作すると、受注システムが、発色特性確認パターンを色予測モデル作成サーバー600に要求する。色予測モデル作成サーバー600は、該当するブリンター20で印刷する発色特性確認パターンを作成し、これをコンピューター100に返す。コンピューター100は、このパターンをオペレーターに提示し、オペレーターの指示を俟って、この発色特性確認パターンAをブリンター20を用いて印刷する(ステップS214)。オペレーターが、色予測モデル作成フォームの発色特性確認パターン測色ボタン94を操作すると、印刷された発色特性確認パターンはセンサー26により測色される(ステップS216)。
【0043】
こうして発色特性確認パターンAの測色を行なった後、色予測モデルの検索(ステップS218)と評価(ステップS200)とを行なう。色予測モデルの検索は、色予測モデル作成フォームの入力欄に入力した関与情報に基づいて行ない、色予測モデルの評価は測色結果に基づいて行なう。既存の色予測モデルを検索するのは、関与情報に基づいて、同じ印刷機の同じインクセットを用いて、同じメディアに印刷した事例で作成された既存の色予測モデルが色予測モデルデータベース55に保存されていた場合、これを用いて、簡易に色予測モデルを作成できるからである。測色結果を用いて色予測モデルを評価するのは、同じ印刷機、同じインクセット、同じメディアに印刷した事例で作られた色予測モデルであっても、印刷機の型番やインクセット、メディア等のロットの違いなどで、必ずしも色予測モデルが同一またはそのまま流用できるとは限らない場合があるからである。このため、パターンAを印刷して測色を行ない、色予測モデルが流用または転用可能かを判断するのである。ステップS218やS220により得られた検索結果や評価結果などの情報は、ステップS222以下での色予測モデルの生成に用いられことから、まとめて生成情報とも呼ぶ。
【0044】
具体的には、図14に示すように、オペレーターが、印刷した色予測モデル作成パターンCCの測色を終えて、色予測モデル検索ボタン91を操作すると、測色結果のデータが受注システムにアップロードされ、続いて受注システムであるコンピューター100は、色予測モデル管理サーバー500に、転用/流用可能な色予測モデルがあるかを問い合わせる。色予測モデル管理サーバー500は、オペレーターが色予測モデル作成フォームを用いて入力した関与情報を用いて、該当する色予測モデルを検索し(図11、ステップS218)、アップロードされた測色結果をもちいて、検索された色予測モデルを評価する(図11、ステップS220)。
【0045】
評価は、検索してヒットした色予測モデルに、発色特性確認パターンを印刷する際に用いた各色のインク量を与えて、対応する発色を予測させ、この予測した色と測色結果とを比較することにより行なう。比較の一例を、図15に示した。メディアに印刷された画像の発色は、光源光の色温度によっても異なる。このため、図示する例では、以下の二つの比較方法のいずれかで、両者を比較し、色予測モデルが流用または転用できるかを判断する。
【0046】
第1の比較方法では、
(1)D50光源下のLab色空間での発色、
(2)D65光源下のLab色空間での発色、
(3)F12光源下のLab色空間での発色、
(4)A光源下のLab色空間での発色、
を用いて比較する。この場合、比較元は、実際にパターンAが印刷されたメディアから得られた測色値、つまり分光反射率に光源の分光分布を加味し、更に2度視野等色関数を用い、特定の色の画像のXYZ色空間での値を求め、ここからLab色空間の値を求めたものである。比較先は、パターンAの対応するインク量から、検索して得られた色予測モデルを用いた推論した発色の予測値、つまりその分光反射率に光源の分光分布を加味し、同様に2度視野等色関数を用い、XYZ色空間での値を求め、ここからLab色空間の値を求めたものである。なお、ここでLab色空間やXYZ色空間と略記した色空間は、正確には、それぞれ、国際照明委員会(CIE)が定めたCIE L色空間、CIE XYZ色空間である。
【0047】
比較元と比較先とを比較して両者の隔たりΔEを求め、以下のように判断する
[1]両者の隔たりの平均値であるΔEave が値1.0未満で、かつ最大の隔たりΔEmax が値2.0未満であれば、検索して得られた色予測モデルは、流用可能と判断する。
[2]隔たりの平均値であるΔEave が値3.0未満で、かつ最大の隔たりΔEmax が値10.0未満であれば、検索して得られた色予測モデルは、転用可能と判断する。
なお、閾値は例示であり、隔たりの平均ΔEave のみで判断してもよいし、最大の隔たりΔEmax で判断してもよい。なお、4つの光源全てでの測色値を用いて、比較を行なってもよいし、少なくともD50光源下で比較してもよい。通常は、(1)と(3)とが用いられる。
【0048】
もう一つの比較方法である第2の比較方法は、
(5)インク単色のインク量と分光反射率の2次元相関関数を用いる方法
である。この場合、比較元として、波長をX軸、インク量をY軸、画素値を印刷パターンAの測色分光反射率とした画像a1を構成し、比較先として、波長をX軸、インク量をY軸、インク量を色予測モデルで推論して得られる分光反射率を画素値とした画像a2を構成し、画像a1と画像a2の正規化相互相関係数を算出し、以下のように判断する。
[1]正規化相互相関関数が値0.9以上であれば、その色予測モデルは流用可能であると判断する。
[2]正規化相互相関関数が値0.75以上であれば、その色予測モデルは転用可能であると判断する。
もとより、これらの閾値も例示であり、判断の閾値は実験的、経験的に定めればよい。
【0049】
このように、パターンAを用いた測色結果によって、検索された色予測モデルの評価(図11、ステップS220)を行なった後、これらの処理から得られた生成情報を用いて、利用可能な色予測モデルがあったかを判断する(ステップS222)。利用可能な色予測モデルがあった場合には(ステップS222:「YES」)、利用する色予測モデルを特定する(ステップS230)。利用される色予測モデルは、基礎色予測モデルとも呼ぶ。次に、色予測モデルを転移学習によって作成するための色予測モデル作成パターン1を印刷する処理(ステップS240)、この色予測モデル作成パターン1の印刷結果を測色する処理(ステップS250)、転移学習による色予測モデル作成処理(ステップS260)を順次行なう。他方、利用可能な色予測モデルがなかった場合には(ステップS222:「NO」)、色予測モデルを新たに作成するための色予測モデル作成パターン2を印刷する処理(ステップS245)、この色予測モデル作成パターン2の印刷結果を測色する処理(ステップS255)、機械学習により色予測モデル作成処理(ステップS265)を順次行なう。これらの処理における各装置間のやり取りを、図14図16を用いて説明する。
【0050】
利用可能な色予測モデルである基礎色予測モデルの有無の判断(ステップS222)については、図15を用いて既に説明した。この判断の結果、転用/流用可能な色予測モデルがあるとの回答が、図14に示したように、色予測モデル管理サーバー500から受注システム100に送られると、受注システム100は、利用する基礎色予測モデルを特定する(ステップS230)。図15に示した評価方法に従って、流用や転用に関する条件を満足する既登録の色予測モデルが検索された場合には、検索された色予測モデルの名称が、図12に示した色予測モデル作成フォームの検索結果表示欄92に表示される。オペレーターが、この色予測モデルを利用して色予測モデルを作成しようと判断した場合には、この検索結果表示欄92の下に表示されたラジオボタン97のうち、「利用する」を選択する。もしオペレーターが、「利用しない」を選択すれば、利用可能な色予測モデルが検索により見い出されていても、ステップS222の判断は「NO」となり、ステップS245からS265の処理を行なう。なお、図15に示した評価方法で、流用または転用可能な色予測モデルが複数検索された場合には、そのうちから、もっとも近似の、つまりΔEが最も小さい色予測モデルが、色予測モデル管理サーバー500による検索結果として示されるようにしてもよいし、検索された複数の色予測モデルを一覧的に表示して、オペレーターが選択する様にしてもよい。
【0051】
検索して見い出された既存の色予測モデルを利用、ここでは転用する場合、オペレーターは、受注システム100のディスプレイ102に表示された色予測モデル作成パターン印刷ボタン95を操作する。これにより、色予測モデル作成パターン1の印刷処理(ステップS240)が行なわれる。この色予測モデル作成パターン1の印刷処理は、具体的には、図14に示すよう、色予測モデル作成用パターン1を色予測モデル作成サーバー600に対して要求し、色予測モデル作成サーバー600がこのパターン1を作成し、これを受注システム100に送信し、パターン1を受け取った受注システム100が、このパターン1をディスプレイ102に表示することでオペレーターに提示し、オペレーターの指示により、このパターン1をブリンター20で印刷する、という処理を含む。パターン1は、色予測モデルを作成するために、既存の基礎色予測モデルを利用するためのものなので、パターン1に含まれる色数は、一から色予測モデルを作成する場合に作成・印刷されるパターン2(ステップS245)に含まれる色数より少ない。作成されるパターン1とは、パターン1をブリンター20に印刷させるための各色インクのインク量データである。これは以下に説明する他のパターン2、パターン3でも同様である。
【0052】
図14に示したように、パターン1のインク量データを用いてパターン1の印刷が行なわれると、次に色予測モデル作成のためにパターン1を測色する処理を行なう(図11、ステップS250)。測色処理は、オペレーターが、受注システム100のディスプレイ102に表示された色予測モデル作成パターン測色ボタン96を操作することにより行なわれる。この測色処理は、具体的には、ブリンター20により印刷されたパターン1をセンサー26を用いて読み取ることで行なわれる。
【0053】
こうして得られた分光反射率のデータは、色予測モデルの作成処理(ステップS260)において、受注システム100にアップロードされ、受注システム100から色予測モデル管理サーバー500にアップロードされる。測色されたデータのアップロードを受けた色予測モデル作成サーバー600は、転用または流用する基礎色予測モデルを、色予測モデル管理サーバー500に要求し、色予測モデルデータベース55に記憶された色予測モデルの中から、作成しようとしている色予測モデルと近似しているとステップS220で判断した基礎色予測モデルを受け取る。図14では、転用用に基礎色予測モデルを受け取る。色予測モデル管理サーバー500は、受け取った転用用色予測モデルを用い、転移学習により色予測モデルを作成する(図11、ステップS260)。こうした処理において、基礎色予測モデルは、色予測モデルを色予測モデルデータベース55に登録したときに付与され識別子により取り扱われる。
【0054】
転移学習は、既に学習済みの色予測モデルの層間の重み付けはそのまま利用し、最終層の後に更に新たな層を設け、この層間の重み付けのみを学習する手法である。これは、CNNなどの機械学習では、入力に近い層から最終出力層に近づくに従って、低次の分光的特徴から識別しようとする特徴に向けて徐々に構造化されるからである。学習済みの色予測モデルは、パターン1の分光反射率という入力を用いて、表現される色の予測値を出力しようとしているので、既存の学習済み色予測モデルの出力層の出力に更に新たな層を設け、層間の重み付けを調整して、新たな色予測モデルを学習することが可能であり、一から色予測モデルを学習するより短時間に色予測モデルの学習を完了できる。
【0055】
こうした学習済みの基礎色予測モデルを用いた転移学習により新たな色予測モデルが作成されると(ステップS260)、次にこの新たな色予測モデルと入力済みの関与情報とを紐付け(ステップS270)、図14に示したように、色予測モデルを、色予測モデルデータベース55に登録するよう、色予測モデル作成サーバー600に要請する色予測モデルの登録処理(ステップS280)を行なう。転移学習された色予測モデルの登録の要請を受けた色予測モデル作成サーバー600は、関与情報と紐付けた状態で、色予測モデルを色予測モデルデータベース55に登録し、登録が完了すると、完了通知を色予測モデル管理サーバー500に返す。これを受けた色予測モデル管理サーバー500は、受注システム100に色予測モデルの作成が完了した旨を通知し、受注システム100は、色予測モデルの作成の完了をディスプレイ102に表示するなりして、オペレーターに通知する。新たな色予測モデルの登録の際には、関与情報の一つとして、基礎色予測モデルの識別子も紐付けられる。
【0056】
以上が、ステップS222で、利用可能な既登録の色予測モデルがあると判断した場合の処理の概要である。これに対して、ステップS222で、利用可能な既登録の色予測モデルがないと判断した場合には、オペレーターが、受注システム100のディスプレイ102に表示された色予測モデル作成パターン印刷ボタン95を操作することにより、色予測モデル作成パターン2の印刷処理(ステップS245)が行なわれる。この色予測モデル作成パターン2の印刷処理は、具体的には、図16に示すよう、色予測モデル作成用パターン2を色予測モデル作成サーバー600に対して要求し、色予測モデル作成サーバー600がこのパターン2を作成し、これを受注システム100に送信し、パターン2を受け取った受注システム100が、このパターン2をディスプレイ102に表示することでオペレーターに提示し、オペレーターの指示により、このパターン2をブリンター20で印刷する、という処理を含む。パターン2は、色予測モデルを一から作成するためのものなので、パターン2に含まれる色数は、既に説明したパターン1により多い。
【0057】
図16に示したように、パターン2の印刷がなされると、次に色予測モデル作成パターン2を測色する処理を行なう(図11、ステップS255)。測色処理は、オペレーターが、受注システム100のディスプレイ102に表示された色予測モデル作成パターン測色ボタン96を操作することにより行なわれる。
【0058】
ブリンター20により印刷されたパターン2をセンサー26を用いて測色した分光反射率のデータは、色予測モデルの作成処理(ステップS265)において、色予測モデル管理サーバー500を介してアップロードされる。測色されたデータのアップロードを受けた色予測モデル作成サーバー600は、このデータ、つまりパターン2の各画像のインク量とセンサー26による測色結果(分光反射率)との関係を用いて、機械学習により新たな色予測モデルを作成する。
【0059】
こうした学習により新たな色予測モデルが作成されると(ステップS265)、次にこの新たな色予測モデルと入力済みの関与情報とを紐付け(ステップS270)、図16に示したように、色予測モデルを、色予測モデルデータベース55に登録するよう、色予測モデル作成サーバー600に要請する色予測モデルの登録処理(ステップS280)を行なう。新規に作成された色予測モデルの登録の要請を受けた色予測モデル作成サーバー600は、関与情報と紐付けた状態で、色予測モデルを色予測モデルデータベース55に登録し、登録が完了すると、完了通知を色予測モデル管理サーバー500に返す。これを受けた色予測モデル管理サーバー500は、受注システム100に色予測モデルの作成が完了した旨を通知し、受注システム100は、色予測モデルの作成の完了をディスプレイ102に表示するなりして、オペレーターに通知する。
【0060】
以上で、特定の印刷機で特定のインクセットを用い、特定のメディアに印刷を行なう場合に、印刷しようとする画像のデータが与えられた場合の印刷後の発色の様子などを予測する色予測モデルを得ることができる。このため、本実施形態の色予測モデルの管理装置や色予測モデルの生成システムによれば、実際にメディアに印刷する前に、印刷された画像の発色、つまりメディア上の画像の色の様子を確認することが可能となり、結果的に、所望の発色でない印刷を行なって無駄な印刷をすることが回避ないし抑制できる。
【0061】
上記の実施形態では、利用可能な既存の色予測モデルが存在した場合については、転用の場合について説明したが、関与情報が全く同一で、かつパターンAを用いた評価(図11、ステップS220)において、[1]の評価が得られた場合には、既存の色予測モデルが流用できると判断した場合であって、図12に示した「更新版として作成」のチェックボックス98にチェックが入っていなければ、パターン1の印刷や測色を行なわず、流用可能と判断した色予測モデルをそのまま用いるものとしてもよい。
【0062】
他方、流用可能と判断した既存の色予測モデルが見い出された場合でも、チェックボックス98にチェックが入っていれば、以下の処理を行なう。流用可能と判断した色予測モデルがあっても既存の色予測モデルを更新するのは、経年劣化などにより、同一の印刷機、インクセット、メディアであっても、発色が変化していると判断できるからである。こうした更新処理の一例を、図17に示した。
【0063】
色予測モデルを更新する処理を開始すると、まず色予測モデルデータベース55に登録されている色予測モデルの中から、更新する色予測モデルを特定し(ステップS330)、色予測モデルを転移学習によって作成するための色予測モデル作成パターン3を印刷する処理(ステップS340)、この色予測モデル作成パターン3の印刷結果を測色する処理(ステップS350)、転移学習による色予測モデル作成処理(ステップS360)を順次行なう。これらの処理は、図11のステップS230からS260の処理に対応している。ステップS360における色予測モデルの転移学習に代えて、ファインチューニングを行なってもよい。また、パターン3は、色予測モデルを作成するために、既存の色予測モデルを利用するためのものなので、パターン3に含まれる色数は、一から色予測モデルを作成する場合に作成・印刷されるパターン2(ステップS245)に含まれる色数より少ない。
【0064】
こうした既存の色予測モデルを用いた転移学習により新たな色予測モデルが作成されると(ステップS360)、次にこの新たな色予測モデルと入力済みの関与情報とを紐付け(ステップS370)、色予測モデルを、色予測モデルデータベース55に登録するよう、色予測モデル作成サーバー600に要請する色予測モデルの登録処理(ステップS380)を行なう。転移学習された色予測モデルの登録の要請を受けた色予測モデル作成サーバー600は、関与情報と紐付けた状態で、色予測モデルを色予測モデルデータベース55に上書きして更新し、更新が完了すると、完了通知を色予測モデル管理サーバー500に返す。これを受けた色予測モデル管理サーバー500は、受注システム100に色予測モデルの更新が完了した旨を通知し、受注システム100は、色予測モデルの更新の完了をディスプレイ102に表示するなりして、オペレーターに通知する。
【0065】
こうすれば、同一の印刷機、同一のインクセット、同一のメディアを用いた場合の色予測モデルが存在し、しかし経時変化などにより、発色の様子が変化しているような場合、既存の色予測モデルを、パターン3の印刷と測色によって更新できる。
【0066】
以上説明した本実施形態によれば、受注システム100と色予測モデル管理サーバー500と色予測モデル作成サーバー600とを、広域ネットワークNWにより接続し、受注システム100のコンピューターに接続されたブリンター20による作成パターンCCの印刷と測色とを行なうので、迅速に色予測モデルを生成することができ、既存の色予測モデルの管理を行なうことができる。本実施形態では、測色したデータは、広域ネットワークNWを介して色予測モデル作成サーバー600にアップロードするものとしたが、受注システム100と色予測モデル作成サーバー600がネットワークで接続されていなければ、測色したデータを可搬型のメモリーに収容して、色予測モデル作成サーバー600に配信するものとしてもよい。更に言えば、センサー26に相当する分光計を色予測モデル作成サーバー600に設け、ブリンター20で印刷した印刷物を郵送等で届け、色予測モデル作成サーバー600側で測色を行なうものとしてもよい。
【0067】
また、印刷機であるブリンター20と受注システム100のコンピューターとが直接接続されておらず、両者の間にRIP(Raster Image Processer)が設けられている場合には、上述した印刷しようとする画像のインク量データと実際に印刷された画像の発色との関係に、画像のインク量データを実インク量に変換するRIPによる処理を介装し、この関係を予測する色予測モデルを作成して対応すればよい。この場合、介装されたRIP用のアプリケーションソフトは、既存の色予測モデルが見つかると、特定の色の画像のインク量のデータを色予測モデル作成サーバー600に送り、インク量をLabのデータに変換したものを受け取り、これをRIPアプリケーションソフトがRGBデータに変換して、オペレーター側に送ればよい。こうすれば、RIPによる色変換を含めた発色の状況をプレビューすることができる。
【0068】
更に、上記実施形態では、色予測モデルの管理と生成とを、
〈1〉関与情報から検索した既存の色予測モデルに利用可能ものがない場合には、パターン2の印刷と測色とを行ない、その結果を用いて、一から色予測モデルを作成し、
〈2〉関与情報から検索した既存の色予測モデルに転用可能ものがある場合には、パターン1の印刷と測色とを行ない、その結果を用いて、転移学習に拠り色予測モデルを作成し、
〈3〉関与情報から検索した既存の色予測モデルに流用可能ものがある場合には、そのまま既存の色予測モデルを流用し、
〈4〉関与情報から検索した既存の色予測モデルに流用可能ものがあるが、経年劣化などにより更新が必要とされた場合には、パターン3の印刷と測色とを行ない、その結果を用いて、既存の色予測モデルを更新する、
というように、条件に応じて適切な手法で行なう。このため、時間と手間のかかる色予測モデルの学習を、全体として短時間で行ない、結果的に印刷の無駄を省き、印刷物完成までの時間を短縮することができる。
【0069】
B.他の実施形態:
その他の実施形態について以下説明する。
(1)その他の実施形態の一つは、色予測モデル管理方法としての形態である。この方法は、コンピューターを用いて、色予測モデルを管理する方法であって、画像を形成するために用いられるインク量と前記画像から得られる測色値との対応関係を機械学習させた学習済色予測モデルを取得する色予測モデル取得工程と、前記学習済色予測モデルの前記対応関係に影響を与える関与情報を取得する関与情報取得工程と、前記学習済色予測モデルと前記関与情報とを紐付けて、記憶部に記憶する記憶工程と、前記関与情報の少なくとも一部を用いて、前記記憶された学習済色予測モデルを検索し、前記検索の結果を用いて、新たな色予測モデルの生成に用いる情報を提示する提示工程と、を備える。
【0070】
こうすれば、画像を形成するために用いられるインク量と前記画像から得られる測色値との対応関係を機械学習させた学習済色予測モデルの、この対応関係に影響を与える関与情報と、学習済色予測モデルとを紐付けて、記憶部に記憶し、関与情報の少なくとも一部を用いて、記憶された学習済色予測モデルを検索した結果を用いて、新たな色予測モデルの生成に用いる情報を提示するから、色予測モデルを適切に管理できる。関与情報の少なくとも一部を用いた学習済色予測モデルの検索の結果は、該当する学習済色予測モデルの有無のみを提示しても良いし、該当する学習済色予測モデルについては、その関与情報の少なくとも一部を一緒に提示するものであってもよい。また、複数の学習済色予測モデルが検索された場合には、それらの学習済色予測モデルの違いや、利用可能性に関する情報を併せて提示するものとしてもよい。色予測モデルとしては、カラー画像のインク量と測色値との関係として規定してもよいし、モノクロ画像のインク量と測色値との関係として規定してもよい。対応関係は、画像の形成に用いられるインク量とそのインクにより表現された画像の測色値との対応関係であってもよいし、RIPなどにより画像の形成に用いられるインク量に変換される画像の形成を指示するインク量と測色値との関係であってもよい。なお、提示工程で提示する情報としては、新たな色予測モデルの生成に用いる情報に代えて、既存の色予測モデルを利用するために必要な情報としてもよい。既存の色予測モデルを利用する目的にも、本開示の色予測モデル管理装置は有用である。
【0071】
色予測モデルの機械学習は、CNN(Convolutional Neural Network)を用いた深層学習を用いることができるが、カプセルネットワーク型やベクトルニューラルネットワーク型などの各種ニューラルネットワークなど、他のタイプのネットワークや学習のアルゴリズムを利用することも差し支えない。
【0072】
(2)こうした構成において、前記関与情報は、前記インクを用いて画像を形成する印刷装置を特定する印刷装置情報、前記インクを特定するインク情報、前記インクにより前記画像が形成される印刷媒体を特定する印刷媒体情報、を含むものとしてよい。こうすれば、画像の発色に影響を与える要素を考慮して、色予測モデルの管理を行なうことができる。関与情報としては、これら以外の情報、例えば画像の発色に影響を与える光源の色温度などであってもよく、更にこれらの組み合わせ等であってもよい。また印刷装置情報としては、印刷装置のタイプのみならず、同じタイプであっても型番や、製造ロットなどの情報を含んでもよい。同様に、インク情報は、シアン、マゼンタ、イエロー、ブラック、淡色としてのライトシアン、ライトマゼンタ、特色としてのレッド、グリーン、オレンジなどから少なくとも一つの以上のインクを選択したインクセットなどであってもよく、同じインクセットであっても、インクの型番、ロットの違いなどの情報を含んでもよい。あるいは、インクの製造からの経過時間などの違いを、インク情報に含ませてもよい。インク、特に染料系のインクは、製造からの経過時間によって、色が変化する場合があるからである。印刷媒体情報は、用いる素材、例えば紙、合成樹脂、シルクなどの布素材などの違い、更には厚みやインクの吸収率などの情報を含んでよい。同じ材質の紙であっても、繊維の太さ、密度、撚りなどの違い、表面のコーティングの有無やコーティング剤の違いなどを、印刷媒体情報に含めてもよい。
【0073】
(3)上記(1)(2)の構成において、前記色予測モデルにおける対応関係の学習に用いられた測色値は、前記インク情報により特定されたインクを用いて、前記印刷媒体情報により特定された印刷媒体上に、前記印刷装置情報により特定された印刷装置によって形成されたカラーチャートの分光反射率であるものとしてよい。こうすれば、色予測モデルにおける対応関係の学習に用いられた測色値を、実際の条件に合わせることができ、関与情報との対応も確実なものとなる。また、分光反射率は、測定するセンサーなどが容易に入力し・利用できるという点でメリットがある。もとより、測色値は、分光透過率により取得してもよく、カメラなどで撮像した画像から取得してもよい。
【0074】
(4)上記(1)から(3)の構成において、前記記憶工程では、前記学習済色予測モデルを記憶する際、前記学習済色予測モデルを一意に特定する識別子を前記学習済色予測モデルに紐付けて記憶するものとしてよい。こうすれば、識別子を用いて、学習済色予測モデルを容易に特定でき、記憶容量の低減、検索の容易化などの点でもメリットが得られる。もとより、識別子を紐付けず、学習済色予測モデルをその名称や作成された日時を示すタイムスタンプなどで識別してもよい。
【0075】
(5)上記(1)から(4)の構成において、前記関与情報は、前記学習済色予測モデルを生成する際に利用した色予測モデルである基礎色予測モデルが存在する場合、前記基礎色予測モデルを特定する前記識別子を含むものとしてよい。こうすれば、学習済色予測モデルを生成する際に利用した色予測モデルである基礎色予測モデルを容易に特定できる。また、基礎色予測モデルの利用頻度などのデータを収集できる。
【0076】
(6)上記(1)から(5)の構成において、前記提示工程では、前記検索の結果に、前記関与情報の前記少なくとも一部が該当する前記学習済色予測モデルが記憶部に記憶されているか否かが含まれており、前記関与情報の前記少なくとも一部に該当する前記学習済色予測モデルが記憶部に記憶されていた場合には、前記検索された学習済色予測モデルを、前記新たな色予測モデルの生成に利用できるか否かを判断する情報を提示するものとしてよい。こうすれば、既に登録された学習済色予測モデルを利用可能な否かを容易に判断できる。新たな色予測モデルの生成に利用できるか否かを判断する情報は、単に関与情報の少なくとも一部に該当する学習済色予測モデルの名称などを、ディスプレイに表示するといった形態で提示してもよいし、関与情報の少なくとも一部から想定される類似の程度を数値や、区分(類似度大、中、小など)により提示してもよい。あるいは、関与情報が「同一」「印刷機の型番まで一致」「印刷媒体のロット番号以外一致」などのように、より詳細に提示してもよい。
【0077】
(7)実施形態の他の一つは、色予測モデル管理装置として形態である。この色予測モデル管理装置は、画像を形成するために用いられるインク量と前記画像から得られる測色値との対応関係を機械学習させた学習済色予測モデルを取得する色予測モデル取得部と、前記学習済色予測モデルの前記対応関係に影響を与える関与情報を取得する関与情報取得部と、前記学習済色予測モデルと前記関与情報とを紐付けて記憶する記憶部と、前記関与情報の少なくとも一部を用いて、前記記憶された学習済色予測モデルを検索し、前記検索の結果を用いてて、色予測モデルの生成および利用の少なくとも一方のために用いる情報を提示する提示部とを備える。こうすれば、画像を形成するために用いられるインク量と前記画像から得られる測色値との対応関係を機械学習させた学習済色予測モデルの、この対応関係に影響を与える関与情報と、学習済色予測モデルとを紐付けて、記憶部に記憶し、関与情報の少なくとも一部を用いて、記憶された学習済色予測モデルを検索した結果を用い て、色予測モデルの生成および利用の少なくとも一方のために用いる情報を提示するから、色予測モデルを適切に管理できる。ここで色予測モデルの利用のために用いる情報とは、例えば特定の条件下での色予測のために用いることができる既存の色予測モデルを探すと言った場合に、記憶部に記憶された様々な色予測モデルから目的とする色予測モデルを検索し、特定するために必要な情報である。例えば関与情報を含む情報や、目的とする色予測モデルと既存の色予測モデルとの相関などを評価するのに用いられる情報等である。
【0078】
こうした色予測モデル管理装置は、一つのコンピューター上に色予測モデル取得部や関与情報取得部などの各部を実現し、一つの装置で完結して動作する様にしてもよいし、各部あるいはそれらの一つ以上の組合わせを複数の装置上で実現し、各装置間を、種々の手法で接続して、一つの管理装置として構成してもよい。接続の手法は、有線・無線を問わず、また直接的な接続やネットワークを介した接続などであってもよい。もとより、データなどを可搬型のメモリーにいれて装置間を移動させるようにしてもよい。メモリーは半導体や磁気記憶媒体などであってもよく、またQRコード(登録商標)などを用いた印刷媒体であってもよい。
【0079】
(8)実施形態の更に他の一つは、既存の色予測モデルを管理する色予測モデル管理装置と、新たな色予測モデルを作成する色予測モデル作成装置と、を備えた色予測モデル生成システムとして形態である。この色予測モデル生成システムでは、前記色予測モデル管理装置は、前記学習済色予測モデルを取得する色予測モデル取得部と、前記学習済色予測モデルの前記対応関係に影響を与える関与情報を取得する関与情報取得部と、前記学習済色予測モデルと前記関与情報とを紐付けて記憶する記憶部と、を備える。また、前記色予測モデル作成装置は、前記新たな生成しようとする色予測モデルの前記関与情報の少なくとも一部を用いて、前記記憶された学習済色予測モデルを検索し、前記検索の結果を用いて、新たな色予測モデルの生成に用いる生成情報を取得する生成情報取得部と、前記取得した生成情報にしたがって、前記新たな色予測モデルを生成する色予測モデル生成部と、を備え、前記色予測モデル生成部は、前記生成情報に、前記関与情報の少なくとも一部が該当する学習済色予測モデルが含まれている場合には、前記学習済色予測モデルを利用して、前記新たな色予測モデルを生成し、前記生成情報に、前記関与情報の少なくとも一部が該当する学習済色予測モデルが含まれていない場合には、予め定めたパターンを印刷し、当該パターンの印刷に用いたインク量と前記印刷されたパターンから得られた測色値との対応関係および前記パターンの印刷に関与した前記関与情報を用いた機械学習によって、前記新たな色予測モデルを生成する。
【0080】
こうすれば、画像を形成するために用いられるインク量と前記画像から得られる測色値との対応関係を機械学習させた学習済色予測モデルの、この対応関係に影響を与える関与情報と、学習済色予測モデルとを紐付けて、記憶部に記憶し、関与情報の少なくとも一部を用いて、記憶された学習済色予測モデルを検索した結果を用いて、新たな色予測モデルの生成に用いる情報を提示するから、色予測モデルを適切に管理でき、しかも必要に応じて適切な色予測モデルを生成できる。
【0081】
(9)上記各実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよい。ソフトウェアによって実現されていた構成の少なくとも一部は、ディスクリートな回路構成により実現することも可能である。また、本開示の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア(コンピュータープログラム)は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやCD-ROMのような携帯型の記録媒体に限らず、各種のRAMやROM等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。すなわち、「コンピューター読み取り可能な記録媒体」とは、データパケットを一時的ではなく固定可能な任意の記録媒体を含む広い意味を有している。
【0082】
本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。
【符号の説明】
【0083】
10…色予測モデル生成システム、20…ブリンター、21…本体、22…印刷部、24…印刷媒体、26…センサー、40…色予測モデル作成装置、41…関与情報入力部、43…測色値入力部、45…色予測モデル機械学習部、50…色予測モデル管理装置、51…登録部、52…問合部、55…色予測モデルデータベース、56…管理制御部、66…生成制御部、70…検索装置、71…入力部、72…表示部、75…印刷機情報取得ボタン、76…メディア情報取得ボタン、81…印刷機入力欄、82…メディア種入力欄、83…印刷モード入力欄、84…インクセット入力欄、86…デューティ制限値入力欄、91…色予測モデル検索ボタン、92…検索結果表示欄、93…発色特性確認パターン印刷ボタン、94…発色特性確認パターン測色ボタン、95…色予測モデル作成パターン印刷ボタン、96…色予測モデル作成パターン測色ボタン、97…ラジオボタン、98…チェックボックス、99…色予測作成ボタン、100…コンピューター(受注システム)、101…キーボード、102…ディスプレイ、500…色予測モデル管理サーバー、600…色予測モデル作成サーバー
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17