特開 2023-79151 プログラム、情報処理装置、情報処理方法、学習モデルの生成方法、および撮影システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023079151

(43)【公開日】2023-06-07

(54)【発明の名称】プログラム、情報処理装置、情報処理方法、学習モデルの生成方法、および撮影システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230531BHJP

   G06T 1/00 20060101ALI20230531BHJP

【ＦＩ】

G06T7/00 350B

G06T1/00 510

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022108555

(22)【出願日】2022-07-05

(31)【優先権主張番号】P 2021191858

(32)【優先日】2021-11-26

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】592047249

【氏名又は名称】新興窯業株式会社

(71)【出願人】

【識別番号】521518415

【氏名又は名称】合同会社ＳＯＲＡサクライ

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】吉村 康

(72)【発明者】

【氏名】櫻井 敏明

(72)【発明者】

【氏名】津田 健太

【テーマコード（参考）】

5B057

5L096

【Ｆターム（参考）】

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057DB02

5B057DB06

5B057DB09

5B057DC40

5L096AA02

5L096AA06

5L096CA21

5L096DA01

5L096EA39

5L096FA32

5L096FA69

5L096GA40

5L096GA51

5L096HA11

5L096KA04

(57)【要約】

【課題】対象物の品質を精確に数値化できるプログラム等を提供すること。
【解決手段】プログラムは、対象物を第一スキャナにより読み取った画像データを取得し、複数種類の基準対象物を前記第一スキャナにより読み取った画像データと、当該画像データにおける各画素の色を平均化した画像データとを含む第一訓練データにより学習された第一学習モデルに、取得した画像データを入力して補正後の画像データを出力する。好適には、前記第一学習モデルは赤、緑、および青の各色に対応して赤色学習モデル、緑色学習モデル、および青色学習モデルが生成されており、取得した画像データの赤色の色データを前記赤色学習モデルに入力し、取得した画像データの緑色の色データを前記緑色学習モデルに入力し、取得した画像データの青色の色データを前記青色学習モデルに入力し、各モデルから出力された色により構成される画像データを出力する。
【選択図】図４

【特許請求の範囲】

【請求項1】

対象物を第一スキャナにより読み取った画像データを取得し、
複数種類の基準対象物を前記第一スキャナにより読み取った画像データと、当該画像データにおける各画素の色を平均化した画像データとを含む第一訓練データにより学習された第一学習モデルに、取得した画像データを入力して補正後の画像データを出力する
処理をコンピュータに実行させるプログラム。

【請求項2】

前記第一学習モデルは赤、緑、および青の各色に対応して赤色学習モデル、緑色学習モデル、および青色学習モデルが生成されており、
取得した画像データの赤色の色データを前記赤色学習モデルに入力し、
取得した画像データの緑色の色データを前記緑色学習モデルに入力し、
取得した画像データの青色の色データを前記青色学習モデルに入力し、
各モデルから出力された色により構成される画像データを出力する
請求項１に記載のプログラム。

【請求項3】

前記第一スキャナとは異なる第二スキャナにより読み取った画像データを取得し、
複数種類の基準対象物を前記第二スキャナにより読み取った画像データと、当該画像データにおける各画素の色を平均化した画像データとを含む第二訓練データにより、前記第一学習モデルをファインチューニングして第二学習モデルを生成する
請求項１または請求項２に記載のプログラム。

【請求項4】

前記対象物はタイルであり、
補正後のタイルの画像データを取得し、
前記タイルの種類に関する種類情報を取得し、
補正後の画像データおよび種類情報に基づき、前記タイルの斑点または模様を特定する
請求項３に記載のプログラム。

【請求項5】

前記種類情報は、タイルの種類、形状、および色番を含み、前記種類情報に対応する斑点または模様を特定するための閾値を読み出し、
読み出した当該閾値に基づき、斑点数または模様の面積を特定する
請求項４に記載のプログラム。

【請求項6】

スキャンしたタイルの画像データ、種類情報、および斑点数または模様の面積を表示する
請求項４に記載のプログラム。

【請求項7】

複数の対象物を第一スキャナにより読み取った画像データを取得し、
取得した画像データを前記第一学習モデルに入力して補正後の画像データを出力する
請求項１または請求項２に記載のプログラム。

【請求項8】

制御部を備える情報処理装置において、
前記制御部は、
対象物を第一スキャナにより読み取った画像データを取得し、
複数種類の基準対象物を前記第一スキャナにより読み取った画像データと、当該画像データにおける各画素の色を平均化した画像データとを含む第一訓練データにより学習された第一学習モデルに、取得した画像データを入力して補正後の画像データを出力する
情報処理装置。

【請求項9】

対象物を第一スキャナにより読み取った画像データを取得し、
複数種類の基準対象物を前記第一スキャナにより読み取った画像データと、当該画像データにおける各画素の色を平均化した画像データとを含む第一訓練データにより学習された第一学習モデルに、取得した画像データを入力して補正後の画像データを出力する
情報処理方法。

【請求項10】

複数種類の基準対象物を第一スキャナにより読み取った画像データと、当該画像データにおける各画素の色を平均化した画像データとを含む第一訓練データに基づいて、画像データを入力した場合に補正後の画像データを出力する第一学習モデルを生成する
学習モデルの生成方法。

【請求項11】

情報処理装置と補助装置とスキャナとを備える撮影システムにおいて、
前記情報処理装置は制御部を備え、
前記制御部は、
対象物を前記スキャナにより読み取った画像データを取得し、
複数種類の基準対象物を前記スキャナにより読み取った画像データと、当該画像データにおける各画素の色を平均化した画像データとを含む訓練データにより学習された学習モデルに、取得した画像データを入力して補正後の画像データを出力し、
前記補助装置は、
対象物を保持する保持部と、
前記保持部を第１位置から、前記対象物を前記スキャナでスキャン可能な第２位置まで移動可能に支持する支持部と、
前記対象物を前記第２位置で遮光する遮光ケースと
を備え、
前記遮光ケースは、前記支持部に開閉可能に備えられる
撮影システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム、情報処理装置、情報処理方法、学習モデルの生成方法、および撮影システムに関する。

【背景技術】

【0002】

外観検査または機能検査等の品質検査において、基準となる製品と完成品とを目視で比較することがあるが、人間がおこなう評価は信頼性に乏しい。そこで、分光測色計により測定対象の色合いを数値化する提案がなされている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０００－２９２２５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１に開示された提案では、スキャナ等の撮像装置と比較して一度に測定できる面積が小さい。そのため、品質検査の対象となる対象物を測定する際、測定する場所次第で測定値にばらつきが生じてしまい、精確な数値化が難しいという問題点があった。

【0005】

一つの側面では、対象物を精確に数値化できるプログラム等を提供することを目的とする。

【課題を解決するための手段】

【0006】

一つの側面に係るプログラムは、対象物を第一スキャナにより読み取った画像データを取得し、複数種類の基準対象物を前記第一スキャナにより読み取った画像データと、当該画像データにおける各画素の色を平均化した画像データとを含む第一訓練データにより学習された第一学習モデルに、取得した画像データを入力して補正後の画像データを出力する。

【発明の効果】

【0007】

一つの側面では、対象物の品質を精確に数値化できるプログラム等を提供できる。

【図面の簡単な説明】

【0008】

【図1】実施の形態１における色差補正システムの構成例を示す模式図である。

【図2】本実施の形態における情報処理装置の構成例を示すブロック図である。

【図3】本実施の形態における端末の構成例を示すブロック図である。

【図4】学習モデルの構成例を示す模式図である。

【図5】補正値を算出する際の概要を説明するための模式図である。

【図6】赤色学習モデルの生成処理手順を示すフローチャートである。

【図7】情報処理装置が実行するプログラムの処理手順を示すフローチャートである。

【図8】建築材料ＤＢのデータレイアウトを示す説明図である。

【図9】基準値ＤＢのデータレイアウトを示す説明図である。

【図10】種類情報の入力を受け付ける画面を示す説明図である。

【図11】品質評価の結果を表示する画面を示す説明図である。

【図12】情報処理装置が実行するプログラムの処理手順を示すフローチャートである。

【図13】実施の形態２における色差補正システムの構成例を示す模式図である。

【図14】赤色学習モデルをファインチューニングする際の処理手順を示すフローチャートである。

【図15】スキャナ装置の外観斜視図である。

【図16】複数の対象物の画像データを取得する際の模式図である。

【図17】情報処理装置が実行するプログラムの処理手順を示すフローチャートである。

【発明を実施するための形態】

【0009】

本実施の形態では、対象物を撮像して取得した画像データの色差（色のばらつき）を補正する色差補正システムについて説明する。色差は、たとえばスキャナを用いて対象物を撮像した際に生じる数値のずれのことである。たとえ単一色の画用紙を撮像しても、撮像領域すべてのピクセルの色が一致するとは限らない。そこで、色差補正システムにより数値のずれを取り除き、対象物の色を精確に数値化する。

【0010】

本システムを適用する対象物は、建築材料のように模様のある対象物が例として挙げられる。建築材料は、建築物を建てる際に使用される材料であり、タイル、ガラス、フローリング、および壁紙等が含まれる。本実施の形態では、建築材料がタイルであるものとして説明する。

【0011】

以下、本発明の実施の形態を図面に基づいて説明する。

【0012】

[実施の形態１]
図１は、実施の形態１における色差補正システムの構成例を示す模式図である。色差補正システムは、情報処理装置１０、端末２０、およびスキャナ２００を含む。情報処理装置１０および端末２０は、通信ネットワークＮＷに接続されている。端末２０は、スキャナ２００と通信可能に接続されている。

【0013】

情報処理装置１０は、サーバコンピュータまたはパーソナルコンピュータ等であり、色差補正システムを提供する。情報処理装置１０は、所定の訓練データを学習する機械学習をおこない、機械学習モデルを生成する。具体的には、実施の形態１で説明する第一学習モデルと、実施の形態２で説明する第二学習モデルとを生成する。なお、情報処理装置１０は、スキャナの機種ごとに第一学習モデルを生成してもよい。

【0014】

端末２０は、色差補正システムを利用する利用者（たとえば品質検査をおこなう従業員）が操作する情報処理端末であり、パーソナルコンピュータ、スマートフォンまたはタブレット端末等である。端末２０は、通信ネットワークＮＷを介して、情報処理装置１０が提供する色差補正システムを利用できる。

【0015】

スキャナ２００は、色差補正システムの提供者が第一学習モデルを生成する際に用いる２次元または３次元スキャナである。スキャナ２００は、端末２０を介して、撮像した画像データを情報処理装置１０に送信する。

【0016】

図２は、本実施の形態における情報処理装置１０の構成例を示すブロック図である。情報処理装置１０は、制御部１１、主記憶部１２、通信部１３、および補助記憶部１４を含む。

【0017】

制御部１１は、一または複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）、もしくは量子プロセッサ等のプロセッサであり、種々の情報処理を実行する。

【0018】

主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）またはＤＲＡＭ（Dynamic Random Access Memory）等の一時記憶領域であり、制御部１１が処理を実行するうえで必要なデータを一時的に記憶する。

【0019】

通信部１３は、通信ネットワークＮＷに接続するための通信インターフェイスである。

【0020】

補助記憶部１４は、ＳＳＤ（Solid State Drive）またはＨＤＤ（Hard Disk Drive）等のメモリである。補助記憶部１４は、情報処理装置１０に処理を実行させるプログラム１４０（プログラム製品）、建築材料ＤＢ（data base）１５０、基準値ＤＢ１５１、およびその他のデータを記憶している。なお、情報処理装置１０は、可搬型記憶媒体１０ａを読み取る読取部を備え、可搬型記憶媒体１０ａからプログラム１４０を読み込んでもよい。

【0021】

補助記憶部１４には、訓練データ記憶部１４１および学習モデル記憶部１４２が設けられている。

【0022】

訓練データ記憶部１４１は、学習モデルの生成処理に用いる第一訓練データを記憶する。第一訓練データは、たとえば学習モデルに対する入力情報と出力情報とを対応付けたデータである。本実施の形態では、入力情報が基準材料の画像データであり、出力情報が当該画像データにおける各画素の色を平均化した画像データである。

【0023】

学習モデル記憶部１４２は、第一学習モデルについて、ニューラルネットワークの構成情報ならびに各ニューロンの係数および閾値等を含むデータを記憶する。第一学習モデルは、赤、緑、および青色の各色に対応して赤色学習モデル、緑色学習モデル、および青色学習モデルが生成されている。

【0024】

基準材料は、単一色の画用紙および単一色のタイル等である。スキャナ２００は、７７色の基準材料を撮像した後、情報処理装置１０に基準材料の画像データを送信する。

【0025】

基準材料の画像データには、赤、緑、および青色の色データが含まれる。学習モデルに入力される際には、各色に対応して、赤色の色データは赤色学習モデルに、緑色の色データは緑色学習モデルに、青色の色データは青色学習モデルに入力される。情報処理装置１０は、各色の学習モデルから出力された画像データを結合し、色差が補正された画像データを出力する。

【0026】

画像データの色は、ＲＧＢ（Red, Green, Blue）の絶対値またはＲＧＢの割合で表すことができる。たとえば（０,０，０）は黒色、（２５５,２５５，２５５）は白色、（２５５,０，０）は赤色、（０,２５５，０）は緑色、（０,０，２５５）は青色のように表すことができる。

【0027】

図３は、本実施の形態における端末２０の構成例を示すブロック図である。端末２０は、制御部２１、記憶部２２、第一通信部２３、第二通信部２４、入力部２５、および表示部２６を含む。

【0028】

制御部２１は、一または複数のＣＰＵ、ＭＰＵ、ＧＰＵ、もしくは量子プロセッサ等のプロセッサであり、種々の情報処理を実行する。

【0029】

記憶部２２は、ＳＲＡＭまたはＤＲＡＭ等の一時記憶領域であり、制御部２１が処理を実行するうえで必要なデータを一時的に記憶する。

【0030】

第一通信部２３は、通信ネットワークＮＷに接続するための通信インターフェイスである。

【0031】

第二通信部２４は、スキャナ２００に対して情報の送受信をするための通信インターフェイスである。

【0032】

入力部２５は、タッチパネルまたは機械式操作ボタン等の入力インターフェイスであり、ユーザから操作入力を受け付ける。なお、入力部２５は、ユーザの音声指令を収集するマイクロフォンであってもよい。

【0033】

表示部２６は、液晶ディスプレイまたは有機ＥＬ（Electro Luminescence）ディスプレイ等の表示画面であり、画像を表示する。

【0034】

なお、本実施の形態では、一つのコンピュータが処理をおこなうものとして説明するが、複数のコンピュータが分散して処理をおこなってもよい。

【0035】

図４は、学習モデルの構成例を示す模式図である。ニューラルネットワークの学習モデルは、一または複数のデータの入力を受け付ける入力層と、入力層にて受け付けたデータに対して演算処理をおこなう中間層と、中間層の演算結果を集約して一または複数の値を出力する出力層とを備える。

【0036】

図４に示すように、本実施の形態では、実測値として各画素の赤色の色データが入力され、補正値として各画素の赤色の色データが出力される。なお、図４では、学習モデルに入力されるデータが赤色として例示されているが、緑色および青色であっても同様である。

【0037】

なお、本実施の形態においては、学習モデルに一画素単位の情報を入力し、一画素単位の情報を出力する例を示しているが、これに限るものではなく、複数画素により構成される領域単位の情報を入力し、領域単位の情報を出力してもよい。たとえば１００×１００画素単位の情報を入力し、１００画素単位の情報を出力するようにしてもよい。この場合、１００画素単位の平均値、中央値、または最頻値等が入力される。

【0038】

学習モデルは、たとえば複数のニューロンが相互に結合したニューラルネットワークの構造をなしている。ニューロンは複数の入力に対して演算をおこない、演算結果として１つの値を出力する素子である。ニューロンは、演算に用いられる重み付けの係数および閾値等の情報を有している。

【0039】

なお、学習モデルはニューラルネットワークの他に、ＣＮＮ（Convolutional Neural Network）、トランスフォーマ、Ｕ－Ｎet、オートエンコーダ、決定木、ランダムフォレスト、勾配ブースティング、またはＳＶＭ（Support Vector Machine）等のアルゴリズムを用いて構成されてもよく、複数のアルゴリズムを組み合わせて構成されてもよい。

【0040】

情報処理装置１０は、基準材料の画像データと、当該画像データにおける各画素の色を平均化した画像データとの組を第一訓練データとして学習し、学習モデルを生成する。

【0041】

具体的には、情報処理装置１０は、基準材料の画像データをニューラルネットワークに入力して、当該画像データにおける各画素の色を平均化した画像データを出力として取得する。情報処理装置１０は、ニューラルネットワークから出力された各画素の色を、実際に入力した画素ごとに平均化した色と比較し、誤差がゼロとなるように、たとえば誤差逆伝播法（Backpropagation）等を用いてニューロン間の重み等を更新する。また、情報処理装置１０は、複数種類の基準材料をニューラルネットワークに入力してニューロン間の重み等を更新していき、建築材料の品質検査に利用するための最終的な学習モデルを生成する。

【0042】

次に、赤、緑、および青色学習モデルを生成する処理について、図５および図６に基づいて説明する。以下、学習モデルに入力する赤、緑、および青色の色データをＲ値、Ｇ値、およびＢ値という。

【0043】

図５は、補正値を算出する際の概要を説明するための模式図である。説明を容易にするため、画像データを３×３画像（ピクセル）のブロックとし、３×３画像の領域において補正値を算出する場合を例示する。

【0044】

図５Ａは、各領域の実測したＲ値を示している。情報処理装置１０は、各領域における基準材料のＲ値をスキャナ２００から取得する。当該測定結果の場合、情報処理装置１０は、（平均のＲ値）＝（９つのＲ値の和）÷９の計算より、平均のＲ値を７５と算出する。

【0045】

図５Ｂは、実測値および平均値に基づき算出した補正値を示している。情報処理装置１０は、（補正値）＝（平均のＲ値）－（実測したＲ値）の計算より、各領域の補正値を算出する。

【0046】

図５Ｃは、補正後のＲ値を示している。情報処理装置１０は、測定結果（実測値）に対して補正値に基づく処理をおこない、補正後のＲ値を算出する。

【0047】

情報処理装置１０は、Ｇ値およびＢ値に対しても同様の処理をおこなう。情報処理装置１０は、算出した各色の補正値を補助記憶部１４に記憶する。

【0048】

図６は、赤色学習モデルの生成処理手順を示すフローチャートである。情報処理装置１０の制御部１１は、プログラム１４０に基づき以下の処理を実行する。なお、緑色学習モデルおよび青色学習モデルの生成処理手順も同様のため、説明は省略する。

【0049】

制御部１１は、スキャナにより撮像した基準材料の画像データを取得する（ステップＳ１０１）。制御部１１は、当該画像データのＲ値を取得する（ステップＳ１０２）。制御部１１は、画素ごとに平均のＲ値を算出する（ステップＳ１０３）。制御部１１は、実測されたＲ値と、算出された平均のＲ値とを含む第一訓練データを記憶する（ステップＳ１０４）。

【0050】

制御部１１は、異なる基準材料について、ステップＳ１０１からステップＳ１０４の処理を繰り返し、複数の第一訓練データを主記憶部１２に記憶する。制御部１１は、主記憶部１２に記憶した複数の第一訓練データに基づき、赤色学習モデルを生成する（ステップＳ１０５）。制御部１１は、一連の処理を終了する。

【0051】

図７は、情報処理装置１０が実行するプログラム１４０の処理手順を示すフローチャートである。情報処理装置１０の制御部１１は、プログラム１４０に基づき以下の処理を実行する。

【0052】

制御部１１は、学習モデル記憶部１４２から第一学習モデルを読み出す（ステップＳ２０１）。制御部１１は、スキャナ２００から建築材料の画像データを取得する（ステップＳ２０２）。

【0053】

制御部１１は、当該画像データから赤、緑、および青の色を抽出する（ステップＳ２０３）。制御部１１は、抽出した各色を対応する赤、緑、および青色学習モデルに入力する（ステップＳ２０４）。制御部１１は、補正されたＲ値、Ｇ値、およびＢ値を取得する（ステップＳ２０５）。制御部１１は、補正後の画像データを取得する（ステップＳ２０６）。制御部１１は、一連の処理を終了する。

【0054】

以上、赤、緑、および青色学習モデルを生成することによって、情報処理装置１０は、スキャナ２００で対象物を撮像する際に生じる色差を補正することができる。

【0055】

次に、タイルの斑点数と模様の面積とを特定する際の詳細について説明する。

【0056】

図８は、建築材料ＤＢ１５０のデータレイアウトを示す説明図である。建築材料ＤＢ１５０は、ロット、タイルの種類、形状および寸法、色番、製造場所、閾値（黒）、ならびに閾値（白）のフィールドを記憶するＤＢである。

【0057】

ロットフィールドには、タイルに対応して付与された所定の番号が記憶されている。タイルの種類フィールドには、内装タイル等のタイルの種類が記憶されている。形状および寸法フィールドには、２００ｍｍ角平等のタイルの形状および寸法が記憶されている。色番フィールドには、タイルの色に対応して付与された所定の色番号が記憶されている。製造場所フィールドには、工場の所在地等のタイルを製造した場所が記憶されている。閾値（黒）フィールドには、白色または白色に近いタイルに含まれる黒色の斑点または模様の面積を特定するための閾値が記憶されている。閾値（白）フィールドには、黒色または黒色に近いタイルに含まれる白色の斑点または模様の面積を特定するための閾値が記憶されている。

【0058】

図９は、基準値ＤＢ１５１のデータレイアウトを示す説明図である。基準値ＤＢ１５１は、製造番号、Ｒ値、Ｇ値、Ｂ値、黒色の斑点数、白色の斑点数、および模様の面積のフィールドを記憶するＤＢである。Ｒ値、Ｇ値、Ｂ値、黒色の斑点数、白色の斑点数、および模様の面積のフィールドには、工業製品として出荷する際の基準となる所定の基準値が記憶されている。

【0059】

製造番号フィールドには、タイルに対応して付与された所定の製造番号が記憶されている。Ｒ値フィールドには、基準となるＲ値が記憶されている。Ｇ値フィールドには、基準となるＧ値が記憶されている。Ｂ値フィールドには、基準となるＢ値が記憶されている。黒色の斑点数フィールドには、基準となる黒色の斑点数が記憶されている。白色の斑点数フィールドには、基準となる白色の斑点数が記憶されている。模様の面積フィールドには、基準となる模様の面積が記憶されている。

【0060】

作業者は、スキャナ２００にタイルを載せて撮像する。作業者は、端末２０を通じて、撮像したタイルの種類に関する情報（種類情報）を入力する。情報処理装置１０は、種類情報の入力を受け付ける。

【0061】

情報処理装置１０は、スキャナ２００に対してタイルの画像データの取得を要求する。スキャナ２００は、情報処理装置１０に画像データを送信する。情報処理装置１０は、受信した画像データを第一学習モデルに入力し、出力された補正後の画像データを補助記憶部１４に記憶する。

【0062】

情報処理装置１０は、色番に対応する閾値に基づき、補助記憶部１４に記憶してある画像データから斑点を含むピクセルを特定する。具体的には、情報処理装置１０は、建築材料の色に応じて斑点を特定する。たとえば、白または白に近い色のタイルは閾値（黒）に基づき、黒または黒に近い色のタイルは閾値（白）に基づき、青色のタイルは閾値（黒）および閾値（白）に基づき、斑点が特定される。

【0063】

情報処理装置１０は、当該斑点を含むピクセル数を計測した後、所定のピクセル数以上が結合しているか否かを判定する。結合しているか否かを判定する際には、画像領域において、Ｘ軸方向またはＹ軸方向に対して所定のピクセル数以上が連続している場合に、タイルの斑点が模様であるものとする。

【0064】

所定のピクセル数以上が結合している場合、情報処理装置１０は、特定した斑点を模様であるものとして判定する。情報処理装置１０は、結合しているピクセル数に基づき、模様の面積を計測する。情報処理装置１０は、計測した模様の面積を補助記憶部１４に記憶する。

【0065】

一方、所定のピクセル数以上が結合していない場合、情報処理装置１０は、建築材料ＤＢ１５０から読み出した閾値に基づき、タイルの斑点を特定する。情報処理装置１０は、特定したタイルの斑点に基づき、斑点数を計測する。情報処理装置１０は、計測された斑点数を補助記憶部１４に記憶する。

【0066】

情報処理装置１０は、特定された斑点または模様がある場所の座標情報（たとえば（Ｘ，Ｙ）＝（１００，１５０）等）と、計測された斑点数または模様の面積とを対応させて、端末２０に表示する。

【0067】

以上、情報処理装置１０は、タイルの斑点数と模様の面積とを座標情報に対応させて特定できる。

【0068】

図１０は、種類情報の入力を受け付ける画面を示す説明図である。

【0069】

情報処理装置１０は、端末２０を通じて種類情報の入力を受け付ける。当該種類情報には、タイルの種類（たとえば内装床タイル等）、形状および寸法（たとえば２００ｍｍ角平等）、色番、ならびに製造場所等が含まれる。情報処理装置１０は、受け付けた種類情報に基づいてタイルを特定する。図１０の画面例において、端末２０は、タイルの種類：内装床タイル、形状および寸法：２００ｍｍ角平、色番：２番、ならびに製造場所：岐阜工場等を種類情報として表示する。また、端末２０は、スキャナ２００により取得された画像データを表示する。

【0070】

なお、作業者が端末２０を通じてロットを入力した後、指定ボタンを選択した場合、情報処理装置１０は、ロットに対応した種類情報を建築材料ＤＢ１５０から読み出し、当該種類情報と対応する入力項目を指定するようにしてもよい。

【0071】

また、作業者が端末２０を通じてタイルに付与された１次元コードまたは２次元コードを読み取ることにより、タイルを特定してもよい。

【0072】

図１０において、端末２０は右下の実行ボタンの選択を受け付けた後、図１１の画面を表示する。

【0073】

図１１は、品質評価の結果を表示する画面を示す説明図である。

【0074】

端末２０は、建築材料に関する品質評価の結果を表示する。図１１の画面例において、端末２０は、今回のロット、基準値、種類情報、スキャンしたタイルの画像データ、ＲＧＢ情報、および斑点数または模様の面積を表示する。

【0075】

作業者は、端末２０を通じて、測定したタイルの任意の領域を選択できる。端末２０は、領域の選択を受け付けた後、選択された領域（たとえば選択領域：６）を太枠で囲み表示する。端末２０は、選択された領域について、たとえば（Ｘ，Ｙ）＝（１００，１５０）のように座標情報として表示する。端末２０は、選択された領域の測定値と平均値とを表示する。

【0076】

なお、情報処理装置１０は、今回測定したタイルに関する結果とともに、前回測定した結果を建築材料ＤＢ１５０から読み出し、端末２０に表示してもよい。作業者は、基準値、前回ロットの測定結果、および今回ロットの測定結果を比較して、建築材料の品質を評価できる。

【0077】

図１２は、情報処理装置１０が実行するプログラム１４０の処理手順を示すフローチャートである。情報処理装置１０の制御部１１は、プログラム１４０に基づき以下の処理を実行する。

【0078】

制御部１１は、スキャナ２００を通じてタイルの画像データを取得する（ステップＳ３０１）。制御部１１は、作業者からタイルの種類情報の入力を受け付ける（ステップＳ３０２）。制御部１１は、色番に対応した閾値を建築材料ＤＢ１５０から読み出す（ステップＳ３０３）。

【0079】

制御部１１は、第一学習モデルに取得したタイルの画像データを入力する（ステップＳ３０４）。制御部１１は、第一学習モデルから出力された補正後の画像データを取得する（ステップＳ３０５）。制御部１１は、読み出した閾値に基づき、画像データから斑点を含むピクセルを特定する（ステップＳ３０６）。

【0080】

制御部１１は、当該斑点を含むピクセル数を計測した後（ステップＳ３０７）、所定のピクセル数以上が結合しているか否かを判定する（ステップＳ３０８）。所定のピクセル数以上が結合している場合（ステップＳ３０８：ＹＥＳ）、制御部１１は、特定した斑点を模様であるものとして判定する。制御部１１は、結合しているピクセル数に基づき、模様の面積を計測する（ステップＳ３０９）。一方、所定のピクセル数以上が結合していない場合（ステップＳ３０８：ＮＯ）、制御部１１は、特定したタイルの斑点に基づき、斑点数を計測する（ステップＳ３１０）。

【0081】

制御部１１は、斑点または模様がある場所の座標情報を取得する（ステップＳ３１１）。制御部１１は、計測結果として、斑点数または模様の面積と座標情報とを端末２０に表示する（ステップＳ３１２）。制御部１１は、一連の処理を終了する。

【0082】

以上、実施の形態１によれば、建築材料の品質を精確に数値化できる。

【0083】

［実施の形態２］
実施の形態２では、スキャナ２００とは異なるスキャナ３００で建築材料を撮像する者が、色差補正システムを利用する形態について説明する。異なるスキャナで対象物を撮像すると、同じ対象物であっても、機差の影響により色差が生じる場合がある。そこで、第一学習モデルをファインチューニングした第二学習モデルを生成することにより、より精確な色差補正システムの提供が可能となる。なお、実施の形態１と重複する内容については、同一の符号を付して説明を省略する。

【0084】

図１３は、実施の形態２における色差補正システムの構成例を示す模式図である。色差補正システムは、情報処理装置１０、端末２０、スキャナ２００、およびスキャナ３００を含む。スキャナ３００は、端末２０と通信可能に接続されている。

【0085】

スキャナ３００は、第一学習モデルをファインチューニングする際に用いる２次元または３次元スキャナである。スキャナ３００は、端末２０を介して、取得した画像データを情報処理装置１０に送信する。

【0086】

情報処理装置１０は、端末２０を介して、スキャナ３００により撮像された基準材料の画像データを取得する。情報処理装置１０は、取得した基準材料の画像データと、当該画像データにおける各画素の色を平均化した画像データとを含む第二訓練データにより、第二学習モデルを生成する。なお、第二訓練データの数は、第一訓練データの数より少なくてもよい。

【0087】

生成される第二学習モデルは、第一学習モデルをファインチューニングした学習モデルである。情報処理装置１０は、第一学習モデルにおけるニューロン間の重みを初期値として、モデル全体の重みを再学習する。

【0088】

情報処理装置１０は、生成した第二学習モデルを端末２０に送信する。端末２０は受信した第二学習モデルを用いて、建築材料の数値化処理に利用する。

【0089】

図１４は、赤色学習モデルをファインチューニングする際の処理手順を示すフローチャートである。情報処理装置１０の制御部１１は、プログラム１４０に基づき以下の処理を実行する。なお、緑色学習モデルおよび青色学習モデルのファインチューニングも同様のため、説明は省略する。

【0090】

制御部１１は、スキャナ３００により撮像した基準材料の画像データを取得する（ステップＳ４０１）。制御部１１は、当該画像データのＲ値を取得する（ステップＳ４０２）。制御部１１は、画素ごとに平均のＲ値を算出する（ステップＳ４０３）。制御部１１は、実測されたＲ値と、算出された平均のＲ値とを含む第二訓練データを記憶する（ステップＳ４０４）。

【0091】

制御部１１は、異なる基準材料について、ステップＳ４０１からステップＳ４０４の処理を繰り返し、複数の第二訓練データを主記憶部１２に記憶する。制御部１１は、主記憶部１２に記憶した複数の第二訓練データに基づき、赤色学習モデルをファインチューニングする（ステップＳ４０５）。制御部１１は、一連の処理を終了する。

【0092】

以上、実施の形態２によれば、ファインチューニングをおこなうことで、より好適に建築材料の品質を数値化できる。

【0093】

以上の通り、実施の形態１および実施の形態２によれば、建築材料の品質を精確に数値化できるプログラム等を提供できる。

【0094】

なお、本実施の形態では、色差補正システムを適用する対象を建築材料であるものとして説明したが、これに限るものではない。建築材料以外に、たとえば衣服、樹脂フィルム、または印刷物などの各種商品に本システムを適用してもよい。

【0095】

さらに建築材料以外に、たとえば食品（卵、食パン、クッキー、ハム、茶葉、およびコーヒー豆）、布、木、プラスチック、革、紙、ポスター、和紙、粉体、液体（ワイン）、石、畳、スポンジ等の各種商品に本システムを適用してもよい。

【0096】

[実施の形態３]
実施の形態３では、対象物の画像データを取得する際に用いる補助装置４０（以下、スキャナ装置４０）について説明する。

【0097】

[スキャナ装置４０の構造]
図１５は、スキャナ装置４０の外観斜視図である。図１５に示すように、スキャナ装置４０は、スキャナ２００、保持部４１、支持部４２、蝶番４３、および遮光ケース４４を含む。二点鎖線は、四角形板状のタイルを示す。タイルは、対象物の例示である。以下、図中に矢印で示す、前、後、左、右、上、下のそれぞれの向きを使用して説明する。

【0098】

スキャナ２００は、スキャン面を上に向けて、図示を省略する机の上に配置されている。スキャナ２００は、図示を省略するケーブルにより端末２０に接続されている。スキャナ２００は、無線通信により端末２０に接続されていてもよい。

【0099】

保持部４１は、左方台座４１ａ、右方台座４１ｂ、および接続板４１ｃを有する。左方台座４１ａおよび右方台座４１ｂは、長手方向を前後方向に向けた四角形柱状である。左方台座４１ａと右方台座４１ｂとは、同一形状、同一寸法である。接続板４１ｃは、厚さ方向を前後方向に、長手方向を左右方向に向けた長方形板状である。接続板４１ｃは、左方台座４１ａの前側の端部と右方台座４１ｂの前側の端部とを接続する。

【0100】

左方台座４１ａ、右方台座４１ｂ、および接続板４１ｃは、全体として、図１５における後ろ側に開口部を向けたＵ字型を形成している。開口部の幅は、スキャナ２００の幅より広い。

【0101】

接続板４１ｃは、略Ｕ字型の取手４１ｄを備える。取手４１ｄは、接続板４１ｃの中央に位置する。取手４１ｄは、接続板４１ｃの前側の面に、開口部を接続板４１ｃに向けて取り付けられている。

【0102】

保持部４１は、２個のガイド４１０を備える。ガイド４１０は、長手方向を左右方向に向けた四角形柱状である。ガイド４１０は、左方台座４１ａの左右幅と同等の長さを有する。ガイド４１０は、左方台座４１ａおよび右方台座４１ｂの上面の後端にそれぞれ位置する。ガイド４１０の前面は、同一平面上に配置される。ガイド４１０の材質は、たとえばゴム製である。

【0103】

支持部４２は、前後方向に延びる２本の丸棒である。支持部４２は互いに平行に配置され、地面に平行である。２本の支持部４２は、左方台座４１ａおよび右方台座４１ｂの中心部をそれぞれ貫通している。支持部４２は、保持部４１を長手方向に移動可能に支持する。支持部４２の長さは、左方台座４１ａの長さの２倍を超える。

【0104】

支持部４２の前端面および後端面には、それぞれ脚４２０が固定されている。脚４２０は、長手方向を上下方向に向けた四角形柱状である。脚４２０は、図示を省略する机の天面に設置される。脚４２０の上下方向の長さは、スキャナ装置４０を机に置いた際、保持部４１が机と接触しないような長さである。また、支持部４２は、保持部４１の上面が、スキャナ２００の上面より高い位置になるように、保持部４１を支持する。

【0105】

遮光ケース４４は、四角形箱型である。図１５は、遮光ケース４４が開いた状態を示す。遮光ケース４４の開口部が前側を向いている。遮光ケース４４は、下側の縁と、後ろ側の２個の脚４２０の上面とが、２個の蝶番４３を介して連結している。

【0106】

遮光ケース４４は、図１５の状態から蝶番４３を軸にして反時計回りに約９０度回ることにより閉じる。遮光ケース４４は、閉じた場合に、スキャナ２００または保持部４１との間に空間が形成される深さである。遮光ケース４４は、閉じた場合に、後述する第２位置にある保持部４１を覆う寸法である。

【0107】

遮光ケース４４は、略Ｕ字型の取手４４ｄを備える。取手４４ｄは、開口部を遮光ケース４４の上面に向けて取り付けられている。取手４４ｄは、遮光ケース４４を閉じた状態における上面の中央から前方寄りの位置に設けられる。

【0108】

[スキャナ装置４０の使用手順]
スキャナ装置４０を使用する際の最初の状態は、遮光ケース４４が開いており、保持部４１が第１位置にある。第１位置は、保持部４１の前端が、前側の脚４２０に突き当たる位置である。第１位置においては、スキャナ２００は保持部４１の後端よりも後ろ側に位置する。作業者は、タイルを左方台座４１ａと右方台座４１ｂとの両方に跨るように載せる。作業者は、保持部４１の上でタイルを滑らせて、ゴム製のガイド４１０にタイルの縁を突き当てることにより、タイルの位置を決める。ガイド４１０がゴム製であるため、タイルの角を傷つけずに載せることができ、再現性よく画像データを取得することができる。

【0109】

第１位置でタイルを載せた後、作業者は取手４１ｄを押して、保持部４１を第２位置にスライドさせる。第２位置は、保持部４１の後端が、後ろ側の脚４２０に突き当たる位置である。第２位置においては、左方台座４１ａと右方台座４１ｂとの間にスキャナ２００が位置する。脚４２０の上下方向の長さは、スキャナ装置４０を机に置いた際、保持部４１が机と接触しないような長さである。そのため、保持部４１は机と接触せずにスライド可能である。

【0110】

支持部４２は、保持部４１を第１位置から第２位置まで移動可能に支持する。つまり、スキャナ装置４０は、保持部４１に載せたタイルを、第１位置から第２位置まで保持部４１と一緒にスライド可能な構成となっている。このように、タイルを載せる第１位置と、タイルをスキャンする第２位置とを区別することで、作業者が誤ってタイルを落下させた場合でも、第１位置での作業であれば、スキャナ２００本体の破損を避けることができる。また、タイルをスキャナ２００に直接載せないため、スキャナ２００のスキャン面を傷つけるおそれがない。

【0111】

作業者は、タイルを載せた保持部４１を第２位置までスライドさせた後、取手４４ｄを用いて遮光ケース４４を閉じる。遮光ケース４４を閉じた際には、遮光ケース４４内に空間が形成される。これにより、タイル等の立体的な対象物に対しても、本システムを適用することができる。

【0112】

遮光ケース４４を閉じた後、作業者が端末２０を操作してスキャンを開始させる。スキャナ装置４０が遮光ケース４４を備えることにより、外部の光を遮断してスキャンすることができ、タイル等の対象物をより精確に数値化できる。また、作業者がスキャン中の様子を確認したい際には、遮光ケース４４の前面の開口部を開けることで、スキャン中の様子を確認することも可能である。

【0113】

スキャン終了後、作業者は取手４４ｄを用いて遮光ケース４４を開ける。作業者は、取手４１ｄを引いて保持部４１を第２位置から第１位置まで戻す。別のタイルをスキャンしたい際には、スキャン済みのタイルを取り除いた後、新たなタイルを保持部４１に載せ、上述の操作を繰り返す。

【0114】

[スキャナ装置４０の変形例]
スキャンする際には、保持部４１上に、さらに透明性の保持板を置いてタイルをスキャンしてもよい。この透明性の保持板を置くことにより、タイルの大きさが保持部４１に載せられる幅より小さい場合であっても、直接スキャナ２００にタイルを載せずにスキャンすることができる。

【0115】

ガイド４１０は、図１５に示した四角形柱状のほか、Ｌ字型の直方体で形成してもよい。この形態により、前後方向だけでなく左右方向にも、保持部４１に再現性よくタイルを載せることができる。また、保持部４１に設置するガイド４１０の個数は２個であることに限定されず、タイルの四隅に合わせて４個設置してもよい。その場合、ガイド４１０は、タイルの大きさに合わせて設置場所を動かせるよう構成される。

【0116】

支持部４２は、図１５において、２本で構成するものとして説明したが、これに限定されない。保持部４１が地面と平行になるよう支持されれば、支持部４２は、左右どちらか１本で構成されてもよい。また、支持部４２は丸棒のほか、角棒であってもよい。

【0117】

取手４１ｄおよび取手４４ｄは、スキャナ装置４０の操作性を向上させるために設けてもよいが、必須の構成ではない。

【0118】

以上、実施の形態３によれば、スキャナ装置４０を用いてより好適に本システムを適用することができる。

【0119】

[変形例]
次に、複数の対象物をスキャンする場合に、本システムを適用する例を説明する。本変形例では、６個の卵をスキャンする場合を例にして説明する。

【0120】

図１６は、複数の対象物の画像データを取得する際の模式図である。

【0121】

図１６に示すように、作業者が６個の卵をスキャナ２００上に載せる。卵のような食品をスキャンする際には、スキャナ２００が汚れないよう、最初に透明フィルムまたはシャーレをスキャナ２００上に置いて、その上に食品を載せる。作業者はスキャンが始まる前に、６個の卵の上部から遮光ケース４４を被せる。スキャナ２００は、６個の卵を読み取り画像データを取得する。この構成により外部の光を遮断しつつ立体物をスキャンできるため、より好適に画像データを取得することができる。さらに、一度の操作で複数の対象物をスキャンすることで、効率的に画像データを取得することができる。

【0122】

その後、実施の形態１および実施の形態２と同様に、スキャナ２００は、端末２０を通じて当該画像データを情報処理装置１０に送信する。情報処理装置１０は、受信した画像データを第一学習モデルに入力して補正後の画像データを出力する。これにより、卵黄および卵白の色を数値化して卵の質を検査することができる。

【0123】

なお、上述した卵の他、対象物が食パンであれば食味が最適となる焼き具合を判定し、対象物がクッキーであればオーブン内の位置関係に応じた焼き具合を数値化し、または、対象物がレーズンパンであれば干しぶどうの個数および分布を測定することができる。さらに、対象物がワインのような液体であっても、スキャナ２００上に載せられたシャーレ内にワインを注ぐことで液体の画像データを取得することができる。

【0124】

図１７は、情報処理装置１０が実行するプログラム１４０の処理手順を示すフローチャートである。情報処理装置１０の制御部１１は、プログラム１４０に基づき以下の処理を実行する。

【0125】

作業者が複数の対象物をスキャナ２００上に載せる。制御部１１は、学習モデル記憶部１４２から第一学習モデルを読み出す（ステップＳ５０１）。制御部１１は、スキャナ２００から複数の対象物を含む画像データを取得する（ステップＳ５０２）。制御部１１は、取得した画像データを第一学習モデルに入力して補正後の画像データを出力する（ステップＳ５０３）。制御部１１は、一連の処理を終了する。

【0126】

上述したように、本システムによれば、印刷物のような平面的な対象物に限らず、卵のような立体的な対象物、または、ワインのような液体状の対象物に対しても画像データを取得することができる。これにより、複数種類の対象物を精確に数値化することができる。

【0127】

以上の変形例によれば、建築材料に限らず、食品（卵、食パン、クッキー、ハム、茶葉、およびコーヒー豆）、布、木、プラスチック、革、紙、印刷物（ポスター）、和紙、粉体、液体（ワイン）、石、畳、スポンジ、樹脂フィルム等の対象物に関しても、色の数値化により好適に品質を管理することができる。

【0128】

今回開示された実施の形態はすべての点において例示であり、制限的なものではない。本発明の技術的範囲は上記のように開示された意味ではなく、特許請求の範囲の記載に基づいて定められ、特許請求の範囲と均等の意味および範囲内において、すべての変更が含まれる。

【0129】

各実施形態に記載した事項は、相互に組み合わせることができる。また、特許請求の範囲に記載した独立請求項および従属請求項は、引用形式に関わらず全てのあらゆる組み合わせにおいて、相互に組み合わせることができる。さらに、特許請求の範囲には他の２以上のクレームを引用するクレームを記載する形式（マルチクレーム形式）を用いているが、これに限るものではない。マルチクレームを少なくとも一つ引用するマルチクレーム（マルチマルチクレーム）を記載する形式を用いて記載してもよい。

【符号の説明】

【0130】

１０ 情報処理装置
１０ａ 可搬型記憶媒体
１１ 制御部
１２ 主記憶部
１３ 通信部
１４ 補助記憶部
１４０ プログラム（プログラム製品）
１４１ 訓練データ記憶部
１４２ 学習モデル記憶部
１５０ 建築材料ＤＢ
１５１ 基準値ＤＢ
２０ 端末
２１ 制御部
２２ 記憶部
２３ 第一通信部
２４ 第二通信部
２５ 入力部
２６ 表示部
２００ スキャナ
３００ スキャナ
４０ スキャナ装置（補助装置）
４１ 保持部
４１０ ガイド
４１ａ 左方台座
４１ｂ 右方台座
４１ｃ 接続板
４１ｄ 取手
４２ 支持部
４２０ 脚
４３ 蝶番
４４ 遮光ケース
４４ｄ 取手
ＮＷ 通信ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】