(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-01-13
(45)【発行日】2022-01-25
(54)【発明の名称】情報処理方法及びコンピュータプログラム
(51)【国際特許分類】
G09G 3/20 20060101AFI20220118BHJP
G01M 11/00 20060101ALI20220118BHJP
【ＦＩ】
G09G3/20 670Q
G09G3/20 642A
G01M11/00 T
【請求項の数】
5
(21)【出願番号】P 2020558244
(86)(22)【出願日】2019-11-06
(86)【国際出願番号】 JP2019043367
(87)【国際公開番号】W WO2020110629
(87)【国際公開日】2020-06-04
【審査請求日】2021-04-28
(31)【優先権主張番号】PCT/JP2018/043736
(32)【優先日】2018-11-28
(33)【優先権主張国・地域又は機関】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】391010116
【氏名又は名称】ＥＩＺＯ株式会社
(74)【代理人】
【識別番号】110001139
【氏名又は名称】ＳＫ特許業務法人
(74)【代理人】
【識別番号】100130328
【弁理士】
【氏名又は名称】奥野 彰彦
(74)【代理人】
【識別番号】100130672
【弁理士】
【氏名又は名称】伊藤 寛之
(72)【発明者】
【氏名】筒川 和樹
(72)【発明者】
【氏名】伴場 裕介
(72)【発明者】
【氏名】田端 伸成
【審査官】橋本 直明
(56)【参考文献】
【文献】特開平０６－２９５１６８（ＪＰ，Ａ）
【文献】特開２０１８－００５７７３（ＪＰ，Ａ）
【文献】国際公開第２０１８／１０５０２８（ＷＯ，Ａ１）
【文献】特開２０１８－１５６４５１（ＪＰ，Ａ）
【文献】秦 清治 Seiji Hata，画像処理産業のテーラーメイドエンジニアリングとは？ What is tailor-made engineering for Image Proces，電気学会研究会資料 The Papers of Joint Technical Meeting on Information Processing and Innovative I，日本，社団法人電気学会 The Institute of Electrical Engi，2011年03月25日，IP-11-3 IIS-11-33，13-16頁
【文献】三浦勝司ほか，違和感を察知するDeep Learning技術 "Sense Learning"，SEIテクニカルレビュー[online]，第193号，日本，住友電気工業株式会社，2018年07月31日，12-15頁
【文献】進藤 智則，Sexy Technology 教師なしディープラーニングで製造不良品を自動検出 武蔵精密工業が自動車ギア検査にauto，ＮＩＫＫＥＩ Ｒｏｂｏｔｉｃｓ 第３４号，日本，日経ＢＰ社，2018年04月10日，第34号，3-8頁
【文献】WANG Shiqi, et al.，Subjective and Objective Quality Assessment of Compressed Screen Content Images，IEEE JOURNAL ON EMERGING AND SELECTED TOPICS IN CIRCUITS AND SYSTEMS，第6巻，第4号，米国，IEEE，2016年12月31日，532-543頁
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０９Ｇ ３／２０
Ｇ０１Ｍ １１／００
(57)【特許請求の範囲】
【請求項1】
誤差算出ステップと、類似度算出ステップと、判定ステップとを備える情報処理をハードウェア、ソフトウェア又はこれらの組み合わせに実行させる方法であって、前記誤差算出ステップでは、オートエンコーダへの入力画像データと、前記オートエンコーダからの出力画像データとの誤差を算出し、
前記誤差算出ステップにおける前記オートエンコーダは、学習により重み係数が確定しており、
前記入力画像データは、前記入力画像データ中の各ピクセルのピクセル値を有し、
前記出力画像データは、前記出力画像データ中の各ピクセルのピクセル値を有し、
前記誤差は、前記入力画像データの前記ピクセル値と前記出力画像データの前記ピクセル値とに基づいて取得され、
前記類似度算出ステップでは、前記入力画像データを前記オートエンコーダのエンコーダで圧縮して得られた圧縮データと基準データとに基づいて、前記圧縮データと前記基準データとの類似度を算出し、
前記基準データは、表示ムラが許容可能であると予め分類された画像データに基づいて生成され、
前記判定ステップでは、前記誤差及び前記類似度と予め定められた関係とに基づいて、前記入力画像データの表示ムラが許容可能であるか否かを判定し、
前記予め定められた関係は、前記誤差及び前記類似度が定められると、表示ムラが許容可能であるかを判定することが可能な関係式又はテーブルに対応する、方法。
【請求項2】
請求項１に記載の方法であって、取得ステップを更に備え、
前記取得ステップでは、複数の前記入力画像データのそれぞれについて第１及び第２ステップを実行することによって複数組の関係取得用の誤差及び関係取得用の類似度を算出し、これらの誤差及び類似度に基づいて前記予め定められた関係を取得し、
第１ステップでは、関係取得用の入力画像データと、前記オートエンコーダからの、関係取得用の出力画像データと、に基づいて前記関係取得用の誤差を算出し、
第２ステップでは、前記関係取得用の入力画像データを前記オートエンコーダの前記エンコーダで圧縮して得られた関係取得用の圧縮データと、前記基準データと、に基づいて前記関係取得用の類似度を算出し、
第１及び第２ステップにおける前記オートエンコーダは、学習により前記重み係数が確定している、方法。
【請求項3】
請求項１又は請求項２に記載の方法であって、前記オートエンコーダは、前記エンコーダと、デコーダとを有し、且つ、前記オートエンコーダは、前記エンコーダに入力する学習時入力画像データに、前記デコーダから出力される学習時出力画像データを近づける学習モデルで学習をし、
前記学習時入力画像データは、前記表示ムラが許容可能なデータである、方法。
【請求項4】
請求項３に記載の方法であって、前記基準データは、前記学習時入力画像データを前記エンコーダで圧縮して取得するデータに基づいており、
前記類似度算出ステップでは、前記圧縮データと前記基準データとの内積に基づいて前記類似度を取得する、方法。
【請求項5】
請求項１～請求項４の何れか１つに記載の前記情報処理をコンピュータに実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理方法及びコンピュータプログラムに関する。
【背景技術】
【0002】
モニタの画像表示部の表示画面は、例えば製造品質のバラツキで表示ムラが生じてしまう場合がある。ここで、表示ムラは、輝度ムラ及び色度ムラのうちの一方を意味していてもよいし、輝度ムラ及び色度ムラの両方を意味していてもよい。例えば、ＬＣＤ(Liquid Crystal Display)モニタの画像表示部である液晶パネルにおいて、表示ムラの要因には、液晶層の厚みのバラツキ、駆動用トランジスタの動作特性のバラツキ、及びバックライトの発光分布のバラツキ等が挙げられる。
【0003】
モニタの製造工程では、モニタの各種部品を組み立て終えた後に、画面表示部の表示画面に表示ムラがあるか否かを検査する工程が設けられる場合がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２００５－１０７１５５号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来のモニタの製造工程では画像表示部の表示ムラ等の欠陥の検出を検査員の経験等に頼っているため、その分、従来のモニタの製造工程では検査時間が増大しやすいという課題がある。
【0006】
本発明はこのような事情に鑑みてなされたものであり、モニタの製造工程における検査時間の増大を抑制することができる、情報処理方法及びコンピュータプログラムを提供することを目的としている。
【課題を解決するための手段】
【0007】
本発明によれば、誤差算出ステップと、類似度算出ステップと、判定ステップとを備え、前記誤差算出ステップでは、オートエンコーダへの入力画像データと、前記オートエンコーダからの出力画像データとの誤差を算出し、前記類似度算出ステップでは、前記入力画像データを前記オートエンコーダのエンコーダで圧縮して得られた圧縮データと基準データとに基づいて、前記圧縮データと前記基準データとの類似度を算出し、前記判定ステップでは、前記誤差及び前記類似度の関係に基づいて、前記入力画像データの表示ムラが許容可能であるか否かを判定し、前記関係は、関係式又はテーブルである、方法が提供される。
【0008】
本発明では、判定ステップにおいて、上記の誤差及び上記の類似度の関係に基づいて表示ムラが許容可能であるか否かを判定する。第１に、本発明では、上記の誤差を加味して、表示ムラが許容可能であるか否かを判定するので、表示ムラの強弱（ピクセル値）に基づく観点で画像データを分類することができる。第２に、本発明では、上記の類似度を加味して、表示ムラが許容可能であるか否かを判定するので、多様な表示ムラのパターンに基づく観点で画像データを分類することができる。このように、本発明では、両方の観点で表示ムラが許容可能であるか否かを分類し、画像データが許容可能であるか否かをすみやかに判定することができるので、モニタの検査時間の増大が抑制される。
【0009】
以下、本発明の種々の実施形態を例示する。以下に示す実施形態は互いに組み合わせ可能である。
好ましくは、取得ステップを更に備え、前記取得ステップでは、複数の前記入力画像データのそれぞれについて第１及び第２ステップを実行することによって複数組の関係取得用の誤差及び関係取得用の類似度を算出し、これらの誤差及び類似度に基づいて前記関係を取得し、第１ステップでは、関係取得用の入力画像データと、前記オートエンコーダからの、関係取得用の出力画像データと、に基づいて前記関係取得用の誤差を算出し、第２ステップでは、前記関係取得用の入力画像データを前記オートエンコーダの前記エンコーダで圧縮して得られた関係取得用の圧縮データと、前記基準データと、に基づいて前記関係取得用の類似度を算出する、方法が提供される。
好ましくは、前記オートエンコーダは、前記エンコーダと、デコーダとを有し、且つ、前記オートエンコーダは、前記エンコーダに入力する学習時入力画像データに、前記デコーダから出力される学習時出力画像データを近づける学習モデルで学習をし、前記学習時入力画像データは、前記表示ムラが許容可能なデータである、方法が提供される。
好ましくは、前記基準データは、前記学習時入力画像データを前記エンコーダで圧縮して取得するデータに基づいており、前記類似度算出ステップでは、前記圧縮データと前記基準データとの内積に基づいて前記類似度を取得する、方法が提供される。
好ましくは、コンピュータに、誤差算出ステップと、類似度算出ステップと、判定ステップとを備える情報処理を実行させ、前記誤差算出ステップでは、オートエンコーダへの入力画像データと、前記オートエンコーダからの出力画像データとの誤差を算出し、前記類似度算出ステップでは、前記入力画像データを前記オートエンコーダのエンコーダで圧縮して得られた圧縮データと基準データとに基づいて、前記圧縮データと前記基準データとの類似度を算出し、前記判定ステップでは、前記誤差及び前記類似度の関係に基づいて、前記入力画像データの表示ムラが許容可能であるか否かを判定し、前記関係は、関係式又はテーブルである、コンピュータプログラムが提供される。
好ましくは、取得ステップを更に備え、前記取得ステップでは、複数の前記入力画像データのそれぞれについて第１及び第２ステップを実行することによって複数組の関係取得用の誤差及び関係取得用の類似度を算出し、これらの誤差及び類似度に基づいて前記関係を取得し、第１ステップでは、関係取得用の入力画像データと、前記オートエンコーダからの、関係取得用の出力画像データと、に基づいて前記関係取得用の誤差を算出し、第２ステップでは、前記関係取得用の入力画像データを前記オートエンコーダの前記エンコーダで圧縮して得られた関係取得用の圧縮データと、前記基準データと、に基づいて前記関係取得用の類似度を算出する、方法が提供される。
好ましくは、前記オートエンコーダは、前記エンコーダと、デコーダとを有し、且つ、前記オートエンコーダは、前記エンコーダに入力する学習時入力画像データに、前記デコーダから出力される学習時出力画像データを近づける学習モデルで学習をし、前記学習時入力画像データは、前記表示ムラが許容可能なデータである、方法が提供される。
好ましくは、前記基準データは、前記学習時入力画像データを前記エンコーダで圧縮して取得するデータに基づいており、前記類似度算出ステップでは、前記圧縮データと前記基準データとの内積に基づいて前記類似度を取得する、方法が提供される。
好ましくは、コンピュータに、誤差算出ステップと、類似度算出ステップと、判定ステップとを備える情報処理を実行させ、前記誤差算出ステップでは、オートエンコーダへの入力画像データと、前記オートエンコーダからの出力画像データとの誤差を算出し、前記類似度算出ステップでは、前記入力画像データを前記オートエンコーダのエンコーダで圧縮して得られた圧縮データと基準データとに基づいて、前記圧縮データと前記基準データとの類似度を算出し、前記判定ステップでは、前記誤差及び前記類似度の関係に基づいて、前記入力画像データの表示ムラが許容可能であるか否かを判定し、前記関係は、関係式又はテーブルである、コンピュータプログラムが提供される。
【図面の簡単な説明】
【0010】
【図1】第１実施形態の情報処理システム１００の構成を示すブロック図である。
【図2】測定部１０が取得した画像データに適用するフィルタ処理及び閾値処理の説明図である。
【図3】学習段階におけるデータの流れを示すブロック図である。
【図4】関係取得段階におけるデータの流れを示すブロック図である。
【図6】判定段階におけるデータの流れを示すブロック図である。
【図7】第１実施形態の情報処理システム１００の動作フローチャートである。
【図8】第１実施形態の変形例１に係る誤差Ｌと類似度Ｓとの関係ＲＳを示すグラフである。
【図9】第１実施形態の変形例２に係るフィルタ処理の説明図である。
【図10】第２実施形態の情報処理システム１００の構成を示すブロック図である。
【発明を実施するための形態】
【0011】
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。また、各特徴事項について独立して発明が成立する。
【0012】
第１実施形態
図１～図８に基づいて、第１実施形態の情報処理システム１００について説明する。本実施形態の情報処理システム１００は、図１に示すように、情報処理装置１と、情報処理装置１１と、測定部１０とを備えている。情報処理システム１００が表示ムラを評価する対象は、評価対象モニタ２１である。情報処理装置１は、データ生成部２ａと判定部２Ａと誤差算出部２Ｂと類似度算出部２Ｃと処理部３と記憶部４と入出力部５とを備える。情報処理装置１１は、演算部１２と記憶部１３と入出力部１４とを備える。演算部１２は、学習部１２Ａと誤差算出部１２Ｂと類似度算出部１２Ｃと取得部１２Ｄとを備える。
図１～図８に基づいて、第１実施形態の情報処理システム１００について説明する。本実施形態の情報処理システム１００は、図１に示すように、情報処理装置１と、情報処理装置１１と、測定部１０とを備えている。情報処理システム１００が表示ムラを評価する対象は、評価対象モニタ２１である。情報処理装置１は、データ生成部２ａと判定部２Ａと誤差算出部２Ｂと類似度算出部２Ｃと処理部３と記憶部４と入出力部５とを備える。情報処理装置１１は、演算部１２と記憶部１３と入出力部１４とを備える。演算部１２は、学習部１２Ａと誤差算出部１２Ｂと類似度算出部１２Ｃと取得部１２Ｄとを備える。
【0013】
上記の各構成要素は、ソフトウェアによって実現してもよく、ハードウェアによって実現してもよい。ソフトウェアによって実現する場合、ＣＰＵがコンピュータプログラムを実行することによって各種機能を実現することができる。プログラムは、内蔵の記憶部に格納してもよく、コンピュータ読み取り可能な非一時的な記録媒体に格納してもよい。また、外部の記憶部に格納されたプログラムを読み出し、いわゆるクラウドコンピューティングにより実現してもよい。ハードウェアによって実現する場合、ＡＳＩＣ、ＦＰＧＡ、又はＤＲＰなどの種々の回路によって実現することができる。本実施形態においては、様々な情報やこれを包含する概念を取り扱うが、これらは、０又は１で構成される２進数のビット集合体として信号値の高低によって表され、上記のソフトウェア又はハードウェアの態様によって通信や演算が実行され得るものである。
【0014】
１．構成概要及びデータ概要
１－１．学習段階、関係取得段階、及び、判定段階
第１実施形態には３つの段階がある。第１段階は学習段階であり、学習段階では後述するオートエンコーダに機械学習をさせて重み係数を確定する段階である。第２段階は関係取得段階であり、関係取得段階では評価対象モニタ２１の画像表示部２２の表示ムラが許容可能であるか否かを判定するための基準となる関係式を取得する。第３段階は判定段階であり、判定段階では、製造現場において評価対象モニタ２１から測定光を取得し、前述の基準となる関係式に基づいて評価対象モニタ２１の画像表示部２２の表示ムラが許容可能であるか否かを判定する。つまり、判定段階は、例えば製造現場において、評価対象モニタ２１の検査をする段階である。
１－１．学習段階、関係取得段階、及び、判定段階
第１実施形態には３つの段階がある。第１段階は学習段階であり、学習段階では後述するオートエンコーダに機械学習をさせて重み係数を確定する段階である。第２段階は関係取得段階であり、関係取得段階では評価対象モニタ２１の画像表示部２２の表示ムラが許容可能であるか否かを判定するための基準となる関係式を取得する。第３段階は判定段階であり、判定段階では、製造現場において評価対象モニタ２１から測定光を取得し、前述の基準となる関係式に基づいて評価対象モニタ２１の画像表示部２２の表示ムラが許容可能であるか否かを判定する。つまり、判定段階は、例えば製造現場において、評価対象モニタ２１の検査をする段階である。
【0015】
１－２．各種の段階でやり取りされるデータについて
図３に示すように、学習段階でやり取りされるデータは、学習時入力画像データｄ１、学習時出力画像データｄ２及び圧縮データｄｃを含む。全ての学習時入力画像データｄ１は、許容可能であると予め分類された画像データである。
図３に示すように、学習段階でやり取りされるデータは、学習時入力画像データｄ１、学習時出力画像データｄ２及び圧縮データｄｃを含む。全ての学習時入力画像データｄ１は、許容可能であると予め分類された画像データである。
【0016】
図４に示すように、関係取得段階でやり取りされるデータは、関係取得用の入力画像データＤ１、関係取得用の出力画像データＤ２及び圧縮データＤｃを含む。関係取得用の入力画像データＤ１は、許容可能であると予め分類された画像データだけでなく、許容可能でないと予め分類された表示画面の画像データをも含む。つまり、全ての関係取得用の入力画像データＤ１は、許容可能な画像データ又は許容可能でない画像データのいずれか一方に予め分類されている。換言すると、関係取得用の入力画像データＤ１には予めラベリングがなされている。つまり、全ての関係取得用の入力画像データＤ１は、許容可能な画像データ又は許容可能でない画像データのいずれか一方に予めラベリングされている。
【0017】
図６に示すように、判定段階でやり取りされるデータは、入力画像データｒ１、出力画像データｒ２及び圧縮データｒｃを含む。入力画像データｒ１は処理部３から取得することができる。出力画像データｒ２及び圧縮データｒｃはデータ生成部２ａにおいて生成される。
【0018】
１－３．ラベリングにおける分類方法
上述のように、学習時入力画像データｄ１は、許容可能であると予め分類された画像データである。また、関係取得用の入力画像データＤ１は、許容可能な画像データ又は許容可能でない画像データのいずれか一方に予め分類されている。ここで、これらの分類方法の一例について説明する。撮像装置から取得された画像データは、後述のフィルタ処理等が施されて、入力画像データへ変換される。入力画像データの表示ムラは、互いに隣接する暗領域及び明領域が分布して構成されている。入力画像データの明領域と入力画像データの暗領域との境界部分には、ピクセル値が極大値となる部分と、ピクセル値が極小値となる部分とが含まれている。入力画像データは、極大値と極小値との差分の大きさに基づいて、許容可能な画像データ又は許容可能でない画像データに分類される。具体的には、極大値と極小値との差分が閾値よりも大きい入力画像データは、許容可能でない画像データに分類される。逆に、極大値と極小値との差分が閾値よりも小さい入力画像データは、許容可能な画像データに分類される。
上述のように、学習時入力画像データｄ１は、許容可能であると予め分類された画像データである。また、関係取得用の入力画像データＤ１は、許容可能な画像データ又は許容可能でない画像データのいずれか一方に予め分類されている。ここで、これらの分類方法の一例について説明する。撮像装置から取得された画像データは、後述のフィルタ処理等が施されて、入力画像データへ変換される。入力画像データの表示ムラは、互いに隣接する暗領域及び明領域が分布して構成されている。入力画像データの明領域と入力画像データの暗領域との境界部分には、ピクセル値が極大値となる部分と、ピクセル値が極小値となる部分とが含まれている。入力画像データは、極大値と極小値との差分の大きさに基づいて、許容可能な画像データ又は許容可能でない画像データに分類される。具体的には、極大値と極小値との差分が閾値よりも大きい入力画像データは、許容可能でない画像データに分類される。逆に、極大値と極小値との差分が閾値よりも小さい入力画像データは、許容可能な画像データに分類される。
【0019】
１－４．フィルタ処理、閾値処理、及び絶対値化処理
第１実施形態では、測定部１０で取得した画像データのピクセル値を用いて、評価対象モニタ２１の表示ムラが許容可能であるか否かを判定するのではなく、図２に示すように、フィルタ処理、閾値処理及び絶対値化処理を施した画像データを用いて、評価対象モニタ２１の表示ムラが許容可能であるか否かを判定している。これにより、表示ムラの特徴的な部分を際立たせることができ、判定精度が向上する。なお、画像データは閾値処理及び絶対値化処理が必ず施されている必要はない。例えば、画像データのうちの特定範囲の表示ムラを分析する場合には、閾値処理及び絶対値化処理が施されることが好ましい。一方、画像データのうちの全範囲の表示ムラを分析する場合には、閾値処理及び絶対値化処理が施されていなくてよい。第１実施形態における入力画像データは、学習時入力画像データｄ１と、関係取得用の入力画像データＤ１と、評価対象モニタ２１の画像データに基づく入力画像データｒ１とを含む。第１実施形態では、いずれの入力画像データも、フィルタ処理、閾値処理及び絶対値化処理が施されている。これらの処理の構成例は、処理部３の構成において説明する。
第１実施形態では、測定部１０で取得した画像データのピクセル値を用いて、評価対象モニタ２１の表示ムラが許容可能であるか否かを判定するのではなく、図２に示すように、フィルタ処理、閾値処理及び絶対値化処理を施した画像データを用いて、評価対象モニタ２１の表示ムラが許容可能であるか否かを判定している。これにより、表示ムラの特徴的な部分を際立たせることができ、判定精度が向上する。なお、画像データは閾値処理及び絶対値化処理が必ず施されている必要はない。例えば、画像データのうちの特定範囲の表示ムラを分析する場合には、閾値処理及び絶対値化処理が施されることが好ましい。一方、画像データのうちの全範囲の表示ムラを分析する場合には、閾値処理及び絶対値化処理が施されていなくてよい。第１実施形態における入力画像データは、学習時入力画像データｄ１と、関係取得用の入力画像データＤ１と、評価対象モニタ２１の画像データに基づく入力画像データｒ１とを含む。第１実施形態では、いずれの入力画像データも、フィルタ処理、閾値処理及び絶対値化処理が施されている。これらの処理の構成例は、処理部３の構成において説明する。
【0020】
２．構成説明
２－１．測定部１０
図２に示すように、測定部１０は、評価対象モニタ２１の画像表示部２２の表示画面の表示ムラ情報を取得する。測定部１０は撮像装置で構成され、測定部１０は、評価対象モニタ２１の画像表示部２２の表示画面に向けられており、表示画面から照射される測定光を検出する。測定部１０の検出結果は、測定光情報として情報処理装置１に送信される。この測定光情報は画像表示部２２の表示画面の表示ムラを示す情報を含んでいることから、測定光情報は表示ムラ情報に含まれる。
２－１．測定部１０
図２に示すように、測定部１０は、評価対象モニタ２１の画像表示部２２の表示画面の表示ムラ情報を取得する。測定部１０は撮像装置で構成され、測定部１０は、評価対象モニタ２１の画像表示部２２の表示画面に向けられており、表示画面から照射される測定光を検出する。測定部１０の検出結果は、測定光情報として情報処理装置１に送信される。この測定光情報は画像表示部２２の表示画面の表示ムラを示す情報を含んでいることから、測定光情報は表示ムラ情報に含まれる。
【0021】
ここで、表示ムラは、輝度ムラ及び色度ムラのうちの一方を意味していてもよいし、輝度ムラ及び色度ムラの両方を意味していてもよい。測定光情報は、任意の階調の表示画面の輝度又は色度を示す情報を含んでいる。評価対象モニタ２１は、例えば、ＬＣＤ(Liquid Crystal Display)モニタでもよいし、有機ＥＬ（Electro Luminescence）モニタでもよいし、ＰＤＰ(Plasma Display Panel)モニタでもよい。
【0022】
２－２．情報処理装置１１
情報処理装置１１は、情報処理装置１１を統括するサーバーとしての機能を有する。情報処理装置１１は、演算部１２と記憶部１３と入出力部１４とを備える。演算部１２は、学習部１２Ａと誤差算出部１２Ｂと類似度算出部１２Ｃと取得部１２Ｄとを備える。演算部１２はプロセッサユニットを備えている。例えば、演算部１２はＧＰＵ（Graphics Processing Unit）を備えており、演算速度が高い。
情報処理装置１１は、情報処理装置１１を統括するサーバーとしての機能を有する。情報処理装置１１は、演算部１２と記憶部１３と入出力部１４とを備える。演算部１２は、学習部１２Ａと誤差算出部１２Ｂと類似度算出部１２Ｃと取得部１２Ｄとを備える。演算部１２はプロセッサユニットを備えている。例えば、演算部１２はＧＰＵ（Graphics Processing Unit）を備えており、演算速度が高い。
【0023】
図３に示すように、学習部１２Ａは、学習段階及び関係取得段階の両方で用いられる構成である。その一方、図４に示すように、誤差算出部１２Ｂ、類似度算出部１２Ｃ及び取得部１２Ｄ（図示省略）は、関係取得段階で用いられる構成である。学習段階は、後述する学習部１２Ａのオートエンコーダの重み係数を逐次変更して確定させていく段階である。関係取得段階は、学習段階で確定した重み係数を用いて、図５Ａに示すグラフに対応する関係ＲＳを取得する段階である。
【0024】
２－２－１．学習部１２Ａ
図３に示すように、学習部１２Ａはオートエンコーダとしての機能を有し、学習部１２Ａはエンコーダ１２Ａ１とデコーダ１２Ａ２とを有する。学習部１２Ａのオートエンコーダとしては、全結合層を用いたオートエンコーダを採用してもよいし、畳み込み層を用いたオートエンコーダを採用してもよい。つまり、学習部１２Ａのオートエンコーダの構成は適宜変更してよい。第１実施形態では、畳み込み層に加えて、類似度抽出のために全結合層を用いたオートエンコーダを採用する。学習部１２Ａは、学習時入力画像データｄ１を入力すると、学習時出力画像データｄ２が出力されるように構成されている。具体的には、学習部１２Ａは、学習時入力画像データｄ１に、学習時出力画像データｄ２を近づける学習モデルで、予め学習をしている。ここで、学習時入力画像データｄ１は、許容可能であると予め分類された画像データから生成される画像データである。学習時入力画像データｄ１は、処理部３で説明するフィルタ処理と同様の処理が施されている。
図３に示すように、学習部１２Ａはオートエンコーダとしての機能を有し、学習部１２Ａはエンコーダ１２Ａ１とデコーダ１２Ａ２とを有する。学習部１２Ａのオートエンコーダとしては、全結合層を用いたオートエンコーダを採用してもよいし、畳み込み層を用いたオートエンコーダを採用してもよい。つまり、学習部１２Ａのオートエンコーダの構成は適宜変更してよい。第１実施形態では、畳み込み層に加えて、類似度抽出のために全結合層を用いたオートエンコーダを採用する。学習部１２Ａは、学習時入力画像データｄ１を入力すると、学習時出力画像データｄ２が出力されるように構成されている。具体的には、学習部１２Ａは、学習時入力画像データｄ１に、学習時出力画像データｄ２を近づける学習モデルで、予め学習をしている。ここで、学習時入力画像データｄ１は、許容可能であると予め分類された画像データから生成される画像データである。学習時入力画像データｄ１は、処理部３で説明するフィルタ処理と同様の処理が施されている。
【0025】
ここで、学習モデルとは、多数の教師データを用いてモデルを訓練し、将来の出力を予測可能にするモデルである。本実施形態において、教師データの入力データは学習時入力画像データｄ１であり、教師データの正解データは教師データの入力データと同じである。多数の教師データが学習部１２Ａに入力されることで、エンコーダ１２Ａ１及びデコーダ１２Ａ２の重み係数は逐次変更される。そして、学習部１２Ａの学習が完了すると、学習部１２Ａでは重み係数が確定する。つまり、学習部１２Ａでは、上述した学習段階において、重み係数が確定される。その後に、上述した関係取得段階において、学習部１２Ａは、図５Ａに示す誤差Ｌ及び類似度Ｓの関係ＲＳを取得するために用いられる。具体的には、学習部１２Ａは、関係取得用の入力画像データＤ１が入力されると、確定した重み係数に基づいて圧縮データＤｃを出力するとともに、確定した重み係数に基づいて算出される出力画像データ（関係取得用の出力画像データＤ２）を出力する。次に説明する誤差算出部１２Ｂ及び類似度算出部１２Ｃは、これらの出力を取得する。
【0026】
２－２－２．誤差算出部１２Ｂ
図４に示すように、誤差算出部１２Ｂは関係取得用の入力画像データＤ１と関係取得用の出力画像データＤ２との誤差Ｌを算出する。誤差Ｌは、関係取得用の入力画像データＤ１の各座標の各ピクセル値と、関係取得用の出力画像データＤ２の各座標の各ピクセル値との差分ｔに基づいて算出される。換言すると、誤差Ｌは、損失関数（入力Ｉ － 出力Ｏ）２に基づいて算出される。入力Ｉは関係取得用の入力画像データＤ１の各座標の各ピクセル値に対応し、出力Ｏは関係取得用の出力画像データＤ２の各座標の各ピクセル値に対応している。例えば、画像データが縦ａ×横ｂ（ａ、ｂは自然数）の座標を有する場合において、誤差Ｌは、（各座標の差分ｔ）２の総和を平均して表される。
図４に示すように、誤差算出部１２Ｂは関係取得用の入力画像データＤ１と関係取得用の出力画像データＤ２との誤差Ｌを算出する。誤差Ｌは、関係取得用の入力画像データＤ１の各座標の各ピクセル値と、関係取得用の出力画像データＤ２の各座標の各ピクセル値との差分ｔに基づいて算出される。換言すると、誤差Ｌは、損失関数（入力Ｉ － 出力Ｏ）２に基づいて算出される。入力Ｉは関係取得用の入力画像データＤ１の各座標の各ピクセル値に対応し、出力Ｏは関係取得用の出力画像データＤ２の各座標の各ピクセル値に対応している。例えば、画像データが縦ａ×横ｂ（ａ、ｂは自然数）の座標を有する場合において、誤差Ｌは、（各座標の差分ｔ）２の総和を平均して表される。
【0027】
２－２－３．類似度算出部１２Ｃ
図４に示すように、類似度算出部１２Ｃは、エンコーダ１２Ａ１で圧縮されたデータ（圧縮データｄｃ）と基準データｄｒｅｆとに基づいて、圧縮データｄｃと基準データｄｒｅｆとの類似度を算出する。ここで言う類似度は、コサイン類似度を意味している。つまり、類似度算出部１２Ｃは、圧縮データｄｃと基準データｄｒｅｆとの内積に基づいて類似度を算出する。基準データｄｒｅｆには、複数の圧縮データｄｃの重心データが用いられる。第１実施形態において、基準データｄｒｅｆの生成に用いる全ての圧縮データｄｃは、許容可能であると予め分類された画像データから生成される。つまり、基準データｄｒｅｆの生成には、学習時入力画像データｄ１を圧縮したデータ（圧縮データｄｃ）が用いられる。なお、学習部１２Ａが学習途中の状態では、重み係数が逐次変化する。このため、学習部１２Ａが学習途中の状態において、取得する圧縮データｄｃを、重心データの演算に用いると、基準データｄｒｅｆの基準としての適正が損なわれる可能性がある。そこで、重心データを取得するときに用いる圧縮データｄｃは、重み係数が確定した状態で、学習部１２Ａに複数の学習時入力画像データｄ１を入力することで、取得するとよい。また、圧縮データｄｃは複数次元のベクトルであり、重心データは許容可能であると予め分類された画像データ群における複数の圧縮データｄｃの重心ベクトルである。
図４に示すように、類似度算出部１２Ｃは、エンコーダ１２Ａ１で圧縮されたデータ（圧縮データｄｃ）と基準データｄｒｅｆとに基づいて、圧縮データｄｃと基準データｄｒｅｆとの類似度を算出する。ここで言う類似度は、コサイン類似度を意味している。つまり、類似度算出部１２Ｃは、圧縮データｄｃと基準データｄｒｅｆとの内積に基づいて類似度を算出する。基準データｄｒｅｆには、複数の圧縮データｄｃの重心データが用いられる。第１実施形態において、基準データｄｒｅｆの生成に用いる全ての圧縮データｄｃは、許容可能であると予め分類された画像データから生成される。つまり、基準データｄｒｅｆの生成には、学習時入力画像データｄ１を圧縮したデータ（圧縮データｄｃ）が用いられる。なお、学習部１２Ａが学習途中の状態では、重み係数が逐次変化する。このため、学習部１２Ａが学習途中の状態において、取得する圧縮データｄｃを、重心データの演算に用いると、基準データｄｒｅｆの基準としての適正が損なわれる可能性がある。そこで、重心データを取得するときに用いる圧縮データｄｃは、重み係数が確定した状態で、学習部１２Ａに複数の学習時入力画像データｄ１を入力することで、取得するとよい。また、圧縮データｄｃは複数次元のベクトルであり、重心データは許容可能であると予め分類された画像データ群における複数の圧縮データｄｃの重心ベクトルである。
【0028】
第１実施形態において、類似度は０以上１以下の値である。つまり、類似度を算出する際において、圧縮データｄｃと基準データｄｒｅｆとの内積は正規化されている。類似度が１に近いほど、圧縮データｄｃに対応する画像データの表示ムラのパターンと、基準データｄｒｅｆに対応する画像の表示ムラのパターンとは似ていることを意味する。なお、第１実施形態では、類似度を０以上１以下の値としているが、それに限定されるものではなく、適宜変更可能である。例えば、第１実施形態におけるオートエンコーダにはエンコード結果がランプ関数の出力となる構成が採用されているが、オートエンコーダがランプ関数を採用しない場合には、類似度は－１以上１以下の値である。
【0029】
２－２－４．取得部１２Ｄ
取得部１２Ｄは、誤差算出部１２Ｂ及び類似度算出部１２Ｃで算出された誤差及び類似度を取得する。複数の関係取得用の入力画像データが学習部１２Ａに入力されることで、取得部１２Ｄは、学習部１２Ａに入力された関係取得用の入力画像データの数に対応する複数組の誤差及び類似度を取得する。図５Ａは、横軸を誤差Ｌとし且つ縦軸を類似度Ｓとするグラフに、取得部１２Ｄが取得した各組の誤差及び類似度をプロットしたものである。
取得部１２Ｄは、誤差算出部１２Ｂ及び類似度算出部１２Ｃで算出された誤差及び類似度を取得する。複数の関係取得用の入力画像データが学習部１２Ａに入力されることで、取得部１２Ｄは、学習部１２Ａに入力された関係取得用の入力画像データの数に対応する複数組の誤差及び類似度を取得する。図５Ａは、横軸を誤差Ｌとし且つ縦軸を類似度Ｓとするグラフに、取得部１２Ｄが取得した各組の誤差及び類似度をプロットしたものである。
【0030】
図５Ａに示すように、線Ｌａで示す領域よりも左側には、許容可能であると予め分類された表示画面の関係取得用の入力画像データが分布している。線Ｌａで示す領域よりも右側には、許容可能でないと予め分類された表示画面の関係取得用の入力画像データが分布している。このように、誤差及び類似度の両方を特徴量として入力画像データをプロットすることで、図５Ａに示すグラフのように、許容可能でない画像データと、許容可能である画像データとが、切り分けられる。つまり、図５Ａに示す線Ｌａは、許容可能である画像データと許容可能でない画像データとを分類する関係式である。
【0031】
取得部１２Ｄは、この線Ｌａに対応する関係式を取得する。線Ｌａが例えば直線である場合には、取得部１２Ｄは線Ｌａの傾き及び切片を取得する。取得部１２Ｄが線Ｌａの傾き及び切片を取得する方法は、コンピュータ（取得部１２Ｄ）が各組の誤差及び類似度のプロットに基づいて演算して取得する方法であってもよいし、ユーザーが図５Ａに示すグラフを参照しながら決定する方法であってもよい。また、線Ｌａに対応する関係式は、直線に限定されるものではなく、例えば曲線で表される関係式であってもよい。更に、第１実施形態において、取得部１２Ｄは線Ｌａに対応する関係式を取得しているが、それに限定されるものではなく、取得部１２Ｄは、誤差及び類似度に応じて、許容可能である画像データと許容可能でない画像データとを分類するテーブルを取得してもよい。
【0032】
２－２－５．記憶部１３及び入出力部１４
記憶部１３には、例えば、学習部１２Ａの学習モデルで用いる各種のパラメータ等が格納されている。入出力部１４は学習時入力画像データｄ１及び関係取得用の入力画像データＤ１等を受け取る、また、入出力部１４は取得部１２Ｄが取得した関係式等を情報処理装置１へ出力する。
記憶部１３には、例えば、学習部１２Ａの学習モデルで用いる各種のパラメータ等が格納されている。入出力部１４は学習時入力画像データｄ１及び関係取得用の入力画像データＤ１等を受け取る、また、入出力部１４は取得部１２Ｄが取得した関係式等を情報処理装置１へ出力する。
【0033】
２－３．情報処理装置１
情報処理装置１は、データ生成部２ａと判定部２Ａと誤差算出部２Ｂと類似度算出部２Ｃと処理部３と記憶部４と入出力部５とを備える。情報処理装置１は例えば製造現場の製造ラインに配置される。
情報処理装置１は、データ生成部２ａと判定部２Ａと誤差算出部２Ｂと類似度算出部２Ｃと処理部３と記憶部４と入出力部５とを備える。情報処理装置１は例えば製造現場の製造ラインに配置される。
【0034】
２－３－１．処理部３
処理部３は、フィルタ処理、閾値処理及び絶対値化処理を実行する。図２に示すように、フィルタ処理において、測定部１０で取得した画像データには、バンドパスフィルタが適用される。例えば帯ムラや筋ムラを際立たせたい場合には、測定部１０で取得した画像データには、帯ムラや筋ムラの幅に相当する空間周波数を通すフィルタが適用される。フィルタ処理のフィルタは、判定したいムラの種類に応じて決定することができる。
処理部３は、フィルタ処理、閾値処理及び絶対値化処理を実行する。図２に示すように、フィルタ処理において、測定部１０で取得した画像データには、バンドパスフィルタが適用される。例えば帯ムラや筋ムラを際立たせたい場合には、測定部１０で取得した画像データには、帯ムラや筋ムラの幅に相当する空間周波数を通すフィルタが適用される。フィルタ処理のフィルタは、判定したいムラの種類に応じて決定することができる。
【0035】
図２に示すように、フィルタ処理後画像データには、閾値処理が施される。閾値処理では、予め定められた閾値範囲内のピクセル値になっている各座標のピクセル値を一定値に変換し、当該閾値範囲外のピクセル値の各座標のピクセル値をそのまま維持する処理をする。絶対値化処理では、例えば表示画面の暗領域におけるムラの明暗を反転させ、表示画面の暗領域におけるムラの表示形式と、表示画面の明領域におけるムラの表示形式とを同じにする。
【0036】
２－３－２．データ生成部２ａ
データ生成部２ａも学習部１２Ａで説明したオートエンコーダ対応する機能を有している。データ生成部２ａは学習部１２Ａで確定された重み係数に基づく演算を実行する。具体的には、データ生成部２ａは、処理部３から入力画像データｒ１が入力されると、確定された重み係数を用いて圧縮データｒｃ及び出力画像データｒ２を生成する。このように、データ生成部２ａでは多数の教師データを用いてモデルを訓練するわけではなく、データ生成部２ａは学習部１２Ａで確定された重み係数を用いて圧縮データｒｃや出力画像データｒ２を生成する。
データ生成部２ａも学習部１２Ａで説明したオートエンコーダ対応する機能を有している。データ生成部２ａは学習部１２Ａで確定された重み係数に基づく演算を実行する。具体的には、データ生成部２ａは、処理部３から入力画像データｒ１が入力されると、確定された重み係数を用いて圧縮データｒｃ及び出力画像データｒ２を生成する。このように、データ生成部２ａでは多数の教師データを用いてモデルを訓練するわけではなく、データ生成部２ａは学習部１２Ａで確定された重み係数を用いて圧縮データｒｃや出力画像データｒ２を生成する。
【0037】
２－３－３．誤差算出部２Ｂ及び類似度算出部２Ｃ
誤差算出部２Ｂの機能は誤差算出部１２Ｂと同様である。なお、誤差算出部１２Ｂに入力されるデータは例えば関係取得用の入力画像データＤ１であるが、誤差算出部２Ｂに入力されるデータは入力画像データｒ１に基づくデータである。誤差算出部２Ｂは入力画像データｒ１と出力画像データｒ２との誤差Ｌを算出する。誤差Ｌは、入力画像データｒ１の各座標の各ピクセル値と、出力画像データｒ２の各座標の各ピクセル値との差分ｔに基づいて算出される。換言すると、誤差Ｌは、損失関数（入力Ｉ － 出力Ｏ）２に基づいて算出される。入力Ｉは入力画像データｒ１の各座標の各ピクセル値に対応し、出力Ｏは出力画像データｒ２の各座標の各ピクセル値に対応している。
誤差算出部２Ｂの機能は誤差算出部１２Ｂと同様である。なお、誤差算出部１２Ｂに入力されるデータは例えば関係取得用の入力画像データＤ１であるが、誤差算出部２Ｂに入力されるデータは入力画像データｒ１に基づくデータである。誤差算出部２Ｂは入力画像データｒ１と出力画像データｒ２との誤差Ｌを算出する。誤差Ｌは、入力画像データｒ１の各座標の各ピクセル値と、出力画像データｒ２の各座標の各ピクセル値との差分ｔに基づいて算出される。換言すると、誤差Ｌは、損失関数（入力Ｉ － 出力Ｏ）２に基づいて算出される。入力Ｉは入力画像データｒ１の各座標の各ピクセル値に対応し、出力Ｏは出力画像データｒ２の各座標の各ピクセル値に対応している。
【0038】
類似度算出部２Ｃの機能は類似度算出部１２Ｃと同様である。なお、類似度算出部１２Ｃに入力されるデータは例えば関係取得用の入力画像データＤ１であるが、類似度算出部２Ｃに入力されるデータは入力画像データｒ１に基づくデータである。類似度算出部２Ｃは、データ生成部２ａのエンコーダで圧縮されたデータ（圧縮データｒｃ）と基準データｄｒｅｆとに基づいて、圧縮データｒｃと基準データｄｒｅｆとの類似度を算出する。つまり、類似度算出部２Ｃは、圧縮データｒｃと基準データｄｒｅｆとの内積に基づいて類似度を算出する。類似度算出部２Ｃが用いる基準データｄｒｅｆは、類似度算出部１２Ｃが用いる基準データｄｒｅｆと同じである。
【0039】
２－３－４．判定部２Ａ
判定部２Ａは、誤差Ｌ及び類似度Ｓの関係ＲＳに基づいて、画像表示部２２の表示画面の表示ムラが許容可能な画像データであるか否かを判定する。判定部２Ａは、取得部１２Ｄが予め取得した関係式又はテーブルを取得している。判定部２Ａは、入力画像データｒ１に基づく誤差Ｌ及び類似度Ｓと、取得部１２Ｄが予め取得した関係式と、に基づいて、画像データの表示ムラが許容可能な画像データであるか否かを分類する。入力画像データｒ１に基づく誤差Ｌは、誤差算出部２Ｂが算出する誤差Ｌに対応し、入力画像データｒ１に基づく類似度Ｓは、類似度算出部２Ｃが算出する類似度Ｓである。
判定部２Ａは、誤差Ｌ及び類似度Ｓの関係ＲＳに基づいて、画像表示部２２の表示画面の表示ムラが許容可能な画像データであるか否かを判定する。判定部２Ａは、取得部１２Ｄが予め取得した関係式又はテーブルを取得している。判定部２Ａは、入力画像データｒ１に基づく誤差Ｌ及び類似度Ｓと、取得部１２Ｄが予め取得した関係式と、に基づいて、画像データの表示ムラが許容可能な画像データであるか否かを分類する。入力画像データｒ１に基づく誤差Ｌは、誤差算出部２Ｂが算出する誤差Ｌに対応し、入力画像データｒ１に基づく類似度Ｓは、類似度算出部２Ｃが算出する類似度Ｓである。
【0040】
例えば、入力画像データｒ１に基づく誤差Ｌ及び類似度Ｓのプロット位置が、図５Ａに示す線Ｌａよりも右側であれば、入力画像データｒ１は許容可能でない画像データに分類される。逆に、入力画像データｒ１に基づく誤差Ｌ及び類似度Ｓのプロット位置が、図５Ａに示す線Ｌａよりも左側であれば、入力画像データｒ１は許容可能な画像データに分類される。判定部２Ａはこの分類結果を判定結果として出力してもよいし、判定部２Ａは別の分析結果を加味して最終的に判定結果を出力してもよい。また、判定部２Ａは、線Ｌａ付近のプロットの画像データを、検査員が注意すべきデータとして出力してもよい。第１実施形態では、判定部２Ａはこの分類結果を判定結果として出力する。例えば、判定部２Ａは、入力画像データｒ１を許容可能であると分類した場合には、入力画像データｒ１の表示ムラが許容可能であると判定する。判定部２Ａの判定結果及び分類結果は、例えば、情報処理装置１に設けられたモニタ（図示省略）に表示される。
【0041】
２－３－５．記憶部４と入出力部５
記憶部４には、例えば、データ生成部２ａの演算で用いる各種のパラメータ等が格納されている。入出力部５には、測定部１０から入力画像データを受け取る。また、入出力部５は、情報処理装置１１から、学習部１２Ａで確定した重み係数、基準データｄｒｅｆ、及び、取得部１２Ｄが予め取得した関係式又はテーブル等を受け取る。
記憶部４には、例えば、データ生成部２ａの演算で用いる各種のパラメータ等が格納されている。入出力部５には、測定部１０から入力画像データを受け取る。また、入出力部５は、情報処理装置１１から、学習部１２Ａで確定した重み係数、基準データｄｒｅｆ、及び、取得部１２Ｄが予め取得した関係式又はテーブル等を受け取る。
【0042】
３．フローチャート
図７に基づいて、情報処理装置１の動作フローを説明する。情報処理装置１の入出力部５は、画像表示部２２の表示画面の画像データを取得する（ステップＳ１）。画像データは、測定部１０が画像表示部２２の表示画面から取得した測定光情報に対応する。情報処理装置１の処理部３は、画像データに対してフィルタ処理、閾値処理及び絶対値化処理を施し、画像データを入力画像データｒ１に変換する（ステップＳ２）。つまり、情報処理装置１の処理部３は、画像データを入力画像データｒ１に変換することで、入力画像データｒ１を取得する。
図７に基づいて、情報処理装置１の動作フローを説明する。情報処理装置１の入出力部５は、画像表示部２２の表示画面の画像データを取得する（ステップＳ１）。画像データは、測定部１０が画像表示部２２の表示画面から取得した測定光情報に対応する。情報処理装置１の処理部３は、画像データに対してフィルタ処理、閾値処理及び絶対値化処理を施し、画像データを入力画像データｒ１に変換する（ステップＳ２）。つまり、情報処理装置１の処理部３は、画像データを入力画像データｒ１に変換することで、入力画像データｒ１を取得する。
【0043】
情報処理装置１のデータ生成部２ａは、入力画像データｒ１から、圧縮データｒｃ及び出力画像データｒ２を生成する（ステップＳ３）。情報処理装置１の誤差算出部２Ｂは、入力画像データｒ１及び出力画像データｒ２に基づいて誤差Ｌを算出する（ステップＳ４）。また、情報処理装置１の類似度算出部２Ｃは、圧縮データｒｃ及び基準データｄｒｅｆに基づいて類似度Ｓを算出する（ステップＳ５）。ステップＳ４は誤差算出ステップに対応し、ステップＳ５は類似度算出ステップに対応する。ステップＳ４及びステップＳ５の順番は特に限定されるものではない。情報処理装置１の判定部２Ａは、ステップＳ４で算出した誤差Ｌと、ステップＳ５で算出した類似度と、予め取得している関係ＲＳ（図４に示す線Ｌａに対応する関係式）とに基づいて、入力画像データｒ１の表示ムラが許容可能であるか否かを判定する（ステップＳ６）。ステップＳ６は判定ステップに対応する。
【0044】
情報処理装置１の判定部２Ａは、情報処理装置１１の取得部１２Ｄより、関係ＲＳを予め取得している。情報処理装置１１の取得部１２Ｄは、複数組の関係取得用の誤差Ｌ及び関係取得用の類似度Ｓを算出することで関係ＲＳを取得する。具体的には、情報処理装置１１の取得部１２Ｄは、次に説明する第１及び第２ステップを実行することで、関係ＲＳを取得する。第１ステップでは、関係取得用の入力画像データＤ１と、学習部１２Ａからの、関係取得用の出力画像データＤ２と、に基づいて関係取得用の誤差Ｌを算出する。第２ステップでは、関係取得用の入力画像データＤ１を学習部１２Ａのエンコーダ１２Ａ１で圧縮して得られた関係取得用の圧縮データＤｃと、基準データｄｒｅｆと、に基づいて関係取得用の類似度Ｓを算出する。このように、取得部１２Ｄが関係ＲＳを取得し、判定部２Ａが情報処理装置１１から関係ＲＳを取得するステップは、取得ステップに対応する。
【0045】
４．第１実施形態の効果
第１実施形態において、情報処理装置１の判定部２Ａが、画像データが許容可能であるか否かを次に説明する２つの観点に基づいて自動的に判定する構成であるので、評価対象モニタ２１の検査がすみやかに行われ、評価対象モニタ２１の検査時間の増大が抑制される。
第１実施形態において、情報処理装置１の判定部２Ａが、画像データが許容可能であるか否かを次に説明する２つの観点に基づいて自動的に判定する構成であるので、評価対象モニタ２１の検査がすみやかに行われ、評価対象モニタ２１の検査時間の増大が抑制される。
【0046】
第１実施形態の判定ステップでは、誤差Ｌ及び類似度Ｓの関係に基づいて表示ムラが許容可能な画像データであるか否かを判定する。具体的には、判定ステップでは、誤差Ｌを加味して、表示ムラが許容可能であるか否かを分類するので、表示ムラの強弱（ピクセル値）に基づく観点で画像データを分類することができる。また、判定ステップでは、類似度Ｓを加味して、表示ムラが許容可能であるか否かを分類するので、多様な表示ムラのパターンに基づく観点で画像データを分類することができる。
【0047】
例えば、表示ムラの強弱（ピクセル値）に基づく観点のみで、表示ムラが許容可能な画像データであるか否かを分類する場合には、図５Ａに示す全てのプロットが横軸上に並ぶことになる。ここでは、表示ムラの強弱（ピクセル値）に基づく観点のみで、表示ムラが許容可能な画像データであるか否かを分類するデメリットを強調するため、図５Ａに示すプロットに基づいて説明をする。表示ムラの強弱（ピクセル値）に基づく観点のみで、表示ムラが許容可能な画像データであるか否かを判定する場合には、分類に用いる関係式は、図５Ａに示す直線Ｌｂのような態様に限定される。ここで、直線Ｌｂは縦軸に平行である。この直線Ｌｂの左側には表示ムラが許容可能ではない画像データのプロットも存在しており、直線Ｌｂでは表示ムラが許容可能な画像データと表示ムラが許容可能でない画像データとを適切に分類することができないことは明らかである。
【0048】
類似度Ｓは、画像データの表示ムラのパターンが、許容可能な表示ムラのパターンにどれだけ近いかを表している。つまり、類似度Ｓは表示ムラの強弱の観点で画像データを分析するパラメータではない。表示ムラの強弱の観点で画像データを分析するパラメータは、誤差Ｌである。類似度Ｓは正規化されているため、類似度は表示ムラの強弱に関する情報を含まないからである。
誤差Ｌが同じで類似度Ｓが異なる２つの入力画像データｒ１があった場合、類似度Ｓの高い方の入力画像データｒ１は、許容可能な表示ムラに似た表示ムラのパターンを有するため、類似度Ｓの高い方の入力画像データｒ１は表示ムラが許容可能である可能性が高いはずである。この性質を利用し、第１実施形態の判定部２Ａの関係式は、誤差Ｌが同じであっても、類似度Ｓが高い場合には、入力画像データｒ１が許容可能な画像データに分類されやすくなるように設定されている。また、第１実施形態の判定部２Ａの関係式は、誤差Ｌが同じであっても、類似度Ｓが低い場合には、入力画像データｒ１が許容可能でない画像データに分類されやすくなるように設定される。
誤差Ｌが同じで類似度Ｓが異なる２つの入力画像データｒ１があった場合、類似度Ｓの高い方の入力画像データｒ１は、許容可能な表示ムラに似た表示ムラのパターンを有するため、類似度Ｓの高い方の入力画像データｒ１は表示ムラが許容可能である可能性が高いはずである。この性質を利用し、第１実施形態の判定部２Ａの関係式は、誤差Ｌが同じであっても、類似度Ｓが高い場合には、入力画像データｒ１が許容可能な画像データに分類されやすくなるように設定されている。また、第１実施形態の判定部２Ａの関係式は、誤差Ｌが同じであっても、類似度Ｓが低い場合には、入力画像データｒ１が許容可能でない画像データに分類されやすくなるように設定される。
【0049】
第１実施形態の判定ステップでは、表示ムラの強弱（ピクセル値）に基づく観点だけでなく、多様な表示ムラのパターンに基づく観点で、表示ムラが許容可能であるか否かを分類するので、画像データがよりきめ細やかに分類される。両方の観点で入力画像データｒ１を分類することで、図５Ａに示すように、表示ムラが許容可能な画像データと表示ムラが許容可能でない画像データとを切り分ける関係式がグラフ上に設定され得る。このため、第１実施形態の判定ステップでは、表示画像の表示ムラが許容可能な画像データであるか否かの判定精度が向上する。
【0050】
また、図７のフローチャートが学習時に用いられたモニタと異なる種類のモニタに対して適用された場合であっても、第１実施形態と同様の効果が得られる。つまり、表示画像の表示ムラが許容可能な画像データであるか否かを精度よく判定可能である。学習時に用いられたモニタの誤差Ｌと類似度Ｓの相関と、学習時に用いられたモニタと異なる種類のモニタの誤差Ｌと類似度Ｓの相関とは似通っているためである。
【0051】
５－１．変形例１
第１実施形態では、表示ムラを、許容可能な画像データと許容可能でない画像データとの２つに分類する形態であったが、それに限定されるものではない。変形例１では、表示ムラを、注意データに分類することができる。具体的には、取得部１２Ｄは、図８に示すように、線Ｌａ１及び線Ｌａ２に対応する関係式をそれぞれ取得してもよい。線Ｌａ１よりも左側の領域Ａｒ１が許容可能な画像データの領域でありとし、線Ｌａ２よりも右側の領域Ａｒ２が許容可能でない画像データの領域であり、線Ｌａ１と線Ｌａ２との間の領域Ａｒ３が注意データの領域である。入力画像データｒ１のプロットが領域Ａｒ３に位置する場合には、判定部２Ａの判定結果は検査員に注意を促す内容とする。許容可能な表示ムラの画像データが主に分布する領域と、許容可能でない画像データが主に分布する領域の境界が明確でない場合には、変形例１のように、分類式を複数設定することで、検査員は、より精度よく且つより慎重に、表示ムラが許容可能であるか否かを判断することができる。なお、変形例１の構成であっても、全ての評価対象モニタ２１の表示ムラが注意データに分類されるとは限らない。つまり、変形例１の構成であっても、全ての評価対象モニタ２１のうちの一部の表示ムラが、領域Ａｒ１又は領域Ａｒ２に分類され得る。このため、変形例１の構成であっても、評価対象モニタ２１の検査時間の増大の抑制効果が得られる。
第１実施形態では、表示ムラを、許容可能な画像データと許容可能でない画像データとの２つに分類する形態であったが、それに限定されるものではない。変形例１では、表示ムラを、注意データに分類することができる。具体的には、取得部１２Ｄは、図８に示すように、線Ｌａ１及び線Ｌａ２に対応する関係式をそれぞれ取得してもよい。線Ｌａ１よりも左側の領域Ａｒ１が許容可能な画像データの領域でありとし、線Ｌａ２よりも右側の領域Ａｒ２が許容可能でない画像データの領域であり、線Ｌａ１と線Ｌａ２との間の領域Ａｒ３が注意データの領域である。入力画像データｒ１のプロットが領域Ａｒ３に位置する場合には、判定部２Ａの判定結果は検査員に注意を促す内容とする。許容可能な表示ムラの画像データが主に分布する領域と、許容可能でない画像データが主に分布する領域の境界が明確でない場合には、変形例１のように、分類式を複数設定することで、検査員は、より精度よく且つより慎重に、表示ムラが許容可能であるか否かを判断することができる。なお、変形例１の構成であっても、全ての評価対象モニタ２１の表示ムラが注意データに分類されるとは限らない。つまり、変形例１の構成であっても、全ての評価対象モニタ２１のうちの一部の表示ムラが、領域Ａｒ１又は領域Ａｒ２に分類され得る。このため、変形例１の構成であっても、評価対象モニタ２１の検査時間の増大の抑制効果が得られる。
【0052】
５－２．変形例２
変形例２では、処理部３のバンドパスフィルタとして、空間周波数に対して人間の視覚特性をモデル化したコントラスト感度特性関数(ＣＳＦ: Contrast Sensitivity Function)を適用している。２次元ＣＳＦフィルタを用いることにより、人間の視覚特性に応じて表示ムラを際立たせることができる。また、２次元ＣＳＦフィルタが特定方向の空間周波数を通す構成を採用することで、特定方向の帯ムラ及び筋ムラを際立たせることもできる。図９に示すように、２次元ＣＳＦフィルタ適用した場合には、画像データから処理後画像データＤａが生成され、２次元ＣＳＦフィルタのうち縦方向のみを通すフィルタを適用した場合には、画像データから処理後画像データＤｂが生成される。
５－３．変形例３
変形例３では、関係式は機械学習により決定する。例えば、関係式に使用される変数を機械学習により決定する。具体的には、ラベリングされた許容可能な画像データのプロット及び許容可能でない画像データのプロットのうち少なくとも一方と、関係式で表さられる曲線又は直線との距離の合計に基づき関係式に使用される変数を決定する。距離を算出する際、プロットからの距離に重み付けをしてもよく、プロットと曲線又は直線とからの距離の合計が最大又は最小になるように関係式に使用される変数を決定してもよい。
また、誤差Ｌ及び類似度Ｓを機械学習させて、表示ムラが許容可能か否か判定してもよい。例えば、誤差Ｌ及び類似度Ｓと表示ムラが許容可能である確率との関係を機械学習させる。この際、表示ムラが許容可能か否かの判定精度が高くなるように学習させる。確率が所定の閾値以上（又は以下）である画像データのプロットからなる境界を関係式としてもよいし、機械学習された分類器を関係式としてもよい。
なお、機械学習による分類手法には、例えば、ロジスティック回帰、決定木、k近傍法、サポートベクターマシン、ランダムフォレスト、又は、ニューラルネットワーク等がある。
変形例２では、処理部３のバンドパスフィルタとして、空間周波数に対して人間の視覚特性をモデル化したコントラスト感度特性関数(ＣＳＦ: Contrast Sensitivity Function)を適用している。２次元ＣＳＦフィルタを用いることにより、人間の視覚特性に応じて表示ムラを際立たせることができる。また、２次元ＣＳＦフィルタが特定方向の空間周波数を通す構成を採用することで、特定方向の帯ムラ及び筋ムラを際立たせることもできる。図９に示すように、２次元ＣＳＦフィルタ適用した場合には、画像データから処理後画像データＤａが生成され、２次元ＣＳＦフィルタのうち縦方向のみを通すフィルタを適用した場合には、画像データから処理後画像データＤｂが生成される。
５－３．変形例３
変形例３では、関係式は機械学習により決定する。例えば、関係式に使用される変数を機械学習により決定する。具体的には、ラベリングされた許容可能な画像データのプロット及び許容可能でない画像データのプロットのうち少なくとも一方と、関係式で表さられる曲線又は直線との距離の合計に基づき関係式に使用される変数を決定する。距離を算出する際、プロットからの距離に重み付けをしてもよく、プロットと曲線又は直線とからの距離の合計が最大又は最小になるように関係式に使用される変数を決定してもよい。
また、誤差Ｌ及び類似度Ｓを機械学習させて、表示ムラが許容可能か否か判定してもよい。例えば、誤差Ｌ及び類似度Ｓと表示ムラが許容可能である確率との関係を機械学習させる。この際、表示ムラが許容可能か否かの判定精度が高くなるように学習させる。確率が所定の閾値以上（又は以下）である画像データのプロットからなる境界を関係式としてもよいし、機械学習された分類器を関係式としてもよい。
なお、機械学習による分類手法には、例えば、ロジスティック回帰、決定木、k近傍法、サポートベクターマシン、ランダムフォレスト、又は、ニューラルネットワーク等がある。
【0053】
第２実施形態
第２実施形態は第１実施形態と相違する部分を主に説明し、同様の部分については説明を省略する。図１０に示すように、第２実施形態の情報処理システム１００の情報処理装置１１は、判定部２Ａ及び処理部３を備えている。なお、学習部１２Ａはデータ生成部２ａと同様の機能を有するため、第２実施形態の情報処理システム１００の情報処理装置１１は、データ生成部２ａを有さない。
第２実施形態は第１実施形態と相違する部分を主に説明し、同様の部分については説明を省略する。図１０に示すように、第２実施形態の情報処理システム１００の情報処理装置１１は、判定部２Ａ及び処理部３を備えている。なお、学習部１２Ａはデータ生成部２ａと同様の機能を有するため、第２実施形態の情報処理システム１００の情報処理装置１１は、データ生成部２ａを有さない。
【0054】
第２実施形態の情報処理装置１の機能は第１実施形態の情報処理装置１と比較すると制限されている。第２実施形態の情報処理装置１は測定部１０から取得した画像データを情報処理装置１１に出力するアプリケーションが格納されている。つまり、第２実施形態の情報処理装置１は画像データを情報処理装置１１へ出力する機能を有する。また、第２実施形態の情報処理装置１は、出力した画像データの表示ムラが許容可能であるか否かの判定結果を受け取る機能を有する。つまり、第２実施形態は、製造現場に設けられている情報処理装置１が画像データを分析せず、情報処理装置１１が画像データを分析する形態である。情報処理装置１が受け取った判定結果は、情報処理装置１のモニタ（図示省略）に表示される。第２実施形態では、製造現場に画像データを分析する機器がなくても、製造現場の検査員は画像データの表示ムラが許容可能であるかを判断することができる。第２実施形態は、情報処理装置１が情報処理装置１１に対して遠隔地に配置されている場合や、情報処理装置１を所有する会社と情報処理装置１１を所有する会社とが異なる場合に好適である。
【符号の説明】
【0055】
１：情報処理装置、２Ａ：判定部、２Ｂ：誤差算出部、２Ｃ：類似度算出部、２ａ：データ生成部、３：処理部、４：記憶部、５：入出力部、１０：測定部、１１：情報処理装置、１２：演算部、１２Ａ：学習部、１２Ａ１：エンコーダ、１２Ａ２：デコーダ、１２Ｂ：誤差算出部、１２Ｃ：類似度算出部、１２Ｄ：取得部、１３：記憶部、１４：入出力部、２１：評価対象モニタ、２２：画像表示部、１００：情報処理システム、Ａｒ１：領域、Ａｒ２：領域、Ａｒ３：領域、ＲＳ：関係、Ｓ：類似度、ｄ１：学習時入力画像データ、ｄ２：学習時出力画像データ、ｄｃ：圧縮データ、Ｄ１：関係取得用の入力画像データ、Ｄ２：関係取得用の出力画像データ、Ｄｃ：圧縮データ、ｒ１：入力画像データ、ｒ２：出力画像データ、ｒｃ：圧縮データ、ｄｒｅｆ：基準データ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】