知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-26
(45)【発行日】2024-12-04
(54)【発明の名称】画像処理システム
(51)【国際特許分類】
G09G 3/20 20060101AFI20241127BHJP
G09G 3/36 20060101ALI20241127BHJP
G06N 20/00 20190101ALI20241127BHJP
G09G 3/3233 20160101ALI20241127BHJP
G06T 5/00 20240101ALI20241127BHJP
G06T 7/00 20170101ALI20241127BHJP
【ＦＩ】
G09G3/20 641P
G09G3/36
G09G3/20 670J
G09G3/20 611H
G06N20/00 130
G09G3/3233
G09G3/20 631U
G09G3/20 632F
G06T5/00 700
G06T7/00 350C
【請求項の数】
8
(21)【出願番号】P 2021575095
(86)(22)【出願日】2021-01-27
(86)【国際出願番号】 IB2021050600
(87)【国際公開番号】W WO2021156708
(87)【国際公開日】2021-08-12
【審査請求日】2024-01-05
(31)【優先権主張番号】P 2020020034
(32)【優先日】2020-02-07
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2020085322
(32)【優先日】2020-05-14
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000153878
【氏名又は名称】株式会社半導体エネルギー研究所
(72)【発明者】
【氏名】秋元 健吾
(72)【発明者】
【氏名】三嶋 大地
【審査官】塚本 丈二
(56)【参考文献】
【文献】特開２０１９－２０７１４（ＪＰ，Ａ）
【文献】特開２０１８－１９４７１９（ＪＰ，Ａ）
【文献】特開２００６－１６６１９１（ＪＰ，Ａ）
【文献】特開２００８－１４７９０（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１９／０３７３２０６（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１６／０１８９６１２（ＵＳ，Ａ１）
【文献】中国特許出願公開第１０８５９６２２６（ＣＮ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０９Ｇ ３／２０－３／３８、
Ｇ０９Ｇ ５／００－５／４２、
Ｇ０６Ｎ ２０／００
Ｇ０６Ｔ ５／００
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
表示装置と、撮像装置と、生成装置と、を有し、前記表示装置は、入力部と、機械学習処理部と、ｍ行ｎ列（ｍ、ｎは２以上の整数）の画素がマトリクス状に配列された表示部と、を有し、
前記生成装置は、データベースと、画像処理部と、画像生成部と、学習部と、を有し、
前記データベースには、前記入力部に入力される第１の画像データと、前記第１の画像データに対応する画像を前記表示部に表示させ、前記撮像装置が、前記表示部に表示させた画像を含むように撮像することにより取得した第２の画像データと、に基づき生成されたテーブルが格納され、
前記第１の画像データは、ｍ行ｎ列の第１の階調値を有し、
前記第２の画像データは、ｍ行ｎ列の第２の階調値を有し、
前記テーブルは、前記第１の階調値と、前記第１の階調値の座標に対応する座標の前記第２の階調値と、を表し、
前記画像処理部は、前記入力部に入力される第１の学習用画像データに対して、第２の学習用画像データに基づき画像処理を行うことにより、第３の学習用画像データを生成する機能を有し、
前記第２の学習用画像データは、前記第１の学習用画像データに対応する画像を前記表示部に表示させ、前記撮像装置が、前記表示部に表示させた画像を含むように撮像することにより取得された画像データであり、
前記第３の学習用画像データは、ｍ行ｎ列の第３の階調値を有し、
前記画像生成部は、前記第３の階調値を基に選択された前記第２の階調値に対応する前記第１の階調値を含む画像データである、第４の学習用画像データを生成する機能を有し、
前記学習部は、前記第１の学習用画像データを入力した場合に出力される画像データが、前記第４の学習用画像データと一致するような機械学習モデルを生成し、前記機械学習処理部に前記機械学習モデルを出力する機能を有し、
前記機械学習処理部は、前記入力部に入力されたコンテンツ画像データに対して、前記機械学習モデルによる処理を行う機能を有する画像処理システム。
【請求項2】
請求項１において、前記第１の学習用画像データは、ｍ行ｎ列の第４の階調値を有し、
前記第２の学習用画像データは、ｍ行ｎ列の第５の階調値を有し、
前記画像処理部は、前記第３の階調値の合計と、前記第５の階調値の合計と、の差が、前記第４の階調値の合計と、前記第５の階調値の合計と、の差より小さくなるように前記画像処理を行う機能を有する画像処理システム。
【請求項3】
請求項１又は請求項２において、前記機械学習モデルは、ニューラルネットワークモデルである画像処理システム。
【請求項4】
表示装置と、撮像装置と、生成装置と、を有し、前記表示装置は、入力部と、輝点補正部と、ｍ行ｎ列（ｍ、ｎは２以上の整数）の画素がマトリクス状に配列された表示部と、を有し、
前記生成装置は、データベースと、画像生成部と、を有し、
前記データベースには、前記入力部に入力される第１のデータベース画像データと、前記第１のデータベース画像データに対応する画像を前記表示部に表示させ、前記撮像装置が、前記表示部に表示させた画像を含むように撮像することにより取得した第２のデータベース画像データと、に基づき生成されたテーブルが格納され、
前記第１のデータベース画像データは、ｍ行ｎ列の第１の階調値を有し、
前記第２のデータベース画像データは、ｍ行ｎ列の第２の階調値を有し、
前記テーブルは、前記第１の階調値と、前記第１の階調値の座標に対応する座標の前記第２の階調値と、を表し、
前記撮像装置は、前記入力部に入力される第１の輝点補正用画像データに対応する画像を前記表示部に表示させた場合に、前記表示部に表示させた画像を撮像することにより第２の輝点補正用画像データを取得する機能を有し、
前記第２の輝点補正用画像データは、ｍ行ｎ列の第３の階調値を有し、
前記画像生成部は、前記第３の階調値を基に選択された前記第２の階調値に対応する前記第１の階調値を含む画像データである、第３の輝点補正用画像データを生成する機能を有し、
前記輝点補正部は、前記第３の輝点補正用画像データが有する、ｍ行ｎ列の前記第１の階調値のうち、しきい値以下の前記第１の階調値の座標を、輝点座標として検出する機能を有し、
前記輝点補正部は、ｍ行ｎ列の第４の階調値を有するコンテンツ画像データが前記入力部に入力された場合に、前記輝点座標と同一の座標の前記第４の階調値を小さくする機能を有する画像処理システム。
【請求項5】
表示装置と、撮像装置と、生成装置と、を有し、前記表示装置は、入力部と、輝点補正部と、ｍ行ｎ列（ｍ、ｎは２以上の整数）の画素がマトリクス状に配列された表示部と、を有し、
前記生成装置は、データベースと、画像生成部と、を有し、
前記データベースには、前記入力部に入力される第１のデータベース画像データと、前記第１のデータベース画像データに対応する画像を前記表示部に表示させ、前記撮像装置が、前記表示部に表示させた画像を含むように撮像することにより取得した第２のデータベース画像データと、に基づき生成されたテーブルが格納され、
前記第１のデータベース画像データは、ｍ行ｎ列の第１の階調値を有し、
前記第２のデータベース画像データは、ｍ行ｎ列の第２の階調値を有し、
前記テーブルは、前記第１の階調値と、前記第１の階調値の座標に対応する座標の前記第２の階調値と、を表し、
前記撮像装置は、前記入力部に入力される第１の輝点補正用画像データに対応する画像を前記表示部に表示させた場合に、前記表示部に表示させた画像を撮像することにより第２の輝点補正用画像データを取得する機能を有し、
前記第２の輝点補正用画像データは、ｍ行ｎ列の第３の階調値を有し、
前記画像生成部は、前記第３の階調値を基に選択された前記第２の階調値に対応する前記第１の階調値を含む画像データである、第３の輝点補正用画像データを生成する機能を有し、
前記輝点補正部は、前記第３の輝点補正用画像データが有する、ｍ行ｎ列の前記第１の階調値のうち、第１のしきい値以下の前記第１の階調値の座標を、第１の輝点座標として検出する機能を有し、
前記輝点補正部は、前記第２の輝点補正用画像データが有する、ｍ行ｎ列の前記第３の階調値のうち、第２のしきい値以上の前記第３の階調値の座標を、第２の輝点座標として検出する機能を有し、
前記輝点補正部は、ｍ行ｎ列の第４の階調値を有するコンテンツ画像データが前記入力部に入力された場合に、前記第１の輝点座標又は前記第２の輝点座標と同一の座標の前記第４の階調値を小さくする機能を有する画像処理システム。
【請求項6】
請求項４又は請求項５において、前記表示装置は、機械学習処理部を有し、
前記生成装置は、画像処理部と、学習部と、を有し、
前記画像処理部は、前記入力部に入力される第１の学習用画像データに対して、第２の学習用画像データに基づき画像処理を行うことにより、第３の学習用画像データを生成する機能を有し、
前記第２の学習用画像データは、前記第１の学習用画像データに対応する画像を前記表示部に表示させ、前記撮像装置が、前記表示部に表示させた画像を含むように撮像することにより取得された画像データであり、
前記第３の学習用画像データは、ｍ行ｎ列の第５の階調値を有し、
前記画像生成部は、前記第５の階調値を基に選択された前記第２の階調値に対応する前記第１の階調値を含む画像データである、第４の学習用画像データを生成する機能を有し、
前記学習部は、前記第１の学習用画像データを入力した場合に出力される画像データが、前記第４の学習用画像データと一致するような機械学習モデルを生成し、前記機械学習処理部に前記機械学習モデルを出力する機能を有し、
前記機械学習処理部は、前記入力部に入力された前記コンテンツ画像データに対して、前記機械学習モデルによる処理を行う機能を有する画像処理システム。
【請求項7】
請求項６において、前記第１の学習用画像データは、ｍ行ｎ列の第６の階調値を有し、
前記第２の学習用画像データは、ｍ行ｎ列の第７の階調値を有し、
前記画像処理部は、前記第５の階調値の合計と、前記第７の階調値の合計と、の差が、前記第６の階調値の合計と、前記第７の階調値の合計と、の差より小さくなるように前記画像処理を行う機能を有する画像処理システム。
【請求項8】
請求項６又は請求項７において、前記機械学習モデルは、ニューラルネットワークモデルである画像処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の一態様は、画像処理システムに関する。
【背景技術】
【0002】
液晶ディスプレイ、有機ＥＬディスプレイ等の表示装置は、基板上にレジストを塗布した後、マスクを介して露光してパターニングを行うことにより製造することができる。ここで、表示装置を大型化するためには、基板も大きくする必要があるが、マスクを基板の大きさに合わせて大きくすることができない場合がある。このような場合に表示装置を製造する方法として、基板面内をマスクの大きさに対応した複数の露光領域に分割して、露光領域ごとに露光する方法が特許文献１に開示されている。
【0003】
また、表示装置の画素が有する表示素子、トランジスタ等の特性不良、又は劣化等により、欠陥画素が生じる場合がある。欠陥画素は、例えば輝点、又は暗点となる。ここで、表示装置に表示される画像を視認する場合、輝点は暗点より目立つため、視認性への影響が大きい。よって、輝点が多いと、表示装置に高品位な画像を表示することができなくなる場合がある。特許文献２には、表示装置の製造過程において、輝点を暗点化する方法が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１７－１９８９９０号公報
【文献】特表２０１８－５１４８０１号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記のように分割露光を行う場合、マスクの位置が露光領域からずれること等に起因して、露光領域の境界における露光量が、他の領域における露光量と異なる場合がある。これにより、露光領域の境界に設けられる画素が有する素子の特性が、他の領域に設けられる画素が有する素子の特性と異なる場合がある。これにより、階調が同一でも、露光領域の境界に設けられる画素が射出する光の輝度と、他の領域に設けられる画素が射出する光の輝度と、が異なる場合がある。当該輝度の異なりは、表示むらとして視認される場合がある。
【0006】
表示むらを目立たなくするための方法として、表示装置に入力される画像データに対して画像処理を行う方法が考えられる。例えば、機械学習を用いた画像処理を行う方法が考えられる。具体的には、生成装置により機械学習モデルを生成し、表示装置に入力される画像データに対して機械学習モデルによる画像処理を行う方法が考えられる。表示装置が、生成装置により生成された機械学習モデルを用いて画像処理を行う場合、表示装置と、生成装置と、により画像処理システムが構成されるということができる。
【0007】
また、表示装置の製造時は輝点ではない画素であっても、表示装置を長期間使用することにより画素を構成する表示素子、トランジスタ等が劣化して電気特性が変動すること等により、輝点となる場合がある。このような輝点は、表示装置の製造過程において除去することは難しい。
【0008】
本発明の一態様は、表示装置に表示される画像の表示むらを目立たなくすることができる画像処理システムを提供することを課題の一とする。また、本発明の一態様は、表示装置に表示される画像を高品位なものとすることができる画像処理システムを提供することを課題の一とする。また、本発明の一態様は、大型の表示装置を有する画像処理システムを提供することを課題の一とする。また、本発明の一態様は、高精細な画像を表示することができる表示装置を有する画像処理システムを提供することを課題の一とする。また、本発明の一態様は、短時間で画像処理を行うことができる画像処理システムを提供することを課題の一とする。また、本発明の一態様は、信頼性の高い表示装置を有する画像処理システムを提供することを課題の一とする。
【0009】
また、本発明の一態様は、新規な画像処理システム、新規な画像処理方法、新規な生成装置、新規な機械学習モデルの生成方法、新規な画像処理装置、又は新規な表示装置等を提供することを課題の一とする。
【0010】
なお、これらの課題の記載は、他の課題の存在を妨げるものではない。なお、本発明の一態様は、これらの課題の全てを解決する必要はないものとする。なお、これら以外の課題は、明細書、図面、請求項などの記載から、自ずと明らかとなるものであり、明細書、図面、請求項などの記載から、これら以外の課題を抽出することが可能である。
【課題を解決するための手段】
【0011】
本発明の一態様は、表示装置と、撮像装置と、学習装置と、を有する画像処理システム、及び当該画像処理システムを用いた機械学習モデルの生成方法に関する。表示装置には、ｍ行ｎ列（ｍ、ｎは２以上の整数）の画素がマトリクス状に配列されている。学習装置は、データベースを有する。データベースには、第１の画像データと、第１の画像データに対応する画像を表示装置に表示させ、当該画像を撮像装置で撮像することにより取得された第２の画像データと、に基づき生成されたテーブルが格納されている。第１の画像データは、ｍ行ｎ列の第１の階調値を有し、第２の画像データは、ｍ行ｎ列の第２の階調値を有する。テーブルは、具体的には、第１の階調値と、第１の階調値の座標に対応する座標の第２の階調値と、を表す。
【0012】
機械学習モデルを生成する際は、まず、第１の学習用画像データに対応する画像を表示装置に表示し、表示装置に表示された画像を撮像装置で撮像することにより第２の学習用画像データを取得する。次に、学習装置が、第１の学習用画像データに対して、第２の学習用画像データに基づき画像処理を行うことにより、ｍ行ｎ列の第３の階調値を有する第３の学習用画像データを生成する。具体的には、学習装置が、第１の学習用画像データに対して、第２の学習用画像データに近づくように画像処理を行うことにより、ｍ行ｎ列の第３の階調値を有する第３の学習用画像データを生成する。例えば、１行１列目乃至ｍ行ｎ列目の第３の階調値を合計した値が、第２の学習用画像データの、１行１列目乃至ｍ行ｎ列目の階調値を合計した値と等しくなるように、第１の学習用画像データに対して画像処理を行う。
【0013】
その後、学習装置が、１行１列目乃至ｍ行ｎ列目の第３の階調値のそれぞれを基に、１行１列目乃至ｍ行ｎ列目の第２の階調値をそれぞれ選択する。例えば、第３の階調値と一致する値、又は最も近い値の第２の階調値を、１行１列目乃至ｍ行ｎ列目のそれぞれについて選択する。次に、選択された第２の階調値に対応する第１の階調値を含む画像データである、第４の学習用画像データを生成する。そして、学習装置が、第１の学習用画像データを入力した場合に出力される画像データが第４の学習用画像データと一致するような機械学習モデルを生成する。
【0014】
学習装置が生成した機械学習モデルは、表示装置に供給される。これにより、表示装置は、表示装置に入力される画像データに対して機械学習モデルによる画像処理を行うことができるようになる。例えば、表示装置に入力される画像データに対して、表示むらを低減するような画像処理を、機械学習モデルにより行うことができる。
【0015】
本発明の一態様は、表示装置と、撮像装置と、学習装置と、を有し、表示装置は、入力部と、機械学習処理部と、ｍ行ｎ列（ｍ、ｎは２以上の整数）の画素がマトリクス状に配列された表示部と、を有し、学習装置は、データベースと、画像処理部と、画像生成部と、学習部と、を有し、データベースには、入力部に入力される第１の画像データと、第１の画像データに対応する画像を表示部に表示させ、撮像装置が、表示部に表示させた画像を含むように撮像することにより取得した第２の画像データと、に基づき生成されたテーブルが格納され、第１の画像データは、ｍ行ｎ列の第１の階調値を有し、第２の画像データは、ｍ行ｎ列の第２の階調値を有し、テーブルは、第１の階調値と、第１の階調値の座標に対応する座標の第２の階調値と、を表し、画像処理部は、入力部に入力される第１の学習用画像データに対して、第２の学習用画像データに基づき画像処理を行うことにより、第３の学習用画像データを生成する機能を有し、第２の学習用画像データは、第１の学習用画像データに対応する画像を表示部に表示させ、撮像装置が、表示部に表示させた画像を含むように撮像することにより取得された画像データであり、第３の学習用画像データは、ｍ行ｎ列の第３の階調値を有し、画像生成部は、第３の階調値を基に選択された第２の階調値に対応する第１の階調値を含む画像データである、第４の学習用画像データを生成する機能を有し、学習部は、第１の学習用画像データを入力した場合に出力される画像データが、第４の学習用画像データと一致するような機械学習モデルを生成し、機械学習処理部に機械学習モデルを出力する機能を有し、機械学習処理部は、入力部に入力されたコンテンツ画像データに対して、機械学習モデルによる処理を行う機能を有する画像処理システムである。
【0016】
又は、上記態様において、第１の学習用画像データは、ｍ行ｎ列の第４の階調値を有し、第２の学習用画像データは、ｍ行ｎ列の第５の階調値を有し、画像処理部は、第３の階調値の合計と、第５の階調値の合計と、の差が、第４の階調値の合計と、第５の階調値の合計と、の差より小さくなるように画像処理を行う機能を有してもよい。
【0017】
又は、上記態様において、機械学習モデルは、ニューラルネットワークモデルであってもよい。
【0018】
又は、本発明の一態様は、ｍ行ｎ列（ｍ、ｎは２以上の整数）の画素がマトリクス状に配列された表示部を有する画像処理システムによる機械学習モデルの生成方法であって、ｍ行ｎ列の第１の階調値を有する第１の画像データに対応する画像を、画素から第１の階調値に対応する輝度の光を射出することにより、表示部に表示し、表示部に表示した、第１の画像データに対応する画像を含むように撮像を行うことにより、ｍ行ｎ列の第２の階調値を有する第２の画像データを取得し、第１の階調値と、第１の階調値の座標に対応する座標の第２の階調値と、を表すテーブルを生成し、第１の学習用画像データに対応する画像を表示部に表示し、表示部に表示した、第１の学習用画像データに対応する画像を含むように撮像を行うことにより、第２の学習用画像データを取得し、第１の学習用画像データに対して、第２の学習用画像データに基づき画像処理を行うことにより、ｍ行ｎ列の第３の階調値を有する第３の学習用画像データを生成し、第３の階調値を基に、選択された第２の階調値に対応する第１の階調値を含む画像データである、第４の学習用画像データを生成し、第１の学習用画像データを入力した場合に出力される画像データが、第４の学習用画像データと一致するような機械学習モデルを生成する、機械学習モデルの生成方法である。
【0019】
又は、上記態様において、第１の学習用画像データは、ｍ行ｎ列の第４の階調値を有し、第２の学習用画像データは、ｍ行ｎ列の第５の階調値を有し、画像処理は、第３の階調値の合計と、第５の階調値の合計と、の差が、第４の階調値の合計と、第５の階調値の合計と、の差より小さくなるように行われてもよい。
【0020】
又は、上記態様において、機械学習モデルは、ニューラルネットワークモデルであってもよい。
【0021】
又は、本発明の一態様は、表示装置と、撮像装置と、生成装置と、を有し、表示装置は、入力部と、輝点補正部と、ｍ行ｎ列（ｍ、ｎは２以上の整数）の画素がマトリクス状に配列された表示部と、を有し、生成装置は、データベースと、画像生成部と、を有し、データベースには、入力部に入力される第１のデータベース画像データと、第１のデータベース画像データに対応する画像を表示部に表示させ、撮像装置が、表示部に表示させた画像を含むように撮像することにより取得した第２のデータベース画像データと、に基づき生成されたテーブルが格納され、第１のデータベース画像データは、ｍ行ｎ列の第１の階調値を有し、第２のデータベース画像データは、ｍ行ｎ列の第２の階調値を有し、テーブルは、第１の階調値と、第１の階調値の座標に対応する座標の第２の階調値と、を表し、撮像装置は、入力部に入力される第１の輝点補正用画像データに対応する画像を表示部に表示させた場合に、表示部に表示させた画像を撮像することにより第２の輝点補正用画像データを取得する機能を有し、第２の輝点補正用画像データは、ｍ行ｎ列の第３の階調値を有し、画像生成部は、第３の階調値を基に選択された第２の階調値に対応する第１の階調値を含む画像データである、第３の輝点補正用画像データを生成する機能を有し、輝点補正部は、第３の輝点補正用画像データが有する、ｍ行ｎ列の第１の階調値のうち、しきい値以下の第１の階調値の座標を、輝点座標として検出する機能を有し、輝点補正部は、ｍ行ｎ列の第４の階調値を有するコンテンツ画像データが入力部に入力された場合に、輝点座標と同一の座標の第４の階調値を小さくする機能を有する画像処理システムである。
【0022】
又は、本発明の一態様は、表示装置と、撮像装置と、生成装置と、を有し、表示装置は、入力部と、輝点補正部と、ｍ行ｎ列（ｍ、ｎは２以上の整数）の画素がマトリクス状に配列された表示部と、を有し、生成装置は、データベースと、画像生成部と、を有し、データベースには、入力部に入力される第１のデータベース画像データと、第１のデータベース画像データに対応する画像を表示部に表示させ、撮像装置が、表示部に表示させた画像を含むように撮像することにより取得した第２のデータベース画像データと、に基づき生成されたテーブルが格納され、第１のデータベース画像データは、ｍ行ｎ列の第１の階調値を有し、第２のデータベース画像データは、ｍ行ｎ列の第２の階調値を有し、テーブルは、第１の階調値と、第１の階調値の座標に対応する座標の第２の階調値と、を表し、撮像装置は、入力部に入力される第１の輝点補正用画像データに対応する画像を表示部に表示させた場合に、表示部に表示させた画像を撮像することにより第２の輝点補正用画像データを取得する機能を有し、第２の輝点補正用画像データは、ｍ行ｎ列の第３の階調値を有し、画像生成部は、第３の階調値を基に選択された第２の階調値に対応する第１の階調値を含む画像データである、第３の輝点補正用画像データを生成する機能を有し、輝点補正部は、第３の輝点補正用画像データが有する、ｍ行ｎ列の第１の階調値のうち、第１のしきい値以下の第１の階調値の座標を、第１の輝点座標として検出する機能を有し、輝点補正部は、第２の輝点補正用画像データが有する、ｍ行ｎ列の第３の階調値のうち、第２のしきい値以上の第３の階調値の座標を、第２の輝点座標として検出する機能を有し、輝点補正部は、ｍ行ｎ列の第４の階調値を有するコンテンツ画像データが入力部に入力された場合に、第１又は第２の輝点座標と同一の座標の第４の階調値を小さくする機能を有する画像処理システムである。
【0023】
又は、本発明の一態様は、表示装置と、撮像装置と、生成装置と、を有し、表示装置は、入力部と、輝点補正部と、ｍ行ｎ列（ｍ、ｎは２以上の整数）の画素がマトリクス状に配列された表示部と、を有し、生成装置は、データベースと、画像生成部と、を有し、データベースには、入力部に入力される第１のデータベース画像データと、第１のデータベース画像データに対応する画像を表示部に表示させ、撮像装置が、表示部に表示させた画像を含むように撮像することにより取得した第２のデータベース画像データと、に基づき生成されたテーブルが格納され、第１のデータベース画像データは、ｍ行ｎ列の第１の階調値を有し、第２のデータベース画像データは、ｍ行ｎ列の第２の階調値を有し、テーブルは、第１の階調値と、第１の階調値の座標に対応する座標の第２の階調値と、を表し、撮像装置は、入力部に入力される第１の輝点補正用画像データに対応する画像を表示部に表示させた場合に、表示部に表示させた画像を撮像することにより第２の輝点補正用画像データを取得する機能を有し、第２の輝点補正用画像データは、ｍ行ｎ列の第３の階調値を有し、画像生成部は、第３の階調値を基に選択された第２の階調値に対応する第１の階調値を含む画像データである、第３の輝点補正用画像データを生成する機能を有し、輝点補正部は、第３の輝点補正用画像データが有する、ｍ行ｎ列の第１の階調値のうち、第１のしきい値以下、且つ第２のしきい値以上の第１の階調値の座標を第１の輝点座標として、第２のしきい値未満の第１の階調値の座標を第２の輝点座標として、それぞれ検出する機能を有し、輝点補正部は、第２の輝点補正用画像データが有する、ｍ行ｎ列の第３の階調値のうち、第３のしきい値以上の第３の階調値の座標を、第３の輝点座標として検出する機能を有し、輝点補正部は、ｍ行ｎ列の第４の階調値を有するコンテンツ画像データが入力部に入力された場合に、第１の輝点座標と、第３の輝点座標と、の両方と同一の座標の第４の階調値を小さくする機能を有し、且つ第２の輝点座標と同一の座標の第４の階調値を小さくする機能を有する画像処理システムである。
【0024】
又は、上記態様において、表示装置は、機械学習処理部を有し、生成装置は、画像処理部と、学習部と、を有し、画像処理部は、入力部に入力される第１の学習用画像データに対して、第２の学習用画像データに基づき画像処理を行うことにより、第３の学習用画像データを生成する機能を有し、第２の学習用画像データは、第１の学習用画像データに対応する画像を表示部に表示させ、撮像装置が、表示部に表示させた画像を含むように撮像することにより取得された画像データであり、第３の学習用画像データは、ｍ行ｎ列の第５の階調値を有し、画像生成部は、第５の階調値を基に選択された第２の階調値に対応する第１の階調値を含む画像データである、第４の学習用画像データを生成する機能を有し、学習部は、第１の学習用画像データを入力した場合に出力される画像データが、第４の学習用画像データと一致するような機械学習モデルを生成し、機械学習処理部に機械学習モデルを出力する機能を有し、機械学習処理部は、入力部に入力されたコンテンツ画像データに対して、機械学習モデルによる処理を行う機能を有してもよい。
【0025】
又は、上記態様において、第１の学習用画像データは、ｍ行ｎ列の第６の階調値を有し、第２の学習用画像データは、ｍ行ｎ列の第７の階調値を有し、画像処理部は、第５の階調値の合計と、第７の階調値の合計と、の差が、第６の階調値の合計と、第７の階調値の合計と、の差より小さくなるように画像処理を行う機能を有してもよい。
【0026】
又は、上記態様において、機械学習モデルは、ニューラルネットワークモデルであってもよい。
【発明の効果】
【0027】
本発明の一態様により、表示装置に表示される画像の表示むらを目立たなくすることができる画像処理システムを提供することができる。また、本発明の一態様により、表示装置に表示される画像を高品位なものとすることができる画像処理システムを提供することができる。また、本発明の一態様により、大型の表示装置を有する画像処理システムを提供することができる。また、本発明の一態様により、高精細な画像を表示することができる表示装置を有する画像処理システムを提供することができる。また、本発明の一態様により、短時間で画像処理を行うことができる画像処理システムを提供することができる。また、本発明の一態様により、信頼性の高い表示装置を有する画像処理システムを提供することができる。
【0028】
また、本発明の一態様により、新規な画像処理システム、新規な画像処理方法、新規な生成装置、新規な機械学習モデルの生成方法、新規な画像処理装置、又は新規な表示装置等を提供することができる。
【0029】
なお、本発明の一態様の効果は、上記列挙した効果に限定されない。上記列挙した効果は、他の効果の存在を妨げるものではない。なお、他の効果は、以下の記載で述べる、本項目で言及していない効果である。本項目で言及していない効果は、当業者であれば、明細書、図面などの記載から導き出せるものであり、これらの記載から適宜抽出することができる。なお、本発明の一態様は、上記列挙した効果、及び／又は他の効果のうち、少なくとも一つの効果を有するものである。したがって本発明の一態様は、場合によっては、上記列挙した効果を有さない場合もある。
【図面の簡単な説明】
【0030】
図１は、画像処理システムの構成例を示すブロック図である。
図２Ａは、表示部の構成例を示すブロック図である。図２Ｂ１、及び図２Ｂ２は、画素の構成例を示す回路図である。
図３Ａ、及び図３Ｂは、画像処理方法の一例を示す模式図である。
図４は、テーブルの生成方法の一例を示すフローチャートである。
図５Ａ、及び図５Ｂは、テーブルの生成方法の一例を示す模式図である。
図６Ａ、及び図６Ｂは、テーブルの生成方法の一例を示す模式図である。
図７は、機械学習モデルの生成方法の一例を示すフローチャートである。
図８Ａ、及び図８Ｂは、機械学習モデルの生成方法の一例を示す模式図である。
図９Ａ、及び図９Ｂは、機械学習モデルの生成方法の一例を示す模式図である。
図１０は、機械学習モデルの生成方法の一例を示す模式図である。
図１１Ａ、及び図１１Ｂは、画像処理方法の一例を示す模式図である。
図１２Ａ、及び図１２Ｂは、画像処理方法の一例を示すグラフである。
図１３Ａ１、及び図１３Ａ２は、画像処理方法の一例を示すグラフである。図１３Ｂは、画像処理方法の一例を示す模式図である。
図１４は、画像処理方法の一例を示すグラフである。
図１５Ａは、機械学習モデルの構成例を示す図である。図１５Ｂは、学習方法の一例を示す模式図である。
図１６Ａ、及び図１６Ｂは、機械学習モデルによる演算の一例を示す模式図である。
図１７は、実施例に係る学習結果を示すグラフである。
図２Ａは、表示部の構成例を示すブロック図である。図２Ｂ１、及び図２Ｂ２は、画素の構成例を示す回路図である。
図３Ａ、及び図３Ｂは、画像処理方法の一例を示す模式図である。
図４は、テーブルの生成方法の一例を示すフローチャートである。
図５Ａ、及び図５Ｂは、テーブルの生成方法の一例を示す模式図である。
図６Ａ、及び図６Ｂは、テーブルの生成方法の一例を示す模式図である。
図７は、機械学習モデルの生成方法の一例を示すフローチャートである。
図８Ａ、及び図８Ｂは、機械学習モデルの生成方法の一例を示す模式図である。
図９Ａ、及び図９Ｂは、機械学習モデルの生成方法の一例を示す模式図である。
図１０は、機械学習モデルの生成方法の一例を示す模式図である。
図１１Ａ、及び図１１Ｂは、画像処理方法の一例を示す模式図である。
図１２Ａ、及び図１２Ｂは、画像処理方法の一例を示すグラフである。
図１３Ａ１、及び図１３Ａ２は、画像処理方法の一例を示すグラフである。図１３Ｂは、画像処理方法の一例を示す模式図である。
図１４は、画像処理方法の一例を示すグラフである。
図１５Ａは、機械学習モデルの構成例を示す図である。図１５Ｂは、学習方法の一例を示す模式図である。
図１６Ａ、及び図１６Ｂは、機械学習モデルによる演算の一例を示す模式図である。
図１７は、実施例に係る学習結果を示すグラフである。
【発明を実施するための形態】
【0031】
実施の形態について、図面を用いて詳細に説明する。但し、本発明は以下の説明に限定されず、本発明の趣旨およびその範囲から逸脱することなくその形態及び詳細を様々に変更し得ることは当業者であれば容易に理解される。したがって、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。
【0032】
なお、以下に説明する発明の構成において、同一部分または同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、その繰り返しの説明は省略する。また、同様の機能を指す場合には、ハッチパターンを同じくし、特に符号を付さない場合がある。
【0033】
また、図面において示す各構成の、位置、大きさ、範囲などは、理解の簡単のため、実際の位置、大きさ、範囲などを表していない場合がある。このため、開示する発明は、必ずしも、図面に開示された位置、大きさ、範囲などに限定されない。
【0034】
また、本明細書にて用いる「第１」、「第２」、「第３」という序数詞は、構成要素の混同を避けるために付したものであり、数的に限定するものではない。
【0035】
（実施の形態）
本実施の形態では、本発明の一態様の画像処理システム等について、図面を用いて説明する。
本実施の形態では、本発明の一態様の画像処理システム等について、図面を用いて説明する。
【0036】
＜画像処理システム＞
図１は、画像処理システム１０の構成例を示すブロック図である。画像処理システム１０は、表示装置２０、撮像装置３０、及び生成装置４０を有する。ここで、生成装置４０は、サーバ等、高い演算能力を有する機器に設けることが好ましい。
図１は、画像処理システム１０の構成例を示すブロック図である。画像処理システム１０は、表示装置２０、撮像装置３０、及び生成装置４０を有する。ここで、生成装置４０は、サーバ等、高い演算能力を有する機器に設けることが好ましい。
【0037】
表示装置２０は、入力部２１、表示部２２、機械学習処理部２３、及び輝点補正部５０を有する。生成装置４０は、データベース４２、画像抽出部４３、画像処理部４４、画像生成部４５、及び学習部４６を有する。
【0038】
図２Ａは、表示部２２の構成例を示すブロック図である。図２Ａに示すように、表示部２２には、ｍ行ｎ列（ｍ、ｎは２以上の整数）の画素２４がマトリクス状に配列されている。同一行の画素２４は、同一の配線１３４を介して互いに電気的に接続され、同一列の画素２４は、同一の配線１２６を介して互いに電気的に接続される。画素２４は、表示素子を有し、表示素子を用いて表示部２２に画像を表示することができる。
【0039】
本明細書等において、ｍ行ｎ列の画素２４を、それぞれ画素２４（１，１）乃至画素２４（ｍ，ｎ）と記載して区別する。他の要素についても同様の記載をする場合がある。また、例えば（１，１）乃至（ｍ，ｎ）を、座標という場合がある。
【0040】
また、本明細書等において、表示素子は表示デバイスと言い換えることができる。また、発光素子は発光デバイスと言い換えることができ、液晶素子は液晶デバイスと言い換えることができる。他の素子についても、「素子」を「デバイス」と言い換えることができる場合がある。
【0041】
図１では、画像処理システム１０の構成要素間のデータのやり取りを、矢印で示している。なお、図１に示すデータのやり取りは一例であり、例えば矢印によって結合されていない構成要素間でデータ等のやり取りを行うことができる場合がある。また、矢印によって結合されている構成要素間であっても、データのやり取りを行わない場合がある。
【0042】
入力部２１には、画像データが入力される。入力部２１に入力された画像データは、表示部２２、機械学習処理部２３、データベース４２、画像処理部４４、又は学習部４６に出力することができる。
【0043】
入力部２１に入力される画像データとして、データベース画像データＤＧＩＮ、学習用画像データＬＧＩＮ、輝点補正用画像データＢＣＧＩＮ、及びコンテンツ画像データＣＧＩＮ等が挙げられる。データベース画像データＤＧＩＮは、入力部２１から表示部２２、及びデータベース４２に供給することができる。学習用画像データＬＧＩＮは、入力部２１から表示部２２、及び画像処理部４４に供給することができる。輝点補正用画像データＢＣＧＩＮは、入力部２１から表示部２２、及び画像処理部４４に供給することができる。コンテンツ画像データＣＧＩＮは、入力部２１から機械学習処理部２３に供給することができる。
【0044】
表示部２２は、画像データに対応する画像を表示する機能を有する。ここで、画像データは、階調値の集合とすることができる。例えば、表示部２２に供給される画像データは、ｍ行ｎ列の階調値を有する構成とすることができる。この場合、画素２４が、階調値に対応する輝度の光を射出することにより、表示部２２に画像を表示することができる。ここで、階調値は、デジタル値とすることができる。例えば、階調値が８ビットのデジタル値である場合は、階調値がとり得る値は０乃至２５５の整数とすることができる。
【0045】
機械学習処理部２３は、生成装置４０により生成された機械学習モデルに基づき、画像データに対して画像処理を行う機能を有する。具体的には、学習部４６が生成した機械学習モデルＭＬＭに基づき、入力部２１から入力されたコンテンツ画像データＣＧＩＮに対して画像処理を行う機能を有する。機械学習処理部２３により画像処理が行われた画像データは、コンテンツ画像データＣＧＭＬとして輝点補正部５０に供給される。
【0046】
機械学習モデルＭＬＭとして、例えば多層パーセプトロン、ニューラルネットワークモデル等を適用することができる。特にニューラルネットワークモデルを適用すると、画像処理を効率良く行うことができ、表示部２２に高品位な画像を表示することができるため好ましい。ここで、ニューラルネットワークモデルとして、例えばオートエンコーダ、Ｕ－ｎｅｔ、ｐｉｘ２ｐｉｘ等の生成モデルを用いることができる。なお、上記以外の機械学習モデルであっても、ベイズ推定ができるものであれば機械学習モデルＭＬＭとして用いることができる。また、機械学習モデルＭＬＭは、学習及び推論を、入出力される値を独立に扱って行えることが好ましい。
【0047】
輝点補正部５０は、コンテンツ画像データＣＧＭＬを補正する機能を有する。輝点補正部５０は、具体的にはコンテンツ画像データＣＧＭＬが有する階調値を補正する機能を有する。詳細は後述するが、輝点補正部５０は、画像生成部４５が生成する輝点補正用画像データＢＣＧ＿１、又は画像抽出部４３が生成する輝点補正用画像データＢＣＧ＿２に基づき、コンテンツ画像データＣＧＭＬが有する階調値を補正する機能を有する。補正後の画像データは、コンテンツ画像データＣＧＣＯＲとして表示部２２に供給される。
【0048】
本明細書等において、輝点補正用画像データＢＣＧ＿１、及び輝点補正用画像データＢＣＧ＿２等をまとめて、輝点補正用画像データＢＣＧと記載する場合がある。具体的には、輝点補正用画像データＢＣＧと記載した場合は、例えば輝点補正用画像データＢＣＧ＿１、又は輝点補正用画像データＢＣＧ＿２の一方を示す。なお、他のデータ等についても、同様の記載をする場合がある。
【0049】
ここで、輝点補正部５０は、表示部２２における輝点が目立たなくなるように、コンテンツ画像データＣＧＭＬを補正する機能を有する。輝点補正部５０は、例えば輝点を暗点化するようにコンテンツ画像データＣＧＭＬを補正する機能を有する。以上より、表示装置２０に輝点補正部５０を設けることで、表示部２２に表示される画像の品位を高めることができる。
【0050】
本明細書等において、「暗点化」及び「暗点とする」とは、輝点である画素２４から射出される光の輝度を低下させることを示す。よって、暗点化した画素２４であっても、当該画素２４から射出される光の輝度は０でなくてもよい。
【0051】
なお、表示装置２０は、輝点補正部５０を有さなくてもよい。この場合、輝点補正用画像データＢＣＧＩＮは、入力部２１に入力されない。また、機械学習処理部２３が出力するコンテンツ画像データＣＧＭＬは、表示部２２に供給することができる。
【0052】
撮像装置３０は、撮像を行うことにより、撮像データを取得する機能を有する。撮像装置３０は、具体的には、表示部２２に表示された画像を含むように撮像を行うことができる。取得された撮像データは、画像抽出部４３に供給される。ここで、データベース画像データＤＧＩＮに対応する画像を表示部２２に表示させ、当該画像を含むように撮像することにより撮像装置３０が取得した撮像データを、撮像データＩＭＧＤＧとする。また、学習用画像データＬＧＩＮに対応する画像を表示部２２に表示させ、当該画像を含むように撮像することにより撮像装置３０が取得した撮像データを、撮像データＩＭＧＬＧとする。さらに、輝点補正用画像データＢＣＧＩＮに対応する画像を表示部２２に表示させ、当該画像を含むように撮像することにより撮像装置３０が取得した撮像データを、撮像データＩＭＧＢＣＧとする。なお、撮像データは、階調値の集合とすることができる。
【0053】
画像抽出部４３は、撮像データＩＭＧＤＧ、撮像データＩＭＧＬＧ、及び撮像データＩＭＧＢＣＧ等から、表示部２２に表示された画像を表す部分のデータを抽出する機能を有する。撮像装置３０が、表示部２２に表示された画像を含むように撮像を行う場合、表示部２２以外の領域も撮像される場合がある。例えば、表示部２２の他、表示装置２０の筐体が撮像される場合がある。画像抽出部４３は、このように表示部２２に表示された画像以外の部分が撮像データに含まれる場合に、表示部２２に表示された画像を表す部分のデータを抽出する機能を有する。データの抽出は、パターンマッチング、テンプレートマッチング等により行うことができる。例えば、表示部２２に表示された画像と、表示装置２０の筐体と、を含む撮像データから、表示部２２に表示された画像を表す部分のデータを抽出する場合、表示装置２０の筐体を表すパターンを指定し、当該パターンが含まれない部分を、表示部２２に表示された画像を表す部分のデータとすることができる。また、撮像データＩＭＧＤＧ、撮像データＩＭＧＬＧ、及び撮像データＩＭＧＢＣＧ等に対してエッジ検出を行い、表示部２２に表示された画像を表す部分のデータを抽出することができる。
【0054】
画像抽出部４３が撮像データＩＭＧＤＧから抽出したデータは、データベース画像データＤＧＤＰとする。また、画像抽出部４３が撮像データＩＭＧＬＧから抽出したデータは、学習用画像データＬＧＤＰとする。さらに、画像抽出部４３が撮像データＩＭＧＢＣＧから抽出したデータは、輝点補正用画像データＢＣＧＤＰとする。データベース画像データＤＧＤＰはデータベース４２に供給され、学習用画像データＬＧＤＰ、及び輝点補正用画像データＢＣＧＤＰは画像処理部４４に供給される。なお、輝点補正用画像データＢＣＧＤＰを画像処理部４４に供給せず、画像生成部４５に供給してもよい。
【0055】
また、画像抽出部４３は、輝点補正用画像データＢＣＧＤＰを、輝点補正部５０に供給することができる。輝点補正部５０に供給する輝点補正用画像データＢＣＧＤＰを、輝点補正用画像データＢＣＧ＿２とする。
【0056】
ここで、詳細は後述するが、画像処理システム１０は、データベース画像データＤＧＩＮと、データベース画像データＤＧＤＰと、の対応に関する情報を表すテーブルを取得する機能を有する。また、画像処理システム１０は、学習用画像データＬＧＩＮと、学習用画像データＬＧＤＰを比較する機能を有する。さらに、画像処理システム１０は、輝点補正用画像データＢＣＧＩＮと、輝点補正用画像データＢＣＧＤＰを比較する機能を有する。
【0057】
よって、データベース画像データＤＧＩＮが表す画像の解像度と、データベース画像データＤＧＤＰが表す画像の解像度と、は等しいことが好ましい。具体的には、データベース画像データＤＧＩＮに含まれる階調値の行数及び列数と、データベース画像データＤＧＤＰに含まれる階調値の行数及び列数と、は等しいことが好ましい。例えば、データベース画像データＤＧＩＮにｍ行ｎ列の階調値が含まれる場合、データベース画像データＤＧＤＰに含まれる階調値もｍ行ｎ列とすることが好ましい。また、学習用画像データＬＧＩＮが表す画像の解像度と、学習用画像データＬＧＤＰが表す画像の解像度と、は等しいことが好ましい。具体的には、学習用画像データＬＧＩＮに含まれる階調値の行数及び列数と、学習用画像データＬＧＤＰに含まれる階調値の行数及び列数と、は等しいことが好ましい。例えば学習用画像データＬＧＩＮにｍ行ｎ列の階調値が含まれる場合、学習用画像データＬＧＤＰに含まれる階調値もｍ行ｎ列とすることが好ましい。さらに、輝点補正用画像データＢＣＧＩＮが表す画像の解像度と、輝点補正用画像データＢＣＧＤＰが表す画像の解像度と、は等しいことが好ましい。具体的には、輝点補正用画像データＢＣＧＩＮに含まれる階調値の行数及び列数と、輝点補正用画像データＢＣＧＤＰに含まれる階調値の行数及び列数と、は等しいことが好ましい。例えば輝点補正用画像データＢＣＧＩＮにｍ行ｎ列の階調値が含まれる場合、輝点補正用画像データＢＣＧＤＰに含まれる階調値もｍ行ｎ列とすることが好ましい。
【0058】
本明細書等において、データベース画像データＤＧＩＮが有する階調値を、第１の階調値という場合がある。また、データベース画像データＤＧＤＰが有する階調値を、第２の階調値という場合がある。
【0059】
画像抽出部４３は、撮像データから抽出したデータに対して、アップコンバージョン、又はダウンコンバージョンを行うことができる。例えば、画像抽出部４３が撮像データＩＭＧＤＧから抽出したデータが有する階調値の行数又は列数が、データベース画像データＤＧＩＮの行数又は列数より少ない場合は、画像抽出部４３が、撮像データＩＭＧＤＧから抽出したデータに対してアップコンバージョンを行うことができる。また、画像抽出部４３が撮像データＩＭＧＤＧから抽出したデータが有する階調値の行数又は列数が、データベース画像データＤＧＩＮの行数又は列数より多い場合は、画像抽出部４３が、撮像データＩＭＧＤＧから抽出したデータに対してダウンコンバージョンを行うことができる。以上により、データベース画像データＤＧＤＰに含まれる階調値の行数及び列数を、データベース画像データＤＧＩＮに含まれる階調値の行数及び列数と等しくすることができる。撮像データＩＭＧＬＧ、及び撮像データＩＭＧＢＣＧに対しても同様である。なお、アップコンバージョン及びダウンコンバージョンは、ニアレストネイバー法、バイリニア法、バイキュービック法等により行うことができる。
【0060】
データベース４２には、データベース画像データＤＧＩＮと、データベース画像データＤＧＤＰと、の対応に関する情報を表すテーブルＴを格納することができる。テーブルＴは、具体的には、データベース画像データＤＧＩＮが有する第１の階調値と、データベース画像データＤＧＤＰが有する第２の階調値と、の対応に関する情報を表す。テーブルＴは、例えば、第１の階調値と、当該第１の階調値の座標に対応する座標の第２の階調値と、を表す。テーブルＴは、例えば、第１の階調値と、当該第１の階調値の座標と同一の座標の第２の階調値と、を表す。
【0061】
画像処理部４４は、学習用画像データＬＧＩＮに対して、学習用画像データＬＧＤＰに基づき画像処理を行うことにより、学習用画像データＬＧＩＰを生成する機能を有する。つまり、学習用画像データＬＧＩＮと学習用画像データＬＧＤＰを比較し、比較結果に基づき学習用画像データＬＧＩＮに対して画像処理を行うことにより、学習用画像データＬＧＩＰを生成する機能を有する。例えば、学習用画像データＬＧＩＮに対して、学習用画像データＬＧＤＰに近づくように画像処理を行うことにより、学習用画像データＬＧＩＰを生成する機能を有する。また、画像処理部４４は、輝点補正用画像データＢＣＧＩＮに対しても同様に画像処理を行い、輝点補正用画像データＢＣＧＩＰを生成する機能を有する。
【0062】
画像処理部４４は、例えば学習用画像データＬＧＩＰが有する階調値の合計と、学習用画像データＬＧＤＰが有する階調値の合計と、の差が、学習用画像データＬＧＩＰが有する階調値の合計と、学習用画像データＬＧＩＮが有する階調値の合計と、の差より小さくなるように、学習用画像データＬＧＩＮが有する階調値を画像処理により変換する機能を有する。画像処理部４４は、例えば学習用画像データＬＧＩＰが有する階調値の合計が、学習用画像データＬＧＤＰが有する階調値の合計と等しくなるように、学習用画像データＬＧＩＮが有する階調値を画像処理により変換する機能を有する。なお、「学習用画像データＬＧＩＰが有する階調値の合計」は、学習用画像データＬＧＩＰが有するすべての階調値の合計としてもよいし、一部の階調値の合計としてもよい。また、「学習用画像データＬＧＩＮが有する階調値の合計」は、学習用画像データＬＧＩＮが有するすべての階調値の合計としてもよいし、一部の階調値の合計としてもよい。さらに、「学習用画像データＬＧＤＰが有する階調値の合計」は、学習用画像データＬＧＤＰが有するすべての階調値の合計としてもよいし、一部の階調値の合計としてもよい。
【0063】
また、画像処理部４４は、例えば、学習用画像データＬＧＩＰの学習用画像データＬＧＤＰに対するピーク信号対雑音比（ＰＳＮＲ：Ｐｅａｋ Ｓｉｇｎａｌ－ｔｏ－Ｎｏｉｓｅ Ｒａｔｉｏ）、又は構造的類似性（ＳＳＩＭ：Ｓｔｒｕｃｔｕｒａｌ ＳＩＭｉｌａｒｉｔｙ）が、学習用画像データＬＧＩＮに対するＰＳＮＲ、又はＳＳＩＭより大きくなるように、学習用画像データＬＧＩＮが有する階調値を画像処理により変換する機能を有する。画像処理部４４は、例えば学習用画像データＬＧＤＰに対するＰＳＮＲ、又はＳＳＩＭが最大となるように、学習用画像データＬＧＩＮが有する階調値を画像処理により変換することで、学習用画像データＬＧＩＰを生成する機能を有する。
【0064】
画像処理部４４が行う画像処理は、例えばガンマ補正とすることができる。この場合、ガンマ値を適切な値に設定することにより、上記画像処理を行うことができる。
【0065】
画像処理部４４は、例えば輝点補正用画像データＢＣＧＩＰが有する階調値の合計と、輝点補正用画像データＢＣＧＤＰが有する階調値の合計と、の差が、輝点補正用画像データＢＣＧＩＰの階調値の合計と、輝点補正用画像データＢＣＧＩＮが有する階調値の合計と、の差より小さくなるように、輝点補正用画像データＢＣＧＩＮが有する階調値を画像処理により変換する機能を有する。当該画像処理等については、学習用画像データＬＧＩＰを輝点補正用画像データＢＣＧＩＰと読み替え、学習用画像データＬＧＤＰを輝点補正用画像データＢＣＧＤＰと読み替え、学習用画像データＬＧＩＮを輝点補正用画像データＢＣＧＩＮと読み替えることにより、上記説明を援用することができる。
【0066】
画像生成部４５は、学習用画像データＬＧＩＰが有する階調値を基に、テーブルＴに含まれる第２の階調値を選択する機能を有する。例えば、データベース画像データＤＧＩＮがｍ行ｎ列の第１の階調値を有し、データベース画像データＤＧＤＰがｍ行ｎ列の第２の階調値を有し、学習用画像データＬＧＩＰがｍ行ｎ列の階調値を有するものとする。この場合、画像生成部４５は、学習用画像データＬＧＩＰの１行１列目乃至ｍ行ｎ列目の階調値のそれぞれを基に、１行１列目乃至ｍ行ｎ列目の第２の階調値をそれぞれ選択することができる。具体的には、学習用画像データＬＧＩＰの階調値と一致する値、又は最も近い値の第２の階調値を、１行１列目乃至ｍ行ｎ列目のそれぞれについて選択することができる。例えば、テーブルＴが、ｋ個（ｋは２以上の整数）のデータベース画像データＤＧＩＮと、ｋ個のデータベース画像データＤＧＤＰと、の対応に関する情報を表すものとする。この場合、例えば学習用画像データＬＧＩＰのｉ行ｊ列目（ｉは１以上ｍ以下の整数、ｊは１以上ｎ以下の整数）の階調値と一致する値、又は最も近い値の第２の階調値を、ｋ個のｉ行ｊ列目の第２の階調値から選択することができる。また、画像生成部４５は、輝点補正用画像データＢＣＧＩＰが有する階調値を基にして、上記方法と同様の方法により、テーブルＴに含まれる第２の階調値を選択する機能を有する。なお、画像抽出部４３が生成した輝点補正用画像データＢＣＧＤＰを画像生成部４５に供給する場合は、輝点補正用画像データＢＣＧＤＰが有する階調値を基にして、上記方法と同様の方法により、テーブルＴに含まれる第２の階調値を選択することができる。
【0067】
本明細書等において、例えばｉ行ｊ列目の階調値を、「座標（ｉ，ｊ）の階調値」という場合がある。
【0068】
また、画像生成部４５は、学習用画像データＬＧＩＰに基づき選択された第２の階調値に対応する第１の階調値を含む画像データである、学習用画像データＬＧＧＥＮを生成する機能を有する。同様に、画像生成部４５は、輝点補正用画像データＢＣＧＩＰに基づき選択された第２の階調値に対応する第１の階調値を含む画像データである、輝点補正用画像データＢＣＧ＿１を生成する機能を有する。なお、例えば学習用画像データＬＧＩＰのｉ行ｊ列目の階調値と一致する値の、ｉ行ｊ列目の第２の階調値が複数、テーブルＴに含まれる場合は、当該複数の第２の階調値のうち、１つの第２の階調値を選択することができる。そして、選択した第２の階調値に対応する第１の階調値を、学習用画像データＬＧＧＥＮに含めることができる。輝点補正用画像データＢＣＧＩＰ等についても同様である。
【0069】
また、例えば学習用画像データＬＧＩＰのｉ行ｊ列目の階調値と一致する、ｉ行ｊ列目の第２の階調値がテーブルＴに含まれない場合は、ｉ行ｊ列目の第２の階調値を選択しなくてもよい。この場合、学習用画像データＬＧＧＥＮのｉ行ｊ列目の階調値は、学習用画像データＬＧＩＰのｉ行ｊ列目の階調値と同一の値とすることができる。輝点補正用画像データＢＣＧＩＰ等についても同様である。
【0070】
学習部４６は、学習用画像データＬＧＩＮと、学習用画像データＬＧＧＥＮと、を用いて、機械学習モデルＭＬＭを生成する機能を有する。例えば、学習部４６は、学習用画像データＬＧＩＮを入力した場合に出力される画像データが、学習用画像データＬＧＧＥＮと一致するような機械学習モデルＭＬＭを生成する機能を有する。学習部４６は、このような機械学習モデルＭＬＭを、例えば学習用画像データＬＧＩＮと、学習用画像データＬＧＧＥＮと、を用いた教師あり学習により生成する機能を有する。このように、機械学習モデルＭＬＭは、学習により生成することができる。よって、学習部４６が生成した機械学習モデルＭＬＭは、学習済みの機械学習モデルであるということができる。
【0071】
学習部４６が生成した機械学習モデルＭＬＭは、機械学習処理部２３に供給される。機械学習処理部２３は、機械学習モデルＭＬＭに基づき推論を行うことにより、画像データに対して画像処理を行うことができる。
【0072】
図２Ｂ１、及び図２Ｂ２は、図２Ａに示す画素２４の構成例を示す回路図である。具体的には、画素２４が有する副画素の構成例を示す回路図である。図２Ｂ１に示す画素２４は、トランジスタ１６１と、トランジスタ１７１と、容量１７３と、発光素子１７０と、を有する。図２Ｂ１に示す画素２４では、発光素子１７０を表示素子とすることができる。
【0073】
トランジスタ１６１のソース又はドレインの一方は、トランジスタ１７１のゲートと電気的に接続される。トランジスタ１７１のゲートは、容量１７３の一方の電極と電気的に接続される。トランジスタ１７１のソース又はドレインの一方は、発光素子１７０の一方の電極と電気的に接続される。
【0074】
トランジスタ１６１のソース又はドレインの他方は、配線１２６と電気的に接続される。トランジスタ１６１のゲートは、配線１３４と電気的に接続される。トランジスタ１７１のソース又はドレインの他方、及び容量１７３の他方の電極は、配線１７４と電気的に接続される。発光素子１７０の他方の電極は、配線１７５と電気的に接続される。
【0075】
配線１７４、及び配線１７５には、定電位を供給することができる。例えば、図２Ｂ１に示すように、発光素子１７０のアノードがトランジスタ１７１のソース又はドレインの一方と電気的に接続され、発光素子１７０のカソードが配線１７５と電気的に接続される場合は、配線１７４に高電位を供給し、配線１７５に低電位を供給することができる。
【0076】
発光素子１７０は、例えば有機ＥＬ素子、又は無機ＥＬ素子とすることができる。
【0077】
表示部２２に設けられる画素２４が図２Ｂ１に示す構成である場合、発光素子１７０に流れる電流の大きさを制御して発光素子１７０による発光輝度を制御することにより、表示部２２に画像を表示することができる。発光素子１７０に流れる電流が大きいほど、発光素子による発光輝度を大きくすることができる。
【0078】
【0079】
トランジスタ１６２のソース又はドレインの一方は、液晶素子１８０の一方の電極と電気的に接続される。液晶素子１８０の一方の電極は、容量１８１の一方の電極と電気的に接続される。
【0080】
トランジスタ１６２のソース又はドレインの他方は、配線１２６と電気的に接続される。トランジスタ１６２のゲートは、配線１３４と電気的に接続される。容量１８１の他方の電極は、配線１８２と電気的に接続される。液晶素子１８０の他方の電極は、配線１８３と電気的に接続される。
【0081】
配線１８２、及び配線１８３には、定電位を供給することができる。配線１８２、及び配線１８３には、例えば低電位を供給することができる。
【0082】
表示部２２に設けられる画素２４が図２Ｂ２に示す構成である場合、液晶素子１８０に含まれる液晶分子が、液晶素子１８０の両電極間に印加される電圧に従って配向する。液晶分子は、例えば表示装置２０に含むことができるバックライトユニットからの光を、配向の程度に応じて透過することができる。前述のように、液晶素子１８０の他方の電極は配線１８３と電気的に接続され、定電位が供給される。以上より、液晶素子１８０の一方の電極の電位を制御することにより、当該電位に応じた輝度の光を画素２４が射出することができるため、表示部２２に画像を表示することができる。
【0083】
図３Ａは、入力部２１に入力されたコンテンツ画像データＣＧＩＮを、直接表示部２２に入力した場合に、表示部２２に表示されるコンテンツ画像Ｇ＿１ＤＰの一例を示す模式図である。図３Ｂは、コンテンツ画像データＣＧＩＮを、機械学習処理部２３、及び輝点補正部５０を介して表示部２２に入力した場合に、表示部２２に表示されるコンテンツ画像Ｇ＿２ＤＰの一例を示す模式図である。
【0084】
コンテンツ画像データＣＧＩＮを、画像処理等を行わずに表示部２２に入力した場合、前述のように表示むら、及び輝点等が発生する場合がある。図３Ａでは、表示部２２に表示された画像に表示むら２５、及び輝点５１が発生している様子を示している。
【0085】
コンテンツ画像データＣＧＩＮに対して、機械学習モデルＭＬＭを用いて画像処理を行うことにより、機械学習処理部２３は、表示むらを打ち消すようなコンテンツ画像データＣＧＭＬを生成することができる。図３Ｂでは、機械学習処理部２３が、コンテンツ画像データＣＧＩＮのうち、領域２６に対応するデータに表示むら２５を打ち消すようなデータを付加することにより、コンテンツ画像データＣＧＭＬを生成する様子を示している。例えば、表示むら２５が発生している部分の輝度が、当該部分の周辺部の輝度より高い場合、領域２６の輝度は、領域２６の周辺部の輝度より低くすることができる。
【0086】
また、コンテンツ画像データに対して、輝点補正用画像データＢＣＧ（例えば、輝点補正用画像データＢＣＧ＿１、又は輝点補正用画像データＢＣＧ＿２の一方）に基づき画像処理を行うことにより、輝点補正部５０は、輝点を補正して目立たなくするようなコンテンツ画像データＣＧＣＯＲを生成することができる。例えば、輝点を暗点化するようなコンテンツ画像データＣＧＣＯＲを生成することができる。図３Ｂでは、コンテンツ画像データＣＧＭＬのうち、輝点５１が生じる領域５２に対応するデータに、輝点５１を目立たなくするようなデータを付加することにより、輝点補正部５０がコンテンツ画像データＣＧＣＯＲを生成する様子を示している。
【0087】
以上、図３Ｂに示すように、入力部２１に入力されたコンテンツ画像データＣＧＩＮに対して、機械学習処理部２３、及び輝点補正部５０が画像処理を行うことで、表示部２２は、表示むら、及び輝点が目立たない画像を表示することができる。
【0088】
前述のように、表示装置２０が大型化し、表示部２２の面積が大きくなると、表示むらが発生しやすくなる。また、表示部２２に設けられる画素２４が微細化し、表示部２２の画素密度が高くなると、画素２４が有する表示素子、及びトランジスタ等の特性の、画素２４間のばらつきが大きくなり、表示むらが発生しやすくなる。本発明の一態様では、表示部２２に表示される表示むらを目立たなくすることができる。以上、本発明の一態様により、表示部２２に表示される画像に表示むらが視認されることを抑制しつつ、表示装置２０を大型化することができる。また、表示部２２に表示される画像に表示むらが視認されることを抑制しつつ、表示部２２に設けられる画素２４の密度を高め、表示部２２に高精細な画像を表示することができる。
【0089】
また、前述のように、画素２４が有する表示素子、トランジスタ等の特性不良、又は劣化等により、輝点となる画素２４、又は暗点となる画素２４が生じる場合がある。ここで、表示部２２に表示される画像を視認する場合、輝点は暗点より目立つため、視認性への影響が大きい。本発明の一態様では、輝点補正部５０等により輝点を補正して例えば暗点とすることにより、表示部２２に高品位な画像を表示することができる。なお、輝点の補正は、機械学習処理部２３によっても行うことができる。
【0090】
図１に示す構成の画像処理システム１０では、機械学習モデルＭＬＭを生成する機能を有する学習部４６を生成装置４０に設け、機械学習モデルＭＬＭを用いた処理を行う機能を有する機械学習処理部２３を表示装置２０に設けることができる。これにより、表示装置２０が機械学習モデルＭＬＭを生成しなくても、表示装置２０は機械学習モデルＭＬＭを用いた処理を行うことができる。機械学習モデルＭＬＭの生成には、多くの学習用画像データＬＧＩＮ、及び学習用画像データＬＧＧＥＮ等を用いる必要があり、高い演算能力が求められる。以上より、学習部４６を生成装置４０に設けることにより、表示装置２０の演算能力を、生成装置４０の演算能力より低いものとすることができる。
【0091】
＜機械学習モデルの生成方法＞
以下では、機械学習モデルＭＬＭの生成方法について、図面を用いて説明する。なお、表示部２２には、図２Ａに示すように、ｍ行ｎ列の画素２４がマトリクス状に配列されているものとする。また、画像データが有する階調値は、８ビットのデジタル値とし、階調値が小さいほど画素２４から射出される光の輝度が小さいものとする。例えば、階調値がとり得る値を０乃至２５５の整数とする場合、階調値０の場合に、画素２４から射出される光の輝度が最も小さくなる。
以下では、機械学習モデルＭＬＭの生成方法について、図面を用いて説明する。なお、表示部２２には、図２Ａに示すように、ｍ行ｎ列の画素２４がマトリクス状に配列されているものとする。また、画像データが有する階調値は、８ビットのデジタル値とし、階調値が小さいほど画素２４から射出される光の輝度が小さいものとする。例えば、階調値がとり得る値を０乃至２５５の整数とする場合、階調値０の場合に、画素２４から射出される光の輝度が最も小さくなる。
【0092】
［テーブルの生成方法］
図４は、データベース４２に格納されるテーブルＴの生成方法の一例を示すフローチャートである。図４に示すように、テーブルＴは、ステップＳ０１乃至ステップＳ０４に示す方法により生成される。図５Ａ及び図５Ｂ、並びに図６Ａ及び図６Ｂは、ステップＳ０１乃至ステップＳ０４における動作を示す模式図である。
図４は、データベース４２に格納されるテーブルＴの生成方法の一例を示すフローチャートである。図４に示すように、テーブルＴは、ステップＳ０１乃至ステップＳ０４に示す方法により生成される。図５Ａ及び図５Ｂ、並びに図６Ａ及び図６Ｂは、ステップＳ０１乃至ステップＳ０４における動作を示す模式図である。
【0093】
テーブルＴを生成するためには、まず、データベース画像データＤＧＩＮを、表示装置２０が有する入力部２１に入力する。入力部２１に入力されたデータベース画像データＤＧＩＮは、表示部２２に入力され、表示部２２にはデータベース画像データＤＧＩＮに対応する画像が表示される（ステップＳ０１）。具体的には、データベース画像データＤＧＩＮが有する、ｍ行ｎ列の第１の階調値に対応する輝度の光を画素２４が射出することにより、表示部２２に画像を表示する。
【0094】
図５Ａでは、データベース画像データＤＧＩＮは、全面が同一輝度の画像を表すものとしている。つまり、全ての画素２４が同一輝度の光を射出することを想定している。一方、表示部２２に表示される画像は、一部の画素２４から射出される光の輝度が、他の部分の画素２４から射出される光の輝度と異なっている。つまり、表示むらが発生している。図５Ａでは、発生した表示むらを表示むら２７として示している。
【0095】
次に、表示部２２に表示された画像を、撮像装置３０で撮像する。これにより、撮像装置３０が、撮像データＩＭＧＤＧを取得する（ステップＳ０２）。
【0096】
ここで、表示装置２０が有する表示部２２に表示された画像を撮像装置３０で撮像する場合、表示部２２以外の物体が撮像される場合がある。例えば、表示装置２０の筐体が撮像される場合がある。図５Ａでは、撮像データＩＭＧＤＧには、図５Ａに示す表示装置２０のうち、破線で囲んだ部分が含まれるとしている。
【0097】
その後、画像抽出部４３が、撮像データＩＭＧＤＧからデータベース画像データＤＧＤＰを取得する（ステップＳ０３）。具体的には、撮像データＩＭＧＤＧから、表示部２２に表示された画像を表す部分のデータを抽出する。例えば、図５Ｂに示すように、表示部２２に表示された画像の他、表示装置２０の筐体が撮像データＩＭＧＤＧに含まれる場合、表示部２２に表示された画像を表す部分のデータを撮像データＩＭＧＤＧから抽出し、表示装置２０の筐体を表す部分のデータを除去する。これにより、データベース画像データＤＧＤＰを取得する。撮像データＩＭＧＤＧからのデータの抽出は、前述のように、パターンマッチング、テンプレートマッチング等により行うことができる。
【0098】
前述のように、データベース画像データＤＧＩＮが表す画像の解像度と、データベース画像データＤＧＤＰが表す画像の解像度と、は等しいことが好ましい。例えば、データベース画像データＤＧＩＮがｍ行ｎ列の第１の階調値を有する場合、データベース画像データＤＧＤＰはｍ行ｎ列の第２の階調値を有することが好ましい。しかしながら、例えば表示部２２に表示された画像を表す部分のデータを撮像データＩＭＧＤＧから抽出した場合、抽出したデータが有する階調値は、ｍ行ｎ列ではない場合がある。例えば、ｍ行より少ない行数の階調値しか有しない場合、又はｍ行より多くの行数の階調値を有する場合がある。また、ｎ列より少ない列数の階調値しか有しない場合、又はｎ列より多くの列数の階調値を有する場合がある。
【0099】
上記のように、撮像データＩＭＧＤＧから抽出したデータが有する階調値がｍ行ｎ列ではない場合、当該データに対してアップコンバージョン、又はダウンコンバージョンを画像抽出部４３が行うことにより、画像抽出部４３から出力されるデータベース画像データＤＧＤＰが、ｍ行ｎ列の第２の階調値を有するようにすることが好ましい。例えば、画像抽出部４３が撮像データＩＭＧＤＧから抽出したデータが有する階調値がｍ行より少ない、又はｎ列より少ない場合は、画像抽出部４３が、撮像データＩＭＧＤＧから抽出したデータに対してアップコンバージョンを行うことができる。また、画像抽出部４３が撮像データＩＭＧＤＧから抽出したデータが有する階調値がｍ行より多い、又はｎ列より多い場合は、画像抽出部４３が、撮像データＩＭＧＤＧから抽出したデータに対してダウンコンバージョンを行うことができる。以上により、データベース画像データＤＧＤＰに含まれる第２の階調値の行数及び列数を、データベース画像データＤＧＩＮに含まれる第１の階調値の行数及び列数と等しくｍ行ｎ列とすることができる。なお、前述のように、アップコンバージョン及びダウンコンバージョンは、ニアレストネイバー法、バイリニア法、バイキュービック法等により行うことができる。
【0100】
そして、データベース画像データＤＧＩＮと、データベース画像データＤＧＤＰと、の対応に関する情報を表すテーブルＴを、データベース４２に格納する（ステップＳ０４）。前述のように、テーブルＴは、具体的には、データベース画像データＤＧＩＮが有する第１の階調値と、データベース画像データＤＧＤＰが有する第２の階調値と、の対応に関する情報を表す。テーブルＴは、例えば、第１の階調値と、当該第１の階調値の座標に対応する座標の第２の階調値と、を表す。テーブルＴは、例えば、第１の階調値と、当該第１の階調値の座標と同一の座標の第２の階調値と、を表す。
【0101】
図６Ａは、テーブルＴの一例を示す図である。図６Ａでは、矢印の左側に、データベース画像データＤＧＩＮが有する第１の階調値を示し、矢印の右側に、データベース画像データＤＧＤＰが有する第２の階調値を示している。
【0102】
ここで、画素２４が、赤色の光と、緑色の光と、青色の光と、を射出する機能を有するものとする。この場合、画像データは、赤色の光の輝度を表す階調値（赤色階調値）と、緑色の光の輝度を表す階調値（緑色階調値）と、青色の光の輝度を表す階調値（青色階調値）を有する。そして、例えばｉ行ｊ列目の赤色階調値がＲ、緑色階調値がＧ、青色階調値がＢであることを、［Ｒ，Ｇ，Ｂ］（ｉ，ｊ）と記載して示す。また、例えば１行１列目乃至ｍ行ｎ列目の赤色階調値がＲ、緑色階調値がＧ、青色階調値がＢである、つまりすべての赤色階調値がＲ、すべての緑色階調値がＧ、全ての青色階調値がＢであることを、［Ｒ，Ｇ，Ｂ］（１，１）～（ｍ，ｎ）と記載して示す。なお、画素２４が射出する光は、赤色の光と、緑色の光と、青色の光と、に限られない。例えば、画素２４が、白色の光を射出してもよい。また、画素２４が、シアンの光と、マゼンタの光と、黄色の光と、を射出してもよい。また、画素２４が、赤色の光、緑色の光、又は青色の光を射出しなくてもよい。さらに、画素２４が射出する光の数は、３色に限られず、例えば１色又は２色の光を射出してもよいし、４色以上の光を射出してもよい。
【0103】
赤色階調値、緑色階調値、及び青色階調値がそれぞれ８ビットのデジタルデータである場合、Ｒ、Ｇ、Ｂがとり得る値はそれぞれ０乃至２５５の整数とすることができる。ここで、階調値が小さいほど画素２４から射出される光の輝度を小さいものとする場合、光が射出されないことを階調値０で表すことができる。よって、例えば全ての画素２４において、赤色の光、緑色の光、及び青色の光のいずれもが射出されないことを、［０，０，０］（１，１）～（ｍ，ｎ）と記載して示すことができる。
【0104】
上記より、データベース画像データＤＧＩＮが有する第１の階調値が［０，０，０］（１，１）～（ｍ，ｎ）である場合、画素２４（１，１）乃至画素２４（ｍ，ｎ）からは光が射出されないものとすることができる。よって、データベース画像データＤＧＤＰが有する第２の階調値も、［０，０，０］（１，１）～（ｍ，ｎ）とすることができる。
【0105】
画像処理システム１０を用いた機械学習モデルの生成方法では、第１の階調値が［１，０，０］（１，１）～（ｍ，ｎ）乃至［２５５，０，０］（１，１）～（ｍ，ｎ）であるデータベース画像データＤＧＩＮをそれぞれ表示装置２０に入力し、データベース画像データＤＧＤＰが有する第２の階調値を取得する。また、第１の階調値が［０，１，０］（１，１）～（ｍ，ｎ）乃至［０，２５５，０］（１，１）～（ｍ，ｎ）であるデータベース画像データＤＧＩＮをそれぞれ表示装置２０に入力し、データベース画像データＤＧＤＰが有する第２の階調値を取得する。さらに、第１の階調値が［０，０，１］（１，１）～（ｍ，ｎ）乃至［０，０，２５５］（１，１）～（ｍ，ｎ）であるデータベース画像データＤＧＩＮをそれぞれ表示装置２０に入力し、データベース画像データＤＧＤＰが有する第２の階調値を取得する。つまり、データベース画像データＤＧＩＮが表す画像は、例えば全面が単色且つ同一輝度の画像とすることができる。
【0106】
本明細書等において、「単色」という用語は、画素が一の色の光を射出することにより表される色を示す。例えば、画素が赤色の光と、緑色の光と、青色の光と、を射出する機能を有する場合、赤色の画像、緑色の画像、及び青色の画像を、単色の画像という。
【0107】
また、本明細書等において、例えばデータベース画像データＤＧＩＮにおける、ｉ行ｊ列目の赤色階調値が１である場合、対応するデータベース画像データＤＧＤＰにおける赤色階調値をＲ１ＤＰ（ｉ，ｊ）と記載して示す。また、例えばデータベース画像データＤＧＩＮにおける、ｉ行ｊ列目の赤色階調値が２５５である場合、対応するデータベース画像データＤＧＤＰにおける赤色階調値をＲ２５５ＤＰ（ｉ，ｊ）と記載して示す。また、例えばデータベース画像データＤＧＩＮにおける、ｉ行ｊ列目の緑色階調値が１である場合、対応するデータベース画像データＤＧＤＰにおける緑色階調値をＧ１ＤＰ（ｉ，ｊ）と記載して示す。また、例えばデータベース画像データＤＧＩＮにおける、ｉ行ｊ列目の緑色階調値が２５５である場合、対応するデータベース画像データＤＧＤＰにおける緑色階調値をＧ２５５ＤＰ（ｉ，ｊ）と記載して示す。また、例えばデータベース画像データＤＧＩＮにおける、ｉ行ｊ列目の青色階調値が１である場合、対応するデータベース画像データＤＧＤＰにおける青色階調値をＢ１ＤＰ（ｉ，ｊ）と記載して示す。さらに、例えばデータベース画像データＤＧＩＮにおける、ｉ行ｊ列目の青色階調値が２５５である場合、対応するデータベース画像データＤＧＤＰにおける青色階調値をＢ２５５ＤＰ（ｉ，ｊ）と記載して示す。
【0108】
ここで、第１の階調値と、当該第１の階調値と対応する第２の階調値と、は同一とは限らない。例えば、データベース画像データＤＧＩＮが有する第１の階調値が［１２８，０，０］（１，１）～（ｍ，ｎ）であったとしても、Ｒ１２８ＤＰ（１，１）乃至Ｒ１２８ＤＰ（ｍ，ｎ）がすべて１２８であるとは限らない。１２８より大きい場合もあり、また小さい場合もある。また、例えばＲ１２８ＤＰ（１，１）乃至Ｒ１２８ＤＰ（ｍ，ｎ）がすべて同一の値であるとも限らない。つまり、前述のように、データベース画像データＤＧＤＰが表す画像には、表示むら等が発生する場合がある。
【0109】
なお、すべての階調値についてデータベース画像データＤＧＩＮを表示装置２０に入力し、データベース画像データＤＧＤＰが有する第２の階調値を取得しなくてもよい。例えば、階調値［１，０，０］（１，１）～（ｍ，ｎ）乃至［２５５，０，０］（１，１）～（ｍ，ｎ）のうち、一部の階調値のデータベース画像データＤＧＩＮを表示装置２０に入力し、データベース画像データＤＧＤＰが有する第２の階調値を取得してもよい。また、階調値［０，１，０］（１，１）～（ｍ，ｎ）乃至［０，１，０］（１，１）～（ｍ，ｎ）のうち、一部の階調値のデータベース画像データＤＧＩＮを表示装置２０に入力し、データベース画像データＤＧＤＰが有する第２の階調値を取得してもよい。さらに、階調値［０，０，２５５］（１，１）～（ｍ，ｎ）乃至［０，０，２５５］（１，１）～（ｍ，ｎ）のうち、一部の階調値のデータベース画像データＤＧＩＮを表示装置２０に入力し、データベース画像データＤＧＤＰが有する第２の階調値を取得してもよい。
【0110】
上記のように、一部の階調値のデータベース画像データＤＧＩＮを表示装置２０に入力し、データベース画像データＤＧＤＰが有する第２の階調値を取得する場合、表示装置２０に入力しない階調値のデータベース画像データＤＧＩＮに対応するデータベース画像データＤＧＤＰが有する第２の階調値は、表示装置２０に入力したデータベース画像データＤＧＩＮが有する第１の階調値と、当該第１の階調値に対応する第２の階調値と、を基に算出することができる。例えば、比例補間により算出することができる。また、所定の式を用いて算出することができる。
【0111】
例えば、階調値［１２７，０，０］（１，１）～（ｍ，ｎ）のデータベース画像データＤＧＤＰと、［１２９，０，０］（１，１）～（ｍ，ｎ）のデータベース画像データＤＧＤＰは表示装置２０に入力するが、階調値［１２８，０，０］（１，１）～（ｍ，ｎ）のデータベース画像データＤＧＤＰは表示装置２０に入力しないものとする。そして、例えばＲ１２７ＤＰ（ｉ，ｊ）の値を１２０、Ｒ１２９ＤＰ（ｉ，ｊ）の値を１２４とし、Ｒ１２８ＤＰ（ｉ，ｊ）をＲ１２７ＤＰ（ｉ，ｊ）とＲ１２９ＤＰ（ｉ，ｊ）の比例補間により算出するものとする。この場合、Ｒ１２８ＤＰ（ｉ，ｊ）の値は１２２とすることができる。なお、緑色階調値、及び青色階調値についても同様の方法で算出することができる。
【0112】
一部の階調値についてデータベース画像データＤＧＩＮを表示装置２０に入力することにより、テーブルＴを生成するために必要となる演算回数を少なくすることができる。これにより、テーブルＴを短時間で生成することができる。
【0113】
図６Ａでは、データベース画像データＤＧＩＮが表す画像は、全面が単色の画像とした。つまり、データベース画像データＤＧＩＮとデータベース画像データＤＧＤＰの赤色階調値、緑色階調値、及び青色階調値を、別個に取得するものとしている。しかしながら、本発明の一態様はこれに限らない。図６Ｂは図６Ａの変形例であり、データベース画像データＤＧＩＮとデータベース画像データＤＧＤＰの赤色階調値、緑色階調値、及び青色階調値を一度に取得する点が、図６Ａに示す場合と異なる。
【0114】
図６Ｂに示す場合では、第１の階調値が［０，０，０］（１，１）～（ｍ，ｎ）乃至［２５５，２５５，２５５］（１，１）～（ｍ，ｎ）であるデータベース画像データＤＧＩＮをそれぞれ表示装置２０に入力し、データベース画像データＤＧＤＰが有する第２の階調値を取得する。つまり、データベース画像データＤＧＩＮが表す画像を、赤色階調値、緑色階調値、及び青色階調値の全てが同一の画像（白色画像）とし、データベース画像データＤＧＤＰの赤色階調値、緑色階調値、及び青色階調値を取得する。取得された階調値を、テーブルＴにより表す。テーブルＴは、具体的には、データベース画像データＤＧＩＮが有する赤色階調値と、当該赤色階調値の座標と対応する座標の、データベース画像データＤＧＤＰが有する赤色階調値と、を表す。また、テーブルＴは、データベース画像データＤＧＩＮが有する緑色階調値と、当該緑色階調値の座標と対応する座標の、データベース画像データＤＧＤＰが有する緑色階調値と、を表す。さらに、テーブルＴは、データベース画像データＤＧＩＮが有する青色階調値と、当該青色階調値の座標と対応する座標の、データベース画像データＤＧＤＰが有する青色階調値と、を表す。テーブルＴは、例えばデータベース画像データＤＧＩＮが有する赤色階調値と、当該赤色階調値の座標と同一の座標の、データベース画像データＤＧＤＰが有する赤色階調値と、を表す。また、テーブルＴは、例えばデータベース画像データＤＧＩＮが有する緑色階調値と、当該緑色階調値の座標と同一の座標の、データベース画像データＤＧＤＰが有する緑色階調値と、を表す。さらに、テーブルＴは、例えばデータベース画像データＤＧＩＮが有する青色階調値と、当該青色階調値の座標と同一の座標の、データベース画像データＤＧＤＰが有する青色階調値と、を表す。
【0115】
データベース画像データＤＧＩＮが表す画像を白色画像とすることにより、表示装置２０に入力するデータベース画像データＤＧＩＮの数を少なくすることができる。よって、テーブルＴを生成するために必要となる演算回数を少なくすることができる。これにより、テーブルＴを短時間で生成することができる。なお、データベース画像データＤＧＩＮの赤色階調値、緑色階調値、及び青色階調値をすべて同一としなくてもよく、データベース画像データＤＧＩＮの赤色階調値、緑色階調値、及び青色階調値のうち、一の色の階調値が他の色の階調値と異なってもよい。また、データベース画像データＤＧＩＮの赤色階調値、緑色階調値、及び青色階調値が互いに異なっていてもよい。
【0116】
［機械学習モデルの生成方法］
図７は、データベース４２に格納したテーブルＴを用いて、機械学習モデルＭＬＭを生成する方法の一例を示すフローチャートである。図７に示すように、機械学習モデルＭＬＭは、ステップＳ１１乃至ステップＳ１６に示す方法により生成される。図８Ａ、図８Ｂ、図９Ａ、図９Ｂ、及び図１０は、ステップＳ１１乃至ステップＳ１６における動作を示す模式図である。
図７は、データベース４２に格納したテーブルＴを用いて、機械学習モデルＭＬＭを生成する方法の一例を示すフローチャートである。図７に示すように、機械学習モデルＭＬＭは、ステップＳ１１乃至ステップＳ１６に示す方法により生成される。図８Ａ、図８Ｂ、図９Ａ、図９Ｂ、及び図１０は、ステップＳ１１乃至ステップＳ１６における動作を示す模式図である。
【0117】
機械学習モデルＭＬＭを生成するためには、まず、学習用画像データＬＧＩＮを、表示装置２０が有する入力部２１に入力する。入力部２１に入力された学習用画像データＬＧＩＮは、表示部２２に入力され、表示部２２には学習用画像データＬＧＩＮに対応する画像が表示される（ステップＳ１１）。具体的には、学習用画像データＬＧＩＮが有する、ｍ行ｎ列の階調値に対応する輝度の光を画素２４が射出することにより、表示部２２に画像を表示する。図８Ａは、表示部２２に表示される画像に、表示むら２８が発生している状態を示している。
【0118】
次に、表示部２２に表示された画像を、撮像装置３０で撮像する。これにより、撮像装置３０が、撮像データＩＭＧＬＧを取得する（ステップＳ１２）。
【0119】
前述のように、表示装置２０が有する表示部２２に表示された画像を撮像装置３０で撮像する場合、表示部２２以外の物体が撮像される場合がある。例えば、表示装置２０の筐体が撮像される場合がある。図８Ａでは、撮像データＩＭＧＬＧには、図８Ａに示す表示装置２０のうち、破線で囲んだ部分が含まれるとしている。
【0120】
その後、画像抽出部４３が、撮像データＩＭＧＬＧから学習用画像データＬＧＤＰを取得する（ステップＳ１３）。ステップＳ１３における動作は、撮像データＩＭＧＤＧを撮像データＩＭＧＬＧと読み替え、データベース画像データＤＧＤＰを学習用画像データＬＧＤＰと読み替え、図５Ｂを図８Ｂと読み替えることにより、ステップＳ０３における動作の説明を参照することができる。
【0121】
次に、学習用画像データＬＧＩＮに対して、学習用画像データＬＧＤＰに近づくように画像処理部４４が画像処理を行う。これにより、画像処理部４４が、学習用画像データＬＧＩＰを生成する（ステップＳ１４）。図９Ａは、画像処理部４４に入力される学習用画像データＬＧＩＮ及び学習用画像データＬＧＤＰと、画像処理部４４から出力される学習用画像データＬＧＩＰと、の一例を示す。
【0122】
学習用画像データＬＧＩＰの生成は、例えば、学習用画像データＬＧＩＰの階調値の合計と、学習用画像データＬＧＤＰが有する階調値の合計と、の差が、学習用画像データＬＧＩＰの階調値の合計と、学習用画像データＬＧＩＮが有する階調値の合計と、の差より小さくなるように、学習用画像データＬＧＩＮが有する階調値を画像処理により変換することにより行うことができる。例えば、学習用画像データＬＧＩＰの階調値の合計が、学習用画像データＬＧＤＰが有する階調値の合計と等しくなるように、学習用画像データＬＧＩＮが有する階調値を画像処理により変換することにより、学習用画像データＬＧＩＰを生成することができる。
【0123】
また、学習用画像データＬＧＩＰの生成は、例えば、学習用画像データＬＧＤＰに対するＰＳＮＲ、又はＳＳＩＭが、学習用画像データＬＧＩＮに対するＰＳＮＲ、又はＳＳＩＭより大きくなるように、学習用画像データＬＧＩＮが有する階調値を画像処理により変換することで行うことができる。例えば、学習用画像データＬＧＤＰに対するＰＳＮＲ、又はＳＳＩＭが最大となるように、学習用画像データＬＧＩＮが有する階調値を画像処理により変換することで、学習用画像データＬＧＩＰを生成することができる。
【0124】
前述のように、画像処理部４４が行う画像処理は、例えばガンマ補正とすることができる。この場合、ガンマ値を適切な値に設定することにより、上記画像処理を行うことができる。
【0125】
ここで、画像処理部４４は、学習用画像データＬＧＩＮに対する画像処理を、色ごとに行うことが好ましい。具体的には、例えば学習用画像データＬＧＩＮに対してガンマ補正を行う場合、色ごとにガンマ値を算出することが好ましい。例えば、学習用画像データＬＧＩＰが有する赤色階調値の合計と、学習用画像データＬＧＤＰが有する赤色階調値の合計と、の差が、学習用画像データＬＧＩＰが有する赤色階調値の合計と、学習用画像データＬＧＩＮが有する赤色階調値の合計と、の差より小さくなるように、学習用画像データＬＧＩＮが有する赤色階調値を画像処理により変換することが好ましい。また、学習用画像データＬＧＩＰが有する緑色階調値の合計と、学習用画像データＬＧＤＰが有する緑色階調値の合計と、の差が、学習用画像データＬＧＩＰが有する緑色階調値の合計と、学習用画像データＬＧＩＮが有する緑色階調値の合計と、の差より小さくなるように、学習用画像データＬＧＩＮが有する緑色階調値を画像処理により変換することが好ましい。さらに、学習用画像データＬＧＩＰが有する青色階調値の合計と、学習用画像データＬＧＤＰが有する青色階調値の合計と、の差が、学習用画像データＬＧＩＰが有する青色階調値の合計と、学習用画像データＬＧＩＮが有する青色階調値の合計と、の差より小さくなるように、学習用画像データＬＧＩＮが有する青色階調値を画像処理により変換することが好ましい。例えば、学習用画像データＬＧＩＰが有する赤色階調値の合計が、学習用画像データＬＧＤＰが有する赤色階調値の合計と等しくなるように、学習用画像データＬＧＩＮが有する赤色階調値を画像処理により変換することが好ましい。また、学習用画像データＬＧＩＰが有する緑色階調値の合計が、学習用画像データＬＧＤＰが有する緑色階調値の合計と等しくなるように、学習用画像データＬＧＩＮが有する緑色階調値を画像処理により変換することが好ましい。さらに、学習用画像データＬＧＩＰが有する青色階調値の合計が、学習用画像データＬＧＤＰが有する青色階調値の合計と等しくなるように、学習用画像データＬＧＩＮが有する青色階調値を画像処理により変換することが好ましい。
【0126】
前述のように、「学習用画像データＬＧＩＰが有する階調値の合計」は、例えば学習用画像データＬＧＩＰが有するｍ行ｎ列の階調値のうち、すべての階調値の合計としてもよいし、一部の階調値の合計としてもよい。また、「学習用画像データＬＧＩＮが有する階調値の合計」は、例えば学習用画像データＬＧＩＮが有するｍ行ｎ列の階調値のうち、すべての階調値の合計としてもよいし、一部の階調値の合計としてもよい。さらに、「学習用画像データＬＧＤＰが有する階調値の合計」は、例えば学習用画像データＬＧＤＰが有するｍ行ｎ列の階調値のうち、すべての階調値の合計としてもよいし、一部の階調値の合計としてもよい。
【0127】
本明細書等において、学習用画像データＬＧＩＰが有する、ｉ行ｊ列目の赤色階調値をＲＩＰ（ｉ，ｊ）と記載して示す。また、学習用画像データＬＧＩＰが有する、ｉ行ｊ列目の緑色階調値をＧＩＰ（ｉ，ｊ）と記載して示す。さらに、学習用画像データＬＧＩＰが有する、ｉ行ｊ列目の青色階調値をＢＩＰ（ｉ，ｊ）と記載して示す。
【0128】
前述のように、画像処理部４４から出力される学習用画像データＬＧＩＰが表す画像は、学習用画像データＬＧＤＰに近い画像となる。一方、画像処理部４４による画像処理が行われる学習用画像データＬＧＩＮが表す画像には表示むら２８が含まれないことから、学習用画像データＬＧＩＰが表す画像にも表示むら２８は含まれない。
【0129】
その後、テーブルＴに基づき、画像生成部４５が、学習用画像データＬＧＩＰから学習用画像データＬＧＧＥＮを生成する（ステップＳ１５）。図９Ｂは、画像生成部４５にテーブルＴ及び学習用画像データＬＧＩＰが入力され、学習用画像データＬＧＧＥＮが出力される様子を示している。
【0130】
具体的には、まず、学習用画像データＬＧＩＰの階調値を基に、テーブルＴに含まれる第２の階調値を選択する。例えば、学習用画像データＬＧＩＰの階調値と一致する値、又は最も近い値の第２の階調値を、１行１列目乃至ｍ行ｎ列目のそれぞれについて選択する。具体的には、例えばＲＩＰ（ｉ，ｊ）と一致する値、又は最も近い値の赤色階調値を、Ｒ０ＤＰ（ｉ，ｊ）乃至Ｒ２５５ＤＰ（ｉ，ｊ）の中から選択する。また、例えばＧＩＰ（ｉ，ｊ）と一致する値、又は最も近い値の緑色階調値を、Ｇ０ＤＰ（ｉ，ｊ）乃至Ｇ２５５ＤＰ（ｉ，ｊ）の中から選択する。さらに、例えばＢＩＰ（ｉ，ｊ）と一致する値、又は最も近い値の青色階調値を、Ｂ０ＤＰ（ｉ，ｊ）乃至Ｂ２５５ＤＰ（ｉ，ｊ）の中から選択する。なお、図９Ｂでは、選択された１行１列目の第２の階調値を、［ＲａＤＰ（１，１），ＧｂＤＰ（１，１），ＢｃＤＰ（１，１）］（１，１）とする（ａ、ｂ、ｃは０以上２５５以下の整数）。また、選択されたｍ行ｎ列目の第２の階調値を、［ＲｓＤＰ（ｍ，ｎ），ＧｔＤＰ（ｍ，ｎ），ＢｕＤＰ（ｍ，ｎ）］（ｍ，ｎ）とする（ｓ、ｔ、ｕは０以上２５５以下の整数）。
【0131】
次に、画像生成部４５が、テーブルＴを基にして、選択された第２の階調値に対応する第１の階調値を含む画像データである、学習用画像データＬＧＧＥＮを生成する。具体的には、画像生成部４５は、例えば選択された１行１列目乃至ｍ行ｎ列目の第２の階調値に対応する１行１列目乃至ｍ行ｎ列目の第１の階調値を含む画像データである、学習用画像データＬＧＧＥＮを生成する。例えば、図９Ｂに示す例では、学習用画像データＬＧＧＥＮにおける、１行１列目の赤色階調値はａ、緑色階調値はｂ、青色階調値はｃとなる。また、ｍ行ｎ列目の赤色階調値はｓ、緑色階調値はｔ、青色階調値はｕとなる。
【0132】
なお、例えば学習用画像データＬＧＩＰのｉ行ｊ列目の階調値と一致する、ｉ行ｊ列目の第２の階調値がテーブルＴに含まれない場合は、ｉ行ｊ列目の第２の階調値を選択しなくてもよい。この場合、学習用画像データＬＧＧＥＮのｉ行ｊ列目の階調値は、学習用画像データＬＧＩＰのｉ行ｊ列目の階調値と同一の値とすることができる。具体的には、例えばＲＩＰ（ｉ，ｊ）と一致する赤色階調値が、Ｒ０ＤＰ（ｉ，ｊ）乃至Ｒ２５５ＤＰ（ｉ，ｊ）の中に含まれない場合は、学習用画像データＬＧＧＥＮのｉ行ｊ列目の赤色階調値は、ＲＩＰ（ｉ，ｊ）とすることができる。また、例えばＧＩＰ（ｉ，ｊ）と一致する緑色階調値が、Ｇ０ＤＰ（ｉ，ｊ）乃至Ｇ２５５ＤＰ（ｉ，ｊ）の中に含まれない場合は、学習用画像データＬＧＧＥＮのｉ行ｊ列目の緑色階調値は、ＧＩＰ（ｉ，ｊ）とすることができる。さらに、例えばＢＩＰ（ｉ，ｊ）と一致する青色階調値が、Ｂ０ＤＰ（ｉ，ｊ）乃至Ｂ２５５ＤＰ（ｉ，ｊ）の中に含まれない場合は、学習用画像データＬＧＧＥＮのｉ行ｊ列目の青色階調値は、ＢＩＰ（ｉ，ｊ）とすることができる。
【0133】
前述のように、学習用画像データＬＧＩＰが表す画像には、表示むら等が含まれない。一方、第２の階調値を有するデータベース画像データＤＧＤＰには、表示むら等が含まれる。また、第１の階調値を有するデータベース画像データＤＧＩＮには、表示むら等が含まれない。以上より、学習用画像データＬＧＩＰの階調値を基に選択された第２の階調値に対応する第１の階調値を含む画像データである、学習用画像データＬＧＧＥＮは、学習用画像データＬＧＤＰに表れている表示むら等を打ち消すような画像データとすることができる。図９Ｂ等では、学習用画像データＬＧＧＥＮのうち、領域２９に対応するデータに、表示むら２８を打ち消すようなデータを付加している様子を示している。例えば、表示むら２８が発生している部分の輝度が、当該部分の周辺部の輝度より高い場合、領域２９の輝度は、領域２９の周辺部の輝度より低くすることができる。
【0134】
ステップＳ１５の後、学習部４６が、学習用画像データＬＧＩＮと、学習用画像データＬＧＧＥＮと、を用いて、機械学習モデルＭＬＭを生成する（ステップ１６）。例えば、学習用画像データＬＧＩＮを入力した場合に出力される画像データが、学習用画像データＬＧＧＥＮと一致するような機械学習モデルＭＬＭを生成する。このような機械学習モデルＭＬＭは、例えば学習用画像データＬＧＩＮと、学習用画像データＬＧＧＥＮと、を教師データとする教師あり学習により生成することができる。図１０は、学習用画像データＬＧＩＮと、学習用画像データＬＧＧＥＮと、を学習部４６に入力し、学習部４６から出力される画像データが学習用画像データＬＧＧＥＮと同一の画像データとなるように機械学習モデルＭＬＭを生成する様子を示している。なお、前述のように、機械学習モデルＭＬＭとして、例えばニューラルネットワークモデルを適用することができる。
【0135】
以上が画像処理システム１０を用いた機械学習モデルＭＬＭの生成方法の一例である。前述のように、入力部２１に入力された画像データに対して、機械学習モデルＭＬＭを用いて画像処理を行うことにより、機械学習処理部２３は、表示むらを打ち消すような画像データを生成することができる。機械学習処理部２３から出力された画像データを表示部２２に入力することにより、表示部２２は、表示むらを目立たなくした画像を表示することができる。よって、前述のように、表示部２２に表示される画像に表示むらが視認されることを抑制しつつ、表示装置２０を大型化することができる。また、表示部２２に表示される画像に表示むらが視認されることを抑制しつつ、表示部２２に設けられる画素２４の密度を高め、表示部２２に高精細な画像を表示することができる。
【0136】
また、機械学習モデルＭＬＭを用いて画像処理を行うことにより、前述のように表示むらの他にも、表示される画像の画質を低下させる要素を打ち消すことができる。例えば、線欠陥、点欠陥等を打ち消すことができる。よって、表示部２２は、高品位な画像を表示することができる。
【0137】
ここで、画像データを入力部２１に入力し、ステップＳ１１乃至ステップＳ１５と同様の処理を行うことにより画像生成部４５が生成した画像データを表示部２２に入力した場合であっても、表示部２２には、表示むら等を目立たなくした画像を表示することができる。しかしながら、ステップＳ１１乃至ステップＳ１５を行うには、高い演算能力が求められる。一方、生成済みの機械学習モデルＭＬＭを用いた画像処理は、ステップＳ１１乃至ステップＳ１５より低い演算能力で行うことができる。よって、機械学習モデルＭＬＭを用いて画像処理を行うことにより、短時間で画像処理を行うことができる。また、サーバのような演算能力の高い装置を用いずに、表示装置２０の内部で画像処理を行うことができる。
【0138】
なお、入力部２１に入力された画像データに対する、表示むらを目立たなくするための画像処理を、例えば高い演算能力を有する装置により行うことができるのであれば、当該画像処理を、機械学習モデルＭＬＭを用いずに、ステップＳ１１乃至ステップＳ１５と同様の方法により行ってもよい。また、例えば表示装置２０の演算能力が十分高ければ、入力部２１に入力された画像データに対する、表示むらを目立たなくするための画像処理を、機械学習モデルＭＬＭを用いずに、ステップＳ１１乃至ステップＳ１５と同様の方法により行ってもよい。機械学習モデルＭＬＭを用いずに画像処理を行う場合、生成装置４０は学習部４６を有しない構成とすることができる。
【0139】
＜輝点補正方法＞
以下では、本発明の一態様の画像処理方法である、輝点補正方法について、図面を用いて説明する。
以下では、本発明の一態様の画像処理方法である、輝点補正方法について、図面を用いて説明する。
【0140】
本発明の一態様の輝点補正方法では、輝点となる画素２４を検出した後、検出した画素２４に対して補正を行う。図１１Ａ、及び図１１Ｂは、輝点となる画素２４を検出する方法の一例を示す図である。ここで、図１１Ａに示す方法を方法Ｍ１とし、図１１Ｂに示す方法を方法Ｍ２とする。なお、図１１Ａ、及び図１１Ｂにおいて、表示むら等はないものとしている。
【0141】
方法Ｍ１では、まず、輝点補正用画像データＢＣＧ＿１ＩＮを、表示装置２０が有する入力部２１に入力する。その後、学習用画像データＬＧＩＮを輝点補正用画像データＢＣＧ＿１ＩＮと、撮像データＩＭＧＬＧを撮像データＩＭＧＢＣＧと、学習用画像データＬＧＤＰを輝点補正用画像データＢＣＧＤＰと、学習用画像データＬＧＩＰを輝点補正用画像データＢＣＧＩＰと、学習用画像データＬＧＧＥＮを輝点補正用画像データＢＣＧ＿１とそれぞれ読み替え、図７等に示すステップＳ１１乃至ステップＳ１５と同様の動作を行う（ステップＳ１１’乃至ステップＳ１５’）。例えば、ステップＳ１１’、及びステップＳ１２’において、輝点補正用画像データＢＣＧ＿１ＩＮに対応する画像を表示部２２に表示し、表示部２２に表示された画像を撮像装置３０で撮像することにより、撮像データＩＭＧＢＣＧを取得する。また、ステップＳ１３’において取得された輝点補正用画像データＢＣＧＤＰは、ｍ行ｎ列の階調値を有することができる。さらに、ステップＳ１５’において、データベース画像データＤＧＩＮが有する第１の階調値と、データベース画像データＤＧＤＰが有する第２の階調値と、の対応に関する情報を表すテーブルＴに基づき、画像生成部４５が、輝点補正用画像データＢＣＧＩＰから輝点補正用画像データＢＣＧ＿１を生成する。なお、輝点補正用画像データＢＣＧＤＰを画像処理部４４に供給せず、画像生成部４５に供給する場合、ステップＳ１４’に示す動作は行わない。この場合、ステップＳ１５’において、画像生成部４５は、輝点補正用画像データＢＣＧＤＰから輝点補正用画像データＢＣＧ＿１を生成する。
【0142】
ここで、輝点となる画素が画素２４（１，１）乃至画素２４（ｍ，ｎ）の中に含まれる場合、輝点補正用画像データＢＣＧＤＰが有するｍ行ｎ列の階調値のうち、輝点となる画素２４の座標に対応する座標の階調値、例えば輝点となる画素２４と同一の座標の階調値は、高いものとなる。例えば、輝点補正用画像データＢＣＧＤＰが有する階調値が、０乃至２５５のいずれかの整数値を取り得る場合、輝点となる画素２４の座標に対応する座標の階調値は、２５５、又はそれに近い値となる。ここで、輝点補正用画像データＢＣＧＤＰにおけるある座標の階調値が、当該座標の周辺の座標の階調値より高い場合、輝点補正用画像データＢＣＧ＿１においては階調値を低くすることができる。
【0143】
ステップＳ１５’の後、表示装置２０が有する輝点補正部５０は、輝点補正用画像データＢＣＧ＿１に基づき、輝点となる画素２４の座標である輝点座標を検出する。具体的には、輝点補正用画像データＢＣＧ＿１が有するｍ行ｎ列の階調値のうち、しきい値以下の階調値の座標を輝点座標とすることができる。なお、輝点座標の検出は、生成装置４０により行ってもよい。輝点座標の検出は、例えば生成装置４０が有する画像生成部４５により行ってもよい。
【0144】
ここで、輝点補正用画像データＢＣＧＤＰ、及び輝点補正用画像データＢＣＧ＿１の両方において、輝点座標の階調値と、輝点座標の周辺の座標の階調値と、の差が大きいと、輝点座標を高い精度で検出することができるため好ましい。よって、輝点補正用画像データＢＣＧ＿１ＩＮが有する階調値は、中間階調であることが好ましい。例えば、輝点補正用画像データＢＣＧ＿１ＩＮが有するｍ行ｎ列の階調値の全てを、１２７、又はその近傍とすることが好ましい。図１１Ａでは、輝点補正用画像データＢＣＧ＿１ＩＮの階調値をすべて同一の値の中間階調値とし、輝点補正用画像データＢＣＧＤＰに、輝点として周辺の階調値より高い階調値５３が含まれる例を示している。図１１Ａに示す例では、輝点補正用画像データＢＣＧ＿１が有する階調値のうち、階調値５３と同一座標の階調値５４を、周辺の階調値より低くすることができる。
【0145】
方法Ｍ２では、まず、輝点補正用画像データＢＣＧ＿２ＩＮを、表示装置２０が有する入力部２１に入力する。その後、学習用画像データＬＧＩＮを輝点補正用画像データＢＣＧ＿２ＩＮと、撮像データＩＭＧＬＧを撮像データＩＭＧＢＣＧと、学習用画像データＬＧＤＰを輝点補正用画像データＢＣＧ＿２と読み替え、図７等に示すステップＳ１１乃至ステップＳ１３と同様の動作を行う（ステップＳ１１’’乃至ステップＳ１３’’）。例えば、ステップＳ１１’’、及びステップＳ１２’’において、輝点補正用画像データＢＣＧ＿２ＩＮに対応する画像を表示部２２に表示し、表示部２２に表示された画像を撮像装置３０で撮像することにより、撮像データＩＭＧＢＣＧを取得する。また、ステップＳ１３’’において取得された輝点補正用画像データＢＣＧ＿２は、ｍ行ｎ列の階調値を有することができる。
【0146】
ここで、輝点となる画素が画素２４（１，１）乃至画素２４（ｍ，ｎ）の中に含まれる場合、輝点補正用画像データＢＣＧ＿２が有するｍ行ｎ列の階調値のうち、輝点となる画素２４の座標に対応する座標の階調値、例えば輝点となる画素２４と同一の座標の階調値は、高いものとなる。例えば、輝点補正用画像データＢＣＧ＿２が有する階調値が、０乃至２５５のいずれかの整数値を取り得る場合、輝点となる画素２４の座標に対応する座標の階調値は、２５５、又はそれに近い値となる。
【0147】
ステップＳ１３’’の後、表示装置２０が有する輝点補正部５０は、輝点補正用画像データＢＣＧ＿２に基づき、輝点となる画素２４の座標である輝点座標を検出する。具体的には、輝点補正用画像データＢＣＧ＿２が有するｍ行ｎ列の階調値のうち、しきい値以上の階調値の座標を輝点座標とすることができる。なお、輝点座標の検出は、生成装置４０により行ってもよい。輝点座標の検出は、例えば生成装置４０が有する画像抽出部４３により行ってもよい。
【0148】
ここで、輝点補正用画像データＢＣＧ＿２において、輝点座標の階調値と、輝点座標の周辺の階調値と、の差が大きいと、輝点座標を高い精度で検出することができるため好ましい。一方、表示部２２に入力される画像データが有する階調値が小さすぎると、階調値次第で輝点となり得る画素２４であっても輝点とならず、輝点座標を高い精度で検出することができない場合がある。輝点補正用画像データＢＣＧ＿２ＩＮの階調値は、以上を踏まえて決定することが好ましい。例えば、輝点補正用画像データＢＣＧ＿２ＩＮが有するｍ行ｎ列の階調値の全てを、０以上１２７以下、又は３１以上１２７以下、又は６３以上１２７以下とすることが好ましい。図１１Ｂでは、輝点補正用画像データＢＣＧ＿２に、輝点として周辺の階調値より高い階調値５５が含まれる例を示している。
【0149】
輝点座標を検出することにより、輝点補正部５０は、輝点を補正する機能を有することができる。例えば、コンテンツ画像データＣＧＭＬが有するｍ行ｎ列の階調値のうち、輝点座標に対応する座標、例えば輝点座標と同一の座標の階調値を小さくすることができ、例えば０とすることができる。輝点補正部５０が、輝点座標に対応する座標の階調値を小さくしたコンテンツ画像データＣＧＣＯＲを生成して表示部２２に供給することにより、例えば輝点となる画素２４を暗点とすることができる。前述のように、表示部２２に表示される画像を視認する場合、輝点は暗点より目立つため、視認性への影響が大きい。よって、コンテンツ画像データＣＧＣＯＲに対応する画像を表示部２２に表示させることにより、表示部２２に表示される画像を高品位なものとすることができる。
【0150】
図１２Ａは、輝点補正用画像データＢＣＧ＿１の階調値の実測値と、輝点補正用画像データＢＣＧ＿１ＩＮの階調値との関係を示すグラフであり、方法Ｍ１により作成できるものである。ここで、輝点補正用画像データＢＣＧ＿１ＩＮの階調値は、全面同一とした。図１２Ａにおいて、同一の輝点補正用画像データＢＣＧ＿１ＩＮの階調値に対して複数のプロットが存在するが、これは輝点補正用画像データＢＣＧ＿１の階調値の実測値を、複数の座標についてプロットしたことによる。
【0151】
図１２Ａに示す線５６は、輝点補正用画像データＢＣＧ＿１ＩＮの各階調値における、プロットした輝点補正用画像データＢＣＧ＿１の階調値の平均を表す。図１２Ａに示すように、輝点補正用画像データＢＣＧ＿１の階調値の平均と、輝点補正用画像データＢＣＧ＿１ＩＮの階調値と、の関係は、線形近似することができる。
【0152】
ここで、前述のように、輝点座標における輝点補正用画像データＢＣＧ＿１の階調値は、輝点座標ではない階調値より低くなる。よって、輝点補正用画像データＢＣＧ＿１ＩＮの階調値ごとにしきい値を設け、例えばｍ行ｎ列の輝点補正用画像データＢＣＧ＿１の階調値のうち、しきい値未満の階調値の座標を輝点座標とすることができる。図１２Ａにおいて、しきい値を線５７により示している。線５７は、傾きが正の１次式により表すことができる。
【0153】
方法Ｍ１において、階調値が異なる複数の輝点補正用画像データＢＣＧ＿１ＩＮを用意し、それぞれに対して輝点補正用画像データＢＣＧ＿１を生成することにより、輝点となる画素２４の座標を輝点座標ではないと判定すること、及び輝点とならない画素２４の座標を輝点座標であると判定することを抑制することができる。よって、輝点補正部５０等は、輝点座標を高い精度で検出することができる。
【0154】
図１２Ｂは、画像抽出部４３が生成する輝点補正用画像データＢＣＧＤＰの階調値の実測値と、入力部２１に入力される輝点補正用画像データＢＣＧＩＮの階調値と、の関係を示すグラフである。図１２Ｂに示すように、輝点補正用画像データＢＣＧＤＰの階調値と、輝点補正用画像データＢＣＧＩＮの階調値の関係は線形近似することはできず、例えばシグモイド曲線により近似される。
【0155】
次に、方法Ｍ２で検出することができる画素２４の一例について説明する。図１３Ａ１、及び図１３Ａ２は、輝点補正用画像データＢＣＧ＿２の階調値と、輝点補正用画像データＢＣＧ＿２ＩＮの階調値の関係を示すグラフである。
【0156】
図１３Ａ１に示すグラフ６１は、例えば表示装置２０の製造時における、輝点補正用画像データＢＣＧ＿２が有するｍ行ｎ列の階調値の平均値と、輝点補正用画像データＢＣＧ＿２ＩＮの階調値の関係とすることができる。なお、輝点補正用画像データＢＣＧ＿２ＩＮが有する階調値は、例えば全面同一の値とすることができる。ここで、輝点補正用画像データＢＣＧ＿２が有する階調値のうち、一部の階調値において、グラフ６３に示す挙動をとるものとする。つまり、表示部２２に入力される画像データの階調値が高くなると、一部の画素２４から射出される光の輝度が、低下するものとする。そして、グラフ６３に示す挙動をとる画素２４は劣化しやすく、当該画素２４を長期間使用する、つまり例えば当該画素２４が有する表示素子に電圧を長期間供給すると、挙動が図１３Ａ２に示すグラフ６３Ａに変化するものとする。一方、グラフ６１に示す挙動をとる画素２４は劣化しにくく、長期間使用してもグラフ６３Ａに示す挙動をとらないものとする。
【0157】
グラフ６３Ａに示す挙動をとる画素２４は、輝点であるということができる。よって、図１３Ａ１のグラフ６３に示す挙動をとる画素２４は、例えば表示装置２０の製造時点では輝点ではないが、表示装置２０の使用に伴い輝点になる可能性が高い画素である。前述のように、画素２４が輝点となると、視認性への影響が大きい。よって、図１３Ａ１のグラフ６３に示す挙動をとる画素２４は、例えば表示素子に供給する電圧を小さくして、暗点とすることが好ましい。これにより、画素２４が輝点となることを抑制することができるため、表示装置２０の信頼性を高めることができる。
【0158】
図１３Ｂは、グラフ６３に示す挙動をとる画素２４を検出する方法の一例を示す図である。図１３Ｂに示すように、輝点補正用画像データＢＣＧ＿２ＩＮの階調値は、高いものとする。例えば、輝点補正用画像データＢＣＧ＿２ＩＮが有するｍ行ｎ列の階調値の全てを、２５５、又はその近傍とする。このような輝点補正用画像データＢＣＧ＿２ＩＮに基づき、ステップＳ１１’’乃至ステップＳ１３’’を行うと、輝点補正用画像データＢＣＧ＿２の階調値のうち、グラフ６３に示す挙動をとる画素２４に対応する階調値は、周辺の階調値より低くなる。図１３Ｂでは、輝点補正用画像データＢＣＧ＿２に、周辺の階調値より低い階調値６５が含まれる例を示している。階調値６５に対応する画素２４を、グラフ６３に示す挙動をとる画素２４、つまり長期間の使用により輝点となる画素２４とすることができる。
【0159】
よって、方法Ｍ２により、既に輝点となっている画素２４だけでなく、表示装置２０の使用に伴い輝点となる可能性が高い画素２４を検出することができる。一方、方法Ｍ１では、輝点補正用画像データＢＣＧ＿１の階調値のうち、グラフ６３に示す挙動をとる画素２４に対応する階調値は、周辺の階調値より高くなる。よって、入力部２１に入力する輝点補正用画像データＢＣＧ＿１ＩＮの階調値を高くすると、グラフ６３に示す挙動をとる画素２４を検出することが難しくなる。一方、入力部２１に入力する輝点補正用画像データＢＣＧ＿１ＩＮの階調値を低くすると、グラフ６３がグラフ６１に近くなるため、グラフ６３に示す挙動をとる画素２４を検出することが難しくなる。以上より、方法Ｍ１では、グラフ６３に示す挙動をとる画素２４を検出することは難しい。
【0160】
以上より、方法Ｍ１と方法Ｍ２の両方を行うことで、例えば輝点となっている画素２４を高い精度で検出できるだけでなく、表示装置２０の使用に伴い輝点となる可能性が高い画素２４も検出することができる。このように、方法Ｍ１と方法Ｍ２の両方を行うことで、例えば暗点とすべき画素２４を網羅的に検出することができる。
【0161】
図１４は、輝点補正用画像データＢＣＧ＿１の階調値の実測値と、輝点補正用画像データＢＣＧ＿１ＩＮの階調値との関係を示すグラフであり、線５７の代わりに線５７Ａ、及び線５７Ｂが記載されている点が図１２Ａに示すグラフと異なる。
【0162】
図１４において、輝点補正用画像データＢＣＧ＿１の階調値のうち、線５７Ａで示される階調値を第１のしきい値とし、線５７Ｂで示される階調値を第２のしきい値とする。第１のしきい値は線５６で示される値より小さく、第２のしきい値は第１のしきい値より小さい。線５７Ａ、及び線５７Ｂは、線５７と同様に傾きが正の１次式により表すことができる。
【0163】
画像処理システム１０を用いた画像処理方法の一例を、図１４を用いて説明する。まず、方法Ｍ１により、図１４に示すグラフを作成する。図１４に示すグラフにおいて、例えばｍ行ｎ列の輝点補正用画像データＢＣＧ＿１の階調値のうち、第１のしきい値以下、且つ第２のしきい値以上の階調値の座標を第１の輝点座標とする。また、第２のしきい値未満の階調値の座標を第２の輝点座標とする。
【0164】
また、方法Ｍ２により、輝点座標を検出する。当該輝点座標を、第３の輝点座標とする。
【0165】
そして、コンテンツ画像データＣＧＭＬが輝点補正部５０に入力された場合は、コンテンツ画像データＣＧＭＬが有するｍ行ｎ列の階調値のうち、例えば第１の輝点座標と同一であり、且つ第３の輝点座標とも同一である座標の階調値を小さくする。また、例えば第３の輝点座標と同一であるか否かにかかわらず、第２の輝点座標と同一の座標の階調値を小さくする。これにより、輝点を補正することができ、表示部２２に高品位な画像を表示させることができる。
【0166】
以上のような方法で画像処理を行うことにより、例えば暗点としなくても視認性に大きな影響を及ぼさない画素２４を暗点とすることを抑制することができる。これにより、表示部２２に表示される画像の品位を、画素２４を暗点とすることでかえって低下させることを抑制することができる。図１４に示す例では、ｍ行ｎ列の画素２４のうち、例えば第１の輝点座標とは同一であるが第３の輝点座標とは異なる座標の画素２４は、暗点としなくても視認性に大きな影響を及ぼさないものとすることができる。よって、例えばコンテンツ画像データＣＧＭＬが有するｍ行ｎ列の階調値のうち、第１の輝点座標とは同一であるが第３の輝点座標とは異なる座標の階調値は、補正しないものとすることができる。
【0167】
以上が本発明の一態様の画像処理方法である、輝点補正方法の一例である。
【0168】
＜機械学習モデルの構成例＞
図１５Ａは、機械学習モデルＭＬＭの構成例を示す図である。図１５Ａに示すように、機械学習モデルＭＬＭは、入力層ＩＬと、中間層ＭＬ１と、中間層ＭＬ２と、中間層ＭＬ３と、出力層ＯＬと、を有するニューラルネットワークモデルとすることができる。入力層ＩＬと、中間層ＭＬ１と、中間層ＭＬ３と、出力層ＯＬは、ニューロンにより構成されている層を複数有し、各層に設けられているニューロン同士が結合されている。入力層ＩＬには、画像データを入力することができる。
図１５Ａは、機械学習モデルＭＬＭの構成例を示す図である。図１５Ａに示すように、機械学習モデルＭＬＭは、入力層ＩＬと、中間層ＭＬ１と、中間層ＭＬ２と、中間層ＭＬ３と、出力層ＯＬと、を有するニューラルネットワークモデルとすることができる。入力層ＩＬと、中間層ＭＬ１と、中間層ＭＬ３と、出力層ＯＬは、ニューロンにより構成されている層を複数有し、各層に設けられているニューロン同士が結合されている。入力層ＩＬには、画像データを入力することができる。
【0169】
入力層ＩＬに入力される画像データは、ｍ行ｎ列の行列を、表示部２２が有する副画素の種類の数と同数有することができる。例えば、画素２４が、赤色（Ｒ）の光を射出する副画素と、緑色（Ｇ）の光を射出する副画素と、青色（Ｂ）の光を射出する副画素と、を有する場合、画像データは、赤色階調値を成分としたｍ行ｎ列の行列と、緑色階調値を成分としたｍ行ｎ列の行列と、青色階調値を成分としたｍ行ｎ列の行列と、を有する。つまり、当該画像データは、３個の行列を有する構成とすることができる。
【0170】
上記のように画像データが行列を含むものとすると、入力層ＩＬが有するニューロンの数は、当該行列が有する成分の数と同数とすることができる。例えば、画像データが、１２００行１９２０列の行列を３個有する場合、入力層ＩＬが有するニューロンの数は、１９２０×１２００×３とすることができる。また、画像データが行列を含むものとすると、出力層ＯＬが有するニューロンの数は、当該行列が有する成分の数と同数とすることができる。例えば、画像データが、前述のように１２００行１９２０列の行列を３個有する場合、出力層ＯＬが有するニューロンの数は、１９２０×１２００×３とすることができる。
【0171】
中間層ＭＬ１は、中間層ＭＬ２に供給するデータＤ１を生成する機能を有する。データＤ１は、ｈ個（ｈは２以上の整数）の成分ｘを有する行列とすることができる。
【0172】
本明細書等において、例えばｈ個の成分ｘを、それぞれ成分ｘ１乃至成分ｘｈと記載して区別する。他の成分においても、同様の記載をする。
【0173】
中間層ＭＬ１が有するニューロンの数は、入力層ＩＬが有するニューロンの数より多くする。これにより、データＤ１が有する成分数を、入力層ＩＬに入力される画像データが有する成分数より多くすることができる。中間層ＭＬ１が行うことができる演算処理の詳細については後述する。
【0174】
中間層ＭＬ２は、成分ｘを、成分ｙに変換する機能を有する。例えば、中間層ＭＬ２は、非線形且つ多項式の１変数関数により、成分ｘ１乃至成分ｘｈをそれぞれ成分ｙ１乃至成分ｙｈに変換する機能を有する。当該関数の一例を以下に示す。
【0175】
【数1】
【0176】
ここで、ｉは１以上ｈ以下の整数とすることができる。上記数式は、成分ｘを独立変数、成分ｙを従属変数とし、ａを係数とする関数である。当該関数は、ｘのｄ乗（ｄは２以上の整数）を含む項を有する。図１５Ａでは、中間層ＭＬ２が上記数式で示される演算処理を行うとしている。
【0177】
非線形且つ多項式の１変数関数の他の一例を以下に示す。
【0178】
【数2】
【0179】
上記数式は、ｘを独立変数、ｙを従属変数とし、ａとｂを係数とする関数である。当該関数は、成分ｘの余弦を含む項と、成分ｘの正弦を含む項と、を有する。なお、当該関数は、成分ｘの余弦を含む項を有していなくてもよい。また、当該関数は、成分ｘの正弦を含む項を有していなくてもよい。
【0180】
以上により、中間層ＭＬ２は、成分ｙ１乃至成分ｙｈを有するデータを生成することができる。当該データを、データＤ２とする。データＤ２は、データＤ１と同様に行列とすることができる。
【0181】
中間層ＭＬ３は、出力層ＯＬに供給するデータを生成する機能を有する。中間層ＭＬ３が有するニューロンの数は、出力層ＯＬが有するニューロンの数より多くする。これにより、出力層ＯＬから出力される画像データが有する成分数を、データＤ２が有する成分数より少なくすることができる。中間層ＭＬ３が行うことができる演算処理の詳細については後述する。
【0182】
なお、入力層ＩＬと、中間層ＭＬ２と、の間に中間層を２つ以上設けてもよい。また、中間層ＭＬ２と、出力層ＯＬと、の間に中間層を２つ以上設けてもよい。
【0183】
図１５Ｂは、機械学習モデルＭＬＭが図１５Ａで示す構成である場合の、機械学習モデルＭＬＭの生成方法の一例を示す図である。図７に示すように、機械学習モデルＭＬＭは、ステップＳ１６で生成される。よって、図１５Ｂは、機械学習モデルＭＬＭが図１５Ａで示す構成である場合の、ステップＳ１６の動作の一例を示す図であるということができる。
【0184】
前述のように、機械学習モデルＭＬＭは、学習部４６が生成することができる。具体的には、例えば学習用画像データＬＧＩＮと、学習用画像データＬＧＧＥＮと、を用いて、機械学習モデルＭＬＭを生成することができる。例えば、学習用画像データＬＧＩＮを入力した場合に出力される画像データが学習用画像データＬＧＧＥＮと一致するように係数ａ１，０乃至係数ａｎ，ｋの値等を学習により取得することで、学習部４６は機械学習モデルＭＬＭを生成することができる。なお、中間層ＭＬ２が数式２に示す演算を行う場合は、係数ａの値のほか、係数ｂの値も学習により取得する。
【0185】
図１６Ａ、及び図１６Ｂは、機械学習モデルＭＬＭが適用された機械学習処理部２３による演算の一例を示す図である。図１６Ａに示すように、中間層ＭＬ１により、コンテンツ画像データＣＧＩＮと、フィルタｆａと、の積和演算を行うことができる。ここで、図１６Ａに示す例では、コンテンツ画像データＣＧＩＮは、１２００行１９２０列の行列を３個含むものとする。つまり、コンテンツ画像データＣＧＩＮは、横幅１９２０、高さ１２００、チャネル数３のデータとする。また、フィルタｆａのチャネル数は３とし、中間層ＭＬ１により、コンテンツ画像データＣＧＩＮと、９個のフィルタｆａ（フィルタｆａ１乃至フィルタｆａ９）と、の積和演算を行うものとする。このような積和演算を行うことにより、中間層ＭＬ１からは、高さ１２００、横幅１９２０、チャネル数９のデータＤ１を出力することができる。データＤ１は、成分ｘ１乃至成分ｘ１９２０×１２００×９を含むものとする。
【0186】
データＤ１が有する成分ｘ１乃至成分ｘ１９２０×１２００×９は、中間層ＭＬ２において、数式１、又は数式２等により成分ｙ１乃至成分ｙ１９２０×１２００×９に変換することができる。成分ｙ１乃至成分ｙ１９２０×１２００×９を含むデータを、データＤ２とする。
【0187】
図１６Ｂに示すように、中間層ＭＬ３により、データＤ２と、フィルタｆｂと、の積和演算を行うことができる。ここで、データＤ２は、データＤ１と同様に、高さ１２００、横幅１９２０、チャネル数９のデータとすることができる。また、フィルタｆｂのチャネル数は９とし、中間層ＭＬ３により、データＤ２と、３個のフィルタｆｂ（フィルタｆｂ１乃至フィルタｆｂ３）と、の積和演算を行うものとする。このような積和演算を行うことにより、中間層ＭＬ３からは、横幅１９２０、高さ１２００、チャネル数３のデータを出力することができる。当該データは、コンテンツ画像データＣＧＭＬとすることができる。
【0188】
以上より、機械学習モデルＭＬＭを用いて、例えばコンテンツ画像データＣＧＩＮをコンテンツ画像データＣＧＭＬに変換することができる。
【0189】
以上のように、図１５Ａに示す構成の機械学習モデルＭＬＭでは、中間層ＭＬ２において、データＤ１に含まれる成分ｘ１乃至成分ｘｈを、非線形且つ多項式の１変数関数を用いてそれぞれ成分ｙ１乃至成分ｙｈに変換する。これにより、例えば線形の１変数関数、又は単項式の１変数関数を用いて成分ｘ１乃至成分ｘｈをそれぞれ成分ｙ１乃至成分ｙｈに変換する場合より、機械学習モデルＭＬＭを用いた推論を高い精度で行うことができる。また、図１６Ａに示すフィルタｆａの個数、及び図１６Ｂに示すフィルタｆｂのチャネル数を少なくすることができるため、学習による機械学習モデルＭＬＭの生成、及び機械学習モデルＭＬＭによる推論に要する演算量を少なくすることができる。よって、学習、及び推論を高速に行うことができる。
【実施例】
【0190】
本実施例では、図１５Ａに示す機械学習モデルＭＬＭを取得するために学習を行った結果について説明する。
【0191】
本実施例では、横幅１９２０、高さ１２００、チャネル数３の画像データを学習データ、及び正解データとした教師あり学習により、機械学習モデルＭＬＭを生成した。データＤ１に含まれる成分ｘは、中間層ＭＬ２により、数式１、数式２、又は数式“ｙ＝ａｘ＋ｂ”を用いて、成分ｙに変換した。数式１、及び数式２において、ｄ＝５とした。
【0192】
また、中間層ＭＬ１は図１６Ａに示す演算を行うものとし、中間層ＭＬ３は図１６Ｂに示す演算を行うものとした。データＤ１に含まれる成分ｘを数式１、又は数式２を用いて成分ｙに変換する場合は、中間層ＭＬ１により画像データと、チャネル数３のフィルタｆａ１乃至フィルタｆａ９と、の積和演算を行うものとし、中間層ＭＬ３によりデータＤ１と、チャネル数９のフィルタｆａ１乃至フィルタｆａ３と、の積和演算を行うものとした。また、データＤ１に含まれる成分ｘを数式“ｙ＝ａｘ＋ｂ”を用いて成分ｙに変換する場合は、中間層ＭＬ１により画像データと、チャネル数３のフィルタｆａ１乃至フィルタｆａ１６２と、の積和演算を行うものとし、中間層ＭＬ３によりデータＤ２と、チャネル数が１６２のフィルタｆｂ１乃至フィルタｆｂ３と、の積和演算を行うものとした。
【0193】
図１７は、ＳＳＩＭと、学習回数（ｅｐｏｃｈ）と、の関係を示すグラフである。ＳＳＩＭは、テストデータと、正解データと、を用いて算出した。ＳＳＩＭが大きいほど、テストデータと、正解データと、の類似度が高いため、機械学習モデルＭＬＭが高い精度で推論できることを示す。テストデータは、学習データ、及び正解データと同様に、横幅１９２０、高さ１２００、チャネル数３の画像データとした。
【0194】
前述のように、データＤ１に含まれる成分ｘを、数式１、又は数式２を用いて成分ｙに変換した場合は、成分ｘを数式“ｙ＝ａｘ＋ｂ”を用いて成分ｙに変換した場合よりフィルタｆａの個数、及びフィルタｆｂのチャネル数が少ない。これにもかかわらず、図１７に示すように、学習回数が２００以上である場合において、成分ｘを数式１、又は数式２を用いて成分ｙに変換した場合は、成分ｘを数式“ｙ＝ａｘ＋ｂ”を用いて成分ｙに変換した場合よりＳＳＩＭが大きくなった。
【符号の説明】
【0195】
１０：画像処理システム、２０：表示装置、２１：入力部、２２：表示部、２３：機械学習処理部、２４：画素、２６：領域、２９：領域、３０：撮像装置、３３：画素、４０：生成装置、４２：データベース、４３：画像抽出部、４４：画像処理部、４５：画像生成部、４６：学習部、５０：輝点補正部、５１：輝点、５２：領域、５３：階調値、５４：階調値、５５：階調値、５６：線、５７：線、５７Ａ：線、５７Ｂ：線、６１：グラフ、６３：グラフ、６３Ａ：グラフ、６５：階調値、１２６：配線、１３４：配線、１６１：トランジスタ、１６２：トランジスタ、１７０：発光素子、１７１：トランジスタ、１７３：容量、１７４：配線、１７５：配線、１８０：液晶素子、１８１：容量、１８２：配線、１８３：配線
【図1】
【図2A】
【図2B1】
【図2B2】
【図3A】
【図3B】
【図4】
【図5A】
【図5B】
【図6A】
【図6B】
【図7】
【図8A】
【図8B】
【図9A】
【図9B】
【図10】
【図11A】
【図11B】
【図12A】
【図12B】
【図13A1】
【図13A2】
【図13B】
【図14】
【図15A】
【図15B】
【図16A】
【図16B】
【図17】