(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025164898
(43)【公開日】2025-10-30
(54)【発明の名称】生成装置
(51)【国際特許分類】
G09G 3/20 20060101AFI20251023BHJP
G09G 3/36 20060101ALI20251023BHJP
G09G 3/3233 20160101ALI20251023BHJP
G06V 10/774 20220101ALI20251023BHJP
G06V 10/82 20220101ALI20251023BHJP
G06T 7/00 20170101ALI20251023BHJP
【FI】
G09G3/20 641P
G09G3/20 611H
G09G3/20 631U
G09G3/20 632F
G09G3/20 670J
G09G3/36
G09G3/3233
G06V10/774
G06V10/82
G06T7/00 350C
【審査請求】有
【請求項の数】3
【出願形態】OL
(21)【出願番号】P 2025142717
(22)【出願日】2025-08-28
(62)【分割の表示】P 2024203611の分割
【原出願日】2021-01-27
(31)【優先権主張番号】P 2020020034
(32)【優先日】2020-02-07
(33)【優先権主張国・地域又は機関】JP
(31)【優先権主張番号】P 2020085322
(32)【優先日】2020-05-14
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000153878
【氏名又は名称】株式会社半導体エネルギー研究所
(72)【発明者】
【氏名】秋元 健吾
(72)【発明者】
【氏名】三嶋 大地
(57)【要約】
【課題】表示装置に表示される画像の表示むらを低減することができる画像処理システム
を提供する。
【解決手段】表示装置と、撮像装置と、学習装置と、を有する。学習装置には、第1の画
像データと、第1の画像データに対応する画像を表示装置に表示させ、当該画像を撮像装
置で撮像することにより生成された第2の画像データと、の対応に関する情報を表すテー
ブルが格納されている。学習装置は、テーブルを基に教師データを生成し、生成した教師
データを用いて機械学習モデルを生成する。表示装置に入力された画像データに対して機
械学習モデルを用いた画像処理を行うことにより、表示装置に表示される画像の表示むら
を低減することができる。
【選択図】
図1
【特許請求の範囲】
【請求項1】
画像抽出部と、データベースと、画像処理部と、画像生成部と、学習部と、を有し、
前記データベースには、第1の画像データと、前記画像抽出部より取得した第2の画像データと、に基づき生成されたテーブルが格納され、
前記第1の画像データは、m行n列(m、nは2以上の整数)の第1の階調値を有し、
前記第2の画像データは、m行n列の第2の階調値を有し、
前記テーブルは、前記第1の階調値と、前記第1の階調値の座標に対応する座標の前記第2の階調値と、を表し、
前記画像処理部は、第1の学習用画像データに対して、第2の学習用画像データに基づき画像処理を行うことにより、第3の学習用画像データを生成する機能を有し、
前記第2の学習用画像データは、前記画像抽出部より取得した画像データであり、
前記第3の学習用画像データは、m行n列の第3の階調値を有し、
前記画像生成部は、前記第3の階調値を基に選択された前記第2の階調値に対応する前記第1の階調値を含む画像データである、第4の学習用画像データを生成する機能を有し、
前記学習部は、前記第1の学習用画像データを入力した場合に出力される画像データが、前記第4の学習用画像データと一致するような機械学習モデルを生成する機能を有する生成装置。
【請求項2】
請求項1において、
前記第1の学習用画像データは、m行n列の第4の階調値を有し、
前記第2の学習用画像データは、m行n列の第5の階調値を有し、
前記画像処理部は、前記第3の階調値の合計と、前記第5の階調値の合計と、の差が、前記第3の階調値の合計と、前記第4の階調値の合計と、の差より小さくなるように画像処理を行う機能を有する生成装置。
【請求項3】
請求項1において、
前記機械学習モデルは、ニューラルネットワークモデルである生成装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の一態様は、画像処理システムに関する。
【背景技術】
【0002】
液晶ディスプレイ、有機ELディスプレイ等の表示装置は、基板上にレジストを塗布した
後、マスクを介して露光してパターニングを行うことにより製造することができる。ここ
で、表示装置を大型化するためには、基板も大きくする必要があるが、マスクを基板の大
きさに合わせて大きくすることができない場合がある。このような場合に表示装置を製造
する方法として、基板面内をマスクの大きさに対応した複数の露光領域に分割して、露光
領域ごとに露光する方法が特許文献1に開示されている。
【0003】
また、表示装置の画素が有する表示素子、トランジスタ等の特性不良、又は劣化等により
、欠陥画素が生じる場合がある。欠陥画素は、例えば輝点、又は暗点となる。ここで、表
示装置に表示される画像を視認する場合、輝点は暗点より目立つため、視認性への影響が
大きい。よって、輝点が多いと、表示装置に高品位な画像を表示することができなくなる
場合がある。特許文献2には、表示装置の製造過程において、輝点を暗点化する方法が開
示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2017-198990号公報
【特許文献2】特表2018-514801号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記のように分割露光を行う場合、マスクの位置が露光領域からずれること等に起因して
、露光領域の境界における露光量が、他の領域における露光量と異なる場合がある。これ
により、露光領域の境界に設けられる画素が有する素子の特性が、他の領域に設けられる
画素が有する素子の特性と異なる場合がある。これにより、階調が同一でも、露光領域の
境界に設けられる画素が射出する光の輝度と、他の領域に設けられる画素が射出する光の
輝度と、が異なる場合がある。当該輝度の異なりは、表示むらとして視認される場合があ
る。
【0006】
表示むらを目立たなくするための方法として、表示装置に入力される画像データに対して
画像処理を行う方法が考えられる。例えば、機械学習を用いた画像処理を行う方法が考え
られる。具体的には、生成装置により機械学習モデルを生成し、表示装置に入力される画
像データに対して機械学習モデルによる画像処理を行う方法が考えられる。表示装置が、
生成装置により生成された機械学習モデルを用いて画像処理を行う場合、表示装置と、生
成装置と、により画像処理システムが構成されるということができる。
【0007】
また、表示装置の製造時は輝点ではない画素であっても、表示装置を長期間使用すること
により画素を構成する表示素子、トランジスタ等が劣化して電気特性が変動すること等に
より、輝点となる場合がある。このような輝点は、表示装置の製造過程において除去する
ことは難しい。
【0008】
本発明の一態様は、表示装置に表示される画像の表示むらを目立たなくすることができる
画像処理システムを提供することを課題の一とする。また、本発明の一態様は、表示装置
に表示される画像を高品位なものとすることができる画像処理システムを提供することを
課題の一とする。また、本発明の一態様は、大型の表示装置を有する画像処理システムを
提供することを課題の一とする。また、本発明の一態様は、高精細な画像を表示すること
ができる表示装置を有する画像処理システムを提供することを課題の一とする。また、本
発明の一態様は、短時間で画像処理を行うことができる画像処理システムを提供すること
を課題の一とする。また、本発明の一態様は、信頼性の高い表示装置を有する画像処理シ
ステムを提供することを課題の一とする。
【0009】
また、本発明の一態様は、新規な画像処理システム、新規な画像処理方法、新規な生成装
置、新規な機械学習モデルの生成方法、新規な画像処理装置、又は新規な表示装置等を提
供することを課題の一とする。
【0010】
なお、これらの課題の記載は、他の課題の存在を妨げるものではない。なお、本発明の一
態様は、これらの課題の全てを解決する必要はないものとする。なお、これら以外の課題
は、明細書、図面、請求項などの記載から、自ずと明らかとなるものであり、明細書、図
面、請求項などの記載から、これら以外の課題を抽出することが可能である。
【課題を解決するための手段】
【0011】
本発明の一態様は、表示装置と、撮像装置と、学習装置と、を有する画像処理システム、
及び当該画像処理システムを用いた機械学習モデルの生成方法に関する。表示装置には、
m行n列(m、nは2以上の整数)の画素がマトリクス状に配列されている。学習装置は
、データベースを有する。データベースには、第1の画像データと、第1の画像データに
対応する画像を表示装置に表示させ、当該画像を撮像装置で撮像することにより取得され
た第2の画像データと、に基づき生成されたテーブルが格納されている。第1の画像デー
タは、m行n列の第1の階調値を有し、第2の画像データは、m行n列の第2の階調値を
有する。テーブルは、具体的には、第1の階調値と、第1の階調値の座標に対応する座標
の第2の階調値と、を表す。
【0012】
機械学習モデルを生成する際は、まず、第1の学習用画像データに対応する画像を表示装
置に表示し、表示装置に表示された画像を撮像装置で撮像することにより第2の学習用画
像データを取得する。次に、学習装置が、第1の学習用画像データに対して、第2の学習
用画像データに基づき画像処理を行うことにより、m行n列の第3の階調値を有する第3
の学習用画像データを生成する。具体的には、学習装置が、第1の学習用画像データに対
して、第2の学習用画像データに近づくように画像処理を行うことにより、m行n列の第
3の階調値を有する第3の学習用画像データを生成する。例えば、1行1列目乃至m行n
列目の第3の階調値を合計した値が、第2の学習用画像データの、1行1列目乃至m行n
列目の階調値を合計した値と等しくなるように、第1の学習用画像データに対して画像処
理を行う。
【0013】
その後、学習装置が、1行1列目乃至m行n列目の第3の階調値のそれぞれを基に、1行
1列目乃至m行n列目の第2の階調値をそれぞれ選択する。例えば、第3の階調値と一致
する値、又は最も近い値の第2の階調値を、1行1列目乃至m行n列目のそれぞれについ
て選択する。次に、選択された第2の階調値に対応する第1の階調値を含む画像データで
ある、第4の学習用画像データを生成する。そして、学習装置が、第1の学習用画像デー
タを入力した場合に出力される画像データが第4の学習用画像データと一致するような機
械学習モデルを生成する。
【0014】
学習装置が生成した機械学習モデルは、表示装置に供給される。これにより、表示装置は
、表示装置に入力される画像データに対して機械学習モデルによる画像処理を行うことが
できるようになる。例えば、表示装置に入力される画像データに対して、表示むらを低減
するような画像処理を、機械学習モデルにより行うことができる。
【0015】
本発明の一態様は、表示装置と、撮像装置と、学習装置と、を有し、表示装置は、入力部
と、機械学習処理部と、m行n列(m、nは2以上の整数)の画素がマトリクス状に配列
された表示部と、を有し、学習装置は、データベースと、画像処理部と、画像生成部と、
学習部と、を有し、データベースには、入力部に入力される第1の画像データと、第1の
画像データに対応する画像を表示部に表示させ、撮像装置が、表示部に表示させた画像を
含むように撮像することにより取得した第2の画像データと、に基づき生成されたテーブ
ルが格納され、第1の画像データは、m行n列の第1の階調値を有し、第2の画像データ
は、m行n列の第2の階調値を有し、テーブルは、第1の階調値と、第1の階調値の座標
に対応する座標の第2の階調値と、を表し、画像処理部は、入力部に入力される第1の学
習用画像データに対して、第2の学習用画像データに基づき画像処理を行うことにより、
第3の学習用画像データを生成する機能を有し、第2の学習用画像データは、第1の学習
用画像データに対応する画像を表示部に表示させ、撮像装置が、表示部に表示させた画像
を含むように撮像することにより取得された画像データであり、第3の学習用画像データ
は、m行n列の第3の階調値を有し、画像生成部は、第3の階調値を基に選択された第2
の階調値に対応する第1の階調値を含む画像データである、第4の学習用画像データを生
成する機能を有し、学習部は、第1の学習用画像データを入力した場合に出力される画像
データが、第4の学習用画像データと一致するような機械学習モデルを生成し、機械学習
処理部に機械学習モデルを出力する機能を有し、機械学習処理部は、入力部に入力された
コンテンツ画像データに対して、機械学習モデルによる処理を行う機能を有する画像処理
システムである。
【0016】
又は、上記態様において、第1の学習用画像データは、m行n列の第4の階調値を有し、
第2の学習用画像データは、m行n列の第5の階調値を有し、画像処理部は、第3の階調
値の合計と、第5の階調値の合計と、の差が、第4の階調値の合計と、第5の階調値の合
計と、の差より小さくなるように画像処理を行う機能を有してもよい。
【0017】
又は、上記態様において、機械学習モデルは、ニューラルネットワークモデルであっても
よい。
【0018】
又は、本発明の一態様は、m行n列(m、nは2以上の整数)の画素がマトリクス状に配
列された表示部を有する画像処理システムによる機械学習モデルの生成方法であって、m
行n列の第1の階調値を有する第1の画像データに対応する画像を、画素から第1の階調
値に対応する輝度の光を射出することにより、表示部に表示し、表示部に表示した、第1
の画像データに対応する画像を含むように撮像を行うことにより、m行n列の第2の階調
値を有する第2の画像データを取得し、第1の階調値と、第1の階調値の座標に対応する
座標の第2の階調値と、を表すテーブルを生成し、第1の学習用画像データに対応する画
像を表示部に表示し、表示部に表示した、第1の学習用画像データに対応する画像を含む
ように撮像を行うことにより、第2の学習用画像データを取得し、第1の学習用画像デー
タに対して、第2の学習用画像データに基づき画像処理を行うことにより、m行n列の第
3の階調値を有する第3の学習用画像データを生成し、第3の階調値を基に、選択された
第2の階調値に対応する第1の階調値を含む画像データである、第4の学習用画像データ
を生成し、第1の学習用画像データを入力した場合に出力される画像データが、第4の学
習用画像データと一致するような機械学習モデルを生成する、機械学習モデルの生成方法
である。
【0019】
又は、上記態様において、第1の学習用画像データは、m行n列の第4の階調値を有し、
第2の学習用画像データは、m行n列の第5の階調値を有し、画像処理は、第3の階調値
の合計と、第5の階調値の合計と、の差が、第4の階調値の合計と、第5の階調値の合計
と、の差より小さくなるように行われてもよい。
【0020】
又は、上記態様において、機械学習モデルは、ニューラルネットワークモデルであっても
よい。
【0021】
又は、本発明の一態様は、表示装置と、撮像装置と、生成装置と、を有し、表示装置は、
入力部と、輝点補正部と、m行n列(m、nは2以上の整数)の画素がマトリクス状に配
列された表示部と、を有し、生成装置は、データベースと、画像生成部と、を有し、デー
タベースには、入力部に入力される第1のデータベース画像データと、第1のデータベー
ス画像データに対応する画像を表示部に表示させ、撮像装置が、表示部に表示させた画像
を含むように撮像することにより取得した第2のデータベース画像データと、に基づき生
成されたテーブルが格納され、第1のデータベース画像データは、m行n列の第1の階調
値を有し、第2のデータベース画像データは、m行n列の第2の階調値を有し、テーブル
は、第1の階調値と、第1の階調値の座標に対応する座標の第2の階調値と、を表し、撮
像装置は、入力部に入力される第1の輝点補正用画像データに対応する画像を表示部に表
示させた場合に、表示部に表示させた画像を撮像することにより第2の輝点補正用画像デ
ータを取得する機能を有し、第2の輝点補正用画像データは、m行n列の第3の階調値を
有し、画像生成部は、第3の階調値を基に選択された第2の階調値に対応する第1の階調
値を含む画像データである、第3の輝点補正用画像データを生成する機能を有し、輝点補
正部は、第3の輝点補正用画像データが有する、m行n列の第1の階調値のうち、しきい
値以下の第1の階調値の座標を、輝点座標として検出する機能を有し、輝点補正部は、m
行n列の第4の階調値を有するコンテンツ画像データが入力部に入力された場合に、輝点
座標と同一の座標の第4の階調値を小さくする機能を有する画像処理システムである。
【0022】
又は、本発明の一態様は、表示装置と、撮像装置と、生成装置と、を有し、表示装置は、
入力部と、輝点補正部と、m行n列(m、nは2以上の整数)の画素がマトリクス状に配
列された表示部と、を有し、生成装置は、データベースと、画像生成部と、を有し、デー
タベースには、入力部に入力される第1のデータベース画像データと、第1のデータベー
ス画像データに対応する画像を表示部に表示させ、撮像装置が、表示部に表示させた画像
を含むように撮像することにより取得した第2のデータベース画像データと、に基づき生
成されたテーブルが格納され、第1のデータベース画像データは、m行n列の第1の階調
値を有し、第2のデータベース画像データは、m行n列の第2の階調値を有し、テーブル
は、第1の階調値と、第1の階調値の座標に対応する座標の第2の階調値と、を表し、撮
像装置は、入力部に入力される第1の輝点補正用画像データに対応する画像を表示部に表
示させた場合に、表示部に表示させた画像を撮像することにより第2の輝点補正用画像デ
ータを取得する機能を有し、第2の輝点補正用画像データは、m行n列の第3の階調値を
有し、画像生成部は、第3の階調値を基に選択された第2の階調値に対応する第1の階調
値を含む画像データである、第3の輝点補正用画像データを生成する機能を有し、輝点補
正部は、第3の輝点補正用画像データが有する、m行n列の第1の階調値のうち、第1の
しきい値以下の第1の階調値の座標を、第1の輝点座標として検出する機能を有し、輝点
補正部は、第2の輝点補正用画像データが有する、m行n列の第3の階調値のうち、第2
のしきい値以上の第3の階調値の座標を、第2の輝点座標として検出する機能を有し、輝
点補正部は、m行n列の第4の階調値を有するコンテンツ画像データが入力部に入力され
た場合に、第1又は第2の輝点座標と同一の座標の第4の階調値を小さくする機能を有す
る画像処理システムである。
【0023】
又は、本発明の一態様は、表示装置と、撮像装置と、生成装置と、を有し、表示装置は、
入力部と、輝点補正部と、m行n列(m、nは2以上の整数)の画素がマトリクス状に配
列された表示部と、を有し、生成装置は、データベースと、画像生成部と、を有し、デー
タベースには、入力部に入力される第1のデータベース画像データと、第1のデータベー
ス画像データに対応する画像を表示部に表示させ、撮像装置が、表示部に表示させた画像
を含むように撮像することにより取得した第2のデータベース画像データと、に基づき生
成されたテーブルが格納され、第1のデータベース画像データは、m行n列の第1の階調
値を有し、第2のデータベース画像データは、m行n列の第2の階調値を有し、テーブル
は、第1の階調値と、第1の階調値の座標に対応する座標の第2の階調値と、を表し、撮
像装置は、入力部に入力される第1の輝点補正用画像データに対応する画像を表示部に表
示させた場合に、表示部に表示させた画像を撮像することにより第2の輝点補正用画像デ
ータを取得する機能を有し、第2の輝点補正用画像データは、m行n列の第3の階調値を
有し、画像生成部は、第3の階調値を基に選択された第2の階調値に対応する第1の階調
値を含む画像データである、第3の輝点補正用画像データを生成する機能を有し、輝点補
正部は、第3の輝点補正用画像データが有する、m行n列の第1の階調値のうち、第1の
しきい値以下、且つ第2のしきい値以上の第1の階調値の座標を第1の輝点座標として、
第2のしきい値未満の第1の階調値の座標を第2の輝点座標として、それぞれ検出する機
能を有し、輝点補正部は、第2の輝点補正用画像データが有する、m行n列の第3の階調
値のうち、第3のしきい値以上の第3の階調値の座標を、第3の輝点座標として検出する
機能を有し、輝点補正部は、m行n列の第4の階調値を有するコンテンツ画像データが入
力部に入力された場合に、第1の輝点座標と、第3の輝点座標と、の両方と同一の座標の
第4の階調値を小さくする機能を有し、且つ第2の輝点座標と同一の座標の第4の階調値
を小さくする機能を有する画像処理システムである。
【0024】
又は、上記態様において、表示装置は、機械学習処理部を有し、生成装置は、画像処理部
と、学習部と、を有し、画像処理部は、入力部に入力される第1の学習用画像データに対
して、第2の学習用画像データに基づき画像処理を行うことにより、第3の学習用画像デ
ータを生成する機能を有し、第2の学習用画像データは、第1の学習用画像データに対応
する画像を表示部に表示させ、撮像装置が、表示部に表示させた画像を含むように撮像す
ることにより取得された画像データであり、第3の学習用画像データは、m行n列の第5
の階調値を有し、画像生成部は、第5の階調値を基に選択された第2の階調値に対応する
第1の階調値を含む画像データである、第4の学習用画像データを生成する機能を有し、
学習部は、第1の学習用画像データを入力した場合に出力される画像データが、第4の学
習用画像データと一致するような機械学習モデルを生成し、機械学習処理部に機械学習モ
デルを出力する機能を有し、機械学習処理部は、入力部に入力されたコンテンツ画像デー
タに対して、機械学習モデルによる処理を行う機能を有してもよい。
【0025】
又は、上記態様において、第1の学習用画像データは、m行n列の第6の階調値を有し、
第2の学習用画像データは、m行n列の第7の階調値を有し、画像処理部は、第5の階調
値の合計と、第7の階調値の合計と、の差が、第6の階調値の合計と、第7の階調値の合
計と、の差より小さくなるように画像処理を行う機能を有してもよい。
【0026】
又は、上記態様において、機械学習モデルは、ニューラルネットワークモデルであっても
よい。
【発明の効果】
【0027】
本発明の一態様により、表示装置に表示される画像の表示むらを目立たなくすることがで
きる画像処理システムを提供することができる。また、本発明の一態様により、表示装置
に表示される画像を高品位なものとすることができる画像処理システムを提供することが
できる。また、本発明の一態様により、大型の表示装置を有する画像処理システムを提供
することができる。また、本発明の一態様により、高精細な画像を表示することができる
表示装置を有する画像処理システムを提供することができる。また、本発明の一態様によ
り、短時間で画像処理を行うことができる画像処理システムを提供することができる。ま
た、本発明の一態様により、信頼性の高い表示装置を有する画像処理システムを提供する
ことができる。
【0028】
また、本発明の一態様により、新規な画像処理システム、新規な画像処理方法、新規な生
成装置、新規な機械学習モデルの生成方法、新規な画像処理装置、又は新規な表示装置等
を提供することができる。
【0029】
なお、本発明の一態様の効果は、上記列挙した効果に限定されない。上記列挙した効果は
、他の効果の存在を妨げるものではない。なお、他の効果は、以下の記載で述べる、本項
目で言及していない効果である。本項目で言及していない効果は、当業者であれば、明細
書、図面などの記載から導き出せるものであり、これらの記載から適宜抽出することがで
きる。なお、本発明の一態様は、上記列挙した効果、及び/又は他の効果のうち、少なく
とも一つの効果を有するものである。したがって本発明の一態様は、場合によっては、上
記列挙した効果を有さない場合もある。
【図面の簡単な説明】
【0030】
【
図1】
図1は、画像処理システムの構成例を示すブロック図である。
【
図4】
図4は、テーブルの生成方法の一例を示すフローチャートである。
【
図7】
図7は、機械学習モデルの生成方法の一例を示すフローチャートである。
【
図8】
図8A、及び
図8Bは、機械学習モデルの生成方法の一例を示す模式図である。
【
図9】
図9A、及び
図9Bは、機械学習モデルの生成方法の一例を示す模式図である。
【
図10】
図10は、機械学習モデルの生成方法の一例を示す模式図である。
【
図17】
図17は、実施例に係る学習結果を示すグラフである。
【発明を実施するための形態】
【0031】
実施の形態について、図面を用いて詳細に説明する。但し、本発明は以下の説明に限定さ
れず、本発明の趣旨およびその範囲から逸脱することなくその形態及び詳細を様々に変更
し得ることは当業者であれば容易に理解される。したがって、本発明は以下に示す実施の
形態の記載内容に限定して解釈されるものではない。
【0032】
なお、以下に説明する発明の構成において、同一部分または同様な機能を有する部分には
同一の符号を異なる図面間で共通して用い、その繰り返しの説明は省略する。また、同様
の機能を指す場合には、ハッチパターンを同じくし、特に符号を付さない場合がある。
【0033】
また、図面において示す各構成の、位置、大きさ、範囲などは、理解の簡単のため、実際
の位置、大きさ、範囲などを表していない場合がある。このため、開示する発明は、必ず
しも、図面に開示された位置、大きさ、範囲などに限定されない。
【0034】
また、本明細書にて用いる「第1」、「第2」、「第3」という序数詞は、構成要素の混
同を避けるために付したものであり、数的に限定するものではない。
【0035】
(実施の形態)
本実施の形態では、本発明の一態様の画像処理システム等について、図面を用いて説明す
る。
【0036】
<画像処理システム>
図1は、画像処理システム10の構成例を示すブロック図である。画像処理システム10
は、表示装置20、撮像装置30、及び生成装置40を有する。ここで、生成装置40は
、サーバ等、高い演算能力を有する機器に設けることが好ましい。
【0037】
表示装置20は、入力部21、表示部22、機械学習処理部23、及び輝点補正部50を
有する。生成装置40は、データベース42、画像抽出部43、画像処理部44、画像生
成部45、及び学習部46を有する。
【0038】
図2Aは、表示部22の構成例を示すブロック図である。
図2Aに示すように、表示部2
2には、m行n列(m、nは2以上の整数)の画素24がマトリクス状に配列されている
。同一行の画素24は、同一の配線134を介して互いに電気的に接続され、同一列の画
素24は、同一の配線126を介して互いに電気的に接続される。画素24は、表示素子
を有し、表示素子を用いて表示部22に画像を表示することができる。
【0039】
本明細書等において、m行n列の画素24を、それぞれ画素24(1,1)乃至画素24
(m,n)と記載して区別する。他の要素についても同様の記載をする場合がある。また
、例えば(1,1)乃至(m,n)を、座標という場合がある。
【0040】
また、本明細書等において、表示素子は表示デバイスと言い換えることができる。また、
発光素子は発光デバイスと言い換えることができ、液晶素子は液晶デバイスと言い換える
ことができる。他の素子についても、「素子」を「デバイス」と言い換えることができる
場合がある。
【0041】
図1では、画像処理システム10の構成要素間のデータのやり取りを、矢印で示している
。なお、
図1に示すデータのやり取りは一例であり、例えば矢印によって結合されていな
い構成要素間でデータ等のやり取りを行うことができる場合がある。また、矢印によって
結合されている構成要素間であっても、データのやり取りを行わない場合がある。
【0042】
入力部21には、画像データが入力される。入力部21に入力された画像データは、表示
部22、機械学習処理部23、データベース42、画像処理部44、又は学習部46に出
力することができる。
【0043】
入力部21に入力される画像データとして、データベース画像データDGIN、学習用画
像データLGIN、輝点補正用画像データBCGIN、及びコンテンツ画像データCGI
N等が挙げられる。データベース画像データDGINは、入力部21から表示部22、及
びデータベース42に供給することができる。学習用画像データLGINは、入力部21
から表示部22、及び画像処理部44に供給することができる。輝点補正用画像データB
CGINは、入力部21から表示部22、及び画像処理部44に供給することができる。
コンテンツ画像データCGINは、入力部21から機械学習処理部23に供給することが
できる。
【0044】
表示部22は、画像データに対応する画像を表示する機能を有する。ここで、画像データ
は、階調値の集合とすることができる。例えば、表示部22に供給される画像データは、
m行n列の階調値を有する構成とすることができる。この場合、画素24が、階調値に対
応する輝度の光を射出することにより、表示部22に画像を表示することができる。ここ
で、階調値は、デジタル値とすることができる。例えば、階調値が8ビットのデジタル値
である場合は、階調値がとり得る値は0乃至255の整数とすることができる。
【0045】
機械学習処理部23は、生成装置40により生成された機械学習モデルに基づき、画像デ
ータに対して画像処理を行う機能を有する。具体的には、学習部46が生成した機械学習
モデルMLMに基づき、入力部21から入力されたコンテンツ画像データCGINに対し
て画像処理を行う機能を有する。機械学習処理部23により画像処理が行われた画像デー
タは、コンテンツ画像データCGMLとして輝点補正部50に供給される。
【0046】
機械学習モデルMLMとして、例えば多層パーセプトロン、ニューラルネットワークモデ
ル等を適用することができる。特にニューラルネットワークモデルを適用すると、画像処
理を効率良く行うことができ、表示部22に高品位な画像を表示することができるため好
ましい。ここで、ニューラルネットワークモデルとして、例えばオートエンコーダ、U-
net、pix2pix等の生成モデルを用いることができる。なお、上記以外の機械学
習モデルであっても、ベイズ推定ができるものであれば機械学習モデルMLMとして用い
ることができる。また、機械学習モデルMLMは、学習及び推論を、入出力される値を独
立に扱って行えることが好ましい。
【0047】
輝点補正部50は、コンテンツ画像データCGMLを補正する機能を有する。輝点補正部
50は、具体的にはコンテンツ画像データCGMLが有する階調値を補正する機能を有す
る。詳細は後述するが、輝点補正部50は、画像生成部45が生成する輝点補正用画像デ
ータBCG_1、又は画像抽出部43が生成する輝点補正用画像データBCG_2に基づ
き、コンテンツ画像データCGMLが有する階調値を補正する機能を有する。補正後の画
像データは、コンテンツ画像データCGCORとして表示部22に供給される。
【0048】
本明細書等において、輝点補正用画像データBCG_1、及び輝点補正用画像データBC
G_2等をまとめて、輝点補正用画像データBCGと記載する場合がある。具体的には、
輝点補正用画像データBCGと記載した場合は、例えば輝点補正用画像データBCG_1
、又は輝点補正用画像データBCG_2の一方を示す。なお、他のデータ等についても、
同様の記載をする場合がある。
【0049】
ここで、輝点補正部50は、表示部22における輝点が目立たなくなるように、コンテン
ツ画像データCGMLを補正する機能を有する。輝点補正部50は、例えば輝点を暗点化
するようにコンテンツ画像データCGMLを補正する機能を有する。以上より、表示装置
20に輝点補正部50を設けることで、表示部22に表示される画像の品位を高めること
ができる。
【0050】
本明細書等において、「暗点化」及び「暗点とする」とは、輝点である画素24から射出
される光の輝度を低下させることを示す。よって、暗点化した画素24であっても、当該
画素24から射出される光の輝度は0でなくてもよい。
【0051】
なお、表示装置20は、輝点補正部50を有さなくてもよい。この場合、輝点補正用画像
データBCGINは、入力部21に入力されない。また、機械学習処理部23が出力する
コンテンツ画像データCGMLは、表示部22に供給することができる。
【0052】
撮像装置30は、撮像を行うことにより、撮像データを取得する機能を有する。撮像装置
30は、具体的には、表示部22に表示された画像を含むように撮像を行うことができる
。取得された撮像データは、画像抽出部43に供給される。ここで、データベース画像デ
ータDGINに対応する画像を表示部22に表示させ、当該画像を含むように撮像するこ
とにより撮像装置30が取得した撮像データを、撮像データIMGDGとする。また、学
習用画像データLGINに対応する画像を表示部22に表示させ、当該画像を含むように
撮像することにより撮像装置30が取得した撮像データを、撮像データIMGLGとする
。さらに、輝点補正用画像データBCGINに対応する画像を表示部22に表示させ、当
該画像を含むように撮像することにより撮像装置30が取得した撮像データを、撮像デー
タIMGBCGとする。なお、撮像データは、階調値の集合とすることができる。
【0053】
画像抽出部43は、撮像データIMGDG、撮像データIMGLG、及び撮像データIM
GBCG等から、表示部22に表示された画像を表す部分のデータを抽出する機能を有す
る。撮像装置30が、表示部22に表示された画像を含むように撮像を行う場合、表示部
22以外の領域も撮像される場合がある。例えば、表示部22の他、表示装置20の筐体
が撮像される場合がある。画像抽出部43は、このように表示部22に表示された画像以
外の部分が撮像データに含まれる場合に、表示部22に表示された画像を表す部分のデー
タを抽出する機能を有する。データの抽出は、パターンマッチング、テンプレートマッチ
ング等により行うことができる。例えば、表示部22に表示された画像と、表示装置20
の筐体と、を含む撮像データから、表示部22に表示された画像を表す部分のデータを抽
出する場合、表示装置20の筐体を表すパターンを指定し、当該パターンが含まれない部
分を、表示部22に表示された画像を表す部分のデータとすることができる。また、撮像
データIMGDG、撮像データIMGLG、及び撮像データIMGBCG等に対してエッ
ジ検出を行い、表示部22に表示された画像を表す部分のデータを抽出することができる
。
【0054】
画像抽出部43が撮像データIMGDGから抽出したデータは、データベース画像データ
DGDPとする。また、画像抽出部43が撮像データIMGLGから抽出したデータは、
学習用画像データLGDPとする。さらに、画像抽出部43が撮像データIMGBCGか
ら抽出したデータは、輝点補正用画像データBCGDPとする。データベース画像データ
DGDPはデータベース42に供給され、学習用画像データLGDP、及び輝点補正用画
像データBCGDPは画像処理部44に供給される。なお、輝点補正用画像データBCG
DPを画像処理部44に供給せず、画像生成部45に供給してもよい。
【0055】
また、画像抽出部43は、輝点補正用画像データBCGDPを、輝点補正部50に供給す
ることができる。輝点補正部50に供給する輝点補正用画像データBCGDPを、輝点補
正用画像データBCG_2とする。
【0056】
ここで、詳細は後述するが、画像処理システム10は、データベース画像データDGIN
と、データベース画像データDGDPと、の対応に関する情報を表すテーブルを取得する
機能を有する。また、画像処理システム10は、学習用画像データLGINと、学習用画
像データLGDPを比較する機能を有する。さらに、画像処理システム10は、輝点補正
用画像データBCGINと、輝点補正用画像データBCGDPを比較する機能を有する。
【0057】
よって、データベース画像データDGINが表す画像の解像度と、データベース画像デー
タDGDPが表す画像の解像度と、は等しいことが好ましい。具体的には、データベース
画像データDGINに含まれる階調値の行数及び列数と、データベース画像データDGD
Pに含まれる階調値の行数及び列数と、は等しいことが好ましい。例えば、データベース
画像データDGINにm行n列の階調値が含まれる場合、データベース画像データDGD
Pに含まれる階調値もm行n列とすることが好ましい。また、学習用画像データLGIN
が表す画像の解像度と、学習用画像データLGDPが表す画像の解像度と、は等しいこと
が好ましい。具体的には、学習用画像データLGINに含まれる階調値の行数及び列数と
、学習用画像データLGDPに含まれる階調値の行数及び列数と、は等しいことが好まし
い。例えば学習用画像データLGINにm行n列の階調値が含まれる場合、学習用画像デ
ータLGDPに含まれる階調値もm行n列とすることが好ましい。さらに、輝点補正用画
像データBCGINが表す画像の解像度と、輝点補正用画像データBCGDPが表す画像
の解像度と、は等しいことが好ましい。具体的には、輝点補正用画像データBCGINに
含まれる階調値の行数及び列数と、輝点補正用画像データBCGDPに含まれる階調値の
行数及び列数と、は等しいことが好ましい。例えば輝点補正用画像データBCGINにm
行n列の階調値が含まれる場合、輝点補正用画像データBCGDPに含まれる階調値もm
行n列とすることが好ましい。
【0058】
本明細書等において、データベース画像データDGINが有する階調値を、第1の階調値
という場合がある。また、データベース画像データDGDPが有する階調値を、第2の階
調値という場合がある。
【0059】
画像抽出部43は、撮像データから抽出したデータに対して、アップコンバージョン、又
はダウンコンバージョンを行うことができる。例えば、画像抽出部43が撮像データIM
GDGから抽出したデータが有する階調値の行数又は列数が、データベース画像データD
GINの行数又は列数より少ない場合は、画像抽出部43が、撮像データIMGDGから
抽出したデータに対してアップコンバージョンを行うことができる。また、画像抽出部4
3が撮像データIMGDGから抽出したデータが有する階調値の行数又は列数が、データ
ベース画像データDGINの行数又は列数より多い場合は、画像抽出部43が、撮像デー
タIMGDGから抽出したデータに対してダウンコンバージョンを行うことができる。以
上により、データベース画像データDGDPに含まれる階調値の行数及び列数を、データ
ベース画像データDGINに含まれる階調値の行数及び列数と等しくすることができる。
撮像データIMGLG、及び撮像データIMGBCGに対しても同様である。なお、アッ
プコンバージョン及びダウンコンバージョンは、ニアレストネイバー法、バイリニア法、
バイキュービック法等により行うことができる。
【0060】
データベース42には、データベース画像データDGINと、データベース画像データD
GDPと、の対応に関する情報を表すテーブルTを格納することができる。テーブルTは
、具体的には、データベース画像データDGINが有する第1の階調値と、データベース
画像データDGDPが有する第2の階調値と、の対応に関する情報を表す。テーブルTは
、例えば、第1の階調値と、当該第1の階調値の座標に対応する座標の第2の階調値と、
を表す。テーブルTは、例えば、第1の階調値と、当該第1の階調値の座標と同一の座標
の第2の階調値と、を表す。
【0061】
画像処理部44は、学習用画像データLGINに対して、学習用画像データLGDPに基
づき画像処理を行うことにより、学習用画像データLGIPを生成する機能を有する。つ
まり、学習用画像データLGINと学習用画像データLGDPを比較し、比較結果に基づ
き学習用画像データLGINに対して画像処理を行うことにより、学習用画像データLG
IPを生成する機能を有する。例えば、学習用画像データLGINに対して、学習用画像
データLGDPに近づくように画像処理を行うことにより、学習用画像データLGIPを
生成する機能を有する。また、画像処理部44は、輝点補正用画像データBCGINに対
しても同様に画像処理を行い、輝点補正用画像データBCGIPを生成する機能を有する
。
【0062】
画像処理部44は、例えば学習用画像データLGIPが有する階調値の合計と、学習用画
像データLGDPが有する階調値の合計と、の差が、学習用画像データLGIPが有する
階調値の合計と、学習用画像データLGINが有する階調値の合計と、の差より小さくな
るように、学習用画像データLGINが有する階調値を画像処理により変換する機能を有
する。画像処理部44は、例えば学習用画像データLGIPが有する階調値の合計が、学
習用画像データLGDPが有する階調値の合計と等しくなるように、学習用画像データL
GINが有する階調値を画像処理により変換する機能を有する。なお、「学習用画像デー
タLGIPが有する階調値の合計」は、学習用画像データLGIPが有するすべての階調
値の合計としてもよいし、一部の階調値の合計としてもよい。また、「学習用画像データ
LGINが有する階調値の合計」は、学習用画像データLGINが有するすべての階調値
の合計としてもよいし、一部の階調値の合計としてもよい。さらに、「学習用画像データ
LGDPが有する階調値の合計」は、学習用画像データLGDPが有するすべての階調値
の合計としてもよいし、一部の階調値の合計としてもよい。
【0063】
また、画像処理部44は、例えば、学習用画像データLGIPの学習用画像データLGD
Pに対するピーク信号対雑音比(PSNR:Peak Signal-to-Noise
Ratio)、又は構造的類似性(SSIM:Structural SIMilar
ity)が、学習用画像データLGINに対するPSNR、又はSSIMより大きくなる
ように、学習用画像データLGINが有する階調値を画像処理により変換する機能を有す
る。画像処理部44は、例えば学習用画像データLGDPに対するPSNR、又はSSI
Mが最大となるように、学習用画像データLGINが有する階調値を画像処理により変換
することで、学習用画像データLGIPを生成する機能を有する。
【0064】
画像処理部44が行う画像処理は、例えばガンマ補正とすることができる。この場合、ガ
ンマ値を適切な値に設定することにより、上記画像処理を行うことができる。
【0065】
画像処理部44は、例えば輝点補正用画像データBCGIPが有する階調値の合計と、輝
点補正用画像データBCGDPが有する階調値の合計と、の差が、輝点補正用画像データ
BCGIPの階調値の合計と、輝点補正用画像データBCGINが有する階調値の合計と
、の差より小さくなるように、輝点補正用画像データBCGINが有する階調値を画像処
理により変換する機能を有する。当該画像処理等については、学習用画像データLGIP
を輝点補正用画像データBCGIPと読み替え、学習用画像データLGDPを輝点補正用
画像データBCGDPと読み替え、学習用画像データLGINを輝点補正用画像データB
CGINと読み替えることにより、上記説明を援用することができる。
【0066】
画像生成部45は、学習用画像データLGIPが有する階調値を基に、テーブルTに含ま
れる第2の階調値を選択する機能を有する。例えば、データベース画像データDGINが
m行n列の第1の階調値を有し、データベース画像データDGDPがm行n列の第2の階
調値を有し、学習用画像データLGIPがm行n列の階調値を有するものとする。この場
合、画像生成部45は、学習用画像データLGIPの1行1列目乃至m行n列目の階調値
のそれぞれを基に、1行1列目乃至m行n列目の第2の階調値をそれぞれ選択することが
できる。具体的には、学習用画像データLGIPの階調値と一致する値、又は最も近い値
の第2の階調値を、1行1列目乃至m行n列目のそれぞれについて選択することができる
。例えば、テーブルTが、k個(kは2以上の整数)のデータベース画像データDGIN
と、k個のデータベース画像データDGDPと、の対応に関する情報を表すものとする。
この場合、例えば学習用画像データLGIPのi行j列目(iは1以上m以下の整数、j
は1以上n以下の整数)の階調値と一致する値、又は最も近い値の第2の階調値を、k個
のi行j列目の第2の階調値から選択することができる。また、画像生成部45は、輝点
補正用画像データBCGIPが有する階調値を基にして、上記方法と同様の方法により、
テーブルTに含まれる第2の階調値を選択する機能を有する。なお、画像抽出部43が生
成した輝点補正用画像データBCGDPを画像生成部45に供給する場合は、輝点補正用
画像データBCGDPが有する階調値を基にして、上記方法と同様の方法により、テーブ
ルTに含まれる第2の階調値を選択することができる。
【0067】
本明細書等において、例えばi行j列目の階調値を、「座標(i,j)の階調値」という
場合がある。
【0068】
また、画像生成部45は、学習用画像データLGIPに基づき選択された第2の階調値に
対応する第1の階調値を含む画像データである、学習用画像データLGGENを生成する
機能を有する。同様に、画像生成部45は、輝点補正用画像データBCGIPに基づき選
択された第2の階調値に対応する第1の階調値を含む画像データである、輝点補正用画像
データBCG_1を生成する機能を有する。なお、例えば学習用画像データLGIPのi
行j列目の階調値と一致する値の、i行j列目の第2の階調値が複数、テーブルTに含ま
れる場合は、当該複数の第2の階調値のうち、1つの第2の階調値を選択することができ
る。そして、選択した第2の階調値に対応する第1の階調値を、学習用画像データLGG
ENに含めることができる。輝点補正用画像データBCGIP等についても同様である。
【0069】
また、例えば学習用画像データLGIPのi行j列目の階調値と一致する、i行j列目の
第2の階調値がテーブルTに含まれない場合は、i行j列目の第2の階調値を選択しなく
てもよい。この場合、学習用画像データLGGENのi行j列目の階調値は、学習用画像
データLGIPのi行j列目の階調値と同一の値とすることができる。輝点補正用画像デ
ータBCGIP等についても同様である。
【0070】
学習部46は、学習用画像データLGINと、学習用画像データLGGENと、を用いて
、機械学習モデルMLMを生成する機能を有する。例えば、学習部46は、学習用画像デ
ータLGINを入力した場合に出力される画像データが、学習用画像データLGGENと
一致するような機械学習モデルMLMを生成する機能を有する。学習部46は、このよう
な機械学習モデルMLMを、例えば学習用画像データLGINと、学習用画像データLG
GENと、を用いた教師あり学習により生成する機能を有する。このように、機械学習モ
デルMLMは、学習により生成することができる。よって、学習部46が生成した機械学
習モデルMLMは、学習済みの機械学習モデルであるということができる。
【0071】
学習部46が生成した機械学習モデルMLMは、機械学習処理部23に供給される。機械
学習処理部23は、機械学習モデルMLMに基づき推論を行うことにより、画像データに
対して画像処理を行うことができる。
【0072】
図2B1、及び
図2B2は、
図2Aに示す画素24の構成例を示す回路図である。具体的
には、画素24が有する副画素の構成例を示す回路図である。
図2B1に示す画素24は
、トランジスタ161と、トランジスタ171と、容量173と、発光素子170と、を
有する。
図2B1に示す画素24では、発光素子170を表示素子とすることができる。
【0073】
トランジスタ161のソース又はドレインの一方は、トランジスタ171のゲートと電気
的に接続される。トランジスタ171のゲートは、容量173の一方の電極と電気的に接
続される。トランジスタ171のソース又はドレインの一方は、発光素子170の一方の
電極と電気的に接続される。
【0074】
トランジスタ161のソース又はドレインの他方は、配線126と電気的に接続される。
トランジスタ161のゲートは、配線134と電気的に接続される。トランジスタ171
のソース又はドレインの他方、及び容量173の他方の電極は、配線174と電気的に接
続される。発光素子170の他方の電極は、配線175と電気的に接続される。
【0075】
配線174、及び配線175には、定電位を供給することができる。例えば、
図2B1に
示すように、発光素子170のアノードがトランジスタ171のソース又はドレインの一
方と電気的に接続され、発光素子170のカソードが配線175と電気的に接続される場
合は、配線174に高電位を供給し、配線175に低電位を供給することができる。
【0076】
発光素子170は、例えば有機EL素子、又は無機EL素子とすることができる。
【0077】
表示部22に設けられる画素24が
図2B1に示す構成である場合、発光素子170に流
れる電流の大きさを制御して発光素子170による発光輝度を制御することにより、表示
部22に画像を表示することができる。発光素子170に流れる電流が大きいほど、発光
素子による発光輝度を大きくすることができる。
【0078】
図2B2に示す画素24は、トランジスタ162と、容量181と、液晶素子180と、
を有する。
図2B2に示す画素24では、液晶素子180を表示素子とすることができる
。
【0079】
トランジスタ162のソース又はドレインの一方は、液晶素子180の一方の電極と電気
的に接続される。液晶素子180の一方の電極は、容量181の一方の電極と電気的に接
続される。
【0080】
トランジスタ162のソース又はドレインの他方は、配線126と電気的に接続される。
トランジスタ162のゲートは、配線134と電気的に接続される。容量181の他方の
電極は、配線182と電気的に接続される。液晶素子180の他方の電極は、配線183
と電気的に接続される。
【0081】
配線182、及び配線183には、定電位を供給することができる。配線182、及び配
線183には、例えば低電位を供給することができる。
【0082】
表示部22に設けられる画素24が
図2B2に示す構成である場合、液晶素子180に含
まれる液晶分子が、液晶素子180の両電極間に印加される電圧に従って配向する。液晶
分子は、例えば表示装置20に含むことができるバックライトユニットからの光を、配向
の程度に応じて透過することができる。前述のように、液晶素子180の他方の電極は配
線183と電気的に接続され、定電位が供給される。以上より、液晶素子180の一方の
電極の電位を制御することにより、当該電位に応じた輝度の光を画素24が射出すること
ができるため、表示部22に画像を表示することができる。
【0083】
図3Aは、入力部21に入力されたコンテンツ画像データCG
INを、直接表示部22に
入力した場合に、表示部22に表示されるコンテンツ画像G_1
DPの一例を示す模式図
である。
図3Bは、コンテンツ画像データCG
INを、機械学習処理部23、及び輝点補
正部50を介して表示部22に入力した場合に、表示部22に表示されるコンテンツ画像
G_2
DPの一例を示す模式図である。
【0084】
コンテンツ画像データCG
INを、画像処理等を行わずに表示部22に入力した場合、前
述のように表示むら、及び輝点等が発生する場合がある。
図3Aでは、表示部22に表示
された画像に表示むら25、及び輝点51が発生している様子を示している。
【0085】
コンテンツ画像データCG
INに対して、機械学習モデルMLMを用いて画像処理を行う
ことにより、機械学習処理部23は、表示むらを打ち消すようなコンテンツ画像データC
G
MLを生成することができる。
図3Bでは、機械学習処理部23が、コンテンツ画像デ
ータCG
INのうち、領域26に対応するデータに表示むら25を打ち消すようなデータ
を付加することにより、コンテンツ画像データCG
MLを生成する様子を示している。例
えば、表示むら25が発生している部分の輝度が、当該部分の周辺部の輝度より高い場合
、領域26の輝度は、領域26の周辺部の輝度より低くすることができる。
【0086】
また、コンテンツ画像データに対して、輝点補正用画像データBCG(例えば、輝点補正
用画像データBCG_1、又は輝点補正用画像データBCG_2の一方)に基づき画像処
理を行うことにより、輝点補正部50は、輝点を補正して目立たなくするようなコンテン
ツ画像データCG
CORを生成することができる。例えば、輝点を暗点化するようなコン
テンツ画像データCG
CORを生成することができる。
図3Bでは、コンテンツ画像デー
タCG
MLのうち、輝点51が生じる領域52に対応するデータに、輝点51を目立たな
くするようなデータを付加することにより、輝点補正部50がコンテンツ画像データCG
CORを生成する様子を示している。
【0087】
以上、
図3Bに示すように、入力部21に入力されたコンテンツ画像データCG
INに対
して、機械学習処理部23、及び輝点補正部50が画像処理を行うことで、表示部22は
、表示むら、及び輝点が目立たない画像を表示することができる。
【0088】
前述のように、表示装置20が大型化し、表示部22の面積が大きくなると、表示むらが
発生しやすくなる。また、表示部22に設けられる画素24が微細化し、表示部22の画
素密度が高くなると、画素24が有する表示素子、及びトランジスタ等の特性の、画素2
4間のばらつきが大きくなり、表示むらが発生しやすくなる。本発明の一態様では、表示
部22に表示される表示むらを目立たなくすることができる。以上、本発明の一態様によ
り、表示部22に表示される画像に表示むらが視認されることを抑制しつつ、表示装置2
0を大型化することができる。また、表示部22に表示される画像に表示むらが視認され
ることを抑制しつつ、表示部22に設けられる画素24の密度を高め、表示部22に高精
細な画像を表示することができる。
【0089】
また、前述のように、画素24が有する表示素子、トランジスタ等の特性不良、又は劣化
等により、輝点となる画素24、又は暗点となる画素24が生じる場合がある。ここで、
表示部22に表示される画像を視認する場合、輝点は暗点より目立つため、視認性への影
響が大きい。本発明の一態様では、輝点補正部50等により輝点を補正して例えば暗点と
することにより、表示部22に高品位な画像を表示することができる。なお、輝点の補正
は、機械学習処理部23によっても行うことができる。
【0090】
図1に示す構成の画像処理システム10では、機械学習モデルMLMを生成する機能を有
する学習部46を生成装置40に設け、機械学習モデルMLMを用いた処理を行う機能を
有する機械学習処理部23を表示装置20に設けることができる。これにより、表示装置
20が機械学習モデルMLMを生成しなくても、表示装置20は機械学習モデルMLMを
用いた処理を行うことができる。機械学習モデルMLMの生成には、多くの学習用画像デ
ータLG
IN、及び学習用画像データLG
GEN等を用いる必要があり、高い演算能力が
求められる。以上より、学習部46を生成装置40に設けることにより、表示装置20の
演算能力を、生成装置40の演算能力より低いものとすることができる。
【0091】
<機械学習モデルの生成方法>
以下では、機械学習モデルMLMの生成方法について、図面を用いて説明する。なお、表
示部22には、
図2Aに示すように、m行n列の画素24がマトリクス状に配列されてい
るものとする。また、画像データが有する階調値は、8ビットのデジタル値とし、階調値
が小さいほど画素24から射出される光の輝度が小さいものとする。例えば、階調値がと
り得る値を0乃至255の整数とする場合、階調値0の場合に、画素24から射出される
光の輝度が最も小さくなる。
【0092】
[テーブルの生成方法]
図4は、データベース42に格納されるテーブルTの生成方法の一例を示すフローチャー
トである。
図4に示すように、テーブルTは、ステップS01乃至ステップS04に示す
方法により生成される。
図5A及び
図5B、並びに
図6A及び
図6Bは、ステップS01
乃至ステップS04における動作を示す模式図である。
【0093】
テーブルTを生成するためには、まず、データベース画像データDGINを、表示装置2
0が有する入力部21に入力する。入力部21に入力されたデータベース画像データDG
INは、表示部22に入力され、表示部22にはデータベース画像データDGINに対応
する画像が表示される(ステップS01)。具体的には、データベース画像データDGI
Nが有する、m行n列の第1の階調値に対応する輝度の光を画素24が射出することによ
り、表示部22に画像を表示する。
【0094】
図5Aでは、データベース画像データDG
INは、全面が同一輝度の画像を表すものとし
ている。つまり、全ての画素24が同一輝度の光を射出することを想定している。一方、
表示部22に表示される画像は、一部の画素24から射出される光の輝度が、他の部分の
画素24から射出される光の輝度と異なっている。つまり、表示むらが発生している。図
5Aでは、発生した表示むらを表示むら27として示している。
【0095】
次に、表示部22に表示された画像を、撮像装置30で撮像する。これにより、撮像装置
30が、撮像データIMGDGを取得する(ステップS02)。
【0096】
ここで、表示装置20が有する表示部22に表示された画像を撮像装置30で撮像する場
合、表示部22以外の物体が撮像される場合がある。例えば、表示装置20の筐体が撮像
される場合がある。
図5Aでは、撮像データIMG
DGには、
図5Aに示す表示装置20
のうち、破線で囲んだ部分が含まれるとしている。
【0097】
その後、画像抽出部43が、撮像データIMG
DGからデータベース画像データDG
DP
を取得する(ステップS03)。具体的には、撮像データIMG
DGから、表示部22に
表示された画像を表す部分のデータを抽出する。例えば、
図5Bに示すように、表示部2
2に表示された画像の他、表示装置20の筐体が撮像データIMG
DGに含まれる場合、
表示部22に表示された画像を表す部分のデータを撮像データIMG
DGから抽出し、表
示装置20の筐体を表す部分のデータを除去する。これにより、データベース画像データ
DG
DPを取得する。撮像データIMG
DGからのデータの抽出は、前述のように、パタ
ーンマッチング、テンプレートマッチング等により行うことができる。
【0098】
前述のように、データベース画像データDGINが表す画像の解像度と、データベース画
像データDGDPが表す画像の解像度と、は等しいことが好ましい。例えば、データベー
ス画像データDGINがm行n列の第1の階調値を有する場合、データベース画像データ
DGDPはm行n列の第2の階調値を有することが好ましい。しかしながら、例えば表示
部22に表示された画像を表す部分のデータを撮像データIMGDGから抽出した場合、
抽出したデータが有する階調値は、m行n列ではない場合がある。例えば、m行より少な
い行数の階調値しか有しない場合、又はm行より多くの行数の階調値を有する場合がある
。また、n列より少ない列数の階調値しか有しない場合、又はn列より多くの列数の階調
値を有する場合がある。
【0099】
上記のように、撮像データIMGDGから抽出したデータが有する階調値がm行n列では
ない場合、当該データに対してアップコンバージョン、又はダウンコンバージョンを画像
抽出部43が行うことにより、画像抽出部43から出力されるデータベース画像データD
GDPが、m行n列の第2の階調値を有するようにすることが好ましい。例えば、画像抽
出部43が撮像データIMGDGから抽出したデータが有する階調値がm行より少ない、
又はn列より少ない場合は、画像抽出部43が、撮像データIMGDGから抽出したデー
タに対してアップコンバージョンを行うことができる。また、画像抽出部43が撮像デー
タIMGDGから抽出したデータが有する階調値がm行より多い、又はn列より多い場合
は、画像抽出部43が、撮像データIMGDGから抽出したデータに対してダウンコンバ
ージョンを行うことができる。以上により、データベース画像データDGDPに含まれる
第2の階調値の行数及び列数を、データベース画像データDGINに含まれる第1の階調
値の行数及び列数と等しくm行n列とすることができる。なお、前述のように、アップコ
ンバージョン及びダウンコンバージョンは、ニアレストネイバー法、バイリニア法、バイ
キュービック法等により行うことができる。
【0100】
そして、データベース画像データDGINと、データベース画像データDGDPと、の対
応に関する情報を表すテーブルTを、データベース42に格納する(ステップS04)。
前述のように、テーブルTは、具体的には、データベース画像データDGINが有する第
1の階調値と、データベース画像データDGDPが有する第2の階調値と、の対応に関す
る情報を表す。テーブルTは、例えば、第1の階調値と、当該第1の階調値の座標に対応
する座標の第2の階調値と、を表す。テーブルTは、例えば、第1の階調値と、当該第1
の階調値の座標と同一の座標の第2の階調値と、を表す。
【0101】
図6Aは、テーブルTの一例を示す図である。
図6Aでは、矢印の左側に、データベース
画像データDG
INが有する第1の階調値を示し、矢印の右側に、データベース画像デー
タDG
DPが有する第2の階調値を示している。
【0102】
ここで、画素24が、赤色の光と、緑色の光と、青色の光と、を射出する機能を有するも
のとする。この場合、画像データは、赤色の光の輝度を表す階調値(赤色階調値)と、緑
色の光の輝度を表す階調値(緑色階調値)と、青色の光の輝度を表す階調値(青色階調値
)を有する。そして、例えばi行j列目の赤色階調値がR、緑色階調値がG、青色階調値
がBであることを、[R,G,B](i,j)と記載して示す。また、例えば1行1列目
乃至m行n列目の赤色階調値がR、緑色階調値がG、青色階調値がBである、つまりすべ
ての赤色階調値がR、すべての緑色階調値がG、全ての青色階調値がBであることを、[
R,G,B](1,1)~(m,n)と記載して示す。なお、画素24が射出する光は、
赤色の光と、緑色の光と、青色の光と、に限られない。例えば、画素24が、白色の光を
射出してもよい。また、画素24が、シアンの光と、マゼンタの光と、黄色の光と、を射
出してもよい。また、画素24が、赤色の光、緑色の光、又は青色の光を射出しなくても
よい。さらに、画素24が射出する光の数は、3色に限られず、例えば1色又は2色の光
を射出してもよいし、4色以上の光を射出してもよい。
【0103】
赤色階調値、緑色階調値、及び青色階調値がそれぞれ8ビットのデジタルデータである場
合、R、G、Bがとり得る値はそれぞれ0乃至255の整数とすることができる。ここで
、階調値が小さいほど画素24から射出される光の輝度を小さいものとする場合、光が射
出されないことを階調値0で表すことができる。よって、例えば全ての画素24において
、赤色の光、緑色の光、及び青色の光のいずれもが射出されないことを、[0,0,0]
(1,1)~(m,n)と記載して示すことができる。
【0104】
上記より、データベース画像データDGINが有する第1の階調値が[0,0,0](1
,1)~(m,n)である場合、画素24(1,1)乃至画素24(m,n)からは光が
射出されないものとすることができる。よって、データベース画像データDGDPが有す
る第2の階調値も、[0,0,0](1,1)~(m,n)とすることができる。
【0105】
画像処理システム10を用いた機械学習モデルの生成方法では、第1の階調値が[1,0
,0](1,1)~(m,n)乃至[255,0,0](1,1)~(m,n)であるデ
ータベース画像データDGINをそれぞれ表示装置20に入力し、データベース画像デー
タDGDPが有する第2の階調値を取得する。また、第1の階調値が[0,1,0](1
,1)~(m,n)乃至[0,255,0](1,1)~(m,n)であるデータベース
画像データDGINをそれぞれ表示装置20に入力し、データベース画像データDGDP
が有する第2の階調値を取得する。さらに、第1の階調値が[0,0,1](1,1)~
(m,n)乃至[0,0,255](1,1)~(m,n)であるデータベース画像デー
タDGINをそれぞれ表示装置20に入力し、データベース画像データDGDPが有する
第2の階調値を取得する。つまり、データベース画像データDGINが表す画像は、例え
ば全面が単色且つ同一輝度の画像とすることができる。
【0106】
本明細書等において、「単色」という用語は、画素が一の色の光を射出することにより表
される色を示す。例えば、画素が赤色の光と、緑色の光と、青色の光と、を射出する機能
を有する場合、赤色の画像、緑色の画像、及び青色の画像を、単色の画像という。
【0107】
また、本明細書等において、例えばデータベース画像データDGINにおける、i行j列
目の赤色階調値が1である場合、対応するデータベース画像データDGDPにおける赤色
階調値をR1DP(i,j)と記載して示す。また、例えばデータベース画像データDG
INにおける、i行j列目の赤色階調値が255である場合、対応するデータベース画像
データDGDPにおける赤色階調値をR255DP(i,j)と記載して示す。また、例
えばデータベース画像データDGINにおける、i行j列目の緑色階調値が1である場合
、対応するデータベース画像データDGDPにおける緑色階調値をG1DP(i,j)と
記載して示す。また、例えばデータベース画像データDGINにおける、i行j列目の緑
色階調値が255である場合、対応するデータベース画像データDGDPにおける緑色階
調値をG255DP(i,j)と記載して示す。また、例えばデータベース画像データD
GINにおける、i行j列目の青色階調値が1である場合、対応するデータベース画像デ
ータDGDPにおける青色階調値をB1DP(i,j)と記載して示す。さらに、例えば
データベース画像データDGINにおける、i行j列目の青色階調値が255である場合
、対応するデータベース画像データDGDPにおける青色階調値をB255DP(i,j
)と記載して示す。
【0108】
ここで、第1の階調値と、当該第1の階調値と対応する第2の階調値と、は同一とは限ら
ない。例えば、データベース画像データDGINが有する第1の階調値が[128,0,
0](1,1)~(m,n)であったとしても、R128DP(1,1)乃至R128D
P(m,n)がすべて128であるとは限らない。128より大きい場合もあり、また小
さい場合もある。また、例えばR128DP(1,1)乃至R128DP(m,n)がす
べて同一の値であるとも限らない。つまり、前述のように、データベース画像データDG
DPが表す画像には、表示むら等が発生する場合がある。
【0109】
なお、すべての階調値についてデータベース画像データDGINを表示装置20に入力し
、データベース画像データDGDPが有する第2の階調値を取得しなくてもよい。例えば
、階調値[1,0,0](1,1)~(m,n)乃至[255,0,0](1,1)~(
m,n)のうち、一部の階調値のデータベース画像データDGINを表示装置20に入力
し、データベース画像データDGDPが有する第2の階調値を取得してもよい。また、階
調値[0,1,0](1,1)~(m,n)乃至[0,1,0](1,1)~(m,n)
のうち、一部の階調値のデータベース画像データDGINを表示装置20に入力し、デー
タベース画像データDGDPが有する第2の階調値を取得してもよい。さらに、階調値[
0,0,255](1,1)~(m,n)乃至[0,0,255](1,1)~(m,n
)のうち、一部の階調値のデータベース画像データDGINを表示装置20に入力し、デ
ータベース画像データDGDPが有する第2の階調値を取得してもよい。
【0110】
上記のように、一部の階調値のデータベース画像データDGINを表示装置20に入力し
、データベース画像データDGDPが有する第2の階調値を取得する場合、表示装置20
に入力しない階調値のデータベース画像データDGINに対応するデータベース画像デー
タDGDPが有する第2の階調値は、表示装置20に入力したデータベース画像データD
GINが有する第1の階調値と、当該第1の階調値に対応する第2の階調値と、を基に算
出することができる。例えば、比例補間により算出することができる。また、所定の式を
用いて算出することができる。
【0111】
例えば、階調値[127,0,0](1,1)~(m,n)のデータベース画像データD
GDPと、[129,0,0](1,1)~(m,n)のデータベース画像データDGD
Pは表示装置20に入力するが、階調値[128,0,0](1,1)~(m,n)のデ
ータベース画像データDGDPは表示装置20に入力しないものとする。そして、例えば
R127DP(i,j)の値を120、R129DP(i,j)の値を124とし、R1
28DP(i,j)をR127DP(i,j)とR129DP(i,j)の比例補間によ
り算出するものとする。この場合、R128DP(i,j)の値は122とすることがで
きる。なお、緑色階調値、及び青色階調値についても同様の方法で算出することができる
。
【0112】
一部の階調値についてデータベース画像データDGINを表示装置20に入力することに
より、テーブルTを生成するために必要となる演算回数を少なくすることができる。これ
により、テーブルTを短時間で生成することができる。
【0113】
図6Aでは、データベース画像データDG
INが表す画像は、全面が単色の画像とした。
つまり、データベース画像データDG
INとデータベース画像データDG
DPの赤色階調
値、緑色階調値、及び青色階調値を、別個に取得するものとしている。しかしながら、本
発明の一態様はこれに限らない。
図6Bは
図6Aの変形例であり、データベース画像デー
タDG
INとデータベース画像データDG
DPの赤色階調値、緑色階調値、及び青色階調
値を一度に取得する点が、
図6Aに示す場合と異なる。
【0114】
図6Bに示す場合では、第1の階調値が[0,0,0]
(1,1)~(m,n)乃至[2
55,255,255]
(1,1)~(m,n)であるデータベース画像データDG
IN
をそれぞれ表示装置20に入力し、データベース画像データDG
DPが有する第2の階調
値を取得する。つまり、データベース画像データDG
INが表す画像を、赤色階調値、緑
色階調値、及び青色階調値の全てが同一の画像(白色画像)とし、データベース画像デー
タDG
DPの赤色階調値、緑色階調値、及び青色階調値を取得する。取得された階調値を
、テーブルTにより表す。テーブルTは、具体的には、データベース画像データDG
IN
が有する赤色階調値と、当該赤色階調値の座標と対応する座標の、データベース画像デー
タDG
DPが有する赤色階調値と、を表す。また、テーブルTは、データベース画像デー
タDG
INが有する緑色階調値と、当該緑色階調値の座標と対応する座標の、データベー
ス画像データDG
DPが有する緑色階調値と、を表す。さらに、テーブルTは、データベ
ース画像データDG
INが有する青色階調値と、当該青色階調値の座標と対応する座標の
、データベース画像データDG
DPが有する青色階調値と、を表す。テーブルTは、例え
ばデータベース画像データDG
INが有する赤色階調値と、当該赤色階調値の座標と同一
の座標の、データベース画像データDG
DPが有する赤色階調値と、を表す。また、テー
ブルTは、例えばデータベース画像データDG
INが有する緑色階調値と、当該緑色階調
値の座標と同一の座標の、データベース画像データDG
DPが有する緑色階調値と、を表
す。さらに、テーブルTは、例えばデータベース画像データDG
INが有する青色階調値
と、当該青色階調値の座標と同一の座標の、データベース画像データDG
DPが有する青
色階調値と、を表す。
【0115】
データベース画像データDGINが表す画像を白色画像とすることにより、表示装置20
に入力するデータベース画像データDGINの数を少なくすることができる。よって、テ
ーブルTを生成するために必要となる演算回数を少なくすることができる。これにより、
テーブルTを短時間で生成することができる。なお、データベース画像データDGINの
赤色階調値、緑色階調値、及び青色階調値をすべて同一としなくてもよく、データベース
画像データDGINの赤色階調値、緑色階調値、及び青色階調値のうち、一の色の階調値
が他の色の階調値と異なってもよい。また、データベース画像データDGINの赤色階調
値、緑色階調値、及び青色階調値が互いに異なっていてもよい。
【0116】
[機械学習モデルの生成方法]
図7は、データベース42に格納したテーブルTを用いて、機械学習モデルMLMを生成
する方法の一例を示すフローチャートである。
図7に示すように、機械学習モデルMLM
は、ステップS11乃至ステップS16に示す方法により生成される。
図8A、
図8B、
図9A、
図9B、及び
図10は、ステップS11乃至ステップS16における動作を示す
模式図である。
【0117】
機械学習モデルMLMを生成するためには、まず、学習用画像データLG
INを、表示装
置20が有する入力部21に入力する。入力部21に入力された学習用画像データLG
I
Nは、表示部22に入力され、表示部22には学習用画像データLG
INに対応する画像
が表示される(ステップS11)。具体的には、学習用画像データLG
INが有する、m
行n列の階調値に対応する輝度の光を画素24が射出することにより、表示部22に画像
を表示する。
図8Aは、表示部22に表示される画像に、表示むら28が発生している状
態を示している。
【0118】
次に、表示部22に表示された画像を、撮像装置30で撮像する。これにより、撮像装置
30が、撮像データIMGLGを取得する(ステップS12)。
【0119】
前述のように、表示装置20が有する表示部22に表示された画像を撮像装置30で撮像
する場合、表示部22以外の物体が撮像される場合がある。例えば、表示装置20の筐体
が撮像される場合がある。
図8Aでは、撮像データIMG
LGには、
図8Aに示す表示装
置20のうち、破線で囲んだ部分が含まれるとしている。
【0120】
その後、画像抽出部43が、撮像データIMG
LGから学習用画像データLG
DPを取得
する(ステップS13)。ステップS13における動作は、撮像データIMG
DGを撮像
データIMG
LGと読み替え、データベース画像データDG
DPを学習用画像データLG
DPと読み替え、
図5Bを
図8Bと読み替えることにより、ステップS03における動作
の説明を参照することができる。
【0121】
次に、学習用画像データLG
INに対して、学習用画像データLG
DPに近づくように画
像処理部44が画像処理を行う。これにより、画像処理部44が、学習用画像データLG
IPを生成する(ステップS14)。
図9Aは、画像処理部44に入力される学習用画像
データLG
IN及び学習用画像データLG
DPと、画像処理部44から出力される学習用
画像データLG
IPと、の一例を示す。
【0122】
学習用画像データLGIPの生成は、例えば、学習用画像データLGIPの階調値の合計
と、学習用画像データLGDPが有する階調値の合計と、の差が、学習用画像データLG
IPの階調値の合計と、学習用画像データLGINが有する階調値の合計と、の差より小
さくなるように、学習用画像データLGINが有する階調値を画像処理により変換するこ
とにより行うことができる。例えば、学習用画像データLGIPの階調値の合計が、学習
用画像データLGDPが有する階調値の合計と等しくなるように、学習用画像データLG
INが有する階調値を画像処理により変換することにより、学習用画像データLGIPを
生成することができる。
【0123】
また、学習用画像データLGIPの生成は、例えば、学習用画像データLGDPに対する
PSNR、又はSSIMが、学習用画像データLGINに対するPSNR、又はSSIM
より大きくなるように、学習用画像データLGINが有する階調値を画像処理により変換
することで行うことができる。例えば、学習用画像データLGDPに対するPSNR、又
はSSIMが最大となるように、学習用画像データLGINが有する階調値を画像処理に
より変換することで、学習用画像データLGIPを生成することができる。
【0124】
前述のように、画像処理部44が行う画像処理は、例えばガンマ補正とすることができる
。この場合、ガンマ値を適切な値に設定することにより、上記画像処理を行うことができ
る。
【0125】
ここで、画像処理部44は、学習用画像データLGINに対する画像処理を、色ごとに行
うことが好ましい。具体的には、例えば学習用画像データLGINに対してガンマ補正を
行う場合、色ごとにガンマ値を算出することが好ましい。例えば、学習用画像データLG
IPが有する赤色階調値の合計と、学習用画像データLGDPが有する赤色階調値の合計
と、の差が、学習用画像データLGIPが有する赤色階調値の合計と、学習用画像データ
LGINが有する赤色階調値の合計と、の差より小さくなるように、学習用画像データL
GINが有する赤色階調値を画像処理により変換することが好ましい。また、学習用画像
データLGIPが有する緑色階調値の合計と、学習用画像データLGDPが有する緑色階
調値の合計と、の差が、学習用画像データLGIPが有する緑色階調値の合計と、学習用
画像データLGINが有する緑色階調値の合計と、の差より小さくなるように、学習用画
像データLGINが有する緑色階調値を画像処理により変換することが好ましい。さらに
、学習用画像データLGIPが有する青色階調値の合計と、学習用画像データLGDPが
有する青色階調値の合計と、の差が、学習用画像データLGIPが有する青色階調値の合
計と、学習用画像データLGINが有する青色階調値の合計と、の差より小さくなるよう
に、学習用画像データLGINが有する青色階調値を画像処理により変換することが好ま
しい。例えば、学習用画像データLGIPが有する赤色階調値の合計が、学習用画像デー
タLGDPが有する赤色階調値の合計と等しくなるように、学習用画像データLGINが
有する赤色階調値を画像処理により変換することが好ましい。また、学習用画像データL
GIPが有する緑色階調値の合計が、学習用画像データLGDPが有する緑色階調値の合
計と等しくなるように、学習用画像データLGINが有する緑色階調値を画像処理により
変換することが好ましい。さらに、学習用画像データLGIPが有する青色階調値の合計
が、学習用画像データLGDPが有する青色階調値の合計と等しくなるように、学習用画
像データLGINが有する青色階調値を画像処理により変換することが好ましい。
【0126】
前述のように、「学習用画像データLGIPが有する階調値の合計」は、例えば学習用画
像データLGIPが有するm行n列の階調値のうち、すべての階調値の合計としてもよい
し、一部の階調値の合計としてもよい。また、「学習用画像データLGINが有する階調
値の合計」は、例えば学習用画像データLGINが有するm行n列の階調値のうち、すべ
ての階調値の合計としてもよいし、一部の階調値の合計としてもよい。さらに、「学習用
画像データLGDPが有する階調値の合計」は、例えば学習用画像データLGDPが有す
るm行n列の階調値のうち、すべての階調値の合計としてもよいし、一部の階調値の合計
としてもよい。
【0127】
本明細書等において、学習用画像データLGIPが有する、i行j列目の赤色階調値をR
IP(i,j)と記載して示す。また、学習用画像データLGIPが有する、i行j列目
の緑色階調値をGIP(i,j)と記載して示す。さらに、学習用画像データLGIPが
有する、i行j列目の青色階調値をBIP(i,j)と記載して示す。
【0128】
前述のように、画像処理部44から出力される学習用画像データLGIPが表す画像は、
学習用画像データLGDPに近い画像となる。一方、画像処理部44による画像処理が行
われる学習用画像データLGINが表す画像には表示むら28が含まれないことから、学
習用画像データLGIPが表す画像にも表示むら28は含まれない。
【0129】
その後、テーブルTに基づき、画像生成部45が、学習用画像データLG
IPから学習用
画像データLG
GENを生成する(ステップS15)。
図9Bは、画像生成部45にテー
ブルT及び学習用画像データLG
IPが入力され、学習用画像データLG
GENが出力さ
れる様子を示している。
【0130】
具体的には、まず、学習用画像データLG
IPの階調値を基に、テーブルTに含まれる第
2の階調値を選択する。例えば、学習用画像データLG
IPの階調値と一致する値、又は
最も近い値の第2の階調値を、1行1列目乃至m行n列目のそれぞれについて選択する。
具体的には、例えばR
IP(i,j)と一致する値、又は最も近い値の赤色階調値を、R
0
DP(i,j)乃至R255
DP(i,j)の中から選択する。また、例えばG
IP(
i,j)と一致する値、又は最も近い値の緑色階調値を、G0
DP(i,j)乃至G25
5
DP(i,j)の中から選択する。さらに、例えばB
IP(i,j)と一致する値、又
は最も近い値の青色階調値を、B0
DP(i,j)乃至B255
DP(i,j)の中から
選択する。なお、
図9Bでは、選択された1行1列目の第2の階調値を、[Ra
DP(1
,1),Gb
DP(1,1),Bc
DP(1,1)]
(1,1)とする(a、b、cは0
以上255以下の整数)。また、選択されたm行n列目の第2の階調値を、[Rs
DP(
m,n),Gt
DP(m,n),Bu
DP(m,n)]
(m,n)とする(s、t、uは
0以上255以下の整数)。
【0131】
次に、画像生成部45が、テーブルTを基にして、選択された第2の階調値に対応する第
1の階調値を含む画像データである、学習用画像データLG
GENを生成する。具体的に
は、画像生成部45は、例えば選択された1行1列目乃至m行n列目の第2の階調値に対
応する1行1列目乃至m行n列目の第1の階調値を含む画像データである、学習用画像デ
ータLG
GENを生成する。例えば、
図9Bに示す例では、学習用画像データLG
GEN
における、1行1列目の赤色階調値はa、緑色階調値はb、青色階調値はcとなる。また
、m行n列目の赤色階調値はs、緑色階調値はt、青色階調値はuとなる。
【0132】
なお、例えば学習用画像データLGIPのi行j列目の階調値と一致する、i行j列目の
第2の階調値がテーブルTに含まれない場合は、i行j列目の第2の階調値を選択しなく
てもよい。この場合、学習用画像データLGGENのi行j列目の階調値は、学習用画像
データLGIPのi行j列目の階調値と同一の値とすることができる。具体的には、例え
ばRIP(i,j)と一致する赤色階調値が、R0DP(i,j)乃至R255DP(i
,j)の中に含まれない場合は、学習用画像データLGGENのi行j列目の赤色階調値
は、RIP(i,j)とすることができる。また、例えばGIP(i,j)と一致する緑
色階調値が、G0DP(i,j)乃至G255DP(i,j)の中に含まれない場合は、
学習用画像データLGGENのi行j列目の緑色階調値は、GIP(i,j)とすること
ができる。さらに、例えばBIP(i,j)と一致する青色階調値が、B0DP(i,j
)乃至B255DP(i,j)の中に含まれない場合は、学習用画像データLGGENの
i行j列目の青色階調値は、BIP(i,j)とすることができる。
【0133】
前述のように、学習用画像データLG
IPが表す画像には、表示むら等が含まれない。一
方、第2の階調値を有するデータベース画像データDG
DPには、表示むら等が含まれる
。また、第1の階調値を有するデータベース画像データDG
INには、表示むら等が含ま
れない。以上より、学習用画像データLG
IPの階調値を基に選択された第2の階調値に
対応する第1の階調値を含む画像データである、学習用画像データLG
GENは、学習用
画像データLG
DPに表れている表示むら等を打ち消すような画像データとすることがで
きる。
図9B等では、学習用画像データLG
GENのうち、領域29に対応するデータに
、表示むら28を打ち消すようなデータを付加している様子を示している。例えば、表示
むら28が発生している部分の輝度が、当該部分の周辺部の輝度より高い場合、領域29
の輝度は、領域29の周辺部の輝度より低くすることができる。
【0134】
ステップS15の後、学習部46が、学習用画像データLG
INと、学習用画像データL
G
GENと、を用いて、機械学習モデルMLMを生成する(ステップ16)。例えば、学
習用画像データLG
INを入力した場合に出力される画像データが、学習用画像データL
G
GENと一致するような機械学習モデルMLMを生成する。このような機械学習モデル
MLMは、例えば学習用画像データLG
INと、学習用画像データLG
GENと、を教師
データとする教師あり学習により生成することができる。
図10は、学習用画像データL
G
INと、学習用画像データLG
GENと、を学習部46に入力し、学習部46から出力
される画像データが学習用画像データLG
GENと同一の画像データとなるように機械学
習モデルMLMを生成する様子を示している。なお、前述のように、機械学習モデルML
Mとして、例えばニューラルネットワークモデルを適用することができる。
【0135】
以上が画像処理システム10を用いた機械学習モデルMLMの生成方法の一例である。前
述のように、入力部21に入力された画像データに対して、機械学習モデルMLMを用い
て画像処理を行うことにより、機械学習処理部23は、表示むらを打ち消すような画像デ
ータを生成することができる。機械学習処理部23から出力された画像データを表示部2
2に入力することにより、表示部22は、表示むらを目立たなくした画像を表示すること
ができる。よって、前述のように、表示部22に表示される画像に表示むらが視認される
ことを抑制しつつ、表示装置20を大型化することができる。また、表示部22に表示さ
れる画像に表示むらが視認されることを抑制しつつ、表示部22に設けられる画素24の
密度を高め、表示部22に高精細な画像を表示することができる。
【0136】
また、機械学習モデルMLMを用いて画像処理を行うことにより、前述のように表示むら
の他にも、表示される画像の画質を低下させる要素を打ち消すことができる。例えば、線
欠陥、点欠陥等を打ち消すことができる。よって、表示部22は、高品位な画像を表示す
ることができる。
【0137】
ここで、画像データを入力部21に入力し、ステップS11乃至ステップS15と同様の
処理を行うことにより画像生成部45が生成した画像データを表示部22に入力した場合
であっても、表示部22には、表示むら等を目立たなくした画像を表示することができる
。しかしながら、ステップS11乃至ステップS15を行うには、高い演算能力が求めら
れる。一方、生成済みの機械学習モデルMLMを用いた画像処理は、ステップS11乃至
ステップS15より低い演算能力で行うことができる。よって、機械学習モデルMLMを
用いて画像処理を行うことにより、短時間で画像処理を行うことができる。また、サーバ
のような演算能力の高い装置を用いずに、表示装置20の内部で画像処理を行うことがで
きる。
【0138】
なお、入力部21に入力された画像データに対する、表示むらを目立たなくするための画
像処理を、例えば高い演算能力を有する装置により行うことができるのであれば、当該画
像処理を、機械学習モデルMLMを用いずに、ステップS11乃至ステップS15と同様
の方法により行ってもよい。また、例えば表示装置20の演算能力が十分高ければ、入力
部21に入力された画像データに対する、表示むらを目立たなくするための画像処理を、
機械学習モデルMLMを用いずに、ステップS11乃至ステップS15と同様の方法によ
り行ってもよい。機械学習モデルMLMを用いずに画像処理を行う場合、生成装置40は
学習部46を有しない構成とすることができる。
【0139】
<輝点補正方法>
以下では、本発明の一態様の画像処理方法である、輝点補正方法について、図面を用いて
説明する。
【0140】
本発明の一態様の輝点補正方法では、輝点となる画素24を検出した後、検出した画素2
4に対して補正を行う。
図11A、及び
図11Bは、輝点となる画素24を検出する方法
の一例を示す図である。ここで、
図11Aに示す方法を方法M1とし、
図11Bに示す方
法を方法M2とする。なお、
図11A、及び
図11Bにおいて、表示むら等はないものと
している。
【0141】
方法M1では、まず、輝点補正用画像データBCG_1
INを、表示装置20が有する入
力部21に入力する。その後、学習用画像データLG
INを輝点補正用画像データBCG
_1
INと、撮像データIMG
LGを撮像データIMG
BCGと、学習用画像データLG
DPを輝点補正用画像データBCG
DPと、学習用画像データLG
IPを輝点補正用画像
データBCG
IPと、学習用画像データLG
GENを輝点補正用画像データBCG_1と
それぞれ読み替え、
図7等に示すステップS11乃至ステップS15と同様の動作を行う
(ステップS11’乃至ステップS15’)。例えば、ステップS11’、及びステップ
S12’において、輝点補正用画像データBCG_1
INに対応する画像を表示部22に
表示し、表示部22に表示された画像を撮像装置30で撮像することにより、撮像データ
IMG
BCGを取得する。また、ステップS13’において取得された輝点補正用画像デ
ータBCG
DPは、m行n列の階調値を有することができる。さらに、ステップS15’
において、データベース画像データDG
INが有する第1の階調値と、データベース画像
データDG
DPが有する第2の階調値と、の対応に関する情報を表すテーブルTに基づき
、画像生成部45が、輝点補正用画像データBCG
IPから輝点補正用画像データBCG
_1を生成する。なお、輝点補正用画像データBCG
DPを画像処理部44に供給せず、
画像生成部45に供給する場合、ステップS14’に示す動作は行わない。この場合、ス
テップS15’において、画像生成部45は、輝点補正用画像データBCG
DPから輝点
補正用画像データBCG_1を生成する。
【0142】
ここで、輝点となる画素が画素24(1,1)乃至画素24(m,n)の中に含まれる場
合、輝点補正用画像データBCGDPが有するm行n列の階調値のうち、輝点となる画素
24の座標に対応する座標の階調値、例えば輝点となる画素24と同一の座標の階調値は
、高いものとなる。例えば、輝点補正用画像データBCGDPが有する階調値が、0乃至
255のいずれかの整数値を取り得る場合、輝点となる画素24の座標に対応する座標の
階調値は、255、又はそれに近い値となる。ここで、輝点補正用画像データBCGDP
におけるある座標の階調値が、当該座標の周辺の座標の階調値より高い場合、輝点補正用
画像データBCG_1においては階調値を低くすることができる。
【0143】
ステップS15’の後、表示装置20が有する輝点補正部50は、輝点補正用画像データ
BCG_1に基づき、輝点となる画素24の座標である輝点座標を検出する。具体的には
、輝点補正用画像データBCG_1が有するm行n列の階調値のうち、しきい値以下の階
調値の座標を輝点座標とすることができる。なお、輝点座標の検出は、生成装置40によ
り行ってもよい。輝点座標の検出は、例えば生成装置40が有する画像生成部45により
行ってもよい。
【0144】
ここで、輝点補正用画像データBCG
DP、及び輝点補正用画像データBCG_1の両方
において、輝点座標の階調値と、輝点座標の周辺の座標の階調値と、の差が大きいと、輝
点座標を高い精度で検出することができるため好ましい。よって、輝点補正用画像データ
BCG_1
INが有する階調値は、中間階調であることが好ましい。例えば、輝点補正用
画像データBCG_1
INが有するm行n列の階調値の全てを、127、又はその近傍と
することが好ましい。
図11Aでは、輝点補正用画像データBCG_1
INの階調値をす
べて同一の値の中間階調値とし、輝点補正用画像データBCG
DPに、輝点として周辺の
階調値より高い階調値53が含まれる例を示している。
図11Aに示す例では、輝点補正
用画像データBCG_1が有する階調値のうち、階調値53と同一座標の階調値54を、
周辺の階調値より低くすることができる。
【0145】
方法M2では、まず、輝点補正用画像データBCG_2
INを、表示装置20が有する入
力部21に入力する。その後、学習用画像データLG
INを輝点補正用画像データBCG
_2
INと、撮像データIMG
LGを撮像データIMG
BCGと、学習用画像データLG
DPを輝点補正用画像データBCG_2と読み替え、
図7等に示すステップS11乃至ス
テップS13と同様の動作を行う(ステップS11’’乃至ステップS13’’)。例え
ば、ステップS11’’、及びステップS12’’において、輝点補正用画像データBC
G_2
INに対応する画像を表示部22に表示し、表示部22に表示された画像を撮像装
置30で撮像することにより、撮像データIMG
BCGを取得する。また、ステップS1
3’’において取得された輝点補正用画像データBCG_2は、m行n列の階調値を有す
ることができる。
【0146】
ここで、輝点となる画素が画素24(1,1)乃至画素24(m,n)の中に含まれる場
合、輝点補正用画像データBCG_2が有するm行n列の階調値のうち、輝点となる画素
24の座標に対応する座標の階調値、例えば輝点となる画素24と同一の座標の階調値は
、高いものとなる。例えば、輝点補正用画像データBCG_2が有する階調値が、0乃至
255のいずれかの整数値を取り得る場合、輝点となる画素24の座標に対応する座標の
階調値は、255、又はそれに近い値となる。
【0147】
ステップS13’’の後、表示装置20が有する輝点補正部50は、輝点補正用画像デー
タBCG_2に基づき、輝点となる画素24の座標である輝点座標を検出する。具体的に
は、輝点補正用画像データBCG_2が有するm行n列の階調値のうち、しきい値以上の
階調値の座標を輝点座標とすることができる。なお、輝点座標の検出は、生成装置40に
より行ってもよい。輝点座標の検出は、例えば生成装置40が有する画像抽出部43によ
り行ってもよい。
【0148】
ここで、輝点補正用画像データBCG_2において、輝点座標の階調値と、輝点座標の周
辺の階調値と、の差が大きいと、輝点座標を高い精度で検出することができるため好まし
い。一方、表示部22に入力される画像データが有する階調値が小さすぎると、階調値次
第で輝点となり得る画素24であっても輝点とならず、輝点座標を高い精度で検出するこ
とができない場合がある。輝点補正用画像データBCG_2
INの階調値は、以上を踏ま
えて決定することが好ましい。例えば、輝点補正用画像データBCG_2
INが有するm
行n列の階調値の全てを、0以上127以下、又は31以上127以下、又は63以上1
27以下とすることが好ましい。
図11Bでは、輝点補正用画像データBCG_2に、輝
点として周辺の階調値より高い階調値55が含まれる例を示している。
【0149】
輝点座標を検出することにより、輝点補正部50は、輝点を補正する機能を有することが
できる。例えば、コンテンツ画像データCGMLが有するm行n列の階調値のうち、輝点
座標に対応する座標、例えば輝点座標と同一の座標の階調値を小さくすることができ、例
えば0とすることができる。輝点補正部50が、輝点座標に対応する座標の階調値を小さ
くしたコンテンツ画像データCGCORを生成して表示部22に供給することにより、例
えば輝点となる画素24を暗点とすることができる。前述のように、表示部22に表示さ
れる画像を視認する場合、輝点は暗点より目立つため、視認性への影響が大きい。よって
、コンテンツ画像データCGCORに対応する画像を表示部22に表示させることにより
、表示部22に表示される画像を高品位なものとすることができる。
【0150】
図12Aは、輝点補正用画像データBCG_1の階調値の実測値と、輝点補正用画像デー
タBCG_1
INの階調値との関係を示すグラフであり、方法M1により作成できるもの
である。ここで、輝点補正用画像データBCG_1
INの階調値は、全面同一とした。図
12Aにおいて、同一の輝点補正用画像データBCG_1
INの階調値に対して複数のプ
ロットが存在するが、これは輝点補正用画像データBCG_1の階調値の実測値を、複数
の座標についてプロットしたことによる。
【0151】
図12Aに示す線56は、輝点補正用画像データBCG_1
INの各階調値における、プ
ロットした輝点補正用画像データBCG_1の階調値の平均を表す。
図12Aに示すよう
に、輝点補正用画像データBCG_1の階調値の平均と、輝点補正用画像データBCG_
1
INの階調値と、の関係は、線形近似することができる。
【0152】
ここで、前述のように、輝点座標における輝点補正用画像データBCG_1の階調値は、
輝点座標ではない階調値より低くなる。よって、輝点補正用画像データBCG_1
INの
階調値ごとにしきい値を設け、例えばm行n列の輝点補正用画像データBCG_1の階調
値のうち、しきい値未満の階調値の座標を輝点座標とすることができる。
図12Aにおい
て、しきい値を線57により示している。線57は、傾きが正の1次式により表すことが
できる。
【0153】
方法M1において、階調値が異なる複数の輝点補正用画像データBCG_1INを用意し
、それぞれに対して輝点補正用画像データBCG_1を生成することにより、輝点となる
画素24の座標を輝点座標ではないと判定すること、及び輝点とならない画素24の座標
を輝点座標であると判定することを抑制することができる。よって、輝点補正部50等は
、輝点座標を高い精度で検出することができる。
【0154】
図12Bは、画像抽出部43が生成する輝点補正用画像データBCG
DPの階調値の実測
値と、入力部21に入力される輝点補正用画像データBCG
INの階調値と、の関係を示
すグラフである。
図12Bに示すように、輝点補正用画像データBCG
DPの階調値と、
輝点補正用画像データBCG
INの階調値の関係は線形近似することはできず、例えばシ
グモイド曲線により近似される。
【0155】
次に、方法M2で検出することができる画素24の一例について説明する。
図13A1、
及び
図13A2は、輝点補正用画像データBCG_2の階調値と、輝点補正用画像データ
BCG_2
INの階調値の関係を示すグラフである。
【0156】
図13A1に示すグラフ61は、例えば表示装置20の製造時における、輝点補正用画像
データBCG_2が有するm行n列の階調値の平均値と、輝点補正用画像データBCG_
2
INの階調値の関係とすることができる。なお、輝点補正用画像データBCG_2
IN
が有する階調値は、例えば全面同一の値とすることができる。ここで、輝点補正用画像デ
ータBCG_2が有する階調値のうち、一部の階調値において、グラフ63に示す挙動を
とるものとする。つまり、表示部22に入力される画像データの階調値が高くなると、一
部の画素24から射出される光の輝度が、低下するものとする。そして、グラフ63に示
す挙動をとる画素24は劣化しやすく、当該画素24を長期間使用する、つまり例えば当
該画素24が有する表示素子に電圧を長期間供給すると、挙動が
図13A2に示すグラフ
63Aに変化するものとする。一方、グラフ61に示す挙動をとる画素24は劣化しにく
く、長期間使用してもグラフ63Aに示す挙動をとらないものとする。
【0157】
グラフ63Aに示す挙動をとる画素24は、輝点であるということができる。よって、図
13A1のグラフ63に示す挙動をとる画素24は、例えば表示装置20の製造時点では
輝点ではないが、表示装置20の使用に伴い輝点になる可能性が高い画素である。前述の
ように、画素24が輝点となると、視認性への影響が大きい。よって、
図13A1のグラ
フ63に示す挙動をとる画素24は、例えば表示素子に供給する電圧を小さくして、暗点
とすることが好ましい。これにより、画素24が輝点となることを抑制することができる
ため、表示装置20の信頼性を高めることができる。
【0158】
図13Bは、グラフ63に示す挙動をとる画素24を検出する方法の一例を示す図である
。
図13Bに示すように、輝点補正用画像データBCG_2
INの階調値は、高いものと
する。例えば、輝点補正用画像データBCG_2
INが有するm行n列の階調値の全てを
、255、又はその近傍とする。このような輝点補正用画像データBCG_2
INに基づ
き、ステップS11’’乃至ステップS13’’を行うと、輝点補正用画像データBCG
_2の階調値のうち、グラフ63に示す挙動をとる画素24に対応する階調値は、周辺の
階調値より低くなる。
図13Bでは、輝点補正用画像データBCG_2に、周辺の階調値
より低い階調値65が含まれる例を示している。階調値65に対応する画素24を、グラ
フ63に示す挙動をとる画素24、つまり長期間の使用により輝点となる画素24とする
ことができる。
【0159】
よって、方法M2により、既に輝点となっている画素24だけでなく、表示装置20の使
用に伴い輝点となる可能性が高い画素24を検出することができる。一方、方法M1では
、輝点補正用画像データBCG_1の階調値のうち、グラフ63に示す挙動をとる画素2
4に対応する階調値は、周辺の階調値より高くなる。よって、入力部21に入力する輝点
補正用画像データBCG_1INの階調値を高くすると、グラフ63に示す挙動をとる画
素24を検出することが難しくなる。一方、入力部21に入力する輝点補正用画像データ
BCG_1INの階調値を低くすると、グラフ63がグラフ61に近くなるため、グラフ
63に示す挙動をとる画素24を検出することが難しくなる。以上より、方法M1では、
グラフ63に示す挙動をとる画素24を検出することは難しい。
【0160】
以上より、方法M1と方法M2の両方を行うことで、例えば輝点となっている画素24を
高い精度で検出できるだけでなく、表示装置20の使用に伴い輝点となる可能性が高い画
素24も検出することができる。このように、方法M1と方法M2の両方を行うことで、
例えば暗点とすべき画素24を網羅的に検出することができる。
【0161】
図14は、輝点補正用画像データBCG_1の階調値の実測値と、輝点補正用画像データ
BCG_1
INの階調値との関係を示すグラフであり、線57の代わりに線57A、及び
線57Bが記載されている点が
図12Aに示すグラフと異なる。
【0162】
図14において、輝点補正用画像データBCG_1の階調値のうち、線57Aで示される
階調値を第1のしきい値とし、線57Bで示される階調値を第2のしきい値とする。第1
のしきい値は線56で示される値より小さく、第2のしきい値は第1のしきい値より小さ
い。線57A、及び線57Bは、線57と同様に傾きが正の1次式により表すことができ
る。
【0163】
画像処理システム10を用いた画像処理方法の一例を、
図14を用いて説明する。まず、
方法M1により、
図14に示すグラフを作成する。
図14に示すグラフにおいて、例えば
m行n列の輝点補正用画像データBCG_1の階調値のうち、第1のしきい値以下、且つ
第2のしきい値以上の階調値の座標を第1の輝点座標とする。また、第2のしきい値未満
の階調値の座標を第2の輝点座標とする。
【0164】
また、方法M2により、輝点座標を検出する。当該輝点座標を、第3の輝点座標とする。
【0165】
そして、コンテンツ画像データCGMLが輝点補正部50に入力された場合は、コンテン
ツ画像データCGMLが有するm行n列の階調値のうち、例えば第1の輝点座標と同一で
あり、且つ第3の輝点座標とも同一である座標の階調値を小さくする。また、例えば第3
の輝点座標と同一であるか否かにかかわらず、第2の輝点座標と同一の座標の階調値を小
さくする。これにより、輝点を補正することができ、表示部22に高品位な画像を表示さ
せることができる。
【0166】
以上のような方法で画像処理を行うことにより、例えば暗点としなくても視認性に大きな
影響を及ぼさない画素24を暗点とすることを抑制することができる。これにより、表示
部22に表示される画像の品位を、画素24を暗点とすることでかえって低下させること
を抑制することができる。
図14に示す例では、m行n列の画素24のうち、例えば第1
の輝点座標とは同一であるが第3の輝点座標とは異なる座標の画素24は、暗点としなく
ても視認性に大きな影響を及ぼさないものとすることができる。よって、例えばコンテン
ツ画像データCG
MLが有するm行n列の階調値のうち、第1の輝点座標とは同一である
が第3の輝点座標とは異なる座標の階調値は、補正しないものとすることができる。
【0167】
以上が本発明の一態様の画像処理方法である、輝点補正方法の一例である。
【0168】
<機械学習モデルの構成例>
図15Aは、機械学習モデルMLMの構成例を示す図である。
図15Aに示すように、機
械学習モデルMLMは、入力層ILと、中間層ML1と、中間層ML2と、中間層ML3
と、出力層OLと、を有するニューラルネットワークモデルとすることができる。入力層
ILと、中間層ML1と、中間層ML3と、出力層OLは、ニューロンにより構成されて
いる層を複数有し、各層に設けられているニューロン同士が結合されている。入力層IL
には、画像データを入力することができる。
【0169】
入力層ILに入力される画像データは、m行n列の行列を、表示部22が有する副画素の
種類の数と同数有することができる。例えば、画素24が、赤色(R)の光を射出する副
画素と、緑色(G)の光を射出する副画素と、青色(B)の光を射出する副画素と、を有
する場合、画像データは、赤色階調値を成分としたm行n列の行列と、緑色階調値を成分
としたm行n列の行列と、青色階調値を成分としたm行n列の行列と、を有する。つまり
、当該画像データは、3個の行列を有する構成とすることができる。
【0170】
上記のように画像データが行列を含むものとすると、入力層ILが有するニューロンの数
は、当該行列が有する成分の数と同数とすることができる。例えば、画像データが、12
00行1920列の行列を3個有する場合、入力層ILが有するニューロンの数は、19
20×1200×3とすることができる。また、画像データが行列を含むものとすると、
出力層OLが有するニューロンの数は、当該行列が有する成分の数と同数とすることがで
きる。例えば、画像データが、前述のように1200行1920列の行列を3個有する場
合、出力層OLが有するニューロンの数は、1920×1200×3とすることができる
。
【0171】
中間層ML1は、中間層ML2に供給するデータD1を生成する機能を有する。データD
1は、h個(hは2以上の整数)の成分xを有する行列とすることができる。
【0172】
本明細書等において、例えばh個の成分xを、それぞれ成分x1乃至成分xhと記載して
区別する。他の成分においても、同様の記載をする。
【0173】
中間層ML1が有するニューロンの数は、入力層ILが有するニューロンの数より多くす
る。これにより、データD1が有する成分数を、入力層ILに入力される画像データが有
する成分数より多くすることができる。中間層ML1が行うことができる演算処理の詳細
については後述する。
【0174】
中間層ML2は、成分xを、成分yに変換する機能を有する。例えば、中間層ML2は、
非線形且つ多項式の1変数関数により、成分x1乃至成分xhをそれぞれ成分y1乃至成
分yhに変換する機能を有する。当該関数の一例を以下に示す。
【0175】
【0176】
ここで、iは1以上h以下の整数とすることができる。上記数式は、成分xを独立変数、
成分yを従属変数とし、aを係数とする関数である。当該関数は、xのd乗(dは2以上
の整数)を含む項を有する。
図15Aでは、中間層ML2が上記数式で示される演算処理
を行うとしている。
【0177】
非線形且つ多項式の1変数関数の他の一例を以下に示す。
【0178】
【0179】
上記数式は、xを独立変数、yを従属変数とし、aとbを係数とする関数である。当該関
数は、成分xの余弦を含む項と、成分xの正弦を含む項と、を有する。なお、当該関数は
、成分xの余弦を含む項を有していなくてもよい。また、当該関数は、成分xの正弦を含
む項を有していなくてもよい。
【0180】
以上により、中間層ML2は、成分y1乃至成分yhを有するデータを生成することがで
きる。当該データを、データD2とする。データD2は、データD1と同様に行列とする
ことができる。
【0181】
中間層ML3は、出力層OLに供給するデータを生成する機能を有する。中間層ML3が
有するニューロンの数は、出力層OLが有するニューロンの数より多くする。これにより
、出力層OLから出力される画像データが有する成分数を、データD2が有する成分数よ
り少なくすることができる。中間層ML3が行うことができる演算処理の詳細については
後述する。
【0182】
なお、入力層ILと、中間層ML2と、の間に中間層を2つ以上設けてもよい。また、中
間層ML2と、出力層OLと、の間に中間層を2つ以上設けてもよい。
【0183】
図15Bは、機械学習モデルMLMが
図15Aで示す構成である場合の、機械学習モデル
MLMの生成方法の一例を示す図である。
図7に示すように、機械学習モデルMLMは、
ステップS16で生成される。よって、
図15Bは、機械学習モデルMLMが
図15Aで
示す構成である場合の、ステップS16の動作の一例を示す図であるということができる
。
【0184】
前述のように、機械学習モデルMLMは、学習部46が生成することができる。具体的に
は、例えば学習用画像データLGINと、学習用画像データLGGENと、を用いて、機
械学習モデルMLMを生成することができる。例えば、学習用画像データLGINを入力
した場合に出力される画像データが学習用画像データLGGENと一致するように係数a
1,0乃至係数an,kの値等を学習により取得することで、学習部46は機械学習モデ
ルMLMを生成することができる。なお、中間層ML2が数式2に示す演算を行う場合は
、係数aの値のほか、係数bの値も学習により取得する。
【0185】
図16A、及び
図16Bは、機械学習モデルMLMが適用された機械学習処理部23によ
る演算の一例を示す図である。
図16Aに示すように、中間層ML1により、コンテンツ
画像データCG
INと、フィルタfaと、の積和演算を行うことができる。ここで、
図1
6Aに示す例では、コンテンツ画像データCG
INは、1200行1920列の行列を3
個含むものとする。つまり、コンテンツ画像データCG
INは、横幅1920、高さ12
00、チャネル数3のデータとする。また、フィルタfaのチャネル数は3とし、中間層
ML1により、コンテンツ画像データCG
INと、9個のフィルタfa(フィルタfa
1
乃至フィルタfa
9)と、の積和演算を行うものとする。このような積和演算を行うこと
により、中間層ML1からは、高さ1200、横幅1920、チャネル数9のデータD1
を出力することができる。データD1は、成分x
1乃至成分x
1920×1200×9を
含むものとする。
【0186】
データD1が有する成分x1乃至成分x1920×1200×9は、中間層ML2におい
て、数式1、又は数式2等により成分y1乃至成分y1920×1200×9に変換する
ことができる。成分y1乃至成分y1920×1200×9を含むデータを、データD2
とする。
【0187】
図16Bに示すように、中間層ML3により、データD2と、フィルタfbと、の積和演
算を行うことができる。ここで、データD2は、データD1と同様に、高さ1200、横
幅1920、チャネル数9のデータとすることができる。また、フィルタfbのチャネル
数は9とし、中間層ML3により、データD2と、3個のフィルタfb(フィルタfb
1
乃至フィルタfb
3)と、の積和演算を行うものとする。このような積和演算を行うこと
により、中間層ML3からは、横幅1920、高さ1200、チャネル数3のデータを出
力することができる。当該データは、コンテンツ画像データCG
MLとすることができる
。
【0188】
以上より、機械学習モデルMLMを用いて、例えばコンテンツ画像データCGINをコン
テンツ画像データCGMLに変換することができる。
【0189】
以上のように、
図15Aに示す構成の機械学習モデルMLMでは、中間層ML2において
、データD1に含まれる成分x
1乃至成分x
hを、非線形且つ多項式の1変数関数を用い
てそれぞれ成分y
1乃至成分y
hに変換する。これにより、例えば線形の1変数関数、又
は単項式の1変数関数を用いて成分x
1乃至成分x
hをそれぞれ成分y
1乃至成分y
hに
変換する場合より、機械学習モデルMLMを用いた推論を高い精度で行うことができる。
また、
図16Aに示すフィルタfaの個数、及び
図16Bに示すフィルタfbのチャネル
数を少なくすることができるため、学習による機械学習モデルMLMの生成、及び機械学
習モデルMLMによる推論に要する演算量を少なくすることができる。よって、学習、及
び推論を高速に行うことができる。
【実施例0190】
本実施例では、
図15Aに示す機械学習モデルMLMを取得するために学習を行った結果
について説明する。
【0191】
本実施例では、横幅1920、高さ1200、チャネル数3の画像データを学習データ、
及び正解データとした教師あり学習により、機械学習モデルMLMを生成した。データD
1に含まれる成分xは、中間層ML2により、数式1、数式2、又は数式“y=ax+b
”を用いて、成分yに変換した。数式1、及び数式2において、d=5とした。
【0192】
また、中間層ML1は
図16Aに示す演算を行うものとし、中間層ML3は
図16Bに示
す演算を行うものとした。データD1に含まれる成分xを数式1、又は数式2を用いて成
分yに変換する場合は、中間層ML1により画像データと、チャネル数3のフィルタfa
1乃至フィルタfa
9と、の積和演算を行うものとし、中間層ML3によりデータD1と
、チャネル数9のフィルタfa
1乃至フィルタfa
3と、の積和演算を行うものとした。
また、データD1に含まれる成分xを数式“y=ax+b”を用いて成分yに変換する場
合は、中間層ML1により画像データと、チャネル数3のフィルタfa
1乃至フィルタf
a
162と、の積和演算を行うものとし、中間層ML3によりデータD2と、チャネル数
が162のフィルタfb
1乃至フィルタfb
3と、の積和演算を行うものとした。
【0193】
図17は、SSIMと、学習回数(epoch)と、の関係を示すグラフである。SSI
Mは、テストデータと、正解データと、を用いて算出した。SSIMが大きいほど、テス
トデータと、正解データと、の類似度が高いため、機械学習モデルMLMが高い精度で推
論できることを示す。テストデータは、学習データ、及び正解データと同様に、横幅19
20、高さ1200、チャネル数3の画像データとした。
【0194】
前述のように、データD1に含まれる成分xを、数式1、又は数式2を用いて成分yに変
換した場合は、成分xを数式“y=ax+b”を用いて成分yに変換した場合よりフィル
タfaの個数、及びフィルタfbのチャネル数が少ない。これにもかかわらず、
図17に
示すように、学習回数が200以上である場合において、成分xを数式1、又は数式2を
用いて成分yに変換した場合は、成分xを数式“y=ax+b”を用いて成分yに変換し
た場合よりSSIMが大きくなった。