IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本放送協会の特許一覧

特許7432377ディスプレイMTF測定装置およびそのプログラム
<>
  • 特許-ディスプレイMTF測定装置およびそのプログラム 図1
  • 特許-ディスプレイMTF測定装置およびそのプログラム 図2
  • 特許-ディスプレイMTF測定装置およびそのプログラム 図3
  • 特許-ディスプレイMTF測定装置およびそのプログラム 図4
  • 特許-ディスプレイMTF測定装置およびそのプログラム 図5
  • 特許-ディスプレイMTF測定装置およびそのプログラム 図6
  • 特許-ディスプレイMTF測定装置およびそのプログラム 図7
  • 特許-ディスプレイMTF測定装置およびそのプログラム 図8
  • 特許-ディスプレイMTF測定装置およびそのプログラム 図9
  • 特許-ディスプレイMTF測定装置およびそのプログラム 図10
  • 特許-ディスプレイMTF測定装置およびそのプログラム 図11
  • 特許-ディスプレイMTF測定装置およびそのプログラム 図12
  • 特許-ディスプレイMTF測定装置およびそのプログラム 図13
  • 特許-ディスプレイMTF測定装置およびそのプログラム 図14
  • 特許-ディスプレイMTF測定装置およびそのプログラム 図15
  • 特許-ディスプレイMTF測定装置およびそのプログラム 図16
  • 特許-ディスプレイMTF測定装置およびそのプログラム 図17
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-07
(45)【発行日】2024-02-16
(54)【発明の名称】ディスプレイMTF測定装置およびそのプログラム
(51)【国際特許分類】
   G01M 11/02 20060101AFI20240208BHJP
   G01M 11/00 20060101ALI20240208BHJP
   H04N 17/04 20060101ALI20240208BHJP
【FI】
G01M11/02 A
G01M11/00 T
H04N17/04 D
【請求項の数】 6
(21)【出願番号】P 2020011663
(22)【出願日】2020-01-28
(65)【公開番号】P2021117147
(43)【公開日】2021-08-10
【審査請求日】2022-12-12
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】正岡 顕一郎
【審査官】田中 洋介
(56)【参考文献】
【文献】特開2019-194577(JP,A)
【文献】特開2018-128434(JP,A)
【文献】特開2001-054147(JP,A)
【文献】特開2007-243609(JP,A)
【文献】特開2021-107804(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01M 11/00-11/08
H04N 17/00-17/06
(57)【特許請求の範囲】
【請求項1】
ディスプレイの表示画像を前記ディスプレイのフレームレート以上のフレームレートのカメラで撮影した撮影画像から、前記ディスプレイの空間周波数特性を表すディスプレイMTFを測定するディスプレイMTF測定装置であって、
前記撮影画像上の直線のラインを含む予め設定されたROIの画像において前記ラインの傾き角度を検出するライン傾き検出手段と、
前記表示画像上で前記ラインを予め定めた画素移動速度で移動させて撮影した撮影画像における同一位置の前記ROIの画像の画素、前記傾き角度に基づく前記ラインに垂直となるサブピクセル間隔のビンの投影軸における前記ビンとを、前記ビンの配列を順次一方向に予め定めたシフト量でシフトして前記投影軸に対して垂直に対応付けるビン配列シフト投影手段と、
前記シフト量のシフトを戻して、同一のビンに対応付けられた画素の画素値を平均化して線広がり関数を生成する線広がり関数生成手段と、
前記線広がり関数から、前記撮影画像で測定されるMTFとして測定MTFを算出するMTF算出手段と、
前記ディスプレイおよび前記カメラの空間周波数比と、前記カメラのMTFであるカメラMTFとにより、前記測定MTFを補正することで、前記ディスプレイMTFを算出するMTF補正手段と、
を備えることを特徴とするディスプレイMTF測定装置。
【請求項2】
前記ディスプレイと前記カメラのフレームレートの比率をr、前記ディスプレイに対する前記カメラの画素の相対倍率をm、前記カメラの画素幅と前記ビンの幅の比をnbin、前記画素移動速度をpとしたとき、
前記シフト量は、前記カメラが撮影した1フレームにつき、p×m×nbin/rであることを特徴とする請求項1に記載のディスプレイMTF測定装置。
【請求項3】
ある空間周波数fにおける前記測定MTFの値をMTFDISP+CAM+binning(f)、前記カメラMTFの値をMTFCAM(f)としたとき、
前記MTF補正手段は、前記カメラの空間周波数fCAMにおけるMTFDISP+CAM(fCAM)をMTFDISP+CAM+binning(fCAM)/sinc(fCAM/nbin)により補正した後、前記ディスプレイの空間周波数fDISPにおける前記ディスプレイMTFの値であるMTFDISP(fDISP)を、MTFDISP(fDISP)=MTFDISP+CAM(fDISP/m)×sinc(fDISP/r)/MTFCAM(fDISP/m)により算出することを特徴とする請求項2に記載のディスプレイMTF測定装置。
【請求項4】
前記表示画像上で前記ラインを静止させて撮影した撮影画像における前記ROIの画像の画素、前記傾き角度に基づく前記ラインに垂直となるサブピクセル間隔のビンの投影軸における前記ビンとを、前記ビンの配列を固定して前記投影軸に対して垂直に対応付ける、前記ビン配列シフト投影手段と切り替えて動作するビン配列固定投影手段をさらに備え、
前記線広がり関数生成手段は、前記シフト量を0として、前記線広がり関数を生成することを特徴とする請求項1から請求項3のいずれか一項に記載のディスプレイMTF測定装置。
【請求項5】
前記ビン配列シフト投影手段を動作させることで算出されるディスプレイMTFと、前記ビン配列固定投影手段を動作させることで算出されるディスプレイMTFとの比を算出る特性比算出手段をさらに備えることを特徴とする請求項4に記載のディスプレイMTF測定装置。
【請求項6】
コンピュータを、請求項1から請求項5のいずれか一項に記載のディスプレイMTF測定装置として機能させるためのディスプレイMTF測定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ディスプレイの動特性を空間周波数特性を示すMTF(Modulation Transfer Function)で測定するディスプレイMTF測定装置およびそのプログラムに関する。
【背景技術】
【0002】
従来、カメラでディスプレイを撮影し、画素構造に依存しないディスプレイの空間解像度特性を分析する手法として、ディスプレイに矩形波(非特許文献1)や正弦波(非特許文献2)を表示して変調度を測定する手法がある。
このディスプレイの変調度を測定する従来手法は、図17(a)に示すように、水平方向または垂直方向に白黒の矩形波のパターンPをディスプレイに表示し、カメラで撮影する。なお、図17(a)は、画素構造の例としてRGBWの構造を示し、1画素ごとに白黒を表した水平方向の矩形波のパターンPを表示した例を示している。
そして、従来手法は、カメラで撮影した画像から、図17(b)に示すように、横軸をカメラ画素位置(水平方向または垂直方向)、縦軸を輝度(画素値)とした、サブピクセル単位の位置の輝度(図17(b)中、実線)に1画素幅の平滑化フィルタをかけて(図17(b)中、破線)変調度を測定している。
【0003】
また、ディスプレイにおける動画ボヤケを評価する手法として、ミラーを取り付けたガルバノスキャナを動画の移動速度に合わせて回転させ、撮影された追従画像を分析する手法がある(特許文献1,2)。
この手法は、カメラのイメージセンサ上の定位置に結像される画像を分析することで、ディスプレイの動画応答を測定している。
【先行技術文献】
【特許文献】
【0004】
【文献】特許第3630024号公報
【文献】特許第4580356号公報
【非特許文献】
【0005】
【文献】“IDMS(Information Display Measurements Standard)”, SID(Society of Information Display), ICDM(International Committee for Display Metrology), version1.03, pp.109-138, June 1, 2012.
【文献】Triantaphillidou, S. and Jacobson, R.E.,“Measurements of the modulation transfer function of image displays”, Journal of Imaging Science and Technology. 48 (1), pp.58-65, 2004.
【発明の概要】
【発明が解決しようとする課題】
【0006】
従来のディスプレイの変調度の測定手法は、ディスプレイ上に水平方向または垂直方向の矩形波の信号を表示して変調度を測定している。
この場合、従来手法は、水平方向または垂直方向でしか変調度を測定することができないという問題がある。
しかし、実際にディスプレイに表示される画像は、水平方向や垂直方向に限定されず、斜め方向の線も多用され、その特性を把握することが望まれている。
また、従来の動画応答を測定する手法は、ガルバノスキャナの回転機構に高い精度が要求され、コストがかかるという問題がある。
【0007】
本発明は、このような問題、要望に鑑みてなされたもので、メカニカルな回転や移動機構を用いず、かつ、水平方向や垂直方向に限定されずにディスプレイの動特性を空間周波数特性を示すMTFで測定することが可能なディスプレイMTF測定装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【0008】
前記課題を解決するため、本発明に係るディスプレイMTF測定装置は、ディスプレイの表示画像をディスプレイのフレームレート以上のフレームレートのカメラで撮影した撮影画像から、ディスプレイの空間周波数特性を表すディスプレイMTFを測定するディスプレイMTF測定装置であって、ライン傾き検出手段と、ビン配列シフト投影手段と、線広がり関数生成手段と、MTF算出手段と、MTF補正手段と、を備える構成とした。
【0009】
かかる構成において、ディスプレイMTF測定装置は、ライン傾き検出手段によって、撮影画像上の直線のラインを含む予め設定されたROIの画像においてラインの傾き角度を検出する。
そして、ディスプレイMTF測定装置は、ビン配列シフト投影手段によって、表示画像上でラインを予め定めた画素移動速度で移動させて撮影した撮影画像における同一位置のROIの画像の画素、傾き角度に基づくラインに垂直となるサブピクセル間隔のビンの投影軸における前記ビンとを、ビンの配列を順次一方向に予め定めたシフト量でシフトして投影軸に対して垂直に対応付ける。これによって、カメラやミラーを移動したり回転したりしてラインを追従させずに、ラインが一定速度で動くと仮定した場合の追従をシミュレートすることができる。
そして、ディスプレイMTF測定装置は、線広がり関数生成手段によって、シフト量のシフトを戻して、同一のビンに対応付けられた画素の画素値を平均化する。この投影軸上において平均化された画素値は、撮影画像における直線のラインの広がり特性を示す、投影軸のサブピクセル単位の座標系における線広がり関数となる。
【0010】
そして、ディスプレイMTF測定装置は、MTF算出手段によって、線広がり関数から、撮影画像で測定されるMTFとして測定MTFを算出する。なお、この測定MTFは、カメラの空間周波数を基準として測定されたものであり、ディスプレイのMTFとカメラのMTFとが重畳されたものとなっている。
そこで、ディスプレイMTF測定装置は、MTF補正手段によって、ディスプレイおよびカメラの空間周波数比と、カメラのMTFであるカメラMTFとにより、サンプリングポイントを揃えて、測定MTFを補正する。
これによって、MTF補正手段は、測定MTFの空間周波数を、ディスプレイの空間周波数に変換するとともに、カメラのMTF分減衰した値を持ち上げて、ディスプレイのMTFの動特性であるディスプレイMTFを算出する。
【0011】
このディスプレイMTF測定装置は、コンピュータを、前記した各手段として機能させるためのディスプレイMTF測定プログラムで動作させることができる。
【発明の効果】
【0012】
本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、ディスプレイの動特性をMTFで測定することができる。
また、本発明によれば、従来のようなメカニカルな回転や移動機構を用いないため、精度の高い測定を低コストで実現することができる。
【図面の簡単な説明】
【0013】
図1】本発明の実施形態に係るディスプレイMTF測定装置の構成を示すブロック構成図である。
図2】測定対象のディスプレイに表示する直線ラインの例を示す画面例である。
図3】カメラの撮影画像におけるROIを説明するための説明図である。
図4】ROI画像を説明するための説明図である。
図5】ROI画像のラインの傾きを説明するための説明図である。
図6】ROI画像をラインの傾きに応じて回転した回転ROI画像を示す図である。
図7】回転ROI画像のラインの傾きを説明するための説明図である。
図8】ピークフィッティング関数とエッジ形状の分布との関係を示す図であって、(a)はピークフィッティング関数のグラフ、(b)はピークフィッティング関数のグラフを2次元のROI画像の座標に適用したグラフ、(c)はROI画像の座標上のピークフィッティング関数の頂点位置のグラフである。
図9】ピークフィッティング関数とライン幅との関係を説明するための説明図である。
図10】線広がり関数(LSF)の生成手法を説明するための説明図である。
図11】投影軸のビンの配列をシフトさせて画素を投影する手法を説明するための説明図である。
図12】投影軸のビンの配列を固定して画素を投影する手法を説明するための説明図であって、(a)は複数のフレーム、(b)は1つのフレームで画素を投影する手法を示す。
図13】投影軸のビンの配列を戻してLSFを生成する手法を説明するための説明図であり。
図14】MTF算出手段で生成される測定MTFを、ディスプレイMTFとカメラMTFとともに示すグラフ図である。
図15】測定MTFを補正してディスプレイMTFを生成する手法を説明するためのグラフ図である。
図16】本発明の実施形態に係るディスプレイMTF測定装置の動作を示すフローチャートである。
図17】従来のディスプレイMTFを測定する手法を説明するための説明図であって、(a)はRGBWの画素構造のディスプレイで矩形波を表示する例、(b)は矩形波をカメラで撮影し、平滑化したカメラ画像の画素値の例を示すグラフ図である。
【発明を実施するための形態】
【0014】
以下、本発明の実施形態について図面を参照して説明する。
[ディスプレイMTF測定装置の構成]
最初に、図1を参照して、本発明の実施形態に係るディスプレイMTF測定装置1の構成について説明する。
ディスプレイMTF測定装置1は、ディスプレイ2の特性を測定するものである。ここで、ディスプレイ2の特性とは、ディスプレイ2が動画像を表示する際の空間周波数特性を表すMTF(以下、MTF動特性)、ディスプレイ2が静止画像を表示する際のMTF(以下、MTF静特性)、MTF静特性とMTF動特性との比(以下、特性比)等である。
【0015】
ディスプレイ2は、特性を測定する対象となる表示装置である。このディスプレイ2は、UHDTV、スマートフォン、タブレットデバイス、プロジェクタ等、画像を表示する装置であればなんでもよい。また、ディスプレイ2の画素構造は、RGBストライプに限定されず、ペンタイル、RGBW等、どのような画素構造であっても構わない。
ディスプレイMTF測定装置1は、ディスプレイ2、カメラ3および表示装置4を接続して動作する。
【0016】
カメラ(輝度測定用カメラ)3は、ディスプレイ2が表示する画面を撮影する輝度測定用の撮影装置である。
カメラ3は、相対画素倍率1以上でディスプレイ2の画面を、ディスプレイ2のフレームレート以上のフレームレートで撮影する。ここで、相対画素倍率とは、カメラ3で撮影されるディスプレイ2の入力信号フォーマットの1画素幅分に対応するカメラ出力信号の画素数である。
この相対画素倍率は、特に限定するものではないが、例えば、3倍、10倍、30倍等である。なお、この相対画素倍率は1倍、すなわち、ディスプレイ2の空間周波数とカメラ3の空間周波数とが同じであっても構わない。
また、カメラ3は、ディスプレイ2と正対させるとともに、カメラ3が撮影する画像が、ディスプレイ2が表示する画像に対して数度(例えば、3度)傾いた状態で配置する。
【0017】
表示装置4は、ディスプレイMTF測定装置1を操作するユーザインタフェースを提供するとともに、カメラ3が撮影した画像、測定結果等を表示するものである。例えば、表示装置4は、液晶ディスプレイ、有機ELディスプレイ等である。
以下、ディスプレイMTF測定装置1の構成について詳細に説明する。
【0018】
図1に示すように、ディスプレイMTF測定装置1は、測定用画像表示手段10と、画像入力手段11と、画像記憶手段12と、ROI設定手段13と、ROI画像抽出手段14と、ライン傾き検出手段15と、ライン投影手段16と、線広がり関数生成手段17と、MTF算出手段18と、MTF補正手段19と、特性比算出手段20と、を備える。
なお、ディスプレイMTF測定装置1は、どの特性(MTF動特性、MTF静特性、特性比)を測定するかについては、外部のスイッチ等によって切り替えて指示されるものとする。また、特性比は、MTF動特性およびMTF静特性を測定した後に指示することができる。
【0019】
測定用画像表示手段10は、ディスプレイ2の特性を測定するための画像(測定用画像)を表示するものである。
測定用画像表示手段10は、MTF動特性の測定を指示された場合、予め定めた線幅(例えば、幅1ピクセル)の直線のラインをフレームごとに移動させた動画像を測定用画像としてディスプレイ2に表示する。例えば、測定用画像表示手段10は、黒色の単一画素値の背景画像に白色の垂直のラインを描画した測定用画像をディスプレイ2に表示し、測定開始の指示により、左から右に1フレームに1画像水平移動させる。
なお、ラインの画素移動速度は、1画素/フレームに限定されない。例えば、フレームごとに2画素以上移動させてもよいし、複数のフレームごとに1画素移動させてもよい。これによって、種々の動特性を測定することができる。
また、測定用画像は、画素値の明るさを反転(白黒反転)したものであっても構わない。
例えば、図2に示すように、ディスプレイ2には、静止画像として、直線のラインLが表示され、順次、ラインLが右方向に移動する。
また、測定用画像表示手段10は、MTF静特性の測定を指示された場合、ラインを移動させずに、図2に示すように、ディスプレイ2に、静止画像として直線のラインLを表示する。
なお、ここでは、画面のほぼ中央にラインLを表示しているが、ディスプレイ2のどの部分を測定対象とするかによってラインの位置を変えてもよい。
【0020】
画像入力手段11は、カメラ3で撮影した画像(撮影画像)を入力するものである。
画像入力手段11は、入力した撮影画像を、画像記憶手段12に記憶する。
画像入力手段11は、カメラ3のフレームレートに応じて順次撮影画像を画像記憶手段12に記憶する。
【0021】
画像記憶手段12は、画像入力手段11で入力された撮影画像を時系列に記憶するものである。この画像記憶手段12は、半導体メモリ等の一般的な記憶媒体で構成することができる。
画像記憶手段12に記憶されている撮影画像は、図示を省略した画像出力手段を介して表示装置4に出力し、表示される。ここでは、画像出力手段は、例えば、時系列で撮影された先頭の撮影画像を表示装置4に表示する。
また、画像記憶手段12に記憶されている撮影画像は、ROI画像抽出手段14によって読み出される。
【0022】
ROI設定手段13は、カメラ3で撮影した撮影画像内で、直線のラインを含む関心領域(ROI:Region of Interest)を設定するものである。例えば、ROI設定手段13は、表示装置4が表示している撮影画像内において、測定者が操作するポインティングデバイス(不図示)で閉領域(円、楕円、矩形、任意形状等)を指定されることで、ROIを特定する情報(位置および形状、閉領域のマスクデータ等)をROI情報として設定する。
【0023】
例えば、ROI設定手段13は、測定者によって、図3に示すように、撮影画像Gにおいて、長方形によってROIを指定されることで、ROI情報を設定する。このROIによって、図4に示すように、直線のラインLを含んだROI画像Rが特定されることになる。このラインLは、ディスプレイ2とカメラ3との空間周波数の違いにより、複数画素のライン幅で撮影される。図4は、画素値を分かりやすく説明するため、ROIを小さくしている。
ROI設定手段13は、設定したROIを特定するROI情報をROI画像抽出手段14に出力する。
【0024】
ROI画像抽出手段14は、画像記憶手段12に記憶されているカメラ3のフレームレートで撮影された時系列の撮影画像から、ROI設定手段13で設定されたROI情報で示される同一位置のROIの画像を、順次、ROI画像として抽出するものである。なお、ディスプレイ2の動特性を測定する場合、ROI画像抽出手段14は、少なくともディスプレイ2の2フレーム分を抽出すればよい。
ROI画像抽出手段14は、抽出したROI画像をライン傾き検出手段15に出力する。
【0025】
ライン傾き検出手段15は、撮影画像上の直線のラインを含む予め設定されたROIの画像(ROI画像)においてラインの傾き角度を検出するものである。
このライン傾き検出手段15は、ROI画像における水平方向および垂直方向の軸を2軸とする座標系(xy座標系)において、予め定めた基準軸(ここでは、y軸とする)におけるラインの傾き角度を検出し、ラインの傾きを補正するようにROI画像を回転させる。
【0026】
このラインの傾き角度は、ハフ(Hough)変換により求めることができる。例えば、ライン傾き検出手段15は、ROI画像Rにおいて、Sobelエッジ検出によりエッジを検出し、図5に示すように、ROI画像Rをエッジeの境界で2値化して2値画像を生成する。そして、ライン傾き検出手段15aは、2値画像のROI画像Rをハフ変換し、エッジeの傾き角度θeを、ラインLの傾き角度として検出する。このとき、ライン傾き検出手段15aは、例えば、0.1度程度の角度間隔でラインLの傾き角度θeを求める。
これによって、ラインの傾き角度を検出することが可能であるが、さらに、ハフ変換によって求められる0.1度程度の傾き角度のずれを補正することが好ましい。
ここでは、さらに正確に傾き角度を求めるため、ライン傾き検出手段15は、ピークフィッティング関数を用いて、ラインLの傾き角度を求める。
【0027】
ライン傾き検出手段15は、図6に示すハフ変換により求めたラインの傾き角度θeでROI画像を回転して補正したROI画像R(回転ROI画像)の画素値の分布と、基準軸に垂直な軸上のピークフィッティング関数を基準軸の方向に適用した関数値の分布とが、最も近似するピーク位置の基準軸に対する傾きを、図7に示すラインLの基準軸(y軸)に対する傾き角度θe′として検出する。
【0028】
ここで、図8を参照して、ライン傾き検出手段15における傾き角度θe′の算出手法について説明する。
図8(a)は、ピークフィッティング関数に用いるピーク関数の例を示すグラフである。横軸はx座標、縦軸は関数値vを示す。ピークフィッティング関数は、ピーク位置(x=p)で凸形状となるピーク関数である。例えば、このピーク関数は、ガウス関数、ローレンツ関数等である。あるいは、凸部分に余弦曲線、2次曲線、三角波等を用い、他の部分を“0”等の定数とする関数を用いてもよい。
図8(b)は、図8(a)のピークフィッティング関数を、基準軸(y軸)方向に適用して算出される関数値v(x,y)の分布を示す。
【0029】
図6に示した回転ROI画像において基準軸(y軸)に対してラインの傾きが存在する場合、回転ROI画像の画素値の分布と、図8(b)の関数値の分布とを最も近似させると、図8(c)に示すように、ピークフィッティング関数のピーク位置pが、基準軸(y軸)に対して、θe′だけ傾くことになる。
そこで、ライン傾き検出手段15は、ピーク位置pの基準軸(y軸)に対する傾きpを求めることで、より正確なラインの傾き角度θe′を算出する。なお、図8(c)中、μは(p+py)を示す。
以下、ピークフィッティング関数として、以下の式(1)に示す関数とする。
【0030】
【数1】
【0031】
また、σは関数の広がりを決める定数である。
ライン傾き検出手段15は、図6に示した回転ROI画像の画素値と、前記式(1)の関数値v(x,y)との相関が最大になるパラメータp,pを探索する。
【0032】
前記式(1)において、pは、ピークフィッティング関数のピーク位置であって、ROI設定手段13において、ラインをほぼ中心としてROIを設定することから、回転ROI画像のx座標の平均値または“0”を初期値とすることが好ましい。また、pは、ピーク位置の基準軸に対する傾きであって、回転ROI画像においてほぼ“0”となっていることから、初期値を“0”とすることが好ましい。これによって、パラメータであるp,pの探索速度を速めることができる。また、これによって、誤った局所解への探索を防止し、最適化を安定させることができる。
【0033】
なお、ROI画像のラインは、ディスプレイ2とカメラ3との空間周波数の比に応じて、太さが異なる。
例えば、図9に示すように、前記式(1)の関数を、回転ROI画像のラインLにフィッティングさせる場合、フィッティングのばらつきを防止するため、関数の半値全幅(FWHM:Full Width at Half Maximum)が、ラインLの幅の画素数に相当することが好ましい。なお、FWHMは、必ずしもラインLの幅の画素数と一致する必要はなく、ラインLの幅の画素数に近似した値であることが好ましい。
そこで、前記式(1)のσは、例えば、ディスプレイ2の空間周波数に対するカメラ3の空間周波数の倍率(空間周波数比)、すなわち、ディスプレイ2の1画素の幅に相当するカメラ3の画素数である相対画素倍率をmとしたとき、例えば、m/3とする。なお、図9中、μは前記式(1)の(p+py)を示す。
これによって、ライン傾き検出手段15は、精度よくp,pを探索することができる。
【0034】
ライン傾き検出手段15は、探索したパラメータpに対して、以下の式(2)のarctanを演算することで、ラインの傾き角度θe′を求める。
【0035】
【数2】
【0036】
ライン傾き検出手段15は、検出したラインの傾き角度θe′で、図6に示したROI画像R(回転ROI画像)をさらに回転して補正したROI画像(補正回転ROI画像)を、ライン投影手段16に出力する。
【0037】
ライン投影手段16は、ROI画像の画素を、ラインの傾き角度に基づくラインに垂直なサブピクセル間隔のビンの軸(投影軸)に投影するものである。なお、投影軸は、ROI画像の画素単位よりも小さいサブピクセル単位とし、例えば、1画素の1/4や1/8とする。
ここでは、ライン投影手段16は、ビン配列シフト投影手段16aと、ビン配列固定投影手段16bと、を備える。
【0038】
ビン配列シフト投影手段16aは、MTF動特性の測定を指示された場合に動作し、表示画像上でラインを予め定めた画素移動速度で移動させて撮影した撮影画像における同一位置のROIの画像の画素を、ビンの配列を順次一方向に予め定めたシフト量でシフトした投影軸に投影するものである。
ビン配列シフト投影手段16aは、図10に示すように、カメラ3のフレームレートで抽出され、ライン傾き検出手段15でラインが投影軸に垂直となったROI画像Rごとに、ROI画像Rの各画素と投影軸のビンとを対応付ける。
【0039】
ここで、図11を参照して、ビン配列シフト投影手段16aが投影軸のビンの配列をシフトして投影する手法について説明する。なお、図11(後記する図12においても同様)に示す投影軸は、図10に示した投影軸と同様、カメラ3の画素を基準とするROI画像の1画素幅を細分化したサブピクセル単位の座標軸である。
ビン配列シフト投影手段16aは、この投影軸のビンの配列を、ラインLのディスプレイ2の画素を基準とした画素移動速度に比例してシフトさせる。
図11にシフト量の一例について示す。図11では、ディスプレイ2のフレームレートを1/T、ディスプレイ2のフレームレートに対するカメラ3のフレームレートの比をr(ここでは、r=4)、相対画素倍率をm(ここでは、m=3)、画素のオーバーサンプリング比(カメラ3の画素幅とビンの幅の比)をnbin(ここでは、nbin=4)、ラインLの画素移動速度(画素/フレーム)をp(ここでは、p=1)とする。また、ここでは、時刻t=0において、ROI画像上にディスプレイ2で1画素分のラインLが存在し、時刻t=1Tにおいて、ROI画像上にラインLn+1が存在しているものとする。
投影軸のビンの配列のシフト量は、カメラ3の1フレームにつき、p×m×nbin/r(ビン)とする。
これによって、ビン配列シフト投影手段16aは、ディスプレイ2で移動するラインを撮影したROI画像の画素を、カメラ3のフレームレートを基準としてシフトさせた投影軸に投影することができる。
【0040】
図1に戻って、ディスプレイMTF測定装置1の構成について説明を続ける。
ビン配列シフト投影手段16aは、シフトさせた投影軸のビンに投影したビンごとの画素値を線広がり関数生成手段17に出力する。
【0041】
ビン配列固定投影手段16bは、MTF静特性の測定を指示された場合に動作し、表示画像上でラインを静止させて撮影した撮影画像におけるROIの画像の画素を、ビンの配列を固定して投影軸に投影するものである。
ビン配列固定投影手段16bは、図10に示すように、カメラ3のフレームレートで抽出され、ライン傾き検出手段15でラインが投影軸に垂直となったROI画像Rごとに、ROI画像Rの各画素と投影軸のビンとを対応付ける。
このとき、ビン配列固定投影手段16bは、図12(a)に示すように、投影軸のビンの配列をシフトさせずに、ROI画像の画素を投影軸のビンに投影する。
ビン配列固定投影手段16bは、投影軸をシフトさせない点以外は、ビン配列シフト投影手段16aと同じ機能を有する。
【0042】
なお、MTF静特性を測定する場合、ビン配列固定投影手段16bは、カメラ3が撮影した1フレームの画像から抽出した1枚のROI画像を用いて、図12(b)に示すように、1つの投影軸にROI画像の画素を投影することとしてもよい。
ビン配列固定投影手段16bは、投影軸のビンに投影したビンごとの画素値を線広がり関数生成手段17に出力する。
【0043】
線広がり関数生成手段17は、ライン投影手段16で投影軸に投影された画素の画素値を、投影軸の同一のビンに投影された画素の画素値をビンごとに平均化するものである。
線広がり関数生成手段17は、MTF動特性の測定を指示された場合、図13に示すように、図11で説明した投影軸のビンの配列のシフトを、同一シフト量だけ戻して、同一のビンごとに、測定対象のROI画像分、投影された画素の画素値を平均化する。
【0044】
なお、線広がり関数生成手段17は、MTF静特性の測定を指示された場合、投影軸の同じビンにROI画像の画素が投影されているため、投影軸のビンの配列を逆シフトすることなく、そのまま、ビンごとに、投影された画素の画素値を平均化する。このMTF静特性の測定において、測定対象のROI画像分、同じビンに投影された画素の画素値を平均化することで、S/Nを改善することができる。
これによって、線広がり関数生成手段17は、投影軸のビン(サブピクセル位置)と画素値とを対応付けた、ラインの特性を示す線広がり関数(LSF:Line Spread Function)を生成する。
線広がり関数生成手段17は、生成した線広がり関数(LSF)をMTF算出手段18に出力する。
【0045】
MTF算出手段18は、線広がり関数生成手段17で生成された線広がり関数から、MTFを算出するものである。
具体的には、MTF算出手段18は、線広がり関数をフーリエ変換して絶対値を求め、定数成分(DC成分)で正規化することで、空間周波数ごとのMTFの値を求める。
MTF算出手段18が算出するMTFは、MTF動特性の測定を指示された場合、測定MTF動特性、MTF静特性の測定を指示された場合、測定MTF静特性となる。
なお、これらの測定MTF(測定MTF動特性、測定MTF静特性)は、ディスプレイ2のMTF(以下、ディスプレイMTF)に対して、カメラ3のMTF(以下、カメラMTF)が重畳されている。
【0046】
具体的には、図14図15に示すように、横軸を空間周波数、縦軸をMTFとしたとき、本来測定したいディスプレイMTF(MTF動特性または測定MTF静特性)(MTFDISP)に対して、カメラMTF(MTFCAM)が重畳された測定MTF(測定MTF動特性または測定MTF静特性)(MTFDISP+CAM)が測定されることになる。なお、図14図15で、fSDISPおよびfNDISPは、それぞれカメラ3の画素を基準としたディスプレイ2のサンプリング周波数およびナイキスト周波数を示す。また、fSCAMおよびfNCAMは、それぞれカメラ3の画素を基準としたカメラ3のサンプリング周波数およびナイキスト周波数を示す。また、図14は、横軸をカメラ3の空間周波数fCAMとし、図15は、横軸をディスプレイ2の空間周波数fDISPとしている。
MTF算出手段18は、算出した測定MTF(測定MTF動特性、測定MTF静特性)をMTF補正手段19に出力する。
【0047】
MTF補正手段19は、MTF算出手段18で算出された測定MTF(測定MTF動特性、測定MTF静特性)を、ディスプレイ2およびカメラ3の空間周波数比と、カメラMTFとにより、ディスプレイ2のMTFに補正するものである。
なお、カメラMTFは、予め測定したMTFである。このカメラMTFは、従来の一般的な手法で測定したもので、その測定手法は、例えば、特開2018-136222、特開2018-013416、特開2015-094701等に開示されている。
また、ディスプレイ2およびカメラ3の空間周波数比(例えば、サンプリング周波数の比)は、予め既知の情報として外部から設定されるものとする。この空間周波数比は、ディスプレイ2およびカメラ3のそれぞれの画素サイズと、カメラ3の倍率とから求めることができる。なお、カメラ3の倍率は、カメラ3のレンズの焦点距離と被写体距離とから求めることができる。
【0048】
ここで、図14および図15を参照して、MTF補正手段19における測定MTFの補正について説明する。
空間周波数fにおける測定MTFの値をMTFDISP+CAM(f)、カメラMTFの値をMTFCAM(f)、カメラ3の空間周波数に対するディスプレイ2の空間周波数の倍率である空間周波数比をm(m=fSDISP/fSCAM)とする。ここで、fSDISPはディスプレイ2のサンプリング周波数、fSCAMはカメラ3のサンプリング周波数を示す。
【0049】
なお、線広がり関数生成手段17において、図13で説明したように、ビンごとに平均化した場合、投影された画素の位置は、各ビンの幅に一様に散らばって、ビンの幅内でビンの位相(ビニング位相)が異なる画素の値を平均化することになり、ローパスフィルタがかかることになる。
そこで、MTFDISP+CAM(f)は、ローパスフィルタがかかった実際の測定MTFであるMTFDISP+CAM+binning(f)を、以下の式(3)により補正したものとする。
【0050】
【数3】
【0051】
そして、MTF補正手段19は、空間周波数fDISPにおけるディスプレイMTFの値であるMTFDISP(fDISP)を、以下の式(4)により算出する。
【0052】
【数4】
【0053】
なお、カメラMTFとディスプレイMTFとでは、サンプリングポイントが揃っていない。そこで、MTF補正手段19は、サンプリングポイントを揃えたそれぞれのMTFを、測定MTFであるMTFDISP+CAM(fDISP/m)から補間により算出し、カメラMTFであるMTFCAM(fDISP/m)から補間により算出して、前記式(4)において用いる。
また、MTF補正手段19は、異なるフレームレートのカメラ3で測定しても同じ測定結果とするため、前記式(4)の算出結果(MTFDISP(fDISP))に、sinc(fDISP/r)を乗算することで、さらに補正する。rは、ディスプレイ2のフレームレートに対するカメラ3のフレームレートの比である。このsinc関数による補正は、目がラインを追ったときの動きボケ(移動平均フィルタ)に対する補正に相当する。
【0054】
これによって、MTF補正手段19は、図15に示すように、測定MTF(MTFDISP+CAM)の空間周波数を、ディスプレイ2の空間周波数に変換するとともに、カメラ3のMTF分減衰した値を持ち上げて、ディスプレイMTF(MTF動特性、MTF静特性)を求めることができる。
MTF補正手段19は、補正後のディスプレイMTF(MTF動特性、MTF静特性)を、動特性の測定結果として外部(表示装置4)に出力する。
また、MTF補正手段19は、MTF動特性およびMTF静特性を、特性比算出手段20に出力する。
【0055】
特性比算出手段20は、MTF静特性とMTF動特性との比(特性比)の測定を指示された場合に動作し、MTF補正手段19で予め補正されたMTF動特性と、MTF静特性との比を算出するものである。
例えば、特性比算出手段20は、MTF動特性とMTF静特性とで、予め定めた空間周波数におけるMTFの値の比を算出する。
特性比算出手段20は、算出した特性比を、動特性の測定結果として外部(表示装置4)に出力する。
なお、特性比算出手段20が算出する特性比は、MTF算出手段18が算出する補正前の測定MTF静特性と測定MTF動特性との比で求めてもよい。
【0056】
以上説明したように、ディスプレイMTF測定装置1は、ディスプレイ2に表示した垂直のラインによって、ディスプレイ2の特性(動特性、静特性)を、MTFで測定することができる。
また、ディスプレイMTF測定装置1は、メカニカルな回転や移動機構を設けることなく、ディスプレイ2に表示するラインを撮影するだけで、ディスプレイ2の動特性を測定することができる。
また、ディスプレイMTF測定装置1は、ディスプレイ2に表示したラインの傾きから線広がり関数を求めるため、画素構造に関係なくディスプレイMTFを測定することができる。
なお、ディスプレイMTF測定装置1は、コンピュータを前記した各手段として機能させるためのプログラム(ディスプレイMTF測定プログラム)で動作させることができる。
【0057】
[ディスプレイMTF測定装置の動作]
次に、図16を参照(構成については、図1参照)して、ディスプレイMTF測定装置1の動作について説明する。なお、ここでは、ディスプレイ2のMTF動特性を測定する動作について説明する。
【0058】
ステップS1において、測定用画像表示手段10は、予め定めた線幅(例えば、幅1ピクセル)の直線のラインをフレームごとに移動させた動画像を測定用画像としてディスプレイ2に表示する。
ステップS2において、画像入力手段11は、カメラ3で撮影した画像(撮影画像)を入力し、画像記憶手段12に記憶する。なお、このとき、カメラ3は、ディスプレイ2が表示する垂直のラインに対して、数度傾いた状態で撮影を行う。
【0059】
ステップS3において、ROI設定手段13は、ステップS2で入力した撮影画像内で、直線のラインを含む関心領域(ROI)を設定する(図3参照)。
ステップS4において、ROI画像抽出手段14は、ステップS2で入力し、カメラ3のフレームレートで画像記憶手段12に記憶された撮影画像から、ステップS3で設定されたROIの画像(ROI画像)を順次抽出する。
【0060】
ステップS5において、ライン傾き検出手段15は、ステップS4で抽出されたROI画像から、ラインの傾き角度を検出し、ラインの傾きを補正するようにROI画像を回転させる。例えば、ライン傾き検出手段15は、ROI画像において、Sobelエッジ検出により検出したエッジの境界で2値化した2値画像を生成し、2値画像をハフ変換することで、0.1度程度の角度間隔でラインの傾き角度を検出し、ROI画像を回転する。そして、ライン傾き検出手段15は、回転後のROI画像(回転ROI画像)画素値の分布と、基準軸に垂直な軸上のピークフィッティング関数を基準軸の方向に適用した関数値の分布とが、最も近似するピーク位置の基準軸に対する傾きを求め、その傾きで回転ROI画像を回転させることで、ROI画像のラインが垂直になるように補正する。
【0061】
ステップS6において、ライン投影手段16のビン配列シフト投影手段16aは、カメラ3のフレームレートで抽出され、ステップS5でラインが垂直となったROI画像の各画素を、ROI画像中のラインに垂直な軸(投影軸)に時系列でビンの配列をシフトして投影する(図10図11参照)。
【0062】
ステップS7において、線広がり関数生成手段17は、ステップS6でシフトした投影軸のビンの配列を同一シフト量だけ逆シフトして、測定対象のROI画像分、同一のビンごとに平均化することで、線広がり関数を生成する(図13参照)。
【0063】
ステップS8において、MTF算出手段18は、ステップS7で生成された線広がり関数から、MTFを算出する。ここでは、MTF算出手段18は、線広がり関数をフーリエ変換して空間周波数ごとに絶対値をとり、定数成分(DC成分)で正規化することで、MTF(測定MTF動特性)を算出する。
【0064】
ステップS9において、MTF補正手段19は、ステップS8で算出されたMTF(測定MTF動特性)を、ディスプレイ2およびカメラ3の空間周波数比およびフレームレート比と、カメラ3のMTFとにより、空間周波数の違いとカメラ3を通したMTFの減衰分を補正することで、ディスプレイ2のMTF動特性を算出する。
【0065】
以上の動作によって、ディスプレイMTF測定装置1は、ディスプレイ2に表示した垂直のラインによって、ディスプレイ2の動特性をMTFで測定することができる。
なお、ディスプレイMTF測定装置1におけるMTF静特性の測定動作は、ステップS1において、ラインを移動させない点、ステップS6において、投影軸のビンの配列をシフトさせない点が異なるだけであるため、図示による説明を省略する。
また、ディスプレイMTF測定装置1におけるMTF動特性とMTF静特性との比の測定については、MTF動特性とMTF静特性とを測定した後、特性比算出手段20が、MTF動特性とMTF静特性との比を算出するだけであるため、図示を省略する。
【0066】
以上、ディスプレイMTF測定装置1の構成および動作について説明したが、本発明は、この実施形態に限定されるものではない。
例えば、ここでは、ディスプレイ2に、垂直なラインを描画したが、水平、斜め45度、あるいはそれ以外の方向のラインを描画しても構わない。
【0067】
また、ここでは、ラインをディスプレイ2の1画素幅で表示した。しかし、この幅は、2画素以上としてもよい。なお、この場合、前記式(1)のピークフィッティング関数を用いて傾き角度を検出する際に、図9で説明したように、前記式(1)の関数の半値全幅は、ラインの幅の画素数に近似した値であることが好ましく、例えば、σにラインの幅の画素数を乗算する必要がある。
【0068】
また、ここでは、ディスプレイMTF測定装置1は、ディスプレイ2を接続し、測定用画像表示手段10によって、ディスプレイ2の画面上に直線のラインを表示することとした。しかし、ディスプレイ2は、ディスプレイMTF測定装置1と独立して、直線のラインを描画した画像を表示することが可能な場合、ディスプレイMTF測定装置1は、ディスプレイ2を接続する必要はない。また、その場合、ディスプレイMTF測定装置1は、測定用画像表示手段10を構成から省略してもよい。
【0069】
また、ここでは、ライン傾き検出手段15は、ハフ変換で検出したラインの傾き角度でROI画像を回転させた回転ROI画像において、ラインの傾き角度の基準軸に対するずれ量を前記式(1),式(2)により検出した。
しかし、ライン傾き検出手段15は、前記式(1)のパラメータpの初期値を、ハフ変換で検出された0でないラインの傾き角度とし、元のROI画像の基準軸に対するラインの傾き角度を補正した補正傾き角度として検出することとしてもよい。
これは、ライン傾き検出手段15が、ROI画像抽出手段14で抽出された元のROI画像の画素値の分布と、基準軸に垂直な軸上のピークフィッティング関数を基準軸の方向に適用した関数値の分布とが、最も近似するピーク位置の基準軸に対する傾きを、補正傾き角度として検出することに相当する。
【0070】
その場合、ライン傾き検出手段15は、検出した補正傾き角度で、ラインが投影軸に垂直となるように、ROI画像抽出手段14で抽出された元のROI画像を回転させればよい。これによって、1度の回転で、補正回転ROI画像を生成することができる。
【0071】
また、ここでは、ディスプレイMTF測定装置1は、ディスプレイの特性として、MTF動特性、MTF静特性、特性比を測定するものとして構成したが、例えば、MTF動特性のみを測定する構成としてもよい。
その場合、ディスプレイMTF測定装置1は、ビン配列固定投影手段16bと特性比算出手段20を省略して構成すればよい。
【符号の説明】
【0072】
1 ディスプレイMTF測定装置
10 測定用画像表示装置
11 画像入力手段
12 画像記憶手段
13 ROI設定手段
14 ROI画像抽出手段
15 ライン傾き検出手段
16 ライン投影手段
16a ビン配列シフト投影手段
16b ビン配列固定投影手段
17 線広がり関数生成手段
18 MTF算出手段
19 MTF補正手段
20 特性比算出手段
2 ディスプレイ
3 カメラ
4 表示装置
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17