特許 7479530 ディスプレイ異常検出システム及びディスプレイ異常検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-04-25

(45)【発行日】2024-05-08

(54)【発明の名称】ディスプレイ異常検出システム及びディスプレイ異常検出方法

(51)【国際特許分類】

   H04N 17/04 20060101AFI20240426BHJP

   G06T 7/00 20170101ALI20240426BHJP

   H04N 7/18 20060101ALI20240426BHJP

【ＦＩ】

H04N17/04 Z

G06T7/00 610

H04N7/18 B

【請求項の数】 3

(21)【出願番号】P 2023034484

(22)【出願日】2023-03-07

【審査請求日】2023-03-07

(73)【特許権者】

【識別番号】505205731

【氏名又は名称】レノボ・シンガポール・プライベート・リミテッド

(74)【代理人】

【識別番号】100112737

【弁理士】

【氏名又は名称】藤田 考晴

(74)【代理人】

【識別番号】100136168

【弁理士】

【氏名又は名称】川上 美紀

(74)【代理人】

【識別番号】100140914

【弁理士】

【氏名又は名称】三苫 貴織

(74)【代理人】

【識別番号】100172524

【弁理士】

【氏名又は名称】長田 大輔

(72)【発明者】

【氏名】塚田 稔

(72)【発明者】

【氏名】小林 康浩

【審査官】長谷川 素直

(56)【参考文献】

【文献】特開平１０－１０８１６６（ＪＰ，Ａ）

【文献】特開平４－３４５３７０（ＪＰ，Ａ）

【文献】特開２０１１－１７１９４１（ＪＰ，Ａ）

【文献】米国特許第６６７１３８９（ＵＳ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １７／００－１７／０６

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ２１／００－２１／８５８

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

被検査対象である複数のディスプレイの表示画面を撮像する撮像部と、
前記撮像部によって取得された所定期間毎の撮影データを圧縮して複数の圧縮データを生成する圧縮処理部と、
前記圧縮データのファイルサイズに基づいて前記複数のディスプレイのいずれかに異常が発生していることを検出する異常検出部と
を備え、
前記撮像部は、各前記ディスプレイに、輝度情報の時間的変化、及び、複数の前記ディスプレイ間における輝度情報の差が所定範囲内であるテスト用映像データが入力されている状態で撮像を行い、
前記テスト用映像データには、複数のディスプレイにおいて共通の動画が含まれているディスプレイ異常検出システム。

【請求項2】

各前記ディスプレイは、情報処理装置に搭載されたディスプレイであり、
前記テスト用映像データは、各前記ディスプレイにそれぞれ対応する情報処理装置本体から入力される請求項１に記載のディスプレイ異常検出システム。

【請求項3】

被検査対象である複数のディスプレイの表示画面をカメラで撮像する撮像工程と、
前記撮像工程において取得した所定期間毎の撮像データを圧縮して複数の圧縮データを生成する圧縮処理工程と、
前記圧縮データのファイルサイズに基づいて前記複数のディスプレイのいずれかに異常が発生していることを検出する異常検出工程と
を有し、
前記撮像工程は、各前記ディスプレイに、輝度情報の時間的変化、及び、複数の前記ディスプレイ間における輝度情報の差が所定範囲内であるテスト用映像データが入力されている状態で行われ、
前記テスト用映像データには、複数のディスプレイにおいて共通の動画が含まれているディスプレイ異常検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ディスプレイ異常検出システム及びディスプレイ異常検出方法に関するものである。

【背景技術】

【0002】

従来、ディスプレイの異常（例えば、フリッカ、ブラックアウト等）を検知する方法が提案されている。例えば、特許文献１には、ディスプレイの表示画面に明るさを検出する光センサを貼付し、光センサの出力に基づいてディスプレイの異常を検知する技術が提案されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００５－３５２６２６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

光センサを表示画面に貼付する従来の手法では、センサを表示画面に貼付する手間が生じる。また、表示画面の一部に局所的に異常が発生する場合も考えられ、このような異常を検知するためには、表示画面全体に光センサを貼付する必要があり、相当な時間と労力を要していた。

【0005】

本開示は、このような事情に鑑みてなされたものであって、ディスプレイの異常を簡便な手法によって検出可能なディスプレイ異常検出システム及びディスプレイ異常検出方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示の一態様に係るディスプレイ異常検出システムは、被検査対象である複数のディスプレイの表示画面を撮像する撮像部と、前記撮像部によって取得された所定期間毎の撮影データを圧縮して複数の圧縮データを生成する圧縮処理部と、前記圧縮データのファイルサイズに基づいて異常な圧縮データを特定することにより異常検出を行う異常検出部とを備え、前記撮像部は、各前記ディスプレイに、輝度情報の時間的変化、及び、複数の前記ディスプレイ間における輝度情報の差が所定範囲内であるテスト用映像データが入力されている状態で撮像を行い、前記テスト用映像データには、複数のディスプレイにおいて共通の動画が含まれている。

【0007】

本開示の一態様に係るディスプレイ異常検出方法は、被検査対象である複数のディスプレイの表示画面をカメラで撮像する撮像工程と、前記撮像工程において取得した所定期間毎の撮像データを圧縮して複数の圧縮データを生成する圧縮処理工程と、前記圧縮データのファイルサイズに基づいて異常な圧縮データを特定することにより異常検出を行う異常検出工程とを有し、前記撮像工程は、各前記ディスプレイに、輝度情報の時間的変化、及び、複数の前記ディスプレイ間における輝度情報の差が所定範囲内であるテスト用映像データが入力されている状態で行われ、前記テスト用映像データには、複数のディスプレイにおいて共通の動画が含まれている。

【発明の効果】

【0008】

本開示によれば、ディスプレイの異常を簡便な手法によって検出できるとの効果を奏する。

【図面の簡単な説明】

【0009】

【図1】本開示の一実施形態に係るディスプレイ異常検出システムの概略構成図である。

【図2】本開示の一実施形態に係る異常検出装置のハードウェア構成の一例を示した概略構成図である。

【図3】本開示の一実施形態に係る異常検出装置が有する機能の一例を示した機能構成図である。

【図4】圧縮データのファイルサイズの一例を時系列に示した図である。

【図5】本開示の一実施形態に係る異常検出方法の処理手順の一例を示したフローチャートである。

【図6】本開示の一実施形態に係るカメラによって撮像された１フレームの画像の一例を示した図である。

【発明を実施するための形態】

【0010】

以下に、本開示に係るディスプレイ異常検出システム及びディスプレイ異常検出方法の一実施形態について図面を参照して説明する。
本実施形態においては、図１に示すように、被検査装置として、複数のノートＰＣのそれぞれに搭載されるディスプレイ１０Ａ～１０Ｃを例示して説明するが、被検査装置はこれに限られない。例えば、タブレット端末、スマートフォン等の情報処理装置に搭載されるディスプレイを被検査装置とすることもできる。また、情報処理装置本体を含まないディスプレイ単体を被検査装置とすることもでき、この場合は、ディスプレイに表示させる映像データを入力させるための情報処理装置を接続すればよい。

【0011】

なお、以下の説明において、ディスプレイ１０Ａ、１０Ｂ、１０Ｃをそれぞれ区別する必要がある場合には、ディスプレイ１０Ａ、１０Ｂ、１０Ｃと称し、区別する必要がない場合には、単にディスプレイ１０と称する。

【0012】

図１は、本開示の一実施形態に係るディスプレイ異常検出システム１の概略構成図である。図１に示すように、ディスプレイ異常検出システム１は、カメラ（撮像部）２と、異常検出装置３とを備えている。

【0013】

カメラ２は、被検査対象である複数のディスプレイ１０の表示画面を撮像し、取得した撮影データを異常検出装置３に出力する。カメラ２は、各ディスプレイ１０Ａ、１０Ｂ、１０Ｃに、輝度情報の時間的変化、及び、複数のディスプレイ１０Ａ～１０Ｃ間における輝度情報の差が所定範囲内であるテスト用映像データが入力されている状態で撮影を行う。このようなテスト用映像データを用いることで、カメラ２によって撮像された正常時の撮像データサイズの時間的変化を小さくすることができる。これにより、異常時の撮像データが検出しやすくなり、異常検出の精度を向上させることが可能となる。

【0014】

テスト用映像データには、動画が含まれていてもよい。これにより、図１に示すように、ディスプレイ１０Ａ～１０Ｃに、静止画Ｄ１と動画Ｄ２とを同時に表示させることができる。また、ディスプレイ１０Ａ～１０Ｃで共通の動画データを使用することにより、ディスプレイ１０Ａ～１０Ｃ間の輝度情報の差を所定範囲内に容易に収めることが可能となる。また、動画データは、輝度情報の時間的変化が所定範囲内である動画を選ぶとよい。

【0015】

テスト用映像データは、各ディスプレイ１０Ａ～１０Ｃにそれぞれ対応するＰＣ本体から入力される。このように、各ＰＣ本体からディスプレイ１０Ａ～１０Ｃにテスト用映像データを入力することにより、ディスプレイ自体の異常だけでなく、ＰＣ本体とディスプレイとの接触不良やＰＣ本体の異常についても検出することが可能となる。なお、各ＰＣ本体からテスト用映像データをディスプレイ１０Ａ～１０Ｃに入力させる場合、テスト用映像データの表示を開始させる操作は検査員が行うため、表示開始のタイミングがずれてしまう可能性がある。この場合、動画としては違う場面が各ディスプレイ１０Ａ～１０Ｃに表示されることとなるが、このような場合でも、輝度情報の時間的変化が所定範囲内の動画を選択しておくことで、表示開始タイミングのずれによる影響を低減することができる。なお、本実施形態では、各ディスプレイ１０Ａ～１０Ｃに共通の動画を表示させることとしたが、これに限られない。例えば、輝度情報がほぼ同じ動画であれば、異なる動画を表示させることとしてもよい。

【0016】

異常検出装置３は、カメラ２から入力された撮像データに基づいてディスプレイ１０Ａ～１０Ｃの異常を検出する。
図２は、本実施形態に係る異常検出装置３のハードウェア構成の一例を示した図である。図２に示すように、異常検出装置３は、いわゆるコンピュータであり、例えば、ＣＰＵ１１、ＣＰＵ１１が実行するプログラム及びこのプログラムにより参照されるデータ等を記憶するための二次記憶装置１２、各プログラム実行時のワーク領域として機能する主記憶装置（メインメモリ）１３を備えている。また、異常検出装置３は、ネットワークに接続するための通信インターフェース１４、ユーザインターフェースとして機能する入力デバイス１５、及びデータを表示する表示デバイス１６等を備えていてもよい。これら各部は、例えば、バスを介して接続されている。二次記憶装置１２は、例えば、磁気ディスク、光磁気ディスク、半導体メモリ等が一例として挙げられる。

【0017】

後述する各種機能を実現するための一連の処理は、一例として、プログラムの形式で二次記憶装置１２に記憶されており、このプログラムをＣＰＵ１１が主記憶装置１３に読み出して、情報の加工・演算処理を実行することにより、各種機能が実現される。なお、プログラムは、二次記憶装置１２に予めインストールされている形態や、他のコンピュータ読み取り可能な記憶媒体に記憶された状態で提供される形態、有線又は無線による通信手段を介して配信される形態等が適用されてもよい。コンピュータ読み取り可能な記憶媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等である。

【0018】

図３は、本実施形態に係る異常検出装置３が有する機能の一例を示した機能構成図である。図３に示すように、異常検出装置３は、例えば、撮像データ記憶部３１、圧縮処理部３２、圧縮データ記憶部３３、及び異常検出部３４を備えている。

【0019】

撮像データ記憶部３１は、カメラ２から入力された撮影データが格納される。
圧縮処理部３２は、カメラ２によって取得された所定期間毎の撮影データを圧縮して複数の圧縮データを生成する。具体的には、撮像データ記憶部３１に格納されている所定期間毎の撮像データを読み出し、読み出した撮影データを圧縮して圧縮データを生成する。圧縮手法は、公知の技術を適宜採用することが可能である。例えば、ＪＥＰＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等のＤＣＴ符号化などの圧縮処理を採用することができる。圧縮処理部３２によって生成された圧縮データは、圧縮データ記憶部３３に格納される。

【0020】

異常検出部３４は、圧縮データのファイルサイズに基づいて複数のディスプレイのいずれかに異常が発生していることを検出する。換言すると、圧縮データのファイルサイズに基づいて異常な圧縮データを特定することにより異常検出を行う。例えば、異常検出部３４は、圧縮データ記憶部３３に格納されている過去所定期間における複数の圧縮データのファイルサイズを統計的に処理することにより、下限値と上限値とを設定し、この上下限範囲外となるデータを特定する。すなわち、ディスプレイ１０に異常が生じていた場合、カメラ２によって取得された撮像データの輝度は正常時の輝度と大きく異なる値を示すこととなる。例えば、ディスプレイ１０Ａ～１０Ｃの少なくもいずれかにフリッカが発生した場合には、撮影データの輝度が高くなる。またディスプレイ１０Ａ～１０Ｃの少なくともいずれかにブラックアウトが発生した場合には、撮影データの輝度が低くなる。このため、時系列的に撮影された複数の撮像データの圧縮データのファイルサイズを比較することで、例えばフリッカやブラックアウト等の異常時の撮像データを特定することが可能となる。また、圧縮データを用いることにより、処理効率を向上させることができる。
上下限値の設定手法としては、例えば、移動平均を用いて中央値を決定し、決定した中央値に所定のマージンを加えた範囲を上下限値とする方法が挙げられる。また、過去所定期間におけるデータの分布から上下限値を設定することとしてもよい。

【0021】

図４は、圧縮データのファイルサイズの一例を時系列に示した図である。例えば、カメラ２によって取得された撮像データには、外光等の外乱が含まれている。この外乱や表示させる動画データの輝度変化の影響により、圧縮データのファイルサイズは、少なくともある範囲で変動することとなる。異常検出部３４は、上述した手法によって下限値Ｋ１及び上限値Ｋ２を設定し、この上下限範囲から外れた圧縮データを特定する。図４では、特定された圧縮データが点線で囲われている。
特定された圧縮データの元データ（撮像データ）には、異常が発生した表示画面が含まれている可能性がある。これらの元データを確認することにより、どのような現象がディスプレイ１０Ａ～１０Ｃに生じたのか、また、異常が発生したディスプレイ１０を特定することが可能となる。
元データの確認については、異常検出部３４が行うこととしてもよいし、異常が発生した圧縮データの元となる撮像データを表示デバイス１６に表示させることにより、検査員が撮像データを確認することで、異常の確認を行うこととしてもよい。

【0022】

また、圧縮データのファイルサイズに応じて異常の種類をある程度特定することが可能である。例えば、図４において、圧縮データのファイルサイズが下限値Ｋ１よりも小さい場合には、ブラックアウトが発生しているおそれがあり、圧縮データのファイルサイズが上限値Ｋ２よりも大きい場合には、フリッカが発生しているおそれがある。したがって、例えば、ファイルサイズが上下限値を超える圧縮データを特定した場合に、その圧縮データのファイルサイズに基づいて異常の種類を自動的に判定し、判定した異常の種類を当該特定した圧縮データの情報とともに通知することとしてもよい。

【0023】

次に、本実施形態に係るディスプレイ異常検出方法について図５を参照して説明する。図５は、本実施形態に係るディスプレイ異常検出方法の処理手順の一例を示したフローチャートである。
まず、図１に示したように、被検査装置である複数のディスプレイ１０Ａ～１０Ｃがカメラ２の撮影領域に設置され、複数のディスプレイ１０Ａ～１０Ｃの各々にテスト用映像データが入力される（ＳＡ１）。この状態でカメラ２によりディスプレイ１０Ａ～１０Ｃの表示画面を撮影する（ＳＡ２）。これにより、図６に示すように、複数のディスプレイ１０Ａ～１０Ｃが収まった１フレーム画像Ｐが所定のフレームレートで連続的に取得される。

【0024】

カメラ２によって取得された撮像データ（動画データ）は、異常検出装置３の撮像データ記憶部３１に格納される（ＳＡ３）。続いて、所定期間毎の撮影データが圧縮されることにより圧縮データが生成され（ＳＡ４）、圧縮データ記憶部３３に格納される（ＳＡ５）。次に、圧縮データ記憶部３３に格納された圧縮データのファイルサイズに基づいて異常な圧縮データが特定され、異常検出が行われる（ＳＡ６）。

【0025】

以上、説明してきたように、本実施形態によれば、各ディスプレイ１０Ａ～１０Ｃに、輝度情報の時間的変化、及び、複数のディスプレイ１０Ａ～１０Ｃ間における輝度情報の差が所定範囲内であるテスト用映像データが入力されている状態で、カメラ２によって撮像を行い、この撮像データを用いてディスプレイ１０の異常を検出する。

【0026】

このようなテスト用映像データを用いることで、カメラ２によって撮像された正常時の撮像データサイズの時間的変化を小さくすることができる。これにより、異常時の撮像データが検出しやすくなり、異常検出の精度を向上させることが可能となる。

【0027】

また、本実施形態によれば、複数のディスプレイ１０Ａ～１０Ｃをカメラ２によってまとめて撮像するので、１台ずつ撮像して異常検出を行う場合に比べて、異常検出の効率を向上させることが可能となる。

【0028】

また、本実施形態によれば、テスト用映像データに静止画と動画を含めるので、図１に示すように、ディスプレイ１０Ａ～１０Ｃに静止画Ｄ１と動画Ｄ２とを同時に表示させることができる。テスト用映像データに動画を含めることにより、表示画面が常にリフレッシュされるので、ディスプレイ異常検出の精度を向上させることが可能となる。また、ディスプレイ１０Ａ～１０Ｃで共通の動画データを使用することにより、ディスプレイ１０Ａ～１０Ｃ間の輝度情報の差を所定範囲内に容易に収めることが可能となる。

【0029】

また、本実施形態によれば、テスト用映像データを、各ディスプレイ１０Ａ～１０Ｃにそれぞれ対応するＰＣ本体から入力させるので、ディスプレイ１０自体の異常だけでなく、ＰＣ本体とディスプレイとの接触不良やＰＣ本体の異常についても検出することが可能となる。

【0030】

以上、本開示について実施形態を用いて説明したが、本開示の技術的範囲は上記実施形態に記載の範囲には限定されない。本開示の要旨を逸脱しない範囲で上記実施形態に多様な変更又は改良を加えることができ、該変更又は改良を加えた形態も本開示の技術的範囲に含まれる。

【0031】

また、上記実施形態で説明したディスプレイ異常検出方法の処理手順も一例であり、本開示の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。

【0032】

例えば、上述した圧縮処理部３２による圧縮処理及び異常検出部３４による異常検出処理については、カメラ２による撮像工程と並行して行うこととしてもよいし、換言すると、リアルタイムで行うこととしてもよいし、撮影が終了した後に実行することとしてもよい。このように、圧縮処理部３２による圧縮処理及び異常検出部３４による異常検出処理のタイミングは特に限られず、任意のタイミングで実行することが可能である。

【符号の説明】

【0033】

１ ：ディスプレイ異常検出システム
２ ：カメラ（撮像部）
３ ：異常検出装置
１０ ：ディスプレイ
１０Ａ ：ディスプレイ
１０Ｂ ：ディスプレイ
１０Ｃ ：ディスプレイ
１１ ：ＣＰＵ
１２ ：二次記憶装置
１３ ：主記憶装置
１４ ：通信インターフェース
１５ ：入力デバイス
１６ ：表示デバイス
３１ ：撮像データ記憶部
３２ ：圧縮処理部
３３ ：圧縮データ記憶部
３４ ：異常検出部

【要約】

【課題】ディスプレイの異常を簡便な手法によって検出すること。
【解決手段】ディスプレイ異常検出システムは、被検査対象である複数のディスプレイの表示画面を撮像するカメラ２と、カメラ２によって取得された所定期間毎の撮影データを圧縮して複数の圧縮データを生成する圧縮処理部３２と、圧縮データのファイルサイズに基づいて複数のディスプレイのいずれかに異常が発生していることを検出する異常検出部３４とを備える。カメラ２は、各ディスプレイに、輝度情報の時間的変化、及び、複数のディスプレイ間における輝度情報の差が所定範囲内であるテスト用映像データが入力されている状態で撮像を行う。また、テスト用映像データには、複数のディスプレイにおいて共通の動画が含まれている。
【選択図】図３

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】