(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024126932
(43)【公開日】2024-09-20
(54)【発明の名称】表示装置、方法、プログラム及び記憶媒体
(51)【国際特許分類】
G09G 5/36 20060101AFI20240912BHJP
G09G 5/10 20060101ALI20240912BHJP
G09G 5/37 20060101ALI20240912BHJP
G09G 5/00 20060101ALI20240912BHJP
G09G 5/02 20060101ALI20240912BHJP
G06T 1/00 20060101ALI20240912BHJP
H04N 5/66 20060101ALI20240912BHJP
【ＦＩ】
G09G5/36 400
G09G5/10 B
G09G5/37 320
G09G5/00 550X
G09G5/02 B
G06T1/00 500A
H04N5/66 A
【審査請求】有
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2023035705
(22)【出願日】2023-03-08
(11)【特許番号】
(45)【特許公報発行日】2024-07-09
(71)【出願人】
【識別番号】000227205
【氏名又は名称】ＮＥＣプラットフォームズ株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100181135
【弁理士】
【氏名又は名称】橋本 隆史
(72)【発明者】
【氏名】中村 純一
【テーマコード（参考）】
5B057
5C058
5C182
【Ｆターム（参考）】
5B057BA02
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CC01
5B057CE11
5B057CE17
5B057DA08
5B057DB02
5B057DB06
5B057DB09
5B057DC03
5B057DC16
5B057DC22
5B057DC25
5C058AA06
5C058BA05
5C058BA08
5C058BA35
5C182AA03
5C182AB08
5C182AC02
5C182AC43
5C182BA03
5C182BA04
5C182BA06
5C182BA14
5C182BA25
5C182BA26
5C182BA29
5C182BA35
5C182BA47
5C182BA75
5C182CA01
5C182CA02
5C182CA32
5C182CB44
5C182DA44
5C182FA32
(57)【要約】
【課題】より見やすい態様で動画を表示可能な表示装置、方法、プログラム及び記憶媒体を提供する。
【解決手段】表示装置は、連続する複数のフレームを含む動画コンテンツを取得する取得部と、複数のフレームのうちの第１のフレームに含まれる第１の複数のオブジェクトを特定する第１の情報のセットを抽出する抽出部と、第１の情報のセットに基づき、第１の複数のオブジェクトのうち最も大きなオブジェクトである第１最大オブジェクトの明るさと、最も大きなオブジェクト以外のオブジェクトである第１背景の明るさとのコントラストを比較することにより、コントラストが第１の所定の閾値より小さいか否かを判定する判定部と、コントラストが第１の所定の閾値より小さい場合、第１最大オブジェクト及び第１背景の少なくとも１つを補整する補整部と、補整された第１のフレームを出力する出力部と、を備える。
【選択図】図１
【解決手段】表示装置は、連続する複数のフレームを含む動画コンテンツを取得する取得部と、複数のフレームのうちの第１のフレームに含まれる第１の複数のオブジェクトを特定する第１の情報のセットを抽出する抽出部と、第１の情報のセットに基づき、第１の複数のオブジェクトのうち最も大きなオブジェクトである第１最大オブジェクトの明るさと、最も大きなオブジェクト以外のオブジェクトである第１背景の明るさとのコントラストを比較することにより、コントラストが第１の所定の閾値より小さいか否かを判定する判定部と、コントラストが第１の所定の閾値より小さい場合、第１最大オブジェクト及び第１背景の少なくとも１つを補整する補整部と、補整された第１のフレームを出力する出力部と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
連続する複数のフレームを含む動画コンテンツを取得する取得部と、
前記複数のフレームのうちの第１のフレームに含まれる第１の複数のオブジェクトを特定する第１の情報のセットを抽出する抽出部と、
前記第１の情報のセットに基づき、前記第１の複数のオブジェクトのうち最も大きなオブジェクトである第１最大オブジェクトの明るさと、前記最も大きなオブジェクト以外のオブジェクトである第１背景の明るさとのコントラストを比較することにより、前記コントラストが第１の所定の閾値より小さいか否かを判定する判定部と、
前記コントラストが前記第１の所定の閾値より小さい場合、前記第１最大オブジェクト及び前記第１背景の少なくとも１つを補整する補整部と、
前記補整された第１のフレームを出力する出力部と、を備える
表示装置。
前記複数のフレームのうちの第１のフレームに含まれる第１の複数のオブジェクトを特定する第１の情報のセットを抽出する抽出部と、
前記第１の情報のセットに基づき、前記第１の複数のオブジェクトのうち最も大きなオブジェクトである第１最大オブジェクトの明るさと、前記最も大きなオブジェクト以外のオブジェクトである第１背景の明るさとのコントラストを比較することにより、前記コントラストが第１の所定の閾値より小さいか否かを判定する判定部と、
前記コントラストが前記第１の所定の閾値より小さい場合、前記第１最大オブジェクト及び前記第１背景の少なくとも１つを補整する補整部と、
前記補整された第１のフレームを出力する出力部と、を備える
表示装置。
【請求項2】
前記コントラストが前記第１の所定の閾値より小さい場合、前記補整部は、前記第１最大オブジェクト及び前記第１背景の少なくとも１つの明るさを補整する
請求項１に記載の表示装置。
請求項１に記載の表示装置。
【請求項3】
前記コントラストが前記第１の所定の閾値より小さい場合、前記補整部は、前記第１最大オブジェクト及び前記第１背景の少なくとも１つの外縁の明るさを補整する
請求項１に記載の表示装置。
請求項１に記載の表示装置。
【請求項4】
前記第１の情報のセットと、前記補整部が前記第１最大オブジェクト及び前記第１背景の少なくとも１つを補整した場合の補整後の前記第１最大オブジェクト及び前記第１背景の少なくとも１つを示す第１の補整された情報のセットとを記憶する記憶部をさらに備え、
前記第１の情報のセットは、前記第１最大オブジェクトを特定する第１の最大情報のサブセットと、前記第１背景を特定する第１の背景情報のサブセットとを含み、
前記第１の補整された情報のセットは、補整された前記第１最大オブジェクトを特定する補整された第１の最大情報のサブセットと、補整された前記第１背景を特定する補整された第１の背景情報のサブセットとの少なくとも１つを含み、
前記抽出部は、
前記複数のフレームのうちの第２のフレームに含まれる第２の複数のオブジェクトを特定する第２の情報のセットを抽出し、
前記第１の情報のセットと前記第２の情報のセットとの相関性を抽出し、
前記相関性が所定の基準を満たす場合、前記判定部は前記第２の複数のオブジェクトに対する判定処理をスキップし、
前記第２の情報のセットは、前記第２の複数のオブジェクトのうち最も大きなオブジェクトである第２最大オブジェクトを特定する第２の最大情報のサブセットと、前記第２最大オブジェクト以外のオブジェクトである第２背景を特定する第２の背景情報のサブセットとを含み、
前記補整部は、前記補整された第１の最大情報のサブセットと、前記補整された第１の背景情報のサブセットとの少なくとも１つに基づき、前記第２最大オブジェクト及び前記第２背景の少なくとも１つを補整し、
前記出力部は、前記補整された第２のフレームを出力し、
前記記憶部は、前記第２の情報のセットと、補整後の前記第２最大オブジェクト及び前記第２背景の少なくとも１つを示す第２の補整された情報のセットとを記憶し、
前記第２のフレームは前記第１のフレームの次のフレームである
請求項１から３のいずれか一項に記載の表示装置。
前記第１の情報のセットは、前記第１最大オブジェクトを特定する第１の最大情報のサブセットと、前記第１背景を特定する第１の背景情報のサブセットとを含み、
前記第１の補整された情報のセットは、補整された前記第１最大オブジェクトを特定する補整された第１の最大情報のサブセットと、補整された前記第１背景を特定する補整された第１の背景情報のサブセットとの少なくとも１つを含み、
前記抽出部は、
前記複数のフレームのうちの第２のフレームに含まれる第２の複数のオブジェクトを特定する第２の情報のセットを抽出し、
前記第１の情報のセットと前記第２の情報のセットとの相関性を抽出し、
前記相関性が所定の基準を満たす場合、前記判定部は前記第２の複数のオブジェクトに対する判定処理をスキップし、
前記第２の情報のセットは、前記第２の複数のオブジェクトのうち最も大きなオブジェクトである第２最大オブジェクトを特定する第２の最大情報のサブセットと、前記第２最大オブジェクト以外のオブジェクトである第２背景を特定する第２の背景情報のサブセットとを含み、
前記補整部は、前記補整された第１の最大情報のサブセットと、前記補整された第１の背景情報のサブセットとの少なくとも１つに基づき、前記第２最大オブジェクト及び前記第２背景の少なくとも１つを補整し、
前記出力部は、前記補整された第２のフレームを出力し、
前記記憶部は、前記第２の情報のセットと、補整後の前記第２最大オブジェクト及び前記第２背景の少なくとも１つを示す第２の補整された情報のセットとを記憶し、
前記第２のフレームは前記第１のフレームの次のフレームである
請求項１から３のいずれか一項に記載の表示装置。
【請求項5】
前記第１の最大情報のサブセットは、前記第１最大オブジェクトの種別と、前記第１最大オブジェクトが含む複数の画素それぞれの座標及び色と、前記第１最大オブジェクトの明るさと、のうちの少なくとも１つを含み、
前記第１の背景情報のサブセットは、前記第１背景の識別情報と、前記第１背景が含む複数の画素それぞれの座標及び色と、前記第１背景の明るさと、のうちの少なくとも１つを含み、
前記第２の最大情報のサブセットは、前記第２最大オブジェクトの種別と、前記第２最大オブジェクトが含む複数の画素それぞれの座標及び色と、前記第２最大オブジェクトの明るさと、のうちの少なくとも１つを含み、
前記第２の背景情報のサブセットは、前記第２背景の識別子と、前記第２背景が含む複数の画素それぞれの座標及び色と、前記第２背景の明るさと、のうちの少なくとも１つを含む
請求項４に記載の表示装置。
前記第１の背景情報のサブセットは、前記第１背景の識別情報と、前記第１背景が含む複数の画素それぞれの座標及び色と、前記第１背景の明るさと、のうちの少なくとも１つを含み、
前記第２の最大情報のサブセットは、前記第２最大オブジェクトの種別と、前記第２最大オブジェクトが含む複数の画素それぞれの座標及び色と、前記第２最大オブジェクトの明るさと、のうちの少なくとも１つを含み、
前記第２の背景情報のサブセットは、前記第２背景の識別子と、前記第２背景が含む複数の画素それぞれの座標及び色と、前記第２背景の明るさと、のうちの少なくとも１つを含む
請求項４に記載の表示装置。
【請求項6】
前記所定の基準は、
前記第１最大オブジェクトの種別と前記第２最大オブジェクトの種別とが同一であること、
前記第１最大オブジェクトが含む複数の画素の数と前記第２最大オブジェクトが含む複数の画素の数との差が第２の所定の閾値以下であること、
前記第１最大オブジェクトの明るさと前記第２最大オブジェクトの明るさとの差が第３の所定の閾値以下であること、
の少なくとも１つである
請求項５に記載の表示装置。
前記第１最大オブジェクトの種別と前記第２最大オブジェクトの種別とが同一であること、
前記第１最大オブジェクトが含む複数の画素の数と前記第２最大オブジェクトが含む複数の画素の数との差が第２の所定の閾値以下であること、
前記第１最大オブジェクトの明るさと前記第２最大オブジェクトの明るさとの差が第３の所定の閾値以下であること、
の少なくとも１つである
請求項５に記載の表示装置。
【請求項7】
表示装置によって実行される方法であって、
連続する複数のフレームを含む動画コンテンツを取得するステップと、
前記複数のフレームのうちの第１のフレームに含まれる第１の複数のオブジェクトを特定する第１の情報のセットを抽出するステップと、
前記第１の情報のセットに基づき、前記第１の複数のオブジェクトのうち最も大きなオブジェクトである第１最大オブジェクトの明るさと、前記最も大きなオブジェクト以外のオブジェクトである第１背景の明るさとのコントラストを比較することにより、前記コントラストが第１の所定の閾値より小さいか否かを判定するステップと、
前記コントラストが前記第１の所定の閾値より小さい場合、前記第１最大オブジェクト及び前記第１背景の少なくとも１つを補整するステップと、
前記補整された第１のフレームを出力するステップと、を備える
方法。
連続する複数のフレームを含む動画コンテンツを取得するステップと、
前記複数のフレームのうちの第１のフレームに含まれる第１の複数のオブジェクトを特定する第１の情報のセットを抽出するステップと、
前記第１の情報のセットに基づき、前記第１の複数のオブジェクトのうち最も大きなオブジェクトである第１最大オブジェクトの明るさと、前記最も大きなオブジェクト以外のオブジェクトである第１背景の明るさとのコントラストを比較することにより、前記コントラストが第１の所定の閾値より小さいか否かを判定するステップと、
前記コントラストが前記第１の所定の閾値より小さい場合、前記第１最大オブジェクト及び前記第１背景の少なくとも１つを補整するステップと、
前記補整された第１のフレームを出力するステップと、を備える
方法。
【請求項8】
コンピュータに、
連続する複数のフレームを含む動画コンテンツを取得するステップと、
前記複数のフレームのうちの第１のフレームに含まれる第１の複数のオブジェクトを特定する第１の情報のセットを抽出するステップと、
前記第１の情報のセットに基づき、前記第１の複数のオブジェクトのうち最も大きなオブジェクトである第１最大オブジェクトの明るさと、前記最も大きなオブジェクト以外のオブジェクトである第１背景の明るさとのコントラストを比較することにより、前記コントラストが第１の所定の閾値より小さいか否かを判定するステップと、
前記コントラストが前記第１の所定の閾値より小さい場合、前記第１最大オブジェクト及び前記第１背景の少なくとも１つを補整するステップと、
前記補整された第１のフレームを出力するステップと
を実行させるためのプログラム。
連続する複数のフレームを含む動画コンテンツを取得するステップと、
前記複数のフレームのうちの第１のフレームに含まれる第１の複数のオブジェクトを特定する第１の情報のセットを抽出するステップと、
前記第１の情報のセットに基づき、前記第１の複数のオブジェクトのうち最も大きなオブジェクトである第１最大オブジェクトの明るさと、前記最も大きなオブジェクト以外のオブジェクトである第１背景の明るさとのコントラストを比較することにより、前記コントラストが第１の所定の閾値より小さいか否かを判定するステップと、
前記コントラストが前記第１の所定の閾値より小さい場合、前記第１最大オブジェクト及び前記第１背景の少なくとも１つを補整するステップと、
前記補整された第１のフレームを出力するステップと
を実行させるためのプログラム。
【請求項9】
コンピュータに、
連続する複数のフレームを含む動画コンテンツを取得するステップと、
前記複数のフレームのうちの第１のフレームに含まれる第１の複数のオブジェクトを特定する第１の情報のセットを抽出するステップと、
前記第１の情報のセットに基づき、前記第１の複数のオブジェクトのうち最も大きなオブジェクトである第１最大オブジェクトの明るさと、前記最も大きなオブジェクト以外のオブジェクトである第１背景の明るさとのコントラストを比較することにより、前記コントラストが第１の所定の閾値より小さいか否かを判定するステップと、
前記コントラストが前記第１の所定の閾値より小さい場合、前記第１最大オブジェクト及び前記第１背景の少なくとも１つを補整するステップと、
前記補整された第１のフレームを出力するステップと
を実行させるためのプログラムを記憶した記憶媒体。
連続する複数のフレームを含む動画コンテンツを取得するステップと、
前記複数のフレームのうちの第１のフレームに含まれる第１の複数のオブジェクトを特定する第１の情報のセットを抽出するステップと、
前記第１の情報のセットに基づき、前記第１の複数のオブジェクトのうち最も大きなオブジェクトである第１最大オブジェクトの明るさと、前記最も大きなオブジェクト以外のオブジェクトである第１背景の明るさとのコントラストを比較することにより、前記コントラストが第１の所定の閾値より小さいか否かを判定するステップと、
前記コントラストが前記第１の所定の閾値より小さい場合、前記第１最大オブジェクト及び前記第１背景の少なくとも１つを補整するステップと、
前記補整された第１のフレームを出力するステップと
を実行させるためのプログラムを記憶した記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、表示装置、方法、プログラム及び記憶媒体に関する。
【背景技術】
【0002】
スマートフォンやタブレットコンピュータといったユーザ端末が普及し、各種プラットフォームを通じた動画配信サービスが近年普及している。
【0003】
特許文献１において、画像中の文字を認識し、文字の色と背景色とをもとに輪郭又は文字の色を変更する発明が記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１８－１９１６７号公報
【非特許文献】
【0005】
【非特許文献1】「東京都カラーユニバーサルデザインガイドライン」, [online], 東京都, [令和５年２月２２日検索]、インターネット <https://www.fukushihoken.metro.tokyo.lg.jp/kiban/machizukuri/kanren/color.files/colorudguideline.pdf>
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献１の開示に関連する表示装置は動画コンテンツを表示するものの、動画の作成者が指定した色合いによっては、動画のオブジェクトが見づらいという課題があった。
【0007】
本開示は、動画の視聴者にとって、より見やすい態様で動画を表示可能な表示装置、方法、プログラム及び記憶媒体を提供することを目的の一つとする。
【課題を解決するための手段】
【0008】
この発明に係る表示装置、方法、プログラム及び記憶媒体は、以下の構成を採用した。
（１）この発明の一態様に係る表示装置は、連続する複数のフレームを含む動画コンテンツを取得する取得部と、前記複数のフレームのうちの第1のフレームに含まれる第1の複数のオブジェクトを示す特定する第1の情報のセット を抽出する抽出部と、前記第1の情報のセットに基づき、前記第1の複数のオブジェクトのうち最も大きなオブジェクトである第1最大オブジェクトの明るさと、前記最も大きなオブジェクト以外のオブジェクトである第1背景の明るさとのコントラストを比較することにより、前記コントラストが第1の所定の閾値より小さいか否かを判定する判定部と、前記コントラストが前記第1の所定の閾値より小さい場合、前記第1最大オブジェクト及び前記第1背景の少なくとも1つを補整する補整部と、前記補整された第1のフレームを出力する出力部と、を備える。
（１）この発明の一態様に係る表示装置は、連続する複数のフレームを含む動画コンテンツを取得する取得部と、前記複数のフレームのうちの第1のフレームに含まれる第1の複数のオブジェクトを示す特定する第1の情報のセット を抽出する抽出部と、前記第1の情報のセットに基づき、前記第1の複数のオブジェクトのうち最も大きなオブジェクトである第1最大オブジェクトの明るさと、前記最も大きなオブジェクト以外のオブジェクトである第1背景の明るさとのコントラストを比較することにより、前記コントラストが第1の所定の閾値より小さいか否かを判定する判定部と、前記コントラストが前記第1の所定の閾値より小さい場合、前記第1最大オブジェクト及び前記第1背景の少なくとも1つを補整する補整部と、前記補整された第1のフレームを出力する出力部と、を備える。
【0009】
（２）この発明の一態様に係る方法は、表示装置によって実行される方法であって、連続する複数のフレームを含む動画コンテンツを取得するステップと、前記複数のフレームのうちの第1のフレームに含まれる第1の複数のオブジェクトを特定する第1の情報のセットを抽出するステップと、前記第1の情報のセットに基づき、前記第1の複数のオブジェクトのうち最も大きなオブジェクトである第1最大オブジェクトの明るさと、前記最も大きなオブジェクト以外のオブジェクトである第1背景の明るさとのコントラストを比較することにより、前記コントラストが第1の所定の閾値より小さいか否かを判定するステップと、前記コントラストが前記第1の所定の閾値より小さい場合、前記第1最大オブジェクト及び前記第1背景の少なくとも1つを補整するステップと、前記補整された第1のフレームを出力するステップと、を備える。
【0010】
（３）この発明の一態様に係るプログラムは、コンピュータに、連続する複数のフレームを含む動画コンテンツを取得するステップと、前記複数のフレームのうちの第1のフレームに含まれる第1の複数のオブジェクトを特定する第1の情報のセットを抽出するステップと、前記第1の情報のセットに基づき、前記第1の複数のオブジェクトのうち最も大きなオブジェクトである第1最大オブジェクトの明るさと、前記最も大きなオブジェクト以外のオブジェクトである第1背景の明るさとのコントラストを比較することにより、前記コントラストが第1の所定の閾値より小さいか否かを判定するステップと、前記コントラストが前記第1の所定の閾値より小さい場合、前記第1最大オブジェクト及び前記第1背景の少なくとも1つを補整するステップと、前記補整された第1のフレームを出力するステップとを実行させるためのプログラムである。
【0011】
（４）この発明の一態様に係る記憶媒体は、コンピュータに、連続する複数のフレームを含む動画コンテンツを取得するステップと、前記複数のフレームのうちの第1のフレームに含まれる第1の複数のオブジェクトを特定する第1の情報のセットを抽出するステップと、前記第1の情報のセットに基づき、前記第1の複数のオブジェクトのうち最も大きなオブジェクトである第1最大オブジェクトの明るさと、前記最も大きなオブジェクト以外のオブジェクトである第1背景の明るさとのコントラストを比較することにより、前記コントラストが第1の所定の閾値より小さいか否かを判定するステップと、前記コントラストが前記第1の所定の閾値より小さい場合、前記第1最大オブジェクト及び前記第1背景の少なくとも1つを補整するステップと、前記補整された第1のフレームを出力するステップとを実行させるためのプログラムを記憶した記憶媒体である。
【発明の効果】
【0012】
（１）から（４）によれば、動画をより見やすい態様で表示可能な表示装置、方法、プログラム及び記憶媒体を提供することができる。
【図面の簡単な説明】
【0013】
【図1】本開示の第１実施形態における表示装置１０の動作例を示す図である。
【図2】本開示の第１実施形態における表示装置１０の機能構成図である。
【図3】本開示の第１実施形態における第１の情報のセットの例を示す図である。
【図4】本開示の第１実施形態における表示装置１０の処理フローを示すフローチャートである。
【図5】本開示の第２実施形態における表示装置１０の適用例を示す図である。
【図6】本開示の第２実施形態における表示装置１０の適用例を示す図である。
【図7】本開示の第２実施形態における第２の情報のセットの例を示す図である。
【図8】本開示の第２実施形態における表示装置１０の機能構成図である。
【図9】本開示の第２実施形態における表示装置１０の処理フローを示すフローチャートである。
【図10】本開示の第２実施形態における表示装置１０の処理フローを示すフローチャートである。
【図11】本開示における学習装置１０の最小構成を示す図である。
【図12】本実施形態に係る各装置のハードウェア構成を説明する説明図である。
【発明を実施するための形態】
【0014】
以下、図面を参照し、本開示の表示装置、方法、プログラム及び記憶媒体の実施形態について説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。
【0015】
（第１実施形態）
図１は、本開示の第１実施形態における表示装置１０の動作例を示す図である。
図１は、本開示の第１実施形態における表示装置１０の動作例を示す図である。
【0016】
ステップ１として、表示装置１０は、複数のフレームを含む動画コンテンツを取得する。図１では、表示装置１０は、複数のフレームのうち、フレームｎを取得している。ｎは整数である。フレームｎは、ネコ及び花を含み、ネコ及び花の背後には背景画像がある。
【0017】
ステップ２として、表示装置１０は、フレームｎから、フレームｎに含まれるオブジェクトを抽出する。フレームｎが含むオブジェクトは、ネコ、花及び背景画像である。表示装置１０は、既知のオブジェクト抽出ツールに基づいてオブジェクトを抽出してもよい。また、表示装置１０は、フレームｎから、フレームｎに含まれるオブジェクトのうち最も大きいオブジェクトと、背景画像とを抽出する。フレームｎにおいては、最大のオブジェクトはネコである。
【0018】
ステップ３として、表示装置１０は、所定の基準に基づいて、フレームｎに含まれるオブジェクトを補整する。図１において、表示装置１０は、ネコの縁を太く強調し、背景画像の色を淡くすることにより、ネコの画像の背景画像に対するコントラストが高まるようにネコの画像と背景画像とを補整している。その結果、ネコの画像の視認性が高まるようになる。
【0019】
ステップ４として、表示装置１０は、補整後のフレームｎを出力する。フレームｎの出力は、スマートフォン若しくはタブレット端末といったデバイスの画面又は液晶ディスプレイといった表示画面にフレームｎを表示することでもよいし、動画コンテンツの１部分としてのフレームｎを所定のフォーマットの信号によって表示装置１０の外部に出力することでもよい。
【0020】
図２は、本開示の第１実施形態における表示装置１０の機能構成図である。表示装置１０は、取得部１１０、抽出部１２０、判定部１３０、補整部１４０及び出力部１５０を備える。取得部１１０は、動画コンテンツを構成する複数のフレームを取得する。抽出部１２０は、取得した複数のフレーム各々に含まれる１又は複数のオブジェクトを既知のツールやエンジンにより抽出する。既知のツールやエンジンは、例えばAlexNet、GoogleNet、YOLOのいずれかでもよい。抽出部１２０は、抽出した各オブジェクトの種別と、各オブジェクトが含まれる１又は複数の画素と、各画素の色及び明るさとの１又は複数を抽出し、情報のセットとして取り扱う。色及び明るさの抽出は画像解析処理に基づく。情報のセットは情報のサブセットを含む。情報のセット及び情報のサブセットについては後述する。
【0021】
抽出部１２０は、各オブジェクトに含まれる画素数に基づいて、各フレームに含まれる最も大きいオブジェクトを抽出する。各フレームに含まれる最も大きいオブジェクトを最大オブジェクトと称してもよい。抽出部１２０は、検出された座標、大きさをもとに、エッジ検出処理を行う。エッジ検出処理は、各オブジェクトの縁を検出する処理である。また、抽出部１２０は、各フレームに含まれる背景画像を抽出する。各フレームが例えば空や壁といった背景画像を含まない場合、抽出部１２０は、各フレームに含まれるオブジェクトの重なりによって、背景画像を特定してもよい。例えば、最大オブジェクトに隣接したオブジェクトを抽出部１２０は背景画像として抽出してもよい。
【0022】
判定部１３０は、最大オブジェクトの明るさと背景画像の明るさとに基づき、最大オブジェクトと背景画像とのコントラストが所定の閾値より小さいかどうかを判定する。明るさは輝度でもよい。補整部１４０は、最大オブジェクトと背景画像とのコントラストが所定の閾値より小さい場合、最大オブジェクト及び背景画像の少なくとも１つを補整する。補整は、最大オブジェクトの明るさを上げることでもよいし、背景画像の明るさを下げることでもよいし、最大オブジェクトの縁の色を濃くすることでもよいし、背景画像の色を淡くすることでもよいし、これらのいずれか２つ以上の組み合わせでもよい。明るさは輝度でもよい。なお、本明細書において補整は「補正」と相互に読み替えられてよい。
【0023】
出力部１５０は、補整された１又は複数のオブジェクトを含む各フレームを出力する。フレームの出力は、スマートフォン若しくはタブレット端末といったデバイスの画面又は液晶ディスプレイといった表示画面にフレームｎを表示することでもよいし、動画コンテンツの１部分としての各フレームを、所定のフォーマットの信号によって表示装置１０の外部に出力することでもよい。取得部１１０、抽出部１２０、判定部１３０、補整部１４０及び出力部１５０のハードウェア構成については後述する。
【0024】
図３は、本開示の第１実施形態における第１の情報のセットの例を示す図である。「情報のセット」は、１つのフレームが含む１又は複数のオブジェクトを特定するための情報のセットであり、１又は複数の情報のサブセットを含む。情報のセットは、複数のフレームに含まれるフレームごとに定義される。
【0025】
図３において、「Cat:{location: (x1_1, y1_1), color: (R1_1, G1_1, B1_1), brightness: (Br1_1)}」から「Cat :{location: (x1_n, y1_n), color: (R1_n, G1_n, B1_n)}, brightness: (Br1_n)}」のｎセットを「情報のサブセット」と称する。「Cat」は、抽出部１２０が抽出したオブジェクトの種別の例であり、Cat（ネコ）という種別について、情報のサブセットの構成要素としてlocation、color、brightnessという属性が定義されている。
【0026】
ｎは、自然数であり、フレームに含まれる「Cat」という種別のオブジェクトが含む画素数を示す。「location」は、各オブジェクトが含む１又は複数の画素それぞれの、フレーム内の座標を示す。「color」は、各オブジェクトが含む１又は複数の画素それぞれの色をRGBによって表すものである。「brightness」は、各オブジェクトが含む１又は複数の画素それぞれの色をRGBによって表すものである。
【0027】
例えば、Cat:{location: (x1_1, y1_1), color: (R1_1, G1_1, B1_1), brightness: (Br1_1)}という情報のサブセットは、オブジェクト「ネコ」の１番目の画素について、フレーム内の座標がx1_1、y1_1であること、色がRGB表記でR1_1、G1_1、B1_1であること、明るさがBr1_1であることを示す。Br1_1は輝度でもよい。
【0028】
第１の情報のセットに対応するフレームはネコのオブジェクト以外に花及び背景画像を含むことから、第１の情報のセットは、flower（花）及びBackground（背景画像）それぞれについても情報のサブセットを備えている。図３において、花及び背景画像の画素数はそれぞれｍ及びｋである。このようにして、花及び背景画像の情報のサブセットが示す内容についてもネコと同様に解釈される。
【0029】
図４は、本開示の第１実施形態における表示装置１０の処理フローを示すフローチャートである。
【0030】
ステップＳ１０１において、取得部１１０は、連続する複数のフレームを含む動画コンテンツを取得する。
【0031】
ステップＳ１０２において、抽出部１２０は、複数のフレームのうちの任意のフレームに含まれる第１の複数のオブジェクトを特定する第１の情報のセットを抽出する。任意のフレームは、図１におけるフレームｎでもよいし、任意のフレームを第１のフレームと称してもよい。第１の情報のセットの例は図３に示す通りである。
【0032】
ステップＳ１０３において、抽出部１２０は、第１最大オブジェクト及び第１背景を抽出する。第１最大オブジェクトは、第１のフレーム内に含まれる複数のオブジェクトのうち、最も大きいオブジェクトである。抽出部１２０は、第１のフレームに含まれる複数のオブジェクト各々が含む画素数に基づいて最大オブジェクトを抽出してもよい。抽出部１２０は、既知のエンジンを用いて第１背景を抽出してもよい。第１のフレームに含まれる複数のオブジェクト各々が含む画素数は、第１の情報のセットによって示される。
【0033】
ステップＳ１０４において、判定部１３０は、第１の情報のセットに基づき、第１最大オブジェクトの明るさと、第１背景の明るさとのコントラストを比較することにより、コントラストが第１の所定の閾値より小さいか否かを判定する。図１及び３の例では、第１最大オブジェクトはネコでよく、第１背景はフレーム内の背景画像であってもよい。明るさは輝度でもよい。第１の所定の閾値は、事前に設定されていてもよいし、取得部１１０が別途取得してもよい。第１の所定の閾値は、第１最大オブジェクトの明るさと第１背景の明るさの比でもよいし、第１最大オブジェクトの明るさと第１背景の明るさとの差でもよい。
【0034】
また、第１の所定の閾値は、第１最大オブジェクトの明度と第１背景との間の明度の差についての所定値でもよい。この場合、第１最大オブジェクトの外周部分の明度と第１背景の明度のうちの第１最大オブジェクトの外周部分と接している部分の明度との間の明度の差についての所定値でもよい。
【0035】
また、非特許文献１の４ページに記載されているように、特に色弱者にとって、緑色から赤色にかけて含まれる色を識別すること、青色から紫色にかけて含まれる色を識別することが困難であることがある。
【0036】
そこで、第１最大オブジェクトの色温度と第１背景の色温度との差が大きいほど、第１最大オブジェクトの視認性が上がることが想定できる。そこで、第１の所定の閾値は、第１最大オブジェクトの色温度と第１背景の色温度との間の色温度の差についての所定値でもよい。この場合、取得部１１０は色彩照度計によって構成されていてもよい。
【0037】
また、特に色弱者にとって視認性の観点から負荷の小さい表示態様にするという観点から、第１の所定の閾値は、第１最大オブジェクトの色の波長と第１背景の色の波長との間の波長の差についての所定値でもよい。この場合、第１最大オブジェクトの外周部分の色の波長と第１背景の色の波長のうちの第１最大オブジェクトの外周部分と接している部分の色の波長との間の波長の差についての所定値でもよい。この場合、取得部１１０は、可視光領域に感度を有するフォトダイオードによって構成されていてもよい。
【0038】
ステップＳ１０５において、判定部１３０は、コントラストが所定の閾値より小さいか否かを判定する。コントラストが所定の閾値より小さい場合、処理はステップＳ１０６に進み、そうでない場合、処理はステップＳ１０８に進む。
【0039】
ステップＳ１０６において、補整部１４０は、第１最大オブジェクト及び第１背景の少なくとも１つを補整する。補整は、第１最大オブジェクトの明るさを上げることでもよいし、背景画像の明るさを下げることでもよいし、最大オブジェクトの縁の色を濃くすることでもよいし、最大オブジェクトの縁を構成する線を太くすることでもよいし、背景画像の色を淡くすることでもよいし、これらのいずれか２つ以上の組み合わせでもよい。
【0040】
なお、第１最大オブジェクトの明度と第１背景の明度とがともに高い場合、補整部１４０は、第１背景の明度を下げてもよいし、第１背景のうち、第１最大オブジェクトと接している領域の明度を下げてもよいし、第１最大オブジェクトの周辺部分の領域の明度を下げてもよい。
【0041】
なお、第１最大オブジェクトの明度と第１背景の明度がともに低い場合、補整部１４０は、第１最大オブジェクトの明度を上げてもよいし、第１背景のうち、第１最大オブジェクトと接している領域の明度を上げてもよいし、第１最大オブジェクトの周辺部分の領域の明度を上げてもよい。
【0042】
なお、第１最大オブジェクトの色温度と第１背景の色温度がともに低い場合、つまり、双方の色がいずれも青ないし白みがかっている場合、補整部１４０は、第１背景の色温度を上げることにより、第１背景をより赤みがかった色に補整し、第１最大オブジェクトの視認性を高めるようにしてもよいし、第１背景のうち、第１最大オブジェクトと接している領域の色温度を上げてもよいし、第１最大オブジェクトの周辺部分の領域の色温度を上げてもよい。
【0043】
なお、第１最大オブジェクトの色温度と第１背景の色温度がともに高い場合、つまり、双方の色がいずれも赤みがかっている場合、補整部１４０は、第１背景の色温度を下げることにより、第１背景をより青ないし白みがかった色に補整し、第１最大オブジェクトの視認性を高めるようにしてもよいし、第１背景のうち、第１最大オブジェクトと接している領域の色温度を下げてもよいし、第１最大オブジェクトの周辺部分の領域の色温度を下げてもよい。
【0044】
なお、第１最大オブジェクトの色の波長と第１背景の色の波長がともに短い場合、つまり、双方の色がいずれも青みがかっている場合、補整部１４０は、第１背景の色の波長を長波長側に調整することにより、第１背景をより赤みがかった色に補整し、第１最大オブジェクトの視認性を高めるようにしてもよいし、第１背景のうち、第１最大オブジェクトと接している領域の色の波長を長波長側に補整してもよいし、第１最大オブジェクトの周辺部分の領域の色の波長を長波長側に補整してもよい。
【0045】
なお、第１最大オブジェクトの色の波長と第１背景の色の波長がともに長い場合、つまり、双方の色がいずれも赤みがかっている場合、補整部１４０は、第１背景の色の波長を短波長側に調整ことにより、第１背景をより青みがかった色に補整し、第１最大オブジェクトの視認性を高めるようにしてもよいし、第１背景のうち、第１最大オブジェクトと接している領域の色の波長を長波長側に補整してもよいし、第１最大オブジェクトの周辺部分の領域の色の波長を長波長側に調補整してもよい。
【0046】
なお、第１最大オブジェクトの色の波長が近赤外領域で赤みがかった色を示し、第１背景から光が検出されず、つまり第１背景が黒色ないし黒みがかっている場合、補整部１４０は、第１背景の色の波長を短波長側に調整することにより、第１背景をより橙色ないし緑がかった色に補整し、第１最大オブジェクトの視認性を高めるようにしてもよいし、第１背景のうち、第１最大オブジェクトと接している領域の色の波長を上げてもよいし、第１最大オブジェクトの周辺部分の領域の色の波長を長波長側に補整してもよい。
【0047】
なお、第１最大オブジェクトの色の波長と第１背景の色の波長の一方が緑を示し他方が赤を示す場合、補整部１４０は、緑を示すその一方の色を短波長側に補整する、つまり青みがかった色となるように補整してもよい。
【0048】
ステップＳ１０７において、出力部１５０は、補整された第１のフレームを出力する。その後、処理は終了する。
【0049】
ステップＳ１０８において、出力部１５０は、第１のフレームを出力する。その後、処理は終了する。
【0050】
以上説明したように、本開示の第１実施形態に係る表示装置は、連続する複数のフレームを含む動画コンテンツを取得する取得部と、複数のフレームのうちの第１のフレームに含まれる第１の複数のオブジェクトを特定する第１の情報のセットを抽出する抽出部と、前記第１の情報のセットに基づき、第１の複数のオブジェクトのうち最も大きなオブジェクトである第１最大オブジェクトの明るさと、最も大きなオブジェクトに隣接した画像である第１背景の明るさとのコントラストを比較することにより、コントラストの比較結果が第１の所定の閾値より小さいか否かを判定する判定部と、コントラストの比較結果が前記第１の所定の閾値より小さい場合、第１最大オブジェクト及び前記第１背景の少なくとも１つを補整する補整部と、補整された第１のフレームを出力する出力部と、を備える。
【0051】
これにより、視認性のより高い態様により動画コンテンツを表示画面に表示させることができる。
【0052】
また、補整部１４０は、抽出されたコントラストが第１の所定の閾値より小さい場合、第１最大オブジェクト及び第１背景の少なくとも１つの明るさを補整してもよい。
【0053】
また、補整部１４０は、抽出されたコントラストが第１の所定の閾値より小さい場合、第１最大オブジェクト及び第１背景の少なくとも１つの外縁の明るさを補整してもよいし、第１最大オブジェクト及び第１背景の少なくとも１つの外縁を構成する線の色を濃くしてもよいし、当該線を太くしてもよい。
【0054】
なお、第１最大オブジェクトは、文字又は文字列を含む閉じた領域でもよい。この場合、判定部１３０は、文字列に含まれる各々の文字を構成する、幅のある線の領域について判定処理を実行してもよく、補整部１４０は、そのような線の領域について補整処理を実行してもよい。補整部１４０は、線の縁（外周部）に対して補整処理を実行してもよいし、第１背景のうち、線の縁と接している領域に対して補整処理を実行してもよい。
【0055】
図５及び６は、本開示の第２実施形態における表示装置１０の適用例を示す図である。
【0056】
図５において、複数のフレームはフレームｎとフレームｎ＋１を含んでいる。フレームｎ＋１は、フレームｎの次のフレームである。フレームｎ及びフレームｎ＋１をそれぞれ第１のフレーム及び第２のフレームと称してもよい。ここで、第１のフレームに含まれる１又は複数のオブジェクトには第１実施形態において説明されたようにして補整処理がされている。具体的には、フレームｎ内のネコの画像の縁を構成する線は太く補整されており、背景画像の色は淡く補整されている。一方、フレームｎ＋１に含まれる複数のオブジェクトには補整処理が一切されていない。
【0057】
フレームｎ及びフレームｎ＋１においては、ネコが走る様子が描かれている。フレームｎ＋１においては、フレームｎと比べて、ネコの四肢が高く上がっていることが示されている。
【0058】
図６においては、フレームｎ＋１内のネコについても、フレームｎ内のネコと同様の補整処理がされている。具体的には、図６と比べて、図７においては、フレームｎ＋１内のネコの画像の縁を構成する線はフレームｎと同様に太く補整されており、背景画像の色は淡く補整されている。このとき、フレームｎ＋１については第１実施形態と異なり判定部１３０による判定処理が省略されている。この処理の省略については後述する。
【0059】
図７は、本開示の第２実施形態における第２の情報のセットの例を示す図である。第２の情報のセットは、フレームｎ＋１に含まれる複数のオブジェクトを特定するもので、第２の情報のサブセットを複数含む。第２の情報のサブセットは、フレームｎ＋１に含まれるネコについてのCat:{location: (x21_1, y21_1), color: (R21_1, G21_1, B21_1), brightness: (Br21_1)}からCat:{location: (x21_n’, y21_n’), color: (R21_n’, G21_n’, B21_n’)}, brightness: (Br21_n’)}というサブセットと、花についてのFlower:{location: (x22_1, y22_1), color: (R22_1, G22_1, B22_1), brightness: (Br22_1)}からFlower:{location: (x22_m, y22_m), color: (R22_m, G22_m, B22_m)}, brightness: (Br22_m)}というサブセットと、背景画像についてのBackground:{location: (x23_1, y23_1), color: (R23_1, G23_1, B23_1), brightness: (Br23_1)}からBackground :{location: (x23_k’, y23_k’), color: (R23_k’, G23_k’, B23_k’)}, brightness: (Br23_k’)}というサブセットである。
【0060】
図７において、フレームｎ＋１内のネコはフレームｎ内のネコと比べて、ネコの動きにより画素数が変化していることから、ネコについての情報のサブセットの数はｎ’となっている。一方、花については画素数がｍであり、フレームｎとフレームｎ＋１との間に差分はない。フレームｎ＋１内の背景画像について、ネコの動きに伴う画素数の変化に基づき、背景画像の画素数も、フレームｎからフレームｎ＋１にかけて、ｋからｋ’に変化している。
【0061】
図８は、本開示の第２実施形態における表示装置１０の機能構成図である。
【0062】
表示装置１０は、第１実施形態に加えて記憶部１６０をさらに備える。記憶部１６０は、取得部１１０が取得した複数のフレームのいずれかに対して、補整部１４０によって与えられた補整処理の内容を記憶する。補整処理の内容は、「第１最大オブジェクトの縁の色を所定割合だけ濃く補整した」、「第１最大オブジェクトの縁を構成する線を所定割合だけ太く補整した」、「第１背景の色を、第１最大オブジェクトとのコントラストが第１の所定の閾値以上となるように淡くした」、「第１背景の明るさ（例えば輝度）を所定割合だけ下げるように補整した」のいずれかでもよい。
【0063】
図９及び１０は、本開示の第２実施形態における表示装置１０の処理フローを示すフローチャートである。
【0064】
ステップＳ１１０１からステップＳ１１０７の処理はステップＳ１０１からステップＳ１０７の処理に対応する。なお、ステップＳ１１０５における判定結果が “No”(false) の場合、処理はステップＳ１１１３に進む。
【0065】
ステップＳ１１０８において、記憶部１６０は、第１の情報のセットと第１の補整された情報のセットとを記憶する。第１の補整された情報のセットは、補整部１４０が第１最大オブジェクト及び第１背景の少なくとも１つを補整した場合の補整後の第１最大オブジェクト及び補整後の第１背景の少なくとも１つを示す。
【0066】
ステップＳ１１０９において、抽出部１２０は、複数のフレームのうちの第２のフレームに含まれる第２の複数のオブジェクトを特定する第２の情報のセットを抽出する。第２のフレームは、第１のフレームの次のフレームであり、第１のフレーム及び第２のフレームはそれぞれ、図６におけるフレームｎ及びフレームｎ＋１でもよい。第２の情報のセットは、図７に示す情報のセットでもよい。第２の情報のセットは、第２の複数のオブジェクトのうち最も大きなオブジェクトである第２最大オブジェクトを特定する第２の最大情報のサブセットと、前記第２最大オブジェクトに隣接した画像である第２背景を特定する第２の背景情報のサブセットとを含む。第２最大オブジェクトはフレームｎ＋１内のネコでもよいし、第２背景はフレームｎ＋１内の背景画像でもよい。
【0067】
ステップＳ１１１０において、抽出部１２０は、第１の情報のセットと第２の情報のセットとの相関性の有無を抽出する。相関性の有無は、第１最大オブジェクトの種別と第２最大オブジェクトの種別とが同一又は類似であること、第１最大オブジェクトが含む複数の画素の数と第２最大オブジェクトが含む複数の画素の数との差が第２の所定の閾値以下であること、第１最大オブジェクトの明るさと前記第２最大オブジェクトの明るさとの差が第３の所定の閾値以下であること、の少なくとも１つであってよいし、これらの２以上の組み合わせでもよい。
【0068】
例えば、フレームｎ内の最大オブジェクトの種別はネコであり、フレームｎ＋１内の最大オブジェクトの種別もネコであるから、相関性はある。
【0069】
ステップＳ１１１１において、第1の情報のセットと第2の情報のセットとの相関性が所定の条件を満たす場合、処理はステップＳ１１１２に進み、そうでない場合処理はステップＳ１１１４に進む。
【0070】
ステップＳ１１１２において、判定部１３０は、第１のフレームと異なり、第２のフレームに対して第２最大情報の明るさと第２背景の明るさとのコントラストについての判定処理をスキップする。
【0071】
ステップＳ１１１４からステップＳ１１１８において、ステップＳ１０３からステップＳ１０７の処理が第２のフレームに含まれる１又は複数のオブジェクトに対してなされる。その後処理は終了する。
【0072】
ステップＳ１１１９において、補整部１４０は、補整された第１の最大情報のサブセットと、補整された第１の背景情報のサブセットとの少なくとも１つを記憶部１６０から読み出し、これら読み出した情報のサブセットの少なくとも１つに基づき、補整部１４０は、第２の最大オブジェクト及び第２の背景の少なくとも１つを補整する。補整処理の内容は、「第２最大オブジェクトの縁の色を所定割合だけ濃く補整する」、「第２最大オブジェクトの縁を構成する線を所定割合だけ太く補整する」、「第１背景の色を、第１最大オブジェクトとのコントラストが第１の所定の閾値以上となるように淡くする」、「第１背景の明るさ（例えば輝度）を所定割合だけ下げるように補整する」のいずれかでもよい。つまり、第２最大オブジェクトの明るさと第２背景の明るさとのコントラストが第１の所定の閾値以上になればよい。
【0073】
ステップＳ１１２０において、出力部１５０は、補整された第２のフレームを出力する。出力処理の詳細は第１実施形態と同様である。
【0074】
ステップＳ１１２１において、記憶部１６０は、第２の情報のセットと、補整後の第２最大オブジェクト及び第２背景の少なくとも１つを示す第２の補整された情報のセットとを記憶する。
【0075】
表示装置１０は、フレームｎ＋１に続く１又は複数のフレームに対しても同様の処理を実行する。
【0076】
以上説明したように、本実施形態に係る表示装置１０は、第１の情報のセットと、補整部１４０が第１最大オブジェクト及び第１背景の少なくとも１つを補整した場合の補整後の第１最大オブジェクト及び第１背景の少なくとも１つを示す第１の補整された情報のセットとを記憶する記憶部１６０をさらに備え、第１の情報のセットは、第１最大オブジェクトを特定する第１の最大情報のサブセットと、第１背景を特定する第１の背景情報のサブセットとを含み、第１の補整された情報のセットは、補整された第１最大オブジェクトを特定する補整された第１の最大情報のサブセットと、補整された第１背景を特定する補整された第１の背景情報のサブセットとの少なくとも１つを含み、抽出部１２０は、複数のフレームのうちの第２のフレームに含まれる第２の複数のオブジェクトを特定する第２の情報のセットを抽出し、記第１の情報のセットと第２の情報のセットとの相関性を抽出し、抽出された相関性が所定の基準を満たす場合、判定部は第２の複数のオブジェクトに対するコントラストに係る判定処理をスキップし、第２の情報のセットは、第２の複数のオブジェクトのうち最も大きなオブジェクトである第２最大オブジェクトを特定する第２の最大情報のサブセットと、第２最大オブジェクトに隣接した画像である第２背景を特定する第２の背景情報のサブセットとを含み、補整部１４０は、補整された第１の最大情報のサブセットと、補整された第１の背景情報のサブセットとの少なくとも１つに基づき、第２最大オブジェクト及び第２背景の少なくとも１つを補整し、出力部１５０は、補整された第２のフレームを出力し、記憶部１６０は、第２の情報のセットと、補整後の第２最大オブジェクト及び第２背景の少なくとも１つを示す第２の補整された情報のセットとを記憶し、第２のフレームは前記第１のフレームの次のフレームである。
【0077】
これにより、動画コンテンツに含まれる任意の連続するフレームが含むオブジェクトの内容が同一又は類似の場合、判定部１３０は最大オブジェクトの明るさと背景の明るさとのコントラスト比較に基づく判定処理を省略するため、補整処理にかかる負荷を低減できる。
【0078】
図１１は、本開示における学習装置１０の最小構成を示す図である。表示装置１０は、取得部１１０、抽出部１２０、判定部１３０及び補整部１４０を備える。第１及び第２実施形態と異なり、補整されたフレームについて出力部１５０による出力処理が省略される。
【0079】
図１２は、本実施形態に係る表示装置１０のハードウェア構成を説明する説明図である。表示装置１０は、入出力モジュールＩ、記憶モジュールＭ、及び制御モジュールＰを含んで構成される。入出力モジュールＩは、通信モジュールＨ１１、接続モジュールＨ１２、ポインティングデバイスＨ２１、キーボードＨ２２、ディスプレイＨ２３、ボタンＨ３、マイクＨ４１、スピーカＨ４２、カメラＨ５１、又はセンサＨ５２の一部或いは全部を含んで実現される。
【0080】
記憶モジュールＭは、ドライブＨ７を含んで実現される。記憶モジュールＭは、さらに、メモリＨ８の一部或いは全部を含んで構成されてもよい。制御モジュールＰは、メモリＨ８及びプロセッサＨ９を含んで実現される。これらのハードウェア構成要素は、バス（Ｂｕｓ）を介して、相互に通信可能に接続されるとともに、電源Ｈ６から電力を供給されている。
【0081】
接続モジュールＨ１２は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉｕｌ Ｂｕｓ）等のデジタル入出力ポートである。携帯機器の場合、ポインティングデバイスＨ２１、キーボードＨ２２、及びディスプレイＨ２３は、タッチパネルである。センサＨ５２は、加速度センサ、ジャイロセンサ、ＧＰＳ受信モジュール、近接センサ等である。電源Ｈ６は、各装置を動かすために必要な電気を供給する電源ユニットである。携帯機器の場合、電源Ｈ６は、バッテリーである。
【0082】
ドライブＨ７は、ハードディスクドライブやソリッドステートドライブ等の補助記憶媒体である。ドライブＨ７は、ＥＥＰＲＯＭやフラッシュメモリ等の不揮発性メモリ、又は、光磁気ディスクドライブやフレキシブルディスクドライブであってもよい。また、ドライブＨ７は、例えば、各装置に内蔵されるものに限らず、ＩＦモジュールＨ１２のコネクタに接続された外付け型の記憶装置でもよい。
【0083】
メモリＨ８は、ランダムアクセスメモリ等の主記憶媒体である。なお、メモリＨ８は、キャッシュメモリであってもよい。メモリＨ８は、一又は複数のプロセッサＨ９によって命令が実行されるときに、これらの命令を格納する。プロセッサＨ９は、ＣＰＵ（中央演算装置）である。プロセッサＨ９は、ＭＰＵ（マイクロプロセッシングユニット）又はＧＰＵ（グラフィックスプロセッシングユニット）であってもよい。プロセッサＨ９は、メモリＨ８を介してドライブＨ７から、プログラム及び各種データを読み出して演算を行うことで、一又は複数のメモリＨ８に格納した命令を実行する。
【0084】
入出力モジュールＩは、取得部１１０及び出力部１５０を実現する。記憶モジュールＭは、記憶部１６０を実現する。通信モジュールＨ１１は、出力部１５０を実現してもよい。
【0085】
制御モジュールＰは、抽出部１２０、判定部１３０及び補整部１４０を実現する。
【0086】
以上、この発明の一態様として各実施形態や変形例に関して図面を参照して詳述してきたが、具体的な構成は各実施形態や変形例に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、本開示の一態様は、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。また、上記各実施形態や変形例に記載された要素であり、同様の効果を奏する要素同士を置換した構成も含まれる。
【0087】
例えば、上記各実施形態の一部又は全部を組み合わせることで本開示の一態様を実現してもよい。
【0088】
上述の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0089】
（付記１）
連続する複数のフレームを含む動画コンテンツを取得する取得部と、
前記複数のフレームのうちの第１のフレームに含まれる第１の複数のオブジェクトを示す特定する第１の情報のセット を抽出する抽出部と、
前記第１の情報のセットに基づき、前記第１の複数のオブジェクトのうち最も大きなオブジェクトである第１最大オブジェクトの明るさと、前記最も大きなオブジェクト以外のオブジェクトである第１背景 の明るさとのコントラストを比較することにより、前記コントラストが第１の所定の閾値より小さいか否かを判定する判定部と、
前記コントラストが前記第１の所定の閾値より小さい場合、前記第１最大オブジェクト及び前記第１背景の少なくとも１つを補整する補整部と、
前記補整された第１のフレームを出力する出力部と、を備える
表示装置。
連続する複数のフレームを含む動画コンテンツを取得する取得部と、
前記複数のフレームのうちの第１のフレームに含まれる第１の複数のオブジェクトを示す特定する第１の情報のセット を抽出する抽出部と、
前記第１の情報のセットに基づき、前記第１の複数のオブジェクトのうち最も大きなオブジェクトである第１最大オブジェクトの明るさと、前記最も大きなオブジェクト以外のオブジェクトである第１背景 の明るさとのコントラストを比較することにより、前記コントラストが第１の所定の閾値より小さいか否かを判定する判定部と、
前記コントラストが前記第１の所定の閾値より小さい場合、前記第１最大オブジェクト及び前記第１背景の少なくとも１つを補整する補整部と、
前記補整された第１のフレームを出力する出力部と、を備える
表示装置。
【0090】
（付記２）
前記コントラストが前記第１の所定の閾値より小さい場合、前記補整部は、前記第１最大オブジェクト及び前記第１背景の少なくとも１つの明るさを補整する
付記１に記載の表示装置。
前記コントラストが前記第１の所定の閾値より小さい場合、前記補整部は、前記第１最大オブジェクト及び前記第１背景の少なくとも１つの明るさを補整する
付記１に記載の表示装置。
【0091】
（付記３）
前記コントラストが前記第１の所定の閾値より小さい場合、前記補整部は、前記第１最大オブジェクト及び前記第１背景の少なくとも１つの外縁の明るさを補整する
付記１又は２に記載の表示装置
前記コントラストが前記第１の所定の閾値より小さい場合、前記補整部は、前記第１最大オブジェクト及び前記第１背景の少なくとも１つの外縁の明るさを補整する
付記１又は２に記載の表示装置
【0092】
（付記４）
前記第１の情報のセットと、前記補整部が前記第１最大オブジェクト及び前記第１背景の少なくとも１つを補整した場合の補整後の前記第１最大オブジェクト及び前記第１背景の少なくとも１つを示す第１の補整された情報のセットとを記憶する記憶部をさらに備え、
前記第１の情報のセットは、前記第１最大オブジェクトを特定する第１の最大情報のサブセットと、前記第１背景を特定する第１の背景情報のサブセットとを含み、
前記第１の補整された情報のセットは、補整された前記第１最大オブジェクトを特定する補整された第１の最大情報のサブセットと、補整された前記第１背景を特定する補整された第１の背景情報のサブセットとの少なくとも１つを含み、
前記抽出部は、
前記複数のフレームのうちの第２のフレームに含まれる第２の複数のオブジェクトを特定する第２の情報のセットを抽出し、
前記第１の情報のセットと前記第２の情報のセットとの相関性を抽出し、
前記相関性が所定の基準を満たす場合、前記判定部は前記第２の複数のオブジェクトに対する判定処理をスキップし、
前記第２の情報のセットは、前記第２の複数のオブジェクトのうち最も大きなオブジェクトである第２最大オブジェクトを特定する第２の最大情報のサブセットと、前記第２最大オブジェクト以外のオブジェクトである第２背景を特定する第２の背景情報のサブセットとを含み、
前記補整部は、前記補整された第１の最大情報のサブセットと、前記補整された第１の背景情報のサブセットとの少なくとも１つに基づき、前記第２最大オブジェクト及び前記第２背景の少なくとも１つを補整し、
前記出力部は、前記補整された第２のフレームを出力し、
前記記憶部は、前記第２の情報のセットと、補整後の前記第２最大オブジェクト及び前記第２背景の少なくとも１つを示す第２の補整された情報のセットとを記憶し、
前記第２のフレームは前記第１のフレームの次のフレームである
付記１から３のいずれか一に記載の表示装置。
前記第１の情報のセットと、前記補整部が前記第１最大オブジェクト及び前記第１背景の少なくとも１つを補整した場合の補整後の前記第１最大オブジェクト及び前記第１背景の少なくとも１つを示す第１の補整された情報のセットとを記憶する記憶部をさらに備え、
前記第１の情報のセットは、前記第１最大オブジェクトを特定する第１の最大情報のサブセットと、前記第１背景を特定する第１の背景情報のサブセットとを含み、
前記第１の補整された情報のセットは、補整された前記第１最大オブジェクトを特定する補整された第１の最大情報のサブセットと、補整された前記第１背景を特定する補整された第１の背景情報のサブセットとの少なくとも１つを含み、
前記抽出部は、
前記複数のフレームのうちの第２のフレームに含まれる第２の複数のオブジェクトを特定する第２の情報のセットを抽出し、
前記第１の情報のセットと前記第２の情報のセットとの相関性を抽出し、
前記相関性が所定の基準を満たす場合、前記判定部は前記第２の複数のオブジェクトに対する判定処理をスキップし、
前記第２の情報のセットは、前記第２の複数のオブジェクトのうち最も大きなオブジェクトである第２最大オブジェクトを特定する第２の最大情報のサブセットと、前記第２最大オブジェクト以外のオブジェクトである第２背景を特定する第２の背景情報のサブセットとを含み、
前記補整部は、前記補整された第１の最大情報のサブセットと、前記補整された第１の背景情報のサブセットとの少なくとも１つに基づき、前記第２最大オブジェクト及び前記第２背景の少なくとも１つを補整し、
前記出力部は、前記補整された第２のフレームを出力し、
前記記憶部は、前記第２の情報のセットと、補整後の前記第２最大オブジェクト及び前記第２背景の少なくとも１つを示す第２の補整された情報のセットとを記憶し、
前記第２のフレームは前記第１のフレームの次のフレームである
付記１から３のいずれか一に記載の表示装置。
【0093】
（付記５）
前記第１の最大情報のサブセットは、前記第１最大オブジェクトの種別と、前記第１最大オブジェクトが含む複数の画素それぞれの座標及び色と、前記第１最大オブジェクトの明るさと、のうちの少なくとも１つを含み、
前記第１の背景情報のサブセットは、前記第１背景の識別情報と、前記第１背景が含む複数の画素それぞれの座標及び色と、前記第１背景の明るさと、のうちの少なくとも１つを含み、
前記第２の最大情報のサブセットは、前記第２最大オブジェクトの種別と、前記第２最大オブジェクトが含む複数の画素それぞれの座標及び色と、前記第２最大オブジェクトの明るさと、のうちの少なくとも１つを含み、
前記第２の背景情報のサブセットは、前記第２背景の識別子と、前記第２背景が含む複数の画素それぞれの座標及び色と、前記第２背景の明るさと、のうちの少なくとも１つを含む
付記１から４のいずれか一に記載の表示装置。
前記第１の最大情報のサブセットは、前記第１最大オブジェクトの種別と、前記第１最大オブジェクトが含む複数の画素それぞれの座標及び色と、前記第１最大オブジェクトの明るさと、のうちの少なくとも１つを含み、
前記第１の背景情報のサブセットは、前記第１背景の識別情報と、前記第１背景が含む複数の画素それぞれの座標及び色と、前記第１背景の明るさと、のうちの少なくとも１つを含み、
前記第２の最大情報のサブセットは、前記第２最大オブジェクトの種別と、前記第２最大オブジェクトが含む複数の画素それぞれの座標及び色と、前記第２最大オブジェクトの明るさと、のうちの少なくとも１つを含み、
前記第２の背景情報のサブセットは、前記第２背景の識別子と、前記第２背景が含む複数の画素それぞれの座標及び色と、前記第２背景の明るさと、のうちの少なくとも１つを含む
付記１から４のいずれか一に記載の表示装置。
【0094】
（付記６）
前記所定の基準は、
前記第１最大オブジェクトの種別と前記第２最大オブジェクトの種別とが同一であること、
前記第１最大オブジェクトが含む複数の画素の数と前記第２最大オブジェクトが含む複数の画素の数との差が第２の所定の閾値以下であること、
前記第１最大オブジェクトの明るさと前記第２最大オブジェクトの明るさとの差が第３の所定の閾値以下であること、
の少なくとも１つである
付記１から５のいずれか一に記載の表示装置。
前記所定の基準は、
前記第１最大オブジェクトの種別と前記第２最大オブジェクトの種別とが同一であること、
前記第１最大オブジェクトが含む複数の画素の数と前記第２最大オブジェクトが含む複数の画素の数との差が第２の所定の閾値以下であること、
前記第１最大オブジェクトの明るさと前記第２最大オブジェクトの明るさとの差が第３の所定の閾値以下であること、
の少なくとも１つである
付記１から５のいずれか一に記載の表示装置。
【0095】
（付記７）
表示装置によって実行される方法であって、
連続する複数のフレームを含む動画コンテンツを取得するステップと、
前記複数のフレームのうちの第１のフレームに含まれる第１の複数のオブジェクトを特定する第１の情報のセットを抽出するステップと、
前記第１の情報のセットに基づき、前記第１の複数のオブジェクトのうち最も大きなオブジェクトである第１最大オブジェクトの明るさと、前記最も大きなオブジェクト以外のオブジェクトである第１背景の明るさとのコントラストを比較することにより、前記コントラストが第１の所定の閾値より小さいか否かを判定するステップと、
前記コントラストが前記第１の所定の閾値より小さい場合、前記第１最大オブジェクト及び前記第１背景の少なくとも１つを補整するステップと、
前記補整された第１のフレームを出力するステップと、を備える
方法。
表示装置によって実行される方法であって、
連続する複数のフレームを含む動画コンテンツを取得するステップと、
前記複数のフレームのうちの第１のフレームに含まれる第１の複数のオブジェクトを特定する第１の情報のセットを抽出するステップと、
前記第１の情報のセットに基づき、前記第１の複数のオブジェクトのうち最も大きなオブジェクトである第１最大オブジェクトの明るさと、前記最も大きなオブジェクト以外のオブジェクトである第１背景の明るさとのコントラストを比較することにより、前記コントラストが第１の所定の閾値より小さいか否かを判定するステップと、
前記コントラストが前記第１の所定の閾値より小さい場合、前記第１最大オブジェクト及び前記第１背景の少なくとも１つを補整するステップと、
前記補整された第１のフレームを出力するステップと、を備える
方法。
【0096】
（付記８）
コンピュータに、
連続する複数のフレームを含む動画コンテンツを取得するステップと、
前記複数のフレームのうちの第１のフレームに含まれる第１の複数のオブジェクトを特定する第１の情報のセットを抽出するステップと、
前記第１の情報のセットに基づき、前記第１の複数のオブジェクトのうち最も大きなオブジェクトである第１最大オブジェクトの明るさと、前記最も大きなオブジェクト以外のオブジェクトである第１背景の明るさとのコントラストを比較することにより、前記コントラストが第１の所定の閾値より小さいか否かを判定するステップと、
前記コントラストが前記第１の所定の閾値より小さい場合、前記第１最大オブジェクト及び前記第１背景の少なくとも１つを補整するステップと、
前記補整された第１のフレームを出力するステップと
を実行させるためのプログラム。
コンピュータに、
連続する複数のフレームを含む動画コンテンツを取得するステップと、
前記複数のフレームのうちの第１のフレームに含まれる第１の複数のオブジェクトを特定する第１の情報のセットを抽出するステップと、
前記第１の情報のセットに基づき、前記第１の複数のオブジェクトのうち最も大きなオブジェクトである第１最大オブジェクトの明るさと、前記最も大きなオブジェクト以外のオブジェクトである第１背景の明るさとのコントラストを比較することにより、前記コントラストが第１の所定の閾値より小さいか否かを判定するステップと、
前記コントラストが前記第１の所定の閾値より小さい場合、前記第１最大オブジェクト及び前記第１背景の少なくとも１つを補整するステップと、
前記補整された第１のフレームを出力するステップと
を実行させるためのプログラム。
【0097】
（付記９）
コンピュータに、
連続する複数のフレームを含む動画コンテンツを取得するステップと、
前記複数のフレームのうちの第１のフレームに含まれる第１の複数のオブジェクトを特定する第１の情報のセットを抽出するステップと、
前記第１の情報のセットに基づき、前記第１の複数のオブジェクトのうち最も大きなオブジェクトである第１最大オブジェクトの明るさと、前記最も大きなオブジェクト以外のオブジェクトである第１背景の明るさとのコントラストを比較することにより、前記コントラストが第１の所定の閾値より小さいか否かを判定するステップと、
前記コントラストが前記第１の所定の閾値より小さい場合、前記第１最大オブジェクト及び前記第１背景の少なくとも１つを補整するステップと、
前記補整された第１のフレームを出力するステップと
を実行させるためのプログラムを記憶した記憶媒体。
コンピュータに、
連続する複数のフレームを含む動画コンテンツを取得するステップと、
前記複数のフレームのうちの第１のフレームに含まれる第１の複数のオブジェクトを特定する第１の情報のセットを抽出するステップと、
前記第１の情報のセットに基づき、前記第１の複数のオブジェクトのうち最も大きなオブジェクトである第１最大オブジェクトの明るさと、前記最も大きなオブジェクト以外のオブジェクトである第１背景の明るさとのコントラストを比較することにより、前記コントラストが第１の所定の閾値より小さいか否かを判定するステップと、
前記コントラストが前記第１の所定の閾値より小さい場合、前記第１最大オブジェクト及び前記第１背景の少なくとも１つを補整するステップと、
前記補整された第１のフレームを出力するステップと
を実行させるためのプログラムを記憶した記憶媒体。
【符号の説明】
【0098】
１０…表示装置、１１０…取得部、１２０…抽出部、１３０…判定部、１４０…補整部、１５０…出力部、１６０…記憶部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】