特許 7663374 表示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-04-08

(45)【発行日】2025-04-16

(54)【発明の名称】表示装置

(51)【国際特許分類】

   H04N 21/433 20110101AFI20250409BHJP

   H04N 21/442 20110101ALI20250409BHJP

   H04N 5/92 20060101ALI20250409BHJP

   G09G 5/36 20060101ALI20250409BHJP

   G09G 5/00 20060101ALI20250409BHJP

   G09G 5/37 20060101ALI20250409BHJP

【ＦＩ】

H04N21/433

H04N21/442

H04N5/92 010

G09G5/36 400

G09G5/00 550C

G09G5/00 555G

G09G5/00 510H

G09G5/37 600

【請求項の数】 5

(21)【出願番号】P 2021035043

(22)【出願日】2021-03-05

(65)【公開番号】P2022135308

(43)【公開日】2022-09-15

【審査請求日】2023-09-20

(73)【特許権者】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】100147304

【弁理士】

【氏名又は名称】井上 知哉

(74)【代理人】

【識別番号】100148493

【弁理士】

【氏名又は名称】加藤 浩二

(72)【発明者】

【氏名】日吉 将之

(72)【発明者】

【氏名】石渡 八代

(72)【発明者】

【氏名】高田 智弘

(72)【発明者】

【氏名】露久志 力

【審査官】渡部 博樹

(56)【参考文献】

【文献】米国特許出願公開第２０２０／０３２２６４７（ＵＳ，Ａ１）

【文献】特開平０９－０９３５６２（ＪＰ，Ａ）

【文献】特開２０１０－０１６４８２（ＪＰ，Ａ）

【文献】特開２０１６－１１１３７９（ＪＰ，Ａ）

【文献】特開２０１０－００４３５５（ＪＰ，Ａ）

【文献】特開２０１８－１１３６２５（ＪＰ，Ａ）

【文献】特開２０１４－１２７９８６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００ ー ２１／８５８

Ｈ０４Ｎ ５／９２

Ｇ０９Ｇ ５／００

(57)【特許請求の範囲】

【請求項1】

受信した映像信号に基づく動画像を表示する表示部と、
前記表示部に表示された動画像を視聴している視聴者の変化を取得する取得部と、
前記取得部により取得された視聴者の変化に基づいて前記動画像のハイライトシーンを特定する特定部と、
前記映像信号を記憶する記憶部と、
前記動画像を視聴している視聴者の数を検出する視聴者数センサと、を備え、
前記視聴者数センサが前記視聴者数の増加を検出した後に、受信された前記映像信号に基づく前記動画像に、前記ハイライトシーンを含む前記記憶部に記憶された前記映像信号に基づく前記動画像を合成して前記表示部に表示し、
前記取得部は、前記視聴者から生じる物理量を検出するセンサであり、
前記特定部は、前記取得部によって取得された視聴者から生じる物理量が予め定められた第一閾値以上になってから、前記物理量が第一閾値を超える第二閾値以上になった場合、前記物理量が前記第二閾値以上になるまでの場面を前記ハイライトシーンとして特定し、前記物理量が前記第二閾値以上になってから、予め定められた時間内に前記物理量が前記第二閾値以上にならない場合、前記ハイライトシーンが終了したと判定する、表示装置。

【請求項2】

前記特定部によって前記ハイライトシーンが特定された場合に、前記ハイライトシーンと特定された場面よりも以前の場面から前記記憶部に記憶し、記憶された映像信号に基づく動画像を再生する、請求項１に記載の表示装置。

【請求項3】

前記特定部によって前記ハイライトシーンが特定された場合に、前記記憶部に記憶された映像信号のうち、前記ハイライトシーンと特定された場面の最初に対応する部分と最後に対応する部分との少なくとも一方にタグを附す、請求項１に記載の表示装置。

【請求項4】

前記センサは、前記視聴者から生じる音を取得するマイク、及び前記視聴者を撮像する撮像素子のうちの少なくとも一方である、請求項１に記載の表示装置。

【請求項5】

前記表示装置の視聴者が操作する操作子をさらに備え、
前記取得部は、前記表示装置の視聴者が前記操作子を操作したことを前記視聴者の変化として取得する、請求項１～３のいずれか一項記載の表示装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、表示装置に関する。

【背景技術】

【0002】

特許文献１は、映像信号から観客の大歓声、アナウンサーの大声等の音声信号レベルの変化を検出し、ハイライトシーンを検出する技術を開示する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００３－１３４４１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示された技術では、映像信号に含まれる音声信号レベルの変化に基づいてハイライトシーンを特定するため、視聴者が実際には盛り上がらない場面をハイライトシーンとして検出するおそれがある。本開示の一態様は、視聴者が実際に盛り上がった場面をハイライトシーンとして特定できる表示装置を提供することを目的とする。

【課題を解決するための手段】

【0005】

本開示の一態様に係る表示装置は、受信した映像信号に基づく動画像を表示する表示部と、前記表示部に表示された動画像を視聴している視聴者の変化を取得する取得部と、前記取得部により取得された視聴者の変化に基づいて前記動画像のハイライトシーンを特定する特定部と、を備える。

【図面の簡単な説明】

【0006】

【図1】第一実施形態に係る表示装置の構成の一例を示す図である。

【図2】第一実施形態に係る表示装置の動作の一例を示すフローチャートである。

【図3】視聴者の変化を示す、視聴者から生じる物理量を取得する処理の一例を示すフローチャートである。

【図4】第二実施形態に係る表示装置の構成の一例を示す図である。

【図5】第二実施形態に係る表示装置の動作の一例を示すフローチャートである。

【図6】第三実施形態に係る表示装置の構成の一例を示す図である。

【図7】第三実施形態に係る表示装置の動作の一例を示すフローチャートである。

【図8】第四実施形態に係る表示装置の構成の一例を示す図である。

【図9】第四実施形態に係る表示装置の動作の一例を示すフローチャートである。

【図10】第五実施形態に係る表示装置の構成の一例を示す図である。

【図11】第五実施形態に係る表示装置の動作の一例を示すフローチャートである。

【発明を実施するための形態】

【0007】

（第一実施形態）
図１～図３を参照して、第一実施形態について説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。

【0008】

図１は、表示装置１００の構成の一例を示す図である。表示装置１００は、コンテンツ入力部１０１と、映像処理部１０２と、表示部１０３と、記憶部１０４と、取得部１０５と、特定部１０６と、再生部１０７と、映像切替部１０８とを含む。表示装置１００は、例えば、テレビ受像機等である。また、表示装置１００は、操作子１０９を備える。操作子１０９は、表示装置１００の視聴者が操作し、視聴者による操作を受け付ける。操作子１０９は、例えば、操作ボタン等であり、リモコンであってもよい。

【0009】

コンテンツ入力部１０１は、映像信号１１１を受信する。コンテンツ入力部１０１は、例えば、放送波受信装置、パッケージメディア再生装置、またはＶＯＤ（Video On Demand）等である。例えば、映像信号１１１は、デジタルテレビ放送の番組の映像信号である。また、映像信号１１１は、インターネット等のネットワークから取得された番組の映像信号であってもよい。また、映像信号１１１は、表示装置１００に接続されたビデオカメラまたは録画装置等の外部機器に記憶された映像信号であってもよい。さらに、映像信号１１１には、音声、音楽、または効果音等の音が含まれているものとする。

【0010】

映像処理部１０２は、コンテンツ入力部１０１が受信した映像信号１１１に基づいて、動画像１１２を再生する。

【0011】

表示部１０３は、動画像を表示する。具体的には、表示部１０３は、コンテンツ入力部１０１が受信した映像信号１１１に基づく動画像１１２を表示する。または、表示部１０３は、ハイライトシーンに対応する映像信号１１３に基づく動画像１１４を表示する。例えば、表示部１０３は、液晶パネルまたは有機ＥＬ（Electro-luminescence）パネル等である。

【0012】

記憶部１０４は、映像信号１１１を記憶し、例えば、ＲＡＭ（Random Access Memory）、ハードディスクドライブ、またはフラッシュメモリ等の記憶装置である。記憶部１０４は、映像信号１１１の一部である、ハイライトシーンに対応する映像信号１１３を記憶する。

【0013】

取得部１０５は、表示部１０３に表示された動画像を視聴している視聴者の変化を取得する。取得部１０５は、視聴者の変化を示す、視聴者から生じる物理量を検出するセンサを含む。本実施形態に係る取得部１０５は、視聴者から生じる物理量を検出するセンサとして、マイク１２１と、撮像素子１２２と、振動計１２３と、赤外線カメラ１２４とを含む。

【0014】

マイク１２１は、視聴者から生じる音を取得する。マイク１２１は、表示部１０３が向く方向からの音を取得できるように、表示装置１００に設置される。撮像素子１２２は、視聴者を撮像し、撮像画像を生成する。撮像素子１２２を搭載するＲＧＢカメラが、表示部１０３に対向する視聴者を撮像できるように、表示装置１００に設置される。振動計１２３は、視聴者から生じる振動を計測する。一例として、振動計１２３は、表示装置１００に設置される。赤外線カメラ１２４は、温度情報を取得する。温度情報は、赤外線カメラ１２４に対向する予め定められた領域内の複数の位置の温度を示す。例えば、赤外線カメラ１２４は、アレイ状に並んだ多眼赤外線センサを含んで構成され、複数の位置の温度を計測する。赤外線カメラ１２４は、表示部１０３に対向する視聴者の温度を計測できるように、表示装置１００に設置される。これにより、赤外線カメラ１２４は、撮像素子１２２によって撮像された撮像画像に含まれる視聴者の位置に対応する、視聴者の体温を示す温度情報を取得できる。

【0015】

さらに、取得部１０５は、音量変化検出部１３１、動き検出部１３２、振動変化検出部１３３、体温変化検出部１３４とを含む。音量変化検出部１３１は、マイク１２１によって取得された音量の変化量を検出する。動き検出部１３２は、撮像素子１２２によって生成された撮像画像に対する画像処理結果に基づいて、撮像画像に含まれる視聴者の像の動きの変化量を検出する。振動変化検出部１３３は、振動計１２３によって計測された振動の変化量を検出する。体温変化検出部１３４は、赤外線カメラ１２４によって計測された温度の変化量を検出する。

【0016】

特定部１０６は、取得部１０５により取得された視聴者の変化に基づいて、映像信号１１１に基づく動画像１１２のハイライトシーンを特定する。

【0017】

再生部１０７は、操作子１０９に対する視聴者の操作に応じて、映像信号１１１のうちでハイライトシーンに対応する映像信号１１３に基づく動画像１１４を再生する。

【0018】

映像切替部１０８は、映像信号１１１に基づく動画像１１２と、ハイライトシーンに対応する映像信号１１３に基づく動画像１１４とを切り替えて、表示部１０３に出力することで、ハイライトシーンに対応する映像信号１１３に基づく動画像１１４を表示部１０３に表示させる。例えば、映像切替部１０８は、再生部１０７がハイライトシーンに対応する映像信号１１３に基づく動画像１１４を再生した場合、ハイライトシーンに対応する映像信号１１３に基づく動画像１１４を表示部１０３に表示する。一方、例えば、映像切替部１０８は、再生部１０７がハイライトシーンに対応する映像信号１１３に基づく動画像１１４を再生しない場合、映像信号１１１に基づく動画像１１２を表示部１０３に出力することで、映像信号１１１に基づく動画像１１２に表示させる。

【0019】

次に、図２を参照し、表示装置１００の動作について説明する。図２は、表示装置１００の動作の一例を示すフローチャートである。コンテンツ入力部１０１が映像信号１１１を受信した場合、表示装置１００は、図２に例示するステップＳ２０１の処理を開始する。

【0020】

ステップＳ２０１において映像処理部１０２は、コンテンツ入力部１０１が受信した映像信号１１１に基づく動画像１１２を再生する。

【0021】

ステップＳ２０２において取得部１０５は、視聴者の変化を示す、視聴者から生じる物理量を取得する。ステップＳ２０２の処理の詳細は後述する。

【0022】

ステップＳ２０３において特定部１０６は、視聴者から生じる物理量が予め定められたハイライト条件を満たすか否かを判定する。例えば、ハイライト条件は、取得部１０５によって取得された視聴者から生じる物理量が予め定められた閾値以上であることである。

【0023】

ステップＳ２０３において視聴者の変化が予め定められたハイライト条件を満たさない場合、特定部１０６は、処理をステップＳ２０２に戻す。つまり、特定部１０６は、視聴者から生じる物理量が予め定められたハイライト条件を満たすまで、ステップＳ２０２及びＳ２０３の処理を繰り返す。

【0024】

一方、ステップＳ２０３において視聴者から生じる物理量が予め定められたハイライト条件を満たす場合、ステップＳ２０４において特定部１０６は、視聴者から生じる物理量がハイライト条件を満たしたときに再生されていた場面をハイライトシーンとして特定する。特定部１０６は、取得部１０５によって取得された視聴者から生じる物理量が予め定められた閾値以上になってから、予め定められた時間内に当該物理量が当該閾値以上にならない場合、ハイライトシーンが終了したと判定する。

【0025】

また、特定部１０６は、取得部１０５によって取得された視聴者から生じる物理量が予め定められた第一閾値以上になってから、当該物理量が第一閾値を超える第二閾値以上になった場合、当該物理量が第二閾値以上になるまでの場面をハイライトシーンとして特定してもよい。そして、特定部１０６は、当該物理量が第二閾値以上になってから、予め定められた時間内に当該物理量が当該閾値以上にならない場合、ハイライトシーンが終了したと判定してもよい。

【0026】

ステップＳ２０５において特定部１０６は、映像信号１１１のうち、特定されたハイライトシーンに対応する映像信号１１３を記憶部１０４に記憶する。

【0027】

ステップＳ２０６において再生部１０７は、視聴者の操作によるハイライトシーンを再生する指示を受け付けたか否かを判定する。ステップＳ２０６において再生部１０７が、視聴者の操作によるハイライトシーンを再生する指示を受け付けていない場合、再生部１０７は、ステップＳ２０２に処理を戻す。つまり、再生部１０７は、視聴者の操作によるハイライトシーンを再生する指示を受け付けるまで、ステップＳ２０２～ステップＳ２０６の処理を繰り返す。一方、ステップＳ２０６において再生部１０７が、視聴者の操作によるハイライトシーンを再生する指示を受け付けた場合、ステップＳ２０７において再生部１０７は、記憶部１０４に記憶されたハイライトシーンに対応する映像信号１１３に基づく動画像１１４を再生する。

【0028】

ステップＳ２０８において映像切替部１０８は、映像信号１１１に基づく動画像１１２と、ステップＳ２０７で再生された動画像１１４とを切り替えて、表示部１０３に出力することで、ハイライトシーンに対応する映像信号１１３に基づく動画像１１４を表示部１０３に表示させる。表示装置１００は、ステップＳ２０６～ステップＳ２０８の処理により、視聴者が望むタイミングでハイライトシーンを視聴者に視聴させることができる。

【0029】

ステップＳ２０９において再生部１０７は、ハイライトシーンに対応する映像信号１１３に基づく動画像１１４の再生が終了したか否かを判定する。ステップＳ２０９においてハイライトシーンに対応する映像信号１１３に基づく動画像１１４の再生が終了した場合、ステップＳ２１０において映像切替部１０８は、映像信号１１１に基づく動画像１１２を、表示部１０３に出力することで、受信された映像信号１１１に基づく動画像１１２を表示部１０３に表示させる。これにより、表示装置１００は、受信された映像信号１１１に基づく動画像１１２を引き続き視聴者に視聴させることができる。

【0030】

次に、図３を参照しながら、視聴者から生じる物理量を取得するステップＳ２０２の処理について詳細に説明する。図３は、ステップＳ２０２の処理の一例を示すフローチャートである。

【0031】

ステップＳ３０１において音量変化検出部１３１は、マイク１２１により取得された視聴者から生じる音を取得する。ここで、映像信号１１１に含まれる音声が表示装置１００から出力されるため、マイク１２１により、視聴者から生じる音と共に、映像信号１１１に含まれる音声信号による音が取得される。そこで、音量変化検出部１３１は、マイク１２１に入力された音声信号に、映像信号１１１に含まれる音声信号の逆位相の信号を重畳することで、マイク１２１に入力された音声信号の成分から、映像信号１１１に含まれる音声信号の成分を相殺する。これにより、音量変化検出部１３１は、マイク１２１に入力された音声信号から、マイク１２１により取得された視聴者から生じる音を取得できる。

【0032】

ステップＳ３０２において音量変化検出部１３１は、予め定められた時間における、マイク１２１により取得された音量の変化量を検出する。

【0033】

ステップＳ３０３において動き検出部１３２は、撮像素子１２２によって生成された撮像画像から、撮像画像内の視聴者の像を検出する。例えば、動き検出部１３２は、撮像画像から、顔領域を検出し、検出された顔領域に基づいて、視聴者の像を検出する。ステップＳ３０４において動き検出部１３２は、撮像画像内の視聴者の像の動きの変化量を検出する。例えば、動き検出部１３２は、撮像画像に含まれる視聴者の像の位置、大きさ等の変化量を、視聴者の像の動きの変化量として検出する。

【0034】

ステップＳ３０５において振動変化検出部１３３は、振動計１２３の出力値を取得する。ステップＳ３０６において振動変化検出部１３３は、振動計１２３の出力値に基づいて、表示装置１００の振動の変化量を検出する。例えば、振動変化検出部１３３は、振動計１２３によって計測された振動の周波数の変化量、振幅の変化量等を検出する。

【0035】

ステップＳ３０７において体温変化検出部１３４は、赤外線カメラ１２４によって取得された温度情報を取得する。

【0036】

ステップＳ３０８において体温変化検出部１３４は、赤外線カメラ１２４によって取得された温度情報に基づいて、視聴者の体温の変化量を検出する。例えば、体温変化検出部１３４は、予め定められた時間における、撮像素子１２２によって撮像された撮像画像に含まれる視聴者の位置に対応する、温度情報により示される温度の変化量を検出する。

【0037】

ステップＳ３０２で検出された音量の変化量と、ステップＳ３０４で検出された撮像画像内の視聴者の像の動きの変化量と、ステップＳ３０６で検出された表示装置１００の振動の変化量と、ステップＳ３０８で検出された視聴者の体温の変化量とは、それぞれ視聴者から生じる物理量の変化量である。視聴者が映像信号１１１に基づく動画像１１２を視聴中に、視聴者が興奮して盛り上がるほど、視聴者から生じる物理量の変化量が他の場面よりも大きくなる。そのため、視聴者がハイライトシーンを視聴中には、視聴者から生じる物理量の変化量が他の場面より大きくなる可能性がある。

【0038】

例えば、視聴者がスポーツ中継である映像信号１１１に基づく動画像１１２を視聴している場合、得点シーン等のハイライトシーンにおいて、他のシーンよりも大きな声で歓声を上げたり、ガッツポーズをしたり、興奮して体温が上昇する場合がある。また、得点シーン等のハイライトシーンにおいて、視聴者が興奮して足踏み等をする場合がある。そこで、音量変化検出部１３１は、視聴者が歓声を上げた場合における音量の変化を検出する。また、動き検出部１３２は、視聴者がガッツポーズをした場合における動きの変化を検出する。また、視聴者の足踏み等による床の振動が表示装置１００の設置台に伝搬し、当該設置台が振動することで、表示装置１００が振動する。それにより、例えば、振動計１２３が表示装置１００に設置される場合、振動計１２３は、表示装置１００の振動を計測する。または、振動計１２３は、視聴者から生じる振動として、床の振動を計測してもよい。振動変化検出部１３３は、振動計により計測された振動の変化を検出する。また、体温変化検出部１３４は、視聴者が興奮した場合における体温の変化を検出する。

【0039】

以上の通り、表示装置１００は、視聴者の変化に基づいて、ハイライトシーンを特定するため、視聴者が実際に盛り上がった場面をハイライトシーンとして特定できる。

【0040】

（変形例１）
本実施形態に係る表示装置１００の変形例１として、取得部１０５は、表示装置１００の視聴者が操作子１０９を操作したことを、視聴者の変化として取得してもよい。例えば、視聴者が動画像の視聴中にハイライトシーンだと思う場面において、リモコン等の操作子１０９の予め定められたボタンを押す。取得部１０５は、当該予め定められたボタンが押されたことを示す信号を取得する。その場合、特定部１０６は、当該予め定められたボタンが押された場面を、ハイライトシーンとして特定してもよい。これにより、表示装置１００は、視聴者により指定された場面をハイライトシーンとして特定できる。

【0041】

（変形例２）
本実施形態に係る表示装置１００の変形例２として、特定部１０６は、ハイライトシーンが特定された場合に、記憶部１０４に記憶された映像信号１１３のうち、ハイライトシーンと特定された場面の最初に対応する部分と最後に対応する部分との少なくとも一方にタグを附してもよい。これにより、表示装置１００は、異なるハイライトシーンに対応する複数の映像信号１１３が記憶部１０４に記憶される場合に、当該タグに基づいてそれぞれのハイライトシーンを区別することができる。

【0042】

（変形例３）
本実施形態に係る表示装置１００の変形例３として、特定部１０６は、ハイライトシーンの特定を開始してから、ハイライトシーンが終了したと判定するまで、ハイライト検出中であることを視聴者に報知してもよい。例えば、特定部１０６は、ハイライトシーンの特定を開始してから、ハイライトシーンが終了したと判定するまで、「ハイライト検出中」とのメッセージを表示部１０３に出力することで、当該メッセージを表示部１０３に表示させる。または、特定部１０６は、ハイライトシーンの特定を開始してから、ハイライトシーンが終了したと判定するまで、ハイライト検出中であることを示す記号等を表示部１０３に出力してもよい。例えば、特定部１０６は、ハイライト検出中であることを示す記号等を表示部１０３に点滅表示させてもよい。

【0043】

（変形例４）
例えば、ハイライトシーンにおいて視聴者の当該歓声によって表示装置１００から出力される音がかき消されてしまうおそれがある。そこで、本実施形態に係る表示装置１００の変形例４として、特定部１０６は、ハイライトシーンの特定を開始してから、ハイライトシーンが終了したと判定するまで、映像信号１１１に含まれる音声、音楽、または効果音等の音量を上げてもよい。これにより、表示装置１００においては、ハイライトシーンにおいて視聴者の歓声によって表示装置１００から出力される音がかき消されることなく、ハイライトシーンを視聴者に楽しませることができる。

【0044】

（変形例５）
本実施形態に係る表示装置１００の変形例５として、特定部１０６は、同一の映像信号１１１に関して、ハイライトシーンを特定した回数をカウントしてもよい。さらに、特定部１０６は、ハイライト条件を満たした視聴者から生じる物理量に基づいて、視聴者の盛り上がりレベルを決定してもよい。例えば、特定部１０６は、ハイライト条件を満たした視聴者から生じる物理量が大きいほど、視聴者の盛り上がりレベルが高いと判定する。そして、特定部１０６は、ハイライトシーンを特定した回数と、視聴者の盛り上がりレベルとを、記憶部１０４に記憶する。

【0045】

（第二実施形態）
図４～図５を参照して、第二実施形態について説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。他の実施形態と実質的に共通の機能を有する構成及び処理を共通の符号で参照して説明を省略し、他の実施形態と異なる点を説明する。

【0046】

図４は、本実施形態に係る表示装置４００の構成の一例を示す図である。図４に例示する表示装置４００と、図１に例示する表示装置１００との相違点は、図４に例示する表示装置４００は、映像切替部１０８に代えて映像合成部４０１を含む点にある。

【0047】

映像合成部４０１は、受信された映像信号１１１に基づく動画像１１２と、ハイライトシーンに対応する映像信号１１３に基づく動画像１１４とが表示部１０３に表示されるように、動画像１１２に動画像１１４を合成する。

【0048】

次に、図５を参照し、表示装置４００の動作について説明する。図５は、表示装置４００の動作の一例を示すフローチャートである。表示装置４００は、コンテンツ入力部１０１が映像信号１１１を受信した場合、図２に例示するステップＳ２０１の処理を開始する。そして、表示装置４００は、図２に例示するステップＳ２０２～ステップＳ２０６の処理を実行する。ステップＳ２０６において再生部１０７が、視聴者の操作によるハイライトシーンを再生する指示を受け付けた場合、表示装置４００は、図２に例示するステップＳ２０７の処理を実行した後に、図５に例示するＳ５０１の処理を実行する。

【0049】

ステップＳ５０１において映像合成部４０１は、ステップＳ２０１で受信された映像信号１１１に基づく動画像１１２に、ステップＳ２０７で再生されたハイライトシーンに対応する映像信号１１３に基づく動画像１１４を合成する。例えば、映像合成部４０１は、動画像１１２のうちの一部の領域に、ハイライトシーンに対応する映像信号１１３に基づく動画像１１４が重ねてＰｉｎＰ（Picture in Picture）形式で表示されるように、動画像１１２に、ハイライトシーンに対応する映像信号１１３に基づく動画像１１４を合成する。

【0050】

ステップＳ５０２において映像合成部４０１は、ステップＳ５０１で合成された動画像を表示部１０３に出力することで、ハイライトシーンに対応する映像信号１１３に基づく動画像１１４と、受信された映像信号１１１に基づく動画像１１２とを表示部１０３に表示させる。これにより、表示装置４００は、受信された映像信号１１１に基づく動画像１１２とともに、ハイライトシーンを視聴者に視聴させることができる。

【0051】

例えば、受信された映像信号１１１に基づく動画像１１２を視聴中に、視聴者数が増加した場合、視聴者はハイライトシーンを再生する操作を行う。その場合、表示装置４００は、映像信号１１１に基づく動画像１１２を視聴者に視聴させつつ、ハイライトシーンも視聴者に視聴させることができる。これにより、表示装置４００は、新たな視聴者もハイライトシーンを視聴させることができるため、これまで動画像１１２を視聴していた視聴者とともに映像の盛り上がりを共有させることができる。

【0052】

ステップＳ２０９においてハイライトシーンに対応する映像信号１１３に基づく動画像１１４の再生が終了した場合、ステップＳ２１０において映像合成部４０１は、動画像１１２に動画像１１４を合成することを終了し、映像信号１１１に基づく動画像１１２を、表示部１０３に出力する。

【0053】

以上より、表示装置４００は、ハイライトシーンを視聴者に視聴させつつ、映像の続きを視聴者に視聴させることができる。

【0054】

（第三実施形態）
図６～図７を参照して、第三実施形態について説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。他の実施形態と実質的に共通の機能を有する構成及び処理を共通の符号で参照して説明を省略し、他の実施形態と異なる点を説明する。

【0055】

図６は、本実施形態に係る表示装置６００の構成の一例を示す図である。図６に例示する表示装置６００と、図４に例示する表示装置４００との相違点は、図６に例示する表示装置６００は、視聴者数センサ６０１を備える点にある。

【0056】

視聴者数センサ６０１は、表示部１０３に表示される動画像を視聴している視聴者の数を検出する。視聴者数センサ６０１は、顔検出部６１１と、熱源検出部６１２とを含む。顔検出部６１１は、撮像素子１２２によって生成された撮像画像から、顔領域を検出し、検出された顔領域数を算出する。顔領域数は、撮像画像に含まれる顔領域の個数である。熱源検出部６１２は、赤外線カメラ１２４によって取得された温度情報に基づいて、熱源数を算出する。熱源数は、視聴者の領域の個数を示す。

【0057】

本実施形態に係る再生部１０７は、視聴者数センサ６０１が視聴者の数の増加を検出した後に、ハイライトシーンを含めて記憶部に記憶された映像信号に基づく動画像を再生する。具体的には、本実施形態に係る再生部１０７は、顔検出部６１１によって検出された顔領域数が増加した場合、ハイライトシーンに対応する映像信号１１３に基づく動画像１１４を再生する。さらに、本実施形態に係る再生部１０７は、熱源検出部６１２によって熱源数が増加した場合、ハイライトシーンに対応する映像信号１１３に基づく動画像１１４を再生する。つまり、本実施形態に係る再生部１０７は、視聴者数が増加した場合、ハイライトシーンを再生する。

【0058】

次に、図７を参照し、表示装置６００の動作について説明する。表示装置６００は、コンテンツ入力部１０１が映像信号１１１を受信した場合、図２に例示するステップＳ２０１の処理を開始する。そして、表示装置６００は、図２に例示するステップＳ２０２～ステップＳ２０５の処理を実行する。ステップＳ２０５において特定部１０６が、映像信号１１１のうち、特定されたハイライトシーンに対応する映像信号１１３を記憶部１０４に記憶した後、表示装置６００は、図７に例示するステップＳ７０１の処理を実行する。

【0059】

ステップＳ７０１において、顔検出部６１１は、撮像素子１２２によって生成された撮像画像から、顔領域を検出し、顔領域数を算出する。例えば、顔検出部６１１は、撮像画像から、目、鼻、口等の特徴点を検出することで、顔領域を検出し、検出した顔領域数を算出する。

【0060】

ステップＳ７０２において熱源検出部６１２は、赤外線カメラによる温度情報に基づいて、熱源数を算出する。具体的には、熱源検出部６１２は、赤外線カメラ１２４によって取得された温度情報のうち、予め定められた大きさ以上の領域であり、且つ、予め定められた範囲の温度の領域を熱源として検出し、熱源数を算出する。予め定められた範囲の温度は、ヒトの体温に対応する温度であり、例えば、３５℃～４０℃である。

【0061】

ステップＳ７０３において再生部１０７は、ステップＳ７０１で算出された顔領域数、及びステップＳ７０２で算出された熱源数の少なくとも一方が増加したか否かを判定する。つまり、ステップＳ７０３において再生部１０７は、視聴者の数が増加したか否かを判定する。

【0062】

ステップＳ７０３において顔領域数、又は熱源数が増加したと判定されない場合、表示装置６００は、処理を図２に例示するステップＳ２０１に移行する。つまり、視聴者の数が増加したと判定されない場合、表示装置６００は、処理をステップＳ２０１に戻し、映像信号１１１に基づく動画像１１２の再生を継続する。一方、ステップＳ７０３において再生部１０７が、顔領域数、及び熱源数の少なくとも一方が増加したと判定した場合、ステップＳ７０４において映像合成部４０１は、映像信号１１１に基づく動画像１１２に、ハイライトシーンに対応する映像信号１１３に基づく動画像１１４を合成する。ステップＳ７０５において映像合成部４０１は、合成された動画像を表示部１０３に出力することで、ハイライトシーンに対応する映像信号１１３に基づく動画像１１４と、受信された映像信号１１１に基づく動画像１１２とを表示部１０３に表示させる。ステップＳ７０４～ステップＳ７０５の処理は、図５に例示するステップＳ５０１～ステップＳ５０２の処理を同様であるため、詳細な説明は省略する。

【0063】

以上の通り、表示装置６００は、撮像素子１２２によって生成された撮像画像、又は赤外線カメラ１２４によって取得された温度情報に基づいて、視聴者の数が増加したか否かを判定する。そして、表示装置６００は、視聴者数が増加した場合、ハイライトシーンに対応する映像信号１１３に基づく動画像１１４を視聴者に視聴させる。つまり、表示装置６００は、視聴者が増加した場合、ハイライトシーンを表示するため、視聴者が操作することなく、新たな視聴者にハイライトシーンを視聴させることができる。そのため、表示装置６００においては、これまで動画像１１２を視聴していた視聴者が視聴を続けながら、新たな視聴者に、動画像１１２の視聴開始とともに動画像１１２の盛り上がりを共有させることができる。

【0064】

（第四実施形態）
図８～図９を参照して、第四実施形態について説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。他の実施形態と実質的に共通の機能を有する構成及び処理を共通の符号で参照して説明を省略し、他の実施形態と異なる点を説明する。

【0065】

図８は、本実施形態に係る表示装置８００の構成の一例を示す図である。図８に例示する表示装置８００と、図１に例示する表示装置１００との相違点は、図８に例示する表示装置８００は、映像変化検出部８０１と、映像音量検出部８０２とを含む点にある。

【0066】

映像変化検出部８０１は、動画像１１２に含まれる物体の像の動きの変化に基づいて、動画像１１２の特定の変化を検出する。動画像１１２の特定の変化とは、動画像１１２に含まれる各フレーム内の予め定められた大きさの領域内の画素値の変化量である。各フレームの予め定められた大きさは、例えば、動画像１１２の画素数に対する割合に応じた大きさであってもよい。

【0067】

映像音量検出部８０２は、動画像１１２に含まれる音量の変化量に基づいて、動画像１１２の音声変化量を検出する。動画像１１２の音声変化量とは、動画像１１２に含まれる予め定められた時間内の音量の変化量である。

【0068】

本実施形態に係る特定部１０６は、映像変化検出部８０１によって検出された動画像１１２の特定の変化、及び映像音量検出部８０２によって検出された動画像１１２の音声変化量の少なくとも一方が、予め定められた映像変化ハイライト条件を満たすか否かを判定する。例えば、映像変化ハイライト条件は、動画像１１２の特定の変化、及び動画像１１２の音声変化量の少なくとも一方が、予め定められた閾値以上であることである。

【0069】

次に、図９を参照し、表示装置８００の動作について説明する。表示装置８００は、コンテンツ入力部１０１が映像信号１１１を受信した場合、図２に例示するステップＳ２０１の処理を開始する。そして、表示装置８００は、図２に例示するステップＳ２０１において映像処理部１０２が、受信された映像信号１１１に基づく動画像１１２を再生した場合、表示装置８００は、図９に例示するステップＳ９０１の処理を開始する。

【0070】

ステップＳ９０１において映像変化検出部８０１は、映像信号１１１に含まれる画像の変化に基づいて、動画像１１２の特定の変化を検出する。例えば、映像信号１１１がスポーツ中継の映像信号である場合に、得点シーンでは、得点表示を大きく映し出すなどの映像シーンの変化が見られることがある。その場合、映像信号１１１に含まれる画像には、特定の変化が見られる。その結果、映像信号１１１がスポーツ中継の映像信号である場合、得点シーンでは、動画像１１２に特定の変化が見られる。

【0071】

また、例えば、映像信号１１１がスポーツ中継の映像信号である場合、得点シーンのリプレイシーン等では、カメラアングルが複数回切り替わり、画面全体の映像が変化するなどの特定の変化が見られる。その場合、得点シーンのリプレイシーン等では、動画像１１２に特定の変化が見られる。

【0072】

ステップＳ９０２において映像音量検出部８０２は、映像信号１１１に含まれる音量の変化量に基づいて、動画像１１２の音声変化量を検出する。例えば、映像信号１１１がスポーツ中継の映像信号である場合、得点シーンでは、試合会場の歓声、アナウンサーの実況等の音声の音量が、他のシーンよりも大きくなる。そのため、映像信号１１１がスポーツ中継の映像信号である場合、得点シーンでは、動画像１１２の音声変化量が他のシーンよりも大きくなる。

【0073】

ステップＳ９０３において取得部１０５は、視聴者の変化を示す、視聴者から生じる物理量を取得する。ステップＳ９０３の処理は、図２に例示するステップＳ２０２の処理と同様であるため、詳細な説明は省略する。

【0074】

ステップＳ９０４において特定部１０６は、ステップＳ９０１で検出された動画像１１２の特定の変化、及びステップＳ９０２で検出された動画像１１２の音声変化量の少なくとも一方が、予め定められた映像変化ハイライト条件を満たすか否かを判定する。

【0075】

動画像１１２の特定の変化、及び動画像１１２の音声変化量の少なくとも一方が、予め定められた映像変化ハイライト条件を満たさない場合、表示装置８００は、処理を図２に例示するステップＳ２０１に移行する。つまり、動画像１１２の特定の変化、及び動画像１１２の音声変化量の少なくとも一方が、予め定められた映像変化ハイライト条件を満たさない場合、表示装置８００は、処理をステップＳ２０１に戻し、映像信号１１１に基づく動画像１１２の再生を継続する。一方、動画像１１２の特定の変化、及び動画像１１２の音声変化量の少なくとも一方が、予め定められた映像変化ハイライト条件を満たす場合、表示装置８００は処理をステップＳ９０５に移行する。

【0076】

ステップＳ９０５において特定部１０６は、ステップＳ９０３で取得された視聴者から生じる物理量が、予め定められたハイライト条件を満たすか否かを判定する。ステップＳ９０５の処理は、図２に例示するステップＳ２０２の処理と同様であるため、詳細な説明は省略する。

【0077】

ステップＳ９０６において特定部１０６は、予め定められた映像変化ハイライト条件が満たされ、且つ予め定められたハイライト条件が満たされた場面を、ハイライトシーンとして特定する。そして、表示装置８００は、処理を図２に例示するステップＳ２０５に移行する。

【0078】

以上の通り、表示装置８００は、動画像１１２の内容、且つ視聴者が盛り上がった場面でハイライトシーンとして特定する。これにより、表示装置８００は、映像信号１１１のうちで、より適切な場面をハイライトシーンとして特定できる。

【0079】

（第五実施形態）
図１０～図１１を参照して、第五実施形態について説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。他の実施形態と実質的に共通の機能を有する構成及び処理を共通の符号で参照して説明を省略し、他の実施形態と異なる点を説明する。

【0080】

図１０は、本実施形態に係る表示装置１０００の構成の一例を示す図である。図１０に例示する表示装置１０００と図１に例示する表示装置１００との相違点は、図１０に例示する表示装置１０００は、特定部１０６に映像記憶部１００１を含む点にある。

【0081】

映像記憶部１００１は、予め定められた時間間隔で、映像信号１１１を、繰り返し記憶し更新し続ける。

【0082】

本実施形態に係る特定部１０６は、ハイライトシーンであると特定した場面よりも以前の場面から、特定されたハイライトシーンが終了するまでの場面に対応する映像信号１００２を記憶部１０４に記憶する。具体的には、本実施形態に係る特定部１０６は、映像記憶部１００１に記憶される特定されたハイライトシーンから遡った予め定められた時間の１つの間隔分の映像信号と、特定されたハイライトシーンに対応する映像信号とからなる映像信号１００２を記憶部１０４に記憶する。本実施形態に係る再生部１０７は、映像信号１００２に基づく動画像１００３を再生する。

【0083】

次に、図１１を参照し、表示装置１０００の動作について説明する。表示装置１０００は、コンテンツ入力部１０１が映像信号１１１を受信した場合、図１１に例示するステップＳ２０１の処理を開始する。

【0084】

ステップＳ２０１において映像処理部１０２が、コンテンツ入力部１０１が受信した映像信号１１１に基づく動画像１１２を再生した場合、ステップＳ１１０１において特定部１０６は、再生されている動画像１１２に対応する映像信号１１１から予め定められた時間遡った映像信号を、映像記憶部１００１に記憶する。そして、表示装置１０００は、処理をステップＳ２０２に移行する。図１１に例示するステップＳ２０２～Ｓ２０４までの処理は、図２に例示するステップＳ２０２～Ｓ２０４と同様であるため、詳細な説明は省略する。

【0085】

ステップＳ２０４において特定部１０６がハイライトシーンを特定した場合、ステップＳ１１０２において特定部１０６は、ステップＳ１１０１で映像記憶部１００１に記憶された映像信号と、ステップＳ２０４で特定されたハイライトシーンが終了するまでの場面に対応する映像信号とを、記憶部１０４に記憶する。そして、表示装置１０００は、処理をステップＳ２０６に移行する。

【0086】

再生部１０７は、ステップＳ２０６において視聴者の操作によるハイライトシーンを再生する指示を受け付けた場合、ステップＳ１１０３において、記憶部１０４に記憶された映像信号１００２に基づく動画像１００３を再生する。

【0087】

ところで、視聴者が興奮して盛り上がるタイミングは、ハイライトシーンとなり得る事象が起きた後である。例えば、サッカー中継では、視聴者はゴールが決まったことを見ることで、興奮して盛り上がるものである。同様に、野球中継では、視聴者はホームランが決まったことを見ることで、興奮して盛り上がるものである。そのため、視聴者から生じる物理量が予め定められたハイライト条件を満たした後で、特定部１０６が再生されている場面をハイライトシーンとして特定した場合、ハイライトシーンとなり得る事象が起きた場面を、ハイライトシーンとして特定できないおそれがある。しかし、再生部１０７は、特定されたハイライトシーンよりも以前の場面から、ハイライトシーンが終了するまでに対応する映像信号に基づく動画像１００３を再生することで、ハイライトシーンとなり得る事象が起きた場面を含む動画像１００３を再生できる。

【0088】

ステップＳ１１０４において、映像切替部１０８は、受信された映像信号１１１に基づく動画像１１２と、ステップＳ１１０３で再生された動画像１００３とを切り替えて、表示部１０３に出力する。ステップＳ２０９において動画像１００３の再生が終了した場合、表示装置１０００は、ステップＳ２１０の処理を実行する。ステップＳ２１０の処理は、図２に例示するステップＳ２１０と同様であるため、詳細な説明は省略する。

【0089】

以上より、表示装置１０００は、特定されたハイライトシーンよりも以前の場面から、ハイライトシーンが終了するまでの動画像１００３を表示部１０３に表示させる。従って、表示装置１０００は、ハイライトシーンに至るまでの経過、及びハイライトシーンとなり得る事象が起きた場面を視聴者に視聴させることができる。

【0090】

表示装置１００、表示装置４００、表示装置６００、表示装置８００、表示装置１０００の制御ブロック（特に、映像処理部１０２、取得部１０５、特定部１０６、再生部１０７、映像切替部１０８、映像合成部４０１、映像変化検出部８０１、映像音量検出部８０２）は、集積回路（ＩＣ（Integrated Circuit）チップ）等に形成された論理回路（ハードウェア）によって実現可能であり、またＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。後者の場合、表示装置１００、表示装置４００、表示装置６００、表示装置８００、表示装置１０００は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭまたは記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ等を備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路等を用いることができる。また、上記プログラムは、伝送可能な任意の伝送媒体を介して上記コンピュータに供給されてよい。

【0091】

本開示は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態に夫々開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。更に、各実施形態に夫々開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

【符号の説明】

【0092】

１００ 表示装置、１０１ コンテンツ入力部、１０２ 映像処理部、１０３ 表示部、１０４ 記憶部、１０５ 取得部、１０６ 特定部、１０７ 再生部、１０８ 映像切替部、１０９ 操作子、１１１ 映像信号、１１２ 動画像、１１３ 映像信号、１１４ 動画像、１２１ マイク、１２２ 撮像素子、１２３ 振動計、１２４ 赤外線カメラ、１３１ 音量変化検出部、１３２ 検出部、１３３ 振動変化検出部、１３４ 体温変化検出部、４００ 表示装置、４０１ 映像合成部、５００ 表示装置、５０１ 映像合成部、６００ 表示装置、６０１ 視聴者数センサ、６１１ 顔検出部、６１２ 熱源検出部、８００ 表示装置、８０１ 映像変化検出部、８０２ 映像音量検出部、１０００ 表示装置、１００１ 映像記憶部、１００２ 映像信号、１００３ 動画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】