特許 7186374 映像信号処理装置、映像表示システム、及び映像信号処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-01

(45)【発行日】2022-12-09

(54)【発明の名称】映像信号処理装置、映像表示システム、及び映像信号処理方法

(51)【国際特許分類】

   H04N 19/503 20140101AFI20221202BHJP

   H04N 19/51 20140101ALI20221202BHJP

【ＦＩ】

H04N19/503

H04N19/51

【請求項の数】 6

(21)【出願番号】P 2018020309

(22)【出願日】2018-02-07

(65)【公開番号】P2019068394

(43)【公開日】2019-04-25

【審査請求日】2021-02-05

(31)【優先権主張番号】P 2017194022

(32)【優先日】2017-10-04

(33)【優先権主張国・地域又は機関】JP

【前置審査】

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110001379

【氏名又は名称】特許業務法人 大島特許事務所

(72)【発明者】

【氏名】渕上 竜司

【審査官】岩井 健二

(56)【参考文献】

【文献】特開昭６２－１６３４３２（ＪＰ，Ａ）

【文献】特開昭５８－１３６１７３（ＪＰ，Ａ）

【文献】国際公開第９８／２６６００（ＷＯ，Ａ１）

【文献】米国特許第５２５８９２８（ＵＳ，Ａ）

【文献】米国特許第４４１１００１（ＵＳ，Ａ）

【文献】米国特許第３４６２６８６（ＵＳ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００ － １９／９８

(57)【特許請求の範囲】

【請求項1】

入力された第１のビット数を有する第１の映像データを量子化することにより、前記第１のビット数よりも小さいビット数を有する映像データとして出力する映像信号処理装置であって、
前記第１の映像データを量子化した量子化データを出力する量子化器と、
前記量子化器から出力される前記量子化データを記憶する記憶部と、
前記第１の映像データに続けて入力される第２の映像データと前記記憶部に記憶された量子化データとの差分を算出する差分計算器と、
前記差分計算器から出力される前記差分を積算した積分データを出力する積分器と、を備え、
さらに、前記積分器は前記第２の映像データの出力値と前記積分データの出力値とを加えた出力データを生成し、前記量子化器は前記第２の映像データが入力されると前記積分器が生成した出力データを量子化することを特徴とする映像信号処理装置。

【請求項2】

前記第１の映像データと前記第１の映像データ以前の映像データとの間で動きベクトルを算出する動き予測部と、
前記動きベクトルに基づき、前記積分器における前記積分データを補正する動き補償部と、
を更に備えたことを特徴とする請求項１に記載の映像信号処理装置。

【請求項3】

前記量子化器から出力される前記量子化データを圧縮符号化する符号化器と、
前記符号化器から出力される前記量子化データを復号化する復号化器と、
を更に備え、
前記記憶部は、前記復号化器によって復号化された前記量子化データを順次記憶することを特徴とする請求項１に記載の映像信号処理装置。

【請求項4】

前記第１の映像データに関するフレームレートが、６０ｆｐｓよりも大きいことを特徴とする請求項１に記載の映像信号処理装置。

【請求項5】

請求項１に記載の前記映像信号処理装置と、
前記第１のビット数を有する前記第１の映像データを生成する撮像装置と、
前記映像信号処理装置から出力された映像データを受信し、この受信した前記映像データを復号する復号回路と、
前記復号回路によって復号された映像データに基づく映像を表示する表示装置と、
を備えたことを特徴とする映像表示システム。

【請求項6】

入力された第１のビット数を有する第１の映像データを量子化することにより、前記第１のビット数よりも小さい第２のビット数を有する映像データとして出力する映像信号処理方法であって、
前記第１の映像データに基づく入力データを、前記第２のビット数を有する映像データに量子化および出力し、
前記第２のビット数を有する映像データに量子化された量子化データを記憶し、
前記第１の映像データに続けて入力される第２の映像データと前記記憶された量子化データとの差分を算出し、
前記差分を積算した積分データを生成および出力し、
前記第２の映像データの出力値と前記積分データの出力値とを加えた出力データを生成し、前記第２の映像データが入力されると前記第２の映像データの出力値と前記積分データの出力値とを加えた出力データを量子化することを特徴とする映像信号処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、映像信号処理装置、映像表示システム、及び映像信号処理方法に関し、特に、比較的高いフレームレートを有する映像に好適な映像信号処理装置、映像表示システム、及び映像信号処理方法に関する。

【背景技術】

【0002】

映像（動画像）に対して画像処理や伝送を行うことにより、表示装置に映像を表示する映像表示システムは、人の視覚を考慮して６０ｆｐｓ（frame per seconds）以下のフレームレートにて動作するよう設計されるのが一般的である。このような映像表示システムでは、例えば、フレームレートが６０ｆｐｓの場合には、１フレームあたりの時間が約１６．６ｍｓとなるため、撮像装置によって生成された映像が表示装置で表示されるまでの間に、複数の画像処理や伝送が実行されることにより、システム全体としてある程度（例えば、１００ｍｓ）の遅延が発生することになる。

【0003】

そのような撮像（映像出力）に対する映像表示の遅延は、例えば、産業用ロボットで不規則に動く対象をピッキングする場合などのフィードバックを伴うリアルタイムシステムでは、ロボット等の動作の安定性に悪影響を及ぼし得る。また、そのような映像表示の遅延が解消されれば、リアルタイム映像を利用する内視鏡手術及び遠隔手術や、災害救助ロボットの遠隔操作などに用いられる映像表示システムにも有益である。

【0004】

一方で、映像に比較的高いフレームレート（例えば、９６０ｆｐｓ）を適用することにより、そのような遅延を解消（抑制）することも考えられるが、単にフレームレートを増大させた場合には、伝送量や演算量の増大を招くことになる。

【0005】

従来、映像の高解像度を維持しつつ伝送量を抑制するための技術として、例えば、監視用カメラによって撮影された映像に関し、人が出入りするドアの付近などに注目し、この監視したい注目監視エリアを高フレームレートで表示し、植物が置かれた場所や壁など注目監視エリアの背景となるようなエリアをネットワーク帯域の有効利用を考慮して低フレームレートで伝送を行うようにしたものが知られている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２００８－２１９４８４号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

ところで、上記特許文献１に記載された従来技術では、高フレームレートとして３０フレーム／秒程度が想定されているが、映像の高解像度を維持することが前提であるため、より高いフレームレート（例えば、９６０ｆｐｓ）を適用した場合には、高フレームレートの適用が画像の一部（注目監視エリア）であったとしても伝送量や演算量の増大は問題となり得る。

【0008】

また、上記従来技術では、注目監視エリアのデータに対してＭＰＥＧ等の方式で符号化処理を行うが、より高いフレームレート（例えば、９６０ｆｐｓ）を適用した場合には、撮像における露光時間が短くなって映像のＳ／Ｎ比が悪化することにより、ＭＰＥＧ等の符号化処理における画像の圧縮率が向上しないという問題も生じ得る。

【0009】

本開示は、このような従来技術の課題を鑑みて案出されたものであり、比較的高いフレームレートを有する映像（例えば、フレームレートが６０ｆｐｓを超える映像）を伝送する場合に、表示映像の品質低下を抑制しつつ、映像の伝送量および演算量の増大を抑制することを可能とする映像信号処理装置、映像表示システム、及び映像信号処理方法を提供することを主目的とする。

【課題を解決するための手段】

【0010】

本開示の映像信号処理装置は、高いフレームレートの映像表示の場合にのみ発生する人間の視覚現象に基づいて、効率的且つ低遅延な映像データ圧縮を提供する。

【0011】

本開示の映像信号処理装置は、入力された第１のビット数を有する第１階調の映像データを符号化することにより、前記第１のビット数よりも小さい第２のビット数を有する第２階調の映像データとして出力する映像信号処理装置であって、前記第１階調の映像データに基づく入力データを前記第２階調の映像データに量子化した量子化データを順次出力する量子化器と、前記量子化器から出力される前記量子化データを順次記憶する記憶部と、現フレームに関する前記第１階調の映像データと前記記憶部に記憶された以前のフレームに関する前記量子化データとの差分を順次算出する差分計算器と、前記差分計算器から出力される前記差分を順次積算した積分データを、前記量子化器の前記入力データとして順次出力する積分器と、を備えたことを特徴とする。

【0012】

また、本開示の映像表示システムは、前記映像信号処理装置と、前記第１のビット数を有する第１階調の映像データを生成する撮像装置と、前記映像信号処理装置から出力された前記第２階調の映像データを受信し、この受信した前記第２階調の映像データを復号する復号回路と、前記復号回路によって復号された前記第２階調の映像データに基づく映像を表示する表示装置と、を備えたことを特徴とする。

【0013】

また、本開示の映像信号処理方法は、入力された第１のビット数を有する第１階調の映像データを符号化することにより、前記第１のビット数よりも小さい第２のビット数を有する第２階調の映像データとして出力する映像信号処理方法であって、前記第１階調の映像データに基づく入力データを、前記第２階調の映像データに順次量子化し、前記第２階調の映像データに量子化された量子化データを順次記憶し、現フレームに関する前記第１階調の映像データと前記記憶された以前のフレームに関する前記量子化データとの差分を順次算出し、算出された前記差分データを順次積算した積分データを、前記入力データとして生成することを特徴とする。

【発明の効果】

【0014】

本開示によれば、比較的高いフレームレートを有する映像（例えば、フレームレートが６０ｆｐｓを超える映像）を伝送する場合に、映像データを効率的に圧縮しつつ低遅延で伝送し、且つ、後続フレームの補正で視覚的階調も回復することが可能となる。このようなことは、従来の比較的低いフレームレートで行っても、時間的ちらつき（フリッカー）を増大させるだけであるが、高いフレームレートにおいて特有に機能する。

【図面の簡単な説明】

【0015】

【図1】第１実施形態に係る映像表示システムの全体構成図

【図2】映像表示システムにおける処理の一例を示すタイムチャート

【図3】映像信号処理装置の概略構成を示すブロック図

【図4】図３に示した映像信号処理装置の動作例を示す説明図

【図5】図３に示した映像信号処理装置の第１変形例を示すブロック図

【図6】図３に示した映像信号処理装置の第２変形例を示すブロック図

【図7】第２実施形態に係る映像表示システムにおける映像信号処理装置の概略構成を示すブロック図

【図8】図７に示した映像信号処理装置の第１の動作例を示す説明図

【図9】図７に示した映像信号処理装置の第１の動作例を示す説明図

【図10】図７に示した映像信号処理装置の第２の動作例を示す説明図

【図11】図７に示した映像信号処理装置の第２の動作例を示す説明図

【図12】図７に示した映像信号処理装置の第１変形例を示すブロック図

【図13】図７に示した映像信号処理装置の第２変形例を示すブロック図

【図14】図７に示した映像信号処理装置の第３変形例を示すブロック図

【図15】図１４に示した映像信号処理装置の動作例を示す説明図

【図16】図１４に示した映像信号処理装置の動作例を示す説明図

【図17】第３実施形態に係る映像表示システムにおける映像信号処理装置の概略構成を示すブロック図

【図18】図１７に示した映像信号処理装置の第１の動作例を示す説明図

【図19】図１７に示した映像信号処理装置の第２の動作例を示す説明図

【発明を実施するための形態】

【0016】

前記課題を解決するためになされた第１の発明は、入力された第１のビット数を有する第１階調の映像データを符号化することにより、前記第１のビット数よりも小さい第２のビット数を有する第２階調の映像データとして出力する映像信号処理装置であって、前記第１階調の映像データに基づく入力データを前記第２階調の映像データに量子化した量子化データを順次出力する量子化器と、前記量子化器から出力される前記量子化データを順次記憶する記憶部と、現フレームに関する前記第１階調の映像データと前記記憶部に記憶された以前のフレームに関する前記量子化データとの差分を順次算出する差分計算器と、前記差分計算器から出力される前記差分を順次積算した積分データを、前記量子化器の前記入力データとして順次出力する積分器と、を備えたことを特徴とする。

【0017】

これによると、入力された映像データの階調を量子化により下げると共に、この量子化によって排除された情報（下位のビット）を、後続のフレームに反映させる構成としたため、比較的高いフレームレートを有する映像（例えば、フレームレートが６０ｆｐｓを超える映像）を伝送する場合に、表示映像の品質低下を抑制しつつ、映像の伝送量および演算量の増大を抑制することが可能となる。

【0018】

また、第２の発明は、入力された第１のビット数を有する第１階調の映像データを符号化することにより、前記第１のビット数よりも小さい第２のビット数を有する第２階調の映像データとして出力する映像信号処理装置であって、前記第１階調の映像データに基づく入力データを前記第２階調の映像データに量子化した量子化データを順次出力する量子化器と、前記量子化器から出力される前記量子化データを順次記憶する記憶部と、前記記憶部に記憶された前記量子化データを順次積算した積分データを順次出力する積分器と、前記第１階調の映像データと前記積分データとの差分を順次算出し、前記量子化器の前記入力データとして順次出力する差分計算器と、を備えたことを特徴とする。

【0019】

これによると、入力された映像データの階調を量子化により下げると共に、この量子化によって排除された情報（下位のビット）を、後続のフレームに反映させる構成としたため、比較的高いフレームレートを有する映像（例えば、フレームレートが６０ｆｐｓを超える映像）を伝送する場合に、表示映像の品質低下を抑制しつつ、映像の伝送量および演算量の増大を抑制することが可能となる。

【0020】

また、第３の発明は、入力された第１のビット数を有する第１階調の映像データを符号化することにより、前記第１のビット数よりも小さい第２のビット数を有する第２階調の映像データとして出力する映像信号処理装置であって、前記第２のビット数を有する変動値データを統計的または確率的に順次生成するパターン生成部と、前記第１階調の映像データに前記変動値データを順次加算する加算器と、前記加算器から出力されたデータを前記第２階調の映像データに量子化した量子化データを順次出力する量子化器と、を備えたことを特徴とする。

【0021】

これによると、入力された映像データの階調を量子化により下げると共に、この量子化によって排除される情報を代替する変動値データとして反映させる構成としたため、比較的高いフレームレートを有する映像（例えば、フレームレートが６０ｆｐｓを超える映像）を伝送する場合に、表示映像の品質低下を抑制しつつ、映像の伝送量および演算量の増大を抑制することが可能となる。

【0022】

また、第４の発明は、現フレームに関する前記第１階調の映像データとそれ以前のフレームに関する前記第１階調の映像データとの間で動きベクトルを算出する動き予測部と、前記動きベクトルに基づき、前記積分器における積分データを補正する動き補償部と、を更に備えたことを特徴とする。

【0023】

これによると、映像中に動く物体が存在する場合でも、量子化によって排除された情報（下位のビット）を、後続のフレームに適切に反映させることが可能となる。

【0024】

また、第５の発明は、前記量子化器から出力される前記量子化データを圧縮符号化する符号化器と、前記符号化器から出力される前記量子化データを復号化する復号化器と、を更に備え、前記記憶部は、前記復号化器によって復号化された前記量子化データを順次記憶することを特徴とする。

【0025】

これによると、符号化器においてＭＰＥＧ等の非可逆的な圧縮符号化を実行する場合でも、その圧縮符号化によって生じるノイズを抑制することが可能となる。

【0026】

また、第６の発明は、前記第１階調の映像データに関するフレームレートが、６０ｆｐｓよりも大きいことを特徴とする。

【0027】

これによると、比較的高いフレームレートを有する映像に関し、表示映像の品質低下を抑制しつつ、符号化された映像の伝送量および演算量の増大を効果的に抑制することが可能となる。

【0028】

また、第７の発明は、第１から第６の発明のいずれかに係る前記映像信号処理装置と、前記第１のビット数を有する前記第１階調の映像データを生成する撮像装置と、前記映像信号処理装置から出力された前記第２階調の映像データを受信し、この受信した前記第２階調の映像データを復号する復号回路と、前記復号回路によって復号された前記第２階調の映像データに基づく映像を表示する表示装置と、を備えたことを特徴とする映像表示システムである。

【0029】

これによると、比較的高いフレームレートを有する映像（例えば、フレームレートが６０ｆｐｓを超える映像）を処理する場合でも、表示映像の品質低下を抑制しつつ、符号化された映像の伝送量および演算量の増大を抑制することが可能となる。

【0030】

また、第８の発明は、入力された第１のビット数を有する第１階調の映像データを符号化することにより、前記第１のビット数よりも小さい第２のビット数を有する第２階調の映像データとして出力する映像信号処理方法であって、前記第１階調の映像データに基づく入力データを、前記第２階調の映像データに順次量子化し、前記第２階調の映像データに量子化された量子化データを順次記憶し、現フレームに関する前記第１階調の映像データと前記記憶された以前のフレームに関する前記量子化データとの差分を順次算出し、前記差分を順次積算した積分データを、前記入力データとして生成することを特徴とする。

【0031】

これによると、入力された映像データの階調を量子化により下げると共に、この量子化によって排除された情報を、後続のフレームに反映させる構成としたため、比較的高いフレームレートを有する映像を伝送する場合に、表示映像の品質低下を抑制しつつ、映像の伝送量および演算量の増大を抑制することが可能となる。

【0032】

また、第９の発明は、入力された第１のビット数を有する第１階調の映像データを符号化することにより、前記第１のビット数よりも小さい第２のビット数を有する第２階調の映像データとして出力する映像信号処理方法であって、前記第１階調の映像データに基づく入力データを、前記第２階調の映像データに順次量子化し、前記第２階調の映像データに量子化された量子化データを順次記憶し、前記記憶された前記量子化データを順次積算した積分データを順次生成し、前記第１階調の映像データと前記積分データとの差分を、前記入力データとして順次算出することを特徴とする。

【0033】

これによると、入力された映像データの階調を量子化により下げると共に、この量子化によって排除された情報を、後続のフレームに反映させる構成としたため、比較的高いフレームレートを有する映像を伝送する場合に、表示映像の品質低下を抑制しつつ、映像の伝送量および演算量の増大を抑制することが可能となる。

【0034】

また、第１０の発明は、入力された第１のビット数を有する第１階調の映像データを符号化することにより、前記第１のビット数よりも小さい第２のビット数を有する第２階調の映像データとして出力する映像信号処理方法であって、前記第２のビット数を有する変動値データを統計的または確率的に順次生成し、入力された前記第１階調の映像データに前記変動値データを順次加算し、前記加算されたデータを前記第２階調の映像データに量子化した量子化データを順次出力することを特徴とする。

【0035】

これによると、入力された映像データの階調を量子化により下げると共に、この量子化によって排除される情報（下位のビット）を、変動値データとして反映させる構成としたため、比較的高いフレームレートを有する映像（例えば、フレームレートが６０ｆｐｓを超える映像）を伝送する場合に、表示映像の品質低下を抑制しつつ、映像の伝送量および演算量の増大を抑制することが可能となる。

【0036】

以下、本開示の実施の形態を、図面を参照しながら説明する。

【0037】

（第１実施形態）
図１は、本開示の第１実施形態に係る映像表示システム１の全体構成図であり、図２は、映像表示システム１における処理（露光、伝送、及び表示）の一例を示すタイムチャートである。

【0038】

図１に示すように、映像表示システム１は、所望の映像を撮影するカメラ（撮像装置）２と、カメラ２から入力される映像データ（映像信号）を、伝送路３を介して送信する送信機４と、送信機４から受信した映像データを受信する受信機５と、受信機５によって受信された映像データに基づく映像を表示する表示デバイス６とを主として備える。

【0039】

カメラ２は、公知の撮影機能や通信機能（無線通信を含む）を有するビデオカメラであり、ここでは、人間の視覚時間感度（すなわち、視覚情報処理の時間的解像度）を超える比較的高いフレームレート（ここでは、９６０ｆｐｓ）の映像を出力することが可能な高速度カメラである。カメラ２は、公知の通信ケーブル（または通信ネットワーク）を介して送信機４と通信可能に接続され、カメラ２の撮影によって生成された映像データは、リアルタイムで送信機４に対して順次出力される。カメラ２によって撮影される映像の階調は、特に限定されないが、例えば、ＲＧＢで各８ビット（２４ビットカラー）とすることができる。

【0040】

送信機４および受信機５は、ＣＰＵやＧＰＵ等のプロセッサやメモリ等の公知のハードウェアを備える。また、後述するように、送信機４および受信機５は、映像データに対して必要な画像処理を行うための画像処理機能や、公知の通信ケーブルまたは通信ネットワークから構成される伝送路３を介して映像データを相互に送受信するための公知の有線または無線通信機能を有する。送信機４はカメラ２と一体に設けられてもよく、また、受信機５は表示デバイス６と一体に設けられてもよい。

【0041】

送信機４は、第１のビット数（例えば、８ビット）を有する第１階調の映像データを符号化することにより、その第１のビット数よりも小さい第２のビット数（例えば、４ビット）を有する第２階調の映像データとして出力する映像信号処理装置１１と、映像信号処理装置１１から出力される映像データにＭＰＥＧ、ランレングス符号化等の公知の手法に基づき圧縮符号化（データ圧縮）処理を実行する符号化器１２とを備える。また、受信機５は、送信機４から受信した量子化された映像データを復号する復号回路１３を備え、復号された映像データに基づき、表示デバイス６で表示可能な表示データを生成する。なお、復号回路１３は、後述する第２実施形態に係る映像表示システム１では、送信機４からの映像データを順次積算する機能を有する。

【0042】

表示デバイス６は、送信機４から送信される映像データのフレームレートに応じて映像を表示するための機能を有し、特に限定されるものではないが、例えば、公知の構成を有する液晶ディスプレイやプラズマディスプレイ等から構成される。

【0043】

この映像表示システム１は、カメラ２で撮影された比較的高いフレームレートを有する映像を、伝送等による大きな遅延を発生させることなく、表示デバイス６に表示させることが可能であり、例えば、リアルタイム映像を利用する内視鏡手術及び遠隔手術や、災害救助ロボットの遠隔操作などに用いるのに好適である。

【0044】

また、映像表示システム１では、図２に示すように、カメラ２のイメージセンサにおける露光、送信機４および受信機５間の映像データの伝送、及び表示デバイス６における表示の処理を、所定周期（図２中の破線の間隔）で同期するように設定することが可能である。

【0045】

図３は、図１に示した第１実施形態に係る映像信号処理装置１１の概略構成を示すブロック図であり、図４は、第１実施形態に係る映像信号処理装置１１の動作例を示す説明図である。

【0046】

映像信号処理装置１１は、量子化器２１、第１フレームメモリ（記憶部）２２、差分計算器２３、積分器２４、及び第２フレームメモリ２５を備える。

【0047】

量子化器２１は、積分器２４から出力された第１階調（例えば、８ビット）の映像データに基づくデータ（入力データ）を、第２階調（例えば、４ビット）の映像データに量子化して順次出力する。例えば、量子化器２１は、第１階調の８ビットの入力データのうちの上位４ビットを取得する（すなわち、下位４ビットを切り捨てる）ことにより、第２階調に階調を下げたデータ（量子化データ）を生成することができる。この量子化データは、映像データとして伝送路３側（ここでは、符号化器１２）に順次出力されると共に、ＳＤＲＡＭ等の公知のメモリによって構成される第１フレームメモリ２２に順次記憶される。

【0048】

差分計算器２３は、カメラ２から順次入力される現フレームに関する８ビットの映像データと第１フレームメモリ２２に記憶された以前のフレーム（ここでは、直前のフレーム）に関する量子化データとの差分を順次算出する。このような構成により、量子化器２１の処理によって切り捨てられた下位４ビットの情報を、第１フレームメモリ２２および差分計算器２３を介したフィードバックループによって後続のフレームに順次反映させることが可能となる。

【0049】

積分器２４は、差分計算器２３から出力される差分を順次積算した積分データを、量子化器２１の入力データとして順次出力する。また、算出された積分データは、ＳＤＲＡＭ等の公知のメモリによって構成される第２フレームメモリ２５に順次記憶され、次回の積分データを算出する際に順次読み出される。

【0050】

図４では、第１実施形態に係る映像信号処理装置１１の動作例として、所定の時間間隔（例えば、１ｍｓ）で設定された時刻ｔ０～ｔ１５において、０～２４０まで設定された８ビットの映像データ（入力データ）の各階調値が、カメラ２から映像信号処理装置１１に入力される場合が示されている。ここでは、説明の便宜上、時刻ｔ０～ｔ１５にそれぞれ対応する１６のフレームの所定画素について、各階調値（同一の階調値）が連続して入力された場合（各階調値が１６フレームにわたり変化しない場合）が示されている。ただし、実際の映像データの階調値はフレーム毎に適宜変化し得る。

【0051】

ここで、量子化器２１は、８ビットの映像データの階調値を、０～１５の階調値からなる４ビットの映像データに変換して順次出力する。例えば、映像データの階調値が３の場合には、量子化器２１からの出力の初期値は、３を１６で除した値（ただし、１未満の数値が生じた場合には切り捨てる（以下同様））である０となり、また、積分値（積分器２４からの出力値）の初期値は０である。

【0052】

また、映像データの階調値が３の場合、時刻ｔ０においては、量子化器２１からの出力値（延いては、送信機４からの出力値）は、積分値の初期値０に映像データの階調値３を加えた値を１６で除した値である０となり、積分値は、その初期値０に対し、映像データの階調値３と量子化器２１からの出力の初期値との差分（すなわち、差分計算器２３による算出値）を加算した値である３となる。ここで、差分計算器２３による差分の計算には、量子化器２１からの出力値に１６を乗じて逆量子化した値が用いられる（以下同様）。

【0053】

続く時刻ｔ１においては、量子化器２１からの出力値は、時刻ｔ０における積分値３に映像データの階調値３を加えた値を１６で除した値である０となり、積分値は、時刻ｔ０の積分値３に対し、映像データの階調値３と時刻ｔ０における量子化器２１からの出力値との差分を加算した値である６となる。

【0054】

続く時刻ｔ２においては、量子化器２１からの出力値は、時刻ｔ１における積分値６に映像データの階調値３を加えた値を１６で除した値である０となり、積分値は、時刻ｔ１の積分値６に対し、映像データの階調値３と時刻ｔ１における量子化器２１からの出力値との差分を加算した値である９となる。以降、時刻ｔ３～時刻ｔ１５における量子化器２１からの出力値および積分値も上述の場合と同様に設定される。また、映像データの階調値が３以外の場合も、上述の場合と同様に時刻ｔ０～ｔ１５における量子化器２１からの出力値および積分値を求めることができる。

【0055】

また、各階調値に関し、時刻ｔ０～ｔ１５における量子化器２１からの出力値の平均値に１６を乗じた値（平均値の逆量子化値）は、元の階調値と概ね等しくなる。

【0056】

このように、第１実施形態に係る映像信号処理装置１１は、カメラ２から入力された映像データの階調を量子化により下げると共に、この量子化によって排除された情報（ここでは、下位の４ビット）を、積分器２４での積分値を介して後続のフレームに反映させる構成としたため、人間の視覚時間感度を超える比較的高いフレームレートを有する映像（例えば、フレームレートが６０ｆｐｓを超える映像）を伝送する場合に、表示デバイス６における表示映像の品質低下を抑制しつつ、映像の伝送量および演算量の増大を抑制することが可能となる。

【0057】

この場合、送信機４から第２階調（ここでは、４ビット）のデータが出力されるにも拘わらず、表示デバイス６に表示される映像を視聴するユーザは、人の視覚の性質上、表示される物体の運動に関しては１フレーム分の遅延としか認知できないにもかかわらず、階調に関しては１０～２０フレーム分程度（図４の例では各階調値の時刻ｔ０～ｔ１５における複数のフレームに相当）の映像を残像として重ね合わせたように知覚されることになり、送信機４において排除された階調が視覚的に復元された（あたかも第１階調（ここでは、８ビット）の映像が表示された）ような効果が得られる。また、送信機４から受信機５への映像データの伝送時に一部のデータが欠落した場合も、一時的な階調低下を引き起こすのみで、継続の復号不能には陥らないため、再送制御を行わずにシステム動作を継続できるという利点もある。

【0058】

なお、映像表示システム１は、後述する他の実施形態や複数の変形例を含め、入力される現フレームに関する映像データの階調を量子化により下げると共に、この量子化によって排除された下位ビット（例えば、８ビットにおける下位４ビット）または統計的または確率的手法に基づくそれらの下位ビットに相当する代替データが、後続するフレームに関する映像データにおける上位ビット（例えば、８ビットにおける上位４ビット）に対して影響を及ぼすことが可能な構成であればよい。

【0059】

また、第１実施形態に係る映像信号処理装置１１による動作は、従来の音声信号の符号化に用いられるΔΣ（デルタシグマ）変調に類似するが、音声信号に関するΔΣ変調の処理は、音声信号の量子化において発生し得るエイリアスノイズを低減して音質を向上させるためのものであり、映像信号処理装置１１による映像の処理とは、目的や効果を異にするものである。

【0060】

図５および図６は、それぞれ図３に示した映像信号処理装置１１の第１及び第２変形例を示すブロック図である。図５および図６では、図３に示した映像信号処理装置１１と同様の構成については、同一の符号が付してある。また、第１及び第２変形例に関し、以下で特に言及しない事項については、上述の第１実施形態に係る映像信号処理装置１１と同様として詳細な説明を省略する。

【0061】

（第１実施形態の第１変形例）
上述の例では、映像中に動く物体が存在する場合、例えば、背景画像に関して蓄積された量子化誤差（すなわち、下位４ビット）が、その動く物体の画像に適用されることにより、表示デバイス６で表示される映像品質が低下する（例えば、映像中の動く物体の明るさや色が不自然に変化する）場合がある。

【0062】

そこで、第１変形例に係る映像信号処理装置１１では、映像中に存在し得る動く物体の影響を排除するために、図５に示すように、動き予測部２６、第３フレームメモリ２７、及び動き補償部２８を更に備える。

【0063】

動き予測部２６は、カメラ２から入力される各フレームの映像データを第３フレームメモリ２７に順次記憶すると共に、現フレームと参照フレームとの映像データの差分から、ブロックマッチング法等の公知の手法に基づき各画素に関する動きベクトルを算出する。

【0064】

動き補償部２８は、動き予測部２６で算出された動きベクトルの情報を取得し、第２フレームメモリ２５から積分データを読み出す場合に、その動きベクトルの情報（動き予測）に基づき、各画素のデータの読出し位置を補償する。

【0065】

このような構成により、映像信号処理装置１１では、映像中に動く物体が存在する場合でも、量子化器２１における量子化によって排除された情報（下位のビット）を、後続のフレームに適切に反映させることが可能となる。

【0066】

（第１実施形態の第２変形例）
また、上述の例では、映像信号処理装置１１の後の符号化器１２（図１参照）においてＭＰＥＧ等の非可逆的な圧縮符号化に基づく処理を実行した場合、圧縮符号化によって生じるノイズが送信機４から送信される映像データに含まれることになる。

【0067】

そこで、第２変形例に係る映像信号処理装置１１では、図６に示すように、符号化器１２が内部に設けられ（すなわち、圧縮符号化が映像信号処理装置１１の処理として実行され）、更に、符号化器１２によって圧縮符号化された映像データを復号化する復号化器２９を備える。

【0068】

このような構成により、非可逆的な圧縮符号化によって生じるノイズは、符号化器１２および復号化器２９を介して量子化データと共に第１フレームメモリ２２に記憶されるため、送信機４から送信される映像データにおいて非可逆的な圧縮符号化によって生じるノイズを抑制することが可能となる。

【0069】

（第２実施形態）
図７は、本開示の第２実施形態に係る映像表示システム１における映像信号処理装置１１の概略構成を示すブロック図であり、図８及び図９は、それぞれ第２実施形態に係る映像信号処理装置１１の第１の動作例を示す説明図（数値例およびそれに対応するグラフ）であり、図１０及び図１１は、それぞれ第２実施形態に係る映像信号処理装置１１の第２の動作例を示す説明図（数値例およびそれに対応するグラフ）である。なお、図８及び図１０における数値例は、それぞれ一部を省略して示してある。また、第２実施形態に関し、以下で特に言及しない事項については、上述の第１実施形態に係る映像信号処理装置１１と同様として詳細な説明を省略する。

【0070】

映像信号処理装置１１は、量子化器３１、第１フレームメモリ（記憶部）３２、積分器３３、差分計算器３４、及び第２フレームメモリ３５を備える。

【0071】

量子化器３１は、上述の量子化器２１と同様に、差分計算器３４から出力された第１階調（例えば、８ビット）の映像データに基づくデータ（入力データ）を、第２階調（例えば、４ビット）の映像データに量子化して順次出力する。この量子化データは、伝送路３側（ここでは、符号化器１２）に順次出力されると共に、ＳＤＲＡＭ等の公知のメモリによって構成される第１フレームメモリ３２に順次記憶される。

【0072】

積分器３３は、第１フレームメモリ３２に記憶されたデータを順次積算した積分データを、差分計算器３４に対して順次出力する。また、積分データは、ＳＤＲＡＭ等の公知のメモリによって構成される第２フレームメモリ３５に順次記憶され、次回の積分データを算出する際に順次読み出される。

【0073】

差分計算器３４は、カメラ２から入力される現フレームに関する８ビットの映像データと積分器３３からの積分データとの差分を順次算出し、この差分データを量子化器３１の入力データとして順次出力する。このような構成により、量子化器３１の処理によって切り捨てられた下位４ビットの情報を、第１フレームメモリ３２、積分器３３、及び差分計算器３４を介したフィードバックループにより後続のフレームに反映させることが可能となる。

【0074】

図８及び図９では、第２実施形態に係る映像信号処理装置１１の第１の動作例として、所定の時間間隔（例えば、１ｍｓ）で入力されるフレームの所定画素について、０～２５５まで設定された８ビットの映像データ（入力データ）の階調値が、変化しつつカメラ２から映像信号処理装置１１に入力される場合が示されている。ただし、実際の映像データの階調値の変化は、ここに示すものに限定されず任意に変化し得る（後述する他の動作例についても同様）。

【0075】

ここで、量子化器３１は、８ビットの映像データの階調値を、－８～７の階調値からなる４ビットの映像データに変換して順次出力する。図８において、例えば、フレームＮｏ．１では、映像データの階調値８が入力され、この映像データの階調値８と積分値０（積分器３３からの出力値）との差分（すなわち、差分計算器３４による算出値）に基づく７が、送信機４からの出力値（すなわち、量子化器３１からの出力値）となる。ここで、差分計算器３４で算出された差分値が７を超える場合には、送信機４からの出力値は上限値７に設定され、その差分値が－８未満の場合には、送信機４からの出力値は下限値－８に設定される（以下同様）。表示デバイス６では、その送信機４からの出力値７を受信し、これを初期の輝度値０（フレームＮｏ．０参照）に加算することにより、対象画素の表示に関して輝度値７が設定される。

【0076】

続くフレームＮｏ．２では、映像データの階調値９が入力され、この映像データの階調値９からフレームＮｏ．２の積分値７（すなわち、フレームＮｏ．１の積分値０および送信機４からの出力値７の和）を減じた値に基づく２が、送信機４からの出力値となる。表示デバイス６では、その送信機４からの出力値２を受信し、これをフレームＮｏ．１までの輝度値７（積分値）に加算することにより、対象画素の表示に関して輝度値９が設定される。

【0077】

続くフレームＮｏ．３では、映像データの階調値１０が入力され、この映像データの階調値１０からフレームＮｏ．３の積分値９（すなわち、フレームＮｏ．２の積分値７および送信機４からの出力値２の和）を減じた値に基づく１が、送信機４からの出力値となる。表示デバイス６では、その送信機４からの出力値１を受信し、これをフレームＮｏ．２までの輝度値９（積分値）に加算することにより、対象画素の表示に関して輝度値１０が設定される。フレームＮｏ．４以降についても、上述の場合と同様に、入力される映像データの階調値に基づき、積分値、送信機４からの出力値、及び表示デバイス６の輝度値がそれぞれ設定される。

【0078】

次に、図１０及び図１１では、第２実施形態に係る映像信号処理装置１１の第２の動作例として、所定の時間間隔（例えば、１ｍｓ）で入力されるフレームの所定画素について、０～２５５まで設定された８ビットの映像データ（入力データ）の階調値が、変化しつつカメラ２から映像信号処理装置１１に入力される場合が示されている。

【0079】

ここで、量子化器３１は、８ビットの映像データの階調値を、－１、１の階調値からなる１ビットの映像データに変換して順次出力する。図１０において、例えば、フレームＮｏ．１では、映像データの階調値８が入力され、この映像データの階調値８と積分値（積分器３３からの出力値）との差分（すなわち、差分計算器３４による算出値８）に基づく１が、送信機４からの出力値（すなわち、量子化器３１からの出力値）となる。ここで、差分計算器３４で算出された差分値が１を超える場合には、送信機４からの出力値は上限値１に設定され、その差分値が－１未満の場合には、送信機４からの出力値は下限値－１に設定される（以下同様）。表示デバイス６では、その送信機４からの出力値１を受信し、これを初期の輝度値０（フレームＮｏ．０参照）に加算することにより、対象画素の表示に関して輝度値１が設定される。

【0080】

続くフレームＮｏ．２では、映像データの階調値８が入力され、この映像データの階調値８からフレームＮｏ．２の積分値１（すなわち、フレームＮｏ．１の積分値０および送信機４からの出力値１の和）を減じた値（差分の値は７）に基づく１が、送信機４からの出力値となる。表示デバイス６では、その送信機４からの出力値１を受信し、これをフレームＮｏ．１までの輝度値２（積分値）に加算することにより、対象画素の表示に関して輝度値２が設定される。

【0081】

続くフレームＮｏ．３では、映像データの階調値８が入力され、この映像データの階調値８からフレームＮｏ．３の積分値２（すなわち、フレームＮｏ．２の積分値１および送信機４からの出力値１の和）を減じた値（差分の値は６）に基づく１が、送信機４からの出力値となる。表示デバイス６では、その送信機４からの出力値１を受信し、これをフレームＮｏ．２までの輝度値２（積分値）に加算することにより、対象画素の表示に関して輝度値３が設定される。フレームＮｏ．４以降についても、上述の場合と同様に、入力される映像データの階調値に基づき、積分値、送信機４からの出力値、及び表示デバイス６の輝度値がそれぞれ設定される。

【0082】

このように、第２実施形態に係る映像信号処理装置１１は、上述の第１実施形態に係る映像信号処理装置１１と同様に、カメラ２から入力された映像データの階調を量子化により下げると共に、この量子化によって排除された情報を、積分器３３での積分値を介して後続のフレームに反映させる構成としたため、比較的高いフレームレートを有する映像を伝送する場合に、表示デバイス６における表示映像の品質低下を抑制しつつ（すなわち、図９、図１１に示すように、映像データの階調値を表示デバイス６の輝度値と良好に一致させて、視覚的階調を回復しつつ）、映像の伝送量および演算量の増大を抑制することが可能となる。

【0083】

また、第２実施形態に係る映像信号処理装置１１による動作は、従来の音声信号の符号化に用いられるΔ（デルタ）変調に類似するが、音声信号に関するΔ変調の処理は、音声信号の量子化において発生し得るエイリアスノイズを低減して音質を向上させるためのものであり、映像信号処理装置１１による映像の処理とは、目的や効果を異にするものである。

【0084】

図１２、図１３、及び図１４は、それぞれ図７に示した第２実施形態に係る映像信号処理装置１１の第１、第２、及び第３変形例を示すブロック図であり、図１５及び図１６は、第３変形例に係る映像信号処理装置１１の動作例（数値例およびそれに対応するグラフ）を示す説明図である。図１２～図１４では、図７に示した映像信号処理装置１１と同様の構成については、同一の符号が付してある。また、第１～第３変形例に関し、以下で特に言及しない事項については、上述の第２実施形態に係る映像信号処理装置１１と同様として詳細な説明を省略する。

【0085】

（第２実施形態の第１変形例）
上述の第１実施形態の場合と同様に、第２実施形態の第１変形例に係る映像信号処理装置１１では、映像中に存在し得る動く物体の影響を排除するために、図１２に示すように、動き予測部３６、第３フレームメモリ３７、及び動き補償部３８を更に備える。

【0086】

動き予測部３６は、カメラ２から入力される各フレームの映像データを第３フレームメモリ３７に順次記憶すると共に、現フレームと参照フレームとの映像データの差分から、ブロックマッチング法等の公知の手法に基づき各画素に関する動きベクトルを算出する。

【0087】

動き補償部３８は、動き予測部３６で算出された動きベクトルの情報を取得し、第２フレームメモリ３５から積分データを読み出す場合に、その動きベクトルの情報（動き予測）に基づき、各画素の読出し位置を補償する。

【0088】

このような構成により、映像信号処理装置１１では、映像中に動く物体が存在する場合でも、量子化器３１における量子化によって排除された情報（下位のビット）を、後続のフレームに適切に反映させることが可能となる。

【0089】

（第２実施形態の第２変形例）
また、上述の第１実施形態の場合と同様に、第２変形例に係る映像信号処理装置１１では、図１３に示すように、符号化器１２が内部に設けられ（すなわち、圧縮符号化が映像信号処理装置１１の処理として実行され）、更に、符号化器１２によって圧縮符号化された映像データを復号化する復号化器３９を備える。

【0090】

このような構成により、非可逆的な圧縮符号化によって生じるノイズは、符号化器１２および復号化器３９を介して量子化データと共に第１フレームメモリ３２に記憶されるため、送信機４から送信される映像データにおいて非可逆的な圧縮符号化によって生じるノイズを抑制することが可能となる。

【0091】

（第２実施形態の第３変形例）
第２実施形態の第３変形例に係る映像信号処理装置１１では、量子化器３１は、非線形量子化を実行し、また、図１４に示すように、量子化器３１からの出力を逆量子化する逆量子化部５１を更に備える。逆量子化部５１によって逆量子化された量子化器３１からの出力は、上述の第２実施形態に係る映像信号処理装置１１と同様に、第１フレームメモリ３２に順次記憶される。

【0092】

また、この第３変形例に係る映像信号処理装置１１を備えた映像表示システム１では、受信機５には、上述のような送信機４からの映像データを順次積算（積分）する機能の他に、その積算される前の映像データを逆量子化するための逆量子化部５１と同様の機能が設けられる。

【0093】

図１５では、第２実施形態の第３変形例に係る映像信号処理装置１１の動作例として、所定の時間間隔（例えば、１ｍｓ）で入力されるフレームの所定画素について、０～２５５まで設定された８ビットの映像データ（入力データ）の階調値が、変化しつつカメラ２から映像信号処理装置１１に入力される場合が示されている。

【0094】

ここで、量子化器３１は、非線形量子化を実行することにより、８ビットの映像データの階調値を、－５～５の階調値からなる４ビットの映像データに変換して順次出力する。図１５において、例えば、フレームＮｏ．１では、映像データの階調値１０が入力され、この映像データの階調値１０とフレームＮｏ．１での積分値０（積分器３３からの出力値）との差分（すなわち、差分計算器３４による算出値）に基づく差分値１０（すなわち、差分計算器３４による算出値）が量子化器３１に入力される。そこで、量子化器３１では、その差分値が正の場合には、２を底とする差分値の対数（ただし、１未満の数値が生じた場合には切り捨てる（以下同様））を出力し、また、その差分値が負の場合には、２を底とする差分値の絶対値の対数（ただし、１未満の数値が生じた場合には切り捨てる（以下同様））に－１を乗じた値を出力し、また、差分値が０の場合には、０を出力する（以下同様）。これにより、フレームＮｏ．１では、送信機４からの出力値（すなわち、量子化器３１からの出力値）は３となる。ここで、量子化器３１からの出力値を「Ｑ」とすると、Ｑが０以上の場合には、逆量子化部５１は、２のＱ乗を算出することにより逆量子化を行い、また、Ｑが負の場合には、逆量子化部５１は、２の－Ｑ乗を算出することにより逆量子化を行う（以下同様）。これにより、フレームＮｏ．１では、逆量子化部５１からの出力値は８（２の３乗）となる。また、フレームＮｏ．１に関する送信機４からの出力値を受信した受信機５では、逆量子化部５１と同様の逆量子化値８が算出され、さらに、表示デバイス６では、その逆量子化値８を初期の輝度値０（フレームＮｏ．０参照）に加算することにより、対象画素の表示に関して輝度値８が設定される。

【0095】

続くフレームＮｏ．２では、映像データの階調値１７が入力され、この映像データの階調値１７とフレームＮｏ．２での積分値８（フレームＮｏ．１の積分値０と逆量子化値８との和）との差分に基づく差分値９が量子化器３１に入力される。これにより、フレームＮｏ．２では、送信機４（量子化器３１）からの出力値は３となる。また、フレームＮｏ．２では、逆量子化部５１からの出力値は８となる。さらに、フレームＮｏ．２に関し、表示デバイス６では、その逆量子化値８をフレームＮｏ．１までの輝度値８（積分値）に加算することにより、対象画素の表示に関して輝度値１６が設定される。

【0096】

続くフレームＮｏ．３では、映像データの階調値２８が入力され、この映像データの階調値２８とフレームＮｏ．３での積分値１６（フレームＮｏ．２の積分値８と逆量子化値８との和）との差分に基づく差分値１２が量子化器３１に入力される。これにより、フレームＮｏ．３では、送信機４（量子化器３１）からの出力値は３となる。また、フレームＮｏ．３では、逆量子化部５１からの出力値は８となる。さらに、フレームＮｏ．３に関し、表示デバイス６では、その逆量子化値８をフレームＮｏ．２までの輝度値１６に加算することにより、対象画素の表示に関して輝度値２４が設定される。フレームＮｏ．４以降についても、上述の場合と同様に、入力される映像データの階調値に基づき、積分値、差分、送信機４からの出力値、及び表示デバイス６の輝度値がそれぞれ設定される。

【0097】

このように、第２実施形態の第３変形例に係る映像信号処理装置１１は、上述の第１実施形態に係る映像信号処理装置１１と同様に、カメラ２から入力された映像データの階調を量子化により下げると共に、この量子化によって排除された情報を、後続のフレームに反映させる構成としたため、比較的高いフレームレートを有する映像を伝送する場合に、表示デバイス６における表示映像の品質低下を抑制しつつ（すなわち、図１６に示すように、映像データの階調値を表示デバイス６の輝度値と良好に一致させて、視覚的階調を回復しつつ）、映像の伝送量および演算量の増大を抑制することが可能となる。特に、第２実施形態の第３変形例に係る映像信号処理装置１１では、非線形量子化を実行するため、カメラ２から入力された映像データの変動が比較的大きい場合（高い周波数を有する場合）にも、上述のような線形量子化を実行する場合と比べて円滑な処理が可能となるという利点がある。

【0098】

（第３実施形態）
図１７は、本開示の第３実施形態に係る映像表示システム１における映像信号処理装置１１の概略構成を示すブロック図であり、図１８及び図１９は、それぞれ第３実施形態に係る映像信号処理装置１１の第１及び第２の動作例を示す説明図である。第３実施形態に関し、以下で特に言及しない事項については、上述の第１または第２実施形態に係る映像信号処理装置１１と同様として詳細な説明を省略する。

【0099】

映像信号処理装置１１は、パターン生成部４１、加算器４２、及び量子化器４３を備える。

【0100】

パターン生成部４１は、カメラ２から入力される第１階調の映像データよりも小さいビット数（例えば、４ビット）を有する変動値データを統計的または確率的に順次生成し、加算器４２に対して出力する。このような変動値データは、例えば、乱数や三角波を利用して生成することができる。

【0101】

加算器４２は、カメラ２から順次入力される現フレームに関する８ビットの映像データと変動値データを加算したデータを生成し、これを量子化器４３に対して出力する。

【0102】

量子化器４３は、上述の量子化器２１と同様に、加算器４２から出力されたデータを第２階調（例えば、４ビット）の映像データに量子化することにより、階調を下げたデータ（量子化データ）を生成することができる。

【0103】

図１８では、第３実施形態に係る映像信号処理装置１１の第１の動作例として、０～２４０まで設定された８ビットの映像データ（入力データ）の各階調値が、所定の時間間隔（例えば、１ｍｓ）で、カメラ２から映像信号処理装置１１に入力される場合が示されている。このとき、パターン生成部４１は、三角波を利用して変動値０～１５（変動値データ）を順次生成し、これにより、加算器４２は、８ビットの映像データとその変動値を加算したデータを生成し、これを量子化器４３に対して出力する。また、量子化器４３は、加算器４２からの８ビットの映像データの階調値を、０～１５の階調値からなる４ビットの映像データに変換して順次出力する。

【0104】

変動値０に関し、８ビットの階調値２４０は、それに変動値０を加算した値を１６で除して求められる４ビットの階調値１５（ただし、１未満の数値が生じた場合には切り捨てる（以下同様））に変換され、８ビットの階調値２３９は、それに変動値０を加算した値を１６で除して求められる４ビットの階調値１４に変換され、それ以降も同様に、８ビットの階調値が４ビットの階調値に変換される。また、変動値１に関し、映像データの８ビットの階調値（映像の輝度値）２４０は、それに変動値１を加算した値を１６で除して求められる４ビットの階調値１５に変換され、８ビットの階調値２３９は、それに変動値１を加算した値を１６で除して求められる４ビットの階調値１４に変換され、それ以降も同様に、８ビットの階調値が４ビットの階調値に変換される。また、変動値２～１５に関しても同様に、映像データの８ビットの階調値から４ビットの階調値１４に変換される。

【0105】

図１９では、第３実施形態に係る映像信号処理装置１１の第２の動作例として、０～２４０まで設定された８ビットの映像データ（入力データ）の各階調値が、所定の時間間隔（例えば、１ｍｓ）で、カメラ２から映像信号処理装置１１に入力される場合が示されている。このとき、パターン生成部４１は、乱数を利用して変動値０～１５（変動値データ）を順次生成し、これにより、加算器４２は、８ビットの映像データとその変動値を加算したデータを生成し、これを量子化器４３に対して出力する。また、量子化器４３は、加算器４２からの８ビットの映像データの階調値を、０～１５の階調値からなる４ビットの映像データに変換して順次出力する。

【0106】

変動値０に関し、８ビットの階調値２４０は、それに変動値０を加算した値を１６で除して求められる４ビットの階調値１５（ただし、１未満の数値が生じた場合には切り捨てる（以下同様））に変換され、８ビットの階調値２３９は、それに変動値０を加算した値を１６で除して求められる４ビットの階調値１４に変換され、それ以降も同様に、８ビットの階調値が４ビットの階調値に変換される。また、変動値１５に関し、映像データの８ビットの階調値（映像の輝度値）２４０は、それに変動値１５を加算した値を１６で除して求められる４ビットの階調値１５に変換され、８ビットの階調値２３９は、それに変動値１５を加算した値を１６で除して求められる４ビットの階調値１５に変換され、それ以降も同様に、８ビットの階調値が４ビットの階調値に変換される。また、他の変動値についても同様に、映像データの８ビットの階調値から４ビットの階調値１４に変換される。

【0107】

ここで、８ビットの階調値を「元の階調値」、４ビットの階調値を「変動階調値」と呼ぶものとする。或るフレームにおいて、例えば元の階調値１０１を出力する場合には、変動階調値６を１１回出力し、変動階調値７を５回出力する。即ち、１０１＝６×１１＋７×５となり、４ビット階調を出力するにもかかわらず、１６フレーム内において、変動階調値を必要に応じて変動させることにより、あたかも８ビット階調が表示されたように見せることができる。

【0108】

このような構成により、第３実施形態に係る映像信号処理装置１１は、カメラ２から入力された映像データの階調を量子化により下げると共に、この量子化によって排除される情報を代替する変動値データとして反映させる構成としたため、比較的高いフレームレートを有する映像を伝送する場合に、表示映像の品質低下を抑制しつつ、映像の伝送量および演算量の増大を抑制することが可能となる。

【0109】

以上、本開示を特定の実施の形態に基づいて説明したが、これらの実施の形態はあくまでも例示であって、本開示はこれらの実施の形態によって限定されるものではない。なお、上記実施の形態に示した本開示に係る映像信号処理装置、映像表示システム、及び映像信号処理方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。

【産業上の利用可能性】

【0110】

本開示に係る映像信号処理装置、映像表示システム、及び映像信号処理方法は、比較的高いフレームレートを有する映像（例えば、フレームレートが６０ｆｐｓを超える映像）を伝送する場合に、高いフレームレートを生かした低遅延の伝送を維持しつつ、表示映像の品質低下を抑制して、映像の伝送量および演算量の増大を抑制することを可能とし、比較的高いフレームレートを有する映像に好適な映像信号処理装置、映像表示システム、及び映像信号処理方法などとして有用である。

【符号の説明】

【0111】

１ ：映像表示システム
２ ：カメラ（撮像装置）
３ ：伝送路
４ ：送信機
５ ：受信機
６ ：表示デバイス
１１ ：映像信号処理装置
１２ ：符号化器
１３ ：復号回路
２１ ：量子化器
２２ ：第１フレームメモリ（記憶部）
２３ ：差分計算器
２４ ：積分器
２５ ：第２フレームメモリ
２６ ：動き予測部
２７ ：第３フレームメモリ
２８ ：動き補償部
２９ ：復号化器
３１ ：量子化器
３２ ：第１フレームメモリ（記憶部）
３３ ：積分器
３４ ：差分計算器
３５ ：第２フレームメモリ
３６ ：動き予測部
３７ ：第３フレームメモリ
３８ ：動き補償部
３９ ：復号化器
４１ ：パターン生成部
４２ ：加算器
４３ ：量子化器
５１ ：逆量子化部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】