特許 7445904 映像出力装置、映像出力方法および映像出力システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-29

(45)【発行日】2024-03-08

(54)【発明の名称】映像出力装置、映像出力方法および映像出力システム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240301BHJP

   H04N 23/81 20230101ALI20240301BHJP

【ＦＩ】

H04N23/60 500

H04N23/81

【請求項の数】 6

(21)【出願番号】P 2022146045

(22)【出願日】2022-09-14

(62)【分割の表示】P 2018119132の分割

【原出願日】2018-06-22

(65)【公開番号】P2022173290

(43)【公開日】2022-11-18

【審査請求日】2022-09-14

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002000

【氏名又は名称】弁理士法人栄光事務所

(72)【発明者】

【氏名】渕上 竜司

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２００４－２７４１７９（ＪＰ，Ａ）

【文献】特開２００４－３１８１３１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／８１

(57)【特許請求の範囲】

【請求項1】

入力された第１の映像データの輝度値に基づいて、前記第１の映像データにノイズを付
加するノイズ付加部と、
前記ノイズを付加した第２の映像データを、前記第１の映像データから得られる第１階
調よりも階調値が小さい第２階調の表示映像データに変換する変調部と、
前記第２階調の表示映像データを出力する映像出力部と、を備え、
前記ノイズ付加部は、前記第１の映像データの輝度値が低輝度領域の場合には、広く設定された振幅範囲で発生させた前記ノイズを付加し、前記第１の映像データの輝度値が高輝度領域の場合には、狭く設定された振幅範囲で発生させた前記ノイズを付加する、
映像出力装置。

【請求項2】

前記変調部は、前記第２の映像データを、前記第２階調の映像データに量子化して前記
表示映像データとして順次出力する量子化器を含む、
請求項１に記載の映像出力装置。

【請求項3】

前記第１の映像データは、４８０ｆｐｓ以上のフレームレートの映像データである、
請求項１に記載の映像出力装置。

【請求項4】

前記ノイズと、前記第１の映像データを生成するデバイスにおいて発生する固有ノイズ
とを含むノイズレベルの総和は、前記第２の映像データの輝度値全体に亘って一様である
、
請求項１に記載の映像出力装置。

【請求項5】

映像出力装置が行う映像出力方法であって、
入力された第１の映像データの輝度値に基づいて、前記第１の映像データに前記第１の映像データの輝度値が低輝度領域の場合には、広く設定された振幅範囲で発生させたノイズを付加し、前記第１の映像データの輝度値が高輝度領域の場合には、狭く設定された振幅範囲で発生させた前記ノイズを付加するステップと、
前記ノイズを付加した第２の映像データを前記第１の映像データから得られる第１階調
よりも階調値が小さい第２階調の表示映像データに変換するステップと、
前記第２階調の表示映像データを出力するステップと、を実行する、
映像出力方法。

【請求項6】

撮像デバイスと、
前記撮像デバイスと通信可能な映像出力装置と、
前記映像出力装置と通信可能な表示装置と、を備える映像出力システムであって、
前記撮像デバイスは、
撮像により第１の映像データを生成して、前記映像出力装置に出力し、
前記映像出力装置は、
前記第１の映像データの輝度値に基づいて、前記第１の映像データに前記第１の映像データの輝度値が低輝度領域の場合には、広く設定された振幅範囲で発生させたノイズを付加し、前記第１の映像データの輝度値が高輝度領域の場合には、狭く設定された振幅範囲で発生させた前記ノイズを付加した
第２の映像データを生成し、
前記第２の映像データを、前記第１の映像データから得られる第１階調よりも階調値が
小さい第２階調の表示映像データに変換して、前記表示装置に出力し、
前記表示装置は、
出力された前記表示映像データを表示する、
映像出力システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、比較的高いフレームレートを有する映像の表示に好適な映像表示システム等に用いられる映像出力装置、映像出力方法および映像出力システムに関する。

【背景技術】

【0002】

動画像の映像信号に対して画像処理及び伝送を行い、表示装置に映像を表示する映像表示システムは、人の視覚を考慮して６０ｆｐｓ（frame per seconds）以下のフレームレートにて動作するよう設計されるのが一般的である。このような映像表示システムでは、撮像装置によって取得した映像が表示装置にて表示されるまでの間に、撮像、画像処理、伝送の各処理の実行によって、システム全体としてある程度の遅延が発生することになる。例えば、フレームレートが６０ｆｐｓの場合には、１フレームあたりの時間が約１６．６ｍｓとなり、映像表示の遅延として例えば１００ｍｓ程度の遅延が発生することがある。

【0003】

撮像装置によって撮像した映像出力に対する上記のような映像表示の遅延は、システムの動作に悪影響を及ぼし得る。例えば、遠隔から映像を見ながらロボットアームを制御して不規則に動くものを掴むような場合において、映像の遅延は安定した操作を阻害する要因となるため、映像表示の遅延を解消することが望まれる。リアルタイム映像を利用する内視鏡手術及び遠隔手術、災害救助ロボットの遠隔操作などに用いられる映像表示システムにおいても、映像表示の遅延の解消が有益となる。

【0004】

一方で、映像に比較的高いフレームレート（例えば、４８０ｆｐｓ）を適用することにより、映像表示の遅延を抑制する技術も想定されるが、単にフレームレートを増大させた場合には、伝送量及び演算量の増大を招くことになる。

【0005】

映像の高解像度を維持しつつ伝送量を抑制するための技術として、例えば、監視用カメラによって撮影された映像に関し、人が出入りするドアの付近などに注目し、この監視したい注目監視エリアを高フレームレートで表示し、植物が置かれた場所や壁など注目監視エリアの背景となるようなエリアをネットワーク帯域の有効利用を考慮して低フレームレートで伝送を行うようにしたものが知られている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２００８－２１９４８４号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

上記特許文献１に記載された従来技術では、高フレームレートとして３０ｆｐｓ程度が想定されている。ここで、映像の高解像度を維持するために、より高いフレームレート（例えば、４８０ｆｐｓ）を適用した場合には、高フレームレートの適用が注目監視エリアのような画像の一部であったとしても、伝送量及び演算量の増大は問題となり得る。

【0008】

本開示は、比較的高いフレームレートを有する映像を取得して表示装置に対して伝送する際に、表示映像の品質低下を抑制しつつ、映像の伝送量及び演算量の増大を抑制することができる映像出力装置、映像出力方法および映像出力システムを提供することを目的とする。

【課題を解決するための手段】

【0009】

本開示は、入力された第１の映像データの輝度値に基づいて、前記第１の映像データにノイズを付加するノイズ付加部と、前記ノイズを付加した第２の映像データを、前記第１の映像データから得られる第１階調よりも階調値が小さい第２階調の表示映像データに変換する変調部と、前記第２階調の表示映像データを出力する映像出力部と、を備え、前記ノイズ付加部は、前記第１の映像データの輝度値が低輝度領域の場合には、広く設定された振幅範囲で発生させたノイズを付加し、前記第１の映像データの輝度値が高輝度領域の場合には、狭く設定された振幅範囲で発生させた前記ノイズを付加する、映像出力装置を提供する。

【0010】

また、本開示は、映像出力装置が行う映像出力方法であって、入力された第１の映像データの輝度値に基づいて、前記第１の映像データに前記第１の映像データの輝度値が低輝度領域の場合には、広く設定された振幅範囲で発生させたノイズを付加し、前記第１の映像データの輝度値が高輝度領域の場合には、狭く設定された振幅範囲で発生させた前記ノイズを付加するステップと、前記ノイズを付加した第２の映像データを前記第１の映像データから得られる第１階調よりも階調値が小さい第２階調の表示映像データに変換するステップと、前記第２階調の表示映像データを出力するステップと、を実行する、映像出力方法を提供する。

【0011】

また、本開示は、撮像デバイスと、前記撮像デバイスと通信可能な映像出力装置と、前記映像出力装置と通信可能な表示装置と、を備える映像出力システムであって、前記撮像デバイスは、撮像により第１の映像データを生成して、前記映像出力装置に出力し、前記映像出力装置は、前記第１の映像データの輝度値に基づいて、前記第１の映像データに前記第１の映像データの輝度値が低輝度領域の場合には、広く設定された振幅範囲で発生させた前記ノイズを付加し、前記第１の映像データの輝度値が高輝度領域の場合には、狭く設定された振幅範囲で発生させた前記ノイズを付加した第２の映像データを生成し、前記第２の映像データを、前記第１の映像データから得られる第１階調よりも階調値が小さい第２階調の表示映像データに変換して、前記表示装置に出力し、前記表示装置は、出力された前記表示映像データを表示する、映像出力システムを提供する。

【発明の効果】

【0012】

本開示によれば、比較的高いフレームレートを有する映像を取得して表示装置に対して伝送する際に、表示映像の品質低下を抑制しつつ、映像の伝送量及び演算量の増大を抑制できる。

【図面の簡単な説明】

【0013】

【図1】本実施の形態に係る撮像装置を含む映像表示システムの構成の第１例を示すブロック図

【図2】本実施の形態に係る撮像装置におけるノイズ特性の一例を示す図

【図3】本実施の形態に係る撮像装置において映像データにノイズを加算する動作例を示す図

【図4】本実施の形態に係る撮像装置を含む映像表示システムの構成の第２例を示すブロック図

【図5】撮像装置における映像信号の出力輝度値とノイズレベルとの関係の一例を示す図であり、ノイズが発生しない仮想状態を示した図

【図6】撮像装置における映像信号の出力輝度値とノイズレベルとの関係の一例を示す図であり、光ショットノイズが発生する実際の撮像デバイスの状態を示した図

【図7】比較例の撮像装置における動作例を示す図

【図8】本実施の形態の撮像装置における動作例を示す図

【発明を実施するための形態】

【0014】

以下、適宜図面を参照しながら、本開示に係る構成を具体的に開示した各実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

【0015】

本実施の形態では、比較的高いフレームレートを有する映像を表示する映像表示システムの構成を例示し、この映像表示システムにおいて高フレームレートの映像を取得して伝送する撮像装置の構成及び動作の一例について説明する。高フレームレートの映像表示システムとして、例えば、フレームレート４８０ｆｐｓの映像を表示する場合の構成を示す。フレームレートは、４８０ｆｐｓ、９６０ｆｐｓなど、通常映像に用いられる３０ｆｐｓ～６０ｆｐｓに比べて十分に高い値を用いる。本実施の形態は、高フレームレートの映像表示によって遅延を抑制するとともに、映像の伝送量及び演算量の増大を抑制する構成例を示すものである。

【0016】

ここで、視覚系のコントラスト感度関数（ＣＳＦ：Contrast Sensitivity Function）の時間特性について説明する。ＣＳＦの時間周波数に関して、刺激をコントラスト反転したときにフリッカーが知覚されなくなる時間周波数は臨界融合周波数（ＣＦＦ：Critical Flicker Frequency）と呼ばれ、ＣＦＦは一定のコントラストのもとで刺激が検出できる最大の時間周波数に相当する。人間のＣＦＦは５０Ｈｚ程度とされており、速くても６０～１２０Ｈｚがコントラストの変化を検知できる限界と考えられる。この人間に知覚可能な上限値を本明細書では人間の視覚時間感度（視覚情報処理の時間的解像度）と呼ぶことにする。人間の視覚時間感度を超えるような例えば４８０ｆｐｓ以上のフレームレートの高速映像は、人間は複数フレームにまたがって残像的に映像を認知することになる。

【0017】

このような人間の視覚特性を考慮し、本実施の形態では、撮像デバイスにて撮像した比較的高いフレームレートの映像データに対して、ランダムなノイズを加算し、輝度値のビット数を減らして階調を落とした状態で伝送する。この場合、映像データの階調値を小さくしつつ、ランダムなノイズの付加によっていわゆるディザ処理を施して出力することになる。これにより、映像データのデータ量を削減するとともに、階調値の低減により失われた階調成分を、人間の目による複数フレームの残像的な知覚によって回復させて擬似的な階調を与え、表示映像の品質低下を抑制する。

【0018】

信号にランダムなノイズを加算することによって、確率共鳴が発生することが知られている。本実施の形態では、確率共鳴を利用し、映像データにランダムなノイズを意図的に加算して閾値未満の信号成分をある確率のもとで検出可能とすることにより、階調値の低減により失われた階調成分を回復させる。

【0019】

また、本実施形態では、撮像デバイスにおいて発生する固有ノイズの一例としての光ショットノイズを考慮し、映像データに付加するランダムなノイズのノイズレベル（すなわち加算ノイズの振幅範囲）を調整する。この場合、映像データの輝度値に応じて変動する光ショットノイズのノイズレベルに対して、ノイズレベルの総和が輝度値に関わらず一様となるように、加算ノイズの振幅範囲を変化させる。加算ノイズの詳細については後述する。

【0020】

図１は、本実施の形態に係る撮像装置を含む映像表示システムの構成の第１例を示すブロック図である。映像表示システム１は、任意の対象物を撮像する撮像装置１０と、撮像装置１０から出力された映像データ（映像信号）がリアルタイムで入力される高速表示装置（表示装置）３０とを有する。

【0021】

撮像装置１０は、撮像デバイス１１と、映像出力部１２とを有する。撮像装置１０は、撮像デバイス１１及び映像出力部１２を一体的に構成した例えば１チップの半導体装置で構成されるものであってもよいし、撮像デバイス１１と映像出力部１２とを別体にした例えば複数チップの半導体装置を含む構成であってもよい。

【0022】

撮像デバイス１１は、ＣＣＤ（Charge Coupled Device）型イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサ等による固体撮像素子を含んで構成される。撮像デバイス１１は、図示しない撮像レンズにより結像された被写体の画像を撮像し、人間の視覚時間感度を超える例えば４８０ｆｐｓ以上の高フレームレートの撮像信号を取得する。そして、撮像デバイス１１は、第１のビット数（例えば８ビット）を有する第１階調の映像データ（以下、撮像映像データとも称する）を生成する。撮像映像データのフレームレートは、例えば約１０００ｆｐｓとする。第１階調の映像データは、第１階調（例えば８ビット）の輝度値を有する。よって、撮像デバイス１１は、被写体像を光電変換した撮像画像について、例えば、Ｒ，Ｇ，Ｂの各色について８ビットずつ合計２４ビットの映像データを生成して出力する。このとき、撮像デバイス１１は、ユーザ設定等により入力されるゲイン設定値に従って、所定のゲインによる第１階調の映像データを出力する。

【0023】

映像出力部１２は、第１階調の映像データを符号化して第１のビット数よりも小さい第２のビット数（例えば４ビット）を有する第２階調の映像データ（以下、表示映像データとも称する）を生成して出力する。すなわち、映像出力部１２は、撮像映像データから通常得られる第１階調よりも階調値が小さい第２階調の表示映像データを生成して出力する。映像出力部１２は、演算部１３と、ノイズ発生器１４と、加算器１５と、量子化器１６とを有する。ここで、演算部１３、ノイズ発生器１４、及び加算器１５がノイズ付加部の一例としての機能を有し、量子化器１６が変調部の一例としての機能を有する。

【0024】

演算部１３は、撮像デバイス１１から出力される映像データの輝度値に基づき、輝度値に応じた加算ノイズの振幅範囲を算出する。このとき、演算部１３は、ユーザ設定等により入力されるゲイン設定値に従って、輝度値に応じた加算ノイズの振幅範囲を算出する。なお、演算部１３は、撮像デバイス１１より出力される撮像デバイスの温度計測値を用いて、温度による補正値を加えた振幅範囲を算出してもよい。ノイズ発生器１４は、例えば三角波を発生する発振器、又は乱数を発生する乱数発生器等を有して構成され、演算部１３により算出された振幅範囲において変動するランダムな値を有する加算ノイズを生成する。加算器１５は、撮像デバイス１１から順次出力される現フレームに関する第１階調の映像データと、ノイズ発生器１４から出力される加算ノイズとを加算し、ノイズ付加後の映像データを量子化器１６に対して出力する。

【0025】

量子化器１６は、第１階調の映像データに対してノイズが付加された映像データを、第２階調の映像データに量子化して順次出力する。この量子化器１６により、撮像デバイス１１の出力に対して階調を下げたデータ（量子化データ）を生成することができる。したがって、撮像装置１０は、撮像により得られた高フレームレートの映像データとして、撮像時点の第１階調の撮像映像データよりもデータ量を削減した第２階調の表示映像データを出力する。

【0026】

高速表示装置３０は、液晶ディスプレイ、有機ＥＬ（ElectroLuminescence）ディスプレイ、プラズマディスプレイ等の公知の構成を有する表示デバイスを含んで構成される。高速表示装置３０は、撮像装置１０から伝送される映像データ（表示映像データ）を入力し、人間の視覚時間感度を超える高フレームレート（例えば４８０ｆｐｓ以上）の高速映像を表示可能となっている。この際、撮像装置１０から高速表示装置３０へ表示映像データを伝送して表示するまでの遅延は、例えば表示映像データのフレームレートが１０００ｆｐｓの場合、約１ｍｓ程度に小さくできる。

【0027】

図２は、本実施の形態に係る撮像装置におけるノイズ特性の一例を示す図である。ここで図２を用いて、本実施の形態における加算ノイズの振幅範囲について説明する。撮像装置１０の撮像デバイス１１において、固有ノイズとして光ショットノイズが発生し、出力される撮像信号に光ショットノイズＮｓの成分が含まれる。光ショットノイズＮｓは、光子の数の平方根に比例するため、撮像信号の輝度値により、輝度値が増加するにつれてノイズレベルが増加する。また、撮像デバイス１１において、周囲温度に応じた熱雑音Ｎｔが発生する。熱雑音Ｎｔは、撮像信号の輝度値に関わらず、ノイズレベルはほぼ一定の値である。

【0028】

本実施形態では、輝度値のビット数低減により失われた階調成分を回復させるためにランダムなノイズを意図的に加算する際に、輝度値による光ショットノイズＮｓの変動を考慮し、加算ノイズの振幅範囲Ｎａを設定する。すなわち、加算ノイズの振幅範囲Ｎａは、輝度値が増加するにつれてノイズレベルが減少するように、輝度値に応じて変動する振幅範囲を設定する。例えば、輝度値が８ビット（０～２５５）で表され、８ビットの輝度値を４ビットに量子化する場合、０～１５の振幅範囲の一様分布の乱数を加算ノイズとして加算する。このとき、加算ノイズの振幅範囲（乱数の発生範囲）を輝度値に応じて変化させる。より具体的には、低輝度領域では広い振幅範囲で発生させた加算ノイズを付加し、高輝度領域では狭い振幅範囲で発生させた加算ノイズを付加する。これにより、撮像装置１０における各輝度値のノイズレベルの総和を輝度値全体に渡って一様になるように、すなわちノイズレベルの総和を輝度値に関わらず一様とし、加算ノイズを過度に加算しすぎないようにする。

【0029】

映像データのフレームレートが低い場合は、ノイズを付加してもちらつきやノイズが増えるだけである。これに対し、人間の視覚時間感度を超える高フレームレートの場合は、複数フレームが残像として重なって見えるため、適切な量で、規定時間内に加算ノイズの平均値と変動値を収めることにより、人間の視覚にとっては、ちらつきを感じることなく、擬似的に階調を増加させて視認させることが可能となる。

【0030】

加算ノイズの振幅範囲Ｎａは、例えば以下の（１）式のように示すことができる。
Ｎａ＝Ｑ２－sqrt（ｙ）×Ｃｇ＋Ｎｔ …（１）
ここで、Ｑ２は第２階調への量子化範囲であり、例えば第２のビット数が４ビットの場合は１６となる。ｙは撮像デバイス１１より出力される撮像映像データの輝度値であり、例えば第１のビット数が８ビットの場合は０～２５５のいずれかの値となる。sqrt（ｙ）は輝度値ｙの平方根を示す。よって、sqrt（ｙ）×Ｃｇは光ショットノイズＮｓの成分に比例する値の標準偏差に相当する。Ｃｇはゲイン補正値であり、撮像装置１０のゲイン設定値に応じた所定の定数を用いればよい。撮像デバイス１１の出力の輝度値に対応する光子の数は、ゲイン設定値によって変化するので、ゲイン補正値Ｃｇによりゲイン設定値に応じた補正を行う。Ｎｔは撮像デバイス１１において推定される熱雑音の値である。なお、補正値としてさらに所定の係数を加えてもよい。

【0031】

撮像装置１０における固有ノイズと加算ノイズとを含むノイズレベルの総和Ｎは、Ｎ≒Ｎｓ＋Ｎａ＋Ｎｔであるので、上記（１）式のように輝度値に応じて変動する加算ノイズの振幅範囲Ｎａを設定することによって、ノイズレベルの総和Ｎを輝度値に関わらず一様にすることができる。ノイズレベルの総和は、例えば、撮像装置１０から出力される映像データの統計分析によって輝度とノイズの関係を抽出し、輝度値に関わらず一様であるかどうかを判別可能である。

【0032】

図３は、本実施の形態に係る撮像装置において映像データにノイズを加算する動作例を示す図である。図３では、説明を簡単にするために、加算ノイズの振幅範囲を固定値とした場合を例示する。図示例は、映像データの輝度値を０～２４０の各階調値とし、加算ノイズの振幅範囲を１６とし、加算ノイズを０～１５の間でランダムに変動する変動値とした例である。加算器１５は、撮像デバイス１１から出力される映像データの輝度値と、ノイズ発生器１４から出力される加算ノイズとを加算し、順次積分した積分値をノイズ付加後の映像データとして量子化器１６に対して出力する。量子化器１６は、ノイズ付加後の映像データを第２階調の映像データに変換して順次出力する。

【0033】

図４は、本実施の形態に係る撮像装置を含む映像表示システムの構成の第２例を示すブロック図である。映像表示システム１Ａは、任意の対象物を撮像する撮像装置２０と、撮像装置２０から出力された映像データがリアルタイムで入力される高速表示装置３０とを有する。第２例は、第１例の撮像装置１０の代わりに、アナログ回路により構成した撮像装置２０を有する他の構成例である。ここでは、第１例と異なる構成要素について説明し、同様の構成については説明を適宜省略する。

【0034】

撮像装置２０は、撮像デバイス２１と、アナログ構成の映像出力部２２とを有する。撮像装置２０は、撮像デバイス２１及び映像出力部２２を一体的に構成した例えば１チップの半導体装置で構成されるものであってもよいし、撮像デバイス２１と映像出力部２２とを別体にした例えば複数チップの半導体装置を含む構成であってもよい。

【0035】

撮像デバイス２１は、高フレームレートの撮像信号を取得し、アナログ信号の映像信号（撮像映像データ）として出力する。映像出力部２２は、撮像デバイス２１から出力される映像信号を変調し、撮像時の撮像映像データから通常得られる第１階調（例えば８ビット）よりも階調値が小さい第２階調（例えば４ビット）の映像データ（表示映像データ）を生成して出力する。映像出力部２２は、ノイズ発生器２３と、可変増幅器（ＡＭＰ）２４と、加算増幅回路２５と、ＡＤコンバータ（ＡＤＣ）２６とを有する。ここで、ノイズ発生器２３、可変増幅器２４、及び加算増幅回路２５がノイズ加算部の一例としての機能を有し、ＡＤコンバータ２６が変調部の一例としての機能を有する。

【0036】

ノイズ発生器２３は、例えば三角波を発生する発振器、又はアナログノイズ発生回路等を有して構成され、所定レベルのランダムな加算ノイズを生成し出力する。可変増幅器２４は、撮像デバイス２１から出力される映像信号の輝度値を制御入力とし、ノイズ発生器２３にて生成した加算ノイズを信号入力とし、輝度値に応じて変化させたゲインによって加算ノイズを増幅して出力する。これにより、可変増幅器２４の出力は、輝度値に応じた振幅の加算ノイズが出力される。加算増幅回路２５は、撮像デバイス２１から出力される映像信号（撮像映像データ）と、可変増幅器２４から出力される加算ノイズとを入力し、両者を加算（重畳）して増幅し出力する。ＡＤコンバータ２６は、加算増幅回路２５から出力されるノイズ付加後のアナログの映像信号を第２のビット数（例えば４ビット）を有する第２階調のディジタルデータに変換し、表示映像データとして順次出力する。これにより、撮像装置１０は、撮像により得られた高フレームレートの映像データとして、撮像デバイス２１の出力に対して階調を下げてデータ量を削減した第２階調の表示映像データを出力する。

【0037】

次に、本実施の形態に係る撮像装置の動作例を説明する。ここでは、撮像映像データの輝度値に対する、出力される表示映像データの階調及びノイズレベルの一例を示す。

【0038】

図５は、撮像装置における映像信号の出力輝度値とノイズレベルとの関係の一例を示す図であり、ノイズが発生しない仮想状態を示した図である。図５の上部は撮像映像データの輝度値に対する表示映像データの出力の統計的な平均値を示しており、人間の目に見える階調を表している。図５の下部は撮像映像データの輝度値に対するノイズレベルの出力の統計的な平均値を示している。撮像映像データの輝度値の全範囲にわたってノイズレベルが０の場合、第１階調（例えば８ビット）の映像データを第２階調（例えば４ビット）の映像データに符号化すると、出力の表示映像データの階調は粗くなる。この場合、人間の視覚においては階段状の階調変化として視認される。

【0039】

図６は、撮像装置における映像信号の出力輝度値とノイズレベルとの関係の一例を示す図であり、光ショットノイズが発生する実際の撮像デバイスの状態を示した図である。図６の上部は撮像映像データの輝度値に対する表示映像データの出力の統計的な平均値を示しており、図６の下部は撮像映像データの輝度値に対するノイズレベルの出力の統計的な平均値を示している。ここでは、わかりやすくするために非常にノイズが多い状況を想定し、０～２５５の各輝度値において、正規分布のノイズをそれぞれ１００００個発生させたシミュレーション結果を示している。この場合、撮像映像データには撮像装置において自然発生する固有ノイズとして光ショットノイズＮｓの成分が加算される。このため、第１階調から第２階調の映像データに符号化した際、ノイズ加算によって人間の視覚において擬似的な階調が付与され、ビット数低減により失われた階調成分が回復する。光ショットノイズＮｓは、撮像映像データの輝度値が増加するにつれてノイズレベルが大きくなるため、人間の目の見え方として高輝度領域ほど滑らかな階調変化が得られる。

【0040】

図７は、比較例の撮像装置における動作例として、映像信号の出力輝度値とノイズ値との関係の一例を示す図であり、各輝度値において一様な範囲で加算ノイズを付加した状態を示した図である。図７の上部は撮像映像データの輝度値に対する表示映像データの出力の統計的な平均値を示しており、図７の下部は撮像映像データの輝度値に対するノイズレベルの出力の統計的な平均値を示している。ここでは、わかりやすくするために非常にノイズが多い状況を想定し、０～２５５の各輝度値において、正規分布のノイズをそれぞれ１００００個発生させたシミュレーション結果を示している。比較例は、低輝度から高輝度まで一様な範囲で加算ノイズＮａを付加する例である。この比較例では、ノイズレベルの総和Ｎは、加算ノイズＮａが一定であるため、光ショットノイズＮｓに連動して輝度値が増加するにつれて大きくなる。この場合、高輝度領域では加算ノイズを過度に加算した状態となり、ノイズレベルの標準偏差が増加するため、出力の変動が大きくなり、出力レベルが所定範囲に収まらないことが生じ得る。このことは、出力映像に歪が生じてちらつきの要因となる。また、低輝度領域と高輝度領域の両端において階調が得られない課題が生じ得る。このように、低輝度から高輝度にわたって安定的にダイナミックレンジを確保できない場合があり、表示映像の品質低下を招くおそれがある。

【0041】

図８は、本実施の形態の撮像装置における動作例として、映像信号の出力輝度値とノイズ値との関係の一例を示す図であり、輝度値に応じて範囲を変動させて加算ノイズを付加した状態を示した図である。図８の上部は撮像映像データの輝度値に対する表示映像データの出力の統計的な平均値を示しており、図８の下部は撮像映像データの輝度値に対するノイズレベルの出力の統計的な平均値を示している。ここでは、わかりやすくするために非常にノイズが多い状況を想定し、０～２５５の各輝度値において、正規分布のノイズをそれぞれ１００００個発生させ、分散が輝度値に比例するよう発生させたシミュレーション結果を示している。実際には、撮像対象が明るい場合は撮像装置のゲイン設定値を下げることによりＳ／Ｎが変化し、ノイズレベルを下げることができる。よって、輝度値に応じて加算ノイズの振幅範囲を設定するとともに、ゲイン設定値に応じた振幅範囲の補正を行う。

【0042】

本実施の形態では、各輝度値においてノイズレベルの総和Ｎが一様となるように、輝度値に応じた光ショットノイズＮｓの増加に対して加算ノイズＮａを減少させ、撮像映像データに加算する。これにより、映像データの出力偏差の増加を抑制できる。このように輝度値の増加に応じてノイズレベルが小さくなるように加算ノイズＮａを変動させることにより、輝度値に関わらず常に適切なノイズ付加を可能とし、低輝度から高輝度にわたって安定的にダイナミックレンジを確保する。これにより、人間の視覚においては輝度値の全体で滑らかな階調変化が得られ、階調値の低減により失われた階調成分を回復でき、表示映像の品質低下を抑制できる。

【0043】

以上のように、本実施の形態の撮像装置１０、２０は、撮像により人間の視覚時間感度を超える高フレームレートの撮像映像データを取得する撮像デバイス１１、２１と、撮像映像データから通常得られる第１階調よりも階調値が小さい第２階調の表示映像データを生成して出力する映像出力部１２、２２と、を有する。映像出力部１２、２２は、撮像映像データの輝度値全体に渡って各輝度値のノイズレベルの総和が一様になるように、撮像映像データに対して加算ノイズを付加するノイズ付加部（演算部１３、ノイズ発生器１４、加算器１５、又はノイズ発生器２３、可変増幅器２４、加算増幅回路２５）と、加算ノイズを付加した後の映像データを第２階調の表示映像データに変換する変調部（量子化器１６又はＡＤコンバータ２６）と、を含む。本実施の形態では、高フレームレートの撮像映像データを取得して表示装置に対して伝送する際に、撮像映像データに加算ノイズを付加し、撮像映像データから通常得られる第１階調よりも階調値が小さい第２階調の表示映像データを生成して出力する。このような信号処理によって、映像データのデータ量を削減して遅延を抑制するとともに、階調値の低減により失われた階調成分を、人間の目による複数フレームの残像的な知覚によって回復させる。このとき、撮像映像データの輝度値全体に渡って各輝度値のノイズレベルの総和が一様になるようにすることで、加算ノイズが過度に付加されることを防止し、映像のちらつき発生等の品質低下を抑制できる。これにより、表示映像の品質低下を抑制しつつ、映像の伝送量及び演算量の増大を抑制することが可能になる。

【0044】

また、撮像装置１０において、映像出力部１２は、撮像デバイス１１から出力される第１のビット数を有する第１階調の撮像映像データに基づき、第１のビット数よりも小さい第２のビット数を有する第２階調の表示映像データを生成して出力する。これにより、映像データの輝度値のビット数低減によってデータ量を削減し、遅延を抑制することが可能となる。

【0045】

また、撮像装置１０において、映像出力部１２は、ノイズ付加部として、第１階調の撮像映像データの輝度値に応じた加算ノイズの振幅範囲を算出する演算部１３と、算出された振幅範囲のランダムなノイズを加算ノイズとして出力するノイズ発生器１４と、撮像映像データと加算ノイズとを加算する加算器１５と、を含む。また、映像出力部１２は、変調部として、第１階調の撮像映像データに対して加算ノイズが付加された映像データを、第２階調の映像データに量子化して表示映像データとして順次出力する量子化器１６を含む。これにより、ディジタル信号処理を実行する構成によって、撮像映像信号に対して意図的にノイズを付加し、階調値の低減により失われた階調成分を回復させるとともに、映像データのデータ量を削減して遅延を抑制することが可能となる。

【0046】

また、撮像装置２０において、映像出力部２２は、ノイズ付加部として、装置においてノイズ発生器２３等で発生されるランダムなノイズを、撮像デバイス２１から出力される撮像映像データの輝度値に応じた振幅に増幅し、加算ノイズとして出力する可変増幅器２４と、撮像デバイス２１から出力される撮像映像データと加算ノイズとを重畳して出力する加算増幅回路２５と、を含む。また、映像出力部２２は、変調部として、加算増幅回路２５から出力されるノイズ付加後のアナログの映像信号を、第２階調のディジタルデータに変換して表示映像データとして順次出力するＡＤコンバータ２６を含む。これにより、アナログ信号処理を実行する構成によって、撮像映像信号に対して意図的にノイズを付加し、階調値の低減により失われた階調成分を回復させるとともに、映像データのデータ量を削減して遅延を抑制することが可能となる。

【0047】

また、撮像装置１０、２０において、高フレームレートの撮像映像データとして４８０ｆｐｓ以上のフレームレートの映像データを取得する。このように、４８０ｆｐｓ以上の高いフレームレートの映像データを用いて、高速な映像表示を行う場合に、表示映像の品質低下を抑制しつつ、映像の伝送量及び演算量の増大を抑制することが可能となる。

【0048】

また、撮像装置１０、２０において、映像出力部１２、２２のノイズ付加部は、撮像映像データの輝度値が増加するにつれて加算ノイズを減少させて付加し、撮像デバイス１１、２１において発生する固有ノイズと加算ノイズとを含むノイズレベルの総和が撮像映像データの輝度値全体に渡って一様となっている。これにより、撮像映像データの輝度値全体に渡って各輝度値のノイズレベルの総和が一様になるようにすることができ、特に高輝度領域においてノイズを加算しすぎることを防止し、映像のちらつき発生等の品質低下を抑制できる。

【0049】

本実施の形態の映像出力方法は、撮像デバイス１１、２１により撮像した人間の視覚時間感度を超える高フレームレートの撮像映像データを取得するステップと、撮像映像データの輝度値全体に渡って各輝度値のノイズレベルの総和が一様になるように、撮像映像データに対して加算ノイズを付加するステップと、加算ノイズを付加した後の映像データを用いて、撮像映像データから通常得られる第１階調よりも階調値が小さい第２階調の表示映像データを生成するステップと、第２階調の表示映像データを高速表示装置３０に出力するステップと、を有する。これにより、比較的高いフレームレートを有する映像を取得して表示装置に対して伝送する際に、表示映像の品質低下を抑制しつつ、映像の伝送量及び演算量の増大を抑制することが可能になる。

【0050】

以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施形態における各構成要素を任意に組み合わせてもよい。

【産業上の利用可能性】

【0051】

本開示は、比較的高いフレームレートを有する映像を取得して表示装置に対して伝送する際に、表示映像の品質低下を抑制しつつ、映像の伝送量及び演算量の増大を抑制することができる映像出力装置、映像出力方法および映像出力システムとして有用である。

【符号の説明】

【0052】

１、１Ａ 映像表示システム
１０、２０ 撮像装置
１１、２１ 撮像デバイス
１２、２２ 映像出力部
１３ 演算部
１４ ノイズ発生器
１５ 加算器
１６ 量子化器
２３ ノイズ発生器
２４ 可変増幅器
２５ 加算増幅回路
２６ ＡＤコンバータ
３０ 高速表示装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】