特開2019-220925(P2019-220925A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニックIPマネジメント株式会社の特許一覧
<>
  • 特開2019220925-撮像装置及び映像出力方法 図000003
  • 特開2019220925-撮像装置及び映像出力方法 図000004
  • 特開2019220925-撮像装置及び映像出力方法 図000005
  • 特開2019220925-撮像装置及び映像出力方法 図000006
  • 特開2019220925-撮像装置及び映像出力方法 図000007
  • 特開2019220925-撮像装置及び映像出力方法 図000008
  • 特開2019220925-撮像装置及び映像出力方法 図000009
  • 特開2019220925-撮像装置及び映像出力方法 図000010
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2019-220925(P2019-220925A)
(43)【公開日】2019年12月26日
(54)【発明の名称】撮像装置及び映像出力方法
(51)【国際特許分類】
   H04N 5/232 20060101AFI20191129BHJP
   H04N 7/18 20060101ALI20191129BHJP
   H04N 5/21 20060101ALI20191129BHJP
【FI】
   H04N5/232 300
   H04N7/18 K
   H04N5/232 930
   H04N5/21
【審査請求】未請求
【請求項の数】7
【出願形態】OL
【全頁数】13
(21)【出願番号】特願2018-119132(P2018-119132)
(22)【出願日】2018年6月22日
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】110002000
【氏名又は名称】特許業務法人栄光特許事務所
(72)【発明者】
【氏名】渕上 竜司
【テーマコード(参考)】
5C021
5C054
5C122
【Fターム(参考)】
5C021PA66
5C021RB07
5C021YA01
5C054CA04
5C054CC02
5C054ED17
5C054HA04
5C122DA03
5C122EA12
5C122FG03
5C122FG15
5C122FK08
5C122FK23
(57)【要約】
【課題】比較的高いフレームレートを有する映像を取得して表示装置に対して伝送する際に、表示映像の品質低下を抑制しつつ、映像の伝送量及び演算量の増大を抑制する。
【解決手段】撮像装置10は、撮像により人間の視覚時間感度を超える高フレームレートの撮像映像データを取得する撮像デバイス11と、撮像映像データから通常得られる第1階調よりも階調値が小さい第2階調の表示映像データを生成して出力する映像出力部12と、を有する。映像出力部12は、撮像映像データの輝度値全体に渡って各輝度値のノイズレベルの総和が一様になるように、撮像映像データに対して加算ノイズを付加するノイズ付加部としての演算部13、ノイズ発生器14、及び加算器15と、加算ノイズを付加した後の映像データを第2階調の表示映像データに変換する変調部としての量子化器16と、を含む。
【選択図】図1
【特許請求の範囲】
【請求項1】
撮像により人間の視覚時間感度を超える高フレームレートの撮像映像データを取得する撮像デバイスと、
前記撮像映像データから通常得られる第1階調よりも階調値が小さい第2階調の表示映像データを生成して出力する映像出力部と、を有し、
前記映像出力部は、
前記撮像映像データの輝度値全体に渡って各輝度値のノイズレベルの総和が一様になるように、前記撮像映像データに対して加算ノイズを付加するノイズ付加部と、
前記加算ノイズを付加した後の映像データを前記第2階調の表示映像データに変換する変調部と、を含む、
撮像装置。
【請求項2】
請求項1に記載の撮像装置であって、
前記映像出力部は、
前記撮像デバイスから出力される第1のビット数を有する前記第1階調の撮像映像データに基づき、前記第1のビット数よりも小さい第2のビット数を有する前記第2階調の表示映像データを生成して出力する、
撮像装置。
【請求項3】
請求項2に記載の撮像装置であって、
前記ノイズ付加部は、前記第1階調の撮像映像データの輝度値に応じた前記加算ノイズの振幅範囲を算出する演算部と、前記算出された振幅範囲のランダムなノイズを前記加算ノイズとして出力するノイズ発生器と、前記撮像映像データと前記加算ノイズとを加算する加算器と、を含み、
前記変調部は、前記第1階調の撮像映像データに対して前記加算ノイズが付加された映像データを、前記第2階調の映像データに量子化して前記表示映像データとして順次出力する量子化器を含む、
撮像装置。
【請求項4】
請求項1に記載の撮像装置であって、
前記ノイズ付加部は、装置において発生されるランダムなノイズを、前記撮像デバイスから出力される撮像映像データの輝度値に応じた振幅に増幅し、前記加算ノイズとして出力する可変増幅器と、前記撮像デバイスから出力される撮像映像データと前記加算ノイズとを重畳して出力する加算増幅回路と、を含み、
前記変調部は、前記加算増幅回路から出力されるノイズ付加後のアナログの映像信号を、前記第2階調のディジタルデータに変換して前記表示映像データとして順次出力するADコンバータを含む、
撮像装置。
【請求項5】
請求項1から4のいずれか一項に記載の撮像装置であって、
前記高フレームレートの撮像映像データとして480fps以上のフレームレートの映像データを取得する、
撮像装置。
【請求項6】
請求項1から5のいずれか一項に記載の撮像装置であって、
前記ノイズ付加部は、前記撮像映像データの輝度値に応じて、前記輝度値が増加するにつれて前記加算ノイズを減少させて付加し、前記撮像デバイスにおいて発生する固有ノイズと前記加算ノイズとを含むノイズレベルの総和が前記撮像映像データの輝度値全体に渡って一様となっている、
撮像装置。
【請求項7】
撮像デバイスにより撮像した人間の視覚時間感度を超える高フレームレートの撮像映像データを取得するステップと、
前記撮像映像データの輝度値全体に渡って各輝度値のノイズレベルの総和が一様になるように、前記撮像映像データに対して加算ノイズを付加するステップと、
前記加算ノイズを付加した後の映像データを用いて、前記撮像映像データから通常得られる第1階調よりも階調値が小さい第2階調の表示映像データを生成するステップと、
前記第2階調の表示映像データを表示装置に出力するステップと、
を有する映像出力方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、比較的高いフレームレートを有する映像の表示に好適な映像表示システム等に用いられる撮像装置及び映像出力方法に関する。
【背景技術】
【0002】
動画像の映像信号に対して画像処理及び伝送を行い、表示装置に映像を表示する映像表示システムは、人の視覚を考慮して60fps(frame per seconds)以下のフレームレートにて動作するよう設計されるのが一般的である。このような映像表示システムでは、撮像装置によって取得した映像が表示装置にて表示されるまでの間に、撮像、画像処理、伝送の各処理の実行によって、システム全体としてある程度の遅延が発生することになる。例えば、フレームレートが60fpsの場合には、1フレームあたりの時間が約16.6msとなり、映像表示の遅延として例えば100ms程度の遅延が発生することがある。
【0003】
撮像装置によって撮像した映像出力に対する上記のような映像表示の遅延は、システムの動作に悪影響を及ぼし得る。例えば、遠隔から映像を見ながらロボットアームを制御して不規則に動くものを掴むような場合において、映像の遅延は安定した操作を阻害する要因となるため、映像表示の遅延を解消することが望まれる。リアルタイム映像を利用する内視鏡手術及び遠隔手術、災害救助ロボットの遠隔操作などに用いられる映像表示システムにおいても、映像表示の遅延の解消が有益となる。
【0004】
一方で、映像に比較的高いフレームレート(例えば、480fps)を適用することにより、映像表示の遅延を抑制する技術も想定されるが、単にフレームレートを増大させた場合には、伝送量及び演算量の増大を招くことになる。
【0005】
映像の高解像度を維持しつつ伝送量を抑制するための技術として、例えば、監視用カメラによって撮影された映像に関し、人が出入りするドアの付近などに注目し、この監視したい注目監視エリアを高フレームレートで表示し、植物が置かれた場所や壁など注目監視エリアの背景となるようなエリアをネットワーク帯域の有効利用を考慮して低フレームレートで伝送を行うようにしたものが知られている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2008−219484号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
上記特許文献1に記載された従来技術では、高フレームレートとして30fps程度が想定されている。ここで、映像の高解像度を維持するために、より高いフレームレート(例えば、480fps)を適用した場合には、高フレームレートの適用が注目監視エリアのような画像の一部であったとしても、伝送量及び演算量の増大は問題となり得る。
【0008】
本開示は、比較的高いフレームレートを有する映像を取得して表示装置に対して伝送する際に、表示映像の品質低下を抑制しつつ、映像の伝送量及び演算量の増大を抑制することができる撮像装置及び映像出力方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
本開示は、撮像により人間の視覚時間感度を超える高フレームレートの撮像映像データを取得する撮像デバイスと、前記撮像映像データから通常得られる第1階調よりも階調値が小さい第2階調の表示映像データを生成して出力する映像出力部と、を有し、前記映像出力部は、前記撮像映像データの輝度値全体に渡って各輝度値のノイズレベルの総和が一様になるように、前記撮像映像データに対して加算ノイズを付加するノイズ付加部と、前記加算ノイズを付加した後の映像データを前記第2階調の表示映像データに変換する変調部と、を含む、撮像装置を提供する。
【0010】
また、本開示は、撮像デバイスにより撮像した人間の視覚時間感度を超える高フレームレートの撮像映像データを取得するステップと、前記撮像映像データの輝度値全体に渡って各輝度値のノイズレベルの総和が一様になるように、前記撮像映像データに対して加算ノイズを付加するステップと、前記加算ノイズを付加した後の映像データを用いて、前記撮像映像データから通常得られる第1階調よりも階調値が小さい第2階調の表示映像データを生成するステップと、前記第2階調の表示映像データを表示装置に出力するステップと、を有する映像出力方法を提供する。
【発明の効果】
【0011】
本開示によれば、比較的高いフレームレートを有する映像を取得して表示装置に対して伝送する際に、表示映像の品質低下を抑制しつつ、映像の伝送量及び演算量の増大を抑制できる。
【図面の簡単な説明】
【0012】
図1】本実施の形態に係る撮像装置を含む映像表示システムの構成の第1例を示すブロック図
図2】本実施の形態に係る撮像装置におけるノイズ特性の一例を示す図
図3】本実施の形態に係る撮像装置において映像データにノイズを加算する動作例を示す図
図4】本実施の形態に係る撮像装置を含む映像表示システムの構成の第2例を示すブロック図
図5】撮像装置における映像信号の出力輝度値とノイズレベルとの関係の一例を示す図であり、ノイズが発生しない仮想状態を示した図
図6】撮像装置における映像信号の出力輝度値とノイズレベルとの関係の一例を示す図であり、光ショットノイズが発生する実際の撮像デバイスの状態を示した図
図7】比較例の撮像装置における動作例を示す図
図8】本実施の形態の撮像装置における動作例を示す図
【発明を実施するための形態】
【0013】
以下、適宜図面を参照しながら、本開示に係る構成を具体的に開示した各実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【0014】
本実施の形態では、比較的高いフレームレートを有する映像を表示する映像表示システムの構成を例示し、この映像表示システムにおいて高フレームレートの映像を取得して伝送する撮像装置の構成及び動作の一例について説明する。高フレームレートの映像表示システムとして、例えば、フレームレート480fpsの映像を表示する場合の構成を示す。フレームレートは、480fps、960fpsなど、通常映像に用いられる30fps〜60fpsに比べて十分に高い値を用いる。本実施の形態は、高フレームレートの映像表示によって遅延を抑制するとともに、映像の伝送量及び演算量の増大を抑制する構成例を示すものである。
【0015】
ここで、視覚系のコントラスト感度関数(CSF:Contrast Sensitivity Function)の時間特性について説明する。CSFの時間周波数に関して、刺激をコントラスト反転したときにフリッカーが知覚されなくなる時間周波数は臨界融合周波数(CFF:Critical Flicker Frequency)と呼ばれ、CFFは一定のコントラストのもとで刺激が検出できる最大の時間周波数に相当する。人間のCFFは50Hz程度とされており、速くても60〜120Hzがコントラストの変化を検知できる限界と考えられる。この人間に知覚可能な上限値を本明細書では人間の視覚時間感度(視覚情報処理の時間的解像度)と呼ぶことにする。人間の視覚時間感度を超えるような例えば480fps以上のフレームレートの高速映像は、人間は複数フレームにまたがって残像的に映像を認知することになる。
【0016】
このような人間の視覚特性を考慮し、本実施の形態では、撮像デバイスにて撮像した比較的高いフレームレートの映像データに対して、ランダムなノイズを加算し、輝度値のビット数を減らして階調を落とした状態で伝送する。この場合、映像データの階調値を小さくしつつ、ランダムなノイズの付加によっていわゆるディザ処理を施して出力することになる。これにより、映像データのデータ量を削減するとともに、階調値の低減により失われた階調成分を、人間の目による複数フレームの残像的な知覚によって回復させて擬似的な階調を与え、表示映像の品質低下を抑制する。
【0017】
信号にランダムなノイズを加算することによって、確率共鳴が発生することが知られている。本実施の形態では、確率共鳴を利用し、映像データにランダムなノイズを意図的に加算して閾値未満の信号成分をある確率のもとで検出可能とすることにより、階調値の低減により失われた階調成分を回復させる。
【0018】
また、本実施形態では、撮像デバイスにおいて発生する固有ノイズの一例としての光ショットノイズを考慮し、映像データに付加するランダムなノイズのノイズレベル(すなわち加算ノイズの振幅範囲)を調整する。この場合、映像データの輝度値に応じて変動する光ショットノイズのノイズレベルに対して、ノイズレベルの総和が輝度値に関わらず一様となるように、加算ノイズの振幅範囲を変化させる。加算ノイズの詳細については後述する。
【0019】
図1は、本実施の形態に係る撮像装置を含む映像表示システムの構成の第1例を示すブロック図である。映像表示システム1は、任意の対象物を撮像する撮像装置10と、撮像装置10から出力された映像データ(映像信号)がリアルタイムで入力される高速表示装置(表示装置)30とを有する。
【0020】
撮像装置10は、撮像デバイス11と、映像出力部12とを有する。撮像装置10は、撮像デバイス11及び映像出力部12を一体的に構成した例えば1チップの半導体装置で構成されるものであってもよいし、撮像デバイス11と映像出力部12とを別体にした例えば複数チップの半導体装置を含む構成であってもよい。
【0021】
撮像デバイス11は、CCD(Charge Coupled Device)型イメージセンサ又はCMOS(Complementary Metal Oxide Semiconductor)型イメージセンサ等による固体撮像素子を含んで構成される。撮像デバイス11は、図示しない撮像レンズにより結像された被写体の画像を撮像し、人間の視覚時間感度を超える例えば480fps以上の高フレームレートの撮像信号を取得する。そして、撮像デバイス11は、第1のビット数(例えば8ビット)を有する第1階調の映像データ(以下、撮像映像データとも称する)を生成する。撮像映像データのフレームレートは、例えば約1000fpsとする。第1階調の映像データは、第1階調(例えば8ビット)の輝度値を有する。よって、撮像デバイス11は、被写体像を光電変換した撮像画像について、例えば、R,G,Bの各色について8ビットずつ合計24ビットの映像データを生成して出力する。このとき、撮像デバイス11は、ユーザ設定等により入力されるゲイン設定値に従って、所定のゲインによる第1階調の映像データを出力する。
【0022】
映像出力部12は、第1階調の映像データを符号化して第1のビット数よりも小さい第2のビット数(例えば4ビット)を有する第2階調の映像データ(以下、表示映像データとも称する)を生成して出力する。すなわち、映像出力部12は、撮像映像データから通常得られる第1階調よりも階調値が小さい第2階調の表示映像データを生成して出力する。映像出力部12は、演算部13と、ノイズ発生器14と、加算器15と、量子化器16とを有する。ここで、演算部13、ノイズ発生器14、及び加算器15がノイズ付加部の一例としての機能を有し、量子化器16が変調部の一例としての機能を有する。
【0023】
演算部13は、撮像デバイス11から出力される映像データの輝度値に基づき、輝度値に応じた加算ノイズの振幅範囲を算出する。このとき、演算部13は、ユーザ設定等により入力されるゲイン設定値に従って、輝度値に応じた加算ノイズの振幅範囲を算出する。なお、演算部13は、撮像デバイス11より出力される撮像デバイスの温度計測値を用いて、温度による補正値を加えた振幅範囲を算出してもよい。ノイズ発生器14は、例えば三角波を発生する発振器、又は乱数を発生する乱数発生器等を有して構成され、演算部13により算出された振幅範囲において変動するランダムな値を有する加算ノイズを生成する。加算器15は、撮像デバイス11から順次出力される現フレームに関する第1階調の映像データと、ノイズ発生器14から出力される加算ノイズとを加算し、ノイズ付加後の映像データを量子化器16に対して出力する。
【0024】
量子化器16は、第1階調の映像データに対してノイズが付加された映像データを、第2階調の映像データに量子化して順次出力する。この量子化器16により、撮像デバイス11の出力に対して階調を下げたデータ(量子化データ)を生成することができる。したがって、撮像装置10は、撮像により得られた高フレームレートの映像データとして、撮像時点の第1階調の撮像映像データよりもデータ量を削減した第2階調の表示映像データを出力する。
【0025】
高速表示装置30は、液晶ディスプレイ、有機EL(ElectroLuminescence)ディスプレイ、プラズマディスプレイ等の公知の構成を有する表示デバイスを含んで構成される。高速表示装置30は、撮像装置10から伝送される映像データ(表示映像データ)を入力し、人間の視覚時間感度を超える高フレームレート(例えば480fps以上)の高速映像を表示可能となっている。この際、撮像装置10から高速表示装置30へ表示映像データを伝送して表示するまでの遅延は、例えば表示映像データのフレームレートが1000fpsの場合、約1ms程度に小さくできる。
【0026】
図2は、本実施の形態に係る撮像装置におけるノイズ特性の一例を示す図である。ここで図2を用いて、本実施の形態における加算ノイズの振幅範囲について説明する。撮像装置10の撮像デバイス11において、固有ノイズとして光ショットノイズが発生し、出力される撮像信号に光ショットノイズNsの成分が含まれる。光ショットノイズNsは、光子の数の平方根に比例するため、撮像信号の輝度値により、輝度値が増加するにつれてノイズレベルが増加する。また、撮像デバイス11において、周囲温度に応じた熱雑音Ntが発生する。熱雑音Ntは、撮像信号の輝度値に関わらず、ノイズレベルはほぼ一定の値である。
【0027】
本実施形態では、輝度値のビット数低減により失われた階調成分を回復させるためにランダムなノイズを意図的に加算する際に、輝度値による光ショットノイズNsの変動を考慮し、加算ノイズの振幅範囲Naを設定する。すなわち、加算ノイズの振幅範囲Naは、輝度値が増加するにつれてノイズレベルが減少するように、輝度値に応じて変動する振幅範囲を設定する。例えば、輝度値が8ビット(0〜255)で表され、8ビットの輝度値を4ビットに量子化する場合、0〜15の振幅範囲の一様分布の乱数を加算ノイズとして加算する。このとき、加算ノイズの振幅範囲(乱数の発生範囲)を輝度値に応じて変化させる。より具体的には、低輝度領域では広い振幅範囲で発生させた加算ノイズを付加し、高輝度領域では狭い振幅範囲で発生させた加算ノイズを付加する。これにより、撮像装置10における各輝度値のノイズレベルの総和を輝度値全体に渡って一様になるように、すなわちノイズレベルの総和を輝度値に関わらず一様とし、加算ノイズを過度に加算しすぎないようにする。
【0028】
映像データのフレームレートが低い場合は、ノイズを付加してもちらつきやノイズが増えるだけである。これに対し、人間の視覚時間感度を超える高フレームレートの場合は、複数フレームが残像として重なって見えるため、適切な量で、規定時間内に加算ノイズの平均値と変動値を収めることにより、人間の視覚にとっては、ちらつきを感じることなく、擬似的に階調を増加させて視認させることが可能となる。
【0029】
加算ノイズの振幅範囲Naは、例えば以下の(1)式のように示すことができる。
Na=Q2−sqrt(y)×Cg+Nt …(1)
ここで、Q2は第2階調への量子化範囲であり、例えば第2のビット数が4ビットの場合は16となる。yは撮像デバイス11より出力される撮像映像データの輝度値であり、例えば第1のビット数が8ビットの場合は0〜255のいずれかの値となる。sqrt(y)は輝度値yの平方根を示す。よって、sqrt(y)×Cgは光ショットノイズNsの成分に比例する値の標準偏差に相当する。Cgはゲイン補正値であり、撮像装置10のゲイン設定値に応じた所定の定数を用いればよい。撮像デバイス11の出力の輝度値に対応する光子の数は、ゲイン設定値によって変化するので、ゲイン補正値Cgによりゲイン設定値に応じた補正を行う。Ntは撮像デバイス11において推定される熱雑音の値である。なお、補正値としてさらに所定の係数を加えてもよい。
【0030】
撮像装置10における固有ノイズと加算ノイズとを含むノイズレベルの総和Nは、N≒Ns+Na+Ntであるので、上記(1)式のように輝度値に応じて変動する加算ノイズの振幅範囲Naを設定することによって、ノイズレベルの総和Nを輝度値に関わらず一様にすることができる。ノイズレベルの総和は、例えば、撮像装置10から出力される映像データの統計分析によって輝度とノイズの関係を抽出し、輝度値に関わらず一様であるかどうかを判別可能である。
【0031】
図3は、本実施の形態に係る撮像装置において映像データにノイズを加算する動作例を示す図である。図3では、説明を簡単にするために、加算ノイズの振幅範囲を固定値とした場合を例示する。図示例は、映像データの輝度値を0〜240の各階調値とし、加算ノイズの振幅範囲を16とし、加算ノイズを0〜15の間でランダムに変動する変動値とした例である。加算器15は、撮像デバイス11から出力される映像データの輝度値と、ノイズ発生器14から出力される加算ノイズとを加算し、順次積分した積分値をノイズ付加後の映像データとして量子化器16に対して出力する。量子化器16は、ノイズ付加後の映像データを第2階調の映像データに変換して順次出力する。
【0032】
図4は、本実施の形態に係る撮像装置を含む映像表示システムの構成の第2例を示すブロック図である。映像表示システム1Aは、任意の対象物を撮像する撮像装置20と、撮像装置20から出力された映像データがリアルタイムで入力される高速表示装置30とを有する。第2例は、第1例の撮像装置10の代わりに、アナログ回路により構成した撮像装置20を有する他の構成例である。ここでは、第1例と異なる構成要素について説明し、同様の構成については説明を適宜省略する。
【0033】
撮像装置20は、撮像デバイス21と、アナログ構成の映像出力部22とを有する。撮像装置20は、撮像デバイス21及び映像出力部22を一体的に構成した例えば1チップの半導体装置で構成されるものであってもよいし、撮像デバイス21と映像出力部22とを別体にした例えば複数チップの半導体装置を含む構成であってもよい。
【0034】
撮像デバイス21は、高フレームレートの撮像信号を取得し、アナログ信号の映像信号(撮像映像データ)として出力する。映像出力部22は、撮像デバイス21から出力される映像信号を変調し、撮像時の撮像映像データから通常得られる第1階調(例えば8ビット)よりも階調値が小さい第2階調(例えば4ビット)の映像データ(表示映像データ)を生成して出力する。映像出力部22は、ノイズ発生器23と、可変増幅器(AMP)24と、加算増幅回路25と、ADコンバータ(ADC)26とを有する。ここで、ノイズ発生器23、可変増幅器24、及び加算増幅回路25がノイズ加算部の一例としての機能を有し、ADコンバータ26が変調部の一例としての機能を有する。
【0035】
ノイズ発生器23は、例えば三角波を発生する発振器、又はアナログノイズ発生回路等を有して構成され、所定レベルのランダムな加算ノイズを生成し出力する。可変増幅器24は、撮像デバイス21から出力される映像信号の輝度値を制御入力とし、ノイズ発生器23にて生成した加算ノイズを信号入力とし、輝度値に応じて変化させたゲインによって加算ノイズを増幅して出力する。これにより、可変増幅器24の出力は、輝度値に応じた振幅の加算ノイズが出力される。加算増幅回路25は、撮像デバイス21から出力される映像信号(撮像映像データ)と、可変増幅器24から出力される加算ノイズとを入力し、両者を加算(重畳)して増幅し出力する。ADコンバータ26は、加算増幅回路25から出力されるノイズ付加後のアナログの映像信号を第2のビット数(例えば4ビット)を有する第2階調のディジタルデータに変換し、表示映像データとして順次出力する。これにより、撮像装置10は、撮像により得られた高フレームレートの映像データとして、撮像デバイス21の出力に対して階調を下げてデータ量を削減した第2階調の表示映像データを出力する。
【0036】
次に、本実施の形態に係る撮像装置の動作例を説明する。ここでは、撮像映像データの輝度値に対する、出力される表示映像データの階調及びノイズレベルの一例を示す。
【0037】
図5は、撮像装置における映像信号の出力輝度値とノイズレベルとの関係の一例を示す図であり、ノイズが発生しない仮想状態を示した図である。図5の上部は撮像映像データの輝度値に対する表示映像データの出力の統計的な平均値を示しており、人間の目に見える階調を表している。図5の下部は撮像映像データの輝度値に対するノイズレベルの出力の統計的な平均値を示している。撮像映像データの輝度値の全範囲にわたってノイズレベルが0の場合、第1階調(例えば8ビット)の映像データを第2階調(例えば4ビット)の映像データに符号化すると、出力の表示映像データの階調は粗くなる。この場合、人間の視覚においては階段状の階調変化として視認される。
【0038】
図6は、撮像装置における映像信号の出力輝度値とノイズレベルとの関係の一例を示す図であり、光ショットノイズが発生する実際の撮像デバイスの状態を示した図である。図6の上部は撮像映像データの輝度値に対する表示映像データの出力の統計的な平均値を示しており、図6の下部は撮像映像データの輝度値に対するノイズレベルの出力の統計的な平均値を示している。ここでは、わかりやすくするために非常にノイズが多い状況を想定し、0〜255の各輝度値において、正規分布のノイズをそれぞれ10000個発生させたシミュレーション結果を示している。この場合、撮像映像データには撮像装置において自然発生する固有ノイズとして光ショットノイズNsの成分が加算される。このため、第1階調から第2階調の映像データに符号化した際、ノイズ加算によって人間の視覚において擬似的な階調が付与され、ビット数低減により失われた階調成分が回復する。光ショットノイズNsは、撮像映像データの輝度値が増加するにつれてノイズレベルが大きくなるため、人間の目の見え方として高輝度領域ほど滑らかな階調変化が得られる。
【0039】
図7は、比較例の撮像装置における動作例として、映像信号の出力輝度値とノイズ値との関係の一例を示す図であり、各輝度値において一様な範囲で加算ノイズを付加した状態を示した図である。図7の上部は撮像映像データの輝度値に対する表示映像データの出力の統計的な平均値を示しており、図7の下部は撮像映像データの輝度値に対するノイズレベルの出力の統計的な平均値を示している。ここでは、わかりやすくするために非常にノイズが多い状況を想定し、0〜255の各輝度値において、正規分布のノイズをそれぞれ10000個発生させたシミュレーション結果を示している。比較例は、低輝度から高輝度まで一様な範囲で加算ノイズNaを付加する例である。この比較例では、ノイズレベルの総和Nは、加算ノイズNaが一定であるため、光ショットノイズNsに連動して輝度値が増加するにつれて大きくなる。この場合、高輝度領域では加算ノイズを過度に加算した状態となり、ノイズレベルの標準偏差が増加するため、出力の変動が大きくなり、出力レベルが所定範囲に収まらないことが生じ得る。このことは、出力映像に歪が生じてちらつきの要因となる。また、低輝度領域と高輝度領域の両端において階調が得られない課題が生じ得る。このように、低輝度から高輝度にわたって安定的にダイナミックレンジを確保できない場合があり、表示映像の品質低下を招くおそれがある。
【0040】
図8は、本実施の形態の撮像装置における動作例として、映像信号の出力輝度値とノイズ値との関係の一例を示す図であり、輝度値に応じて範囲を変動させて加算ノイズを付加した状態を示した図である。図8の上部は撮像映像データの輝度値に対する表示映像データの出力の統計的な平均値を示しており、図8の下部は撮像映像データの輝度値に対するノイズレベルの出力の統計的な平均値を示している。ここでは、わかりやすくするために非常にノイズが多い状況を想定し、0〜255の各輝度値において、正規分布のノイズをそれぞれ10000個発生させ、分散が輝度値に比例するよう発生させたシミュレーション結果を示している。実際には、撮像対象が明るい場合は撮像装置のゲイン設定値を下げることによりS/Nが変化し、ノイズレベルを下げることができる。よって、輝度値に応じて加算ノイズの振幅範囲を設定するとともに、ゲイン設定値に応じた振幅範囲の補正を行う。
【0041】
本実施の形態では、各輝度値においてノイズレベルの総和Nが一様となるように、輝度値に応じた光ショットノイズNsの増加に対して加算ノイズNaを減少させ、撮像映像データに加算する。これにより、映像データの出力偏差の増加を抑制できる。このように輝度値の増加に応じてノイズレベルが小さくなるように加算ノイズNaを変動させることにより、輝度値に関わらず常に適切なノイズ付加を可能とし、低輝度から高輝度にわたって安定的にダイナミックレンジを確保する。これにより、人間の視覚においては輝度値の全体で滑らかな階調変化が得られ、階調値の低減により失われた階調成分を回復でき、表示映像の品質低下を抑制できる。
【0042】
以上のように、本実施の形態の撮像装置10、20は、撮像により人間の視覚時間感度を超える高フレームレートの撮像映像データを取得する撮像デバイス11、21と、撮像映像データから通常得られる第1階調よりも階調値が小さい第2階調の表示映像データを生成して出力する映像出力部12、22と、を有する。映像出力部12、22は、撮像映像データの輝度値全体に渡って各輝度値のノイズレベルの総和が一様になるように、撮像映像データに対して加算ノイズを付加するノイズ付加部(演算部13、ノイズ発生器14、加算器15、又はノイズ発生器23、可変増幅器24、加算増幅回路25)と、加算ノイズを付加した後の映像データを第2階調の表示映像データに変換する変調部(量子化器16又はADコンバータ26)と、を含む。本実施の形態では、高フレームレートの撮像映像データを取得して表示装置に対して伝送する際に、撮像映像データに加算ノイズを付加し、撮像映像データから通常得られる第1階調よりも階調値が小さい第2階調の表示映像データを生成して出力する。このような信号処理によって、映像データのデータ量を削減して遅延を抑制するとともに、階調値の低減により失われた階調成分を、人間の目による複数フレームの残像的な知覚によって回復させる。このとき、撮像映像データの輝度値全体に渡って各輝度値のノイズレベルの総和が一様になるようにすることで、加算ノイズが過度に付加されることを防止し、映像のちらつき発生等の品質低下を抑制できる。これにより、表示映像の品質低下を抑制しつつ、映像の伝送量及び演算量の増大を抑制することが可能になる。
【0043】
また、撮像装置10において、映像出力部12は、撮像デバイス11から出力される第1のビット数を有する第1階調の撮像映像データに基づき、第1のビット数よりも小さい第2のビット数を有する第2階調の表示映像データを生成して出力する。これにより、映像データの輝度値のビット数低減によってデータ量を削減し、遅延を抑制することが可能となる。
【0044】
また、撮像装置10において、映像出力部12は、ノイズ付加部として、第1階調の撮像映像データの輝度値に応じた加算ノイズの振幅範囲を算出する演算部13と、算出された振幅範囲のランダムなノイズを加算ノイズとして出力するノイズ発生器14と、撮像映像データと加算ノイズとを加算する加算器15と、を含む。また、映像出力部12は、変調部として、第1階調の撮像映像データに対して加算ノイズが付加された映像データを、第2階調の映像データに量子化して表示映像データとして順次出力する量子化器16を含む。これにより、ディジタル信号処理を実行する構成によって、撮像映像信号に対して意図的にノイズを付加し、階調値の低減により失われた階調成分を回復させるとともに、映像データのデータ量を削減して遅延を抑制することが可能となる。
【0045】
また、撮像装置20において、映像出力部22は、ノイズ付加部として、装置においてノイズ発生器23等で発生されるランダムなノイズを、撮像デバイス21から出力される撮像映像データの輝度値に応じた振幅に増幅し、加算ノイズとして出力する可変増幅器24と、撮像デバイス21から出力される撮像映像データと加算ノイズとを重畳して出力する加算増幅回路25と、を含む。また、映像出力部22は、変調部として、加算増幅回路25から出力されるノイズ付加後のアナログの映像信号を、第2階調のディジタルデータに変換して表示映像データとして順次出力するADコンバータ26を含む。これにより、アナログ信号処理を実行する構成によって、撮像映像信号に対して意図的にノイズを付加し、階調値の低減により失われた階調成分を回復させるとともに、映像データのデータ量を削減して遅延を抑制することが可能となる。
【0046】
また、撮像装置10、20において、高フレームレートの撮像映像データとして480fps以上のフレームレートの映像データを取得する。このように、480fps以上の高いフレームレートの映像データを用いて、高速な映像表示を行う場合に、表示映像の品質低下を抑制しつつ、映像の伝送量及び演算量の増大を抑制することが可能となる。
【0047】
また、撮像装置10、20において、映像出力部12、22のノイズ付加部は、撮像映像データの輝度値が増加するにつれて加算ノイズを減少させて付加し、撮像デバイス11、21において発生する固有ノイズと加算ノイズとを含むノイズレベルの総和が撮像映像データの輝度値全体に渡って一様となっている。これにより、撮像映像データの輝度値全体に渡って各輝度値のノイズレベルの総和が一様になるようにすることができ、特に高輝度領域においてノイズを加算しすぎることを防止し、映像のちらつき発生等の品質低下を抑制できる。
【0048】
本実施の形態の映像出力方法は、撮像デバイス11、21により撮像した人間の視覚時間感度を超える高フレームレートの撮像映像データを取得するステップと、撮像映像データの輝度値全体に渡って各輝度値のノイズレベルの総和が一様になるように、撮像映像データに対して加算ノイズを付加するステップと、加算ノイズを付加した後の映像データを用いて、撮像映像データから通常得られる第1階調よりも階調値が小さい第2階調の表示映像データを生成するステップと、第2階調の表示映像データを高速表示装置30に出力するステップと、を有する。これにより、比較的高いフレームレートを有する映像を取得して表示装置に対して伝送する際に、表示映像の品質低下を抑制しつつ、映像の伝送量及び演算量の増大を抑制することが可能になる。
【0049】
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施形態における各構成要素を任意に組み合わせてもよい。
【産業上の利用可能性】
【0050】
本開示は、比較的高いフレームレートを有する映像を取得して表示装置に対して伝送する際に、表示映像の品質低下を抑制しつつ、映像の伝送量及び演算量の増大を抑制することができる撮像装置及び映像出力方法として有用である。
【符号の説明】
【0051】
1、1A 映像表示システム
10、20 撮像装置
11、21 撮像デバイス
12、22 映像出力部
13 演算部
14 ノイズ発生器
15 加算器
16 量子化器
23 ノイズ発生器
24 可変増幅器
25 加算増幅回路
26 ADコンバータ
30 高速表示装置
図1
図2
図3
図4
図5
図6
図7
図8