IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ニコンの特許一覧

<>
  • 特開-撮像装置 図1
  • 特開-撮像装置 図2
  • 特開-撮像装置 図3
  • 特開-撮像装置 図4
  • 特開-撮像装置 図5
  • 特開-撮像装置 図6
  • 特開-撮像装置 図7
  • 特開-撮像装置 図8
  • 特開-撮像装置 図9
  • 特開-撮像装置 図10
  • 特開-撮像装置 図11
  • 特開-撮像装置 図12
  • 特開-撮像装置 図13
  • 特開-撮像装置 図14
  • 特開-撮像装置 図15
  • 特開-撮像装置 図16
  • 特開-撮像装置 図17
  • 特開-撮像装置 図18
  • 特開-撮像装置 図19
  • 特開-撮像装置 図20
  • 特開-撮像装置 図21
  • 特開-撮像装置 図22
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023126952
(43)【公開日】2023-09-12
(54)【発明の名称】撮像装置
(51)【国際特許分類】
   H04N 23/60 20230101AFI20230905BHJP
   H04N 21/436 20110101ALI20230905BHJP
【FI】
H04N23/60 300
H04N21/436
【審査請求】有
【請求項の数】1
【出願形態】OL
(21)【出願番号】P 2023111788
(22)【出願日】2023-07-06
(62)【分割の表示】P 2020512336の分割
【原出願日】2019-04-05
(31)【優先権主張番号】P 2018074272
(32)【優先日】2018-04-06
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000004112
【氏名又は名称】株式会社ニコン
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100140774
【弁理士】
【氏名又は名称】大浪 一徳
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(72)【発明者】
【氏名】吉村 隆洋
(72)【発明者】
【氏名】清水 広明
(57)【要約】      (修正有)
【課題】現像された動画像を外部記録装置へ伝送する際に、現像後の画像を対象とした伝送に限られない撮像装置を提供する。
【解決手段】画像伝送記録システム10において、撮像装置は、撮像信号に基づき現像データを生成する現像処理部と、複数のチャネルとフィールドとを有し、少なくとも一つのフィールドが前記複数のチャネルのうちの異なるチャネルにそれぞれ割り当てられた複数のフィールドを含む所定の伝送フォーマットについて、前記撮像信号を出力する際に、前記少なくとも一つのフィールドに第1画素データを配置し、前記現像データにおける前記第1画素データの位置に対応する第2画素データを前記複数のフィールドに分割して配置して、外部装置と接続する接続部材を介して外部装置へ、前記現像データを前記所定の伝送フォーマットで出力する出力制御部と、を備える。
【選択図】図1
【特許請求の範囲】
【請求項1】
被写体を撮像して撮像信号を出力するイメージセンサと、
前記撮像信号に基づき現像データを生成する現像処理部と、
複数のチャネルとフィールドとを有し、少なくとも一つのフィールドが前記複数のチャネルのうちの異なるチャネルにそれぞれ割り当てられた複数のフィールドを含む所定の伝送フォーマットについて、前記撮像信号を出力する際に、前記少なくとも一つのフィールドに第1画素データを配置し、前記現像データにおける前記第1画素データの位置に対応する第2画素データを前記複数のフィールドに分割して配置して、外部装置と接続する接続部材を介して外部装置へ、前記現像データを前記所定の伝送フォーマットで出力する出力制御部と、
を備える撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置に関する。
【背景技術】
【0002】
非特許文献1に記載の撮像装置を用いると、撮像装置で現像された動画像を、SDI(Serial Digital Interface)ケーブルやHDMI(High Definition Multimedia Interface)(登録商標)ケーブルを介し撮像装置に接続された外部記録装置へ伝送することができる。従来技術による画像伝送記録システムにおいては、現像後の画像を対象とした伝送に限られるという問題があった。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】EOS C200 EOS C200B Digital Cinema Camera Instruction Manual, Canon Inc., 2017, p.139-p.140
【発明の概要】
【0004】
本発明の第1の態様によると、撮像装置は、被写体を撮像して撮像信号を出力するイメージセンサと、前記撮像信号に基づき現像データを生成する現像処理部と、複数のチャネルとフィールドとを有し、少なくとも一つのフィールドが前記複数のチャネルのうちの異なるチャネルにそれぞれ割り当てられた複数のフィールドを含む所定の伝送フォーマットについて、前記撮像信号を出力する際に、前記少なくとも一つのフィールドに第1画素データを配置し、前記現像データにおける前記第1画素データの位置に対応する第2画素データを前記複数のフィールドに分割して配置して、外部装置と接続する接続部材を介して外部装置へ、前記現像データを前記所定の伝送フォーマットで出力する出力制御部と、を備える。
【図面の簡単な説明】
【0005】
図1図1は、従来技術による画像伝送記録システムのブロック図の一例である。
図2図2は、従来技術による撮像装置内のデータメモリに格納される現像データ及びその現像データに基づいて表示部に表示される画像を例示する図である。
図3図3は、従来技術による撮像装置より現像データがHDMIケーブルを介して出力される際の伝送フォーマットの一例を説明するための図である。
図4図4は、従来技術による撮像装置より現像データがHDMIケーブルを介して出力される際の伝送フォーマットの一例を説明するための図である。
図5図5は、本発明の各実施形態及び変形例における画像伝送記録システムのブロック図の一例である。
図6図6は、本発明の各実施形態及び変形例における撮像装置内のデータメモリに格納されるRAWデータを例示する図である。
図7図7は、本発明の第1実施形態におけるYUVデータ用の伝送フォーマットを用いたRAWデータの出力の一例を説明するための図である。
図8図8は、本発明の第2実施形態におけるYUVデータ用の伝送フォーマットを用いたRAWデータの出力の一例を説明するための図である。
図9図9は、変形例(1)における撮像装置よりRAWデータがHDMIケーブルを介して出力される際の伝送フォーマットの一例を説明するための図である。
図10図10は、変形例(2)におけるYUVデータ用の伝送フォーマットを用いたRAWデータの出力の一例を説明するための図である。
図11図11は、変形例(3)におけるYUVデータ用の伝送フォーマットを用いたRAWデータの出力撮の一例を説明するための図である。
図12図12は、変形例(4)におけるYUVデータ用の伝送フォーマットを用いたRAWデータの出力の一例を説明するための図である。
図13図13は、変形例(5)におけるYUVデータ用の伝送フォーマットを用いたRAWデータの出力の一例を説明するための図である。
図14図14は、変形例(6)におけるYUVデータ用の伝送フォーマットを用いたRAWデータの出力の一例を説明するための図である。
図15図15は、変形例(7)におけるYUVデータ用の伝送フォーマットを用いたRAWデータの出力の一例を説明するための図である。
図16図16は、変形例(8)におけるYUVデータ用の伝送フォーマットを用いたRAWデータの出力の一例を説明するための図である。
図17図17は、変形例(9)におけるYUVデータ用の伝送フォーマットを用いたRAWデータの出力の一例を説明するための図である。
図18図18は、変形例(10)におけるYUVデータ用の伝送フォーマットを用いたRAWデータの出力の一例を説明するための図である。
図19図19は、変形例(11)におけるYUVデータ用の伝送フォーマットを用いたRAWデータの出力の一例を説明するための図である。
図20図20は、変形例(12)におけるYUVデータ用の伝送フォーマットを用いたRAWデータの出力の一例を説明するための図である。
図21図21は、変形例(13)におけるYUVデータ用の伝送フォーマットを用いたRAWデータの出力の一例を説明するための図である。
図22図22は、変形例(13)におけるYUVデータ用の伝送フォーマットを用いたRAWデータの出力の一例を説明するための図である。
【発明を実施するための形態】
【0006】
従来技術による画像伝送記録システムについて、図1から4までを用いて以下に説明する。図1は、従来技術による画像伝送記録システム10のブロック図の一例である。従来の画像伝送記録システム10は、撮像装置20と、撮像装置20の外部装置である画像記録装置40と、撮像装置20と画像記録装置40とを接続する接続部材であるHDMIケーブル30とを有する。
【0007】
撮像装置20は、撮像装置制御部21と、イメージセンサ22と、センサデータ入力回路23と、データメモリ24と、現像処理部25と、出力制御部26と、表示部27とを含む。撮像装置制御部21は、例えばマイクロプロセッサ及びメモリから構成され、コンピュータプログラムを走行させることによって、撮像装置20の全体、すなわち、撮像装置制御部21と、イメージセンサ22と、センサデータ入力回路23と、データメモリ24と、現像処理部25と、出力制御部26と、表示部27とを制御する。
【0008】
イメージセンサ22は、複数の光電変換素子を有し、不図示の光学系を介して被写体の画像を撮像して撮像信号を出力する。センサデータ入力回路23は、イメージセンサ22から出力される撮像信号に対して検波処理を行い、撮像信号と音声信号との同期処理、ホワイトバランスデータ及びガンマデータの算出処理を、例えばフレーム単位で行う。撮像信号のRAWデータ241、音声信号データ、ホワイトバランスデータ及びガンマデータは、フレーム単位でセンサデータ入力回路部23のレジスタ領域あるいはデータメモリ24に格納される。ここで、RAWデータ241は、イメージセンサ22から出力される撮像信号に基づくデータである。RAWデータ241の一画素のデータによって認識できる色情報は、イメージセンサ22に設けられる不図示のカラーフィルタにおける一画素あたりの色情報である。カラーフィルタは、所定の色の光のみを透過するものであり、例えば、赤色成分Rのみを透過する。イメージセンサ22には、赤色成分R、緑色成分G及び青色成分Bをそれぞれ透過するカラーフィルタが設けられる。例えば、赤色成分R、緑色成分G及び青色成分Bを透過するカラーフィルタはベイヤー配列で並べられている。RAWデータ241は、ディベイヤーされる前の撮像信号に基づくデータである。
【0009】
現像処理部25は、データメモリ24が記憶するRAWデータ241に基づき、YUVデータ及び/又はRGBデータといった現像データ242を生成する。画素の色情報を、光の三原色である赤色成分R、緑色成分G及び青色成分Bの組み合わせで表すことにより、RGBデータが生成される。画素の色情報を、輝度成分Y、輝度成分と青色成分との色差成分U、輝度成分と赤色成分との色差成分Vの組み合わせで表すことにより、YUVデータが生成される。また、ホワイトバランスデータ及びガンマデータに基づく表示出力調整処理を行う。以下においては、YUVデータを現像データとして説明するが、RGBデータについても同様に扱うことができる。現像処理部25によって生成された現像データ242は、データメモリ24に格納される。現像データ242は、表示部27に表示することができるデータである。
【0010】
出力制御部26は、表示出力制御部261と、外部出力制御部262とを含み、データメモリ24が記憶する現像データ242を読み出す。表示出力制御部261は、撮像装置制御部21による制御のもと、現像データ242に対し、フレーム単位で、音声信号との同期処理を行うことにより、表示部27上にフレーム単位で画像を表示させる。その際、表示出力制御部261は、そのフレームに対応付けられた音声信号に基づき、不図示のスピーカー又はイヤホンに音声を出力させる。なお、ホワイトバランスデータ及びガンマデータに基づく表示出力調整処理A1を出力制御部26が行ってもよい。
【0011】
外部出力制御部262は、撮像装置制御部21による制御のもと、現像データ242に対し、フレーム単位で、音声信号を対応付けて現像データ242を読み出す読み出し処理A2を行う。外部出力制御部262は、現像データ242及び音声信号を、HDMI伝送フォーマット上の所定のフィールドに配置することによって、HDMIケーブル30を介して画像記録装置40へ伝送することができる。
【0012】
画像記録装置40は、画像記録装置制御部41と、外部入力制御部42と、画像処理部43と、記憶装置44と、表示出力制御部45と、表示部46とを含む。画像記録装置制御部41は、例えばマイクロプロセッサ及びメモリから構成され、コンピュータプログラムを走行させることによって、画像記録装置40の全体、すなわち、画像記録装置制御部41と、外部入力制御部42と、画像処理部43と、記憶装置44と、表示出力制御部45と、表示部46とを制御する。
【0013】
外部入力制御部42は、撮像装置20からHDMIケーブル30を介して現像データ242及び音声信号を受信し、すなわちHDMI伝送フォーマット上の所定のフィールドに配置された現像データ242及び音声信号を取得して画像処理部43へ転送する。画像処理部43は、現像データ242及び音声信号を、フレーム単位で記憶装置44に格納するとともに表示出力制御部45へ引き渡す。
【0014】
表示出力制御部45は、画像記録装置制御部41による制御のもと、画像処理部43より受け取った現像データ242に対し、フレーム単位で、音声信号との同期処理、ホワイトバランスデータ及びガンマデータに基づく表示出力調整処理を行うことにより、表示部46上にフレーム単位で画像を表示させる。その際、表示出力制御部261は、そのフレームに対応付けられた音声信号に基づき、不図示のスピーカー又はイヤホンに音声を出力させる。
【0015】
図2は、従来技術による撮像装置20内のデータメモリ24に格納される現像データ242及びその現像データ242に基づいて表示部27に表示される画像を例示する図である。図2(a)は、現像データ242としてYUVデータが例えばYUV444フォーマットで構成された場合におけるY画素データ1、U画素データ2及びV画素データ3の、データメモリ24内での点順次方式(pixel interleaving)による配置例を示す。データメモリ24の水平方向MaにY画素データ1、U画素データ2及びV画素データ3が順に繰り返し配置され、こうして形成されるYUV画素データ列が、データメモリ24の垂直方向Mbに並置される。図2(a)では特に、先頭の行L1及びその次の行L2が例示されている。
【0016】
図2(b)は、現像データ242としてYUVデータが例えばYUV422フォーマットで構成された場合におけるY画素データ1、U画素データ2及びV画素データ3の、データメモリ24内での点順次方式による配置例を示す。データメモリ24の水平方向MaにY画素データ1、U画素データ2、Y画素データ1及びV画素データ3が順に配置され、これら4つの画素の配置が繰り返される。こうして形成されるYUV画素データ列が、データメモリ24の垂直方向Mbに並置される。図2(b)では特に、先頭の行L1及びその次の行L2が例示されている。
【0017】
図2(c)は、現像データ242としてYUVデータが例えばYUV444フォーマット、或いはYUV422フォーマットで構成された場合におけるY画素データ1、U画素データ2及びV画素データ3の、データメモリ24内での面順次方式(planar format)による配置例を示す。データメモリ24の先頭の行L1から行Li-1までの各行において、水平方向MaにY画素データ1のみが繰り返し配置され、行Liから行Lj-1までの各行において、水平方向MaにU画素データ2のみが繰り返し配置され、行Lj以降の各行において、水平方向MaにV画素データ3のみが繰り返し配置され、これらの各行がデータメモリ24の垂直方向Mbに並置される。図2(c)では特に、Y画素データ1のみが繰り返し配置される最初の行L1、U画素データ2のみが繰り返し配置される最初の行Li及びV画素データ3のみが繰り返し配置される最初の行Ljが例示されている。
【0018】
図2(d)は、現像データ242としてYUVデータが例えばYUV422フォーマットで構成された場合におけるY画素データ1、U画素データ2及びV画素データ3の、データメモリ24内での面点順次方式(Semi-Planar format)による配置例を示す。データメモリ24の先頭の行L1から行Lk-1までの各行において、水平方向MaにY画素データ1のみが繰り返し配置され、行Lk以降の各行において、水平方向MaにU画素データ2及びV画素データ3が順に繰り返し配置され、これらの各行がデータメモリ24の垂直方向Mbに並置される。図2(d)では特に、Y画素データ1のみが繰り返し配置される最初の行L1及びU画素データ2及びV画素データ3が順に繰り返し配置される最初の行Lkが例示されている。
【0019】
図2(e)は、撮像装置20の表示部27に入力されるYUV444フォーマットで現像された画像を例示する図である。この画像は水平方向Ia及び垂直方向Ibに配置される複数の画素で構成され、その各画素のデータは、Y画素データ1、U画素データ2及びV画素データ3をそれぞれ1画素分ずつ含む。
【0020】
図2(f)は、撮像装置20の表示部27に入力されるYUV422フォーマットで現像された画像を例示する図である。この画像は水平方向Ia及び垂直方向Ibに配置される複数の画素で構成され、各行の画素データとしては、Y画素データ1、U画素データ2及びV画素データ3をそれぞれ1画素分ずつ含む画素データと、Y画素データ1のみを含む画素データとが、順に繰り返し配置される。
【0021】
図3は、従来技術による撮像装置20より現像データ242がHDMIケーブル30を介して出力される際の伝送フォーマットの一例を説明するための図である。図3(a)は、現像データ242としてYUVデータが例えばYUV444フォーマット48ビットモードで構成された場合における各16ビットのY画素データ1、U画素データ2及びV画素データ3の、データメモリ24内での点順次方式による配置例を示す。行L1において、水平方向Maに各16ビットの画素Y00、U00、V00、Y01、U01、V01、Y02、U02及びV02の画素データが順に配置されている様子が示されている。さらに、行L1に続く行L2において、水平方向Maに各16ビットの画素Y10、U10、V10、Y11、U11、V11、Y12、U12及びV12の画素データが順に配置されている様子が示されている。
【0022】
図3(b)及び(c)は、伝送フォーマットの一例を示す図である。図3(b)及び(c)は、図3(a)に示す行L1及びL2に配置された画素データを、HDMIケーブルを介して伝送するために、撮像装置20の外部出力制御部262が用いる伝送フォーマットを示している。水平方向にはクロックの区間0から5までを例示しており、区間0から5まで進むにつれて時間が経過する。各クロックの区間において、チャネル0から2までの3チャネルが設けられ、各チャネルに割り当てられたフィールドに各8ビットずつのデータを収容することができる。すなわち、図3(b)及び(c)において、各クロックの区間に合計24ビットのデータを収容することができるが、YUVデータがYUV444フォーマット48ビットモードのため、2区間のクロックを利用することにより、各8ビットで合計6個のフィールドに、Y画素データ1、U画素データ2及びV画素データ3の各1画素分ずつの合計48ビットのデータを収容する。
【0023】
そこで、図3(b)に示す例では、クロックの区間0のときのチャネル0に、行L1に配置された画素Y00の16ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル0に、画素Y00の16ビットの画素データのうち、8から15ビットのデータを収容する。クロックの区間0のときのチャネル1に、行L1に配置された画素U00の16ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル1に、画素U00の16ビットの画素データのうち、8から15ビットのデータを収容する。クロックの区間0のときのチャネル2に、行L1に配置された画素V00の16ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル2に、画素V00の16ビットの画素データのうち、8から15ビットのデータを収容する。行L1に配置された画素Y01、U01、V01、Y02、U02及びV02の画素データについても同様のマッピング処理を行う。
【0024】
図3(c)に示す例では、クロックの区間0のときのチャネル0に、行L2に配置された画素Y10の16ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル0に、画素Y10の16ビットの画素データのうち、8から15ビットのデータを収容する。クロックの区間0のときのチャネル1に、行L2に配置された画素U10の16ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル1に、画素U10の16ビットの画素データのうち、8から15ビットのデータを収容する。クロックの区間0のときのチャネル2に、行L2に配置された画素V10の16ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル2に、画素V10の16ビットの画素データのうち、8から15ビットのデータを収容する。行L2に配置された画素Y11、U11、V11、Y12、U12及びV12の画素データについても同様のマッピング処理を行う。
【0025】
なお、図2(b)で示したようなYUV422フォーマット24ビットモードで伝送するために各成分12ビットで構成されたYUV422データを従来技術の伝送フォーマットで伝送する場合について以下に説明する。
【0026】
クロックの区間0のときのチャネル0に、行L1に配置された画素Y00の12ビットの画素データのうちの0から3ビットのデータ及び行L1に配置された画素Y01の12ビットの画像データのうちの0から3ビットを収容する。また、クロックの区間1のときのチャネル0に、行L1に配置された画素U00の12ビットの画素データのうちの0から3ビットのデータ及び行L1に配置された画素V00の12ビットの画素データのうちの0から3ビットを収容する。
【0027】
クロックの区間0のときのチャネル1に、行L1に配置された画素Y00の12ビットの画素データのうち、4から11ビットのデータを収容し、クロックの区間1のときのチャネル1に、画素U00の12ビットの画素データのうち、4から11ビットのデータを収容する。
【0028】
クロックの区間0のときのチャネル2に、行L1に配置された画素Y01の12ビットの画素データのうち、4から11ビットのデータを収容し、クロックの区間1のときのチャネル2に、行L1に配置される画素V00の12ビットの画素データのうち、4から11ビットのデータを収容する。行L2に配置された画素Y10、U10、Y11及びV10の画素データについても同様のマッピング処理を行う。
【0029】
図4は、従来技術による撮像装置20より現像データ242がHDMIケーブル30を介して出力される際の伝送フォーマットの一例を説明するための図である。図4(a)は、現像データ242としてYUVデータが例えばYUV422フォーマット24ビットモードで構成された場合における各12ビットのY画素データ1、U画素データ2及びV画素データ3の、データメモリ24内での面点順次方式による配置例を示す。行L1において、水平方向Maに各12ビットの画素Y00、Y01、Y02、Y03、Y04及びY05の画素データが順に配置されている様子が示されている。さらに、行L1に続く行L2において、水平方向Maに各12ビットの画素Y10、Y11、Y12、Y13、Y14及びY15の画素データが順に配置されている様子が示されている。また、Y画素データ1がすべて配置された後の行Lkにおいて、水平方向Maに各12ビットの画素U00、V00、U02、V02、U04及びV04の画素データが順に配置されている様子が示されている。さらに、行Lkに続く行Lk+1において、水平方向Maに各12ビットの画素U10、V10、U12、V12、U14及びV14の画素データが順に配置されている様子が示されている。
【0030】
図4(b)及び(c)は、伝送フォーマットの一例を示す図である。図4(b)及び(c)は、図4(a)に示す行L1、L2、Lk及びLk+1に配置された画素データを、HDMIケーブルを介して伝送するために、撮像装置20の外部出力制御部262が用いる伝送フォーマットを示している。水平方向にはクロックの区間0から5までを例示しており、区間0から5まで進むにつれて時間が経過する。各クロックの区間において、チャネル0から2までの3チャネルが設けられ、各チャネルに割り当てられたフィールドに各8ビットずつのデータを収容することができる。すなわち、図4(b)及び(c)において、各クロックの区間に合計24ビットのデータを収容することができるが、YUVデータがYUV422フォーマット24ビットモードのため、1区間のクロックにおける各8ビットで合計3個のフィールドに、Y画素データ1の1画素分、ならびにU画素データ2とV画素データ3とが交互に1画素分ずつの合計24ビットのデータを収容する。
【0031】
そこで、図4(b)に示す例では、クロックの区間0のときのチャネル0に、行L1に配置された画素Y00の12ビットの画素データのうち、0から3ビットのデータを収容し、同じクロックの区間0のときのチャネル1に、画素Y00の12ビットの画素データのうち、4から11ビットのデータを収容する。クロックの区間0のときのチャネル0に、行Lkに配置された画素U00の12ビットの画素データのうち、0から3ビットのデータを収容し、同じクロックの区間0のときのチャネル2に、画素U00の12ビットの画素データのうち、4から11ビットのデータを収容する。クロックの区間1のときのチャネル0に、行L1に配置された画素Y01の12ビットの画素データのうち、0から3ビットのデータを収容し、同じクロックの区間1のときのチャネル1に、画素Y01の12ビットの画素データのうち、4から11ビットのデータを収容する。クロックの区間1のときのチャネル0に、行Lkに配置された画素V00の12ビットの画素データのうち、0から3ビットのデータを収容し、同じクロックの区間1のときのチャネル2に、画素V00の12ビットの画素データのうち、4から11ビットのデータを収容する。行L1に配置された画素Y02、Y03、Y04及びY05の画素データ、ならびに行Lkに配置された画素U02、V02、U04及びV04の画素データについても同様のマッピング処理を行う。
【0032】
図4(c)に示す例では、クロックの区間0のときのチャネル0に、行L2に配置された画素Y10の12ビットの画素データのうち、0から3ビットのデータを収容し、同じクロックの区間0のときのチャネル1に、画素Y10の12ビットの画素データのうち、4から11ビットのデータを収容する。クロックの区間0のときのチャネル0に、行Lk+1に配置された画素U10の12ビットの画素データのうち、0から3ビットのデータを収容し、同じクロックの区間0のときのチャネル2に、画素U10の12ビットの画素データのうち、4から11ビットのデータを収容する。クロックの区間1のときのチャネル0に、行L2に配置された画素Y11の12ビットの画素データのうち、0から3ビットのデータを収容し、同じクロックの区間1のときのチャネル1に、画素Y11の12ビットの画素データのうち、4から11ビットのデータを収容する。クロックの区間1のときのチャネル0に、行Lk+1に配置された画素V10の12ビットの画素データのうち、0から3ビットのデータを収容し、同じクロックの区間1のときのチャネル2に、画素V10の12ビットの画素データのうち、4から11ビットのデータを収容する。行L2に配置された画素Y12、Y13、Y14及びY15の画素データ、ならびに行Lk+1に配置された画素U12、V12、U14及びV14の画素データについても同様のマッピング処理を行う。
【0033】
次に、本発明の各実施形態及び変形例について、図5以降の図面を用いて説明する。図5は、本発明の各実施形態及び変形例における画像伝送記録システム11のブロック図の一例である。画像伝送記録システム11は、撮像装置20と、撮像装置20の外部装置である画像記録装置40と、撮像装置20と画像記録装置40とを接続するHDMIケーブル30とを有する。
【0034】
撮像装置20は、撮像装置制御部21と、イメージセンサ22と、センサデータ入力回路23と、データメモリ24と、現像処理部25と、出力制御部26と、表示部27とを含む。撮像装置制御部21は、例えばマイクロプロセッサ及びメモリから構成され、コンピュータプログラムを走行させることによって、撮像装置20の全体、すなわち、撮像装置制御部21と、イメージセンサ22と、センサデータ入力回路23と、データメモリ24と、現像処理部25と、出力制御部26と、表示部27とを制御する。
【0035】
イメージセンサ22は、複数の光電変換素子を有し、不図示の光学系を介して被写体像を撮像して撮像信号を出力する。センサデータ入力回路23は、イメージセンサ22から出力される撮像信号に対して検波処理を行い、撮像信号と音声信号との同期処理、ホワイトバランスデータ及びガンマデータの算出処理を、例えばフレーム単位で行う。撮像信号のRAWデータ241、音声信号データ、ホワイトバランスデータ及びガンマデータは、フレーム単位でセンサデータ入力回路部23のレジスタ領域あるいはデータメモリ24に格納される。
【0036】
現像処理部25は、データメモリ24が記憶するRAWデータ241に基づき、YUVデータ及び/又はRGBデータといった現像データ242を生成する。画素の色情報を、光の三原色である赤色成分R、緑色成分G及び青色成分Bの組み合わせで表すことにより、RGBデータが生成される。画素の色情報を、輝度成分Y、輝度成分と青色成分との色差成分U、輝度成分と赤色成分との色差成分Vの組み合わせで表すことにより、YUVデータが生成される。また、ホワイトバランスデータ及びガンマデータに基づく表示出力調整処理A1を行う。以下においては、YUVデータを現像データとして説明するが、RGBデータについても同様に扱うことができる。現像処理部25によって生成された現像データ242は、データメモリ24に格納される。
【0037】
出力制御部26は、表示出力制御部261と、外部出力制御部262とを含み、データメモリ24が記憶する現像データ242を読み出す。表示出力制御部261は、撮像装置制御部21による制御のもと、現像データ242に対し、フレーム単位で、音声信号との同期処理、ホワイトバランスデータ及びガンマデータに基づく表示出力調整処理A1を行うことにより、表示部27上にフレーム単位で画像を表示させる。その際、表示出力制御部261は、そのフレームに対応付けられた音声信号に基づき、不図示のスピーカー又はイヤホンに音声を出力させる。なお、出力制御部26が、ホワイトバランスデータ及びガンマデータに基づく表示出力調整処理A1を行ってもよい。
【0038】
外部出力制御部262は、撮像装置制御部21による制御のもと、現像データ242に対し、フレーム単位で、音声信号を対応付けて現像データ242を読み出す読み出し処理A2を行う。外部出力制御部262は、現像データ242及び音声信号を、HDMI伝送フォーマット上の所定のフィールドに配置することによって、HDMIケーブル30を介して画像記録装置40へ伝送することができる。
【0039】
さらに、外部出力制御部262は、撮像装置制御部21による制御のもと、RAWデータ241に対し、フレーム単位で、音声信号、ホワイトバランスデータ及びガンマデータを対応付けてRAWデータ241を読み出す読み出し処理A3を行う。外部出力制御部262は、RAWデータ241、ホワイトバランスデータ及びガンマデータをHDMI伝送フォーマット上の特定のフィールドに配置するとともに、音声信号をHDMI伝送フォーマット上の所定のフィールドに配置する。このようにすることによって、外部出力制御部262は、RAWデータ241、音声信号、ホワイトバランスデータ及びガンマデータを、HDMIケーブル30を介して画像記録装置40へ伝送することができる。
【0040】
画像記録装置40は、画像記録装置制御部41と、外部入力制御部42と、画像処理部43と、記憶装置44と、表示出力制御部45と、表示部46とを含む。画像記録装置制御部41は、例えばマイクロプロセッサ及びメモリから構成され、コンピュータプログラムを走行させることによって、画像記録装置40の全体、すなわち、画像記録装置制御部41と、外部入力制御部42と、画像処理部43と、記憶装置44と、表示出力制御部45と、表示部46とを制御する。
【0041】
外部入力制御部42は、撮像装置20からHDMIケーブル30を介して現像データ242及び音声信号を受信し、すなわちHDMI伝送フォーマット上の所定のフィールドに配置された現像データ242及び音声信号を取得して画像処理部43へ転送する。画像処理部43は、現像データ242及び音声信号を、フレーム単位で記憶装置44に格納するとともに表示出力制御部45へ引き渡す。
【0042】
表示出力制御部45は、画像記録装置制御部41による制御のもと、画像処理部43より受け取った現像データ242に対し、フレーム単位で、音声信号との同期処理、ホワイトバランスデータ及びガンマデータに基づく表示出力調整処理を行うことにより、表示部46上にフレーム単位で画像を表示させる。その際、表示出力制御部261は、そのフレームに対応付けられた音声信号に基づき、不図示のスピーカー又はイヤホンに音声を出力させる。
【0043】
また、外部入力制御部42は、撮像装置20からHDMIケーブル30を介してRAWデータ241、ホワイトバランスデータ、ガンマデータ及び音声信号を受信し、すなわちHDMI伝送フォーマット上の特定の/所定のフィールドに配置されたRAWデータ241、ホワイトバランスデータ、ガンマデータ及び音声信号を取得して画像処理部43へ転送する。画像処理部43は、RAWデータ241に基づき、YUVデータ及び/又はRGBデータといった現像データを生成する。画像処理部43は、RAWデータ241と、外部入力制御部42を介して撮像装置20から取得したホワイトバランスデータ、ガンマデータ及び音声信号とを、フレーム単位で記憶装置44に格納する。また、生成した現像データを表示出力制御部45へ引き渡す。なお、画像処理部43は、RAWデータ241に対して圧縮処理(符号化処理)を行ってから記憶装置に引き渡してもよい。
【0044】
表示出力制御部45は、画像記録装置制御部41による制御のもと、画像処理部43によって生成された現像データに対して、撮像装置20から得られたホワイトバランスデータ、ガンマデータ及び音声信号に基づき、フレーム単位で、音声信号との同期処理、ホワイトバランスデータ及びガンマデータに基づく表示出力調整処理を行うことにより、表示部46上にフレーム単位で画像を表示させる。その際、表示出力制御部261は、そのフレームに対応付けられた音声信号に基づき、不図示のスピーカー又はイヤホンに音声を出力させる。
【0045】
図6は、本発明の各実施形態及び変形例における撮像装置20内のデータメモリ24に格納されるRAWデータ241を例示する図である。図6(a)は、図2(a)に例示したYUV444フォーマットで構成されたYUVデータの代わりにRAWデータ241が格納された場合におけるRAWデータ241を構成するR画素データ4、G画素データ5及びB画素データ6の、データメモリ24内での点順次方式による配置例を示す。データメモリ24の奇数行において、水平方向MaにR画素データ4及びG画素データ5が順に繰り返し配置され、偶数行において、水平方向MaにG画素データ5及びB画素データ6が順に繰り返し配置される。こうして形成される奇数行及び偶数行のRAW画素データ列が、データメモリ24の垂直方向Mbに並置される。図6(a)では特に、先頭の行L1(奇数行の一例)及びその次の行L2(偶数行の一例)が例示されている。
【0046】
図6(b)は、図2(b)に例示したYUV422フォーマットで構成されたYUVデータの代わりにRAWデータ241が格納された場合におけるRAWデータ241を構成するR画素データ4、G画素データ5及びB画素データ6の、データメモリ24内での点順次方式による配置例を示す。データメモリ24の奇数行において、水平方向MaにR画素データ4及びG画素データ5が順に繰り返し配置され、偶数行において、水平方向MaにG画素データ5及びB画素データ6が順に繰り返し配置され、こうして形成される奇数行及び偶数行のRAW画素データ列が、データメモリ24の垂直方向Mbに並置される。こうして形成される奇数行及び偶数行のRAW画素データ列が、データメモリ24の垂直方向Mbに並置される。図6(b)では特に、先頭の行L1(奇数行の一例)及びその次の行L2(偶数行の一例)が例示されている。
【0047】
図6(c)は、図2(c)に例示したYUV444フォーマット、或いはYUV422フォーマットで構成されたYUVデータの代わりにRAWデータ241が格納された場合におけるRAWデータ241を構成するR画素データ4、G画素データ5及びB画素データ6と、RAWデータ241とは異なるダミーデータであるD画素データ7との、データメモリ24内での面順次方式による配置例を示す。データメモリ24の先頭の行L1から行Li-1までの各行において、水平方向Maに、YUVデータの場合であればY画素データ1のみが繰り返し配置される位置にRAWデータ241が配置される。このうちの奇数行において、水平方向MaにR画素データ4及びG画素データ5が順に繰り返し配置され、偶数行において、水平方向MaにG画素データ5及びB画素データ6が順に繰り返し配置され、こうして形成される奇数行及び偶数行のRAW画素データ列が、データメモリ24の垂直方向Mbに並置される。行Liから行Lj-1までの各行において、水平方向Maに、YUVデータの場合であればU画素データ2のみが繰り返し配置される位置にダミーデータであるD画素データ7が繰り返し配置される。行Lj以降の各行において、水平方向Maに、YUVデータの場合であればV画素データ3のみが繰り返し配置される位置にダミーデータであるD画素データ7が繰り返し配置される。これらの各行がデータメモリ24の垂直方向Mbに並置される。図6(c)では特に、RAWデータ241が配置される最初の行L1(奇数行の一例)及びその次の行L2(偶数行の一例)、D画素データ7のみが繰り返し配置される最初の行Li及び同じくD画素データ7のみが繰り返し配置される行Ljが例示されている。なお、ダミーデータであるD画素データ7は、特にデータメモリ24内に格納されている必要はない。
【0048】
図6(d)は、図2(d)に例示したYUV422フォーマットで構成されたYUVデータの代わりにRAWデータ241が格納された場合におけるRAWデータ241を構成するR画素データ4、G画素データ5及びB画素データ6と、RAWデータ241とは異なるダミーデータであるD画素データ7との、データメモリ24内での面点順次方式による配置例を示す。データメモリ24の先頭の行L1から行Lk-1までの各行において、水平方向Maに、YUVデータの場合であればY画素データ1のみが繰り返し配置される位置にRAWデータ241が配置される。このうちの奇数行において、水平方向MaにR画素データ4及びG画素データ5が順に繰り返し配置され、偶数行において、水平方向MaにG画素データ5及びB画素データ6が順に繰り返し配置され、こうして形成される奇数行及び偶数行のRAW画素データ列が、データメモリ24の垂直方向Mbに並置される。行Lk以降の各行において、水平方向Maに、YUVデータの場合であればU画素データ2及びV画素データ3が順に繰り返し配置される位置にダミーデータであるD画素データ7が繰り返し配置される。これらの各行がデータメモリ24の垂直方向Mbに並置される。図6(d)では特に、RAWデータ241が配置される最初の行L1(奇数行の一例)及びその次の行L2(偶数行の一例)、D画素データ7のみが繰り返し配置される最初の行Lkが例示されている。なお、ダミーデータであるD画素データ7は、特にデータメモリ24内に格納されている必要はない。
【0049】
-第1実施形態-
本発明の第1実施形態におけるRAWデータ241の伝送フォーマットについて、図7を用いて説明する。図7は、本発明の第1実施形態におけるYUVデータ用の伝送フォーマットを用いたRAWデータの出力の一例を説明するための図である。図7(a)は、図3(a)に例示したYUV444フォーマット48ビットモードで構成されたYUVデータの代わりにRAWデータ241が格納された場合における、RAWデータ241の各16ビットのR画素データ4、G画素データ5及びB画素データ6の、データメモリ24内での点順次方式による配置例を示す。行L1において、水平方向Maに各16ビットの画素R00、G00、R01、G01、R02、G02、R03、G03及びR04の画素データが順に配置されている様子が示されている。さらに、行L1に続く行L2において、水平方向Maに各16ビットの画素G10、B10、G11、B11、G12、B12、G13、B13及びG14の画素データが順に配置されている様子が示されている。
【0050】
図7(b)及び(c)は、図7(a)に示す行L1及びL2に配置されたRAWデータ241の各画素データを、HDMIケーブル30を介して伝送するために撮像装置20の外部出力制御部262が、YUVデータ用の伝送フォーマットにどのようにマッピングするかを示す図である。水平方向にはクロックの区間0から5までを例示しており、区間0から5まで進むにつれて時間が経過する。各クロックの区間において、チャネル0から2までの3チャネルが設けられ、各チャネルに割り当てられたフィールドに各8ビットずつのデータを収容することができる。すなわち、図7(b)及び(c)において、各クロックの区間に合計24ビットのデータを収容することができるが、図3(b)及び(c)に示したYUV444フォーマット48ビットモードの例に倣い、2区間のクロックを利用することにより、各8ビットで合計6個のフィールドに、R画素データ4及びG画素データ5のうちの一方の2画素分と他方の1画素分との合計3画素分、又はG画素データ5及びB画素データ6のうちの一方の2画素分と他方の1画素分との合計3画素分の48ビットのデータを収容する。
【0051】
そこで、図7(b)に示す例では、クロックの区間0のときのチャネル0に、行L1に配置された画素R00の16ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル0に、画素R00の16ビットの画素データのうち、8から15ビットのデータを収容する。クロックの区間0のときのチャネル1に、行L1に配置された画素G00の16ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル1に、画素G00の16ビットの画素データのうち、8から15ビットのデータを収容する。クロックの区間0のときのチャネル2に、行L1に配置された画素R01の16ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル2に、画素R01の16ビットの画素データのうち、8から15ビットのデータを収容する。図7(b)と図3(b)とを比較参照すると、RAWデータ241の画素R00、画素G00及び画素R01の各画素データの収容境界の位置は、YUV444フォーマット48ビットモードにおける現像データ242の画素Y00、画素U00及び画素V00の各画素データの収容境界の位置に含まれる。行L1に配置された画素G01、R02、G02、R03、G03及びR04の画素データについても、画素R00、画素G00及び画素R01の画素データと同様のマッピング処理を行う。
【0052】
図7(c)に示す例では、クロックの区間0のときのチャネル0に、行L2に配置された画素G10の16ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル0に、画素G10の16ビットの画素データのうち、8から15ビットのデータを収容する。クロックの区間0のときのチャネル1に、行L2に配置された画素B10の16ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル1に、画素B10の16ビットの画素データのうち、8から15ビットのデータを収容する。クロックの区間0のときのチャネル2に、行L2に配置された画素G11の16ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル2に、画素G11の16ビットの画素データのうち、8から15ビットのデータを収容する。図7(c)と図3(c)とを比較参照すると、RAWデータ241の画素G10、画素B10及び画素G11の各画素データの収容境界の位置は、YUV444フォーマット48ビットモードにおける現像データ242の画素Y10、画素U10及び画素V10の各画素データの収容境界の位置に含まれる。行L2に配置された画素B11、G12、B12、G13、B13及びG14の画素データについても、画素G10、画素B10及び画素G11の画素データと同様のマッピング処理を行う。
【0053】
上述した第1実施形態によれば、次の作用効果が得られる。
【0054】
(1)画像伝送記録システム10の撮像装置20は、被写体の画像を撮像して撮像信号を出力するイメージセンサ22と、撮像信号のRAWデータ241に基づき画像の現像データ242を生成する現像処理部25と、HDMIケーブル30を介して画像記録装置40へ、現像データ242を所定の伝送フォーマットで出力する出力制御部26とを有する。出力制御部26は、RAWデータ241を、所定の伝送フォーマットにしたがって伝送チャネルに収容することにより、HDMIケーブル30を介して画像記録装置40へ出力する。これにより、撮像装置20は、既存のHDMIケーブル30を用いてRAWデータ241を効率的に外部出力することができる。
【0055】
(2)撮像装置20において、RAWデータ241が所定の伝送フォーマットにしたがって伝送チャネルに収容される際の画素データの収容境界の位置は、現像データ242が所定の伝送フォーマットにしたがって伝送チャネルに収容される際の画素データの収容境界の位置に含まれる。これにより、撮像装置20は、現像データ242用の伝送フォーマットに対応していれば、RAWデータ241に固有の伝送仕様に対応する必要が無い。また、画像記録装置40においても、伝送フォーマット上で現像データ242を特定する処理を、伝送フォーマット上でRAWデータ241を特定する処理に転用することが可能となる。
【0056】
-第2実施形態-
本発明の第2実施形態におけるRAWデータ241の伝送フォーマットについて、図8を用いて説明する。図8は、本発明の第2実施形態におけるYUVデータ用の伝送フォーマットを用いたRAWデータの出力の一例を説明するための図である。図8(a)は、図4(a)に例示したYUV422フォーマット24ビットモードで伝送するために各成分12ビットで構成されたYUV422データの代わりにRAWデータ241が格納された場合における、RAWデータ241の各12ビットのR画素データ4、G画素データ5、B画素データ6及びダミーデータであるD画素データ7の、データメモリ24内での面点順次方式による配置例を示す。行L1において、水平方向Maに各12ビットの画素R00、G00、R01、G01、R02及びG02の画素データが順に配置されている様子が示されている。さらに、行L1に続く行L2において、水平方向Maに各12ビットの画素G10、B10、G11、B11、G12及びB12の画素データが順に配置されている様子が示されている。また、RAWデータ241がすべて配置された後の行Lkにおいて、水平方向Maに各12ビットのダミーデータである複数のD画素データ7が順に配置されている様子が示されている。さらに、行Lkに続く行Lk+1において、水平方向Maに各12ビットのダミーデータである複数のD画素データ7が順に配置されている様子が示されている。
【0057】
図8(b)及び(c)は、図8(a)に示す行L1、L2、Lk及びLk+1に配置された画素データを、HDMIケーブル30を介して伝送するために撮像装置20の外部出力制御部262が、YUVデータ用の伝送フォーマットでどのようにマッピングするかを示す図である。水平方向にはクロックの区間0から5までを例示しており、区間0から5まで進むにつれて時間が経過する。各クロックの区間において、チャネル0から2までの3チャネルが設けられ、各チャネルに割り当てられたフィールドに各8ビットずつのデータを収容することができる。すなわち、図8(b)及び(c)において、各クロックの区間に合計24ビットのデータを収容することができるが、図4(b)及び(c)に示したYUV422フォーマット24ビットモードの例に倣い、1区間のクロックを利用することにより、各8ビットで合計3個のフィールドに、R画素データ4、G画素データ又はB画素データ6の1画素分、ならびにダミーデータであるD画素データ7の1画素分の合計24ビットのデータを収容する。
【0058】
そこで、図8(b)に示す例では、クロックの区間0のときのチャネル0に、行L1に配置された画素R00の12ビットの画素データのうち、0から3ビットのデータを収容し、同じクロックの区間0のときのチャネル1に、画素R00の12ビットの画素データのうち、4から11ビットのデータを収容する。クロックの区間0のときのチャネル0に、行Lkに配置されたダミーデータであるD画素データ7の12ビットの画素データのうち、0から3ビットのデータを収容し、同じクロックの区間0のときのチャネル2に、ダミーデータであるD画素データ7の12ビットの画素データのうち、4から11ビットのデータを収容する。図8(b)と図4(b)とを比較参照すると、RAWデータ241の画素R00の画素データ及びダミーデータであるD画素データ7の収容境界の位置は、YUV422フォーマット24ビットモードにおける現像データ242の画素Y00及び画素U00の各画素データの収容境界の位置に含まれる。
【0059】
クロックの区間1のときのチャネル0に、行L1に配置された画素gG00の12ビットの画素データのうち、0から3ビットのデータを収容し、同じクロックの区間1のときのチャネル1に、画素G00の12ビットの画素データのうち、4から11ビットのデータを収容する。クロックの区間1のときのチャネル0に、行Lkに配置されたダミーデータであるD画素データ7の12ビットの画素データのうち、0から3ビットのデータを収容し、同じクロックの区間1のときのチャネル2に、ダミーデータであるD画素データ7の12ビットの画素データのうち、4から11ビットのデータを収容する。図8(b)と図4(b)とを比較参照すると、RAWデータ241の画素G00の画素データ及びダミーデータであるD画素データ7の収容境界の位置は、YUV422フォーマット24ビットモードにおける現像データ242の画素Y01及び画素V00の各画素データの収容境界の位置に含まれる。行L1に配置された画素R01、G01、R02及びG02の画素データ、ならびに行Lkに配置されたダミーデータである複数のD画素データ7についても同様のマッピング処理を行う。
【0060】
図8(c)に示す例では、クロックの区間0のときのチャネル0に、行L2に配置された画素G10の12ビットの画素データのうち、0から3ビットのデータを収容し、同じクロックの区間0のときのチャネル1に、画素G10の12ビットの画素データのうち、4から11ビットのデータを収容する。クロックの区間0のときのチャネル0に、行Lk+1に配置されたダミーデータであるD画素データ7の12ビットの画素データのうち、0から3ビットのデータを収容し、同じクロックの区間0のときのチャネル2に、ダミーデータであるD画素データ7の12ビットの画素データのうち、4から11ビットのデータを収容する。図8(c)と図4(c)とを比較参照すると、RAWデータ241の画素G10の画素データ及びダミーデータであるD画素データ7の収容境界の位置は、YUV422フォーマット24ビットモードにおける現像データ242の画素Y10及び画素U10の各画素データの収容境界の位置に含まれる。
【0061】
クロックの区間1のときのチャネル0に、行L2に配置された画素B10の12ビットの画素データのうち、0から3ビットのデータを収容し、同じクロックの区間1のときのチャネル1に、画素B10の12ビットの画素データのうち、4から11ビットのデータを収容する。クロックの区間1のときのチャネル0に、行Lk+1に配置されたダミーデータであるD画素データ7の12ビットの画素データのうち、0から3ビットのデータを収容し、同じクロックの区間1のときのチャネル2に、ダミーデータであるD画素データ7の12ビットの画素データのうち、4から11ビットのデータを収容する。図8(c)と図4(c)とを比較参照すると、RAWデータ241の画素B10の画素データ及びダミーデータであるD画素データ7の収容境界の位置は、YUV422フォーマット24ビットモードにおける現像データ242の画素Y11及び画素V10の各画素データの収容境界の位置に含まれる。行L2に配置された画素G11、B11、G12及びB12の画素データ、ならびに行Lk+1に配置されたダミーデータである複数のD画素データ7についても同様のマッピング処理を行う。
【0062】
上述した第2実施形態によれば、次の作用効果が得られる。撮像装置20において、RAWデータ241が所定の伝送フォーマットにしたがって伝送チャネルに収容される際の画素データの収容境界の位置は、現像データ242が所定の伝送フォーマットにしたがって伝送チャネルに収容される際の画素データの収容境界の位置に含まれる。これにより、撮像装置20は、現像データ242用の伝送フォーマットに対応していれば、RAWデータ241に固有の伝送仕様に対応する必要が無い。また、画像記録装置40においても、伝送フォーマット上で現像データ242を特定する処理を、伝送フォーマット上でRAWデータ241を特定する処理に転用することが可能となる。
【0063】
-変形例-
次のような変形も本発明の範囲内である。
【0064】
(1)図9は、変形例(1)における撮像装置20よりRAWデータ241がHDMIケーブル30を介して出力される際の伝送フォーマットの一例を説明するための図である。図9(a)は、YUV444フォーマット48ビットモードで伝送するために各成分16ビットで構成されたYUV444データの代わりにRAWデータ241が格納された場合における、RAWデータ241の各12ビットのR画素データ4、G画素データ5及びB画素データ6の、データメモリ24内での点順次方式による配置例を示す。行L1において、水平方向Maに各12ビットの画素R00、G00、R01、G01、R02、G02、R03、G03、R04、G04、R05及びG05の画素データが順に配置されている様子が示されている。さらに、行L1に続く行L2において、水平方向Maに各16ビットの画素G10、B10、G11、B11、G12、B12、G13、B13、G14、B14、G15及びB15の画素データが順に配置されている様子が示されている。
【0065】
図9(b)及び(c)において、各クロックの区間に合計24ビットのデータを収容することができるが、YUV444フォーマット48ビットモードの例に倣い、2区間のクロックを利用することにより、各伝送チャネル8ビットずつで合計6個のフィールドに、RAWデータ241を構成する各12ビットの合計4画素分の48ビットのデータを収容する。
【0066】
図9(b)に示す例では、クロックの区間0のときのチャネル0に、行L1に配置された画素R00の12ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル0に、画素R00の12ビットの画素データのうち、8から11ビットのデータを収容する。クロックの区間1のときのチャネル0に、行L1に配置された画素G00の12ビットの画素データのうち、0から3ビットのデータを収容し、クロックの区間0のときのチャネル1に、画素G00の12ビットの画素データのうち、4から11ビットのデータを収容する。クロックの区間1のときのチャネル2に、行L1に配置された画素R01の12ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間0のときのチャネル2に、画素R01の12ビットの画素データのうち、8から11ビットのデータを収容する。クロックの区間0のときのチャネル2に、行L1に配置された画素G01の12ビットの画素データのうち、0から3ビットのデータを収容し、クロックの区間1のときのチャネル2に、画素G01の12ビットの画素データのうち、8から11ビットのデータを収容する。行L1に配置された画素R02、G02、R03、G03、R04、G04、R05及びG05の画素データについても、画素R00、画素G00、画素R01及び画素G01の画素データと同様のマッピング処理を行う。
【0067】
図9(c)に示す例では、クロックの区間0のときのチャネル0に、行L2に配置された画素G10の12ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル0に、画素G10の12ビットの画素データのうち、8から11ビットのデータを収容する。クロックの区間1のときのチャネル0に、行L2に配置された画素B10の12ビットの画素データのうち、0から3ビットのデータを収容し、クロックの区間0のときのチャネル1に、画素B10の12ビットの画素データのうち、4から11ビットのデータを収容する。クロックの区間1のときのチャネル2に、行L2に配置された画素G11の12ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間0のときのチャネル2に、画素G11の12ビットの画素データのうち、8から11ビットのデータを収容する。クロックの区間0のときのチャネル2に、行L2に配置された画素B11の12ビットの画素データのうち、0から3ビットのデータを収容し、クロックの区間1のときのチャネル2に、画素B11の12ビットの画素データのうち、8から11ビットのデータを収容する。行L2に配置された画素G12、B12、G13、B13、G14、B14、G15及びB15の画素データについても、画素G10、画素B10、画素G11及び画素B11の画素データと同様のマッピング処理を行う。変形例(1)によれば、撮像装置20は、既存のHDMIケーブル30を用いてRAWデータ241を効率的に外部出力することができる。
【0068】
(2)図10は、変形例(2)における撮像装置20よりRAWデータ241がHDMIケーブル30を介して出力される際の伝送フォーマットの一例を説明するための図である。図10(a)は、YUV444フォーマット36ビットモードで伝送するために各成分12ビットで構成されたYUV444データの代わりにRAWデータ241が格納された場合における、RAWデータ241の各12ビットのR画素データ4、G画素データ5及びB画素データ6の、データメモリ24内での点順次方式による配置例を示す。行L1において、水平方向Maに各12ビットの画素R00、G00、R01、G01、R02、G02、R03、G03、R04、G04、R05及びG05の画素データが順に配置されている様子が示されている。さらに、行L1に続く行L2において、水平方向Maに各12ビットの画素G10、B10、G11、B11、G12、B12、G13、B13、G14、B14、G15及びB15の画素データが順に配置されている様子が示されている。
【0069】
図10(b)及び(c)において、各クロックの区間に合計24ビットのデータを収容することができるが、YUV444フォーマット36ビットモードの例に倣い、2区間のクロックのうちの一方の区間における各伝送チャネル8ビットずつのフィールドと、もう一方の区間における各伝送チャネル4ビットずつのフィールドとに、RAWデータ241を構成する各12ビットの合計3画素分の36ビットのデータを収容する。
【0070】
図10(b)に示す例では、クロックの区間0のときのチャネル0に、行L1に配置された画素R00の12ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル0に、画素R00の12ビットの画素データのうち、8から11ビットのデータを収容する。クロックの区間0のときのチャネル1に、行L1に配置された画素G00の12ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル1に、画素G00の12ビットの画素データのうち、8から11ビットのデータを収容する。クロックの区間0のときのチャネル2に、行L1に配置された画素R01の12ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル2に、画素R01の12ビットの画素データのうち、8から11ビットのデータを収容する。
【0071】
クロックの区間1のときのチャネル0に、行L1に配置された画素G01の12ビットの画素データのうち、0から3ビットのデータを収容し、クロックの区間2のときのチャネル0に、画素G01の12ビットの画素データのうち、4から11ビットのデータを収容する。クロックの区間1のときのチャネル1に、行L1に配置された画素R02の12ビットの画素データのうち、8から11ビットのデータを収容し、クロックの区間2のときのチャネル1に、画素R02の12ビットの画素データのうち、0から7ビットのデータを収容する。クロックの区間1のときのチャネル2に、行L1に配置された画素G02の12ビットの画素データのうち、0から3ビットのデータを収容し、クロックの区間2のときのチャネル2に、画素G02の12ビットの画素データのうち、4から11ビットのデータを収容する。行L1に配置された画素R03、G03、R04、G04、R05及びG05の画素データについても、画素R00、画素G00、画素R01、画素G01、画素R02及び画素G02の画素データと同様のマッピング処理を行う。
【0072】
図10(c)に示す例では、クロックの区間0のときのチャネル0に、行L2に配置された画素G10の12ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル0に、画素G10の12ビットの画素データのうち、8から11ビットのデータを収容する。クロックの区間0のときのチャネル1に、行L2に配置された画素B10の12ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル1に、画素B10の12ビットの画素データのうち、8から11ビットのデータを収容する。クロックの区間0のときのチャネル2に、行L2に配置された画素G11の12ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル2に、画素G11の12ビットの画素データのうち、8から11ビットのデータを収容する。
【0073】
クロックの区間1のときのチャネル0に、行L2に配置された画素B11の12ビットの画素データのうち、0から3ビットのデータを収容し、クロックの区間2のときのチャネル0に、画素B11の12ビットの画素データのうち、4から11ビットのデータを収容する。クロックの区間1のときのチャネル1に、行L2に配置された画素G12の12ビットの画素データのうち、8から11ビットのデータを収容し、クロックの区間2のときのチャネル1に、画素G12の12ビットの画素データのうち、0から7ビットのデータを収容する。クロックの区間1のときのチャネル2に、行L2に配置された画素B12の12ビットの画素データのうち、0から3ビットのデータを収容し、クロックの区間2のときのチャネル2に、画素B12の12ビットの画素データのうち、4から11ビットのデータを収容する。行L2に配置された画素G13、B13、G14、B14、G15及びB15の画素データについても、画素G10、画素B10、画素G11、画素B11、画素G12及び画素B12の画素データと同様のマッピング処理を行う。
【0074】
変形例(2)によれば、撮像装置20は、既存のHDMIケーブル30を用いてRAWデータ241を効率的に外部出力することができる。また、RAWデータ241の各画素データの収容境界の位置は、YUV444フォーマット36ビットモードにおける現像データ242の各画素データの収容境界の位置に含まれる。撮像装置20及び画像記録装置40が、現像データ242用の伝送フォーマットに対応していれば、RAWデータ241の伝送処理に対応可能となる。
【0075】
(3)図11は、変形例(3)における撮像装置20よりRAWデータ241がHDMIケーブル30を介して出力される際の伝送フォーマットの一例を説明するための図である。図11(a)は、YUV444フォーマット24ビットモードで伝送するために各成分8ビットで構成されたYUV444データの代わりにRAWデータ241が格納された場合における、RAWデータ241の各16ビットのR画素データ4、G画素データ5及びB画素データ6の、データメモリ24内での点順次方式による配置例を示す。行L1において、水平方向Maに各16ビットの画素R00、G00、R01、G01、R02、G02、R03、G03及びR04の画素データが順に配置されている様子が示されている。さらに、行L1に続く行L2において、水平方向Maに各16ビットの画素G10、B10、G11、B11、G12、B12、G13、B13及びG14の画素データが順に配置されている様子が示されている。
【0076】
図11(b)及び(c)において、各クロックの区間に合計24ビットのデータを収容することができるが、YUV444フォーマット24ビットモードの例に倣い、1区間のクロックにおける各伝送チャネル8ビットずつで合計3個のフィールドに、RAWデータ241を構成する各16ビットの合計1.5画素分の24ビットのデータを収容する。
【0077】
図11(b)に示す例では、クロックの区間0のときのチャネル0に、行L1に配置された画素R00の16ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間0のときのチャネル1に、画素R00の16ビットの画素データのうち、8から15ビットのデータを収容する。クロックの区間0のときのチャネル2に、行L1に配置された画素G00の16ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル0に、画素G00の16ビットの画素データのうち、8から15ビットのデータを収容する。クロックの区間1のときのチャネル1に、行L1に配置された画素R01の16ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル2に、画素R01の16ビットの画素データのうち、8から15ビットのデータを収容する。行L1に配置された画素G01、R02、G02、R03、G03及びR04の画素データについても、画素R00、画素G00、画素R01及び画素G01の画素データと同様のマッピング処理を行う。
【0078】
図11(c)に示す例では、クロックの区間0のときのチャネル0に、行L2に配置された画素G10の16ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間0のときのチャネル1に、画素G10の16ビットの画素データのうち、8から15ビットのデータを収容する。クロックの区間0のときのチャネル2に、行L2に配置された画素B10の16ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル0に、画素B10の16ビットの画素データのうち、8から15ビットのデータを収容する。クロックの区間1のときのチャネル1に、行L2に配置された画素G11の16ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル2に、画素G11の16ビットの画素データのうち、8から15ビットのデータを収容する。行L2に配置された画素B11、G12、B12、G13、B13及びG14の画素データについても、画素G10、画素B10及び画素G11の画素データと同様のマッピング処理を行う。変形例(3)によれば、撮像装置20は、既存のHDMIケーブル30を用いてRAWデータ241を効率的に外部出力することができる。
【0079】
(4)図12は、変形例(4)における撮像装置20よりRAWデータ241がHDMIケーブル30を介して出力される際の伝送フォーマットの一例を説明するための図である。図12(a)は、YUV444フォーマット24ビットモードで伝送するために各成分8ビットで構成されたYUV444データの代わりにRAWデータ241が格納された場合における、RAWデータ241の各12ビットのR画素データ4、G画素データ5及びB画素データ6の、データメモリ24内での点順次方式による配置例を示す。行L1において、水平方向Maに各12ビットの画素R00、G00、R01、G01、R02、G02、R03、G03、R04、G04、R05及びG05の画素データが順に配置されている様子が示されている。さらに、行L1に続く行L2において、水平方向Maに各12ビットの画素G10、B10、G11、B11、G12、B12、G13、B13、G14、B14、G15及びB15の画素データが順に配置されている様子が示されている。
【0080】
図12(b)及び(c)において、各クロックの区間に合計24ビットのデータを収容することができるが、YUV444フォーマット24ビットモードの例に倣い、1区間のクロックにおける各伝送チャネル8ビットずつのフィールドに、RAWデータ241を構成する各12ビットの合計2画素分の24ビットのデータを収容する。
【0081】
図12(b)に示す例では、クロックの区間0のときのチャネル0に、行L1に配置された画素R00の12ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間0のときのチャネル1に、画素R00の12ビットの画素データのうち、8から11ビットのデータを収容する。クロックの区間0のときのチャネル1に、行L1に配置された画素G00の12ビットの画素データのうち、0から3ビットのデータを収容し、クロックの区間0のときのチャネル2に、画素G00の12ビットの画素データのうち、4から11ビットのデータを収容する。行L1に配置された画素R01、G01、R02、G02、R03、G03、R04、G04、R05及びG05の画素データについても、画素R00及び画素G00の画素データと同様のマッピング処理を行う。
【0082】
図12(c)に示す例では、クロックの区間0のときのチャネル0に、行L2に配置された画素G10の12ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間0のときのチャネル1に、画素G10の12ビットの画素データのうち、8から11ビットのデータを収容する。クロックの区間0のときのチャネル1に、行L2に配置された画素B10の12ビットの画素データのうち、0から3ビットのデータを収容し、クロックの区間0のときのチャネル2に、画素B10の12ビットの画素データのうち、4から11ビットのデータを収容する。行L2に配置された画素G11、B11、G12、B12、G13、B13、G14、B14、G15及びB15の画素データについても、画素G10、画素B10、画素G11及び画素B11の画素データと同様のマッピング処理を行う。
【0083】
変形例(4)によれば、撮像装置20は、既存のHDMIケーブル30を用いてRAWデータ241を効率的に外部出力することができる。また、RAWデータ241の各画素データの収容境界の位置は、YUV444フォーマット24ビットモードにおける現像データ242の各画素データの収容境界の位置に含まれる。撮像装置20及び画像記録装置40が、現像データ242用の伝送フォーマットに対応していれば、RAWデータ241の伝送処理に対応可能となる。
【0084】
(5)図13は、変形例(5)における撮像装置20よりRAWデータ241がHDMIケーブル30を介して出力される際の伝送フォーマットの一例を説明するための図である。図13(a)は、YUV422フォーマット24ビットモードで伝送するために各成分12ビットで構成されたYUV422データの代わりにRAWデータ241が格納された場合における、RAWデータ241の各12ビットのR画素データ4、G画素データ5及びB画素データ6の、データメモリ24内での点順次方式による配置例を示す。行L1において、水平方向Maに各12ビットの画素R00、G00、R01、G01、R02、G02、R03、G03、R04、G04、R05及びG05の画素データが順に配置されている様子が示されている。さらに、行L1に続く行L2において、水平方向Maに各12ビットの画素G10、B10、G11、B11、G12、B12、G13、B13、G14、B14、G15及びB15の画素データが順に配置されている様子が示されている。
【0085】
図13(b)及び(c)において、各クロックの区間に合計24ビットのデータを収容することができるが、YUV422フォーマット24ビットモードの例に倣い、1区間のクロックにおける各伝送チャネル8ビットずつのフィールドに、RAWデータ241を構成する各12ビットの合計2画素分の24ビットのデータを収容する。
【0086】
図13(b)に示す例では、クロックの区間0のときのチャネル0に、行L1に配置された画素R00の12ビットの画素データのうち、0から3ビットのデータを収容し、クロックの区間0のときのチャネル1に、画素R00の12ビットの画素データのうち、4から11ビットのデータを収容する。クロックの区間0のときのチャネル0に、行L1に配置された画素R01の12ビットの画素データのうち、0から3ビットのデータを収容し、クロックの区間0のときのチャネル2に、画素R01の12ビットの画素データのうち、4から11ビットのデータを収容する。クロックの区間1のときのチャネル0に、行L1に配置された画素G00の12ビットの画素データのうち、0から3ビットのデータを収容し、クロックの区間1のときのチャネル1に、画素G00の12ビットの画素データのうち、4から11ビットのデータを収容する。クロックの区間1のときのチャネル0に、行L1に配置された画素G01の12ビットの画素データのうち、0から3ビットのデータを収容し、クロックの区間1のときのチャネル2に、画素G01の12ビットの画素データのうち、4から11ビットのデータを収容する。行L1に配置された画素R02、G02、R03、G03、R04、G04、R05及びG05の画素データについても、画素R00、画素G00、画素R01及び画素G01の画素データと同様のマッピング処理を行う。
【0087】
図13(c)に示す例では、クロックの区間0のときのチャネル0に、行L2に配置された画素G10の12ビットの画素データのうち、0から3ビットのデータを収容し、クロックの区間0のときのチャネル1に、画素G10の12ビットの画素データのうち、4から11ビットのデータを収容する。クロックの区間0のときのチャネル0に、行L2に配置された画素G11の12ビットの画素データのうち、0から3ビットのデータを収容し、クロックの区間0のときのチャネル2に、画素G11の12ビットの画素データのうち、4から11ビットのデータを収容する。クロックの区間1のときのチャネル0に、行L2に配置された画素B10の12ビットの画素データのうち、0から3ビットのデータを収容し、クロックの区間1のときのチャネル1に、画素B10の12ビットの画素データのうち、4から11ビットのデータを収容する。クロックの区間1のときのチャネル0に、行L2に配置された画素B11の12ビットの画素データのうち、0から3ビットのデータを収容し、クロックの区間1のときのチャネル2に、画素B11の12ビットの画素データのうち、4から11ビットのデータを収容する。行L2に配置された画素G12、B12、G13、B13、G14、B14、G15及びB15の画素データについても、画素G10、画素B10、画素G11及び画素B11の画素データと同様のマッピング処理を行う。
【0088】
変形例(5)によれば、撮像装置20は、既存のHDMIケーブル30を用いてRAWデータ241を効率的に外部出力することができる。また、RAWデータ241の各画素データの収容境界の位置は、YUV422フォーマット24ビットモードにおける現像データ242の各画素データの収容境界の位置に含まれる。撮像装置20及び画像記録装置40が、現像データ242用の伝送フォーマットに対応していれば、RAWデータ241の伝送処理に対応可能となる。
【0089】
(6)図14は、変形例(6)における撮像装置20よりRAWデータ241がHDMIケーブル30を介して出力される際の伝送フォーマットの一例を説明するための図である。図14(a)は、YUV422フォーマット24ビットモードで伝送するために各成分12ビットで構成されたYUV422データの代わりにRAWデータ241が格納された場合における、RAWデータ241の各16ビットのR画素データ4、G画素データ5及びB画素データ6の、データメモリ24内での点順次方式による配置例を示す。行L1において、水平方向Maに各16ビットの画素R00、G00、R01、G01、R02及びG02の画素データが順に配置されている様子が示されている。さらに、行L1に続く行L2において、水平方向Maに各16ビットの画素G10、B10、G11、B11、G12及びB12の画素データが順に配置されている様子が示されている。
【0090】
図14(b)及び(c)において、各クロックの区間に合計24ビットのデータを収容することができるが、YUV422フォーマット24ビットモードの例に倣い、1区間のクロックにおける各伝送チャネル8ビットずつで合計3個のフィールドに、RAWデータ241を構成する各16ビットの合計1.5画素分の24ビットのデータを収容する。
【0091】
図14(b)に示す例では、クロックの区間0のときのチャネル0に、行L1に配置された画素R00の16ビットの画素データのうち、0から3ビットのデータを収容し、クロックの区間0のときのチャネル1に、画素R00の16ビットの画素データのうち、4から11ビットのデータを収容し、クロックの区間1のときのチャネル0に、画素R00の16ビットの画素データのうち、12から15ビットのデータを収容する。クロックの区間1のときのチャネル1に、行L1に配置された画素G00の16ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間0のときのチャネル0に、画素G00の16ビットの画素データのうち、8から11ビットのデータを収容し、クロックの区間0のときのチャネル2に、画素G00の16ビットの画素データのうち、12から15ビットのデータを収容する。クロックの区間0のときのチャネル2に、行L1に配置された画素R01の16ビットの画素データのうち、0から3ビットのデータを収容し、クロックの区間1のときのチャネル0に、画素R01の16ビットの画素データのうち、4から7ビットのデータを収容し、クロックの区間1のときのチャネル2に、画素R01の16ビットの画素データのうち、8から15ビットのデータを収容する。行L1に配置された画素G01、R02及びG02の画素データについても、画素R00、画素G00及び画素R01の画素データと同様のマッピング処理を行う。
【0092】
図14(c)に示す例では、クロックの区間0のときのチャネル0に、行L2に配置された画素G10の16ビットの画素データのうち、0から3ビットのデータを収容し、クロックの区間0のときのチャネル1に、画素G10の16ビットの画素データのうち、4から11ビットのデータを収容し、クロックの区間1のときのチャネル0に、画素G10の16ビットの画素データのうち、12から15ビットのデータを収容する。クロックの区間1のときのチャネル1に、行L2に配置された画素B10の16ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間0のときのチャネル0に、画素B10の16ビットの画素データのうち、8から11ビットのデータを収容し、クロックの区間0のときのチャネル2に、画素B10の16ビットの画素データのうち、12から15ビットのデータを収容する。クロックの区間0のときのチャネル2に、行L2に配置された画素G11の16ビットの画素データのうち、0から3ビットのデータを収容し、クロックの区間1のときのチャネル0に、画素G11の16ビットの画素データのうち、4から7ビットのデータを収容し、クロックの区間1のときのチャネル2に、画素G11の16ビットの画素データのうち、8から15ビットのデータを収容する。行L2に配置された画素B11、G12及びB12の画素データについても、画素G10、画素B10及び画素G11の画素データと同様のマッピング処理を行う。変形例(6)によれば、撮像装置20は、既存のHDMIケーブル30を用いてRAWデータ241を効率的に外部出力することができる。
【0093】
(7)図15は、変形例(7)における撮像装置20よりRAWデータ241がHDMIケーブル30を介して出力される際の伝送フォーマットの一例を説明するための図である。図15(a)は、YUV422フォーマット16ビットモードで伝送するために各成分8ビットで構成されたYUV422データの代わりにRAWデータ241が格納された場合における、RAWデータ241の各16ビットのR画素データ4、G画素データ5及びB画素データ6の、データメモリ24内での点順次方式による配置例を示す。行L1において、水平方向Maに各16ビットの画素R00、G00、R01、G01、R02及びG02の画素データが順に配置されている様子が示されている。さらに、行L1に続く行L2において、水平方向Maに各16ビットの画素G10、B10、G11、B11、G12及びB12の画素データが順に配置されている様子が示されている。
【0094】
図15(b)及び(c)において、各クロックの区間に合計24ビットのデータを収容することができるが、YUV422フォーマット16ビットモードの例に倣い、1区間のクロックにおける伝送チャネル0を除く2チャネルについて8ビットずつで合計2個のフィールドに、RAWデータ241を構成する各16ビットの合計1画素分の16ビットのデータを収容する。
【0095】
図15(b)に示す例では、クロックの区間0のときのチャネル1に、行L1に配置された画素R00の16ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル1に、画素R00の16ビットの画素データのうち、8から15ビットのデータを収容する。クロックの区間0のときのチャネル2に、行L1に配置された画素G00の16ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル2に、画素G00の16ビットの画素データのうち、8から15ビットのデータを収容する。行L1に配置された画素R01、G01、R02及びG02の画素データについても、画素R00及び画素G00の画素データと同様のマッピング処理を行う。
【0096】
図15(c)に示す例では、クロックの区間0のときのチャネル1に、行L2に配置された画素G10の16ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル1に、画素G10の16ビットの画素データのうち、8から15ビットのデータを収容する。クロックの区間0のときのチャネル2に、行L2に配置された画素B10の16ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル2に、画素B10の16ビットの画素データのうち、8から15ビットのデータを収容する。行L2に配置された画素G11、B11、G12及びB12の画素データについても、画素G10及び画素B10の画素データと同様のマッピング処理を行う。
【0097】
変形例(7)によれば、RAWデータ241の各画素データの収容境界の位置は、YUV422フォーマット16ビットモードにおける現像データ242の各画素データの収容境界の位置に含まれる。撮像装置20及び画像記録装置40が、現像データ242用の伝送フォーマットに対応していれば、RAWデータ241の伝送処理に対応可能となる。
【0098】
(8)図16は、変形例(8)における撮像装置20よりRAWデータ241がHDMIケーブル30を介して出力される際の伝送フォーマットの一例を説明するための図である。図16(a)は、YUV422フォーマット16ビットモードで伝送するために各成分8ビットで構成されたYUV422データの代わりにRAWデータ241が格納された場合における、RAWデータ241の各12ビットのR画素データ4、G画素データ5及びB画素データ6の、データメモリ24内での点順次方式による配置例を示す。行L1において、水平方向Maに各12ビットの画素R00、G00、R01、G01、R02、G02、R03及びG03の画素データが順に配置されている様子が示されている。さらに、行L1に続く行L2において、水平方向Maに各12ビットの画素G10、B10、G11、B11、G12、B12、G13及びB13の画素データが順に配置されている様子が示されている。
【0099】
図16(b)及び(c)において、各クロックの区間に合計24ビットのデータを収容することができるが、YUV422フォーマット16ビットモードの例に倣い、1区間のクロックにおける伝送チャネル0を除く2チャネルについて8ビットずつで合計2個のフィールドに、RAWデータ241を構成する各12ビットの1画素分と残り4ビットの16ビットのデータを収容する。
【0100】
図16(b)に示す例では、クロックの区間0のときのチャネル1に、行L1に配置された画素R00の12ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル1に、画素R00の12ビットの画素データのうち、8から11ビットのデータを収容する。クロックの区間0のときのチャネル2に、行L1に配置された画素G00の12ビットの画素データのうち、4から11ビットのデータを収容し、クロックの区間1のときのチャネル1に、画素G00の12ビットの画素データのうち、0から3ビットのデータを収容する。クロックの区間1のときのチャネル2に、行L1に配置された画素R01の12ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間2のときのチャネル1に、画素R01の12ビットの画素データのうち、8から11ビットのデータを収容する。クロックの区間2のときのチャネル1に、行L1に配置された画素G01の12ビットの画素データのうち、0から3ビットのデータを収容し、クロックの区間3のときのチャネル1に、画素G01の12ビットの画素データのうち、4から11ビットのデータを収容する。
【0101】
クロックの区間2のときのチャネル2に、行L1に配置された画素R02の12ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間3のときのチャネル2に、画素R02の12ビットの画素データのうち、8から11ビットのデータを収容する。クロックの区間3のときのチャネル2に、行L1に配置された画素G02の12ビットの画素データのうち、0から3ビットのデータを収容し、クロックの区間4のときのチャネル1に、画素G02の12ビットの画素データのうち、4から11ビットのデータを収容する。クロックの区間4のときのチャネル2に、行L1に配置された画素R03の12ビットの画素データのうち、8から11ビットのデータを収容し、クロックの区間5のときのチャネル1に、画素R03の12ビットの画素データのうち、0から7ビットのデータを収容する。クロックの区間4のときのチャネル2に、行L1に配置された画素G03の12ビットの画素データのうち、0から3ビットのデータを収容し、クロックの区間5のときのチャネル2に、画素G03の12ビットの画素データのうち、4から11ビットのデータを収容する。
【0102】
図16(c)に示す例では、クロックの区間0のときのチャネル1に、行L2に配置された画素G10の12ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル1に、画素G10の12ビットの画素データのうち、8から11ビットのデータを収容する。クロックの区間0のときのチャネル2に、行L2に配置された画素B10の12ビットの画素データのうち、4から11ビットのデータを収容し、クロックの区間1のときのチャネル1に、画素B10の12ビットの画素データのうち、0から3ビットのデータを収容する。クロックの区間1のときのチャネル2に、行L2に配置された画素G11の12ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間2のときのチャネル1に、画素G11の12ビットの画素データのうち、8から11ビットのデータを収容する。クロックの区間2のときのチャネル1に、行L2に配置された画素B11の12ビットの画素データのうち、0から3ビットのデータを収容し、クロックの区間3のときのチャネル1に、画素B11の12ビットの画素データのうち、4から11ビットのデータを収容する。
【0103】
クロックの区間2のときのチャネル2に、行L2に配置された画素G12の12ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間3のときのチャネル2に、画素G12の12ビットの画素データのうち、8から11ビットのデータを収容する。クロックの区間3のときのチャネル2に、行L2に配置された画素B12の12ビットの画素データのうち、0から3ビットのデータを収容し、クロックの区間4のときのチャネル1に、画素B12の12ビットの画素データのうち、4から11ビットのデータを収容する。クロックの区間4のときのチャネル2に、行L2に配置された画素G13の12ビットの画素データのうち、8から11ビットのデータを収容し、クロックの区間5のときのチャネル1に、画素G13の12ビットの画素データのうち、0から7ビットのデータを収容する。クロックの区間4のときのチャネル2に、行L2に配置された画素B13の12ビットの画素データのうち、0から3ビットのデータを収容し、クロックの区間5のときのチャネル2に、画素B13の12ビットの画素データのうち、4から11ビットのデータを収容する。変形例(8)によれば、撮像装置20は、既存のHDMIケーブル30を用いてRAWデータ241を外部出力することができる。
【0104】
(9)図17は、変形例(9)における撮像装置20よりRAWデータ241がHDMIケーブル30を介して出力される際の伝送フォーマットの一例を説明するための図である。図17(a)は、YUV422フォーマット16ビットモードで伝送するために各成分8ビットで構成されたYUV422データの代わりにRAWデータ241が格納された場合における、RAWデータ241の各16ビットのR画素データ4、G画素データ5及びB画素データ6の、データメモリ24内での面順次方式あるいは面点順次方式による配置例を示す。なお、ダミーデータであるD画素データ7の配置例については図示を省略する。行L1において、水平方向Maに各16ビットの画素R00、G00及びR01の画素データが順に配置されている様子が示されている。さらに、行L1に続く行L2において、水平方向Maに各16ビットの画素G10、B10及びG11の画素データが順に配置されている様子が示されている。
【0105】
図17(b)及び(c)において、各クロックの区間に合計24ビットのデータを収容することができるが、YUV422フォーマット16ビットモードの例に倣い、2区間のクロックを利用することにより、伝送チャネル1のみの1チャネルについて8ビットずつで合計2個のフィールドに、RAWデータ241を構成する各16ビットの合計1画素分の16ビットのデータを収容する。
【0106】
図17(b)に示す例では、クロックの区間0のときのチャネル1に、行L1に配置された画素R00の16ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル1に、画素R00の16ビットの画素データのうち、8から15ビットのデータを収容する。クロックの区間2のときのチャネル1に、行L1に配置された画素G00の16ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間3のときのチャネル1に、画素G00の16ビットの画素データのうち、8から15ビットのデータを収容する。クロックの区間4のときのチャネル1に、行L1に配置された画素R01の16ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間5のときのチャネル1に、画素R01の16ビットの画素データのうち、8から15ビットのデータを収容する。
【0107】
図17(c)に示す例では、クロックの区間0のときのチャネル1に、行L2に配置された画素G10の16ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル1に、画素G10の16ビットの画素データのうち、8から15ビットのデータを収容する。クロックの区間2のときのチャネル1に、行L2に配置された画素B10の16ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間3のときのチャネル1に、画素B10の16ビットの画素データのうち、8から15ビットのデータを収容する。クロックの区間4のときのチャネル1に、行L2に配置された画素G11の16ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間5のときのチャネル1に、画素G11の16ビットの画素データのうち、8から15ビットのデータを収容する。
【0108】
変形例(9)によれば、RAWデータ241の各画素データの収容境界の位置は、YUV422フォーマット16ビットモードにおける現像データ242の各画素データの収容境界の位置に含まれる。撮像装置20及び画像記録装置40が、現像データ242用の伝送フォーマットに対応していれば、RAWデータ241の伝送処理に対応可能となる。
【0109】
(10)図18は、変形例(10)における撮像装置20よりRAWデータ241がHDMIケーブル30を介して出力される際の伝送フォーマットの一例を説明するための図である。図18(a)は、YUV420フォーマット48ビットモードで伝送するために各成分16ビットで構成されたYUV420データの代わりにRAWデータ241が格納された場合における、RAWデータ241の各16ビットのR画素データ4、G画素データ5及びB画素データ6の、データメモリ24内での面順次方式または面点順次方式による配置例を示す。なお、ダミーデータであるD画素データ7の配置例については図示を省略する。行L1において、水平方向Maに各16ビットの画素R00、G00、R01、G01、R02及びG02の画素データが順に配置されている様子が示されている。さらに、行L1に続く行L2において、水平方向Maに各16ビットの画素G10、B10、G11、B11、G12及びB12の画素データが順に配置されている様子が示されている。
【0110】
図18(b)及び(c)において、各クロックの区間に合計24ビットのデータを収容することができるが、YUV420フォーマット48ビットモードの例に倣い、1区間のクロックにおける伝送チャネル0を除く2チャネルについて8ビットずつで合計2個のフィールドに、RAWデータ241を構成する各16ビットの合計1画素分の16ビットのデータを収容する。
【0111】
図18(b)に示す例では、クロックの区間0のときのチャネル1に、行L1に配置された画素R00の16ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル1に、画素R00の16ビットの画素データのうち、8から15ビットのデータを収容する。クロックの区間0のときのチャネル2に、行L1に配置された画素G00の16ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル2に、画素G00の16ビットの画素データのうち、8から15ビットのデータを収容する。行L1に配置された画素R01、G01、R02及びG02の画素データについても、画素R00及び画素G00の画素データと同様のマッピング処理を行う。
【0112】
図18(c)に示す例では、クロックの区間0のときのチャネル1に、行L2に配置された画素G10の16ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル1に、画素G10の16ビットの画素データのうち、8から15ビットのデータを収容する。クロックの区間0のときのチャネル2に、行L2に配置された画素B10の16ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル2に、画素B10の16ビットの画素データのうち、8から15ビットのデータを収容する。行L2に配置された画素G11、B11、G12及びB12の画素データについても、画素G10及び画素B10の画素データと同様のマッピング処理を行う。
【0113】
変形例(10)によれば、RAWデータ241の各画素データの収容境界の位置は、YUV420フォーマット48ビットモードにおける現像データ242の各画素データの収容境界の位置に含まれる。撮像装置20及び画像記録装置40が、現像データ242用の伝送フォーマットに対応していれば、RAWデータ241の伝送処理に対応可能となる。
【0114】
(11)図19は、変形例(11)における撮像装置20よりRAWデータ241がHDMIケーブル30を介して出力される際の伝送フォーマットの一例を説明するための図である。図19(a)は、YUV420フォーマット24ビットモードで伝送するために各成分8ビットで構成されたYUV420データの代わりにRAWデータ241が格納された場合における、RAWデータ241の各16ビットのR画素データ4、G画素データ5及びB画素データ6の、データメモリ24内での面順次方式あるいは面点順次方式による配置例を示す。なお、ダミーデータであるD画素データ7の配置例については図示を省略する。行L1において、水平方向Maに各16ビットの画素R00、G00、R01、G01、R02及びG02の画素データが順に配置されている様子が示されている。さらに、行L1に続く行L2において、水平方向Maに各16ビットの画素G10、B10、G11、B11、G12及びB12の画素データが順に配置されている様子が示されている。
【0115】
図19(b)及び(c)において、各クロックの区間に合計24ビットのデータを収容することができるが、YUV420フォーマット24ビットモードの例に倣い、1区間のクロックにおける伝送チャネル0を除く2チャネルについて8ビットずつで合計2個のフィールドに、RAWデータ241を構成する各16ビットの合計1画素分の16ビットのデータを収容する。
【0116】
図19(b)に示す例では、クロックの区間0のときのチャネル1に、行L1に配置された画素R00の16ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間0のときのチャネル2に、画素R00の16ビットの画素データのうち、8から15ビットのデータを収容する。クロックの区間1のときのチャネル1に、行L1に配置された画素G00の16ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル2に、画素G00の16ビットの画素データのうち、8から15ビットのデータを収容する。行L1に配置された画素R01、G01、R02及びG02の画素データについても、画素R00及び画素G00の画素データと同様のマッピング処理を行う。
【0117】
図19(c)に示す例では、クロックの区間0のときのチャネル1に、行L2に配置された画素G10の16ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間0のときのチャネル2に、画素G10の16ビットの画素データのうち、8から15ビットのデータを収容する。クロックの区間1のときのチャネル1に、行L2に配置された画素B10の16ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル2に、画素B10の16ビットの画素データのうち、8から15ビットのデータを収容する。行L2に配置された画素G11、B11、G12及びB12の画素データについても、画素G10及び画素B10の画素データと同様のマッピング処理を行う。
【0118】
変形例(11)によれば、RAWデータ241の各画素データの収容境界の位置は、YUV420フォーマット24ビットモードにおける現像データ242の各画素データの収容境界の位置に含まれる。撮像装置20及び画像記録装置40が、現像データ242用の伝送フォーマットに対応していれば、RAWデータ241の伝送処理に対応可能となる。
【0119】
(12)図20は、変形例(12)における撮像装置20よりRAWデータ241がHDMIケーブル30を介して出力される際の伝送フォーマットの一例を説明するための図である。図20(a)は、YUV420フォーマット36ビットモードで伝送するために各成分12ビットで構成されたYUV420データの代わりにRAWデータ241が格納された場合における、RAWデータ241の各12ビットのR画素データ4、G画素データ5及びB画素データ6の、データメモリ24内での面順次方式あるいは面点順次方式による配置例を示す。なお、ダミーデータであるD画素データ7の配置例については図示を省略する。行L1において、水平方向Maに各12ビットの画素R00、G00、R01、G01、R02、G02、R03及びG03の画素データが順に配置されている様子が示されている。さらに、行L1に続く行L2において、水平方向Maに各12ビットの画素G10、B10、G11、B11、G12、B12、G13及びB13の画素データが順に配置されている様子が示されている。
【0120】
図20(b)及び(c)において、各クロックの区間に合計24ビットのデータを収容することができるが、YUV420フォーマット36ビットモードの例に倣い、連続する3区間のクロックの各区間における伝送チャネル0を除く2チャネルについて8ビットずつの合計6個のフィールドに、RAWデータ241を構成する各12ビットの合計4画素分の48ビットのデータを収容する。
【0121】
図20(b)に示す例では、クロックの区間0のときのチャネル1に、行L1に配置された画素R00の12ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル1に、画素R00の12ビットの画素データのうち、8から11ビットのデータを収容する。クロックの区間0のときのチャネル2に、行L1に配置された画素G00の12ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル2に、画素G00の12ビットの画素データのうち、8から11ビットのデータを収容する。
【0122】
クロックの区間1のときのチャネル1に、行L1に配置された画素R01の12ビットの画素データのうち、0から3ビットのデータを収容し、クロックの区間2のときのチャネル1に、画素R01の12ビットの画素データのうち、4から11ビットのデータを収容する。クロックの区間1のときのチャネル2に、行L1に配置された画素G01の12ビットの画素データのうち、0から3ビットのデータを収容し、クロックの区間2のときのチャネル2に、画素G01の12ビットの画素データのうち、4から11ビットのデータを収容する。行L1に配置された画素R02、G02、R03及びG03の画素データについても、画素R00、画素G00、画素R01及び画素G01の画素データと同様のマッピング処理を行う。
【0123】
図20(c)に示す例では、クロックの区間0のときのチャネル1に、行L2に配置された画素G10の12ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル1に、画素G10の12ビットの画素データのうち、8から11ビットのデータを収容する。クロックの区間0のときのチャネル2に、行L2に配置された画素B10の12ビットの画素データのうち、0から7ビットのデータを収容し、クロックの区間1のときのチャネル2に、画素B10の12ビットの画素データのうち、8から11ビットのデータを収容する。
【0124】
クロックの区間1のときのチャネル1に、行L2に配置された画素G11の12ビットの画素データのうち、0から3ビットのデータを収容し、クロックの区間2のときのチャネル1に、画素G11の12ビットの画素データのうち、4から11ビットのデータを収容する。クロックの区間1のときのチャネル2に、行L2に配置された画素B11の12ビットの画素データのうち、0から3ビットのデータを収容し、クロックの区間2のときのチャネル2に、画素B11の12ビットの画素データのうち、4から11ビットのデータを収容する。クロックの区間1のときのチャネル2に、行L2に配置された画素B11の12ビットの画素データのうち、0から3ビットのデータを収容し、クロックの区間2のときのチャネル2に、画素B11の12ビットの画素データのうち、4から11ビットのデータを収容する。行L2に配置された画素G12、B12、G13及びB13の画素データについても、画素G10、画素B10、画素G11及び画素B11の画素データと同様のマッピング処理を行う。
【0125】
変形例(12)によれば、RAWデータ241の各画素データの収容境界の位置は、YUV420フォーマット36ビットモードにおける現像データ242の各画素データの収容境界の位置に含まれる。撮像装置20及び画像記録装置40が、現像データ242用の伝送フォーマットに対応していれば、RAWデータ241の伝送処理に対応可能となる。
【0126】
(13)上述の実施形態及び変形例においては、撮像装置20よりRAWデータ241がHDMIケーブル30を介して出力される際の伝送フォーマットの各クロックの区間において、伝送チャネル0から2までの3チャネルが設けられ、各チャネルに割り当てられたフィールドに各8ビットずつのデータを収容することができる。上述の実施形態及び変形例においては、各クロックの区間に合計24ビットのデータをチャネル0から2までの3チャネルに収容する際、チャネル0、1及び2の順に用いることとした。しかし、伝送チャネルの順序はこれに限られず、例えばチャネル2、1及び0の順であってもよいし、例えばチャネル1、0及び2の順であってもよい。第1実施形態を例に説明すると、図7に示すように、各クロックの区間に合計24ビットのデータをチャネル0から2までの3チャネルに収容する際、チャネル0、1及び2の順に用いている。しかし、図21に示すように、チャネル2、1及び0の順であってもよいし、図22に示すように、チャネル1、0及び2の順であってもよい。第2実施形態、他の変形例についても同様である。
【0127】
(14)上述の実施形態及び変形例において、RAWデータ241の伝送フォーマットは、YUV444フォーマット48ビットモード、YUV422フォーマット24ビットモード等のYUVデータの伝送フォーマットに対応付けられている。しかし、RAWデータ241の伝送フォーマットは、YUVデータの伝送フォーマットに対応付けられなくてもよい。RAWデータ241の伝送フォーマットは、RGBデータの伝送フォーマットに対応付けられることとしてもよい。或いは、RAWデータ241の伝送フォーマットは、各クロックの区間もしくは複数のクロックの区間において、チャネル0から2までの3チャネルに自在にRAWデータ241を収容することとしてもよい。その場合、RAWデータ241を構成するR画素データ4、G画素データ5及びB画素データ6の大きさは、上述の実施形態及び変形例において用いられた16ビット及び12ビット以外の大きさ、例えば14ビットであってもよい。
【0128】
(15)上述の実施形態及び変形例において、撮像装置20と画像記録装置40とを接続する接続部材はHDMIケーブル30であるため、RAWデータ241の伝送フォーマットは、HDMI伝送フォーマットとした。しかし、撮像装置20と画像記録装置40とを接続する接続部材はSDIケーブルであってもよい。その場合、RAWデータ241の伝送フォーマットは、SDI伝送フォーマットを用いる。
【0129】
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【0130】
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願2018年第74272号(2018年4月6日出願)
【符号の説明】
【0131】
1 Y画素データ、 2 U画素データ、 3 V画素データ、 4 R画素データ、 5 G画素データ、 6 B画素データ、 7 D画素データ、 10 画像伝送記録システム、 11 画像伝送記録システム、20 撮像装置、 21 撮像装置制御部、 22 イメージセンサ、 23 センサデータ入力回路、 24 データメモリ、 25 現像処理部、 26 出力制御部、 27 表示部、 30 HDMIケーブル、40 画像記録装置、 41 画像記録装置制御部、 42 外部入力制御部、 43 画像処理部、 44 記憶装置、 45 表示出力制御部、 46 表示部、241 RAWデータ、 242 現像データ、261 表示出力制御部、 262 外部出力制御部。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22