IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士フイルム株式会社の特許一覧

特開2024-109720動画制御装置、動画記録装置、動画制御方法、動画記録方法、及び動画制御プログラム
<>
  • 特開-動画制御装置、動画記録装置、動画制御方法、動画記録方法、及び動画制御プログラム 図1
  • 特開-動画制御装置、動画記録装置、動画制御方法、動画記録方法、及び動画制御プログラム 図2
  • 特開-動画制御装置、動画記録装置、動画制御方法、動画記録方法、及び動画制御プログラム 図3
  • 特開-動画制御装置、動画記録装置、動画制御方法、動画記録方法、及び動画制御プログラム 図4
  • 特開-動画制御装置、動画記録装置、動画制御方法、動画記録方法、及び動画制御プログラム 図5
  • 特開-動画制御装置、動画記録装置、動画制御方法、動画記録方法、及び動画制御プログラム 図6
  • 特開-動画制御装置、動画記録装置、動画制御方法、動画記録方法、及び動画制御プログラム 図7
  • 特開-動画制御装置、動画記録装置、動画制御方法、動画記録方法、及び動画制御プログラム 図8
  • 特開-動画制御装置、動画記録装置、動画制御方法、動画記録方法、及び動画制御プログラム 図9
  • 特開-動画制御装置、動画記録装置、動画制御方法、動画記録方法、及び動画制御プログラム 図10
  • 特開-動画制御装置、動画記録装置、動画制御方法、動画記録方法、及び動画制御プログラム 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024109720
(43)【公開日】2024-08-14
(54)【発明の名称】動画制御装置、動画記録装置、動画制御方法、動画記録方法、及び動画制御プログラム
(51)【国際特許分類】
   H04N 23/76 20230101AFI20240806BHJP
   H04N 5/77 20060101ALI20240806BHJP
   H04N 5/92 20060101ALI20240806BHJP
【FI】
H04N23/76
H04N5/77
H04N5/92 010
【審査請求】有
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2024081056
(22)【出願日】2024-05-17
(62)【分割の表示】P 2022532394の分割
【原出願日】2021-05-14
(31)【優先権主張番号】P 2020110766
(32)【優先日】2020-06-26
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110002505
【氏名又は名称】弁理士法人航栄事務所
(72)【発明者】
【氏名】藤原 慎也
(57)【要約】
【課題】デモザイク処理前の画素データの記録の有無に応じた適切な露出値により撮像を行うことのできる動画制御装置、動画記録装置、動画制御方法、動画記録方法、及び動画制御プログラムを提供する。
【解決手段】一時記憶部106は、撮像部119から出力された画素データを一時的に記憶する。現像処理部107は、一時記憶部106に記憶された画素データにデモザイク処理を含む現像処理を行って得た動画データを出力する。出力制御部109は、動画データ及び画素データのうち動画データのみを記録データとする第一記録モードと、動画データ及び画素データを記録データとする第二記録モードと、を切り替える。また、出力制御部109は、第一記録モードと第二記録モードとで撮像部119が異なる露出値により撮像を行うよう制御する。
【選択図】図2
【特許請求の範囲】
【請求項1】
撮像部からの出力に基づく画素データに現像処理を行って得た動画データのみを記録する第一記録モードと、前記動画データ及び前記画素データを記録する第二記録モードとを備え、前記第一記録モードと前記第二記録モードとで前記撮像部が異なる露出値により撮像を行うよう制御するモード制御部を備え、
前記モード制御部は、前記第一記録モードにおける前記現像処理に含まれる明るさに関する画像処理による前記動画データの明るさの増加量よりも、前記第二記録モードにおける前記現像処理に含まれる明るさに関する画像処理による前記動画データの明るさの増加量が多くなるよう制御する、
動画制御装置。
【請求項2】
請求項1記載の動画制御装置であって、
前記モード制御部は、前記第一記録モードと前記第二記録モードのいずれであるかに応じて前記明るさに関する画像処理を制御する、
動画制御装置。
【請求項3】
撮像部からの出力に基づく画素データに現像処理を行って得た動画データのみを記録する第一記録モードと、前記動画データ及び前記画素データを記録する第二記録モードとを備え、前記第一記録モードと前記第二記録モードとで前記撮像部が異なる露出値により撮像を行うよう制御する、
動画制御方法であって、
前記第一記録モードにおける前記現像処理に含まれる明るさに関する画像処理による前記動画データの明るさの増加量よりも、前記第二記録モードにおける前記現像処理に含まれる明るさに関する画像処理による前記動画データの明るさの増加量が多くなるよう制御する、
動画制御方法。
【請求項4】
請求項3記載の動画制御方法であって、
前記第一記録モードと前記第二記録モードのいずれであるかに応じて前記明るさに関する画像処理を制御する、
動画制御方法。
【請求項5】
撮像部からの出力に基づく画素データに現像処理を行って得た動画データのみを記録する第一記録モードと、前記動画データ及び前記画素データを記録する第二記録モードとを備え、前記第一記録モードと前記第二記録モードとで前記撮像部が異なる露出値により撮像を行うよう制御し、
前記第一記録モードにおける前記現像処理に含まれる明るさに関する画像処理による前記動画データの明るさの増加量よりも、前記第二記録モードにおける前記現像処理に含まれる明るさに関する画像処理による前記動画データの明るさの増加量が多くなるよう制御する、
処理を実行させるための動画制御プログラム。
【請求項6】
請求項5に記載の動画制御プログラムであって、
前記第一記録モードと前記第二記録モードのいずれであるかに応じて前記明るさに関する画像処理を制御する、
動画制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画制御装置、動画記録装置、動画制御方法、動画記録方法、及び動画制御プログラムに関する。
【背景技術】
【0002】
特許文献1には、RAWデータと、RAWデータから変換されたサムネイル画像用のYCデータと、を記憶する記録モードを有するカメラシステムが記載されている。
【0003】
特許文献2には、FullHD(Full High Definition)動画の録画中にユーザがRAW動画録画開始ボタンを押下すると、FullHD動画の録画を継続しつつ、RAW動画の録画を開始する撮像装置が記載されている。
【0004】
特許文献3には、画像のRAWデータとともにデジタル現像画像による動画像ファイルを記録する第1モードと、デジタル現像画像を記録する第2モードとを切り替える撮像装置が記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2007-166193号公報
【特許文献2】特開2017-28466号公報
【特許文献3】特開2010-21710号公報
【発明の概要】
【0006】
本開示の技術に係る1つの実施形態は、デモザイク処理前の画素データの記録の有無に応じた適切な露出値により撮像を行うことのできる動画制御装置、動画記録装置、動画制御方法、動画記録方法、及び動画制御プログラムを提供する。
【課題を解決するための手段】
【0007】
本開示の技術に係る1つの実施形態の動画撮像装置は、撮像部から出力された画素データを一時的に記憶する記憶部と、上記記憶部に記憶された画素データにデモザイク処理を含む現像処理を行って得た動画データを出力する現像処理部と、上記動画データ及び上記記憶部に記憶された画素データのうち、上記動画データのみを記録データとする第一記録モードと、上記動画データ及び上記記憶部に記憶された画素データを記録データとする第二記録モードと、を切り替え、上記第一記録モードと上記第二記録モードとで上記撮像部が異なる露出値により撮像を行うよう制御するモード切替制御部と、を備えるものである。
【0008】
本開示の技術に係る1つの実施形態の動画記録装置は、上記動画制御装置と、上記現像処理部から出力された記録データを記録する記録部と、を備えるものである。
【0009】
本開示の技術に係る1つの実施形態の動画制御方法は、撮像部から出力された画素データを一時的に記憶する記憶部を備える動画制御装置の動画制御方法であって、上記記憶部に記憶された画素データにデモザイク処理を含む現像処理を行って得た動画データを出力し、上記動画データ及び上記記憶部に記憶された画素データのうち、上記動画データのみを記録データとする第一記録モードと、上記動画データ及び上記記憶部に記憶された画素データを記録データとする第二記録モードと、を切り替え、上記第一記録モードと上記第二記録モードとで上記撮像部が異なる露出値により撮像を行うよう制御する、ものである。
【0010】
本開示の技術に係る1つの実施形態の動画記録方法は、上記動画制御方法において、上記現像処理部から出力された記録データを記録する、ものである。
【0011】
本開示の技術に係る1つの実施形態の動画制御プログラムは、撮像部から出力された画素データを一時的に記憶する記憶部を備える動画制御装置の動画制御プログラムであって、上記動画制御装置のプロセッサに、上記記憶部に記憶された画素データにデモザイク処理を含む現像処理を行って得た動画データを出力し、上記動画データ及び上記記憶部に記憶された画素データのうち、上記動画データのみを記録データとする第一記録モードと、上記動画データ及び上記記憶部に記憶された画素データを記録データとする第二記録モードと、を切り替え、上記第一記録モードと上記第二記録モードとで上記撮像部が異なる露出値により撮像を行うよう制御する、処理を実行させるためのものである。
【発明の効果】
【0012】
本開示の技術に係る1つの実施形態によれば、デモザイク処理前の画素データの記録の有無に応じた適切な露出値により撮像を行うことのできる動画制御装置、動画記録装置、動画制御方法、動画記録方法、及び動画制御プログラムを提供することができる。
【図面の簡単な説明】
【0013】
図1】実施の形態1に係る撮像装置100の一例を示す図である。
図2】実施の形態1に係る撮像装置100による処理の一例を示すフローチャートである。
図3】BT.709のガンマ特性の一例を示す図である。
図4図3に示したガンマ特性31における被写体反射率とガンマ補正後の信号値との関係を示す図である。
図5】実施の形態2に係る撮像装置100による処理の一例を示すフローチャートである。
図6】BT.709のガンマ特性より明るいガンマ特性の一例を示す図である。
図7図6に示したガンマ特性61における被写体反射率とガンマ補正後の信号値との関係を示す図である。
図8】BT.709のガンマ特性より明るいガンマ特性の他の一例を示す図である。
図9図8に示したガンマ特性81における被写体反射率とガンマ補正後の信号値との関係を示す図である。
図10】実施の形態3に係る撮像装置100による処理の一例を示すフローチャートである。
図11】実施の形態4に係る撮像装置100の一例を示す図である。
【発明を実施するための形態】
【0014】
以下、本発明の実施形態について図面を参照して説明する。
【0015】
(実施の形態1)
<実施の形態1に係る撮像装置100>
図1は、実施の形態1に係る撮像装置100の一例を示す図である。撮像装置100は、連続した撮像を行うことにより動画を生成可能な動画制御装置である。ただし、撮像装置100は、動画を生成する機能に加えて、静止画を生成する機能を有していてもよい。
【0016】
外部記録装置120は、撮像装置100の外部に設けられ、撮像装置100から出力される後述のRAW画素データ及び動画データを記録する。撮像装置100のデータ出力端子は、例えばHDMI(High-Definition Multimedia Interface:高精細度マルチメディアインタフェース)などの通信インタフェースを介して外部記録装置120の入力端子に接続される。なおHDMIは登録商標である。撮像装置100からのデータ出力はHDMIに限らず、無線通信(例えばUWB(Ultra Wide Band)や無線HDMI-SDI(High-Definition Multimedia Interface-Serial Digital Interface)を用いて出力してもよい。
【0017】
撮像装置100は、撮像部119と、撮像制御部104と、RAW補正部105と、一時記憶部106と、現像処理部107と、モニタ108と、出力制御部109と、外部出力I/F110と、を備える。
【0018】
撮像部119は、連続した撮像を行うことにより、動画の画像データを時間的に連続する複数のRAW画素データとして生成する。具体的には、撮像部119は、撮像レンズ系101と、撮像素子102と、ADC(Analog/Digital Converter)103と、を有する。ADC103は撮像素子102に内蔵されていてもよい。
【0019】
撮像レンズ系101は、被写体からの光を透過させて撮像素子102に像を結ぶためのレンズを含む。また、撮像レンズ系101は、絞り、ND(Neutral Density)フィルタ、フォーカスレンズ、ズームレンズ、シフトレンズなどを含んでもよい。これらの撮像レンズ系101の可動部は撮像制御部104によって制御される。
【0020】
撮像素子102は、撮像レンズ系101による光学像をアナログ画像信号に変換し、変換したアナログ画像信号をADC103に出力する。撮像素子102は、例えばCMOS(Complementary Metal-Oxide-Semiconductor)型イメージセンサやCCD(Charge-Coupled Device)型イメージセンサなどの撮像素子により構成される。
【0021】
また、撮像素子102は、露光時間を調整するためのシャッタである電子シャッタを備えている。撮像素子102による撮像は撮像制御部104によって制御される。例えば、撮像素子102は、動画撮像時に、撮像制御部104からの制御によって、撮像を時間的に連続して行い、それによって得られたアナログ画像信号を順次、ADC103へ出力する。
【0022】
ADC103は、撮像素子102からのアナログ画像信号をデジタルのRAW画素データに変換し、変換したRAW画素データをRAW補正部105へ出力する。ADC103から連続して出力されるRAW画素データは、デモザイク処理前の画素データである。
【0023】
撮像制御部104は、撮像レンズ系101及び撮像素子102を制御することにより、撮像部119による撮像を制御する。例えば、撮像制御部104は、ユーザからの指示に応じて、撮像部119による撮像の焦点や露出等の制御を行う。また、撮像制御部104は、後述の現像処理部107によって得られたデモザイク画像に基づいて、撮像部119による撮像の露出等の制御を自動的に行ってもよい。
【0024】
また、撮像制御部104は、撮像レンズ系101及び撮像素子102による撮像の条件を示すメタデータを生成し、生成したメタデータを一時記憶部106へ出力する。一時記憶部106は基本的にメモリ(種類は問わない)で構成される。メタデータは、RAW画素データに基づいてデモザイク画像を生成する現像処理を行う際に用いられる。例えば、メタデータには、黒オフセットレベル、RAW数値を表色系に変換する係数、ホワイトバランスパラメータ、レンズ補正パラメータ、色変換パラメータ、ガンマ補正パラメータ、ノイズ補正パラメータ、タイムコード、撮像日時、製品名などがある。
【0025】
RAW補正部105は、ADC103から出力されたRAW画素データに対する補正を行う。RAW補正部105が行う補正は、デモザイク処理前のRAW画素データに対して行う補正であり、例えば、撮像素子102の特性等に応じた、画素値補正、欠陥画素補正、シェーディング補正などである。RAW補正部105は、補正を行ったRAW画素データを一時記憶部106へ出力する。
【0026】
一時記憶部106は、RAW補正部105から出力されたRAW画素データと、撮像制御部104から出力されたメタデータと、を一時的に記憶する。例えば、一時記憶部106は、RAM(Random Access Memory)などのメモリによって実現される。また、一時記憶部106は、複数のメモリによって実現されてもよい。例えば、一時記憶部106は、RAW画素データを記憶するメモリと、メタデータを記憶するメモリと、により実現されてもよい。
【0027】
現像処理部107は、一時記憶部106によって記憶されたRAW画素データ及びメタデータに基づいて、デモザイク処理を含む現像処理を行うことによりデモザイク動画像を生成し、生成したデモザイク動画像をモニタ108へ出力する。欠陥画素補正やシェーディング補正などを行ったRAW画素データにおいて、各画素ひとつひとつは、R,G,Bの各色のいずれか一色のみである。そこで、周辺の画素から、他の2色を補完し、各画素が3色のデータを持つようにする。例えば、R色しか持たない画素なら、GとBのデータが存在しないので、周辺のG画素のデータから補完あるいは周辺のG画素から予測して、その画素のG色のデータとする。これにより、全画素それぞれがR,G,Bの3色を持つ。これをデモザイク処理という。
【0028】
また、現像処理部107は、デモザイク処理によって生成した画像データに対して各種の画像処理を行うことにより動画データを生成し、生成した動画データをモニタ108へ出力する。現像処理部107がデモザイク処理後に行う画像処理は、例えば、ゲイン補正、ガンマ補正、周辺光量落ち補正、色補正、輪郭強調、ノイズリダクション、輪郭強調、ディベイヤ処理、圧縮などの処理である。
【0029】
一例としては、現像処理部107は、画像データに対して各種の画像処理を行うことにより、BT.709に対応した動画データを生成する。BT.709は、一般的なテレビジョンやモニタで採用されている映像規格である。この場合、現像処理部107は、画像処理の1つとして、BT.709に対応したガンマ特性に基づくガンマ補正を行う。
【0030】
モニタ108は、現像処理部107から出力された動画データに基づく動画をユーザに表示する。これにより、ユーザは、動画撮像中に、撮像中の動画をライブ画像として確認することができる。
【0031】
出力制御部109は、現像処理部107によって補正されたデモザイク処理後の動画データと、一時記憶部106に記憶されたデモザイク処理前のRAW画素データと、の出力を制御する。また、出力制御部109は、第一記録モードと第二記録モードとを切り替える、本開示の技術に係る1つの実施形態のモード切替制御部を構成する。
【0032】
第一記録モードは、動画データ及びRAW画素データのうち動画データのみを記録データ(記録対象のデータ)とするモードである。第二記録モードは、動画データ及びRAW画素データを記録データとするモードである。記録データとは、後述の記録媒体123への記録対象のデータである。例えば、出力制御部109は、第一記録モードと第二記録モードとの切り替えを、ユーザからの指示に基づいて行ってもよいし、後述の記録媒体123の空き容量などの各種のデータに基づいて自動的に行ってもよい。
【0033】
第一記録モードにおいて、出力制御部109は、現像処理部107によって補正されたデモザイク処理後の動画データを、外部出力I/F110から外部記録装置120へ出力させる。また、第一記録モードにおいて、出力制御部109は、一時記憶部106に記憶されたRAW画素データについては外部記録装置120へ出力させない。
【0034】
第二記録モードにおいて、出力制御部109は、現像処理部107によって補正されたデモザイク処理後の動画データと、一時記憶部106に記憶されたデモザイク処理前のRAW画素データと、を外部出力I/F110から外部記録装置120へ出力させる。また、出力制御部109は、外部出力I/F110からRAW画素データを出力させる際に、一時記憶部106に記憶されたメタデータをRAW画素データに付加する。
【0035】
また、出力制御部109は、第一記録モードと第二記録モードとで、撮像部119が異なる露出値により撮像を行うよう制御する。具体的には、出力制御部109は、第一記録モードにおける撮像の露出値よりも、第二記録モードにおける撮像の露出値が低くなるように、撮像制御部104を介して撮像部119を制御する、露出値の制御は、例えば、絞り値(F値)、露光時間(シャッター速度)、及びISO(International Organization for Standardization)感度の少なくともいずれかを調整することにより行うことができる。
【0036】
一例としては、出力制御部109は、第一記録モードにおいては第一露出値によって撮像を行うように撮像部119を制御する。第一露出値は、例えばBT.709の動画データを生成する際に適正な明るさの動画データが得られる露出値である。
【0037】
また、出力制御部109は、第二記録モードにおいては、第一露出値よりも低い(暗い)第二露出値によって撮像を行うように撮像部119を制御する。第二露出値は、例えば、第二記録モードにおいて行われる後述のゲイン補正による明るさの増加分、第一露出値よりも低い露出値である。
【0038】
また、出力制御部109は、第一記録モードと第二記録モードとで、現像処理部107が行う現像処理が異なるよう制御する。例えば、出力制御部109は、第一記録モードと第二記録モードとで、現像処理部107が行う、明るさに関する画像処理が異なるよう制御する。
【0039】
現像処理部107が明るさに関する画像処理は、例えば、ガンマ補正、ゲイン補正、LUT処理、又はこれらのうち複数の処理の組み合わせである。LUT処理は、RGB三原色を入力値として、入力値ごとに予め定められた出力値に変換する処理である。例えば、輝度Yを入出力とするLUTや、RGBを入出力とする3D LUTがある。また、この明るさに関する画像処理は、現像処理部107が行う現像処理のうち、デモザイク処理の前に行われる処理であってもよいし、デモザイク処理の後に行われる処理であってもよい。
【0040】
出力制御部109は、第一記録モードにおいて現像処理部107が行う明るさに関する画像処理による動画データの明るさの増加量よりも、第二記録モードにおいて現像処理部107が行う明るさに関する画像処理による動画データの明るさの増加量の方が多くなるよう制御する。
【0041】
明るさの増加量が多いとは、例えばすべての入力値に対する出力値の増加量が多いことである。ただし、明るさの増加量が多いとは、例えば入力値に対する出力値の平均的な増加量が多いことであってもよく、一部の入力値に対する出力値が少なくてもよい。
【0042】
例えば、出力制御部109は、第一記録モード及び第二記録モードのいずれにおいても、BT.709に対応するガンマ特性を用いた同一のガンマ補正を現像処理部107に実行させる。また、出力制御部109は、第二記録モードにおいては明るさを増加させるゲイン補正を現像処理部107にさらに実行させ、第一記録モードにおいてはこのゲイン補正を現像処理部107に実行させない。これにより、第一記録モードのときよりも第二記録モードのときの方が、ゲイン補正の分、動画データの明るさの増加量が多くなる。
【0043】
例えば、このゲイン補正は、第二記録モードにおいて、第一露出値より低い第二露出値の撮像により得られたRAW画素データに基づいて、適正な明るさのBT.709の動画データが得られるようにするゲイン補正である。
【0044】
外部出力I/F110は、外部記録装置120との間で通信を行うための通信インタフェースである。一例としては、外部出力I/F110は、HDMIによる通信を行う。外部出力I/F110は、出力制御部109からの制御に従って、RAW画素データ及び動画データを外部記録装置120へ出力する。
【0045】
なお、撮像装置100は、現像処理部107により得られた動画データなどを記憶する内部メモリを備えてもよい。また、撮像装置100は、ユーザからの種々の指示を受け付けたり、ユーザに対して各種のデータを出力したりするユーザインタフェースを備えてもよい。
【0046】
また、撮像装置100は、周辺の音響を電気信号に変換するマイクロフォンを備えてもよい。この場合、マイクロフォンによって得られた電気信号は、デジタルの音響データに変換され、RAW画素データ及び動画データとともに外部出力I/F110から外部記録装置120へ出力され、外部記録装置120によって記録されてもよい。
【0047】
外部記録装置120は、外部入力I/F121と、記録制御部122と、記録媒体123と、を備える。外部入力I/F121は、撮像装置100の外部出力I/F110から出力されるRAW画素データ及び動画データを取り込み、取り込んだRAW画素データ及び動画データを記録制御部122へ出力する。
【0048】
記録制御部122は、外部入力I/F121から出力されたRAW画素データ及び動画データを記録媒体123に記録する制御を行う。記録媒体123は、撮像装置100から連続して出力される大容量のRAW画素データ及び動画データをリアルタイムで記録できるように、高速に書き込みが可能な大容量の記録媒体である。例えば、記録媒体123はメモリカードやSSD(Solid State Drive)により実現することができる。
【0049】
第一記録モードにおいては、記録媒体123には、動画データが順次記録され、RAW画素データは記録されない。第二記録モードにおいては、記録媒体123に、動画データ及びRAW画素データが並行して記録される。例えば、第二記録モードにおいて、記録媒体123に、動画データ及びRAW画素データが同時に記録されてもよいし、動画データ及びRAW画素データが時間差を有して記録されてもよいし、動画データ及びRAW画素データが交互に記録されてもよい。
【0050】
また、図示を省略するが、外部記録装置120は、撮像装置100及び外部記録装置120と異なる外部のデータ処理装置(例えばパーソナルコンピュータ)に対して、記録媒体123に記憶されたRAW画素データ及び動画データを出力する外部出力I/Fを有する。これにより、データ処理装置において、記録媒体123に記憶されたRAW画素データ及び動画データの管理や、RAW画素データに基づく現像処理を行うことができる。
【0051】
又は、外部記録装置120は、現像処理を行うためのプロセッサ及びメモリを有するデータ処理装置(例えばパーソナルコンピュータ)であってもよい。この場合、外部記録装置120は、記録媒体123に記憶されたRAW画素データ及び動画データの管理や、RAW画素データに基づく現像処理を行うことができる。
【0052】
<撮像装置100のハードウェア構成>
撮像装置100における撮像制御部104、RAW補正部105、現像処理部107、及び出力制御部109は、撮像装置100のメモリと協調して動作するプロセッサによって実現される。
【0053】
このプロセッサは、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、FPGA(Field Programmable Gate Array)、PLD(Programmable Logic Device)、又はASIC(Application Specific Integrated Circuit)などのプロセッサである。このプロセッサは、メモリに記憶されたプログラムを読み出して実行することで、撮像装置100における上記の処理部として機能する。上記の各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。なお、このプロセッサは、同種又は異種の複数のプロセッサの組み合わせであってもよい。
【0054】
メモリは、RAM、ROM(Read Only Memory)、フラッシュメモリなどによって実現される。メモリは、プロセッサによって実行されるプログラム、又はプロセッサによって用いられるデータなどを記憶する。なお、このメモリは、同種又は異種の複数のメモリの組み合わせであってもよい。
【0055】
<実施の形態1に係る撮像装置100による処理>
図2は、実施の形態1に係る撮像装置100による処理の一例を示すフローチャートである。撮像装置100は、例えば、動画の撮像中に、撮像の1フレーム毎に図2に示す処理を実行する。図2に示す処理は、例えば出力制御部109によって実行される。
【0056】
まず、出力制御部109は、現在のモードが第一記録モードであるか否かを判断する(ステップS21)。第一記録モードである場合(ステップS21:Yes)は、出力制御部109は、撮像制御部104を介して撮像部119を制御することにより、BT.709に対応する上記の第一露出値で1フレーム分の撮像を行う(ステップS22)。
【0057】
次に、出力制御部109は、現像処理部107を制御することにより、ステップS22により得られたRAW画素データに基づいて、BT.709のガンマ特性を用いたガンマ補正を含む現像処理を行い、BT.709の動画データを生成する(ステップS23)。
【0058】
次に、出力制御部109は、ステップS23によって生成した動画データを記録し(ステップS24)、そのフレームに関する一連の処理を終了する。ステップS24において、出力制御部109は、動画データを外部出力I/F110から外部記録装置120に出力することにより、その動画データを外部記録装置120の記録媒体123に記録する。
【0059】
ステップS21において、第一記録モードでない場合(ステップS21:No)、すなわち第二記録モードである場合、出力制御部109は、撮像制御部104を介して撮像部119を制御することにより、第一露出値より低い第二露出値で1フレーム分の撮像を行う(ステップS25)。
【0060】
次に、出力制御部109は、ステップS25によって得られたRAW画素データを記録する(ステップS26)。ステップS26において、出力制御部109は、RAW画素データを外部出力I/F110から外部記録装置120に出力することにより、そのRAW画素データを外部記録装置120の記録媒体123に記録する。
【0061】
また、出力制御部109は、ステップS25によって得られたRAW画素データに、明るさを増加させるゲイン補正を行う(ステップS27)。次に、出力制御部109は、現像処理部107を制御することにより、ステップS27によってゲイン補正を行ったRAW画素データに基づいて、BT.709のガンマ特性を用いたガンマ補正を含む現像処理を行い、BT.709の動画データを生成する(ステップS28)。次に、出力制御部109は、ステップS24へ移行し、ステップS28によって生成した動画データを記録し、そのフレームに関する一連の処理を終了する。
【0062】
<BT.709のガンマ特性>
図3は、BT.709のガンマ特性の一例を示す図である。図3において、横軸はRAW画素データの信号値を示し、縦軸はBT.709のガンマ補正後の動画データの信号値を示す。ガンマ特性31は、BT.709のガンマ補正におけるガンマ特性である。図2に示したステップS23,S28の現像処理において、撮像装置100は、例えばガンマ特性31を用いたガンマ補正を行う。
【0063】
図4は、図3に示したガンマ特性31における被写体反射率とガンマ補正後の信号値との関係を示す図である。図4において、横軸は被写体反射率[%](すなわち撮像の被写体の明るさ)を示し、縦軸はBT.709のガンマ補正後の動画データの信号値を示す。
【0064】
信号値特性41は、BT.709に対応する上記の第一露出値で撮像を行った場合の、BT.709のガンマ補正後の動画データの信号値の特性である。信号値特性41は、例えば18%グレイの被写体反射率43における信号値が0.5付近になっており、適正な明るさの特性になっている。
【0065】
信号値特性42は、上記の第一露出値より低い第二露出値の撮像を行った場合の、BT.709のガンマ補正後の動画データの信号値の特性を参考として示している。信号値特性42は、撮像の露出値が低い分、信号値特性41に比べて暗い特性になっている。
【0066】
第一記録モードにおいては、第一露出値で撮像が行われるため、信号値特性41のような適正な明るさの動画データが得られる。
【0067】
第二記録モードにおいては、第一露出値より低い第二露出値で撮像が行われるが、ガンマ特性31に基づくガンマ補正とは別に、明るさを増加させるゲイン補正が行われるため、第一記録モードと同様に、適正な明るさの動画データが記録される。また、RAW画素データについては、信号値特性42のような広いダイナミックレンジのRAW画素データが記録される。これにより、記録媒体123に記憶された後の現像処理での加工の自由度が高くなる。
【0068】
このように、実施の形態1にかかる撮像装置100によれば動画データ及びRAW画素データのうち動画データのみを記録データとする第一記録モードと、動画データ及びRAW画素データを記録データとする第二記録モードと、で撮像部119が異なる露出値により撮像を行う。
【0069】
これにより、RAW画素データを記憶しない第一記録モードにおいては適正な第一露出値により撮像を行い、RAW画素データを記憶する第二記録モードにおいては、現像処理での加工の自由度が高いRAW画素データが得られる低めの第二露出値により撮像を行うことができる。このため、RAW画素データの記録の有無に応じた適切な露出値により撮像を行うことができる。
【0070】
ダイナミックレンジが広く加工の自由度が高いRAW画素データが得られることにより、後の現像処理によって、例えばHLG(Hybrid Log Gamma)のような広い明るさの範囲を表現可能な動画データを生成することが可能になる。
【0071】
また、撮像装置100は、第一記録モードと第二記録モードとで、デモザイク後の動画データを生成するための現像処理が異なるようにしてもよい。例えば、撮像装置100は、第一記録モードと第二記録モードとで、現像処理に含まれる明るさに関する画像処理が異なるようにする。
【0072】
これにより、第一記録モードにおける明るさに関する画像処理による動画データの明るさの増加量よりも、第二記録モードにおける明るさに関する画像処理による動画データの明るさの増加量が多くなるようにできるため、第二記録モードにおいて得られる動画データの明るさの低下を抑制することができる。すなわち、第二記録モードにおいて、現像処理での加工の自由度が高いRAW画素データを得つつ、動画データの明るさの低下を抑制することができる。
【0073】
なお、第二記録モードにおけるゲイン補正(例えば図2のステップS27)をデモザイク処理前のRAW画素データに対して行う構成について説明したが、撮像装置100は、第二記録モードにおけるゲイン補正をデモザイク処理後の画像データに対して行うようにしてもよい。
【0074】
(実施の形態2)
実施の形態2について、実施の形態1と異なる部分について説明する。
【0075】
<実施の形態2に係る撮像装置100による処理>
図5は、実施の形態2に係る撮像装置100による処理の一例を示すフローチャートである。実施の形態2に係る撮像装置100は、例えば、動画の撮像中に、撮像の1フレーム毎に図5に示す処理を実行する。図5に示す処理は、例えば出力制御部109によって実行される。
【0076】
図5に示すステップS51~S57は、図2に示したステップS21~S26,S28と同様である。ただしステップS57の現像処理において、出力制御部109は、ステップS55によって得られたRAW画素データに基づいて、BT.709のガンマ特性よりも明るいガンマ特性を用いたガンマ補正を行い、BT.709の動画データを生成する(ステップS57)。BT.709のガンマ特性よりも明るいガンマ特性とは、例えば、入力値に対する出力知の平均的な比が、BT.709のガンマ特性と比べて高いガンマ特性(例えば図6参照)である。
【0077】
すなわち、図5に示す処理では、RAW画素データにゲイン補正を行う処理(例えば図2のステップS27)を行う代わりに、第二記録モードの現像処理に用いるガンマ特性を、第一記録モードの現像処理に用いるガンマ特性より明るいものにする。
【0078】
<BT.709のガンマ特性より明るいガンマ特性>
図6は、BT.709のガンマ特性より明るいガンマ特性の一例を示す図である。図6において、図3に示した部分と同様の部分については同一の符号を付して説明を省略する。ガンマ特性61は、BT.709のガンマ特性31よりも明るいガンマ特性である。具体的には、ガンマ特性61は、ガンマ特性31を横軸方向に圧縮したものである。
【0079】
例えば、出力制御部109は、図5に示したステップS53の現像処理(すなわち第一記録モードの現像処理)の補正にはガンマ特性31を用い、図5に示したステップS57の現像処理(すなわち第二記録モードの現像処理)の補正にはガンマ特性61を用いる。
【0080】
図7は、図6に示したガンマ特性61における被写体反射率とガンマ補正後の信号値との関係を示す図である。図7において、図4に示した部分と同様の部分については同一の符号を付して説明を省略する。
【0081】
信号値特性71は、第一露出値より低い第二露出値の撮像を行い、ガンマ特性61を用いたガンマ補正後の動画データの信号値の特性である。信号値特性71は、BT.709に対応する上記の第一露出値で撮像を行った場合の信号値特性41と同様の特性になっている。したがって、実施の形態1と同様に、第二記録モードにおいても適正な明るさの動画データが記録される。
【0082】
図8は、BT.709のガンマ特性より明るいガンマ特性の他の一例を示す図である。図8において、図3に示した部分と同様の部分については同一の符号を付して説明を省略する。ガンマ特性81は、BT.709のガンマ特性31よりも明るいガンマ特性である。具体的には、ガンマ特性81は、ガンマ特性31と比べて、暗部の立ち上がりが急峻なガンマ特性である。
【0083】
例えば、出力制御部109は、図5に示したステップS53の現像処理(すなわち第一記録モードの現像処理)の補正にはガンマ特性31を用い、図5に示したステップS57の現像処理(すなわち第二記録モードの現像処理)の補正にはガンマ特性81を用いる。
【0084】
図9は、図8に示したガンマ特性81における被写体反射率とガンマ補正後の信号値との関係を示す図である。図9において、図4に示した部分と同様の部分については同一の符号を付して説明を省略する。
【0085】
信号値特性91は、上記の第一露出値より低い第二露出値の撮像を行い、ガンマ特性81を用いたガンマ補正後の動画データの信号値の特性である。信号値特性91は、BT.709に適した明るさを有しつつ、広いダイナミックレンジを有する。したがって、実施の形態1と同様に、第二記録モードにおいても適正な明るさの動画データが記録される。さらに、この動画データは、広いダイナミックレンジを有し、現像処理での加工の自由度が高い。
【0086】
このように、実施の形態2に係る撮像装置100によれば、第一記録モードと第二記録モードとで異なるガンマ補正を行うことにより、実施の形態1に係る撮像装置100と同様に、第二記録モードにおいて、現像処理での加工の自由度が高いRAW画素データを得つつ、動画データの明るさの低下を抑制することができる。
【0087】
(実施の形態3)
実施の形態3について、実施の形態1,2と異なる部分について説明する。
【0088】
<実施の形態3に係る撮像装置100による処理>
図10は、実施の形態3に係る撮像装置100による処理の一例を示すフローチャートである。実施の形態3に係る撮像装置100は、例えば、動画の撮像中に、撮像の1フレーム毎に図10に示す処理を実行する。図10に示す処理は、例えば出力制御部109によって実行される。
【0089】
図10に示すステップS101~S108は、図2に示したステップS21~S28と同様である。ただし、ステップS103,S108の現像処理において、出力制御部109は、ノイズリダクション及び輪郭強調の各処理を行う。
【0090】
また、出力制御部109は、ステップS108の現像処理においては、ステップS103の現像処理におけるノイズリダクションよりもノイズ低減の効果が強いノイズリダクションを行う。これにより、ステップS107のゲイン補正によって増幅されたノイズに対して適切なノイズリダクションを行うことができる。
【0091】
また、出力制御部109は、ステップS108の現像処理においては、ステップS103の現像処理における輪郭強調よりも輪郭の強調の効果が弱いノイズリダクションを行う。これにより、ステップS107のゲイン補正によってノイズが増幅された画像の画質が、輪郭強調によってさらに劣化することを抑制することができる。
【0092】
このように、実施の形態3にかかる撮像装置100は、第一記録モードと第二記録モードとで異なるノイズ処理を行う。これにより、第一記録モードに比べて多くなる第二記録モードでのノイズに対して適切なノイズリダクションを行うことができる。
【0093】
また、実施の形態3にかかる撮像装置100は、第一記録モードと第二記録モードとで異なる輪郭処理を行う。これにより、第一記録モードに比べてノイズが多くなる第二記録モードでの動画データにおける画質が輪郭強調によって劣化することを抑制することができる。
【0094】
(実施の形態4)
実施の形態4について、実施の形態1~3と異なる部分について説明する。
【0095】
<実施の形態4に係る撮像装置100>
図11は、実施の形態4に係る撮像装置100の一例を示す図である。図11において、図1に示した部分と同様の部分については同一の符号を付して説明を省略する。
【0096】
実施の形態4にかかる撮像装置100は、図1に示した外部出力I/F110に代えて、内部出力I/F124、内部入力I/F125、記録制御部122、及び記録媒体123を備える動画記録装置である。
【0097】
内部出力I/F124は、図1に示した外部出力I/F110と同様のHDMI等のインタフェースであるが、撮像装置100の内部の内部入力I/F125との間で通信を行う点で外部出力I/F110と異なる。内部入力I/F125は、図1に示した外部記録装置120の外部入力I/F121と同様のHDMI等のインタフェースであるが、撮像装置100の内部に設けられている点で外部入力I/F121と異なる。
【0098】
図11に示す記録制御部122及び記録媒体123は、図1に示した記録制御部122及び記録媒体123と同様の構成であるが、撮像装置100の内部に設けられている。すなわち、図11に示す撮像装置100は、高速で大容量の記録媒体123を内蔵しており、撮像装置100の内部のインタフェースを用いてRAW画素データ及び動画データを記録媒体123へ出力する。
【0099】
この場合、例えば図2に示したステップS24において、出力制御部109は、動画データを内部出力I/F124から内部入力I/F125に出力することにより、その動画データを撮像装置100の記録媒体123に記録する。また、図2に示したステップS26において、出力制御部109は、RAW画素データを内部出力I/F124から内部入力I/F125に出力することにより、そのRAW画素データを撮像装置100の記録媒体123に記録する。
【0100】
このように、撮像装置100がRAW画素データ及び動画データを記録する記録媒体123を内蔵する構成においても、実施の形態1に係る撮像装置100と同様の効果を得ることができる。
【0101】
(各実施の形態の組み合わせ)
上述した各実施の形態は、組み合わせて実現することも可能である。例えば、実施の形態2において、第一記録モードと第二記録モードとで異なるガンマ補正を行いつつ、実施の形態1のようなゲイン補正を行うようにしてもよい。また、実施の形態2において、実施の形態3のようなノイズ処理や輪郭処理を行うようにしてもよい。また、実施の形態4に係る撮像装置100の構成において、実施の形態2,3と同様の処理を実現することも可能である。
【0102】
(変形例)
動画データの映像規格としてBT.709を例に挙げて説明したが、動画データの映像規格は、BT.709に限らず各種の映像規格とすることができる。
【0103】
以上説明してきたように、本明細書には少なくとも以下の事項が記載されている。
【0104】
(1)
撮像部から出力された画素データを一時的に記憶する記憶部と、
上記記憶部に記憶された画素データにデモザイク処理を含む現像処理を行って得た動画データを出力する現像処理部と、
上記動画データ及び上記記憶部に記憶された画素データのうち、上記動画データのみを記録データとする第一記録モードと、上記動画データ及び上記記憶部に記憶された画素データを記録データとする第二記録モードと、を切り替え、上記第一記録モードと上記第二記録モードとで上記撮像部が異なる露出値により撮像を行うよう制御するモード切替制御部と、
を備える動画制御装置。
【0105】
(2)
(1)記載の動画制御装置であって、
上記モード切替制御部は、上記第一記録モードにおける上記撮像の露出値よりも、上記第二記録モードにおける上記撮像の露出値が低くなるよう制御する、
動画制御装置。
【0106】
(3)
(1)又は(2)記載の動画制御装置であって、
上記モード切替制御部は、上記第一記録モードと上記第二記録モードとで上記現像処理が異なるよう制御する、
動画制御装置。
【0107】
(4)
(3)記載の動画制御装置であって、
上記モード切替制御部は、上記第一記録モードと上記第二記録モードとで、上記現像処理に含まれる明るさに関する画像処理が異なるよう制御する、
動画制御装置。
【0108】
(5)
(4)記載の動画制御装置であって、
上記モード切替制御部は、上記第一記録モードにおける上記明るさに関する画像処理による上記動画データの明るさの増加量よりも、上記第二記録モードにおける上記明るさに関する画像処理による上記動画データの明るさの増加量が多くなるよう制御する、
動画制御装置。
【0109】
(6)
(4)又は(5)記載の動画制御装置であって、
上記明るさに関する画像処理は、ガンマ補正を含む、
動画制御装置。
【0110】
(7)
(4)から(6)のいずれか1つに記載の動画制御装置であって、
上記明るさに関する画像処理は、ゲイン補正を含む、
動画制御装置。
【0111】
(8)
(4)から(7)のいずれか1つに記載の動画制御装置であって、
上記明るさに関する画像処理は、LUT処理を含む、
動画制御装置。
【0112】
(9)
(1)から(8)のいずれか1つに記載の動画制御装置であって、
上記モード切替制御部は、上記第一記録モードと上記第二記録モードとで、上記現像処理部が上記画素データに異なるノイズ処理を行うよう制御する、
動画制御装置。
【0113】
(10)
(1)から(9)のいずれか1つに記載の動画制御装置であって、
上記モード切替制御部は、上記第一記録モードと上記第二記録モードとで、上記現像処理部が上記画素データに異なる輪郭処理を行うよう制御する、
動画制御装置。
【0114】
(11)
(1)から(10)のいずれか1つに記載の動画制御装置であって、
上記記録データを出力する出力部
を備える動画制御装置。
【0115】
(12)
(1)から(10)のいずれか1つに記載の動画制御装置と、
上記記録データを記録する記録部と、
を備える動画記録装置。
【0116】
(13)
撮像部から出力された画素データを一時的に記憶する記憶部を備える動画制御装置の動画制御方法であって、
上記記憶部に記憶された画素データにデモザイク処理を含む現像処理を行って得た動画データを出力し、
上記動画データ及び上記記憶部に記憶された画素データのうち、上記動画データのみを記録データとする第一記録モードと、上記動画データ及び上記記憶部に記憶された画素データを記録データとする第二記録モードと、を切り替え、上記第一記録モードと上記第二記録モードとで上記撮像部が異なる露出値により撮像を行うよう制御する、
動画制御方法。
【0117】
(14)
(13)記載の動画制御方法であって、
上記第一記録モードにおける上記撮像の露出値よりも、上記第二記録モードにおける上記撮像の露出値が低くなるよう制御する、
動画制御方法。
【0118】
(15)
(13)又は(14)記載の動画制御方法であって、
上記第一記録モードと上記第二記録モードとで、上記現像処理が異なるよう制御する、
動画制御方法。
【0119】
(16)
(15)記載の動画制御方法であって、
上記第一記録モードと上記第二記録モードとで、上記現像処理のうち、明るさに関する画像処理が異なるよう制御する、
動画制御方法。
【0120】
(17)
(16)記載の動画制御方法であって、
上記第一記録モードにおける上記明るさに関する画像処理による上記動画データの明るさの増加量よりも、上記第二記録モードにおける上記明るさに関する画像処理による上記動画データの明るさの増加量が多くなるよう制御する、
動画制御方法。
【0121】
(18)
(16)又は(17)記載の動画制御方法であって、
上記明るさに関する画像処理は、ガンマ補正を含む、
動画制御方法。
【0122】
(19)
(16)から(18)のいずれか1つに記載の動画制御方法であって、
上記明るさに関する画像処理は、ゲイン補正を含む、
動画制御方法。
【0123】
(20)
(16)から(19)のいずれか1つに記載の動画制御方法であって、
上記明るさに関する画像処理は、LUT処理を含む、
動画制御方法。
【0124】
(21)
(13)から(20)のいずれか1つに記載の動画制御方法であって、
上記第一記録モードと上記第二記録モードとで、上記現像処理に含まれるノイズ処理が異なる、
動画制御方法。
【0125】
(22)
(13)から(21)のいずれか1つに記載の動画制御方法であって、
上記第一記録モードと上記第二記録モードとで、上記現像処理に含まれる輪郭処理が異なる、
動画制御方法。
【0126】
(23)
(13)から(22)のいずれか1つに記載の動画制御方法であって、
上記記録データを出力する出力部と、
を含む動画制御方法。
【0127】
(24)
(13)から(22)のいずれか1つに記載の動画制御方法において、
上記記録データを記録する、
を含む動画記録方法。
【0128】
(25)
撮像部から出力された画素データを一時的に記憶する記憶部を備える動画制御装置の動画制御プログラムであって、
上記動画制御装置のプロセッサに、
上記記憶部に記憶された画素データにデモザイク処理を含む現像処理を行って得た動画データを出力し、
上記動画データ及び上記記憶部に記憶された画素データのうち、上記動画データのみを記録データとする第一記録モードと、上記動画データ及び上記記憶部に記憶された画素データを記録データとする第二記録モードと、を切り替え、上記第一記録モードと上記第二記録モードとで上記撮像部が異なる露出値により撮像を行うよう制御する、
処理を実行させるための動画制御プログラム。
【符号の説明】
【0129】
31,61,81 ガンマ特性
41,42,71,91 信号値特性
43 被写体反射率
100 撮像装置
101 撮像レンズ系
102 撮像素子
103 ADC
104 撮像制御部
105 RAW補正部
106 一時記憶部
107 現像処理部
108 モニタ
109 出力制御部
110 外部出力I/F
119 撮像部
120 外部記録装置
121 外部入力I/F
122 記録制御部
123 記録媒体
124 内部出力I/F
125 内部入力I/F
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11