特表-17150237IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧
再表2017-150237表示制御装置、表示制御方法、及び、プログラム
<>
  • 再表WO2017150237-表示制御装置、表示制御方法、及び、プログラム 図000003
  • 再表WO2017150237-表示制御装置、表示制御方法、及び、プログラム 図000004
  • 再表WO2017150237-表示制御装置、表示制御方法、及び、プログラム 図000005
  • 再表WO2017150237-表示制御装置、表示制御方法、及び、プログラム 図000006
  • 再表WO2017150237-表示制御装置、表示制御方法、及び、プログラム 図000007
  • 再表WO2017150237-表示制御装置、表示制御方法、及び、プログラム 図000008
  • 再表WO2017150237-表示制御装置、表示制御方法、及び、プログラム 図000009
  • 再表WO2017150237-表示制御装置、表示制御方法、及び、プログラム 図000010
  • 再表WO2017150237-表示制御装置、表示制御方法、及び、プログラム 図000011
  • 再表WO2017150237-表示制御装置、表示制御方法、及び、プログラム 図000012
  • 再表WO2017150237-表示制御装置、表示制御方法、及び、プログラム 図000013
  • 再表WO2017150237-表示制御装置、表示制御方法、及び、プログラム 図000014
  • 再表WO2017150237-表示制御装置、表示制御方法、及び、プログラム 図000015
  • 再表WO2017150237-表示制御装置、表示制御方法、及び、プログラム 図000016
  • 再表WO2017150237-表示制御装置、表示制御方法、及び、プログラム 図000017
  • 再表WO2017150237-表示制御装置、表示制御方法、及び、プログラム 図000018
< >
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2017年9月8日
【発行日】2018年12月27日
(54)【発明の名称】表示制御装置、表示制御方法、及び、プログラム
(51)【国際特許分類】
   H04N 5/232 20060101AFI20181130BHJP
   G09G 5/00 20060101ALI20181130BHJP
   G09G 5/391 20060101ALI20181130BHJP
   G09G 5/36 20060101ALI20181130BHJP
【FI】
   H04N5/232 935
   H04N5/232 450
   G09G5/00 520V
   G09G5/00 530T
   G09G5/00 550B
   G09G5/00 510H
   G09G5/00 510M
   G09G5/00 550C
   G09G5/36 510M
   G09G5/36 510C
【審査請求】未請求
【予備審査請求】未請求
【全頁数】51
【出願番号】特願2018-503037(P2018-503037)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2017年2月20日
(31)【優先権主張番号】特願2016-41437(P2016-41437)
(32)【優先日】2016年3月3日
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DJ,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KH,KN,KP,KR,KW,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【識別番号】100082131
【弁理士】
【氏名又は名称】稲本 義雄
(72)【発明者】
【氏名】山本 耕司
【テーマコード(参考)】
5C122
5C182
【Fターム(参考)】
5C122DA03
5C122EA42
5C122FC07
5C122FH11
5C122FK24
5C122FK42
5C122HA13
5C122HA35
5C122HA75
5C122HB01
5C122HB02
5C122HB05
5C182AB22
5C182AC03
5C182AC43
5C182BA01
5C182BA03
5C182BA06
5C182BA14
5C182BA22
5C182BA35
5C182BA44
5C182BC03
5C182BC26
5C182BC43
5C182CC21
5C182CC24
5C182CC27
5C182DA25
5C182DA26
5C182DA54
5C182DA62
5C182DA65
(57)【要約】
本技術は、ユーザが、画像のフレームレートを、迅速に決定することができるようにする表示制御装置、表示制御方法、及び、プログラムに関する。
所定の状況変化に応じて、フレームレートが変更可能な画像を、フレームレートと異なる表示レートで表示装置に表示させる特殊再生が開始される。本技術は、例えば、フレームレートを変更して、画像を撮像することができるディジタルカメラ等に適用することができる。
【特許請求の範囲】
【請求項1】
所定の状況変化に応じて、フレームレートが変更可能な画像を、前記フレームレートと異なる表示レートで表示装置に表示させる特殊再生を開始する表示制御部を備える
表示制御装置。
【請求項2】
前記表示制御部は、前記所定の状況変化に応じて、所定の特殊再生期間だけ、前記特殊再生を行う
請求項1に記載の表示制御装置。
【請求項3】
前記表示制御部は、前記フレームレートの変更に応じて、所定の特殊再生期間だけ、前記特殊再生を行うことを、所定の特殊再生周期で繰り返す特殊プレビュー処理を行う
請求項2に記載の表示制御装置。
【請求項4】
前記所定の状況変化は、前記フレームレートの変更である
請求項1に記載の表示制御装置。
【請求項5】
ユーザの操作に応じて、前記特殊再生の対象となる前記画像の対象期間を設定する
請求項3に記載の表示制御装置。
【請求項6】
ユーザの操作に応じて、前記特殊再生期間及び前記特殊再生周期を設定する
請求項3に記載の表示制御装置。
【請求項7】
前記表示制御部は、前記特殊再生周期のうちの、前記特殊再生期間以外の期間を、通常再生期間として、前記通常再生期間に、前記フレームレートと前記表示レートとを同一にして、前記画像を前記表示装置に表示させる通常再生を行う
請求項3に記載の表示制御装置。
【請求項8】
前記表示制御部は、前記フレームレートが変更された場合、変更後の前記フレームレートの前記画像について、前記特殊プレビュー処理を開始する
請求項3に記載の表示制御装置。
【請求項9】
前記表示制御部は、前記フレームレートが変更された場合、変更時に行われている、前記フレームレートの変更前の前記画像についての前記特殊プレビュー処理の前記特殊再生周期の終了後に、前記フレームレートの変更後の前記画像についての前記特殊プレビュー処理を開始する
請求項3に記載の表示制御装置。
【請求項10】
前記フレームレートが前記表示レートより大に変更された場合、前記画像は、スロー再生され、
前記フレームレートが前記表示レートより小に変更された場合、前記画像は、早送り再生される
請求項4に記載の表示制御装置。
【請求項11】
前記所定の状況変化は、前記画像から検出される状況変化である
請求項1に記載の表示制御装置。
【請求項12】
前記所定の状況変化は、前記画像の撮像時に行われるセンシングにより得られるセンサ情報から検出される状況変化である
請求項1に記載の表示制御装置。
【請求項13】
前記表示制御部は、
所定の特殊再生期間だけ、前記特殊再生を行うことを、所定の特殊再生周期で繰り返す特殊プレビュー処理を行うとともに、
前記所定の状況変化に応じて、所定の特殊再生期間だけ、前記特殊再生を行う
請求項2に記載の表示制御装置。
【請求項14】
前記表示制御部は、
前記フレームレートの変更に応じて、前記特殊プレビュー処理を行い、
前記フレームレートの変更以外の前記所定の状況変化に応じて、所定の特殊再生期間だけ、前記特殊再生を行う
請求項13に記載の表示制御装置。
【請求項15】
前記表示制御部は、前記フレームレートの変更以外の前記所定の状況変化が発生した場合、即座に、所定の特殊再生期間だけ、前記特殊再生を行う
請求項14に記載の表示制御装置。
【請求項16】
ユーザの操作に応じて、前記フレームレートの変更以外の前記所定の状況変化を設定する
請求項14に記載の表示制御装置。
【請求項17】
前記フレームレートの変更以外の前記所定の状況変化に応じた前記特殊再生と、
前記フレームレートの変更以外の前記所定の状況変化に応じた前記特殊再生、及び、前記フレームレートの変更に応じた前記特殊プレビュー処理の両方と
のうちのいずれを行うかを、ユーザの操作に応じて設定する
請求項14に記載の表示制御装置。
【請求項18】
所定の状況変化に応じて、フレームレートが変更可能な画像を、前記フレームレートと異なる表示レートで表示装置に表示させる特殊再生を開始する
ステップを含む表示制御方法。
【請求項19】
所定の状況変化に応じて、フレームレートが変更可能な画像を、前記フレームレートと異なる表示レートで表示装置に表示させる特殊再生を開始する表示制御部
として、コンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、表示制御装置、表示制御方法、及び、プログラムに関し、特に、例えば、ユーザが、画像のフレームレートを、迅速に決定することができるようにする表示制御装置、表示制御方法、及び、プログラムに関する。
【背景技術】
【0002】
例えば、(動)画像を、マルチウインドウに、異なるフレームレートで表示させるディジタルカメラが提案されている(例えば、特許文献1を参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2007-336522号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
近年、新たなディジタルカメラとして、フレームレートの変更が可能なイメージセンサを搭載したディジタルカメラが実現されつつある。かかるディジタルカメラでは、フレームレートを変更し、様々なフレームレートの画像を記録することができる。
【0005】
ところで、ユーザは、フレームレートの変更という技術に慣れておらず、例えば、1fps(Flame Per Second)等の、僅かなフレームレートの変更が画像に与える影響を直感的に認識することは難しい。
【0006】
すなわち、フレームレートの変更が可能なディジタルカメラにおいて、フレームレートを変更して、例えば、高速なフレームレートの画像(以下、高フレームレート画像ともいう)を撮像した場合、その高フレームレート画像は、動きが滑らかな画像やスローモーション画像として利用することができる。
【0007】
ディジタルカメラでは、いわゆるスルー画(ライブビュー画像)が表示されるが、スルー画では、高フレームレート画像について、スローモーション画像として利用した場合の印象を、ユーザが確認することは困難である。
【0008】
したがって、あるフレームレートの画像を記録する前に、そのフレームレートの画像が、どのような画像であるかを確認する、いわゆるプレビューの表示が要請される。
【0009】
すなわち、プレビューを行わない場合、例えば、高フレームレート画像を、スローモーション画像として利用した場合の印象は、例えば、高フレームレート画像の撮像(記録)後、その高フレームレート画像をスローモーション画像として特殊再生し、鑑賞してみて、初めて気がつくことになる。
【0010】
そして、ユーザが、高フレームレート画像の鑑賞後に、スローモーション画像として利用した場合の印象が気に入らなければ、ユーザは、フレームレートを変更して、高フレームレート画像を撮像し直す必要がある。
【0011】
したがって、ユーザは、最適なフレームレートを決定するために、フレームレートを変更して、高フレームレート画像を記録し直し、鑑賞することを繰り返さなければならないことがあり、面倒である。
【0012】
そこで、スローモーション画像のプレビューを表示すれば、ユーザは、プレビューを見て、高フレームレート画像をスローモーション画像として利用する場合の印象を確認し、所望のスローモーション画像となる画像のフレームレートを決定することができる。
【0013】
ところで、今後、フレームレートの変更が可能なディジタルカメラが普及するにつれて、ユーザが、所望するスローモーション画像となる画像のフレームレートを、より迅速に決定することができる方法の提案が要請されると予想される。
【0014】
本技術は、このような状況に鑑みてなされたものであり、例えば、ユーザが所望するスローモーション画像等となる画像のフレームレートを、迅速に決定することができるようにするものである。
【課題を解決するための手段】
【0015】
本技術の表示制御装置、又は、プログラムは、所定の状況変化に応じて、フレームレートが変更可能な画像を、前記フレームレートと異なる表示レートで表示装置に表示させる特殊再生を開始する表示制御部を備える表示制御装置、又は、そのような表示制御装置として、コンピュータを機能させるためのプログラムである。
【0016】
本技術の表示制御方法は、所定の状況変化に応じて、フレームレートが変更可能な画像を、前記フレームレートと異なる表示レートで表示装置に表示させる特殊再生を開始するステップを含む表示制御方法である。
【0017】
本技術の表示制御装置、表示制御方法、及び、プログラムにおいては、所定の状況変化に応じて、フレームレートが変更可能な画像を、前記フレームレートと異なる表示レートで表示装置に表示させる特殊再生が開始される。
【0018】
なお、表示制御装置は、独立した装置であっても良いし、1つの装置を構成している内部ブロックであっても良い。
【0019】
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【0020】
本技術によれば、例えば、ユーザが、画像のフレームレートを、迅速に決定することができる。
【0021】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【0022】
図1】本技術を適用したディジタルカメラの一実施の形態の構成例を示すブロック図である。
図2】撮像装置12が出力する第1及び第2の画像の例を示す図である。
図3】ディジタルカメラでのスルー画の表示例を示す図である。
図4】ディジタルカメラでのスルー画の他の表示例を示す図である。
図5】ディジタルカメラの処理の例を説明するフローチャートである。
図6】特殊プレビュー処理での第2の画像の撮像及び表示のタイミングの第1の例を説明するタイミングチャートである。
図7】特殊プレビュー処理での第2の画像の撮像及び表示のタイミングの第2の例を説明するタイミングチャートである。
図8】特殊プレビュー処理での第2の画像の撮像及び表示のタイミングの第3の例を説明するタイミングチャートである。
図9】ディジタルカメラの処理の他の例を説明するフローチャートである。
図10】ステップS34で行われるイベントモード処理の例を説明するフローチャートである。
図11】ステップS35で行われる等間隔モード処理の例を説明するフローチャートである。
図12】イベントモード処理での第2の画像の撮像及び表示のタイミングの第1の例を説明するタイミングチャートである。
図13】イベントモード処理での第2の画像の撮像及び表示のタイミングの第2の例を説明するタイミングチャートである。
図14】等間隔モード処理での第2の画像の撮像及び表示のタイミングの第1の例を説明するタイミングチャートである。
図15】等間隔モード処理での第2の画像の撮像及び表示のタイミングの第2の例を説明するタイミングチャートである。
図16】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【0023】
<本技術を適用したディジタルカメラの一実施の形態>
【0024】
図1は、本技術を適用したディジタルカメラの一実施の形態の構成例を示すブロック図である。
【0025】
なお、ディジタルカメラは、静止画、及び、動画のいずれも撮像することができる。
【0026】
図1において、ディジタルカメラは、光学系11、撮像装置12、ディジタル信号処理部13、表示装置14及び15、メモリ16、入力装置17、制御部18、センサ部19、並びに、ドライバIC(Integrated Circuit)20を有する。
【0027】
光学系11は、例えば、図示せぬズームレンズや、フォーカスレンズ、絞り等を有し、外部からの光を、撮像装置12に入射させる。
【0028】
撮像装置12は、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサで構成され、撮像を行う。すなわち、撮像装置12は、光学系11からの入射光を受光し、光電変換を行って、光学系11からの入射光に対応する電気信号としての画像(信号)を得る。そして、撮像装置12は、撮像により得られる画像を出力する。
【0029】
ここで、撮像装置12は、画像のフレームレートの変更が可能なイメージセンサで構成され、例えば、外部からの指示等に応じて、画像のフレームレートを、例えば、1fps(frame per second)等の単位でシームレスに変更することができる。
【0030】
なお、撮像装置12は、その他、例えば、マルチストリームを出力すること、すなわち、複数のフレームレートの画像のストリームを同時に出力することが可能なイメージセンサで構成し、撮像により得られる1又は複数の画像のストリームを出力させることができる。
【0031】
例えば、撮像装置12は、あらかじめ決められたデフォルトのフレームレート、及び、デフォルトのフレームレートよりも高速又は低速のフレームレート等の複数のフレームレートで撮像を行い、フレームレートが異なる複数の画像(のストリーム)を出力することができる。
【0032】
撮像装置12が、マルチストリームを出力するイメージセンサで構成される場合には、そのイメージセンサが出力可能な複数のフレームレートの画像のうちの、1以上の画像については、上述したように、フレームレートの変更が可能になっていることとする。
【0033】
以下では、撮像装置12は、デフォルトのフレームレート、及び、デフォルトのフレームレートとは異なるフレームレートで撮像を行い、その撮像により得られるデフォルトのフレームレートの第1の画像、及び、デフォルトのフレームレートとは異なるフレームレートの第2の画像を出力することが可能であることとする。
【0034】
さらに、撮像装置12は、少なくとも、第2の画像のフレームレートの変更が可能であることとする。
【0035】
なお、上述したように、撮像装置12は、画像のフレームレートの変更が可能なイメージセンサで構成すれば良く、マルチストリームの出力(ここでは、第1及び第2の画像の2ストリームの画像の出力)は、必須ではない。
【0036】
また、撮像装置12が、マルチストリームの出力が可能である場合には、第1及び第2の画像の2ストリームの他、フレームレートが異なる3ストリーム以上の画像を出力することができる。
【0037】
撮像装置12が出力する第1及び第2の画像は、ディジタル信号処理部13に供給される。なお、ディジタル信号処理部13には、撮像装置12が出力する第1及び第2の画像の他、例えば、サーバからダウンロードされた、異なるフレームレートの複数の画像や、記録媒体から再生された、異なるフレームレートの複数の画像を供給することができる。
【0038】
ディジタル信号処理部13は、撮像装置12からの第1及び第2の画像(のストリーム)に、必要な信号処理を施し、表示装置14や15、メモリ16に供給する。
【0039】
ディジタル信号処理部13は、現像処理部31及び32、画像解析部33、記録再生処理部34、並びに、表示制御部35を有する。
【0040】
現像処理部31には、撮像装置12からの第1の画像が供給される。現像処理部31は、撮像装置12からの第1の画像に現像処理を施し、現像処理後の第1の画像を出力する。現像処理部31が出力する現像処理後の第1の画像は、記録再生処理部34、及び、表示制御部35に供給される。
【0041】
ここで、現像処理には、いわゆるRAWデータの画像から、例えば、R(red),G(green)、及び、B(blue)の各色成分のデータを有する画像を生成する処理の他、ノイズ除去等の高画質化の処理を含めることができる。
【0042】
現像処理部32には、撮像装置12からの第2の画像が供給される。現像処理部32は、撮像装置12からの第2の画像に現像処理を施し、現像処理後の第2の画像を出力する。現像処理部32が出力する現像処理後の第2の画像は、記録再生処理部34、及び、表示制御部35に供給される。
【0043】
画像解析部33には、撮像装置12が出力する第1及び第2の画像が供給されるとともに、現像処理部31が出力する現像処理後の第1の画像、及び、現像処理部32が出力する現像処理後の第2の画像が供給される。
【0044】
画像解析部33は、撮像装置12からの第1及び第2の画像、又は、現像処理部31からの現像処理後の第1の画像、及び、現像処理部32からの現像処理後の第2の画像を、リアルタイムで解析する。さらに、画像解析部33は、第1及び第2の画像の解析により得られる解析結果に基づいて、第1及び第2の画像について、イベントポイントを検出する。画像解析部33は、イベントポイントを、記録再生処理部34に供給する。
【0045】
ここで、イベントポイントとは、シーンチェンジのフレームや、ハイライトシーンの(開始、終了)フレーム、所定の被写体が動き出したフレーム、第1及び第2の画像に映る人等の動物の表情が変化したフレーム等の、所定のイベントが発生したフレームを表す情報である。所定のイベントは、例えば、あらかじめ設定することができる。
【0046】
イベントポイントには、そのイベントポイントで発生したイベントの内容を、タグとして付すことができる。
【0047】
記録再生処理部34は、現像処理部31からの第1の画像、及び、現像処理部32からの第2の画像を対象として、記録(記憶)媒体に対する記録や再生を行う。すなわち、記録再生処理部34は、現像処理部31からの第1の画像、及び、現像処理部32からの第2の画像を、必要に応じて符号化し、メモリ16に記録する(記憶させる)。また、記録再生処理部34は、メモリ16から第1及び第2の画像を読み出し、必要に応じて復号することで、第1及び第2の画像を再生し、表示制御部35や図示せぬ外部出力端子に供給する。
【0048】
なお、記録再生処理部34は、第1及び第2の画像を、メモリ16に記録するときに、その第1及び第2の画像について、画像解析部33で検出されたイベントポイントも、メモリ16に記録することができる。メモリ16に記録されたイベントポイントは、例えば、メモリ16に記録された第1及び第2の画像を再生するときに、イベントポイントが表すフレームからの頭出し等に使用することができる。
【0049】
表示制御部35は、現像処理部31及び32から供給される第1及び第2の画像それぞれを、表示装置14や15に表示させる表示制御を行う。さらに、表示制御部35は、アイコン等の、第1及び第2の画像以外の画像を、表示装置14や15に表示させる表示制御を行う。
【0050】
表示装置14及び15は、例えば、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)等で構成され、表示制御部35の制御に従い、第1の画像や第2の画像、その他の画像を表示する。
【0051】
なお、表示装置14は、例えば、ディジタルカメラの背面に設けられた表示パネルを構成し、表示装置15は、例えば、ディジタルカメラのEVF(Electric Viewfinder)を構成する。
【0052】
メモリ16は、記録再生制御部34の制御に従い、第1及び第2の画像等のデータを記憶する。
【0053】
入力装置17は、ユーザが操作可能な操作手段である。入力装置17は、シャッタ(録画)ボタンやダイヤル等の機械的に操作可能な物理的な操作手段や、表示装置14に表示される、ボタンやスライドバー等としてのアイコン等の、仮想的な操作手段で構成することができる。表示装置14に表示されるアイコン等の仮想的な操作手段は、アイコン等が表示される表示装置14と一体的に構成されるタッチパネルで実現することができる。
【0054】
入力装置17は、ユーザの操作に応じた操作信号を、制御部18に供給する。
【0055】
制御部18は、例えば、マイクロコンピュータで構成され、ディジタルカメラを構成する各ブロックを制御する。
【0056】
すなわち、制御部18は、撮像装置12から得られる情報や、入力装置17からの操作信号、ディジタル信号処理部13から得られる情報、センサ部19が出力するセンサ情報、ドライバIC20から得られる情報等に応じて、撮像装置12や、ディジタル信号処理部13、入力装置17、センサ部19、ドライバIC20等を制御する。
【0057】
例えば、撮像装置12は、制御部18の制御に従い、第1の画像の撮像や、第2の画像の撮像、第2の画像のフレームレートの変更等を行う。
【0058】
センサ部19は、例えば、マイク等の音を検知するセンサや、加速度を検知するセンサ、時間を検知(計時)するセンサ、その他の任意の物理量を検知するセンサで構成することができる。センサ部19は、所定の物理量を検知し、その物理量を表すセンサ情報を出力する。センサ部19が出力するセンサ情報は、制御部18に供給される。
【0059】
ここで、制御部18は、センサ部19からのセンサ情報を、画像解析部33に供給することができる。画像解析部33は、制御部18を経由して供給されるセンサ情報をリアルタイムで解析し、その解析の結果に基づき、第1及び第2の画像について、イベントポイントを検出することができる。
【0060】
例えば、画像解析部33では、センサ部19からのセンサ情報としての音の検知結果に基づき、第1及び第2の画像について、大きな音が発生した(開始、終了)フレーム等を、イベントポイントとして検出することができる。また、例えば、画像解析部33では、センサ部19からのセンサ情報としての加速度の検知結果に基づき、第1及び第2の画像について、ディジタルカメラがパンされている(開始、終了)フレーム等を、イベントポイントとして検出することができる。さらに、例えば、画像解析部33では、センサ部19からのセンサ情報としての時間(の経過)の検知結果に基づき、第1及び第2の画像について、所定のタイミングから等間隔の時刻(周期的なタイミング)のフレーム等を、イベントポイントとして検出することができる。
【0061】
なお、イベントポイントは、その他、第1及び第2の画像の解析の結果と、センサ情報の解析の結果との両方に基づいて検出することができる。
【0062】
ドライバIC20は、制御部18の制御に従い、光学系11の絞りや、フォーカス、ズームを制御(駆動)する。
【0063】
以上のように構成されるディジタルカメラでは、撮像装置12が、光学系11からの入射光を受光し、その入射光に応じて、第1の画像や第2の画像を出力する。
【0064】
撮像装置12が出力する第1の画像や第2の画像は、ディジタル信号処理部13に供給される。
【0065】
ディジタル信号処理部13では、現像処理部31が、撮像装置12からの第1の画像に現像処理を施し、表示制御部35に供給する。また、現像処理部32が、撮像装置12からの第2の画像に現像処理を施し、表示制御部35に供給する。さらに、画像解析部33が、撮像装置12からの第1及び第2の画像を解析し、その解析の結果に基づいて、イベントポイントを検出する。なお、イベントポイントは、その他、センサ部19が出力するセンサ情報からも検出することができる。
【0066】
表示制御部35は、現像処理部31からの第1の画像や、現像処理部32からの第2の画像を、表示装置14及び15に表示させ、これにより、表示装置14及び15には、第1の画像や第2の画像が、スルー画として表示される。
【0067】
また、ディジタルカメラでは、ユーザが、入力装置17を構成する録画ボタンを操作した場合、ディジタル信号処理部13において、記録再生処理部34は、例えば、録画ボタンが再度操作されるまで、撮像装置12が出力する第1の画像や第2の画像(動画)を録画する(第1の画像や第2の画像をメモリ16に記録する)。
【0068】
第1及び第2の画像は、通常再生(1倍速再生)される画像として録画することもできるし、特殊再生(スロー再生、早送り再生)される画像として録画することもできる。また、第1及び第2の画像については、通常再生される画像と、特殊再生される画像との両方のストリームを録画することができる。
【0069】
なお、以下では、説明を簡単にするため、第1及び第2の画像が、表示装置14及び15のうちの、表示装置14に表示される場合に注目して、説明を行う。
【0070】
また、図1のディジタルカメラでは、上述したように、静止画、及び、動画のいずれをも撮像することができるが、以下では、特に断らない限り、第1及び第2の画像として、動画の撮像が行われることとする。
【0071】
<第1及び第2の画像の例>
【0072】
図2は、撮像装置12が出力する第1及び第2の画像の例を示す図である。
【0073】
撮像装置12は、異なるフレームレートで、同一の被写体の撮像を行うことで、フレームレートが異なり、同一被写体が映る第1及び第2の画像(のストリーム)を同時に出力することができる。
【0074】
第1の画像のフレームレートとしては、例えば、60fps等の、あらかじめ決められたデフォルトのフレームレートを採用することができる。
【0075】
第2の画像のフレームレートは、ユーザの指定に従って、任意のフレームレートXfpsに変更することができる。
【0076】
なお、図2では、デフォルトのフレームレートとして、60fpsを採用するが、デフォルトのフレームレートは、60fpsに限定されるものではない。
【0077】
また、第1の画像のフレームレートは、デフォルトのフレームレートに固定することもできるし、第2の画像フレームレートと同様に、ユーザの指定に従って変更可能なようにすることもできる。
【0078】
図2では、第2の画像のフレームレートXの方が、デフォルトのフレームレート(第1の画像のフレームレート)よりも高速になっている。
【0079】
ここで、撮像装置12で、1秒あたりに撮像されるフレーム数を撮像レートともいい、表示装置14で、1秒あたりに表示されるフレーム数を表示レートともいうこととする。
【0080】
第1の画像や第2の画像のフレームレートとは、フレームの間引きや補間がされない限り、撮像レートを意味する。
【0081】
また、画像を、その画像のフレームレート(撮像レート)と等しい表示レートで表示する場合には、画像は、リアルタイムで表示(リアルタイム再生)(1倍速再生)されるが、画像を、その画像のフレームレート未満の表示レートで表示する場合には、画像は、スローで表示(スロー再生)される。
【0082】
さらに、画像を、その画像のフレームレートより大の表示レートで表示する場合には、画像は、早送りで表示(早送り再生)される。
【0083】
以上のように、画像が、その画像のフレームレートと異なる表示レートで表示される場合には、画像の表示は、スロー再生や早送り再生といった特殊再生になる。
【0084】
ここで、画像のフレームレートと表示レートとを同一にして行われる画像のリアルタイムでの表示を、通常再生ともいう。また、画像を、その画像のフレームレートと異なる表示レートで表示することを、特殊再生ともいう。
【0085】
通常再生は、画像のフレームレートと表示レートとが最初から一致している場合の他、画像のフレームレートと表示レートとが最初から一致していなくても、例えば、画像のフレームの間引きや補間を行って、画像のフレームレートを表示レートに一致させることにより行うことができる。
【0086】
また、表示装置14の表示レートが可変である場合には、通常再生は、表示装置14の表示レートを、画像のフレームレートに一致させることにより行うことができる。
【0087】
なお、図1で説明したように、撮像装置12において、第1の画像の出力は必須ではなく、フレームレートの変更可能な第2の画像の出力を行うことができれば良い。
【0088】
また、図1のディジタルカメラでは、フレームレートが変更可能な第2の画像については、そのままのフレームレートで、メモリ16に記録することと、例えば、デフォルトのフレームレートを表示レートとして表示した場合に、通常再生が行われるように、フレーム数の間引き又は補間を行って、メモリ16に記録することとの両方を行うことができる。
【0089】
そのままのフレームレートでメモリ16に記録された第2の画像は、デフォルトのフレームレートを表示レートとして表示した場合に、特殊再生される。フレーム数の間引き又は補間を行ってメモリ16に記録された第2の画像は、デフォルトのフレームレートを表示レートとして表示した場合に、通常再生される。
【0090】
<ディジタルカメラでのスルー画像の表示>
【0091】
図3は、図1のディジタルカメラでのスルー画の表示例を示す図である。
【0092】
図3では、ディジタルカメラの背面に、表示パネルとしての表示装置14が設けられ、その表示パネルとしての表示装置14の右下側に、ダイヤル41が設けられている。さらに、ディジタルカメラの上面の右端に、シャッタ(録画)ボタン42が設けられている。
【0093】
ダイヤル41は、例えば、第2の画像のフレームレートを変更するときに回転操作される。シャッタボタン42は、動画の録画を開始するときや終了するとき、写真としての静止画を撮影(記録)するとき等に押圧操作される。
【0094】
ユーザが、ダイヤル41を回転操作すると、その回転操作を、第2の画像のフレームレートを変更する変更操作として、表示装置14に表示されている第2の画像のフレームレート(撮像レート)が変更される。
【0095】
すなわち、変更操作としてのダイヤル41の回転操作の回転方向及び回転量に応じて、撮像装置12で撮像されている第2の画像のフレームレートが、例えば、1fps単位等で連続的(シームレス)に増減される。
【0096】
図3では、撮像装置12において、フレームレートが60fpsの第1の画像と、フレームレートが240fpsの第2の画像との撮像が行われ、その第1及び第2の画像が出力されている。
【0097】
ディジタルカメラにおいて、第1及び第2の画像については、例えば、そのうちの一方の画像を、表示装置14に表示する表示対象として、その表示対象を、表示装置14の表示領域の所定の位置(図3では、表示領域の全体)に表示することができる。
【0098】
第1及び第2の画像のうちの一方の画像を表示対象として、表示装置14に表示する場合には、表示対象とする画像は、切り替えることができる。
【0099】
表示対象を切り替える切り替え操作には、例えば、ダイヤル41の押圧操作や、表示装置14の表示領域のタップ等を割り当てることができる。
【0100】
ユーザが、切り替え操作としての、例えば、ダイヤル41の押圧操作や、表示装置14の表示領域のタップを行うと、その切り替え操作が行われるごとに、表示制御部35において、表示対象が、第1及び第2の画像のうちの、いま表示装置14に表示されている方の画像から、他方の画像に切り替えられ、その切り替え後の表示対象が、表示装置14の表示領域の所定の位置に表示される。
【0101】
いま、ある画像が表示されていた位置と同一位置に、その画像に代えて、他の画像を表示することで、画像を切り替えることをフリップ切り替えということとすると、図3では、第1及び第2の画像を対象に、フリップ切り替えが行われる。
【0102】
フリップ切り替えでは、第1及び第2の画像それぞれに映る同一の被写体が同一の位置に映るので、フレームレートが異なる第1及び第2の画像の画質の相違、すなわち、例えば、60fpsの第1の画像に対して、240fpfの第2の画像のS/Nの悪さがどの程度であるかを、容易に把握することができる。
【0103】
ここで、フリップ切り替えで、第1及び第2の画像が表示される場合には、第1の画像については、通常再生が行われ、第2の画像については、特殊再生、又は、通常再生が行われる。
【0104】
例えば、表示装置14の表示レートが60fpsで固定である場合、60fpsの第1の画像は、そのまま表示装置14に表示することで、通常再生される。
【0105】
また、240fpsの第2の画像を、そのまま、表示レートが60fpsの表示装置14で表示した場合、第2の画像は、特殊再生としてのスロー再生される。
【0106】
さらに、240fpsの第2の画像は、フレーム数を1/4に間引いて、表示レートが60fpsの表示装置14で表示することにより、通常再生される。
【0107】
240fpsの第2の画像について、特殊再生、及び、通常再生のいずれを行うかは、例えば、ユーザによる入力装置17の操作に応じて設定することができる。
【0108】
なお、第1及び第2の画像については、そのうちの一方の画像を表示対象として表示する他、第1及び第2の画像の両方を表示対象として、第1及び第2の画像を重畳して表示することができる。
【0109】
第1及び第2の画像を重畳して表示する場合において、例えば、60fpsの第1の画像、及び、240fpsの第2の画像を、そのまま(間引きや補間を行わずに)、表示レートが60fpsの表示装置14で表示するときには、60fpsの第1の画像は通常再生され、240fpsの第2の画像は特殊再生としてのスロー再生される。
【0110】
また、例えば、60fpsの第1の画像を、そのまま、表示装置14で表示するとともに、240fpsの第2の画像を、1/4のフレーム数に間引いて、表示装置14で表示するときには、60fpsの第1の画像、及び、間引き後の第2の画像は、いずれも、通常再生される。
【0111】
なお、第2の画像のフレームレートを変更する変更操作としては、ダイヤル41の回転操作の他、例えば、任意の1回の操作を採用することができる。
【0112】
ここで、「1回の操作」とは、所定の操作を、他の操作を経由することなく、いわば直接的に行うことができる場合の、その所定の操作を意味する。
【0113】
例えば、所定の項目を選択する場合に、メニューを表示させる操作を行い、その操作によって表示されるメニューから所定の項目を選択する操作を行う必要があるときには、所定の項目を選択する操作は、「1回の操作」に該当しない。この場合、所定の項目を選択する操作を行うのに、メニューを表示させる操作を経由する必要があるからである。
【0114】
本実施の形態では、ダイヤル41は、ディジタルカメラの背面に露出しており、そのダイヤル41の回転操作を行うことで、第2の画像のフレームレートが変更されるので、ダイヤル41の回転操作は、1回の操作に該当する。
【0115】
以上のように、1回の操作であるダイヤル41の回転操作を、変更操作として採用することで、ユーザは、思い立ったときに、即座に、変更操作を行い、第2の画像のフレームレートを変更して、フレームレートの変更後の第2の画像の画質を確認することができる。
【0116】
なお、ダイヤル41は、ディジタルカメラの背面に露出しているので、例えば、ユーザが、撮影を行おうとして、ディジタルカメラを構えている場合には、その構えている状態から、ディジタルカメラの持ち方をほとんど替えることなく、変更操作としてのダイヤル41の回転操作を行うことができる。
【0117】
以上の点、表示対象を切り替える切り替え操作についても、同様である。
【0118】
すなわち、切り替え操作としては、ダイヤル41の押圧操作や、表示装置14の表示領域のタップの他、任意の1回の操作を採用することができる。
【0119】
1回の操作であるダイヤル41の押圧操作や、表示装置14の表示領域のタップを、切り替え操作として採用することで、ユーザは、思い立ったときに、即座に、切り替え操作を行い、表示装置14の表示を、第1及び第2の画像のうちの一方の画像から他方の画像に即座に切り替え、第1及び第2の画像の画質の差を確認することができる。
【0120】
なお、図3では、変更操作に応じて、表示装置14に表示対象として表示されている第2の画像のフレームレートを変更することとしたが、第1の画像が表示対象として表示装置14に表示されている場合には、例えば、表示対象である第1の画像のフレームレートを変更すること、又は、表示対象を第1の画像から、第1の画像と同一のフレームレートの第2の画像に変更し、変更後の表示対象である第2の画像のフレームレートを変更することができる。
【0121】
図4は、図1のディジタルカメラでのスルー画の他の表示例を示す図である。
【0122】
なお、図中、図3の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【0123】
図4では、表示装置14において、第1及び第2の画像が、横に並べて同時に表示される。
【0124】
以上のように、表示装置14において、第1及び第2の画像を並べて表示する場合には、第1及び第2の画像を同時に確認することができる。但し、表示装置14の表示領域を2つの小領域に分割する必要があるので、第1及び第2の画像を表示するときのサイズが小になる。
【0125】
<ディジタルカメラの処理の例>
【0126】
図5は、図1のディジタルカメラの処理の例を説明するフローチャートである。
【0127】
ステップS11において、ユーザが、電源をオンにするように、入力装置17を操作するのを待って、制御部18は、ディジタルカメラの電源をオン状態にし、処理は、ステップS12に進む。
【0128】
ステップS12では、制御部18は、第1の画像のフレームレート(撮像レート)をデフォルトのフレームレートに設定し、そのデフォルトのフレームレートの第1の画像を出力するように、撮像装置12を制御する。
【0129】
さらに、制御部18は、第2の画像のフレームレートを設定し、そのフレームレートの第2の画像を出力するように、撮像装置12を制御する。
【0130】
撮像装置12は、制御部18の制御に従ったフレームレートの第1及び第2の画像の出力を開始し、ディジタル信号処理部13は、その第1及び第2の画像の処理を開始する。
【0131】
ここで、電源がオンにされた直後の第2の画像のフレームレートとしては、例えば、第1の画像と同様に、デフォルトのフレームレートを採用することができる。また、例えば、前回、電源がオフにされる直前の第2の画像のフレームレートを記憶しておき、そのフレームレートを、電源がオンにされた直後の第2の画像のフレームレートとして採用することができる。
【0132】
なお、図1で説明したように、第1の画像は、必須ではない。また、以下では、説明を簡単にするため、少なくとも、フレームレートの変更が可能な第2の画像が、表示装置14に表示される表示対象になっていることとする。
【0133】
第1及び第2の画像の処理が開始されると、処理は、ステップS12からステップS13に進む。
【0134】
ステップS13では、ディジタル信号処理部13において、表示制御部35が、第2の画像の通常再生、すなわち、第2の画像のフレームレートと表示装置14の表示レートとを同一にして、第2の画像を、表示装置14に表示させる表示処理を開始する。
【0135】
その後、処理は、ステップS13からステップS14に進み、制御部18は、ユーザが、入力装置17の操作として、画像のフレームレート(撮像レート)を変更する変更操作を行ったかどうかを判定する。
【0136】
ステップS14において、変更操作が行われていないと判定された場合、処理は、ステップS15ないしS17をスキップして、ステップS18に進む。
【0137】
また、ステップS14において、変更操作が行われたと判定された場合、処理は、ステップS15に進む。
【0138】
ステップS15では、制御部18は、第2の画像のフレームレート(撮像レート)を、変更操作に従って設定(変更)し、その変更操作に従ったフレームレートの第2の画像を出力するように、撮像装置12を制御する。
【0139】
撮像装置12は、制御部18の制御に従って、変更操作に従ったフレームレートの第2の画像の出力を開始し、ディジタル信号処理部13は、その第2の画像の処理を開始する。
【0140】
以上のように、第2の画像の処理が開始されると、処理は、ステップS15からステップS16に進む。
【0141】
ステップS16では、ディジタル信号処理部13において、表示制御部35が、変更操作に従ったフレームレートの第2の画像の特殊再生と通常再生とを、所定の特殊再生周期で繰り返す特殊プレビュー処理を開始する。
【0142】
ここで、第2の画像の特殊再生では、例えば、デフォルトのフレームレートを表示レートとして、第2の画像が、そのままのフレームレート(撮像レート)で表示される。例えば、第2の画像のフレームレートが、240fpsであり、表示装置14の表示レートとなるデフォルトのフレームレートが、第2の画像のフレームレートよりも小さい60fpsである場合には、第2の画像は、スロー再生される。
【0143】
第2の画像の通常再生では、例えば、デフォルトのフレームレートを表示レートとして、第2の画像のフレームレートが表示レートと同一になるように、第2の画像のフレームを間引くか補間して、第2の画像が表示される。例えば、第2の画像のフレームレートが、240fpsであり、表示装置14の表示レートとなるデフォルトのフレームレートが、第2の画像のフレームレートよりも小さい60fpsである場合には、第2の画像は、フレーム数を1/4に間引いて表示される。
【0144】
ステップS16での特殊プレビュー処理の開始後、処理は、ステップS17に進み、制御部18は、ユーザが、入力装置17の操作として、ステップS16で開始された特殊プレビュー処理を停止する停止操作を行ったかどうかを判定する。
【0145】
ステップS17において、停止操作が行われたと判定された場合、特殊プレビュー処理が終了され、処理は、ステップS13に戻る。したがって、この場合、再び、第2の画像の通常再生(第2の画像のフレームレートと表示装置14の表示レートとを同一にして、第2の画像を、表示装置14に表示させる表示処理)が開始される。
【0146】
一方、ステップS17において、停止操作が行われていないと判定された場合、処理は、ステップS18に進み、制御部18は、ユーザが、入力装置17の操作として、ディジタルカメラでの撮影を終了する撮影終了操作を行ったかどうかを判定する。
【0147】
ステップS18において、撮影終了操作が行われていないと判定された場合、処理は、ステップS14に戻り、以下、同様の処理が繰り返される。
【0148】
また、ステップS18において、撮影終了操作が行われたと判定された場合、処理は、ステップS19に進む。
【0149】
ステップS19では、制御部18は、ディジタルカメラの電源をオフ状態にし、処理を終了する。
【0150】
以上のように、図5のフローチャートに従った処理によれば、第2の画像のフレームレートの変更操作が行われると、特殊プレビュー処理が開始され、第2の画像の特殊再生と通常再生とが、所定の特殊再生周期で繰り返される。
【0151】
すなわち、変更後のフレームレートの第2の画像の特殊再生としての、例えば、スロー再生が、周期的に繰り返される。
【0152】
したがって、第2の画像のフレームレートが変更されると、そのフレームレートの変更のタイミングを、特殊再生を確認するプレビューの表示の開始タイミングとして、第2の画像の特殊再生としてのスロー再生が、即座に開始される。
【0153】
そして、その後は、第2の画像の特殊再生としてのスロー再生が、周期的に繰り返される。
【0154】
その結果、ユーザは、変更操作により変更されたフレームレートの第2の画像が、所望するスローモーション画像であるかどうかを、変更操作の直後に確認し、所望するスローモーション画像となる第2の画像のフレームレートを、より迅速に決定することができる。
【0155】
以上のように、特殊再生を確認するプレビューの表示の開始タイミングを、フレームレートの変更のタイミング等の適切なタイミングとすることにより、ユーザが所望するスローモーション画像となる第2の画像のフレームレートを、より迅速に決定することができる。
【0156】
ここで、表示制御部35は、第2の画像のフレームレートの変更の他、所定の状況変化に応じて、フレームレートの変更が可能な第2の画像の特殊再生を開始することができる。
【0157】
様々な状況変化の中で、表示制御部35が第2の画像の特殊再生を開始するトリガとなる所定の状況変化を、以下、適宜、開始イベントともいう。第2の画像のフレームレートの変更は、開始イベントの一種である。
【0158】
<特殊プレビュー処理での第2の画像の撮像及び表示>
【0159】
図6は、特殊プレビュー処理での第2の画像の撮像及び表示のタイミングの第1の例を説明するタイミングチャートである。
【0160】
ここで、以下では、説明を簡単にするため、例えば、第2の画像のフレームレートは、表示レートよりも大であり、したがって、第2の画像の特殊再生としては、スロー再生が行われることとする。
【0161】
特殊プレビュー処理では、第2の画像の特殊再生が、周期的に繰り返されることで、その特殊再生される第2の画像を確認するプレビューの表示が、一定間隔で行われる。
【0162】
いま、1回の特殊再生が行われる期間を、特殊再生期間TSといい、特殊プレビュー処理において、その特殊再生期間TSの特殊再生が周期的に行われる周期を、特殊再生周期TCということとする。特殊再生周期TCには、特殊再生期間TS以上の時間が設定される。
【0163】
特殊プレビュー処理では、1周期の特殊再生周期TCの、特殊再生期間TS以外の期間が、通常再生期間TNに設定され、通常再生期間TNでは、第2の画像の通常再生が行われる。
【0164】
ここで、特殊再生期間TSでの特殊再生の対象となる第2の画像の期間を、対象期間TTということとする。
【0165】
第2の画像のフレームレートが、表示レートよりも大である場合、対象期間TTは、特殊再生期間TSよりも小になる。例えば、第2の画像のフレームレートが240fpsであり、表示レートが60fpsである場合には、対象期間TTは、特殊再生期間TSの1/4=60/240の時間になる。
【0166】
表示制御部35は、対象期間TTや、特殊再生期間TS、特殊再生周期TCを、例えば、ユーザによる入力装置17の操作に応じて設定することができる。ここで、特殊再生周期TCは、特殊再生期間TSと通常再生期間TNとの和であるので、特殊再生周期TCの設定は、特殊再生周期TC自体を設定することの他、特殊再生期間TS及び通常再生期間TNを設定することによっても行うことができる。
【0167】
なお、対象期間TT、及び、特殊再生期間TSについては、それらの対象期間TT、及び、特殊再生期間TSのうちの一方が決まれば、他方も、第2の画像のフレームレート及び表示レートに応じて決まる。
【0168】
いま、第2の画像フレームレートXと表示レートYとの比の値を、R=X/Yと表すこととする。
【0169】
特殊再生期間TSが設定された場合、対象期間TTは、特殊再生期間TSの1/R倍になる。例えば、特殊再生期間TSが4秒に設定された場合、対象期間TTは、4/R秒になる。
【0170】
また、対象期間TTが設定された場合、特殊再生期間TSは、対象期間TTのR倍になる。例えば、対象期間TTが1秒に設定された場合、特殊再生期間TSはR秒になる。より、具体的には、例えば、表示レートが60fpsであるとすると、対象期間TTが1秒に設定された場合、第2の画像のフレームレートが、240fps又は120fpsであるときには、特殊再生期間TSは、それぞれ4=240/60秒又は2=120/60秒になる。
【0171】
以下では、例えば、特殊再生周期TC及び対象期間TTが、ユーザの操作に応じて設定されていることとする。さらに、対象期間TTに応じて、特殊再生期間TS(=<TC)が決定され、特殊再生周期TCの特殊再生期間TS以外の期間(特殊再生周期TCの先頭から、特殊再生期間TSが経過した後の残りの期間)が、通常再生期間TNに決定されていることとする。
【0172】
この場合、ユーザの操作に応じて設定される対象期間TTは、一定の期間になるが、その対象期間TTに応じて決定される特殊再生機関TS、さらには、通常再生期間TNは、第2の画像のフレームレートによって変化する可変の期間になる。
【0173】
図6では、時刻t=t0において、ユーザが変更操作を行い、第2の画像のフレームレートが240fpsに変更(設定)されている。
【0174】
時刻t=t0では、第2の画像のフレームレートが240fpsに変更されたことに応じて、その240fpsのフレームレートの第2の画像の特殊再生(以下、240fps特殊再生ともいう)としてのスロー再生が開始されている。
【0175】
時刻t=t0から対象期間TTだけ経過した時刻は、時刻t=t1であり、時刻t=t0ないしt1の間に撮像された、フレームレートが240fpsの第2の画像が、時刻t=t0からの240fps特殊再生の対象となる。
【0176】
時刻t=t0から特殊再生期間TSだけ経過した時刻は、時刻t=t2であり、時刻t=t2において、時刻t=t0から開始された240fps特殊再生としてのスロー再生が終了する。その後は、通常再生期間TNとなる。
【0177】
時刻t=t2からの通常再生期間TNでは、その通常再生期間TNに撮像された、フレームレートが240fpsの第2の画像の通常再生(以下、240fps通常再生ともいう)が行われる。
【0178】
ここで、例えば、図4に示したように、表示装置14において、第1及び第2の画像が、横に並べて同時に表示される場合には、特殊再生期間TSでは、第1の画像がリアルタイムで表示されるとともに、第2の画像が、スローで表示される。そして、通常再生期間TNでは、第1及び第2の画像がリアルタイムで表示され、第1及び第2の画像として、同一のシーンが表示される。
【0179】
直前の240fps特殊再生が開始された時刻t=t0から、特殊再生周期TCが経過した時刻t=t3になると、時刻t=t2から開始された240fps通常再生が終了する。
【0180】
時刻t=t3は、新たな特殊再生周期TCの開始時刻であり、時刻t=t3から対象期間TTに撮像された第2の画像の240fps特殊再生としてのスロー再生が開始される。
【0181】
以下、同様に、フレームレートが240fpsに変更された第2の画像の240fps特殊再生と240fps特殊再生とが、例えば、第2の画像のフレームレートの変更が再度行われるまで、特殊再生周期TCで繰り返される。
【0182】
以上のように、第2の画像のフレームレートの変更後、即座に、その変更後のフレームレートで撮像された第2の画像の特殊再生が周期的に行われる。したがって、ユーザは、フレームレートが240fpsの第2の画像が、ユーザが所望するスローモーション画像となっているかどうかを、容易にイメージすることができ、第2の画像のフレームレートを、迅速に決定することができる。
【0183】
また、図6では、第2の画像の特殊再生と通常再生とが交互に行われるので、通常再生が行われている第2の画像とを比較しながら、特殊再生としてのスロー再生が行われている第2の画像を確認することができる。
【0184】
なお、上述したように、特殊再生周期TCには、特殊再生期間TS以上の時間が設定されるので、特殊再生周期TCと、特殊再生期間TSとは、同一の時間に設定することができる。特殊再生周期TCと、特殊再生期間TSとが、同一の時間である場合、通常再生期間TNは0になり、通常再生は行われない。
【0185】
通常再生期間TNが0である場合、通常再生が行われている第2の画像の確認は、第2の画像のフレームレートを、表示レートに一致するように変更することや、第1の画像のスルー画の表示を見ることによって、実質的に行うことができる。
【0186】
また、特殊再生周期TCや、特殊再生期間TS又は対象期間TTは、任意のタイミングで変更することができる。特殊再生周期TCや、特殊再生期間TS又は対象期間TTが変更された場合、即座に、変更後の特殊再生周期TCや、特殊再生期間TS又は対象期間TTが反映された特殊プレビュー処理を開始することができる。
【0187】
さらに、図5で説明したように、停止操作が行われ、特殊プレビュー処理が終了された場合(ステップS17)、ユーザは、入力装置17を操作することにより、特殊プレビュー処理を再開させることができる。
【0188】
図7は、特殊プレビュー処理での第2の画像の撮像及び表示のタイミングの第2の例を説明するタイミングチャートである。
【0189】
図7では、時刻t=t0において、ユーザが変更操作を行い、第2の画像のフレームレートが240fpsに変更され、そのフレームレートの変更に応じて、240fpsのフレームレートの第2の画像の240fps特殊再生としてのスロー再生が開始されている。
【0190】
時刻t=t0から開始された240fps特殊再生は、特殊再生期間TSが経過するまで行われ、時刻t=t0から特殊再生期間TSが経過した時刻t=t1で終了する。
【0191】
時刻t1からは、通常再生期間TNとなり、時刻t=t1からの通常再生期間TNでは、その通常再生期間TNに撮像された、フレームレートが240fpsの第2の画像の240fps通常再生が行われる。
【0192】
図7では、時刻t=t1から通常再生期間TNが経過する前の時刻t=t2において、ユーザが変更操作を行い、第2の画像のフレームレートが240fpsから960fpsに変更されている。
【0193】
時刻t=t2では、第2の画像のフレームレートが960fpsに変更されたことに応じて、それまで行われていた240fps通常再生が終了される。さらに、フレームレートの変更が行われた時刻t=t2を、特殊プレビュー処理の新たな開始時刻として、フレームレートが960fpsに変更された第2の画像の960fps特殊再生としてのスロー再生が開始されている。
【0194】
図7では、時刻t=t2から特殊再生期間TSが経過する前の時刻t=t3において、ユーザが変更操作を行い、第2の画像のフレームレートが960fpsから120fpsに変更されている。
【0195】
時刻t=t3では、第2の画像のフレームレートが120fpsに変更されたことに応じて、それまで行われていた960fps特殊再生が終了される。さらに、フレームレートの変更が行われた時刻t=t3を、特殊プレビュー処理の新たな開始時刻として、フレームレートが120fpsに変更された第2の画像の120fps特殊再生としてのスロー再生が開始されている。
【0196】
時刻t=t3から特殊再生期間TSだけ経過した時刻は、時刻t=t4であり、時刻t=t4において、時刻t=t3から開始された120fps特殊再生としてのスロー再生が終了し、その後は、通常再生期間TNとなる。
【0197】
時刻t=t4からの通常再生期間TNでは、その通常再生期間TNに撮像された、フレームレートが120fpsの第2の画像の120fps通常再生が行われる。
【0198】
直前の120fps特殊再生が開始された時刻t=t3から、特殊再生周期TCが経過した時刻t=t5になると、時刻t=t4から開始された120fps通常再生が終了する。
【0199】
時刻t=t5は、新たな特殊再生周期TCの開始時刻であり、時刻t=t5から対象期間TTに撮像された第2の画像の120fps特殊再生としてのスロー再生が開始される。
【0200】
その後、図7では、フレームレートが120fpsの第2の画像の120fps特殊再生が、特殊再生期間TSを経過する時刻t=t6まで行われ、時刻t=t6からは、フレームレートが120fpsの第2の画像の120fps通常再生が、通常再生期間TNを経過する時刻t=t7まで行われている。
【0201】
時刻t=t7は、新たな特殊再生周期TCの開始時刻であり、時刻t=t7から対象期間TTに撮像された第2の画像の120fps特殊再生としてのスロー再生が開始される。
【0202】
その後、図7では、フレームレートが120fpsの第2の画像の120fps特殊再生が、特殊再生期間TSを経過する時刻t=t8まで行われ、時刻t=t8からは、フレームレートが120fpsの第2の画像の120fps通常再生が開始されている。
【0203】
そして、図7では、時刻t=t8から通常再生期間TNが経過する前の時刻t=t9において、ユーザが変更操作を行い、第2の画像のフレームレートが120fpsから360fpsに変更されている。
【0204】
時刻t=t9では、第2の画像のフレームレートが360fpsに変更されたことに応じて、それまで行われていた120fps通常再生が終了される。さらに、フレームレートの変更が行われた時刻t=t9を、特殊プレビュー処理の新たな開始時刻として、フレームレートが360fpsに変更された第2の画像の360fps特殊再生としてのスロー再生が開始されている。
【0205】
その後、図7では、フレームレートが360fpsの第2の画像の360fps特殊再生が、特殊再生期間TSを経過する時刻t=t10まで行われ、時刻t=t10からは、フレームレートが360fpsの第2の画像の360fps通常再生が開始されている。
【0206】
以下、同様に、フレームレートが360fpsの第2の画像の360fps特殊再生と360fps特殊再生とが、例えば、第2の画像のフレームレートの変更が行われるまで、特殊再生周期TCで繰り返される。
【0207】
図7では、第2の画像のフレームレートが変更された場合、フレームレートが変更されたタイミングを、特殊プレビュー処理の新たな開始時刻として、即座に、変更後のフレームレートの第2の画像について、特殊プレビュー処理を開始することとした。
【0208】
しかしながら、第2の画像のフレームレートが変更された場合には、その変更時に行われている、フレームレートの変更前の第2の画像についての特殊プレビュー処理の特殊再生周期TCが終了してから、変更後のフレームレートの第2の画像について、特殊プレビュー処理を開始することができる。
【0209】
図8は、特殊プレビュー処理での第2の画像の撮像及び表示のタイミングの第3の例を説明するタイミングチャートである。
【0210】
図8では、第2の画像のフレームレートが変更された場合、その変更時に行われている、フレームレートの変更前の第2の画像についての特殊プレビュー処理の特殊再生周期TCが終了してから、変更後のフレームレートの第2の画像について、特殊プレビュー処理が開始される。
【0211】
すなわち、図8では、時刻t=t0において、ユーザが変更操作を行い、第2の画像のフレームレートが240fpsに変更され、そのフレームレートの変更に応じて、240fpsのフレームレートの第2の画像の240fps特殊再生としてのスロー再生が開始されている。
【0212】
時刻t=t0から開始された240fps特殊再生は、特殊再生期間TSが経過するまで行われ、時刻t=t0から特殊再生期間TSが経過した時刻t=t1で終了する。
【0213】
時刻t1からは、通常再生期間TNとなり、時刻t=t1からの通常再生期間TNでは、その通常再生期間TNに撮像された、フレームレートが240fpsの第2の画像の240fps通常再生が行われる。
【0214】
図8では、時刻t=t1から通常再生期間TNが経過する前の時刻t=t2において、ユーザが変更操作を行い、第2の画像のフレームレートが240fpsから960fpsに変更されている。
【0215】
ここで、図7では、第2の画像のフレームレートが変更された場合、即座に、即座に、変更後のフレームレートの第2の画像について、特殊プレビュー処理の特殊再生が開始される。
【0216】
一方、図8では、第2の画像のフレームレートが変更された場合、そのとき行われている第2の画像についての特殊プレビュー処理の特殊再生周期TCが終了してから、変更後のフレームレートの第2の画像について、特殊プレビュー処理が開始される。
【0217】
すなわち、図8では、時刻t=t1から通常再生期間TNが経過する前の時刻t=t2において、第2の画像のフレームレートが240fpsから960fpsに変更されているが、時刻t=t1からの通常再生期間TN(を含む特殊再生周期TC)が終了するまで、変更前のフレームレートである240fpsの第2の画像の240fps通常再生が続行される。
【0218】
時刻t=t1からの通常再生期間TNが終了する時刻t=t3では、変更前のフレームレートである240fpsの第2の画像の240fps通常再生が終了する。
【0219】
時刻t=t1からの通常再生期間TNが終了する時刻t=t3は、時刻t=t2での第2の画像のフレームレートの変更時に行われていた第2の画像についての特殊プレビュー処理の特殊再生周期TCが終了する時刻でもある。
【0220】
そのため、図8では、その時刻t=t3を、時刻t=t2でのフレームレートの変更後の第2の画像についての特殊プレビュー処理の新たな開始時刻として、フレームレートが960fpsに変更された第2の画像の960fps特殊再生としてのスロー再生が開始される。
【0221】
そして、フレームレートが960fpsの第2の画像の960fps特殊再生が、特殊再生期間TSを経過する時刻t=t4まで行われ、時刻t=t4からは、フレームレートが960fpsの第2の画像の960fps通常再生が開始される。
【0222】
なお、図7に示したように、フレームレートが変更された時刻を、特殊プレビュー処理の新たな開始時刻として、即座に、変更後のフレームレートの第2の画像について、特殊プレビュー処理を開始するか、又は、図8に示したように、フレームレートの変更時に行われている、フレームレートの変更前の第2の画像についての特殊プレビュー処理の特殊再生周期TCが終了してから、変更後のフレームレートの第2の画像について、特殊プレビュー処理を開始するかは、例えば、ユーザによる入力装置17の操作に応じて設定することができる。
【0223】
<ディジタルカメラの処理の他の例>
【0224】
図9は、図1のディジタルカメラの処理の他の例を説明するフローチャートである。
【0225】
ここで、図9では、ディジタルカメラの動作モードとして、イベントモード及び等間隔モードがあり、動作モードは、例えば、ユーザによる入力装置17の操作に応じて、イベントモード、又は、等間隔モードに設定することができる。
【0226】
イベントモードでは、開始イベントである所定の状況変化が発生した場合にのみ、第2の画像の特殊再生が、特殊再生期間TSだけ行われ、その後は、通常再生に戻る。
【0227】
等間隔モードでは、例えば、ディジタルカメラの電源がオンにされたことや、第2の画像のフレームレートの変更等をトリガとして、第2の画像の特殊再生が等間隔で(周期的に)行われる。すなわち、等間隔モードでは、例えば、ディジタルカメラの電源がオンにされたことや、第2の画像のフレームレートの変更等をトリガとして、例えば、第2の画像について、特殊プレビュー処理が開始される。
【0228】
さらに、等間隔モードでは、イベントモードと同様に、開始イベントである所定の状況変化が発生した場合に、第2の画像の特殊再生が、特殊再生期間TSだけ行われる。
【0229】
ここで、開始イベントとしては、第2の画像のフレームレートの変更の他、様々な状況変化を採用することができる。
【0230】
すなわち、開始イベントとしては、例えば、第2の画像から検出される所定の状況変化や、第2の画像の撮像時にセンサ部19で行われるセンシングにより得られるセンサ情報から検出される所定の状況変化等を採用することができる。
【0231】
図1で説明したように、ディジタルカメラでは、様々なイベントが発生したフレームを表すイベントポイントを検出し、そのイベントポイントには、イベントの内容を表すタグを付すことができる。
【0232】
したがって、第2の画像やセンサ情報から得られるイベントポイント及びタグによれば、様々な状況変化としてのイベントが発生(又は終了)したタイミングや、そのイベントの内容を認識することができる。
【0233】
そこで、表示制御部35では、第2の画像やセンサ情報から得られるイベントポイント及びタグから認識されるイベント(の内容)から、開始イベントが発生しているかどうかを判定し、開始イベントの発生に応じて、特殊再生期間TSだけの第2の画像の特殊再生を行うことができる。
【0234】
開始イベントの発生の判定の対象としては、第2の画像から得られるイベントだけや、センサ情報から得られるイベントだけを採用することができる。
【0235】
また、開始イベントの発生の判定の対象としては、第2の画像から得られるイベントと、センサ情報から得られるイベントとの両方を採用することができる。
【0236】
さらに、第2の画像及びセンサ情報の両方から、現在発生しているイベントを解析し、そのイベントを、開始イベントの発生の判定の対象とすることができる。
【0237】
また、開始イベントの発生の判定では、例えば、第2の画像やセンサ情報から得られるイベントが発生している程度(確率)を、イベント発生値として数値化し、そのイベント発生値を閾値処理することにより、開始イベントが発生しているかどうかを判定することができる。
【0238】
さらに、開始イベントとするイベント(所定の状況変化)は、ユーザによる入力装置17の操作に応じて設定することができる。
【0239】
開始イベントとするイベントの設定では、任意の抽象度の表現で、開始イベントとするイベントを設定することができる。
【0240】
すなわち、例えば、シーンチェンジのような、いわば抽象度の低い表現で、開始イベントとするイベントを設定することができる。また、例えば、顔が笑っている、物が動いている、風船が割れた、等のような、抽象度の高い表現で、開始イベントとするイベントを設定することができる。
【0241】
なお、開始イベントとするイベントの設定を、どの程度の抽象度の表現で行うかは、例えば、ユーザによる入力装置17の操作に応じて設定することができる。
【0242】
開始イベントとするイベントは、例えば、ユーザが自然言語で入力することができる。この場合、ディジタルカメラでは、ユーザが入力した自然言語が解析され、開始イベントとするイベントが認識される。
【0243】
また、開始イベントとするイベントについては、例えば、様々なイベントを表すイベント名のサンプルを、ディジタルカメラにあらかじめ登録しておき、そのサンプルの中から、ユーザが、開始イベントとするイベントを選択することができる。
【0244】
ここで、開始イベントのうちの、第2の画像のフレームレートの変更以外の開始イベント、すなわち、例えば、第2の画像やセンサ情報から検出される所定の状況変化を、特定開始イベントともいう。
【0245】
イベントモードでは、特定開始イベントが発生した場合に、第2の画像の特殊再生が、特殊再生期間TSだけ行われ、特定開始イベント以外の開始イベント、すなわち、第2の画像のフレームレートの変更が行われても、第2の画像の特殊再生は行われない。
【0246】
一方、等間隔モードでは、特定開始イベントが発生した場合、及び、特定開始イベント以外の開始イベントである第2の画像のフレームレートの変更が行われた場合のいずれの場合も、第2の画像の特殊再生が行われる。
【0247】
以下、図9を参照して、図1のディジタルカメラの処理の他の例を説明する。
【0248】
ステップS31及びS32では、図5のステップS11及びS12とそれぞれ同様の処理が行われる。
【0249】
すなわち、ステップS31において、ユーザが、電源をオンにするように、入力装置17を操作するのを待って、制御部18は、ディジタルカメラの電源をオン状態にし、処理は、ステップS32に進む。
【0250】
ステップS32では、制御部18は、第1の画像のフレームレートをデフォルトのフレームレートに設定し、そのデフォルトのフレームレートの第1の画像を出力するように、撮像装置12を制御する。
【0251】
さらに、制御部18は、第2の画像のフレームレートを設定し、そのフレームレートの第2の画像を出力するように、撮像装置12を制御する。
【0252】
撮像装置12は、制御部18の制御に従ったフレームレートの第1及び第2の画像の出力を開始し、ディジタル信号処理部13は、その第1及び第2の画像の処理を開始する。
【0253】
第1及び第2の画像の処理が開始されると、処理は、ステップS32からステップS33に進む。
【0254】
ステップS33では、表示制御部35は、動作モードがイベントモード及び等間隔モードのうちのいずれに設定されているかを判定する。
【0255】
ステップS33において、動作モードがイベントモードに設定されていると判定された場合、処理は、ステップS34に進み、図1のディジタルカメラは、後述するイベントモード処理を行って、処理は、ステップS36に進む。
【0256】
また、ステップS33において、動作モードが等間隔モードに設定されていると判定された場合、処理は、ステップS35に進み、図1のディジタルカメラは、後述する等間隔モード処理を行って、処理は、ステップS36に進む。
【0257】
ステップS36では、制御部18は、ディジタルカメラの電源をオフ状態にし、処理を終了する。
【0258】
図10は、図9のステップS34で行われるイベントモード処理の例を説明するフローチャートである。
【0259】
ここで、イベントモード及び等間隔モードのいずれの動作モードであっても、変更操作によって、第2の画像のフレームレートを変更することができる。但し、図9で説明したように、イベントモードでは、第2の画像のフレームレートが変更されても、その変更に応じて、第2の画像の特殊再生は行われない。
【0260】
イベントモード処理では、ステップS41において、表示制御部35が、第2の画像の通常再生、すなわち、第2の画像のフレームレートと表示装置14の表示レートとを同一にして、第2の画像を、表示装置14に表示させる表示処理を開始する。
【0261】
その後、処理は、ステップS41からステップS42に進み、制御部18は、ユーザが、入力装置17の操作として、ディジタルカメラでの撮影を終了する撮影終了操作を行ったかどうかを判定する。
【0262】
ステップS42において、撮影終了操作が行われたと判定された場合、イベントモード処理は終了され、処理はリターンする。
【0263】
また、ステップS42において、撮影終了操作が行われていないと判定された場合、処理は、ステップS43に進み、表示制御部35は、特定開始イベントが発生したかどうかを判定する。
【0264】
ステップS43において、特定開始イベントが発生していないと判定された場合、処理は、ステップS42に戻り、以下、同様の処理が繰り返される。
【0265】
また、ステップS43において、特定開始イベントが発生したと判定された場合、処理は、ステップS44に進み、表示制御部35は、第2の画像の、特殊再生期間TSの特殊再生としてのスロー再生を開始し、処理は、ステップS45に進む。
【0266】
ステップS45では、表示制御部35は、ステップS44で開始された第2の画像の、特殊再生期間TSの特殊再生が終了したかどうかを判定する。
【0267】
ステップS45において、第2の画像の、特殊再生期間TSの特殊再生が終了していないと判定された場合、処理は、ステップS45に戻る。
【0268】
また、ステップS45において、第2の画像の、特殊再生期間TSの特殊再生が終了したと判定された場合、処理は、ステップS41に戻り、表示制御部35は、上述したように、第2の画像の通常再生を開始し、以下、同様の処理が繰り返される。
【0269】
以上のように、イベントモード(処理)では、特定開始イベントが発生した場合にのみ、第2の画像の特殊再生が、特殊再生期間TSだけ行われ、その後は、通常再生に戻る。
【0270】
図11は、図9のステップS35で行われる等間隔モード処理の例を説明するフローチャートである。
【0271】
等間隔モード処理では、ステップS51及びS52において、図10のステップS41及びS42とそれぞれ同様の処理が行われる。
【0272】
すなわち、ステップS51において、表示制御部35が、第2の画像の通常再生を開始し、処理は、ステップS52に進む。
【0273】
ステップS52では、制御部18は、ユーザが、入力装置17の操作として、ディジタルカメラでの撮影を終了する撮影終了操作を行ったかどうかを判定する。
【0274】
ステップS52において、撮影終了操作が行われたと判定された場合、等間隔モード処理は終了され、処理はリターンする。
【0275】
また、ステップS52において、撮影終了操作が行われていないと判定された場合、処理は、ステップS53に進み、制御部18は、ユーザが、入力装置17の操作として、画像のフレームレート(撮像レート)を変更する変更操作を行ったかどうかを判定する。
【0276】
ステップS53において、変更操作が行われていないと判定された場合、処理は、ステップS54及びS55をスキップして、ステップS56に進む。
【0277】
また、ステップS53において、変更操作が行われたと判定された場合、処理は、ステップS54に進む。
【0278】
ステップS54では、制御部18は、第2の画像のフレームレートを、変更操作に従って設定(変更)し、その変更操作に従ったフレームレートの第2の画像を出力するように、撮像装置12を制御する。
【0279】
撮像装置12は、制御部18の制御に従って、変更操作に従ったフレームレートの第2の画像の出力を開始し、ディジタル信号処理部13は、その第2の画像の処理を開始する。
【0280】
以上のように、第2の画像の処理が開始されると、処理は、ステップS54からステップS55に進む。
【0281】
ステップS55では、ディジタル信号処理部13において、表示制御部35が、変更操作に従ったフレームレートの第2の画像の特殊再生と通常再生とを、所定の特殊再生周期で繰り返す特殊プレビュー処理を開始し、処理は、ステップS56に進む。
【0282】
ステップS56では、表示制御部35は、特定開始イベントが発生したかどうかを判定する。
【0283】
ステップS56において、特定開始イベントが発生していないと判定された場合、処理は、ステップS52に戻り、以下、同様の処理が繰り返される。
【0284】
また、ステップS56において、特定開始イベントが発生したと判定された場合、処理は、ステップS57に進む。
【0285】
ステップS57では、表示制御部35は、第2の画像の特殊プレビュー処理が行われている場合には、その特殊プレビュー処理を中断し、第2の画像の、特殊再生期間TSの特殊再生としてのスロー再生を開始して、処理は、ステップS58に進む。
【0286】
ステップS58では、表示制御部35は、ステップS57で開始された第2の画像の、特殊再生期間TSの特殊再生が終了したかどうかを判定する。
【0287】
ステップS58において、第2の画像の、特殊再生期間TSの特殊再生が終了していないと判定された場合、処理は、ステップS58に戻る。
【0288】
また、ステップS58において、第2の画像の、特殊再生期間TSの特殊再生が終了したと判定された場合、処理は、ステップS59に進み、表示制御部35は、中断した特殊プレビュー処理があるかどうかを判定する。
【0289】
ステップS59において、中断した特殊プレビュー処理がないと判定された場合、処理は、ステップS51に戻り、表示制御部35は、上述したように、第2の画像の通常再生を開始し、以下、同様の処理が繰り返される。
【0290】
また、ステップS60において、中断した特殊プレビュー処理があると判定された場合、すなわち、直前のステップS57での第2の画像の特殊再生の開始時に、特殊プレビュー処理が中断されている場合、処理は、ステップS60に進む。
【0291】
ステップS60では、表示制御部35は、中断した特殊プレビュー処理を再開し、処理は、ステップS52に戻り、以下、同様の処理が繰り返される。
【0292】
以上のように、等間隔モード(処理)では、第2のフレームレートが変更された場合、第2の画像の特殊再生と通常再生とを繰り返す特殊プレビュー処理が行われる。さらに、等間隔モードでは、特定開始イベントが発生した場合、第2の画像の特殊再生が、特殊再生期間TSだけ行われ、その後は、通常再生、又は、特殊プレビュー処理に戻る。
【0293】
なお、特定開始イベントとして、第2の画像やセンサ情報から検出されるイベント(所定の状況変化)を採用する場合には、ディジタルカメラにおいて、特殊再生期間TSは、ユーザの操作等に応じて設定する他、第2の画像やセンサ情報から検出されるイベントに応じて、ユーザが望むであろう期間等に設定することができる。
【0294】
例えば、人が動いているシーンが、開始イベントとして設定されている場合、人が動いているシーンの先頭のフレームから最後のフレームまでの期間を、特殊再生期間TSに設定することができる。
【0295】
また、特定開始イベントとして、第2の画像やセンサ情報から検出されるイベントを採用する場合には、ディジタルカメラにおいて、特殊再生の開始タイミングは、特定開始イベントが発生したタイミングとする他、第2の画像やセンサ情報から検出されるイベントに応じて、ユーザが望であろうタイミング等に設定することができる。
【0296】
例えば、人が動いているシーンが、開始イベントとして設定されている場合、人が動いているシーンの中で、人が所定の速さ以上で動いているシーンの先頭のタイミングを、特殊再生の開始タイミングに設定することができる。
【0297】
また、特定開始イベントとしては、第2の画像やセンサ情報から検出されるイベントの他、例えば、入力装置17の所定操作が行われたこと等を採用することができる。
【0298】
<イベントモード処理での第2の画像の撮像及び表示>
【0299】
図12は、イベントモード処理での第2の画像の撮像及び表示のタイミングの第1の例を説明するタイミングチャートである。
【0300】
図12では、時刻t=t0において、ユーザが変更操作を行い、第2の画像のフレームレートが240fpsに変更されている。
【0301】
イベントモード処理では、第2の画像のフレームレートの変更によっては、第2の画像の特殊再生は開始されず、通常再生が行われる。
【0302】
図12では、第2の画像のフレームレートが240fpsに変更された後の時刻t=t1において、特定開始イベントとしてのイベントi1が発生している。
【0303】
時刻t=t1では、特定開始イベントとしてのイベントi1の発生に応じて、240fpsのフレームレートの第2の画像の240fps特殊再生としてのスロー再生が開始される。
【0304】
時刻t=t1から開始された第2の画像の240fps特殊再生は、特殊再生期間TSだけ行われ、その特殊再生期間TSが経過した時刻t=t2で終了する。
【0305】
時刻t=t2からは、フレームレートが240fpsの第2の画像の240fps通常再生が行われる。
【0306】
図12では、その後の時刻t=t3において、特定開始イベントとしてのイベントi2が発生している。
【0307】
時刻t=t3では、特定開始イベントとしてのイベントi2の発生に応じて、240fpsのフレームレートの第2の画像の240fps特殊再生としてのスロー再生が開始される。
【0308】
時刻t=t3から開始された第2の画像の240fps特殊再生は、特殊再生期間TSだけ行われ、その特殊再生期間TSが経過した時刻t=t4で終了する。
【0309】
時刻t=t4からは、フレームレートが240fpsの第2の画像の240fps通常再生が行われる。
【0310】
以上のように、特定開始イベントの発生に応じて、第2の画像の特殊再生としてのスロー再生が、特殊再生期間TSだけ行われる場合には、ユーザは、特定開始イベントが発生するシーンを対象に、所望するスローモーション画像となっているかどうかを確認し、第2の画像のフレームレートを、迅速に決定することができる。
【0311】
なお、イベントモードでは、特定開始イベントの発生に応じて、第2の画像の、特殊再生期間の特殊再生が行われた後は、ディジタルカメラの電源がオフされることや、他の特定開始イベントの発生等がない限り、第2の画像の通常再生が行われる。さらに、イベントモードでは、特殊プレビュー処理のように、特殊再生や通常再生が周期的に行われない。そのため、通常債性周期TNや、特殊再生周期TCの設定は、不要である。
【0312】
図13は、イベントモード処理での第2の画像の撮像及び表示のタイミングの第2の例を説明するタイミングチャートである。
【0313】
図13では、時刻t=t0において、ユーザが変更操作を行い、第2の画像のフレームレートが240fpsに変更されている。
【0314】
イベントモード処理では、第2の画像のフレームレートの変更によっては、第2の画像の特殊再生は開始されず、通常再生が行われる。
【0315】
図13では、第2の画像のフレームレートが240fpsに変更された後の時刻t=t1において、特定開始イベントとしてのイベントi1が発生している。
【0316】
時刻t=t1では、特定開始イベントとしてのイベントi1の発生に応じて、240fpsのフレームレートの第2の画像の240fps特殊再生としてのスロー再生が開始される。
【0317】
時刻t=t1から開始された第2の画像の240fps特殊再生は、本来、特殊再生期間TSが経過する時刻t=t3まで行われるが、図13では、時刻t=t1の後、時刻t=t3よりも前の時刻t=t2において、特定開始イベントとしてのイベントi2が発生している。
【0318】
図13では、時刻t=t2での特定開始イベントとしてのイベントi2の発生に応じて、即座に、時刻t=t1から開始された第2の画像の240fps特殊再生が終了されるとともに、時刻t=t2からの第2の画像の240fps特殊再生が開始される。
【0319】
時刻t=t2から開始された第2の画像の240fps特殊再生は、特殊再生期間TSが経過する時刻t=t4まで行われ、その時刻t=t4で終了する。
【0320】
時刻t=t4からは、フレームレートが240fpsの第2の画像の240fps通常再生が行われる。
【0321】
なお、図13では、時刻t=t2での特定開始イベントとしてのイベントi2の発生に応じて、即座に、時刻t=t1から開始された第2の画像の240fps特殊再生を終了し、時刻t=t2からの第2の画像の240fps特殊再生を開始することとした。
【0322】
しかしながら、時刻t=t2での特定開始イベントとしてのイベントi2の発生に応じて、即座に、時刻t=t1から開始された第2の画像の240fps特殊再生を終了するのではなく、時刻t=t1から開始された第2の画像の240fps特殊再生を、特殊再生期間TSが経過する時刻t=t3まで行い、その後、特定開始イベントとしてのイベントi2の発生に応じた第2の画像の240fps特殊再生を開始することができる。
【0323】
<等間隔モード処理での第2の画像の撮像及び表示>
【0324】
図14は、等間隔モード処理での第2の画像の撮像及び表示のタイミングの第1の例を説明するタイミングチャートである。
【0325】
なお、図14では(後述する図15でも同様)、図が煩雑になるのを避けるため、第2の画像の撮像のタイミングについては、第2の画像のフレームレートの変更に応じて開始される特殊プレビュー処理で特殊再生の対象となる第2の画像の対象期間TTと、特定開始イベントの発生に応じて開始される特殊再生の対象となる第2の画像の対象期間TTとを分けて図示してある。
【0326】
また、図14では、まず、第2の画像のフレームレートの変更に応じて開始される特殊プレビュー処理の特殊再生と、特定開始イベントの発生に応じて開始される特殊再生とを分けて説明し、その後、最終的に行われる第2の画像の特殊再生(及び通常再生)を説明する。
【0327】
図14では、時刻t=t0において、ユーザが変更操作を行い、第2の画像のフレームレートが240fpsに変更され、そのフレームレートの変更に応じて、240fpsのフレームレートの第2の画像の特殊プレビュー処理が開始されている。
【0328】
すなわち、時刻t=t0において、第2の画像の240fps特殊再生としてのスロー再生が開始され、時刻t=t0から開始された240fps特殊再生は、特殊再生期間TSが経過するまで行われ、時刻t=t0から特殊再生期間TSが経過した時刻t=t1で終了する。
【0329】
時刻t1からは、通常再生期間TNとなり、時刻t=t1からの通常再生期間TNでは、その通常再生期間TNに撮像された、フレームレートが240fpsの第2の画像の240fps通常再生が行われる。
【0330】
直前の240fps特殊再生が開始された時刻t=t0から、特殊再生周期TCが経過した時刻t=t2になると、時刻t=t1から開始された第2の画像の240fps通常再生が終了する。
【0331】
時刻t=t2は、新たな特殊再生周期TCの開始時刻であり、時刻t=t2から対象期間TTに撮像された第2の画像の240fps特殊再生としてのスロー再生が開始される。
【0332】
その後、フレームレートが240fpsの第2の画像の240fps特殊再生が、特殊再生期間TSを経過する時刻t=t3まで行われ、時刻t=t3からは、フレームレートが240fpsの第2の画像の240fps通常再生が、通常再生期間TNを経過する時刻t=t4まで行われる。
【0333】
時刻t=t4では、時刻t=t3から開始された第2の画像の240fps通常再生が終了する。
【0334】
さらに、時刻t=t4は、新たな特殊再生周期TCの開始時刻であり、時刻t=t4から対象期間TTに撮像された第2の画像の240fps特殊再生としてのスロー再生が開始される。
【0335】
その後、フレームレートが240fpsの第2の画像の240fps特殊再生が、特殊再生期間TSを経過する時刻t=t5まで行われ、時刻t=t5からは、フレームレートが240fpsの第2の画像の240fps通常再生が、通常再生期間TNを経過する時刻t=t6まで行われて終了する。
【0336】
時刻t=t6は、新たな特殊再生周期TCの開始時刻であり、時刻t=t6から対象期間TTに撮像された第2の画像の240fps特殊再生としてのスロー再生が開始される。
【0337】
その後、フレームレートが240fpsの第2の画像の240fps特殊再生が、特殊再生期間TSを経過する時刻t=t7まで行われる。そして、以下、同様に、第2の画像のフレームレートの変更に応じて開始される特殊プレビュー処理では、特殊再生と通常再生とが、周期的に繰り返される。
【0338】
一方、図14では、時刻t=t11において、特定開始イベントとしてのイベントi1が発生している。
【0339】
時刻t=t11では、特定開始イベントとしてのイベントi1の発生に応じて、240fpsのフレームレートの第2の画像の240fps特殊再生としてのスロー再生が開始される。
【0340】
時刻t=t11から開始された第2の画像の240fps特殊再生は、特殊再生期間TSだけ行われ、その特殊再生期間TSが経過した時刻t=t12で終了する。
【0341】
時刻t=t12からは、フレームレートが240fpsの第2の画像の240fps通常再生が行われる。
【0342】
図14では、その後の時刻t=t13において、特定開始イベントとしてのイベントi2が発生している。
【0343】
時刻t=t13では、特定開始イベントとしてのイベントi2の発生に応じて、240fpsのフレームレートの第2の画像の240fps特殊再生としてのスロー再生が開始される。
【0344】
時刻t=t13から開始された第2の画像の240fps特殊再生は、特殊再生期間TSだけ行われ、その特殊再生期間TSが経過した時刻t=t14で終了する。
【0345】
時刻t=t14からは、フレームレートが240fpsの第2の画像の240fps通常再生が行われる。
【0346】
ここで、以下、第2の画像のフレームレートの変更に応じて開始される特殊プレビュー処理の特殊再生を、フレームレートの変更に対する特殊再生ともいう。
【0347】
また、特定開始イベントの発生に応じて開始される特殊再生を、特定開始イベントに対する特殊再生ともいう。
【0348】
フレームレートの変更に対する特殊再生が行われる特殊再生期間TSと、特定開始イベントに対する特殊再生が行われる特殊再生期間TSとが重複しない場合には、フレームレートの変更に対する特殊再生と、特定開始イベントに対する特殊再生とのそれぞれを、特殊再生期間TSだけ行うことができる。
【0349】
しかしながら、フレームレートの変更に対する特殊再生が行われる特殊再生期間TSと、特定開始イベントに対する特殊再生が行われる特殊再生期間TSとが重複する場合には、フレームレートの変更に対する特殊再生、及び、特定開始イベントに対する特殊再生のうちの一方の特殊再生が、他方の特殊再生によって妨げられる。
【0350】
図14では、時刻t=t4からのフレームレートの変更に対する特殊再生が行われる特殊再生期間TS内の時刻t=t11において、特定開始イベントとしてのイベントi1が発生している。このイベントi1に対する特殊再生は、既に開始されている、時刻t=t4からのフレームレートの変更に対する特殊再生によって妨げられる。
【0351】
さらに、図14では、時刻t=t13での特定開始イベントとしてのイベントi2の発生に応じて、イベントi2に対する特殊再生が行われる特殊再生期間TS内の時刻t=t6が、フレームレートの変更に対する特殊再生の開始時刻になっている。時刻t=t6を開始時刻とする、フレームレートの変更に対する特殊再生は、既に開始されている、イベントi2に対する特殊再生によって妨げられる。
【0352】
以上のように、フレームレートの変更に対する特殊再生、及び、特定開始イベントに対する特殊再生のうちの一方の特殊再生が、他方の特殊再生によって妨げられる場合には、例えば、フレームレートの変更に対する特殊再生、及び、特定開始イベントに対する特殊再生のうちのいずれかの特殊再生を優先させることができる。
【0353】
フレームレートの変更に対する特殊再生、及び、特定開始イベントに対する特殊再生のうちの、優先させる特殊再生を、以下、優先特殊再生ともいう。
【0354】
優先特殊再生は、フレームレートの変更に対する特殊再生、及び、特定開始イベントに対する特殊再生のうちのいずれか一方に固定する他、適宜変更することができる。
【0355】
すなわち、フレームレートの変更に対する特殊再生が行われる特殊再生期間TSと、特定開始イベントに対する特殊再生が行われる特殊再生期間TSとが重複する場合には、その重複部分については、例えば、先に開始された特殊再生を、優先特殊再生として、優先させることができる。
【0356】
図14では、フレームレートの変更に対する特殊再生、及び、特定開始イベントに対する特殊再生のうちの、例えば、特定開始イベントに対する特殊再生が、優先特殊再生として優先される。
【0357】
すなわち、図14では、時刻t=t4からのフレームレートの変更に対する特殊再生が行われる特殊再生期間TSと、時刻t=t11で発生するイベントi1に対する特殊再生が行われる特殊再生期間TSとが重複する。
【0358】
時刻t=t4からのフレームレートの変更に対する特殊再生は、時刻t=t11で発生するイベントi1に対する特殊再生よりも先に開始されるが、特定開始イベントに対する特殊再生が、優先特殊再生として優先される場合には、先に開始された時刻t=t4からのフレームレートの変更に対する特殊再生が、時刻t=t11で終了される。
【0359】
そして、時刻t=t11からは、時刻t=t11で発生したイベントi1に対する特殊再生が、特殊再生期間TSだけ行われる。
【0360】
また、例えば、図14では、時刻t=t13で発生するイベントi2に対する特殊再生が行われる特殊再生期間TSと、時刻t=t6からのフレームレートの変更に対する特殊再生が行われる特殊再生期間TSとが重複する。
【0361】
時刻t=t13で発生するイベントi2に対する特殊再生は、時刻t=t6からのフレームレートの変更に対する特殊再生よりも先に開始されるが、特定開始イベントに対する特殊再生が、優先特殊再生として優先される場合には、フレームレートの変更に対する特殊再生が開始される時刻t=t6になっても、時刻t=t6からのフレームレートの変更に対する特殊再生は開始されない。そして、先に開始されている、時刻t=t13で発生するイベントi2に対する特殊再生が、そのまま続行される。
【0362】
その後、時刻t=t13から特殊再生期間TSが経過した時刻t=t14になると、イベントi2に対する特殊再生が終了される。
【0363】
ここで、仮に、時刻t=t6からのフレームレートの変更に対する特殊再生が、時刻t=t6から開始された場合、その特殊再生が終了される時刻t=t7、すなわち、時刻t=t6から特殊再生期間TSが経過した時刻t=t7は、イベントi2に対する特殊再生が終了される時刻t=t14よりも後に時刻になる。
【0364】
そこで、時刻t=t14において、優先特殊再生としての、イベントi2に対する特殊再生が終了した後は、その後、時刻t=t6からのフレームレートの変更に対する特殊再生が、時刻t=t6から開始された場合に、その特殊再生が終了される時刻t=t7までの期間は、フレームレートの変更に対する特殊再生を行うことができる。
【0365】
なお、上述の場合には、フレームレートの変更に対する特殊再生が行われる特殊再生期間TSと、特定開始イベントに対する特殊再生が行われる特殊再生期間TSとが重複するときには、フレームレートの変更に対する特殊再生、及び、特定開始イベントに対する特殊再生のうちのいずれかの特殊再生を優先させることとした。
【0366】
しかしながら、フレームレートの変更に対する特殊再生が行われる特殊再生期間TSと、特定開始イベントに対する特殊再生が行われる特殊再生期間TSとが重複する場合には、フレームレートの変更に対する特殊再生、及び、特定開始イベントに対する特殊再生のうちのいずれかの特殊再生を優先させるのではなく、重複する特殊再生期間TSの延べ期間に亘って、その延べ期間の先頭のタイミングの第2の画像から、特殊再生を行うことができる。
【0367】
また、図14では、フレームレートの変更に対する特殊再生、すなわち、特殊プレビュー処理の特殊再生については、直前に行われた、フレームレートの変更に対する特殊再生が開始された時刻(例えば、時刻t=t0等)から、特殊再生周期TCが経過した時刻(例えば、時刻t=t2等)を、新たな特殊再生周期TCの開始時刻として、フレームレートの変更に対する特殊再生を行うこととした。
【0368】
しかしながら、新たな特殊再生周期TCの開始時刻としては、その他、例えば、フレームレートの変更に対する特殊再生か、特定開始イベントに対する特殊再生かに関わらず、直前の特殊再生が開始された時刻を採用することができる。
【0369】
図15は、等間隔モード処理での第2の画像の撮像及び表示のタイミングの第2の例を説明するタイミングチャートである。
【0370】
図15では、時刻t=t0において、ユーザが変更操作を行い、第2の画像のフレームレートが240fpsに変更され、そのフレームレートの変更に応じて、240fpsのフレームレートの第2の画像の特殊プレビュー処理が開始されている。
【0371】
すなわち、時刻t=t0において、第2の画像の特殊再生としてのスロー再生が開始され、時刻t=t0から開始された特殊再生は、特殊再生期間TSが経過するまで行われ、時刻t=t0から特殊再生期間TSが経過した時刻t=t1で終了する。
【0372】
時刻t1からは、通常再生期間TNとなり、時刻t=t1からの通常再生期間TNでは、その通常再生期間TNに撮像された、フレームレートが240fpsの第2の画像の通常再生が行われる。
【0373】
直前の特殊再生が開始された時刻t=t0から、特殊再生周期TCが経過した時刻t=t2になると、時刻t=t1から開始された第2の画像の通常再生が終了する。
【0374】
そして、直前の特殊再生が開始された時刻t=t0から、特殊再生周期TCが経過した時刻t=t2を、新たな特殊再生周期TCの開始時刻として、時刻t=t2から対象期間TTに撮像された第2の画像の特殊再生としてのスロー再生が開始される。
【0375】
時刻t=t2からの第2の画像の特殊再生は、特殊再生期間TSを経過する時刻t=t3まで行われ、時刻t=t3からは、フレームレートが240fpsの第2の画像の通常再生が開始される。
【0376】
時刻t=t3からの第2の画像の通常再生は、本来ならば、通常再生期間TNを経過する時刻まで行われるが、図15では、時刻t=t3から通常再生期間TNを経過する前の時刻t=t11において、特定開始イベントとしてのイベントi1が発生している。
【0377】
そのため、時刻t=t11において、時刻t=t3からの第2の画像の通常再生が終了され、特定開始イベントとしてのイベントi1の発生に応じた第2の画像の特殊再生としてのスロー再生が開始される。
【0378】
時刻t=t11から開始された第2の画像の特殊再生は、特殊再生期間TSだけ行われ、その特殊再生期間TSが経過した時刻t=t12で終了する。
【0379】
時刻t=t12からは、フレームレートが240fpsの第2の画像の通常再生が行われる。
【0380】
直前の特殊再生が開始された時刻t=t11から、特殊再生周期TCが経過した時刻t=t4になると、時刻t=t12から開始された第2の画像の通常再生が終了する。
【0381】
そして、直前の特殊再生が開始された時刻t=t11から、特殊再生周期TCが経過した時刻t=t4を、新たな特殊再生周期TCの開始時刻として、時刻t=t4から対象期間TTに撮像された第2の画像の特殊再生としてのスロー再生が開始される。
【0382】
時刻t=t4からの第2の画像の特殊再生は、特殊再生期間TSを経過する時刻t=t5まで行われ、時刻t=t5からは、フレームレートが240fpsの第2の画像の通常再生が開始される。
【0383】
以下、同様に、図15では、フレームレートの変更に対する特殊再生か、特定開始イベントに対する特殊再生かに関わらず、直前の特殊再生が開始された時刻を、新たな特殊再生周期TCの開始時刻として、特殊プレビュー処理の特殊再生が行われる。
【0384】
以上説明したように、第2の画像の特殊再生の開始タイミング、すなわち、例えば、第2の画像のスローモーション画像を確認するプレビューの表示を開始する開始タイミングを、適切なタイミングとすることにより、ユーザが所望するスローモーション画像となる第2の画像のフレームレートを、より迅速に決定することができる。
【0385】
したがって、第2の画像のフレームレートを、短時間で決定することができるので、撮影機会を逃すことを抑制し、ユーザが所望する画像(第2の画像)を、短時間で撮影(記録)することができる。
【0386】
なお、以上においては、特殊再生として、第2の画像を、その第2の画像のフレームレートよりも小さい表示レートで表示するスロー再生を行う場合について説明したが、本技術は、特殊再生として、第2の画像を、その第2の画像のフレームレートよりも大きい表示レートで表示する早送り再生を行う場合にも適用することができる。
【0387】
但し、第2の画像の早送り再生を行う場合には、第2の画像のフレームを、早送り再生を行う期間に必要な分だけバッファリングしてから、第2の画像の早送り再生を開始する必要がある。そのため、早送り再生を行う場合には、少なくとも、バッファリングを行う分の遅延が生じるおそれがある。
【0388】
<本技術を適用したコンピュータの説明>
【0389】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【0390】
図16は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
【0391】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク105やROM103に予め記録しておくことができる。
【0392】
あるいはまた、プログラムは、リムーバブル記録媒体111に格納(記録)しておくことができる。このようなリムーバブル記録媒体111は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体111としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto Optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【0393】
なお、プログラムは、上述したようなリムーバブル記録媒体111からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク105にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【0394】
コンピュータは、CPU(Central Processing Unit)102を内蔵しており、CPU102には、バス101を介して、入出力インタフェース110が接続されている。
【0395】
CPU102は、入出力インタフェース110を介して、ユーザによって、入力部107が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)103に格納されているプログラムを実行する。あるいは、CPU102は、ハードディスク105に格納されたプログラムを、RAM(Random Access Memory)104にロードして実行する。
【0396】
これにより、CPU102は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU102は、その処理結果を、必要に応じて、例えば、入出力インタフェース110を介して、出力部106から出力、あるいは、通信部108から送信、さらには、ハードディスク105に記録等させる。
【0397】
なお、入力部107は、キーボードや、マウス、マイク等で構成される。また、出力部106は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【0398】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含む。
【0399】
また、プログラムは、1のコンピュータ(プロセッサ)により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【0400】
さらに、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
【0401】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0402】
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【0403】
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
【0404】
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
【0405】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【0406】
なお、本技術は、以下の構成をとることができる。
【0407】
<1>
所定の状況変化に応じて、フレームレートが変更可能な画像を、前記フレームレートと異なる表示レートで表示装置に表示させる特殊再生を開始する表示制御部を備える
表示制御装置。
<2>
前記表示制御部は、前記所定の状況変化に応じて、所定の特殊再生期間だけ、前記特殊再生を行う
<1>に記載の表示制御装置。
<3>
前記表示制御部は、前記フレームレートの変更に応じて、所定の特殊再生期間だけ、前記特殊再生を行うことを、所定の特殊再生周期で繰り返す特殊プレビュー処理を行う
<2>に記載の表示制御装置。
<4>
前記所定の状況変化は、前記フレームレートの変更である
<1>に記載の表示制御装置。
<5>
ユーザの操作に応じて、前記特殊再生の対象となる前記画像の対象期間を設定する
<3>に記載の表示制御装置。
<6>
ユーザの操作に応じて、前記特殊再生期間及び前記特殊再生周期を設定する
<3>ないし<5>のいずれかに記載の表示制御装置。
<7>
前記表示制御部は、前記特殊再生周期のうちの、前記特殊再生期間以外の期間を、通常再生期間として、前記通常再生期間に、前記フレームレートと前記表示レートとを同一にして、前記画像を前記表示装置に表示させる通常再生を行う
<3>ないし<6>のいずれかに記載の表示制御装置。
<8>
前記表示制御部は、前記フレームレートが変更された場合、変更後の前記フレームレートの前記画像について、前記特殊プレビュー処理を開始する
<3>ないし<7>のいずれかに記載の表示制御装置。
<9>
前記表示制御部は、前記フレームレートが変更された場合、変更時に行われている、前記フレームレートの変更前の前記画像についての前記特殊プレビュー処理の前記特殊再生周期の終了後に、前記フレームレートの変更後の前記画像についての前記特殊プレビュー処理を開始する
<3>ないし<7>のいずれかに記載の表示制御装置。
<10>
前記フレームレートが前記表示レートより大に変更された場合、前記画像は、スロー再生され、
前記フレームレートが前記表示レートより小に変更された場合、前記画像は、早送り再生される
<4>に記載の表示制御装置。
<11>
前記所定の状況変化は、前記画像から検出される状況変化である
<1>に記載の表示制御装置。
<12>
前記所定の状況変化は、前記画像の撮像時に行われるセンシングにより得られるセンサ情報から検出される状況変化である
<1>又は<11>に記載の表示制御装置。
<13>
前記表示制御部は、
所定の特殊再生期間だけ、前記特殊再生を行うことを、所定の特殊再生周期で繰り返す特殊プレビュー処理を行うとともに、
前記所定の状況変化に応じて、所定の特殊再生期間だけ、前記特殊再生を行う
<2>、<11>、及び、<12>のいずれかに記載の表示制御装置。
<14>
前記表示制御部は、
前記フレームレートの変更に応じて、前記特殊プレビュー処理を行い、
前記フレームレートの変更以外の前記所定の状況変化に応じて、所定の特殊再生期間だけ、前記特殊再生を行う
<13>に記載の表示制御装置。
<15>
前記表示制御部は、前記フレームレートの変更以外の前記所定の状況変化が発生した場合、即座に、所定の特殊再生期間だけ、前記特殊再生を行う
<14>に記載の表示制御装置。
<16>
ユーザの操作に応じて、前記フレームレートの変更以外の前記所定の状況変化を設定する
<14>又は<15>に記載の表示制御装置。
<17>
前記フレームレートの変更以外の前記所定の状況変化に応じた前記特殊再生と、
前記フレームレートの変更以外の前記所定の状況変化に応じた前記特殊再生、及び、前記フレームレートの変更に応じた前記特殊プレビュー処理の両方と
のうちのいずれを行うかを、ユーザの操作に応じて設定する
<14>ないし<16>のいずれかに記載の表示制御装置。
<18>
所定の状況変化に応じて、フレームレートが変更可能な画像を、前記フレームレートと異なる表示レートで表示装置に表示させる特殊再生を開始する
ステップを含む表示制御方法。
<19>
所定の状況変化に応じて、フレームレートが変更可能な画像を、前記フレームレートと異なる表示レートで表示装置に表示させる特殊再生を開始する表示制御部
として、コンピュータを機能させるためのプログラム。
【符号の説明】
【0408】
11 光学系, 12 撮像装置, 13 ディジタル信号処理部, 14,15 表示装置, 16 メモリ, 17 入力装置, 18 制御部, 19 センサ部, 20 ドライバIC, 31,32 現像処理部, 33 画像解析部, 34 記録再生処理部, 35 表示制御部, 41 ダイヤル, 42 シャッタボタン, 101 バス, 102 CPU, 103 ROM, 104 RAM, 105 ハードディスク, 106 出力部, 107 入力部, 108 通信部, 109 ドライブ, 110 入出力インタフェース, 111 リムーバブル記録媒体
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
【国際調査報告】