ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-09
(45)【発行日】2024-09-18
(54)【発明の名称】画像処理装置、画像処理方法、プログラム
(51)【国際特許分類】
H04N 23/63 20230101AFI20240910BHJP
H04N 23/60 20230101ALI20240910BHJP
G03B 15/00 20210101ALI20240910BHJP
G03B 17/18 20210101ALI20240910BHJP
【ＦＩ】
H04N23/63
H04N23/63 300
H04N23/60 500
H04N23/60 300
G03B15/00 Q
G03B17/18
【請求項の数】
17
(21)【出願番号】P 2021524714
(86)(22)【出願日】2020-04-27
(86)【国際出願番号】 JP2020017943
(87)【国際公開番号】W WO2020246181
(87)【国際公開日】2020-12-10
【審査請求日】2023-03-06
(31)【優先権主張番号】P 2019106828
(32)【優先日】2019-06-07
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110003410
【氏名又は名称】弁理士法人テクノピア国際特許事務所
(74)【代理人】
【識別番号】100116942
【弁理士】
【氏名又は名称】岩田 雅信
(74)【代理人】
【識別番号】100167704
【弁理士】
【氏名又は名称】中川 裕人
(72)【発明者】
【氏名】森 一晃
(72)【発明者】
【氏名】沼田 知己
【審査官】村山 絢子
(56)【参考文献】
【文献】国際公開第２０１３／１６４９１５（ＷＯ，Ａ１）
【文献】特開２０１４－１６５８５５（ＪＰ，Ａ）
【文献】特開２００９－２５３５６７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２３／００
Ｈ０４Ｎ ２３／４０－２３／７６
Ｈ０４Ｎ ２３／９０－２３／９５９
Ｇ０３Ｂ １５／００
Ｇ０３Ｂ １７／１８
(57)【特許請求の範囲】
【請求項1】
撮像画像に基づく第一フレームレート画像と、前記第一フレームレート画像よりもフレームレートの低い第二フレームレート画像とを生成する画像生成部と、前記画像生成部が生成した前記第一フレームレート画像と前記第二フレームレート画像とが表示部の異なる表示領域に表示されるように出力する出力部と、を備え、
前記出力部は、
前記第二フレームレート画像を領域分割して得られる複数の分割画像を単一の伝送路に時分割出力する処理として、前記第一フレームレート画像の１フレームごとに、前記複数の分割画像のうちの一の分割画像を対応させて前記伝送路に出力する処理を行う
画像処理装置。
【請求項2】
前記画像生成部は、前記第二フレームレート画像として、ユーザに対する通知情報を表す画像を生成する
請求項１に記載の画像処理装置。
【請求項3】
操作に応じて前記通知情報を前記表示部に表示するモードと非表示にするモードとの切替えが可能とされ、前記画像生成部は、
前記通知情報を表示するモードにおいて、前記通知情報を表す前記第二フレームレート画像の生成を行う
請求項２に記載の画像処理装置。
【請求項4】
前記画像生成部は、前記通知情報の更新タイミングを契機に前記第二フレームレート画像のフレーム更新を行う
請求項２に記載の画像処理装置。
【請求項5】
前記画像生成部は、前記通知情報を表す前記第二フレームレート画像を、前記表示部における前記第一フレームレート画像の表示領域の外周の表示領域に表示される画像として生成する
請求項２に記載の画像処理装置。
【請求項6】
前記画像生成部は、前記撮像画像における一部の領域の画像を前記第一フレームレート画像として生成し、前記撮像画像における前記一部の領域以外の領域の画像を前記第二フレームレート画像として生成する
請求項１に記載の画像処理装置。
【請求項7】
前記画像生成部は、前記撮像画像における特定被写体の検出領域の画像を前記第一フレームレート画像として生成する
請求項６に記載の画像処理装置。
【請求項8】
前記画像生成部は、前記撮像画像における動体の検出領域の画像を前記第一フレームレート画像として生成する
請求項７に記載の画像処理装置。
【請求項9】
前記出力部は、前記第一フレームレート画像と前記第二フレームレート画像の表示領域を指示する情報を前記表示部に出力する
請求項１に記載の画像処理装置。
【請求項10】
前記出力部が出力した前記第一フレームレート画像と前記第二フレームレート画像とを合成して表示する前記表示部を備えた請求項１に記載の画像処理装置。
【請求項11】
前記画像生成部は、前記撮像画像における前記第一フレームレート画像とする領域を、ユーザの操作に基づき設定する
請求項６に記載の画像処理装置。
【請求項12】
前記画像生成部は、前記撮像画像を表示する画面上における位置を指定する操作に基づき前記第一フレームレート画像とする領域を設定する
請求項１１に記載の画像処理装置。
【請求項13】
前記画面上における位置を指定する操作が前記画面をタッチする操作とされた請求項１２に記載の画像処理装置。
【請求項14】
前記画像生成部は、前記撮像画像を表示する画面の面内における方向を指示する操作に基づき前記第一フレームレート画像とする領域の範囲を設定する
請求項１３に記載の画像処理装置。
【請求項15】
前記方向を指示する操作が前記画面上をなぞる操作とされた請求項１４に記載の画像処理装置。
【請求項16】
撮像画像に基づく第一フレームレート画像と、前記第一フレームレート画像よりもフレームレートの低い第二フレームレート画像とを生成する画像生成処理と、
生成した前記第一フレームレート画像と前記第二フレームレート画像とが表示部の異なる表示領域に表示されるように出力する出力処理と、を行うと共に、
前記出力処理では、
前記第二フレームレート画像を領域分割して得られる複数の分割画像を単一の伝送路に時分割出力する処理として、前記第一フレームレート画像の１フレームごとに、前記複数の分割画像のうちの一の分割画像を対応させて前記伝送路に出力する処理を行う
画像処理方法。
【請求項17】
撮像画像に基づく第一フレームレート画像と、前記第一フレームレート画像よりもフレームレートの低い第二フレームレート画像とを生成する画像生成機能と、
生成した前記第一フレームレート画像と前記第二フレームレート画像とが表示部の異なる表示領域に表示されるように出力する出力機能とを、情報処理装置に実現させると共に、
前記出力機能では、
前記第二フレームレート画像を領域分割して得られる複数の分割画像を単一の伝送路に時分割出力する処理として、前記第一フレームレート画像の１フレームごとに、前記複数の分割画像のうちの一の分割画像を対応させて前記伝送路に出力する処理を行う
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は画像処理装置、画像処理方法、及びプログラムに関し、特には撮像画像を表示する際の画像伝送に係る技術分野に関する。
【背景技術】
【0002】
例えば、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置には、装置背面に設けられた表示パネルや電子ビューファインダ等の表示部が設けられ、ユーザは、該表示部にスルー画として表示された撮像画像をモニタリングしながら撮像を行うことが可能とされている。
【0003】
表示部の表示画像は、そのフレームレートによって滑らかさが変化し、ユーザの操作性に大きな影響を与える。仮に、フレームレートが十分でない場合、表示画像はカクついた画像となり、そのためユーザがシャッタチャンスを逃す可能性が高まる。特に、動きの速い被写体を撮像する場合には、被写体の実際の動きに対する表示画像の追従性が著しく悪化し、操作性の大幅な低下を招くことになる。
【0004】
このような背景から、スルー画としてはＨＦＲ（High Frame Rate）画像を表示することが望ましいと言える。
しかしながら、ＨＦＲ画像は、ＬＦＲ（Low Frame Rate）画像に比べ時間軸方向の情報量が増加するため、画像を伝送する際に大きな消費電力や帯域幅を必要とする。
しかしながら、ＨＦＲ画像は、ＬＦＲ（Low Frame Rate）画像に比べ時間軸方向の情報量が増加するため、画像を伝送する際に大きな消費電力や帯域幅を必要とする。
【0005】
これらを改善するための技術が研究開発されており、例えば下記特許文献１には、ユーザがシャッタボタンの半押し操作等で構図を決定している期間にのみＨＦＲ画像を表示する技術が開示されている。
【先行技術文献】
【特許文献】
【0006】
【文献】特開２０１１－３００８４号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献１に記載の技術では、ユーザがシャッタボタンを半押ししていない期間にはＨＦＲ画像が表示されず、シャッタチャンスを逃す期間が存在していると言える。
【0008】
本技術は上記事情に鑑み為されたものであり、撮像画像を表示部に表示する際の画像伝送に係る帯域幅や消費電力の削減を図りつつ、シャッタチャンスを逃し難くすることを目的とする。
【課題を解決するための手段】
【0009】
本技術に係る画像処理装置は、撮像画像に基づく第一フレームレート画像と、前記第一フレームレート画像よりもフレームレートの低い第二フレームレート画像とを生成する画像生成部と、前記画像生成部が生成した前記第一フレームレート画像と前記第二フレームレート画像とが表示部の異なる表示領域に表示されるように出力する出力部と、を備えるものである。
これにより、表示画像を構成する画像のうち、被写体が映し出される部分の画像については第一（ハイ）フレームレート画像とし、それ以外の部分の画像については第二（ロー）フレームレート画像とすることが可能となる。すなわち、被写体が映し出される部分以外の画像をローフレームレートとすることで、表示画像全域をハイフレームレートとする場合と比較して、表示のために伝送すべき画像データの量を削減することが可能とされる。一方、被写体が映し出されている部分の画像をハイフレームレートとすることで、被写体の動きに対する表示画像の応答性低下の防止を図ることが可能とされる。
これにより、表示画像を構成する画像のうち、被写体が映し出される部分の画像については第一（ハイ）フレームレート画像とし、それ以外の部分の画像については第二（ロー）フレームレート画像とすることが可能となる。すなわち、被写体が映し出される部分以外の画像をローフレームレートとすることで、表示画像全域をハイフレームレートとする場合と比較して、表示のために伝送すべき画像データの量を削減することが可能とされる。一方、被写体が映し出されている部分の画像をハイフレームレートとすることで、被写体の動きに対する表示画像の応答性低下の防止を図ることが可能とされる。
【0010】
上記した本技術に係る画像処理装置においては、前記画像生成部は、前記第二フレームレート画像として、ユーザに対する通知情報を表す画像を生成する構成とすることが可能である。
これにより、例えば撮像装置の各種設定や状態等を通知するＯＳＤ画像等、ユーザに対する通知情報を表す画像をローフレームレート画像として表示することが可能とされる。
これにより、例えば撮像装置の各種設定や状態等を通知するＯＳＤ画像等、ユーザに対する通知情報を表す画像をローフレームレート画像として表示することが可能とされる。
【0011】
上記した本技術に係る画像処理装置においては、操作に応じて前記通知情報を前記表示部に表示するモードと非表示にするモードとの切替えが可能とされ、前記画像生成部は、前記通知情報を表示するモードにおいて、前記通知情報を表す前記第二フレームレート画像の生成を行う構成とすることが可能である。
これにより、通知情報を非表示とするモード下では、通知情報を表すローフレームレート画像の表示が行われないようにすることが可能とされる。すなわち、ユーザの操作（指示）とは無関係に、撮像画像以外の画像を表示する動作が行われないようにすることが可能とされる。
これにより、通知情報を非表示とするモード下では、通知情報を表すローフレームレート画像の表示が行われないようにすることが可能とされる。すなわち、ユーザの操作（指示）とは無関係に、撮像画像以外の画像を表示する動作が行われないようにすることが可能とされる。
【0012】
上記した本技術に係る画像処理装置においては、前記画像生成部は、前記通知情報の更新タイミングを契機に前記第二フレームレート画像のフレーム更新を行う構成とすることが可能である。
これにより、例えば撮像装置の電池残量や撮像モード情報等の通知情報の更新タイミングを契機に、ローフレームレート画像の画像内容が更新される。
これにより、例えば撮像装置の電池残量や撮像モード情報等の通知情報の更新タイミングを契機に、ローフレームレート画像の画像内容が更新される。
【0013】
上記した本技術に係る画像処理装置においては、前記画像生成部は、前記通知情報を表す前記第二フレームレート画像を、前記表示部における前記第一フレームレート画像の表示領域の外周の表示領域に表示される画像として生成する構成とすることが可能である。
すなわち、通知情報を表すローフレームレート画像は、被写体が映し出されるハイフレームレート画像の外周の表示領域に表示される。そのため、ハイフレームレート画像の表示領域に撮像画像の全域（全視野）の画像を表示しても、その一部がローフレームレート画像によって遮られることがない。
すなわち、通知情報を表すローフレームレート画像は、被写体が映し出されるハイフレームレート画像の外周の表示領域に表示される。そのため、ハイフレームレート画像の表示領域に撮像画像の全域（全視野）の画像を表示しても、その一部がローフレームレート画像によって遮られることがない。
【0014】
上記した本技術に係る画像処理装置においては、前記画像生成部は、前記撮像画像における一部の領域の画像を前記第一フレームレート画像として生成し、前記撮像画像における前記一部の領域以外の領域の画像を前記第二フレームレート画像として生成する構成とすることが可能である。
これにより、画像伝送に係る帯域幅や消費電力の削減を図りつつシャッタチャンスを逃し難くするにあたり、表示部の表示領域全域に撮像画像を表示することが可能とされる。
これにより、画像伝送に係る帯域幅や消費電力の削減を図りつつシャッタチャンスを逃し難くするにあたり、表示部の表示領域全域に撮像画像を表示することが可能とされる。
【0015】
上記した本技術に係る画像処理装置においては、前記画像生成部は、前記撮像画像における特定被写体の検出領域の画像を前記第一フレームレート画像として生成する構成とすることが可能である。
特定被写体とは、撮像画像に対する被写体検出処理において検出対象とされた被写体を意味する。
特定被写体とは、撮像画像に対する被写体検出処理において検出対象とされた被写体を意味する。
【0016】
上記した本技術に係る画像処理装置においては、前記画像生成部は、前記撮像画像における動体の検出領域の画像を前記第一フレームレート画像として生成する構成とすることが可能である。
これにより、撮像画像を表示部にスルー画として表示するにあたり、表示画像の応答性を高めるべき領域のみをハイフレームレート画像とし、それ以外の領域をローフレームレート画像とすることが可能とされる。
これにより、撮像画像を表示部にスルー画として表示するにあたり、表示画像の応答性を高めるべき領域のみをハイフレームレート画像とし、それ以外の領域をローフレームレート画像とすることが可能とされる。
【0017】
上記した本技術に係る画像処理装置においては、前記出力部は、前記第一フレームレート画像と前記第二フレームレート画像の表示領域を指示する情報を前記表示部に出力する構成とすることが可能である。
これにより、ハイフレームレート画像、ローフレームレート画像それぞれの表示領域が表示部に指示される。
これにより、ハイフレームレート画像、ローフレームレート画像それぞれの表示領域が表示部に指示される。
【0018】
上記した本技術に係る画像処理装置においては、前記出力部は、前記第一フレームレート画像と前記第二フレームレート画像を単一の伝送路に時分割で出力する構成とすることが可能である。
これにより、表示部に対する画像伝送用のケーブルを１本に集約することが可能とされる。
これにより、表示部に対する画像伝送用のケーブルを１本に集約することが可能とされる。
【0019】
上記した本技術に係る画像処理装置においては、前記出力部は、前記第二フレームレート画像を領域分割して得られる各一部の画像を前記伝送路に時分割出力する構成とすることが可能である。
これにより、ローフレームレート画像の１フレーム全体を出力する間にハイフレームレート画像を複数フレーム分出力することが可能とされる。
これにより、ローフレームレート画像の１フレーム全体を出力する間にハイフレームレート画像を複数フレーム分出力することが可能とされる。
【0020】
上記した本技術に係る画像処理装置においては、前記出力部が出力した前記第一フレームレート画像と前記第二フレームレート画像とを合成して表示する前記表示部を備えた構成とすることが可能である。
ここで言う合成とは、複数の画像を単一の画像に統合することを意味する。
ここで言う合成とは、複数の画像を単一の画像に統合することを意味する。
【0021】
上記した本技術に係る画像処理装置においては、前記画像生成部は、前記撮像画像における前記第一フレームレート画像とする領域を、ユーザの操作に基づき設定する構成とすることが可能である。
これにより、ユーザが注目している被写体を含んだ領域をハイフレームレート画像の領域として設定することが可能とされる。
これにより、ユーザが注目している被写体を含んだ領域をハイフレームレート画像の領域として設定することが可能とされる。
【0022】
上記した本技術に係る画像処理装置においては、前記画像生成部は、前記撮像画像を表示する画面上における位置を指定する操作に基づき前記第一フレームレート画像とする領域を設定する構成とすることが可能である。
これにより、ハイフレームレート画像とする領域の指定操作は、画面上に表示される撮像画像を確認しながら、該画面上における位置を指定するという直感的な操作により実現可能とされる。
これにより、ハイフレームレート画像とする領域の指定操作は、画面上に表示される撮像画像を確認しながら、該画面上における位置を指定するという直感的な操作により実現可能とされる。
【0023】
上記した本技術に係る画像処理装置においては、前記画面上における位置を指定する操作が前記画面をタッチする操作とされた構成とすることが可能である。
これにより、ハイフレームレート画像とする領域の指定操作は、撮像画像が表示される画面上における所要の位置をタッチする操作という直感的な操作により実現可能とされる。
これにより、ハイフレームレート画像とする領域の指定操作は、撮像画像が表示される画面上における所要の位置をタッチする操作という直感的な操作により実現可能とされる。
【0024】
上記した本技術に係る画像処理装置においては、前記画像生成部は、前記撮像画像を表示する画面の面内における方向を指示する操作に基づき前記第一フレームレート画像とする領域の範囲を設定する構成とすることが可能である。
これにより、ハイフレームレート画像とする領域の範囲を指定する操作は、画面上に表示される撮像画像を確認しながら、該画面の面内における方向を指定するという直感的な操作により実現可能とされる。
これにより、ハイフレームレート画像とする領域の範囲を指定する操作は、画面上に表示される撮像画像を確認しながら、該画面の面内における方向を指定するという直感的な操作により実現可能とされる。
【0025】
上記した本技術に係る画像処理装置においては、前記方向を指示する操作が前記画面上をなぞる操作とされた構成とすることが可能である。
これにより、ハイフレームレート画像とする領域の範囲を指定する操作は、撮像画像が表示される画面上をなぞるという直感的な操作により実現される。
これにより、ハイフレームレート画像とする領域の範囲を指定する操作は、撮像画像が表示される画面上をなぞるという直感的な操作により実現される。
【0026】
また、本技術に係る画像処理方法は、撮像画像に基づく第一フレームレート画像と、前記第一フレームレート画像よりもフレームレートの低い第二フレームレート画像とを生成し、生成した前記第一フレームレート画像と前記第二フレームレート画像とが表示部の異なる表示領域に表示されるように出力する画像処理方法である。
このような画像処理方法によっても、上記した本技術に係る画像処理装置と同様の作用が得られる。
このような画像処理方法によっても、上記した本技術に係る画像処理装置と同様の作用が得られる。
【0027】
また、本技術に係るプログラムは、撮像画像に基づく第一フレームレート画像と、前記第一フレームレート画像よりもフレームレートの低い第二フレームレート画像とを生成し、生成した前記第一フレームレート画像と前記第二フレームレート画像とが表示部の異なる表示領域に表示されるように出力する機能を、情報処理装置に実現させるプログラムである。
【0028】
このようなプログラムにより、上記した本技術に係る画像処理装置が実現される。
【図面の簡単な説明】
【0029】
【図1】本技術に係る第一実施形態としての画像処理装置の内部構成例を示したブロック図である。
【図2】ＯＳＤ表示モード時における撮像画像の表示例についての説明図である。
【図4】ＯＳＤ非表示モード時における撮像画像の表示例についての説明図である。
【図6】実施形態としての機能をブロック化して表した機能ブロック図である。
【図7】第一実施形態としての撮像画像表示手法を実現するための具体的な処理手順の例を示したフローチャートである。
【図9】被写体の移動に対する対策例についての説明図である。
【図11】第二実施形態としての画像処理装置の内部構成例を示したブロック図である。
【図12】ＨＦＲ画像とＬＦＲ画像を単一の伝送路に時分割出力する手法の例の説明図である。
【図13】第三実施形態としての画像処理装置の内部構成例を示したブロック図である。
【図14】タッチ操作に応じてＨＦＲ領域の位置を変更する例を示した図である。
【図15】タッチ操作に応じてＨＦＲ領域の範囲を変更する例を示した図である。
【図16】手術室システムの全体構成を概略的に示す図である。
【図17】集中操作パネルにおける操作画面の表示例を示す図である。
【図18】手術室システムが適用された手術の様子の一例を示す図である。
【図20】応用例におけるＨＦＲ領域の設定例についての説明図である。
【図21】応用例におけるＨＦＲ領域の他の設定例についての説明図である。
【発明を実施するための形態】
【0030】
以下、実施の形態を次の順序で説明する。
＜１．第一実施形態＞
［1-1．装置構成例］
［1-2．第一実施形態としての撮像画像表示手法］
［1-3．処理手順］
［1-4．被写体の移動に対する対策］
［1-5．変形例］
＜２．第二実施形態＞
＜３．第三実施形態＞
＜４．変形例＞
＜５．応用例＞
＜６．実施形態のまとめ＞
＜７．本技術＞
＜１．第一実施形態＞
［1-1．装置構成例］
［1-2．第一実施形態としての撮像画像表示手法］
［1-3．処理手順］
［1-4．被写体の移動に対する対策］
［1-5．変形例］
＜２．第二実施形態＞
＜３．第三実施形態＞
＜４．変形例＞
＜５．応用例＞
＜６．実施形態のまとめ＞
＜７．本技術＞
【0031】
＜１．第一実施形態＞
［1-1．装置構成例］
図１は、本技術に係る画像処理装置の第一実施形態としての撮像装置１の内部構成例を示したブロック図である。
撮像装置１は、デジタルカメラ装置として構成され、被写体の撮像を行い、動画や静止画としての画像データを記録媒体に記録することが可能に構成されている。
図示のように撮像装置１は、撮像部２、画像処理部３、制御部４、電源部５、操作部６、センサ部７、記録制御部８、ＨＦＲ／ＬＦＲ画像生成部９（ＨＦＲ：High Frame Rate、ＬＦＲ：Low Frame Rate）、ＯＳＤ（On Screen Display）画像生成部１０、及び表示部１１を備えている。
ここで、ＨＦＲはＬＦＲよりも高いフレームレートを意味する。本例において、ＨＦＲは、特に断りがなければ、ＬＦＲの２倍や３倍等、ＬＦＲのｎ倍（ｎは２以上の自然数）のフレームレートであるとする。
［1-1．装置構成例］
図１は、本技術に係る画像処理装置の第一実施形態としての撮像装置１の内部構成例を示したブロック図である。
撮像装置１は、デジタルカメラ装置として構成され、被写体の撮像を行い、動画や静止画としての画像データを記録媒体に記録することが可能に構成されている。
図示のように撮像装置１は、撮像部２、画像処理部３、制御部４、電源部５、操作部６、センサ部７、記録制御部８、ＨＦＲ／ＬＦＲ画像生成部９（ＨＦＲ：High Frame Rate、ＬＦＲ：Low Frame Rate）、ＯＳＤ（On Screen Display）画像生成部１０、及び表示部１１を備えている。
ここで、ＨＦＲはＬＦＲよりも高いフレームレートを意味する。本例において、ＨＦＲは、特に断りがなければ、ＬＦＲの２倍や３倍等、ＬＦＲのｎ倍（ｎは２以上の自然数）のフレームレートであるとする。
【0032】
撮像部２は、カバーレンズ、ズームレンズ、フォーカスレンズ等のレンズやシャッタ、絞り機構等を有する光学系と、該光学系を介して入射する被写体からの光を受光する例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）型やＣＣＤ（Charge Coupled Device）型等の撮像素子とを備えている。
撮像部２では、撮像素子で受光した光を光電変換して得た電気信号について、例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像画像信号（以下「撮像画像データ」とも表記する）を、後段の画像処理部３に出力する。
撮像部２では、撮像素子で受光した光を光電変換して得た電気信号について、例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像画像信号（以下「撮像画像データ」とも表記する）を、後段の画像処理部３に出力する。
【0033】
画像処理部３は、例えばＤＳＰ（Digital Signal Processor）等により画像処理プロセッサとして構成され、撮像部２からのデジタル信号（撮像画像信号）に対して、各種の信号処理を施す。例えば、ホワイトバランス調整処理や色補正処理、ガンマ補正処理、Ｙ／Ｃ変換処理、ＡＥ（Auto Exposure）処理等の信号処理を施す。
【0034】
制御部４は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えたマイクロコンピュータ（演算処理装置）を有して構成される。上記のＲＡＭは、ＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。ＲＯＭは、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。
制御部４は、上記ＲＯＭ等に記憶されたプログラムを実行することで、撮像装置１の全体制御を行う。例えば、制御部４は、撮像部２におけるフォーカス、絞り調整、シャッタスピード等のレンズ系の動作、画像処理部３における各種信号処理の指示、操作部６を用いたユーザの操作に応じた撮像動作や記録動作（記録制御部８による記録動作）、記録した画像ファイルの再生動作、ユーザインタフェース動作等について、必要各部の動作を制御する。
制御部４は、上記ＲＯＭ等に記憶されたプログラムを実行することで、撮像装置１の全体制御を行う。例えば、制御部４は、撮像部２におけるフォーカス、絞り調整、シャッタスピード等のレンズ系の動作、画像処理部３における各種信号処理の指示、操作部６を用いたユーザの操作に応じた撮像動作や記録動作（記録制御部８による記録動作）、記録した画像ファイルの再生動作、ユーザインタフェース動作等について、必要各部の動作を制御する。
【0035】
また、制御部４は、ＯＳＤ画像生成部１０が生成するＯＳＤ画像を表示部１１に表示するか否かについてのモード切替えを行う。具体的には、ＯＳＤ画像を表示部１１に表示するＯＳＤ表示モードと、ＯＳＤ画像を表示部１１に表示しないＯＳＤ非表示モードとの切替えを行う。制御部４は、このようなＯＳＤ表示モードとＯＳＤ非表示モードとの切替えを操作部６の操作に応じて行う
【0036】
電源部５は、撮像装置１が動作するための電力を供給するバッテリと撮像装置１全体の駆動に必要な電源電圧の供給制御を行う電源ＩＣ（Integrated Circuits）を備える。電源ＩＣは、制御部４からの指示に基づき電源電圧の供給制御を行う。
【0037】
操作部６は、ユーザが各種操作入力を行うための入力デバイスを総括して示している。操作部６が有する操作子としては、例えば撮像装置１の筐体に設けられた各種のボタン、ダイヤル等の操作子を挙げることができる。また、操作部６の操作子としては、表示部１１の画面上に対するタッチ操作を検出するタッチパネルを含んでもよい。
操作部６は、ユーザによる操作を検知し、検知した操作に応じた信号を制御部４に出力する。
操作部６は、ユーザによる操作を検知し、検知した操作に応じた信号を制御部４に出力する。
【0038】
センサ部７は、撮像装置１が有する各種センサを包括的に示している。例えば手ぶれ、或いは撮像装置１の姿勢や移動等の撮像装置１の全体の動きを検出するためのジャイロセンサ（角速度センサ）や加速度センサ等が設けられる。また、露光調整等のための外部照度を検出する照度センサ、さらには被写体距離を測定する測距センサが設けられてもよい。
【0039】
記録制御部８は、例えば不揮発性メモリによる記録媒体に対し、制御部４からの指示に応じて記録再生を行う。記録制御部８は、例えば記録媒体に対し動画データや静止画データ等の画像ファイルやサムネイル画像等を記録する処理を行う。
記録制御部８の実際の形態は多様に考えられる。例えば記録制御部８は、撮像装置１に内蔵されるフラッシュメモリとその書込／読出回路として構成されてもよいし、撮像装置１に着脱できる記録媒体、例えばメモリカード（可搬型のフラッシュメモリ等）に対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置１に内蔵されている形態としてＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などとして実現されることもある。
記録制御部８の実際の形態は多様に考えられる。例えば記録制御部８は、撮像装置１に内蔵されるフラッシュメモリとその書込／読出回路として構成されてもよいし、撮像装置１に着脱できる記録媒体、例えばメモリカード（可搬型のフラッシュメモリ等）に対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置１に内蔵されている形態としてＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などとして実現されることもある。
【0040】
ＨＦＲ／ＬＦＲ画像生成部９は、撮像部２から画像処理部３を介して入力される撮像画像データに対し解像度変換処理を施すと共に、制御部４からの指示に基づき、該撮像画像データにおける一部領域の画像をＨＦＲ画像、該一部領域以外の領域の画像をＬＦＲ画像（ＨＦＲ画像よりもフレームレートの低い動画像）として生成する。
ＨＦＲ／ＬＦＲ画像生成部９により生成されたＨＦＲ画像はＨ伝送路Ｌ１を介して表示部１１に出力され、ＬＦＲ画像はＬ伝送路Ｌ２を介して表示部１１に出力される。
本例において、ＨＦＲ／ＬＦＲ画像生成部９は、制御部４からの指示に基づき、ＯＳＤ表示モード時においては撮像画像データの全域の画像をＨＦＲ画像として出力する。ＨＦＲ／ＬＦＲ画像生成部９は、ＯＳＤ非表示モード時において、撮像画像データに基づくＨＦＲ画像及びＬＦＲ画像の生成や出力の処理を行う。
なお、ＨＦＲ／ＬＦＲ画像生成部９によるＨＦＲ画像、ＬＦＲ画像の生成処理の具体例については後に改めて説明する。
ＨＦＲ／ＬＦＲ画像生成部９により生成されたＨＦＲ画像はＨ伝送路Ｌ１を介して表示部１１に出力され、ＬＦＲ画像はＬ伝送路Ｌ２を介して表示部１１に出力される。
本例において、ＨＦＲ／ＬＦＲ画像生成部９は、制御部４からの指示に基づき、ＯＳＤ表示モード時においては撮像画像データの全域の画像をＨＦＲ画像として出力する。ＨＦＲ／ＬＦＲ画像生成部９は、ＯＳＤ非表示モード時において、撮像画像データに基づくＨＦＲ画像及びＬＦＲ画像の生成や出力の処理を行う。
なお、ＨＦＲ／ＬＦＲ画像生成部９によるＨＦＲ画像、ＬＦＲ画像の生成処理の具体例については後に改めて説明する。
【0041】
ＯＳＤ画像生成部１０は、例えば現在の時刻や露出モード、Ｆ値（絞り値）、電池残量等、ユーザに対する各種の通知情報を表すＯＳＤ画像を生成する。
ＯＳＤ画像生成部１０は、制御部４から指示されたフレームレートによるＯＳＤ画像を生成し、生成したＯＳＤ画像を制御部４の指示に基づき表示部１１に出力する。
ＯＳＤ画像生成部１０は、制御部４から指示されたフレームレートによるＯＳＤ画像を生成し、生成したＯＳＤ画像を制御部４の指示に基づき表示部１１に出力する。
【0042】
表示部１１は、撮像者としてのユーザに対して各種の情報表示を行う。表示部１１は、例えば撮像装置１の筐体に配置される液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスとされる。
表示部１１は、制御部４の指示に基づいて画面上に各種情報の表示を行う。例えば、表示部１１は、制御部４の指示に基づき、撮像部２により得られＨＦＲ／ＬＦＲ画像生成部９を介して入力される撮像画像をスルー画（被写体のモニタリング画像）として表示する。また、表示部１１は、記録制御部８において記録媒体から読み出された画像データの再生画像を表示することもできる。
また、表示部１１は、制御部４からの指示に基づき、ＯＳＤ表示モード時には、スルー画に対しＯＳＤ画像生成部１０が生成したＯＳＤ画像を合成した画像の表示を行う。ＯＳＤ非表示モード時には、表示部１１はＨＦＲ／ＬＦＲ画像生成部９から入力されるＨＦＲ画像とＬＦＲ画像とを合成した画像の表示を行う。
表示部１１は、制御部４の指示に基づいて画面上に各種情報の表示を行う。例えば、表示部１１は、制御部４の指示に基づき、撮像部２により得られＨＦＲ／ＬＦＲ画像生成部９を介して入力される撮像画像をスルー画（被写体のモニタリング画像）として表示する。また、表示部１１は、記録制御部８において記録媒体から読み出された画像データの再生画像を表示することもできる。
また、表示部１１は、制御部４からの指示に基づき、ＯＳＤ表示モード時には、スルー画に対しＯＳＤ画像生成部１０が生成したＯＳＤ画像を合成した画像の表示を行う。ＯＳＤ非表示モード時には、表示部１１はＨＦＲ／ＬＦＲ画像生成部９から入力されるＨＦＲ画像とＬＦＲ画像とを合成した画像の表示を行う。
【0043】
［1-2．第一実施形態としての撮像画像表示手法］
以下、図２から図５を参照し、第一実施形態としての撮像画像表示手法について説明する。
図２は、ＯＳＤ表示モード時における撮像画像の表示例についての説明図である。
図２Ａは、撮像部２で得られた撮像画像の例、図２ＢはＯＳＤ画像生成部１０で生成されたＯＳＤ画像の例を示している。図２Ｂに示すように、ＯＳＤ画像は、図中にＩ１からＩ５として例示する各種の通知情報Ｉを表す画像を含む。具体的に本例のＯＳＤ画像には、現在設定中の撮像モードを通知する撮像モード通知情報Ｉ１や、電池残量（バッテリ残量）を通知する残量通知情報Ｉ２、シャッタスピードを通知するシャッタスピード通知情報Ｉ３、Ｆ値を通知するＦ値通知情報Ｉ４、ＩＳＯ（感度）のモードを通知するＩＳＯモード通知情報Ｉ５を表す画像が含まれる。
以下、図２から図５を参照し、第一実施形態としての撮像画像表示手法について説明する。
図２は、ＯＳＤ表示モード時における撮像画像の表示例についての説明図である。
図２Ａは、撮像部２で得られた撮像画像の例、図２ＢはＯＳＤ画像生成部１０で生成されたＯＳＤ画像の例を示している。図２Ｂに示すように、ＯＳＤ画像は、図中にＩ１からＩ５として例示する各種の通知情報Ｉを表す画像を含む。具体的に本例のＯＳＤ画像には、現在設定中の撮像モードを通知する撮像モード通知情報Ｉ１や、電池残量（バッテリ残量）を通知する残量通知情報Ｉ２、シャッタスピードを通知するシャッタスピード通知情報Ｉ３、Ｆ値を通知するＦ値通知情報Ｉ４、ＩＳＯ（感度）のモードを通知するＩＳＯモード通知情報Ｉ５を表す画像が含まれる。
【0044】
ＯＳＤ表示モード時には、撮像画像をＨＦＲ画像とし、ＯＳＤ画像をＬＦＲ画像とする。具体的に、制御部４は、ＯＳＤ表示モード時には、ＨＦＲ／ＬＦＲ画像生成部９に撮像画像の全域の画像をＨＦＲ画像として生成させる指示を行うと共に、ＯＳＤ画像生成部１０には、ＯＳＤ画像をＬＦＲとしてのフレームレートで出力するように指示を行う。そして、制御部４は、表示部１１に指示を行うことで、ＨＦＲ／ＬＦＲ画像生成部９から出力される撮像画像全域の画像としてのＨＦＲ画像と、ＯＳＤ画像生成部１０から出力されるＯＳＤ画像としてのＬＦＲ画像とを図２Ｃに示すように合成した合成画像を生成させ、該合成画像の表示を実行させる。
ここで言う合成とは、複数の画像を単一の画像に統合することを意味する。
ここで言う合成とは、複数の画像を単一の画像に統合することを意味する。
【0045】
本例において、ＬＦＲ画像としてのＯＳＤ画像は、図２Ｃに示すように、ＨＦＲ画像と合成された際に該ＨＦＲ画像の外周の表示領域に表示される画像とされている。このため、本例のＯＳＤ画像生成部１０は、ＯＳＤ画像として、上述した各種の通知情報Ｉ（Ｉ１からＩ５）が外周端付近に配置された画像を生成する。
【0046】
ＯＳＤ表示モード時において、制御部４は、ＨＦＲ画像とＬＦＲ画像の表示領域を指示する情報である領域指示情報を表示部１１に対して出力する。
図３は、領域指示情報の説明図である。
本例における領域指示情報は、ＨＦＲ画像、ＬＦＲ画像ごとに、表示部１１における描画開始位置のオフセット（図中「Offset」）、描画の幅（図中「Width」）、描画の高さ（図中「Height」）の各パラメータを定めた情報とされる。描画開始位置のオフセットは、描画空間の原点位置（０，０）からの横方向、縦方向それぞれのオフセット量（画像数）を表すパラメータである。
このような領域指示情報を表示部１１に出力することで、フレームレートの異なる画像をそれぞれ適切なレイアウトで表示部１１に表示させることができる。
図３は、領域指示情報の説明図である。
本例における領域指示情報は、ＨＦＲ画像、ＬＦＲ画像ごとに、表示部１１における描画開始位置のオフセット（図中「Offset」）、描画の幅（図中「Width」）、描画の高さ（図中「Height」）の各パラメータを定めた情報とされる。描画開始位置のオフセットは、描画空間の原点位置（０，０）からの横方向、縦方向それぞれのオフセット量（画像数）を表すパラメータである。
このような領域指示情報を表示部１１に出力することで、フレームレートの異なる画像をそれぞれ適切なレイアウトで表示部１１に表示させることができる。
【0047】
ＯＳＤ表示モード時において、ＨＦＲ／ＬＦＲ画像生成部９は、図２Ｃに示す画像表示態様に応じた撮像画像の解像度変換を行う。具体的に、図２Ｃに例示する画像表示態様の場合、ＨＦＲ／ＬＦＲ画像生成部９は、画像処理部３を介して入力される撮像画像データの解像度を８８０×５６０に変換する。
【0048】
図４は、ＯＳＤ非表示モード時における撮像画像の表示例についての説明図である。
ＯＳＤ非表示モード時には、撮像画像における一部領域の画像をＨＦＲ画像とし、該一部領域以外の領域の画像をＬＦＲ画像とし、これらＨＦＲ画像とＬＦＲ画像を合成した画像を表示部１１に表示する。
具体的に、本例では、撮像画像から特定の被写体（以下「特定被写体」と表記）を検出し、特定被写体の検出領域Ａｄの画像をＨＦＲ画像とし（図４Ａ参照）、検出領域Ａｄ以外の領域の画像をＬＦＲ画像とする（図４Ｂ参照）。そして、これら検出領域Ａｄの画像としてのＨＦＲ画像と検出領域Ａｄ以外の領域の画像としてのＬＦＲ画像の合成画像を表示部１１に表示する（図４Ｃ参照）。
ＯＳＤ非表示モード時には、撮像画像における一部領域の画像をＨＦＲ画像とし、該一部領域以外の領域の画像をＬＦＲ画像とし、これらＨＦＲ画像とＬＦＲ画像を合成した画像を表示部１１に表示する。
具体的に、本例では、撮像画像から特定の被写体（以下「特定被写体」と表記）を検出し、特定被写体の検出領域Ａｄの画像をＨＦＲ画像とし（図４Ａ参照）、検出領域Ａｄ以外の領域の画像をＬＦＲ画像とする（図４Ｂ参照）。そして、これら検出領域Ａｄの画像としてのＨＦＲ画像と検出領域Ａｄ以外の領域の画像としてのＬＦＲ画像の合成画像を表示部１１に表示する（図４Ｃ参照）。
【0049】
本例において、特定被写体としては、動体としての被写体を検出する。このため、ＨＦＲ／ＬＦＲ画像生成部９は、ＯＳＤ非表示モード時において、画像処理部３を介して入力される撮像画像データについて動きベクトルを演算し、該動きベクトルに基づいて動体としての被写体の領域を検出する。動きベクトルは、Lucas-Kanade法等の時系列画像データに対する動体検出手法によって演算できる。
例えばＨＦＲ／ＬＦＲ画像生成部９は、演算した動きベクトルが閾値以上となる領域を動体としての被写体の領域として検出する。
例えばＨＦＲ／ＬＦＲ画像生成部９は、演算した動きベクトルが閾値以上となる領域を動体としての被写体の領域として検出する。
【0050】
特定被写体の検出は動体の検出に限らない。例えば、人物や動物等の被写体を検出することもできる。例えば、人物としての被写体を特定被写体とする場合には、顔検出の結果に基づいて特定被写体の領域を検出する等の手法を採ることができる。特定被写体の領域を検出する手法については、特定被写体の種類に応じた適切な手法を採ればよく、特定の手法に限定されるものではない。
【0051】
【0052】
ここで、ＨＦＲ／ＬＦＲ画像生成部９は、ＨＦＲ画像、ＬＦＲ画像として、それぞれ制御部４からの指示に基づくフレームレートによる画像を生成する。
【0053】
図６は、撮像装置１が有する実施形態としての機能をブロック化して表した機能ブロック図である。
図示のように撮像装置１は、上記した撮像画像表示手法に係る機能について、少なくとも画像生成部Ｆ１、出力部Ｆ２、及び表示部Ｆ３としての機能を有する。
画像生成部Ｆ１は、表示部Ｆ３の異なる表示領域に表示される画像として、撮像画像に基づくＨＦＲ画像と、ＨＦＲ画像よりもフレームレートの低いＬＦＲ画像とを生成する機能を表したものであり、図１に示す構成においては制御部４、ＨＦＲ／ＬＦＲ画像生成部９、及びＯＳＤ画像生成部１０が対応する。
出力部Ｆ２は、画像生成部Ｆ１が生成したＨＦＲ画像とＬＦＲ画像とを表示部Ｆ３に出力する機能を表し、図１に示す構成においてはＨＦＲ／ＬＦＲ画像生成部９、及びＯＳＤ画像生成部１０が対応する。
表示部Ｆ３は、出力部が出力したＨＦＲ画像とＬＦＲ画像とを合成して表示する機能を表し、図１に示す構成では表示部１１が対応する。
図示のように撮像装置１は、上記した撮像画像表示手法に係る機能について、少なくとも画像生成部Ｆ１、出力部Ｆ２、及び表示部Ｆ３としての機能を有する。
画像生成部Ｆ１は、表示部Ｆ３の異なる表示領域に表示される画像として、撮像画像に基づくＨＦＲ画像と、ＨＦＲ画像よりもフレームレートの低いＬＦＲ画像とを生成する機能を表したものであり、図１に示す構成においては制御部４、ＨＦＲ／ＬＦＲ画像生成部９、及びＯＳＤ画像生成部１０が対応する。
出力部Ｆ２は、画像生成部Ｆ１が生成したＨＦＲ画像とＬＦＲ画像とを表示部Ｆ３に出力する機能を表し、図１に示す構成においてはＨＦＲ／ＬＦＲ画像生成部９、及びＯＳＤ画像生成部１０が対応する。
表示部Ｆ３は、出力部が出力したＨＦＲ画像とＬＦＲ画像とを合成して表示する機能を表し、図１に示す構成では表示部１１が対応する。
【0054】
［1-3．処理手順］
図７及び図８のフローチャートを参照し、上記により説明した第一実施形態としての撮像画像表示手法を実現するための具体的な処理手順の例を説明する。
図７に示す処理は制御部４が実行する処理であり、図８に示す処理はＨＦＲ／ＬＦＲ画像生成部９が実行する処理である。
図７及び図８のフローチャートを参照し、上記により説明した第一実施形態としての撮像画像表示手法を実現するための具体的な処理手順の例を説明する。
図７に示す処理は制御部４が実行する処理であり、図８に示す処理はＨＦＲ／ＬＦＲ画像生成部９が実行する処理である。
【0055】
図７において、制御部４はステップＳ１０１で、モード切替えの有無を判定する。すなわち、ＯＳＤ表示モード／ＯＳＤ非表示モードの切替え操作の有無を待機する。
モード切替え操作がなく、モード切替えがないと判定した場合、制御部４はステップＳ１０２で処理終了条件が成立したか否かを判定する。ここでの処理終了条件とは、図７に示す処理の終了条件を意味するものであり、例えば、撮像装置１の動作モードを、表示部１１にスルー画としての撮像画像を表示する撮像モードから、記録制御部８が記録媒体から再生した画像を表示部１１に表示する再生モードへと切替える操作が行われたこと等の条件とすることが考えられる。
処理終了条件が成立していないと判定した場合、制御部４はステップＳ１０１に戻りモード切替えの有無を再度判定する。処理終了条件が成立したと判定した場合、制御部４は図７に示す一連の処理を終える。
モード切替え操作がなく、モード切替えがないと判定した場合、制御部４はステップＳ１０２で処理終了条件が成立したか否かを判定する。ここでの処理終了条件とは、図７に示す処理の終了条件を意味するものであり、例えば、撮像装置１の動作モードを、表示部１１にスルー画としての撮像画像を表示する撮像モードから、記録制御部８が記録媒体から再生した画像を表示部１１に表示する再生モードへと切替える操作が行われたこと等の条件とすることが考えられる。
処理終了条件が成立していないと判定した場合、制御部４はステップＳ１０１に戻りモード切替えの有無を再度判定する。処理終了条件が成立したと判定した場合、制御部４は図７に示す一連の処理を終える。
【0056】
ステップＳ１０１でモード切替えがあったと判定した場合、制御部４はステップＳ１０３に進んでＯＳＤ表示モードへの切替えか否かを判定する。ＯＳＤ表示モードへの切替えであれば、制御部４はステップＳ１０４に処理を進める。一方、ＯＳＤ表示モードへの切替えでなければ（つまりＯＳＤ非表示モードへの切替えであれば）、制御部４はステップＳ１０７に処理を進める。
【0057】
ステップＳ１０４で制御部４は、ＯＳＤ表示時の領域指示情報を表示部１１に出力する。すなわち、先の図２Ｃで例示したようなＨＦＲ画像（撮像画像の全域）とＯＳＤ画像の表示領域を指示する領域指示情報（図３参照）を表示部１１に対して出力する。
続くステップＳ１０５で制御部４は、撮像画像全域のＨＦＲ出力開始指示をＨＦＲ／ＬＦＲ画像生成部９に対して行う。すなわち、ＨＦＲ／ＬＦＲ画像生成部９に対し、画像処理部３から入力される撮像画像データの全域をＨＦＲとしたＨＦＲ画像の生成及び出力の開始指示を行う。
次いで、制御部４はステップＳ１０６で、ＯＳＤ画像の出力開始指示をＯＳＤ画像生成部１０に対して行う。このとき、制御部４は、ＯＳＤ画像としてＬＦＲ画像が出力されるようにＯＳＤ画像のフレームレートをＬＦＲとする指示をＯＳＤ画像生成部１０に対して行う。
続くステップＳ１０５で制御部４は、撮像画像全域のＨＦＲ出力開始指示をＨＦＲ／ＬＦＲ画像生成部９に対して行う。すなわち、ＨＦＲ／ＬＦＲ画像生成部９に対し、画像処理部３から入力される撮像画像データの全域をＨＦＲとしたＨＦＲ画像の生成及び出力の開始指示を行う。
次いで、制御部４はステップＳ１０６で、ＯＳＤ画像の出力開始指示をＯＳＤ画像生成部１０に対して行う。このとき、制御部４は、ＯＳＤ画像としてＬＦＲ画像が出力されるようにＯＳＤ画像のフレームレートをＬＦＲとする指示をＯＳＤ画像生成部１０に対して行う。
【0058】
ステップＳ１０４で出力された領域指示情報に基づき、表示部１１はＨＦＲ／ＬＦＲ画像生成部９から出力されるＨＦＲ画像とＯＳＤ画像生成部１０から出力されるＯＳＤ画像とを合成して表示する。これにより、ＯＳＤ表示モード時において図２Ｃで例示したような形態による撮像画像（及びＯＳＤ画像）の表示が実現される。
【0059】
なお、ステップＳ１０４、Ｓ１０５、Ｓ１０６の処理の順番は図示の例に限定されるものではない。
【0060】
一方、ＯＳＤ表示モードへの切替えでなかった場合におけるステップＳ１０７で制御部４は、異フレームレート出力の開始指示をＨＦＲ／ＬＦＲ画像生成部９に対して行う。異フレームレート出力とは、撮像画像の一部領域の画像をＨＦＲ画像として出力し、該一部領域以外の領域の画像をＬＦＲ画像として出力することを意味する。
【0061】
制御部４は、ステップＳ１０６又はＳ１０７の処理を実行したことに応じ、ステップＳ１０１に戻る。
【0062】
図８は、ステップＳ１０７で行われる異フレームレート出力の開始指示に応じてＨＦＲ／ＬＦＲ画像生成部９が実行する異フレームレート出力処理の一例を示したフローチャートである。
ＨＦＲ／ＬＦＲ画像生成部９は、図８に示す処理をＨＦＲ画像のフレーム周期で繰り返し実行する。
ＨＦＲ／ＬＦＲ画像生成部９は、図８に示す処理をＨＦＲ画像のフレーム周期で繰り返し実行する。
【0063】
先ず、ＨＦＲ／ＬＦＲ画像生成部９はステップＳ２０１で、ＬＦＲ画像のフレーム更新タイミングか否かを判定する。このステップＳ２０１の処理は、ＨＦＲ画像の毎フレームにおいて、今回のフレームがＬＦＲ画像のフレーム更新タイミングに対応するフレームであるか否かを判定する処理に相当する。
ＬＦＲ画像のフレーム更新タイミングでなければ、ＬＦＲ画像のフレーム画像を出力する必要はないため、ＨＦＲ／ＬＦＲ画像生成部９はステップＳ２０６でＨＦＲ画像のフレーム画像を表示部１１に出力して図８に示す一連の処理を終える。
ＬＦＲ画像のフレーム更新タイミングでなければ、ＬＦＲ画像のフレーム画像を出力する必要はないため、ＨＦＲ／ＬＦＲ画像生成部９はステップＳ２０６でＨＦＲ画像のフレーム画像を表示部１１に出力して図８に示す一連の処理を終える。
【0064】
一方、ＬＦＲ画像のフレーム更新タイミングであれば、ＨＦＲ／ＬＦＲ画像生成部９は先ずステップＳ２０２で、ＨＦＲ領域の特定処理を実行する。すなわち、撮像画像の全域のうちＨＦＲ画像とする領域を特定するための処理を実行するもので、具体的に本例では、動体としての被写体の検出領域Ａｄを特定する処理を行う。なお、動体としての被写体の領域を検出する手法の例については既に説明済みであるため重複説明は避ける。
【0065】
ステップＳ２０２に続くステップＳ２０３でＨＦＲ／ＬＦＲ画像生成部９は、領域指示情報の生成処理を行う。すなわち、ステップＳ２０２で特定した検出領域Ａｄの画像をＨＦＲ画像とし、検出領域Ａｄ以外の領域の画像をＬＦＲ画像として、これらＨＦＲ画像、ＬＦＲ画像それぞれの表示領域を指示する領域指示情報を生成する（図４Ｃ及び図５参照）。そして、続くステップＳ２０４でＨＦＲ／ＬＦＲ画像生成部９は、生成した領域指示情報を表示部１１に出力する。
【0066】
ステップＳ２０４に続くステップＳ２０５でＨＦＲ／ＬＦＲ画像生成部９は、ＬＦＲ画像のフレーム画像の出力処理を行う。すなわち、撮像画像データのフレーム画像における検出領域Ａｄ以外の領域の画像をＬＦＲ画像のフレーム画像として表示部１１に出力する。
そして、ステップＳ２０５に続くステップＳ２０６でＨＦＲ／ＬＦＲ画像生成部９は、ＨＦＲ画像のフレーム画像の出力処理として、撮像画像データのフレーム画像における検出領域Ａｄの画像をＨＦＲ画像のフレーム画像として表示部１１に出力する処理を行う。
そして、ステップＳ２０５に続くステップＳ２０６でＨＦＲ／ＬＦＲ画像生成部９は、ＨＦＲ画像のフレーム画像の出力処理として、撮像画像データのフレーム画像における検出領域Ａｄの画像をＨＦＲ画像のフレーム画像として表示部１１に出力する処理を行う。
【0067】
上記のような処理により、表示部１１に対しては、検出領域Ａｄの画像がＨＦＲで出力される一方、検出領域Ａｄ以外の領域の画像はＬＦＲにより出力される。そして、この場合の表示部１１には、ＬＦＲ画像のフレーム更新タイミングごとに、領域指示情報が出力され、表示部１１は該領域指示情報に基づきＨＦＲ画像とＬＦＲ画像を合成し、合成画像の表示を行う。
【0068】
［1-4．被写体の移動に対する対策］
ここで、被写体は画像内で移動する可能性がある。上記のようにＬＦＲ画像のフレーム更新タイミングでＨＦＲ領域の特定（特定被写体の領域検出）を行う手法を採る場合、被写体の移動が高速であると、次の特定被写体領域検出が行われるまでの間に、被写体が検出領域Ａｄからフレームアウトしてしまう虞がある。
そこで、検出領域Ａｄについては、マージンをとって広めに設定することが有効である。
ここで、被写体は画像内で移動する可能性がある。上記のようにＬＦＲ画像のフレーム更新タイミングでＨＦＲ領域の特定（特定被写体の領域検出）を行う手法を採る場合、被写体の移動が高速であると、次の特定被写体領域検出が行われるまでの間に、被写体が検出領域Ａｄからフレームアウトしてしまう虞がある。
そこで、検出領域Ａｄについては、マージンをとって広めに設定することが有効である。
【0069】
或いは、特定被写体の領域検出は、ＬＦＲ画像のフレーム周期ではなくＨＦＲ画像のフレーム周期で行うことで、移動する特定被写体への追従性を高めることもできる。
但し、特定被写体の領域検出をＨＦＲ画像のフレーム周期で行う場合には、特定被写体の移動に応じて検出領域Ａｄが移動する（ＨＦＲ領域が移動する）ことに伴い、ＬＦＲ画像側には、被写体が移動前に存在していた部分の背景となる部分の画像が存在しなくなり（次のＬＦＲ画像フレーム更新までの間存在しなくなり）、そのため、合成画像において画欠けが生じてしまう。
但し、特定被写体の領域検出をＨＦＲ画像のフレーム周期で行う場合には、特定被写体の移動に応じて検出領域Ａｄが移動する（ＨＦＲ領域が移動する）ことに伴い、ＬＦＲ画像側には、被写体が移動前に存在していた部分の背景となる部分の画像が存在しなくなり（次のＬＦＲ画像フレーム更新までの間存在しなくなり）、そのため、合成画像において画欠けが生じてしまう。
【0070】
そこで、図９に例示するように、特定被写体の移動に応じてＨＦＲ領域を拡大することもできる。
図９において、図９Ａは、撮像画像の或るフレーム画像Ｇ－ｆ１から次のフレーム画像Ｇ－ｆ２にかけての特定被写体Ｓの移動の例を示している。
図９Ｂでは、フレーム画像Ｇ－ｆ１における特定被写体Ｓの検出領域Ａｄ－ｆ１と、フレーム画像Ｇ－ｆ２における特定被写体Ｓの検出領域Ａｄ－ｆ２とを示しているが、検出領域Ａｄの更新がＨＦＲ画像のフレーム周期で行われる場合には、ＬＦＲ画像のフレーム更新が行われるまでの間、ＬＦＲ画像はフレーム画像Ｇ－ｆ１から検出領域Ａｄ－ｆ１を除いた領域の画像のままとなる一方、ＨＦＲ領域は検出領域Ａｄ－ｆ２に更新されてしまうため、検出領域Ａｄ－ｆ１において検出領域Ａｄ－ｆ２と重複していない部分に画像が存在しなくなる。
そこで、検出領域Ａｄ－ｆ２の範囲を、検出領域Ａｄ－ｆ１の全域を覆う範囲にまで拡大するように補正する。すなわち、ＨＦＲ画像において、１つ前のフレームから特定被写体Ｓの移動が検出された場合には、現フレームにおける検出領域Ａｄを、１つ前のフレームにおける検出領域Ａｄの全域を覆う範囲まで拡大する補正を行う。
なお、ＨＦＲ画像の各フレームのうち、ＬＦＲ画像のフレーム更新タイミングに対応するフレームにおいては、ＬＦＲ領域が検出領域Ａｄ（つまりＨＦＲ領域）に応じて更新されるため、該フレームでは上記のような検出領域Ａｄの補正を行う必要はない。
図９において、図９Ａは、撮像画像の或るフレーム画像Ｇ－ｆ１から次のフレーム画像Ｇ－ｆ２にかけての特定被写体Ｓの移動の例を示している。
図９Ｂでは、フレーム画像Ｇ－ｆ１における特定被写体Ｓの検出領域Ａｄ－ｆ１と、フレーム画像Ｇ－ｆ２における特定被写体Ｓの検出領域Ａｄ－ｆ２とを示しているが、検出領域Ａｄの更新がＨＦＲ画像のフレーム周期で行われる場合には、ＬＦＲ画像のフレーム更新が行われるまでの間、ＬＦＲ画像はフレーム画像Ｇ－ｆ１から検出領域Ａｄ－ｆ１を除いた領域の画像のままとなる一方、ＨＦＲ領域は検出領域Ａｄ－ｆ２に更新されてしまうため、検出領域Ａｄ－ｆ１において検出領域Ａｄ－ｆ２と重複していない部分に画像が存在しなくなる。
そこで、検出領域Ａｄ－ｆ２の範囲を、検出領域Ａｄ－ｆ１の全域を覆う範囲にまで拡大するように補正する。すなわち、ＨＦＲ画像において、１つ前のフレームから特定被写体Ｓの移動が検出された場合には、現フレームにおける検出領域Ａｄを、１つ前のフレームにおける検出領域Ａｄの全域を覆う範囲まで拡大する補正を行う。
なお、ＨＦＲ画像の各フレームのうち、ＬＦＲ画像のフレーム更新タイミングに対応するフレームにおいては、ＬＦＲ領域が検出領域Ａｄ（つまりＨＦＲ領域）に応じて更新されるため、該フレームでは上記のような検出領域Ａｄの補正を行う必要はない。
【0071】
図９Ｃは、フレーム画像Ｇ－ｆ１に対応した領域指示情報の例と、フレーム画像Ｇ－ｆ２に対応した領域指示情報の例を示している。これらの領域指示情報を比較すると、特定被写体Ｓの移動に応じて、ＨＦＲ領域は、検出領域Ａｄ－ｆ２のみでなく検出領域Ａｄ－ｆ１全体を含む領域として設定されることが分かる。
【0072】
図１０のフローチャートは、上記のような被写体の移動に応じた検出領域Ａｄの補正を行う場合に対応した異フレームレート出力処理を例示している。なお、この場合の異フレームレート出力処理としても、ＨＦＲ画像のフレーム毎に繰り返し実行する処理とされる。
【0073】
この場合もＨＦＲ／ＬＦＲ画像生成部９は、先ずステップＳ２０１でＬＦＲ画像のフレーム更新タイミングか否かを判定し、ＬＦＲ画像のフレーム更新タイミングであれば、ステップＳ２０２からステップＳ２０４の処理を実行する。つまり、図８の処理と同様、ＬＦＲ画像のフレーム更新タイミングである場合には、ＨＦＲ領域の特定処理（Ｓ２０２：本例では動体としての特定被写体Ｓの領域検出）、特定したＨＦＲ領域（本例では検出領域Ａｄ）に基づく領域指示情報の生成処理（Ｓ２０３）、及びその出力処理（Ｓ２０４）が行われる。そして、ステップＳ２０４の出力処理を実行したことに応じ、ＨＦＲ／ＬＦＲ画像生成部９はステップＳ２１０でＨＦＲ画像、ＬＦＲ画像のフレーム画像を表示部１１に出力する処理を実行し、図１０に示す一連の処理を終える。
【0074】
一方、ステップＳ２０１でＬＦＲ画像のフレーム更新タイミングでないと判定した場合、ＨＦＲ／ＬＦＲ画像生成部９はステップＳ２１１でＨＦＲ領域の特定処理、つまり動体としての特定被写体Ｓの領域検出処理を実行し、続くステップＳ２１２で被写体が移動したか否かを判定する。すなわち、現フレームについてステップＳ２１１の処理で検出した特定被写体Ｓの位置と、一つ前のフレームについて実行したＨＦＲ領域特定処理（Ｓ２１１又はＳ２０２）で検出した特定被写体Ｓの位置とを比較し、特定被写体Ｓが移動したか否かを判定する。
被写体が移動したと判定した場合、ＨＦＲ／ＬＦＲ画像生成部９はステップＳ２１３で被写体の移動を考慮したＨＦＲ領域の補正処理を実行する。すなわち、図９で例示したように、現フレームにおける検出領域Ａｄを、１つ前のフレームにおける検出領域Ａｄの全域を覆う範囲まで拡大し、該拡大した領域をＨＦＲ領域として設定する。
一方、被写体が移動していないと判定した場合、ＨＦＲ／ＬＦＲ画像生成部９はステップＳ２１４で前フレームのＨＦＲ領域を維持する。すなわち、現フレームのＨＦＲ領域を一つ前のフレームで設定したＨＦＲ領域（前フレームで補正が行われている場合は補正後のＨＦＲ領域）と同じ領域に設定する。
被写体が移動したと判定した場合、ＨＦＲ／ＬＦＲ画像生成部９はステップＳ２１３で被写体の移動を考慮したＨＦＲ領域の補正処理を実行する。すなわち、図９で例示したように、現フレームにおける検出領域Ａｄを、１つ前のフレームにおける検出領域Ａｄの全域を覆う範囲まで拡大し、該拡大した領域をＨＦＲ領域として設定する。
一方、被写体が移動していないと判定した場合、ＨＦＲ／ＬＦＲ画像生成部９はステップＳ２１４で前フレームのＨＦＲ領域を維持する。すなわち、現フレームのＨＦＲ領域を一つ前のフレームで設定したＨＦＲ領域（前フレームで補正が行われている場合は補正後のＨＦＲ領域）と同じ領域に設定する。
【0075】
ステップＳ２１３又はＳ２１４の処理を実行したことに応じ、ＨＦＲ／ＬＦＲ画像生成部９はステップＳ２１５で領域指示情報の生成処理を行う。すなわち、ステップＳ２１３又はＳ２１４で設定されたＨＦＲ領域に基づき、ＨＦＲ画像、ＬＦＲ画像それぞれの表示領域を指示する領域指示情報の生成を行う。そして、続くステップＳ２１６でＨＦＲ／ＬＦＲ画像生成部９は、生成した領域指示情報の出力処理を実行し、さらに続くステップＳ２１７でＨＦＲ画像のフレーム画像の出力処理を実行し、図１０に示す一連の処理を終える。
【0076】
［1-5．変形例］
ここで、上記では、ＨＦＲとＬＦＲはそれぞれ一定のレートとすることを前提としたが、ＨＦＲとＬＦＲの少なくとも何れか一方を可変レートとすることもできる。特に、ＬＦＲ画像としてＯＳＤ画像を用いる場合には、ＯＳＤ画像のフレームレートを可変とすることが考えられる。
例えば、ＯＳＤ画像において、通知情報Ｉの内容に変化がなければ、同じ画像を表示し続けても通知機能上の問題は生じない。そこで、ＯＳＤ画像をＬＦＲ画像として出力する場合において、ＯＳＤ画像のフレーム更新を、通知情報Ｉの更新タイミングを契機に実行することもできる。この場合、制御部４は、例えば撮像モード通知情報Ｉ１や残量通知情報Ｉ２、シャッタスピード通知情報Ｉ３等の各通知情報Ｉについて情報内容を更新すべきか否かを判定し、何れかの通知情報Ｉについて情報内容を更新すべきと判定した場合に、ＯＳＤ画像生成部１０にＯＳＤ画像を更新させ、表示部１１に出力させる。
このようにＬＦＲ画像としてのＯＳＤ画像のフレーム更新を通知情報Ｉの更新タイミングを契機に行うようにすることで、ＬＦＲ画像の伝送量の低減を図ることができ、画像伝送に係る帯域幅や消費電力の削減を図ることができる。
ここで、上記では、ＨＦＲとＬＦＲはそれぞれ一定のレートとすることを前提としたが、ＨＦＲとＬＦＲの少なくとも何れか一方を可変レートとすることもできる。特に、ＬＦＲ画像としてＯＳＤ画像を用いる場合には、ＯＳＤ画像のフレームレートを可変とすることが考えられる。
例えば、ＯＳＤ画像において、通知情報Ｉの内容に変化がなければ、同じ画像を表示し続けても通知機能上の問題は生じない。そこで、ＯＳＤ画像をＬＦＲ画像として出力する場合において、ＯＳＤ画像のフレーム更新を、通知情報Ｉの更新タイミングを契機に実行することもできる。この場合、制御部４は、例えば撮像モード通知情報Ｉ１や残量通知情報Ｉ２、シャッタスピード通知情報Ｉ３等の各通知情報Ｉについて情報内容を更新すべきか否かを判定し、何れかの通知情報Ｉについて情報内容を更新すべきと判定した場合に、ＯＳＤ画像生成部１０にＯＳＤ画像を更新させ、表示部１１に出力させる。
このようにＬＦＲ画像としてのＯＳＤ画像のフレーム更新を通知情報Ｉの更新タイミングを契機に行うようにすることで、ＬＦＲ画像の伝送量の低減を図ることができ、画像伝送に係る帯域幅や消費電力の削減を図ることができる。
【0077】
また、上記では、ＯＳＤ表示モード時において、撮像画像の全域をＨＦＲ領域とする例を挙げたが、ＯＳＤ表示モード時においても、撮像画像について、ＨＦＲ領域とＬＦＲ領域とに分けた画像出力を行うこともできる。具体的には、例えばＯＳＤ画像の内側の表示領域に表示される撮像画像について、特定被写体Ｓの検出領域ＡｄをＨＦＲ領域、検出領域Ａｄ以外の領域をＬＦＲ領域とした画像出力を行うものである。
【0078】
＜２．第二実施形態＞
続いて、第二実施形態について説明する。
図１１は、第二実施形態としての撮像装置１Ａの内部構成例を示したブロック図である。
なお、以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。
続いて、第二実施形態について説明する。
図１１は、第二実施形態としての撮像装置１Ａの内部構成例を示したブロック図である。
なお、以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。
【0079】
第二実施形態は、ＨＦＲ画像とＬＦＲ画像を単一の伝送路に時分割出力するものである。
撮像装置１Ａにおいて、撮像装置１との差異点は、ＨＦＲ／ＬＦＲ画像生成部９に代えてＨＦＲ／ＬＦＲ画像生成部９Ａが設けられた点、及び表示部１１に代えて表示部１１Ａが設けられた点、及び、Ｈ伝送路Ｌ１とＬ伝送路Ｌ２が省略された代わりに共通伝送路Ｌ３が設けられた点である。
撮像装置１Ａにおいて、撮像装置１との差異点は、ＨＦＲ／ＬＦＲ画像生成部９に代えてＨＦＲ／ＬＦＲ画像生成部９Ａが設けられた点、及び表示部１１に代えて表示部１１Ａが設けられた点、及び、Ｈ伝送路Ｌ１とＬ伝送路Ｌ２が省略された代わりに共通伝送路Ｌ３が設けられた点である。
【0080】
ＨＦＲ／ＬＦＲ画像生成部９Ａは、画像処理部３を介して入力される撮像画像データに基づき生成したＨＦＲ画像とＬＦＲ画像を共通伝送路Ｌ３に時分割出力する。
表示部１１Ａは、共通伝送路Ｌ３を介して入力されるＨＦＲ画像とＬＦＲ画像を合成して表示する。
表示部１１Ａは、共通伝送路Ｌ３を介して入力されるＨＦＲ画像とＬＦＲ画像を合成して表示する。
【0081】
ここで、ＨＦＲ画像とＬＦＲ画像を単一の伝送路に時分割出力する手法については種々考えられるが、図１２を参照しその一例を説明する。
ここでは、ＬＦＲはＨＦＲの１／３のフレームレートであるとする。
図１２Ａに示すように、この場合には、ＬＦＲ画像の１枚のフレーム画像（図中「ＬＦＲ１」）につき、ＨＦＲ画像のフレーム画像を３枚伝送することになる（図中「ＨＦＲ１」「ＨＦＲ２」「ＨＦＲ３」）。
なお以下、ＬＦＲ画像のフレーム画像については「ＬＦＲフレーム画像」、ＨＦＲ画像のフレーム画像については「ＨＦＲフレーム画像」と表記する。
ここでは、ＬＦＲはＨＦＲの１／３のフレームレートであるとする。
図１２Ａに示すように、この場合には、ＬＦＲ画像の１枚のフレーム画像（図中「ＬＦＲ１」）につき、ＨＦＲ画像のフレーム画像を３枚伝送することになる（図中「ＨＦＲ１」「ＨＦＲ２」「ＨＦＲ３」）。
なお以下、ＬＦＲ画像のフレーム画像については「ＬＦＲフレーム画像」、ＨＦＲ画像のフレーム画像については「ＨＦＲフレーム画像」と表記する。
【0082】
このとき、単位時間あたりのデータ伝送量を一定とするため、ＬＦＲフレーム画像については、３等分に領域分割し、該領域分割で得られた第一領域、第二領域、第三領域の各画像を共通伝送路Ｌ３にＨＦＲフレーム画像と合わせて時分割出力する（図１２Ｂ参照）。
具体的には、１枚のＬＦＲフレーム画像に対応する３枚のＨＦＲフレーム画像を、時間軸上の先頭側から順に第一ＨＦＲフレーム画像（ＨＦＲ１）、第二ＨＦＲフレーム画像（ＨＦＲ２）、第三ＨＦＲフレーム画像（ＨＦＲ３）としたとき、「第一ＨＦＲフレーム画像及びＬＦＲフレーム画像の第一領域の画像（ＬＦＲ１－１）の組」、「第二ＨＦＲフレーム画像及びＬＦＲフレーム画像の第二領域の画像（ＬＦＲ１－２）の組」、「第三ＨＦＲフレーム画像及びＬＦＲフレーム画像の第三領域の画像（ＬＦＲ１－３）の組」を、共通伝送路Ｌ３に順に出力する。なおこの際、各画像の組の出力は、伝送に係る同期信号に従って行う。
これにより、ＨＦＲ画像はＬＦＲ画像の３倍のフレームレートで表示部１１Ａに出力される。
具体的には、１枚のＬＦＲフレーム画像に対応する３枚のＨＦＲフレーム画像を、時間軸上の先頭側から順に第一ＨＦＲフレーム画像（ＨＦＲ１）、第二ＨＦＲフレーム画像（ＨＦＲ２）、第三ＨＦＲフレーム画像（ＨＦＲ３）としたとき、「第一ＨＦＲフレーム画像及びＬＦＲフレーム画像の第一領域の画像（ＬＦＲ１－１）の組」、「第二ＨＦＲフレーム画像及びＬＦＲフレーム画像の第二領域の画像（ＬＦＲ１－２）の組」、「第三ＨＦＲフレーム画像及びＬＦＲフレーム画像の第三領域の画像（ＬＦＲ１－３）の組」を、共通伝送路Ｌ３に順に出力する。なおこの際、各画像の組の出力は、伝送に係る同期信号に従って行う。
これにより、ＨＦＲ画像はＬＦＲ画像の３倍のフレームレートで表示部１１Ａに出力される。
【0083】
ＨＦＲ／ＬＦＲ画像生成部９Ａは、異フレームレート出力処理として、ＬＦＲフレーム画像ごとに、上記した領域分割、及び各領域の画像とＨＦＲフレーム画像の組の共通伝送路Ｌ３に対する時分割出力を行う。
またＨＦＲ／ＬＦＲ画像生成部９Ａは、ＨＦＲ画像、ＬＦＲ画像それぞれの表示領域を指示する領域指示情報を共通伝送路Ｌ３を介して表示部１１Ａに出力する。この場合の領域指示情報は、図８のようにＬＦＲ画像のフレーム周期で特定被写体Ｓの領域検出を行う場合には、ＬＦＲ画像のフレーム更新タイミングごとに更新する。或いは、図１０のようにＨＦＲ画像のフレーム周期で特定被写体Ｓの領域検出を行う場合には、領域指示情報はＨＦＲ画像のフレーム更新タイミングごとに更新する。
またＨＦＲ／ＬＦＲ画像生成部９Ａは、ＨＦＲ画像、ＬＦＲ画像それぞれの表示領域を指示する領域指示情報を共通伝送路Ｌ３を介して表示部１１Ａに出力する。この場合の領域指示情報は、図８のようにＬＦＲ画像のフレーム周期で特定被写体Ｓの領域検出を行う場合には、ＬＦＲ画像のフレーム更新タイミングごとに更新する。或いは、図１０のようにＨＦＲ画像のフレーム周期で特定被写体Ｓの領域検出を行う場合には、領域指示情報はＨＦＲ画像のフレーム更新タイミングごとに更新する。
【0084】
表示部１１Ａは、時分割出力されたＬＦＲフレーム画像の各領域の画像からＬＦＲフレーム画像を再生し、再生したＬＦＲフレーム画像を、第一、第二、第三ＨＦＲフレーム画像と順時合成し、各合成画像を順に表示する。
【0085】
なお、上記では、ＬＦＲフレーム画像の領域分割を横方向分割（分割線が横方向に平行となる分割）により行う例を挙げたが、領域分割の具体的手法については特に限定されるものではなく、例えば縦方向分割とすることもできる。
また、ＬＦＲフレーム画像を等分割することは必須ではなく、非等分割とすることも可能である。
また、ＬＦＲフレーム画像を等分割することは必須ではなく、非等分割とすることも可能である。
【0086】
また、上記のような単一伝送路に対する時分割出力を行う場合においても、特定被写体Ｓの移動を考慮したＨＦＲ領域の補正を行うことは勿論可能である。
【0087】
さらに、ＨＦＲ画像とＬＦＲ画像とを単一伝送路に時分割出力する手法は、ＯＳＤ画像をＬＦＲ画像とする場合にも好適に適用できるものである。
【0088】
＜３．第三実施形態＞
図１３は、第三実施形態としての撮像装置１Ｂの内部構成例を示したブロック図である。
図示のように撮像装置１Ｂにおいては、操作部６においてタッチパネル６ａが設けられる。タッチパネル６ａは、表示部１１における表示画面（以下「表示画面１１ａ」と表記する）に対するタッチ操作を検出する。
図１３は、第三実施形態としての撮像装置１Ｂの内部構成例を示したブロック図である。
図示のように撮像装置１Ｂにおいては、操作部６においてタッチパネル６ａが設けられる。タッチパネル６ａは、表示部１１における表示画面（以下「表示画面１１ａ」と表記する）に対するタッチ操作を検出する。
【0089】
第三実施形態としての撮像装置１Ｂにおいては、表示画面１１ａ上における位置を指定する操作に基づき、ＨＦＲ領域の設定が行われる。具体的には、表示画面１１ａに対するタッチ操作に基づき、ＨＦＲ領域の設定が行われる。
【0090】
図１４、図１５を参照し、第三実施形態におけるＨＦＲ領域の設定例を説明する。
図１４は、タッチ操作に応じてＨＦＲ領域の位置を変更する例を示している。
図１４Ａは、特定被写体Ｓの検出領域ＡｄがＨＦＲ領域とされている状態を例示している。本例において、表示画面１１ａには、ＨＦＲ領域の位置及び範囲（サイズ）を表す領域枠Ｗａが表示される。この領域枠Ｗａは、制御部４が表示部１１に指示することで表示させる。
図１４は、タッチ操作に応じてＨＦＲ領域の位置を変更する例を示している。
図１４Ａは、特定被写体Ｓの検出領域ＡｄがＨＦＲ領域とされている状態を例示している。本例において、表示画面１１ａには、ＨＦＲ領域の位置及び範囲（サイズ）を表す領域枠Ｗａが表示される。この領域枠Ｗａは、制御部４が表示部１１に指示することで表示させる。
【0091】
図１４Ａに示す状態において、ユーザが図１４Ｂに示すように表示画面１１ａ上の任意位置をタッチしたとする。
このタッチ操作に応じては、図１４Ｃに示すように、領域枠Ｗａで示されるＨＦＲ領域の位置がタッチされた位置に応じた位置に変更される。
このタッチ操作に応じては、図１４Ｃに示すように、領域枠Ｗａで示されるＨＦＲ領域の位置がタッチされた位置に応じた位置に変更される。
【0092】
上記のようなタッチ操作に応じたＨＦＲ領域の位置の変更は、制御部４の制御に基づき行われる。具体的に、制御部４は、表示画面１１ａに対するタッチ操作が行われたことに応じ、タッチ位置に応じたＨＦＲ領域の位置をＨＦＲ／ＬＦＲ画像生成部９に指示する。この場合のＨＦＲ／ＬＦＲ画像生成部９は、ＨＦＲ領域の位置を該指示された位置に設定し、ＨＦＲ画像とＬＦＲ画像の生成及び出力を行う。
【0093】
図１５は、タッチ操作に応じてＨＦＲ領域の範囲を変更する例を示している。
本例では、図１５Ａから図１５Ｂへの遷移として示すように、領域枠Ｗａがタッチされた状態から、該タッチされた指により表示画面１１ａをなぞる操作が行われたことに応じ、ＨＦＲ領域の範囲を拡大（又は縮小）する。例えば、図１５Ｂのように領域枠Ｗａを外側に広げる方向へのなぞり操作に応じてＨＦＲ領域の範囲を拡大し、逆に領域枠Ｗａを内側に狭める方向へのなぞり操作に応じてＨＦＲ領域の範囲を縮小する。
なお、上記のなぞり操作は、表示画面１１ａの面内における方向を指示する操作と換言することができる。
本例では、図１５Ａから図１５Ｂへの遷移として示すように、領域枠Ｗａがタッチされた状態から、該タッチされた指により表示画面１１ａをなぞる操作が行われたことに応じ、ＨＦＲ領域の範囲を拡大（又は縮小）する。例えば、図１５Ｂのように領域枠Ｗａを外側に広げる方向へのなぞり操作に応じてＨＦＲ領域の範囲を拡大し、逆に領域枠Ｗａを内側に狭める方向へのなぞり操作に応じてＨＦＲ領域の範囲を縮小する。
なお、上記のなぞり操作は、表示画面１１ａの面内における方向を指示する操作と換言することができる。
【0094】
上記のようなＨＦＲ領域の範囲の変更は、制御部４の制御に基づき行われる。具体的に、制御部４は、領域枠Ｗａの表示領域をタッチする操作が行われた状態から該タッチされた指で表示画面１１ａをなぞる操作が行われたことに応じ、なぞり方向及びなぞり量に応じて定めたＨＦＲ領域の範囲指定情報をＨＦＲ／ＬＦＲ画像生成部９に指示する。ＨＦＲ／ＬＦＲ画像生成部９は、該範囲指定情報に従ってＨＦＲ領域の範囲を設定し、ＨＦＲ画像とＬＦＲ画像の生成及び出力を行う。
【0095】
なお、上記ではＨＦＲ領域の位置の設定に関して、既に設定されたＨＦＲ領域の位置を変更する例を挙げたが、ＨＦＲ領域が未設定の状態で行われた位置の指定操作に応じて、該操作による指定位置に応じた位置にＨＦＲ領域を設定することもできる。
【0096】
＜４．変形例＞
ここで、実施形態としては上記で例示した具体例に限定されるものでなく、多様な変形例が考えられるものである。
例えば、上記では、ＨＦＲ領域の位置や範囲の指定操作が表示画面１１ａに対するタッチ操作として行われる例を挙げたが、これに代えて、表示画面１１ａ内に表示したカーソル等のポインタを用いた操作とすることもできる。例えば、位置の指定操作は、所望の位置にポインタを位置させた状態で所定のボタンを押圧する等の操作とすることも考えられる。このとき、例えば十字キー等の変位指示操作子により、表示画面１１ａ内におけるポインタの変位の指示が可能となるようにしておく。また、範囲の指定操作は、例えば領域枠Ｗａの表示領域にポインタを位置させた状態で所定のボタンを押圧しながら上記の変位指示操作子によりポインタを変位させる操作等とすることも考えられる。
ここで、実施形態としては上記で例示した具体例に限定されるものでなく、多様な変形例が考えられるものである。
例えば、上記では、ＨＦＲ領域の位置や範囲の指定操作が表示画面１１ａに対するタッチ操作として行われる例を挙げたが、これに代えて、表示画面１１ａ内に表示したカーソル等のポインタを用いた操作とすることもできる。例えば、位置の指定操作は、所望の位置にポインタを位置させた状態で所定のボタンを押圧する等の操作とすることも考えられる。このとき、例えば十字キー等の変位指示操作子により、表示画面１１ａ内におけるポインタの変位の指示が可能となるようにしておく。また、範囲の指定操作は、例えば領域枠Ｗａの表示領域にポインタを位置させた状態で所定のボタンを押圧しながら上記の変位指示操作子によりポインタを変位させる操作等とすることも考えられる。
【0097】
また、上記では、ＨＦＲ画像とＬＦＲ画像の生成を行う画像生成部（Ｆ１）、及びＨＦＲ画像とＬＦＲ画像の出力を行う出力部（Ｆ２）と、ＨＦＲ画像とＬＦＲ画像を合成して表示する表示部（Ｆ３）とが撮像装置としての同一装置内に設けられる例を挙げたが、画像生成部及び出力部と表示部とがそれぞれ別々の装置に設けられた構成を採ることも可能である。
【0098】
＜５．応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、手術室システムに適用されてもよい。
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、手術室システムに適用されてもよい。
【0099】
図１６は、本開示に係る技術が適用され得る手術室システム５１００の全体構成を概略的に示す図である。図１６を参照すると、手術室システム５１００は、手術室内に設置される装置群が視聴覚コントローラ（AV Controller）５１０７及び手術室制御装置５１０９を介して互いに連携可能に接続されることにより構成される。
【0100】
手術室には、様々な装置が設置され得る。図１６では、一例として、内視鏡下手術のための各種の装置群５１０１と、手術室の天井に設けられ術者の手元を撮像するシーリングカメラ５１８７と、手術室の天井に設けられ手術室全体の様子を撮像する術場カメラ５１８９と、複数の表示装置５１０３Ａ～５１０３Ｄと、レコーダ５１０５と、患者ベッド５１８３と、照明５１９１と、を図示している。
【0101】
ここで、これらの装置のうち、装置群５１０１は、後述する内視鏡手術システム５１１３に属するものであり、内視鏡や当該内視鏡によって撮像された画像を表示する表示装置等からなる。内視鏡手術システム５１１３に属する各装置は医療用機器とも呼称される。一方、表示装置５１０３Ａ～５１０３Ｄ、レコーダ５１０５、患者ベッド５１８３及び照明５１９１は、内視鏡手術システム５１１３とは別個に、例えば手術室に備え付けられている装置である。これらの内視鏡手術システム５１１３に属さない各装置は非医療用機器とも呼称される。視聴覚コントローラ５１０７及び／又は手術室制御装置５１０９は、これら医療機器及び非医療機器の動作を互いに連携して制御する。
【0102】
視聴覚コントローラ５１０７は、医療機器及び非医療機器における画像表示に関する処理を、統括的に制御する。具体的には、手術室システム５１００が備える装置のうち、装置群５１０１、シーリングカメラ５１８７及び術場カメラ５１８９は、手術中に表示すべき情報（以下、表示情報ともいう）を発信する機能を有する装置（以下、発信元の装置とも呼称する）であり得る。また、表示装置５１０３Ａ～５１０３Ｄは、表示情報が出力される装置（以下、出力先の装置とも呼称する）であり得る。また、レコーダ５１０５は、発信元の装置及び出力先の装置の双方に該当する装置であり得る。視聴覚コントローラ５１０７は、発信元の装置及び出力先の装置の動作を制御し、発信元の装置から表示情報を取得するとともに、当該表示情報を出力先の装置に送信し、表示又は記録させる機能を有する。なお、表示情報とは、手術中に撮像された各種の画像や、手術に関する各種の情報（例えば、患者の身体情報や、過去の検査結果、術式についての情報等）等である。
【0103】
具体的には、視聴覚コントローラ５１０７には、装置群５１０１から、表示情報として、内視鏡によって撮像された患者の体腔内の術部の画像についての情報が送信され得る。また、シーリングカメラ５１８７から、表示情報として、当該シーリングカメラ５１８７によって撮像された術者の手元の画像についての情報が送信され得る。また、術場カメラ５１８９から、表示情報として、当該術場カメラ５１８９によって撮像された手術室全体の様子を示す画像についての情報が送信され得る。なお、手術室システム５１００に撮像機能を有する他の装置が存在する場合には、視聴覚コントローラ５１０７は、表示情報として、当該他の装置からも当該他の装置によって撮像された画像についての情報を取得してもよい。
【0104】
あるいは、例えば、レコーダ５１０５には、過去に撮像されたこれらの画像についての情報が視聴覚コントローラ５１０７によって記録されている。視聴覚コントローラ５１０７は、表示情報として、レコーダ５１０５から当該過去に撮像された画像についての情報を取得することができる。なお、レコーダ５１０５には、手術に関する各種の情報も事前に記録されていてもよい。
【0105】
視聴覚コントローラ５１０７は、出力先の装置である表示装置５１０３Ａ～５１０３Ｄの少なくともいずれかに、取得した表示情報（すなわち、手術中に撮影された画像や、手術に関する各種の情報）を表示させる。図示する例では、表示装置５１０３Ａは手術室の天井から吊り下げられて設置される表示装置であり、表示装置５１０３Ｂは手術室の壁面に設置される表示装置であり、表示装置５１０３Ｃは手術室内の机上に設置される表示装置であり、表示装置５１０３Ｄは表示機能を有するモバイル機器（例えば、タブレットＰＣ（Personal Computer））である。
【0106】
また、図１６では図示を省略しているが、手術室システム５１００には、手術室の外部の装置が含まれてもよい。手術室の外部の装置は、例えば、病院内外に構築されたネットワークに接続されるサーバや、医療スタッフが用いるＰＣ、病院の会議室に設置されるプロジェクタ等であり得る。このような外部装置が病院外にある場合には、視聴覚コントローラ５１０７は、遠隔医療のために、テレビ会議システム等を介して、他の病院の表示装置に表示情報を表示させることもできる。
【0107】
手術室制御装置５１０９は、非医療機器における画像表示に関する処理以外の処理を、統括的に制御する。例えば、手術室制御装置５１０９は、患者ベッド５１８３、シーリングカメラ５１８７、術場カメラ５１８９及び照明５１９１の駆動を制御する。
【0108】
手術室システム５１００には、集中操作パネル５１１１が設けられており、ユーザは、当該集中操作パネル５１１１を介して、視聴覚コントローラ５１０７に対して画像表示についての指示を与えたり、手術室制御装置５１０９に対して非医療機器の動作についての指示を与えることができる。集中操作パネル５１１１は、表示装置の表示面上にタッチパネルが設けられて構成される。
【0109】
図１７は、集中操作パネル５１１１における操作画面の表示例を示す図である。図１７では、一例として、手術室システム５１００に、出力先の装置として、２つの表示装置が設けられている場合に対応する操作画面を示している。図１７を参照すると、操作画面５１９３には、発信元選択領域５１９５と、プレビュー領域５１９７と、コントロール領域５２０１と、が設けられる。
【0110】
発信元選択領域５１９５には、手術室システム５１００に備えられる発信元装置と、当該発信元装置が有する表示情報を表すサムネイル画面と、が紐付けられて表示される。ユーザは、表示装置に表示させたい表示情報を、発信元選択領域５１９５に表示されているいずれかの発信元装置から選択することができる。
【0111】
プレビュー領域５１９７には、出力先の装置である２つの表示装置（Monitor1、Monitor2）に表示される画面のプレビューが表示される。図示する例では、１つの表示装置において４つの画像がＰｉｎＰ表示されている。当該４つの画像は、発信元選択領域５１９５において選択された発信元装置から発信された表示情報に対応するものである。４つの画像のうち、１つはメイン画像として比較的大きく表示され、残りの３つはサブ画像として比較的小さく表示される。ユーザは、４つの画像が表示された領域を適宜選択することにより、メイン画像とサブ画像を入れ替えることができる。また、４つの画像が表示される領域の下部には、ステータス表示領域５１９９が設けられており、当該領域に手術に関するステータス（例えば、手術の経過時間や、患者の身体情報等）が適宜表示され得る。
【0112】
コントロール領域５２０１には、発信元の装置に対して操作を行うためのＧＵＩ（Graphical User Interface）部品が表示される発信元操作領域５２０３と、出力先の装置に対して操作を行うためのＧＵＩ部品が表示される出力先操作領域５２０５と、が設けられる。図示する例では、発信元操作領域５２０３には、撮像機能を有する発信元の装置におけるカメラに対して各種の操作（パン、チルト及びズーム）を行うためのＧＵＩ部品が設けられている。ユーザは、これらのＧＵＩ部品を適宜選択することにより、発信元の装置におけるカメラの動作を操作することができる。なお、図示は省略しているが、発信元選択領域５１９５において選択されている発信元の装置がレコーダである場合（すなわち、プレビュー領域５１９７において、レコーダに過去に記録された画像が表示されている場合）には、発信元操作領域５２０３には、当該画像の再生、再生停止、巻き戻し、早送り等の操作を行うためのＧＵＩ部品が設けられ得る。
【0113】
また、出力先操作領域５２０５には、出力先の装置である表示装置における表示に対する各種の操作（スワップ、フリップ、色調整、コントラスト調整、２Ｄ表示と３Ｄ表示の切替え）を行うためのＧＵＩ部品が設けられている。ユーザは、これらのＧＵＩ部品を適宜選択することにより、表示装置における表示を操作することができる。
【0114】
なお、集中操作パネル５１１１に表示される操作画面は図示する例に限定されず、ユーザは、集中操作パネル５１１１を介して、手術室システム５１００に備えられる、視聴覚コントローラ５１０７及び手術室制御装置５１０９によって制御され得る各装置に対する操作入力が可能であってよい。
【0115】
図１８は、以上説明した手術室システムが適用された手術の様子の一例を示す図である。シーリングカメラ５１８７及び術場カメラ５１８９は、手術室の天井に設けられ、患者ベッド５１８３上の患者５１８５の患部に対して処置を行う術者（医者）５１８１の手元及び手術室全体の様子を撮影可能である。シーリングカメラ５１８７及び術場カメラ５１８９には、倍率調整機能、焦点距離調整機能、撮影方向調整機能等が設けられ得る。照明５１９１は、手術室の天井に設けられ、少なくとも術者５１８１の手元を照射する。照明５１９１は、その照射光量、照射光の波長（色）及び光の照射方向等を適宜調整可能であってよい。
【0116】
内視鏡手術システム５１１３、患者ベッド５１８３、シーリングカメラ５１８７、術場カメラ５１８９及び照明５１９１は、図１６に示すように、視聴覚コントローラ５１０７及び手術室制御装置５１０９（図１８では図示せず）を介して互いに連携可能に接続されている。手術室内には、集中操作パネル５１１１が設けられており、上述したように、ユーザは、当該集中操作パネル５１１１を介して、手術室内に存在するこれらの装置を適宜操作することが可能である。
【0117】
以下、内視鏡手術システム５１１３の構成について詳細に説明する。図示するように、内視鏡手術システム５１１３は、内視鏡５１１５と、その他の術具５１３１と、内視鏡５１１５を支持する支持アーム装置５１４１と、内視鏡下手術のための各種の装置が搭載されたカート５１５１と、から構成される。
【0118】
内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５１３９ａ～５１３９ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５１３９ａ～５１３９ｄから、内視鏡５１１５の鏡筒５１１７や、その他の術具５１３１が患者５１８５の体腔内に挿入される。図示する例では、その他の術具５１３１として、気腹チューブ５１３３、エネルギー処置具５１３５及び鉗子５１３７が、患者５１８５の体腔内に挿入されている。また、エネルギー処置具５１３５は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５１３１はあくまで一例であり、術具５１３１としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
【0119】
内視鏡５１１５によって撮影された患者５１８５の体腔内の術部の画像が、表示装置５１５５に表示される。術者５１８１は、表示装置５１５５に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５１３５や鉗子５１３７を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５１３３、エネルギー処置具５１３５及び鉗子５１３７は、手術中に、術者５１８１又は助手等によって支持される。
【0120】
（支持アーム装置）
支持アーム装置５１４１は、ベース部５１４３から延伸するアーム部５１４５を備える。図示する例では、アーム部５１４５は、関節部５１４７ａ、５１４７ｂ、５１４７ｃ、及びリンク５１４９ａ、５１４９ｂから構成されており、アーム制御装置５１５９からの制御により駆動される。アーム部５１４５によって内視鏡５１１５が支持され、その位置及び姿勢が制御される。これにより、内視鏡５１１５の安定的な位置の固定が実現され得る。
支持アーム装置５１４１は、ベース部５１４３から延伸するアーム部５１４５を備える。図示する例では、アーム部５１４５は、関節部５１４７ａ、５１４７ｂ、５１４７ｃ、及びリンク５１４９ａ、５１４９ｂから構成されており、アーム制御装置５１５９からの制御により駆動される。アーム部５１４５によって内視鏡５１１５が支持され、その位置及び姿勢が制御される。これにより、内視鏡５１１５の安定的な位置の固定が実現され得る。
【0121】
（内視鏡）
内視鏡５１１５は、先端から所定の長さの領域が患者５１８５の体腔内に挿入される鏡筒５１１７と、鏡筒５１１７の基端に接続されるカメラヘッド５１１９と、から構成される。図示する例では、硬性の鏡筒５１１７を有するいわゆる硬性鏡として構成される内視鏡５１１５を図示しているが、内視鏡５１１５は、軟性の鏡筒５１１７を有するいわゆる軟性鏡として構成されてもよい。
内視鏡５１１５は、先端から所定の長さの領域が患者５１８５の体腔内に挿入される鏡筒５１１７と、鏡筒５１１７の基端に接続されるカメラヘッド５１１９と、から構成される。図示する例では、硬性の鏡筒５１１７を有するいわゆる硬性鏡として構成される内視鏡５１１５を図示しているが、内視鏡５１１５は、軟性の鏡筒５１１７を有するいわゆる軟性鏡として構成されてもよい。
【0122】
鏡筒５１１７の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５１１５には光源装置５１５７が接続されており、当該光源装置５１５７によって生成された光が、鏡筒５１１７の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５１８５の体腔内の観察対象に向かって照射される。なお、内視鏡５１１５は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
【0123】
カメラヘッド５１１９の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）５１５３に送信される。なお、カメラヘッド５１１９には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
【0124】
なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５１１９には撮像素子が複数設けられてもよい。この場合、鏡筒５１１７の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
【0125】
（カートに搭載される各種の装置）
ＣＣＵ５１５３は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡５１１５及び表示装置５１５５の動作を統括的に制御する。具体的には、ＣＣＵ５１５３は、カメラヘッド５１１９から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５１５３は、当該画像処理を施した画像信号を表示装置５１５５に提供する。また、ＣＣＵ５１５３には、図１６に示す視聴覚コントローラ５１０７が接続される。ＣＣＵ５１５３は、画像処理を施した画像信号を視聴覚コントローラ５１０７にも提供する。また、ＣＣＵ５１５３は、カメラヘッド５１１９に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置５１６１を介して入力されてもよいし、上述した集中操作パネル５１１１を介して入力されてもよい。
ＣＣＵ５１５３は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡５１１５及び表示装置５１５５の動作を統括的に制御する。具体的には、ＣＣＵ５１５３は、カメラヘッド５１１９から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５１５３は、当該画像処理を施した画像信号を表示装置５１５５に提供する。また、ＣＣＵ５１５３には、図１６に示す視聴覚コントローラ５１０７が接続される。ＣＣＵ５１５３は、画像処理を施した画像信号を視聴覚コントローラ５１０７にも提供する。また、ＣＣＵ５１５３は、カメラヘッド５１１９に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置５１６１を介して入力されてもよいし、上述した集中操作パネル５１１１を介して入力されてもよい。
【0126】
表示装置５１５５は、ＣＣＵ５１５３からの制御により、当該ＣＣＵ５１５３によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５１１５が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５１５５としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５１５５として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５１５５が設けられてもよい。
【0127】
光源装置５１５７は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡５１１５に供給する。
【0128】
アーム制御装置５１５９は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５１４１のアーム部５１４５の駆動を制御する。
【0129】
入力装置５１６１は、内視鏡手術システム５１１３に対する入力インタフェースである。ユーザは、入力装置５１６１を介して、内視鏡手術システム５１１３に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５１６１を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５１６１を介して、アーム部５１４５を駆動させる旨の指示や、内視鏡５１１５による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５１３５を駆動させる旨の指示等を入力する。
【0130】
入力装置５１６１の種類は限定されず、入力装置５１６１は各種の公知の入力装置であってよい。入力装置５１６１としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５１７１及び／又はレバー等が適用され得る。入力装置５１６１としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５１５５の表示面上に設けられてもよい。
【0131】
あるいは、入力装置５１６１は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５１６１は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５１６１は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５１６１が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５１８１）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
【0132】
処置具制御装置５１６３は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５１３５の駆動を制御する。気腹装置５１６５は、内視鏡５１１５による視野の確保及び術者の作業空間の確保の目的で、患者５１８５の体腔を膨らめるために、気腹チューブ５１３３を介して当該体腔内にガスを送り込む。レコーダ５１６７は、手術に関する各種の情報を記録可能な装置である。プリンタ５１６９は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
【0133】
以下、内視鏡手術システム５１１３において特に特徴的な構成について、更に詳細に説明する。
【0134】
（支持アーム装置）
支持アーム装置５１４１は、基台であるベース部５１４３と、ベース部５１４３から延伸するアーム部５１４５と、を備える。図示する例では、アーム部５１４５は、複数の関節部５１４７ａ、５１４７ｂ、５１４７ｃと、関節部５１４７ｂによって連結される複数のリンク５１４９ａ、５１４９ｂと、から構成されているが、図１８では、簡単のため、アーム部５１４５の構成を簡略化して図示している。実際には、アーム部５１４５が所望の自由度を有するように、関節部５１４７ａ～５１４７ｃ及びリンク５１４９ａ、５１４９ｂの形状、数及び配置、並びに関節部５１４７ａ～５１４７ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５１４５は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５１４５の可動範囲内において内視鏡５１１５を自由に移動させることが可能になるため、所望の方向から内視鏡５１１５の鏡筒５１１７を患者５１８５の体腔内に挿入することが可能になる。
支持アーム装置５１４１は、基台であるベース部５１４３と、ベース部５１４３から延伸するアーム部５１４５と、を備える。図示する例では、アーム部５１４５は、複数の関節部５１４７ａ、５１４７ｂ、５１４７ｃと、関節部５１４７ｂによって連結される複数のリンク５１４９ａ、５１４９ｂと、から構成されているが、図１８では、簡単のため、アーム部５１４５の構成を簡略化して図示している。実際には、アーム部５１４５が所望の自由度を有するように、関節部５１４７ａ～５１４７ｃ及びリンク５１４９ａ、５１４９ｂの形状、数及び配置、並びに関節部５１４７ａ～５１４７ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５１４５は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５１４５の可動範囲内において内視鏡５１１５を自由に移動させることが可能になるため、所望の方向から内視鏡５１１５の鏡筒５１１７を患者５１８５の体腔内に挿入することが可能になる。
【0135】
関節部５１４７ａ～５１４７ｃにはアクチュエータが設けられており、関節部５１４７ａ～５１４７ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５１５９によって制御されることにより、各関節部５１４７ａ～５１４７ｃの回転角度が制御され、アーム部５１４５の駆動が制御される。これにより、内視鏡５１１５の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５１５９は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５１４５の駆動を制御することができる。
【0136】
例えば、術者５１８１が、入力装置５１６１（フットスイッチ５１７１を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５１５９によってアーム部５１４５の駆動が適宜制御され、内視鏡５１１５の位置及び姿勢が制御されてよい。当該制御により、アーム部５１４５の先端の内視鏡５１１５を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５１４５は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５１４５は、手術室から離れた場所に設置される入力装置５１６１を介してユーザによって遠隔操作され得る。
【0137】
また、力制御が適用される場合には、アーム制御装置５１５９は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５１４５が移動するように、各関節部５１４７ａ～５１４７ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５１４５に触れながらアーム部５１４５を移動させる際に、比較的軽い力で当該アーム部５１４５を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５１１５を移動させることが可能となり、ユーザの利便性を向上させることができる。
【0138】
ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５１１５が支持されていた。これに対して、支持アーム装置５１４１を用いることにより、人手によらずに内視鏡５１１５の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
【0139】
なお、アーム制御装置５１５９は必ずしもカート５１５１に設けられなくてもよい。また、アーム制御装置５１５９は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５１５９は、支持アーム装置５１４１のアーム部５１４５の各関節部５１４７ａ～５１４７ｃにそれぞれ設けられてもよく、複数のアーム制御装置５１５９が互いに協働することにより、アーム部５１４５の駆動制御が実現されてもよい。
【0140】
（光源装置）
光源装置５１５７は、内視鏡５１１５に術部を撮影する際の照射光を供給する。光源装置５１５７は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５１５７において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５１１９の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
光源装置５１５７は、内視鏡５１１５に術部を撮影する際の照射光を供給する。光源装置５１５７は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５１５７において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５１１９の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
【0141】
また、光源装置５１５７は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５１１９の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
【0142】
また、光源装置５１５７は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５１５７は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
【0143】
（カメラヘッド及びＣＣＵ）
図１９を参照して、内視鏡５１１５のカメラヘッド５１１９及びＣＣＵ５１５３の機能についてより詳細に説明する。図１９は、図１８に示すカメラヘッド５１１９及びＣＣＵ５１５３の機能構成の一例を示すブロック図である。
図１９を参照して、内視鏡５１１５のカメラヘッド５１１９及びＣＣＵ５１５３の機能についてより詳細に説明する。図１９は、図１８に示すカメラヘッド５１１９及びＣＣＵ５１５３の機能構成の一例を示すブロック図である。
【0144】
図１９を参照すると、カメラヘッド５１１９は、その機能として、レンズユニット５１２１と、撮像部５１２３と、駆動部５１２５と、通信部５１２７と、カメラヘッド制御部５１２９と、を有する。また、ＣＣＵ５１５３は、その機能として、通信部５１７３と、画像処理部５１７５と、制御部５１７７と、を有する。カメラヘッド５１１９とＣＣＵ５１５３とは、伝送ケーブル５１７９によって双方向に通信可能に接続されている。
【0145】
まず、カメラヘッド５１１９の機能構成について説明する。レンズユニット５１２１は、鏡筒５１１７との接続部に設けられる光学系である。鏡筒５１１７の先端から取り込まれた観察光は、カメラヘッド５１１９まで導光され、当該レンズユニット５１２１に入射する。レンズユニット５１２１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５１２１は、撮像部５１２３の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
【0146】
撮像部５１２３は撮像素子によって構成され、レンズユニット５１２１の後段に配置される。レンズユニット５１２１を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５１２３によって生成された画像信号は、通信部５１２７に提供される。
【0147】
撮像部５１２３を構成する撮像素子としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５１８１は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
【0148】
また、撮像部５１２３を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５１８１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５１２３が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５１２１も複数系統設けられる。
【0149】
また、撮像部５１２３は、必ずしもカメラヘッド５１１９に設けられなくてもよい。例えば、撮像部５１２３は、鏡筒５１１７の内部に、対物レンズの直後に設けられてもよい。
【0150】
駆動部５１２５は、アクチュエータによって構成され、カメラヘッド制御部５１２９からの制御により、レンズユニット５１２１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５１２３による撮像画像の倍率及び焦点が適宜調整され得る。
【0151】
通信部５１２７は、ＣＣＵ５１５３との間で各種の情報を送受信するための通信装置によって構成される。通信部５１２７は、撮像部５１２３から得た画像信号をＲＡＷデータとして伝送ケーブル５１７９を介してＣＣＵ５１５３に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５１８１が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５１２７には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５１７９を介してＣＣＵ５１５３に送信される。
【0152】
また、通信部５１２７は、ＣＣＵ５１５３から、カメラヘッド５１１９の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５１２７は、受信した制御信号をカメラヘッド制御部５１２９に提供する。なお、ＣＣＵ５１５３からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５１２７には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５１２９に提供される。
【0153】
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５１５３の制御部５１７７によって自動的に設定される。つまり、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡５１１５に搭載される。
【0154】
カメラヘッド制御部５１２９は、通信部５１２７を介して受信したＣＣＵ５１５３からの制御信号に基づいて、カメラヘッド５１１９の駆動を制御する。例えば、カメラヘッド制御部５１２９は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５１２３の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５１２９は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５１２５を介してレンズユニット５１２１のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５１２９は、更に、鏡筒５１１７やカメラヘッド５１１９を識別するための情報を記憶する機能を備えてもよい。
【0155】
なお、レンズユニット５１２１や撮像部５１２３等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５１１９について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
【0156】
次に、ＣＣＵ５１５３の機能構成について説明する。通信部５１７３は、カメラヘッド５１１９との間で各種の情報を送受信するための通信装置によって構成される。通信部５１７３は、カメラヘッド５１１９から、伝送ケーブル５１７９を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５１７３には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５１７３は、電気信号に変換した画像信号を画像処理部５１７５に提供する。
【0157】
また、通信部５１７３は、カメラヘッド５１１９に対して、カメラヘッド５１１９の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
【0158】
画像処理部５１７５は、カメラヘッド５１１９から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５１７５は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。
【0159】
画像処理部５１７５は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５１７５が複数のＧＰＵによって構成される場合には、画像処理部５１７５は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。
【0160】
制御部５１７７は、内視鏡５１１５による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５１７７は、カメラヘッド５１１９の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５１７７は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５１１５にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５１７７は、画像処理部５１７５による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
【0161】
また、制御部５１７７は、画像処理部５１７５によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５１５５に表示させる。この際、制御部５１７７は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５１７７は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５１３５使用時のミスト等を認識することができる。制御部５１７７は、表示装置５１５５に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５１８１に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
【0162】
カメラヘッド５１１９及びＣＣＵ５１５３を接続する伝送ケーブル５１７９は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
【0163】
ここで、図示する例では、伝送ケーブル５１７９を用いて有線で通信が行われていたが、カメラヘッド５１１９とＣＣＵ５１５３との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５１７９を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５１７９によって妨げられる事態が解消され得る。
【0164】
以上、本開示に係る技術が適用され得る手術室システム５１００の一例について説明した。なお、ここでは、一例として手術室システム５１００が適用される医療用システムが内視鏡手術システム５１１３である場合について説明したが、手術室システム５１００の構成はかかる例に限定されない。例えば、手術室システム５１００は、内視鏡手術システム５１１３に代えて、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
【0165】
本開示に係る技術は、以上説明した構成のうち、ＣＣＵ５１５３から表示装置５１５５に対する撮像画像の伝送や、視聴覚コントローラ５１０７から表示装置５１０３Ａ～５１０３Ｄ、集中操作パネル５１１１何れかへの撮像画像の伝送に好適に適用され得る。この場合、ＣＣＵ５１５３や視聴覚コントローラ５１０７が、本技術に係る「画像生成部」及び「出力部」の機能を担い、表示装置５１５５や表示装置５１０３Ａ～５１０３Ｄ、集中操作パネル５１１１が本技術に係る「表示部」の機能を担うことになる。
【0166】
図２０、図２１は、応用例におけるＨＦＲ領域の設定例についての説明図である。
図２０は、内視鏡５１１５による撮像画像の一例を示している。
内視鏡５１１５によっては、視野が略円形となるものがあり、その場合における撮像画像には、図中に例示するような非有効領域Ａｎ（例えば輝度＝０による黒色の領域）が存在する。この場合には、撮像画像における非有効領域Ａｎを除く領域をＨＦＲ領域とすることが考えられる。
図２０は、内視鏡５１１５による撮像画像の一例を示している。
内視鏡５１１５によっては、視野が略円形となるものがあり、その場合における撮像画像には、図中に例示するような非有効領域Ａｎ（例えば輝度＝０による黒色の領域）が存在する。この場合には、撮像画像における非有効領域Ａｎを除く領域をＨＦＲ領域とすることが考えられる。
【0167】
或いは、図２１に例示するように、内視鏡５１１５によっては撮像画像に非有効領域Ａｎが発生しない場合もある。この場合には、撮像画像において術者が注目していると推定される領域をＨＦＲ領域とすることが考えられる。この際、術者の注目領域は、動き量に基づいて推定することが考えられる。或いは、撮像画像内における鉗子５１３７等の術具の先端位置を検出し、少なくとも該先端位置を含む領域として推定することも考えられる。或いは、術者の注目領域は、例えば撮像画像の中心を含む固定の領域とすることも考えられる。
【0168】
上記のように手術室システム５１００における撮像画像の伝送について本開示に係る技術を適用することにより、撮像画像を表示部に表示する際の画像伝送に係る帯域幅や消費電力の削減を図りつつ、対象とする被写体が映し出されている部分についてはＨＦＲ領域とすることが可能となる。
従って、画像伝送に係る帯域幅や消費電力の削減と、手術の安全性向上との両立を図ることができる。
従って、画像伝送に係る帯域幅や消費電力の削減と、手術の安全性向上との両立を図ることができる。
【0169】
＜６．実施形態のまとめ＞
上記のように実施形態としての画像処理装置（撮像装置１，１Ａ，１Ｂ）は、撮像画像に基づく第一フレームレート画像（ハイフレームレート画像）と、第一フレームレート画像よりもフレームレートの低い第二フレームレート画像（ローフレームレート画像）とを生成する画像生成部（制御部４、ＨＦＲ／ＬＦＲ画像生成部９又は９Ａ、ＯＳＤ画像生成部１０）と、画像生成部が生成した第一フレームレート画像と第二フレームレート画像とが表示部（同１１，１１Ａ）の異なる表示領域に表示されるように出力する出力部（ＨＦＲ／ＬＦＲ画像生成部９又は９Ａ、ＯＳＤ画像生成部１０）とを備えている。
これにより、表示画像を構成する画像のうち、被写体が映し出される部分の画像については第一（ハイ）フレームレート画像とし、それ以外の部分の画像については第二（ロー）フレームレート画像とすることが可能となる。すなわち、被写体が映し出される部分以外の画像をローフレームレートとすることで、表示画像全域をハイフレームレートとする場合と比較して、表示のために伝送すべき画像データの量を削減することが可能とされる。一方、被写体が映し出されている部分の画像をハイフレームレートとすることで、被写体の動きに対する表示画像の応答性低下の防止を図ることが可能とされる。
従って、撮像画像を表示部に表示する際の画像伝送に係る帯域幅や消費電力の削減を図りつつ、シャッタチャンスを逃し難くすることができる。
上記のように実施形態としての画像処理装置（撮像装置１，１Ａ，１Ｂ）は、撮像画像に基づく第一フレームレート画像（ハイフレームレート画像）と、第一フレームレート画像よりもフレームレートの低い第二フレームレート画像（ローフレームレート画像）とを生成する画像生成部（制御部４、ＨＦＲ／ＬＦＲ画像生成部９又は９Ａ、ＯＳＤ画像生成部１０）と、画像生成部が生成した第一フレームレート画像と第二フレームレート画像とが表示部（同１１，１１Ａ）の異なる表示領域に表示されるように出力する出力部（ＨＦＲ／ＬＦＲ画像生成部９又は９Ａ、ＯＳＤ画像生成部１０）とを備えている。
これにより、表示画像を構成する画像のうち、被写体が映し出される部分の画像については第一（ハイ）フレームレート画像とし、それ以外の部分の画像については第二（ロー）フレームレート画像とすることが可能となる。すなわち、被写体が映し出される部分以外の画像をローフレームレートとすることで、表示画像全域をハイフレームレートとする場合と比較して、表示のために伝送すべき画像データの量を削減することが可能とされる。一方、被写体が映し出されている部分の画像をハイフレームレートとすることで、被写体の動きに対する表示画像の応答性低下の防止を図ることが可能とされる。
従って、撮像画像を表示部に表示する際の画像伝送に係る帯域幅や消費電力の削減を図りつつ、シャッタチャンスを逃し難くすることができる。
【0170】
また、実施形態としての画像処理装置においては、画像生成部は、第二フレームレート画像として、ユーザに対する通知情報（同Ｉ）を表す画像を生成している。
これにより、例えば撮像装置の各種設定や状態等を通知するＯＳＤ画像等、ユーザに対する通知情報を表す画像をローフレームレート画像として表示することが可能とされる。
従って、表示画像を構成する画像のうち、被写体が映し出される部分の画像についてはハイフレームレート画像とし、それ以外の部分の画像についてはローフレームレート画像とすることができ、撮像画像を表示部に表示する際の画像伝送に係る帯域幅や消費電力の削減を図りつつ、シャッタチャンスを逃し難くすることができる。
これにより、例えば撮像装置の各種設定や状態等を通知するＯＳＤ画像等、ユーザに対する通知情報を表す画像をローフレームレート画像として表示することが可能とされる。
従って、表示画像を構成する画像のうち、被写体が映し出される部分の画像についてはハイフレームレート画像とし、それ以外の部分の画像についてはローフレームレート画像とすることができ、撮像画像を表示部に表示する際の画像伝送に係る帯域幅や消費電力の削減を図りつつ、シャッタチャンスを逃し難くすることができる。
【0171】
さらに、実施形態としての画像処理装置においては、操作に応じて通知情報を表示部に表示するモードと非表示にするモードとの切替えが可能とされ、画像生成部は、通知情報を表示するモードにおいて、通知情報を表す第二フレームレート画像の生成を行っている。
これにより、通知情報を非表示とするモード下では、通知情報を表すローフレームレート画像の表示が行われないようにすることが可能とされる。すなわち、ユーザの操作（指示）とは無関係に、撮像画像以外の画像を表示する動作が行われないようにすることが可能とされる。
従って、画像伝送に係る帯域幅や消費電力の削減を図りつつシャッタチャンスを逃し難くするにあたり、ユーザに違和感を与えてしまうことの防止を図ることができる。
これにより、通知情報を非表示とするモード下では、通知情報を表すローフレームレート画像の表示が行われないようにすることが可能とされる。すなわち、ユーザの操作（指示）とは無関係に、撮像画像以外の画像を表示する動作が行われないようにすることが可能とされる。
従って、画像伝送に係る帯域幅や消費電力の削減を図りつつシャッタチャンスを逃し難くするにあたり、ユーザに違和感を与えてしまうことの防止を図ることができる。
【0172】
さらにまた、実施形態としての画像処理装置においては、画像生成部は、通知情報の更新タイミングを契機に第二フレームレート画像のフレーム更新を行っている。
これにより、例えば撮像装置の電池残量や撮像モード情報等の通知情報の更新タイミングを契機に、ローフレームレート画像の画像内容が更新される。
従って、ローフレームレート画像の伝送量の低減を図ることができ、画像伝送に係る帯域幅や消費電力の削減を図ることができる。
これにより、例えば撮像装置の電池残量や撮像モード情報等の通知情報の更新タイミングを契機に、ローフレームレート画像の画像内容が更新される。
従って、ローフレームレート画像の伝送量の低減を図ることができ、画像伝送に係る帯域幅や消費電力の削減を図ることができる。
【0173】
また、実施形態としての画像処理装置においては、画像生成部は、通知情報を表す第二フレームレート画像を、表示部における第一フレームレート画像の表示領域の外周の表示領域に表示される画像として生成している。
すなわち、通知情報を表すローフレームレート画像は、被写体が映し出されるハイフレームレート画像の外周の表示領域に表示される。そのため、ハイフレームレート画像の表示領域に撮像画像の全域（全視野）の画像を表示しても、その一部がローフレームレート画像によって遮られることがない。
従って、通知情報を表すローフレームレート画像の表示に伴いスルー画としての表示画像の視認性が悪化してしまうことの防止を図ることができる。
すなわち、通知情報を表すローフレームレート画像は、被写体が映し出されるハイフレームレート画像の外周の表示領域に表示される。そのため、ハイフレームレート画像の表示領域に撮像画像の全域（全視野）の画像を表示しても、その一部がローフレームレート画像によって遮られることがない。
従って、通知情報を表すローフレームレート画像の表示に伴いスルー画としての表示画像の視認性が悪化してしまうことの防止を図ることができる。
【0174】
さらに、実施形態としての画像処理装置においては、画像生成部は、撮像画像における一部の領域の画像を第一フレームレート画像として生成し、撮像画像における一部の領域以外の領域の画像を第二フレームレート画像として生成している。
これにより、画像伝送に係る帯域幅や消費電力の削減を図りつつシャッタチャンスを逃し難くするにあたり、表示部の表示領域全域に撮像画像を表示することが可能とされる。
従って、画像伝送に係る帯域幅や消費電力の削減を図りつつシャッタチャンスを逃し難くするにあたり、スルー画としての表示画像の視認性向上を図ることができる。
これにより、画像伝送に係る帯域幅や消費電力の削減を図りつつシャッタチャンスを逃し難くするにあたり、表示部の表示領域全域に撮像画像を表示することが可能とされる。
従って、画像伝送に係る帯域幅や消費電力の削減を図りつつシャッタチャンスを逃し難くするにあたり、スルー画としての表示画像の視認性向上を図ることができる。
【0175】
さらにまた、実施形態としての画像処理装置においては、画像生成部は、撮像画像における特定被写体の検出領域の画像を第一フレームレート画像として生成している。
特定被写体とは、撮像画像に対する被写体検出処理において検出対象とされた被写体を意味する。
上記のように特定被写体の検出領域の画像をハイフレームレート画像とすることで、ユーザが注目していると推定される部分をハイフレームレートとする、すなわち、表示画像の応答性向上を図ることができ、シャッタチャンスを逃し難くすることができる。
特定被写体とは、撮像画像に対する被写体検出処理において検出対象とされた被写体を意味する。
上記のように特定被写体の検出領域の画像をハイフレームレート画像とすることで、ユーザが注目していると推定される部分をハイフレームレートとする、すなわち、表示画像の応答性向上を図ることができ、シャッタチャンスを逃し難くすることができる。
【0176】
また、実施形態としての画像処理装置においては、画像生成部は、撮像画像における動体の検出領域の画像を第一フレームレート画像として生成している。
これにより、撮像画像を表示部にスルー画として表示するにあたり、表示画像の応答性を高めるべき領域のみをハイフレームレート画像とし、それ以外の領域をローフレームレート画像とすることが可能とされる。
従って、ハイフレームレート画像とローフレームレート画像の領域分けの効率化を図ることができる。
これにより、撮像画像を表示部にスルー画として表示するにあたり、表示画像の応答性を高めるべき領域のみをハイフレームレート画像とし、それ以外の領域をローフレームレート画像とすることが可能とされる。
従って、ハイフレームレート画像とローフレームレート画像の領域分けの効率化を図ることができる。
【0177】
さらに、実施形態としての画像処理装置においては、出力部は、第一フレームレート画像と第二フレームレート画像の表示領域を指示する情報を表示部に出力している。
これにより、ハイフレームレート画像、ローフレームレート画像それぞれの表示領域が表示部に指示される。
従って、フレームレートの異なる画像をそれぞれ適切なレイアウトで表示部に表示させることができる。
これにより、ハイフレームレート画像、ローフレームレート画像それぞれの表示領域が表示部に指示される。
従って、フレームレートの異なる画像をそれぞれ適切なレイアウトで表示部に表示させることができる。
【0178】
さらにまた、実施形態としての画像処理装置（撮像装置１Ａ）においては、出力部（ＨＦＲ／ＬＦＲ画像生成部９Ａ）は、第一フレームレート画像と第二フレームレート画像を単一の伝送路（共通伝送路Ｌ３）に時分割で出力している。
これにより、表示部に対する画像伝送用のケーブルを１本に集約することが可能とされる。
従って、部品点数の削減、及びコスト削減を図ることができる。
これにより、表示部に対する画像伝送用のケーブルを１本に集約することが可能とされる。
従って、部品点数の削減、及びコスト削減を図ることができる。
【0179】
また、実施形態としての画像処理装置においては、出力部は、第二フレームレート画像を領域分割して得られる各一部の画像を伝送路に時分割出力している。
これにより、ローフレームレート画像の１フレーム全体を出力する間にハイフレームレート画像を複数フレーム分出力することが可能とされる。
従って、ハイフレームレート画像とローフレームレート画像とを単一の伝送路によって各フレームレートを保ちながら適切に出力することができる。
これにより、ローフレームレート画像の１フレーム全体を出力する間にハイフレームレート画像を複数フレーム分出力することが可能とされる。
従って、ハイフレームレート画像とローフレームレート画像とを単一の伝送路によって各フレームレートを保ちながら適切に出力することができる。
【0180】
さらに、実施形態としての画像処理装置においては、出力部が出力した第一フレームレート画像と第二フレームレート画像とを合成して表示する表示部（同１１又は１１Ａ）を備えている。
ここで言う合成とは、複数の画像を単一の画像に統合することを意味する。
上記の表示部を備えることで、フレームレートの異なる画像を単一画像としてユーザに違和感なく提示することができる。
ここで言う合成とは、複数の画像を単一の画像に統合することを意味する。
上記の表示部を備えることで、フレームレートの異なる画像を単一画像としてユーザに違和感なく提示することができる。
【0181】
さらにまた、実施形態としての画像処理装置（撮像装置１Ｂ）においては、画像生成部は、撮像画像における第一フレームレート画像とする領域を、ユーザの操作に基づき設定している。
これにより、ユーザが注目している被写体を含んだ領域をハイフレームレート画像の領域として設定することが可能とされる。
ユーザが注目している被写体の部分をハイフレームレート画像とすることで、シャッタチャンスを逃し難くすることができる。
これにより、ユーザが注目している被写体を含んだ領域をハイフレームレート画像の領域として設定することが可能とされる。
ユーザが注目している被写体の部分をハイフレームレート画像とすることで、シャッタチャンスを逃し難くすることができる。
【0182】
また、実施形態としての画像処理装置においては、画像生成部は、撮像画像を表示する画面上における位置を指定する操作に基づき第一フレームレート画像とする領域を設定している。
これにより、ハイフレームレート画像とする領域の指定操作は、画面上に表示される撮像画像を確認しながら、該画面上における位置を指定するという直感的な操作により実現可能とされる。
従って、ハイフレームレート画像とする領域の指定に係る操作について、操作性の向上を図ることができる。
これにより、ハイフレームレート画像とする領域の指定操作は、画面上に表示される撮像画像を確認しながら、該画面上における位置を指定するという直感的な操作により実現可能とされる。
従って、ハイフレームレート画像とする領域の指定に係る操作について、操作性の向上を図ることができる。
【0183】
さらに、実施形態としての画像処理装置においては、画面上における位置を指定する操作が画面をタッチする操作とされている。
これにより、ハイフレームレート画像とする領域の指定操作は、撮像画像が表示される画面上における所要の位置をタッチする操作という直感的な操作により実現可能とされる。
従って、ハイフレームレート画像とする領域の指定に係る操作について、操作性の向上を図ることができる。
これにより、ハイフレームレート画像とする領域の指定操作は、撮像画像が表示される画面上における所要の位置をタッチする操作という直感的な操作により実現可能とされる。
従って、ハイフレームレート画像とする領域の指定に係る操作について、操作性の向上を図ることができる。
【0184】
さらにまた、実施形態としての画像処理装置においては、画像生成部は、撮像画像を表示する画面の面内における方向を指示する操作に基づき第一フレームレート画像とする領域の範囲を設定している。
これにより、ハイフレームレート画像とする領域の範囲を指定する操作は、画面上に表示される撮像画像を確認しながら、該画面の面内における方向を指定するという直感的な操作により実現可能とされる。
従って、ハイフレームレート画像とする領域の指定に係る操作について、操作性の向上を図ることができる。
これにより、ハイフレームレート画像とする領域の範囲を指定する操作は、画面上に表示される撮像画像を確認しながら、該画面の面内における方向を指定するという直感的な操作により実現可能とされる。
従って、ハイフレームレート画像とする領域の指定に係る操作について、操作性の向上を図ることができる。
【0185】
また、実施形態としての画像処理装置においては、方向を指示する操作が画面上をなぞる操作とされている。
これにより、ハイフレームレート画像とする領域の範囲を指定する操作は、撮像画像が表示される画面上をなぞるという直感的な操作により実現される。
従って、ハイフレームレート画像とする領域の指定に係る操作について、操作性の向上を図ることができる。
これにより、ハイフレームレート画像とする領域の範囲を指定する操作は、撮像画像が表示される画面上をなぞるという直感的な操作により実現される。
従って、ハイフレームレート画像とする領域の指定に係る操作について、操作性の向上を図ることができる。
【0186】
また、実施形態としての画像処理方法は、撮像画像に基づく第一フレームレート画像と、第一フレームレート画像よりもフレームレートの低い第二フレームレート画像とを生成し、生成した第一フレームレート画像と第二フレームレート画像とが表示部の異なる表示領域に表示されるように出力する画像処理方法である。
このような実施形態としての画像処理方法によっても、上記した実施形態としての画像処理装置と同様の作用及び効果を得ることができる。
このような実施形態としての画像処理方法によっても、上記した実施形態としての画像処理装置と同様の作用及び効果を得ることができる。
【0187】
実施形態のプログラムは、撮像画像に基づく第一フレームレート画像と、第一フレームレート画像よりもフレームレートの低い第二フレームレート画像とを生成し、生成した第一フレームレート画像と第二フレームレート画像とが表示部の異なる表示領域に表示されるように出力する機能を、情報処理装置に実現させるプログラムである。
すなわち、図７や図８、図１０等で説明した処理を情報処理装置に実行させるプログラムである。
このようなプログラムにより実施形態としての画像処理装置の実現が容易となる。
そしてこのようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体や、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記憶しておくことができる。或いは、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスク等のリムーバブル記録媒体に、一時的あるいは永続的に格納（記憶）しておくことができる。またこのようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ（Local Area Network）、インターネットなどのネットワークを介してダウンロードすることもできる。
すなわち、図７や図８、図１０等で説明した処理を情報処理装置に実行させるプログラムである。
このようなプログラムにより実施形態としての画像処理装置の実現が容易となる。
そしてこのようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体や、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記憶しておくことができる。或いは、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスク等のリムーバブル記録媒体に、一時的あるいは永続的に格納（記憶）しておくことができる。またこのようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ（Local Area Network）、インターネットなどのネットワークを介してダウンロードすることもできる。
【0188】
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
【0189】
＜７．本技術＞
なお本技術は以下のような構成も採ることができる。
（１）
撮像画像に基づく第一フレームレート画像と、前記第一フレームレート画像よりもフレームレートの低い第二フレームレート画像とを生成する画像生成部と、
前記画像生成部が生成した前記第一フレームレート画像と前記第二フレームレート画像とが表示部の異なる表示領域に表示されるように出力する出力部と、を備える
画像処理装置。
（２）
前記画像生成部は、
前記第二フレームレート画像として、ユーザに対する通知情報を表す画像を生成する
前記（１）に記載の画像処理装置。
（３）
操作に応じて前記通知情報を前記表示部に表示するモードと非表示にするモードとの切替えが可能とされ、
前記画像生成部は、
前記通知情報を表示するモードにおいて、前記通知情報を表す前記第二フレームレート画像の生成を行う
前記（２）に記載の画像処理装置。
（４）
前記画像生成部は、
前記通知情報の更新タイミングを契機に前記第二フレームレート画像のフレーム更新を行う
前記（２）又は（３）に記載の画像処理装置。
（５）
前記画像生成部は、
前記通知情報を表す前記第二フレームレート画像を、前記表示部における前記第一フレームレート画像の表示領域の外周の表示領域に表示される画像として生成する
前記（２）乃至（４）の何れかに記載の画像処理装置。
（６）
前記画像生成部は、
前記撮像画像における一部の領域の画像を前記第一フレームレート画像として生成し、前記撮像画像における前記一部の領域以外の領域の画像を前記第二フレームレート画像として生成する
前記（１）から（５）の何れかに記載の画像処理装置。
（７）
前記画像生成部は、
前記撮像画像における特定被写体の検出領域の画像を前記第一フレームレート画像として生成する
前記（６）に記載の画像処理装置。
（８）
前記画像生成部は、
前記撮像画像における動体の検出領域の画像を前記第一フレームレート画像として生成する
前記（７）に記載の画像処理装置。
（９）
前記出力部は、
前記第一フレームレート画像と前記第二フレームレート画像の表示領域を指示する情報を前記表示部に出力する
前記（１）から（８）の何れかに記載の画像処理装置。
（１０）
前記出力部は、
前記第一フレームレート画像と前記第二フレームレート画像を単一の伝送路に時分割で出力する
前記（１）から（９）の何れかに記載の画像処理装置。
（１１）
前記出力部は、
前記第二フレームレート画像を領域分割して得られる各一部の画像を前記伝送路に時分割出力する
前記（１０）に記載の画像処理装置。
（１２）
前記出力部が出力した前記第一フレームレート画像と前記第二フレームレート画像とを合成して表示する前記表示部を備えた
前記（１）から（１１）の何れかに記載の画像処理装置。
（１３）
前記画像生成部は、
前記撮像画像における前記第一フレームレート画像とする領域を、ユーザの操作に基づき設定する
前記（６）から（１２）の何れかに記載の画像処理装置。
（１４）
前記画像生成部は、
前記撮像画像を表示する画面上における位置を指定する操作に基づき前記第一フレームレート画像とする領域を設定する
前記（１３）に記載の画像処理装置。
（１５）
前記画面上における位置を指定する操作が前記画面をタッチする操作とされた
前記（１４）に記載の画像処理装置。
（１６）
前記画像生成部は、
前記撮像画像を表示する画面の面内における方向を指示する操作に基づき前記第一フレームレート画像とする領域の範囲を設定する
前記（１５）に記載の画像処理装置。
（１７）
前記方向を指示する操作が前記画面上をなぞる操作とされた
前記（１６）に記載の画像処理装置。
なお本技術は以下のような構成も採ることができる。
（１）
撮像画像に基づく第一フレームレート画像と、前記第一フレームレート画像よりもフレームレートの低い第二フレームレート画像とを生成する画像生成部と、
前記画像生成部が生成した前記第一フレームレート画像と前記第二フレームレート画像とが表示部の異なる表示領域に表示されるように出力する出力部と、を備える
画像処理装置。
（２）
前記画像生成部は、
前記第二フレームレート画像として、ユーザに対する通知情報を表す画像を生成する
前記（１）に記載の画像処理装置。
（３）
操作に応じて前記通知情報を前記表示部に表示するモードと非表示にするモードとの切替えが可能とされ、
前記画像生成部は、
前記通知情報を表示するモードにおいて、前記通知情報を表す前記第二フレームレート画像の生成を行う
前記（２）に記載の画像処理装置。
（４）
前記画像生成部は、
前記通知情報の更新タイミングを契機に前記第二フレームレート画像のフレーム更新を行う
前記（２）又は（３）に記載の画像処理装置。
（５）
前記画像生成部は、
前記通知情報を表す前記第二フレームレート画像を、前記表示部における前記第一フレームレート画像の表示領域の外周の表示領域に表示される画像として生成する
前記（２）乃至（４）の何れかに記載の画像処理装置。
（６）
前記画像生成部は、
前記撮像画像における一部の領域の画像を前記第一フレームレート画像として生成し、前記撮像画像における前記一部の領域以外の領域の画像を前記第二フレームレート画像として生成する
前記（１）から（５）の何れかに記載の画像処理装置。
（７）
前記画像生成部は、
前記撮像画像における特定被写体の検出領域の画像を前記第一フレームレート画像として生成する
前記（６）に記載の画像処理装置。
（８）
前記画像生成部は、
前記撮像画像における動体の検出領域の画像を前記第一フレームレート画像として生成する
前記（７）に記載の画像処理装置。
（９）
前記出力部は、
前記第一フレームレート画像と前記第二フレームレート画像の表示領域を指示する情報を前記表示部に出力する
前記（１）から（８）の何れかに記載の画像処理装置。
（１０）
前記出力部は、
前記第一フレームレート画像と前記第二フレームレート画像を単一の伝送路に時分割で出力する
前記（１）から（９）の何れかに記載の画像処理装置。
（１１）
前記出力部は、
前記第二フレームレート画像を領域分割して得られる各一部の画像を前記伝送路に時分割出力する
前記（１０）に記載の画像処理装置。
（１２）
前記出力部が出力した前記第一フレームレート画像と前記第二フレームレート画像とを合成して表示する前記表示部を備えた
前記（１）から（１１）の何れかに記載の画像処理装置。
（１３）
前記画像生成部は、
前記撮像画像における前記第一フレームレート画像とする領域を、ユーザの操作に基づき設定する
前記（６）から（１２）の何れかに記載の画像処理装置。
（１４）
前記画像生成部は、
前記撮像画像を表示する画面上における位置を指定する操作に基づき前記第一フレームレート画像とする領域を設定する
前記（１３）に記載の画像処理装置。
（１５）
前記画面上における位置を指定する操作が前記画面をタッチする操作とされた
前記（１４）に記載の画像処理装置。
（１６）
前記画像生成部は、
前記撮像画像を表示する画面の面内における方向を指示する操作に基づき前記第一フレームレート画像とする領域の範囲を設定する
前記（１５）に記載の画像処理装置。
（１７）
前記方向を指示する操作が前記画面上をなぞる操作とされた
前記（１６）に記載の画像処理装置。
【符号の説明】
【0190】
１，１Ａ，１Ｂ 撮像装置、２ 撮像部、３ 画像処理部、４ 制御部、５ 電源部、６ 操作部、６ａ タッチパネル、７ センサ部、８ 記録制御部、９，９Ａ ＨＦＲ／ＬＦＲ画像生成部、１０ ＯＳＤ画像生成部、１１，１１Ａ 表示部、１１ａ 表示画面、Ｌ１ Ｈ伝送路、Ｌ２ Ｌ伝送路、Ｌ３ 共通伝送路、Ｆ１ 画像生成部、Ｆ２ 出力部、Ｆ３ 表示部、Ｗａ 領域枠
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】