知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-22
(45)【発行日】2024-04-01
(54)【発明の名称】画像処理装置および画像処理方法
(51)【国際特許分類】
H04N 23/60 20230101AFI20240325BHJP
H04N 23/63 20230101ALI20240325BHJP
【ＦＩ】
H04N23/60 300
H04N23/60 500
H04N23/63
【請求項の数】
15
(21)【出願番号】P 2020019132
(22)【出願日】2020-02-06
(65)【公開番号】P2021125828
(43)【公開日】2021-08-30
【審査請求日】2023-02-06
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】生田 智史
【審査官】吉田 千裕
(56)【参考文献】
【文献】特開２０１０－２７９０２０（ＪＰ，Ａ）
【文献】特開２０１５－１７１０４２（ＪＰ，Ａ）
【文献】特開２００９－０４４２５６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２３／６０
Ｈ０４Ｎ ２３／６３
(57)【特許請求の範囲】
【請求項1】
ＲＡＷ画像データを取得する取得手段と、前記ＲＡＷ画像データに対して第１画像処理を適用する画像処理手段と、
前記ＲＡＷ画像データを外部装置に送信する送信手段と、
前記ＲＡＷ画像データのうち、前記ＲＡＷ画像データが表す画像の部分領域に対応する部分ＲＡＷ画像データに対して前記外部装置で第２画像処理を適用した結果を、前記ＲＡＷ画像データが表す画像の全体に対応する全体ＲＡＷ画像データに対して前記外部装置で第２画像処理を適用した結果よりも先に受信する受信手段と、
表示装置への表示を制御する表示制御手段と、を有し、
前記表示制御手段は、前記表示装置に前記外部装置に送信したＲＡＷ画像データを表示させる際、該ＲＡＷ画像データに対する前記外部装置における前記第２画像処理の状況を示す指標とともに表示させ、
前記送信手段は、前記部分ＲＡＷ画像データを前記外部装置に送信した後に、前記全体ＲＡＷ画像データを前記外部装置に送信する、ことを特徴とする画像処理装置。
【請求項2】
前記送信手段は、前記部分ＲＡＷ画像データを前記外部装置に送信した後、ユーザからの指示があった場合のみ前記全体ＲＡＷ画像データを前記外部装置に送信することを特徴とする請求項１に記載の画像処理装置。
【請求項3】
さらに、前記部分領域を決定する決定手段を有することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項4】
前記指標が、前記部分領域の輪郭を示す指標を兼ねることを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
【請求項5】
前記指標が、前記部分領域の輪郭を示す枠状の指標であり、前記第２画像処理の状況に応じた表示形態を有することを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
【請求項6】
前記指標が、前記部分領域および他の領域の明るさによって前記第２画像処理の状況を表す指標であることを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
【請求項7】
前記第１画像処理および前記第２画像処理が現像処理であることを特徴とする請求項１から請求項６のいずれか１項に記載の画像処理装置。
【請求項8】
前記表示制御手段は、前記表示装置にＲＡＷ画像データを拡大表示させる際、前記部分領域を中心として拡大表示させることを特徴とする請求項１から請求項７のいずれか１項に記載の画像処理装置。
【請求項9】
前記指標が、前記部分領域の輪郭を示す指標を兼ね、前記表示制御手段は、前記表示装置にＲＡＷ画像データを拡大表示させる際、前記部分領域が表示画面に収まらない場合であっても、前記表示画面の外縁に前記指標を表示することを特徴とする請求項１から請求項７のいずれか１項に記載の画像処理装置。
【請求項10】
ＲＡＷ画像データを取得する取得手段と、前記ＲＡＷ画像データに対して第１画像処理を適用する画像処理手段と、
前記ＲＡＷ画像データを外部装置に送信する送信手段と、
前記ＲＡＷ画像データのうち、前記ＲＡＷ画像データが表す画像の部分領域に対応する部分ＲＡＷ画像データに対して前記外部装置で第２画像処理を適用した結果を、前記ＲＡＷ画像データが表す画像の全体に対応する全体ＲＡＷ画像データに対して前記外部装置で第２画像処理を適用した結果よりも先に受信する受信手段と、
表示装置への表示を制御する表示制御手段と、を有し、
前記表示制御手段は、前記表示装置に前記外部装置に送信したＲＡＷ画像データを表示させる際、該ＲＡＷ画像データに対する前記外部装置における前記第２画像処理の状況を示す指標とともに表示させ、
前記指標が、前記部分領域の輪郭を示す枠状の指標であり、前記第２画像処理の状況に応じた表示形態を有する、ことを特徴とする画像処理装置。
【請求項11】
ＲＡＷ画像データを取得する取得手段と、前記ＲＡＷ画像データに対して第１画像処理を適用する画像処理手段と、
前記ＲＡＷ画像データを外部装置に送信する送信手段と、
前記ＲＡＷ画像データのうち、前記ＲＡＷ画像データが表す画像の部分領域に対応する部分ＲＡＷ画像データに対して前記外部装置で第２画像処理を適用した結果を、前記ＲＡＷ画像データが表す画像の全体に対応する全体ＲＡＷ画像データに対して前記外部装置で第２画像処理を適用した結果よりも先に受信する受信手段と、
表示装置への表示を制御する表示制御手段と、を有し、
前記表示制御手段は、前記表示装置に前記外部装置に送信したＲＡＷ画像データを表示させる際、該ＲＡＷ画像データに対する前記外部装置における前記第２画像処理の状況を示す指標とともに表示させ、
前記指標が、前記部分領域の輪郭を示す指標を兼ね、
前記表示制御手段は、前記表示装置にＲＡＷ画像データを拡大表示させる際、前記部分領域が表示画面に収まらない場合であっても、前記表示画面の外縁に前記指標を表示する、
ことを特徴とする画像処理装置。
【請求項12】
画像処理装置が実行する画像処理方法であって、ＲＡＷ画像データを取得する取得工程と、
前記ＲＡＷ画像データに対して第１画像処理を適用する画像処理工程と、
前記ＲＡＷ画像データを外部装置に送信する送信工程と、
前記ＲＡＷ画像データのうち、前記ＲＡＷ画像データが表す画像の部分領域に対応する部分ＲＡＷ画像データに対して前記外部装置で第２画像処理を適用した結果を、前記ＲＡＷ画像データが表す画像の全体に対応する全体ＲＡＷ画像データに対して前記外部装置で第２画像処理を適用した結果よりも先に受信する受信工程と、
表示装置への表示を制御する表示制御工程と、を有し、
前記表示制御工程では、前記表示装置に前記外部装置に送信したＲＡＷ画像データを表示させる際、該ＲＡＷ画像データに対する前記外部装置における前記第２画像処理の状況を示す指標とともに表示させ、
前記送信工程では、前記部分ＲＡＷ画像データを前記外部装置に送信した後に、前記全体ＲＡＷ画像データを前記外部装置に送信する、ことを特徴とする画像処理方法。
【請求項13】
画像処理装置が実行する画像処理方法であって、ＲＡＷ画像データを取得する取得工程と、
前記ＲＡＷ画像データに対して第１画像処理を適用する画像処理工程と、
前記ＲＡＷ画像データを外部装置に送信する送信工程と、
前記ＲＡＷ画像データのうち、前記ＲＡＷ画像データが表す画像の部分領域に対応する部分ＲＡＷ画像データに対して前記外部装置で第２画像処理を適用した結果を、前記ＲＡＷ画像データが表す画像の全体に対応する全体ＲＡＷ画像データに対して前記外部装置で第２画像処理を適用した結果よりも先に受信する受信工程と、
表示装置への表示を制御する表示制御工程と、を有し、
前記表示制御工程では、前記表示装置に前記外部装置に送信したＲＡＷ画像データを表示させる際、該ＲＡＷ画像データに対する前記外部装置における前記第２画像処理の状況を示す指標とともに表示させ、
前記指標が、前記部分領域の輪郭を示す枠状の指標であり、前記第２画像処理の状況に応じた表示形態を有する、ことを特徴とする画像処理方法。
【請求項14】
画像処理装置が実行する画像処理方法であって、ＲＡＷ画像データを取得する取得工程と、
前記ＲＡＷ画像データに対して第１画像処理を適用する画像処理工程と、
前記ＲＡＷ画像データを外部装置に送信する送信工程と、
前記ＲＡＷ画像データのうち、前記ＲＡＷ画像データが表す画像の部分領域に対応する部分ＲＡＷ画像データに対して前記外部装置で第２画像処理を適用した結果を、前記ＲＡＷ画像データが表す画像の全体に対応する全体ＲＡＷ画像データに対して前記外部装置で第２画像処理を適用した結果よりも先に受信する受信工程と、
表示装置への表示を制御する表示制御工程と、を有し、
前記表示制御工程では、前記表示装置に前記外部装置に送信したＲＡＷ画像データを表示させる際、該ＲＡＷ画像データに対する前記外部装置における前記第２画像処理の状況を示す指標とともに表示させ、
前記指標が、前記部分領域の輪郭を示す指標を兼ね、
前記表示制御工程では、前記表示装置にＲＡＷ画像データを拡大表示させる際、前記部分領域が表示画面に収まらない場合であっても、前記表示画面の外縁に前記指標を表示する、
ことを特徴とする画像処理方法。
【請求項15】
コンピュータを、請求項１から１１のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は画像処理装置および画像処理方法に関し、特には外部装置を利用した画像処理技術に関する。
【背景技術】
【0002】
一般的な撮像装置では、撮像素子から得られるＲＡＷ形式の画像信号（ＲＡＷデータ）に現像処理と呼ばれる様々な画像処理を適用して、ＪＰＥＧ形式など汎用的に利用可能な形式の画像データを生成している。現像処理に含まれる画像処理に厳密な定義はないが、一般的にはデベイヤー処理（デモザイク処理）、ＲＧＢ－ＹＵＶ変換処理、ノイズ除去、光学系の収差による影響の補正、ホワイトバランス調整、階調変換、符号化などが行われる。撮像装置は、自身の有するハードウェアおよびソフトウェアを用いて現像処理を実行し、記録や表示に用いる画像データを生成している。
【0003】
一方、現像処理で適用される様々な画像処理に関する技術は日々進化しているが、新しい技術は開発時点でのハードウェア性能を前提としていることが多い。そのため、撮像装置が搭載するハードウェアでは実施不能であったり、実施できても現実的な時間で処理できなかったりする場合がある。
【0004】
一方、現像処理を外部装置に依頼することにより、自身が有するハードウェアやソフトウェアに制限されない現像処理結果を取得することが可能な撮像装置が提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２００８－２３６３９６号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献１では、外部装置で現像処理を行う撮影モードでは、撮像装置ではＲＡＷデータの現像処理を行わず、ネットワークを通じてサーバにＲＡＷデータを送信し、サーバから現像処理後の画像データを受信する。したがって、撮影が行われてから、現像処理後の画像データを受信するまでの間は撮影結果を確認することができない。
【0007】
ネットワークを通じたデータの送受信に要する時間や、サーバでの現像処理に要する時間によっては、撮影してから現像結果を確認するまでに要する時間が長くなり、使い勝手が低下するという課題がある。
【0008】
本発明はこのような課題に鑑み、外部装置を用いて現像処理を行う場合であっても、短時間で現像処理の結果を確認可能とする画像処理装置および画像処理方法の提供を目的とする。
【課題を解決するための手段】
【0009】
上述の目的は、ＲＡＷ画像データを取得する取得手段と、ＲＡＷ画像データに対して第１画像処理を適用する画像処理手段と、ＲＡＷ画像データを外部装置に送信する送信手段と、ＲＡＷ画像データのうち、ＲＡＷ画像データが表す画像の部分領域に対応する部分ＲＡＷ画像データに対して外部装置で第２画像処理を適用した結果を、ＲＡＷ画像データが表す画像の全体に対応する全体ＲＡＷ画像データに対して外部装置で第２画像処理を適用した結果よりも先に受信する受信手段と、表示装置への表示を制御する表示制御手段と、を有し、表示制御手段は、表示装置に外部装置に送信したＲＡＷ画像データを表示させる際、ＲＡＷ画像データに対する外部装置における第２画像処理の状況を示す指標とともに表示させ、送信手段は、部分ＲＡＷ画像データを外部装置に送信した後に、全体ＲＡＷ画像データを外部装置に送信する、ことを特徴とする画像処理装置によって達成される。
【発明の効果】
【0010】
本発明によれば、外部装置を用いて現像処理を行う場合であっても、短時間で現像処理の結果を確認可能とする画像処理装置および画像処理方法を提供することができる。
【図面の簡単な説明】
【0011】
【図1】実施形態に係る画像処理システムの機能構成例を示すブロック図
【図2】本実施形態において撮像センサーが備えうるカラーフィルタの例を示す図
【図3】実施形態に係る撮像装置の状態遷移図
【図4】実施形態に係る撮像装置の撮影モードにおける動作に関するフローチャート
【図5】第１実施形態におけるＲＡＷ画像データの送信処理に関するフローチャート
【図6】実施形態に係る画像データファイルの構成例を示す図
【図7】本実施形態における領域決定方法の例に関する図
【図8】実施形態に係る撮像装置の再生モードにおける動作に関するフローチャート
【図11】実施形態における指標の表示例を示す図
【図12】実施形態における指標の別の表示例を示す図
【図13】実施形態における一覧表示時の指標の表示例を示す図
【図14】実施形態における拡大表示時の指標の表示例を示す図
【図15】第２実施形態に係る画像処理システムの機能構成例を示すブロック図
【図16】第２実施形態におけるＲＡＷ画像データの送信処理に関するフローチャート
【図17】第３実施形態に係る画像処理システムの機能構成例を示すブロック図
【図18】第４実施形態に係る撮像装置における表示例を示す図
【図19】第４実施形態に係る撮像装置の再生モードにおける動作に関するフローチャート
【発明を実施するための形態】
【0012】
以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【0013】
なお、以下の実施形態では、本発明を画像処理装置の一例としての撮像装置で実施する場合に関して説明する。しかし、本発明はＲＡＷデータを取り扱い可能で、外部装置と通信可能な任意の電子機器で実施可能である。このような電子機器には、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダが含まれる。これらは例示であり、本発明は他の電子機器でも実施可能である。
【0014】
●（第１実施形態）
図１は、本発明の実施形態に係る画像処理システム１００の機能構成例を示すブロック図である。画像処理システム１００はネットワーク２００を通じて通信可能な撮像装置１０１および外部装置１０２を有する。
図１は、本発明の実施形態に係る画像処理システム１００の機能構成例を示すブロック図である。画像処理システム１００はネットワーク２００を通じて通信可能な撮像装置１０１および外部装置１０２を有する。
【0015】
撮像装置１０１は、被写体像の画像データを記録媒体１１７に記録するだけでなく、画像データを記録媒体１１７から読み出して表示する機能や、ネットワーク２００を介して外部装置（例えばサーバ）と双方向に通信する機能を有する。
【0016】
外部装置１０２は、撮像装置１０１で実施可能な現像処理よりも新しい技術に基づく現像処理や、撮像装置１０１で実施できない現像処理を実行する機能や、ネットワークを介して撮像装置１０１や他の装置と双方向に通信する機能を有する。
【0017】
撮像装置１０１は、ＲＡＷデータの現像処理を外部装置１０２に依頼することにより、撮像装置１０１で実施可能な現像処理よりも新しい技術に基づく現像処理や、撮像装置１０１で実施できない現像処理を利用することができる。なお、外部装置１０２に現像処理を依頼することにより現像処理に要する時間を短縮可能な場合などには、撮像装置１０１で実施可能な現像処理と同じ現像処理を外部装置１０２に依頼してもよい。
【0018】
また、撮像装置１０１は、ＲＡＷデータの現像処理を外部装置１０２に依頼する場合、まずＲＡＷデータの一部（部分ＲＡＷデータ）を外部装置１０２に送信してから、ＲＡＷデータの全体（全体ＲＡＷデータ）を送信する。外部装置１０２は、部分ＲＡＷデータの現像結果を全体ＲＡＷデータの現像結果より先に撮像装置１０１に送信する。
【0019】
部分ＲＡＷデータは全体ＲＡＷデータよりもデータ量が少ない上、全体ＲＡＷデータよりも先に現像処理されるため、撮像装置１０１は短時間で部分ＲＡＷデータの現像結果を得ることができる。そのため、部分ＲＡＷデータが表す部分領域については、外部装置１０２による現像結果を確認できるまでの時間を短縮することができる。全体ＲＡＷデータの現像結果は追って外部装置１０２から送信されるため、例えば記録には全体ＲＡＷデータの現像結果を用いる。
【0020】
撮像装置１０１の機能ブロックについて説明する。
制御部１０３は例えばＣＰＵ（ＭＰＵ、マイクロプロセッサとも呼ばれる）であり、ＲＯＭ１３１に記憶されたプログラムをＲＡＭ１３２に読み込んで実行することにより、撮像装置１０１の各部の動作を制御し、撮像装置１０１の機能を実現する。
制御部１０３は例えばＣＰＵ（ＭＰＵ、マイクロプロセッサとも呼ばれる）であり、ＲＯＭ１３１に記憶されたプログラムをＲＡＭ１３２に読み込んで実行することにより、撮像装置１０１の各部の動作を制御し、撮像装置１０１の機能を実現する。
【0021】
ＲＯＭ１３１は書き換え可能な不揮発性メモリであり、制御部１０３が実行するプログラム、撮像装置１０１の各種の設定値、ＧＵＩデータなどを記憶する。ＲＡＭ１３２は、制御部１０３がプログラムを実行する際に用いるメインメモリである。
【0022】
操作部１０４は、ユーザーが撮像装置１０１に対して指示を与えるために用いるキーやボタン、タッチパネルなどの入力デバイスを含む。操作部１０４の入力デバイスに対する操作は制御部１０３によって検出され、制御部１０３は、操作に応じた動作が実行されるよう各部を制御する。
【0023】
表示部１０５は、液晶ディスプレイ（ＬＣＤ）等の表示デバイスを含み、撮像装置１０１において撮影もしくは再生された画像や、メニュー画面、各種情報等を表示する。
【0024】
撮像光学系１０６は複数のレンズと、シャッターを兼ねる絞りなどを有し、被写体の光学像を撮像センサー部１０７の撮像面に形成する。複数のレンズには、撮像光学系１０６の合焦距離を調節するフォーカスレンズが含まれる。フォーカスレンズの駆動は評価値算出部１０８が算出する評価値や認識部１０９による認識結果に基づいてカメラ制御部１１０が制御する。
【0025】
撮像センサー部１０７は、複数の画素が２次元配置されたＣＣＤもしくはＣＭＯＳイメージセンサである。本実施形態において、撮像センサー部１０７は図２に示すような原色ベイヤ配列のカラーフィルタ１０７１を有する。カラーフィルタ１０７１において、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の１つの領域は１つの画素に対応している。したがって、ＲＡＷデータを構成する画素データは、対応するカラーフィルタの色（ＲＧＢのいずれか１つ）の輝度を表す値を有する。撮像センサー部１０７の動作はカメラ制御部１１０が制御する。
【0026】
撮像光学系１０６によって撮像面に形成された被写体の光学像は、撮像センサー部１０７の各画素が有する光電変換部によって電気信号（アナログ画像信号）に変換されたのち、Ａ／Ｄ変換されて画像データとして出力される。Ａ／Ｄ変換は撮像センサー部１０７の外で行われてもよい。
【0027】
撮像センサー部１０７から出力された画像データはセンサー信号処理部１１１に入力される。センサー信号処理部１１１は、撮像センサー部１０７が有する欠陥画素のデータを補正する。補正処理では、例えば、欠陥画素の値を周辺画素の値の補間により生成したり、欠陥画素の値に対して所定のオフセット値を減算したりする処理などが行われたりしてよい。なお、欠陥画素の補正処理はこれらに限定されない。
【0028】
センサー信号処理部１１１は、補正処理後の画像データを出力する。本実施形態では、センサー信号処理部１１１が出力される画像データを、ＲＡＷ画像データと呼ぶ。ただし、現像処理の依頼前に他の処理が適用されることを除外しない。外部装置１０２で現像処理を適用するために撮像装置１０１から外部装置１０２に送信する画像データをＲＡＷ画像データと呼んでもよい。
【0029】
現像部１１２は、ＲＡＷ画像データに対する画像処理（第１画像処理）として現像処理を適用する。ここでは現像処理として、
・デベイヤー処理（デモザイク処理、色補間処理、同時化処理などとも呼ばれる）
・ホワイトバランス調整処理
・ＲＧＢ形式からＹＵＶ形式への変換処理
・ノイズ除去もしくは抑圧処理
・撮像光学系１０６の光学収差による影響の補正処理
を行うものとするが、他の処理が含まれてもよい。
・デベイヤー処理（デモザイク処理、色補間処理、同時化処理などとも呼ばれる）
・ホワイトバランス調整処理
・ＲＧＢ形式からＹＵＶ形式への変換処理
・ノイズ除去もしくは抑圧処理
・撮像光学系１０６の光学収差による影響の補正処理
を行うものとするが、他の処理が含まれてもよい。
【0030】
現像部１１２は、現像処理を適用して得られた画像データを画像圧縮部１１４、評価値算出部１０８、および認識部１０９に出力する。現像部１１２はさらに、現像処理を適用して得られた画像データの解像度を変換して表示用の画像データを生成し、表示処理部１１３に出力する。なお、評価値算出部１０８および認識部１０９には表示用の画像データを出力しても良い。
【0031】
表示処理部１１３（表示制御手段）は、現像部１１２から供給される表示用の画像データをビデオメモリに格納する。表示処理部１１３はまた、画像データに重畳表示する各種の情報を表す画像データをビデオメモリに格納し、撮像画像のデータと合成した画像の表示信号を表示部１０５に供給する。なお、表示用の画像データの生成は表示処理部１１３が行ってもよい。
【0032】
評価値算出部１０８は、画像データから自動焦点検出（ＡＦ）や自動露出制御（ＡＥ）などに用いる各種の評価値を算出し、カメラ制御部１１０や表示処理部１１３に出力する。
【0033】
認識部１０９は、画像データから顔や人体などの被写体領域を検出したり、検出した被写体領域について個人認識を行ったりする。認識部１０９は、認識結果（被写体領域の位置や大きさ、個人認識結果など）を、カメラ制御部１１０や表示処理部１１３に出力する。認識部１０９が実施する被写体領域の検出や個人認識などは公知技術を利用することができるため、その詳細については説明を省略する。
【0034】
画像圧縮部１１４は、画像データを予め定められた符号化方式に従って符号化し、データ量および／または情報量を削減した符号化画像データを格納した画像データファイルを生成する。代表的な符号化方式は静止画であればＪＰＥＧ形式、ＧＩＦ形式、ＨＥＩＦ形式など、動画であればＭＰＥＧ２形式、Ｈ．２６４形式、Ｈ．２６５形式などであるが、これらに限定されない。画像データファイルには補助データもしくはメタデータとして、様々な情報が記録できる。本実施形態において画像圧縮部１１４は、領域決定部１１８が出力した領域情報をメタデータとして画像データファイルに記録する。
【0035】
領域決定部１１８は、カメラ制御部１１０から出力される撮影時の焦点検出領域情報や認識部１０９の出力、および操作部１０４によるユーザーの指示に基づいて、ＲＡＷ画像データのうち、撮影画像の部分領域に対応する部分ＲＡＷ画像データを抽出する。領域決定部１１８は、抽出した部分ＲＡＷ画像データをＲＡＷ圧縮部１１５に出力する。撮影画像の全体に対応するＲＡＷ画像データを全体ＲＡＷ画像データと呼ぶ。
【0036】
また、領域決定部１１８は、部分ＲＡＷ画像データに対応する部分領域の撮像画像全体における位置を特定する座標データ（領域情報と呼ぶ）をＲＡＷ圧縮部１１５および画像圧縮部１１４に出力する。
【0037】
ＲＡＷ圧縮部１１５は、領域決定部１１８が出力した部分ＲＡＷ画像データや、センサー信号処理部１１１が出力する全体ＲＡＷ画像データを符号化し、データ量および／または情報量を削減したＲＡＷ画像データを格納するＲＡＷ画像データファイルを生成する。符号化方式に制限はなく、可逆符号化、不可逆符号化のいずれであってもよい。例えばウエーブレット変換や差分符号化を用いる符号化方式などであってよい。ＲＡＷ圧縮部１１５は、画像圧縮部１１４と同様に、領域決定部１１８が出力した領域情報をＲＡＷ画像データファイルにメタデータとして記録する。なお、ＲＡＷ画像データの符号化は必須ではない。
【0038】
画像圧縮部１１４が生成する画像データファイルと、ＲＡＷ圧縮部１１５が生成するＲＡＷ画像データファイルとは、記録再生部１１６によって記録媒体１１７に記録される。記録媒体１１７は、例えばメモリカード、ハードディスク（ＨＤＤ）、半導体ディスクドライブ（ＳＳＤ）などであってよい。なお、記録媒体１１７は通信可能に接続された外部記憶装置や、通信可能に接続された外部装置が有する記憶装置であってもよい。
【0039】
記録再生部１１６は、記録媒体１１７に記録されている画像データファイルやＲＡＷ画像データファイルを読み出すことができる。
記録再生部１１６は、通信部１１９を通じて、ネットワーク２００に接続された外部装置１０２と双方向に通信可能な手段（送信手段および受信手段）としても機能する。通信部１１９は、無線通信および／または有線通信の１つ以上の規格に準拠した通信インタフェースである。
記録再生部１１６は、通信部１１９を通じて、ネットワーク２００に接続された外部装置１０２と双方向に通信可能な手段（送信手段および受信手段）としても機能する。通信部１１９は、無線通信および／または有線通信の１つ以上の規格に準拠した通信インタフェースである。
【0040】
次に外部装置１０２の機能ブロックについて説明する。外部装置１０２は情報処理装置であり、例えばサーバとして動作可能な汎用コンピュータ装置であってよい。
制御部１２５は例えばＣＰＵ（ＭＰＵ、マイクロプロセッサとも呼ばれる）であり、ＲＯＭ１３３に記憶されたプログラムをＲＡＭ１３４に読み込んで実行することにより、現像処理を始めとした、外部装置１０２の機能を実現を実現する。
制御部１２５は例えばＣＰＵ（ＭＰＵ、マイクロプロセッサとも呼ばれる）であり、ＲＯＭ１３３に記憶されたプログラムをＲＡＭ１３４に読み込んで実行することにより、現像処理を始めとした、外部装置１０２の機能を実現を実現する。
【0041】
ＲＯＭ１３３は書き換え可能な不揮発性メモリであり、制御部１２５が実行するプログラム、外部装置１０２の各種の設定値、ＧＵＩデータなどを記憶する。ＲＡＭ１３４は、制御部１２５がプログラムを実行する際に用いるメインメモリである。なお、図示を省略しているが、外部装置１０２はキーボードやマウスなどを代表とする入力デバイスを有してもよい。
【0042】
通信部１２０は、通信部１１９と同様、無線通信および／または有線通信の１つ以上の規格に準拠した通信インタフェースである。制御部１２５は、通信部１１９を通じて、ネットワーク２００に接続された撮像装置１０１と双方向に通信可能である。
【0043】
バッファ部１２１は撮像装置１０１から受信したＲＡＷ画像データファイルを格納する記憶装置であり、ＲＡＭ１３４の一部領域であってもよい。
【0044】
ＲＡＷ伸長部１２２は、バッファ部１２１に格納されているＲＡＷ画像データファイルに格納されているＲＡＷ画像データが符号化されている場合には復号して現像部１２３に出力する。ＲＡＷ画像データが符号化されていない場合、ＲＡＷ伸長部１２２は復号を行わずに現像部１２３に出力する。
【0045】
現像部１２３は、ＲＡＷ伸長部１２２から供給されるＲＡＷ画像データに対する画像処理（第２画像処理）として現像処理を適用する。現像部１２３が適用する現像処理は、典型的には撮像装置１０２の現像部１１２で適用できない、かつ／または現像部１１２で適用する現像処理よりも高品質の結果が得られる現像処理である。例えば、現像部１２３が適用する現像処理は、現像部１１２が適用する現像処理を構成する処理項目について、より良好な結果が得られる方法を適用したり、現像部１１２では適用しない処理項目を適用したりする現像処理であってよい。現像部１２３は複雑な現像処理を高速に行うための専用の画像処理ハードウェア（ＡＳＩＣなど）を有してもよい。また、現像部１２３が実施する現像処理の少なくとも一部は、制御部１２５がプログラムを実行することによって実現してもよい。
【0046】
画像圧縮部１２４は、現像部１２３から供給される現像処理後の画像データを画像圧縮部１１４と同様に符号化し、符号化画像データを格納した画像データファイルを生成する。画像圧縮部１２４は、生成した画像データファイルをバッファ部１２１に格納する。
【0047】
制御部１２５は、バッファ部１２１に格納された画像データファイルを、通信部１２０を介して撮像装置１０１に送信する。
なお、図１の例では、焦点検出領域の決定、フォーカスレンズの駆動、露出条件の決定、絞り（シャッター）の駆動、撮像センサー部１０７の駆動、読み出しをカメラ制御部１１０が行う構成であったが、制御部１０３が行う構成であってもよい。この場合、カメラ制御部１１０は不要となる。
なお、図１の例では、焦点検出領域の決定、フォーカスレンズの駆動、露出条件の決定、絞り（シャッター）の駆動、撮像センサー部１０７の駆動、読み出しをカメラ制御部１１０が行う構成であったが、制御部１０３が行う構成であってもよい。この場合、カメラ制御部１１０は不要となる。
【0048】
次に、撮像装置１０１の動作モードについて図３を用いて説明する。
図３は、撮像装置１０１が有する動作モードと、動作モード間の遷移関係を示す図である。動作モードの遷移は、操作部１０４を通じたユーザー指示や、所定のイベントの発生、制御部１０３の判断に応じて実行される。したがって、動作モードの遷移は、ユーザ操作に応じて発生することもあれば、ユーザ操作によらず自動で発生することもある。
図３は、撮像装置１０１が有する動作モードと、動作モード間の遷移関係を示す図である。動作モードの遷移は、操作部１０４を通じたユーザー指示や、所定のイベントの発生、制御部１０３の判断に応じて実行される。したがって、動作モードの遷移は、ユーザ操作に応じて発生することもあれば、ユーザ操作によらず自動で発生することもある。
【0049】
撮像装置１０１は動作モードとして撮影モード３０１と再生モード３０２とを有し、撮影モード３０１と再生モード３０２とはアイドル状態３００を経由して遷移する。撮影モード３０１は静止画または動画を撮影して記録する動作モードである。また、再生モード３０２は記録媒体１１７に記録された画像データを再生して表示部１０５に表示させる動作モードである。
【0050】
（撮影モードの動作）
撮影モードにおける撮像装置１０１の動作について、図４に示すフローチャートを用いて説明する。図４のフローチャートに示す動作は、制御部１０３がＲＯＭ１３１からプログラムをＲＡＭ１３２に読み込んで実行し、以下の各ステップの動作主体となる機能ブロックを制御することにより実現される。
撮影モードにおける撮像装置１０１の動作について、図４に示すフローチャートを用いて説明する。図４のフローチャートに示す動作は、制御部１０３がＲＯＭ１３１からプログラムをＲＡＭ１３２に読み込んで実行し、以下の各ステップの動作主体となる機能ブロックを制御することにより実現される。
【0051】
Ｓ４０１で制御部１０３は、撮像装置１０１の処理負荷がアイドル状態への遷移可能な状況か否かを判定する。制御部１０３は、撮像装置１０１の処理負荷がアイドル状態への遷移可能な状況と判定されれば、所定の確率で撮像装置１０１をアイドル状態へ遷移させる（Ｓ４２０）。また、制御部１０３は、撮像装置１０１の処理負荷がアイドル状態への遷移可能な状況と判定されなければ、Ｓ４０２を実行する。
【0052】
例えば、高速連写中のように処理負荷が高い状態では常にＳ４０２を実行する。単写撮影の場合、撮影動作が行われていない期間に、例えば５０％の確率でアイドル状態に遷移する。
【0053】
Ｓ４０２からＳ４０８は、撮影スタンバイ状態における動作である。本実施形態では、撮影スタンバイ状態において撮像装置１０１は、表示部１０５へのライブビュー表示を継続しながら、撮影開始指示の入力を待機するものとする。また、撮像装置１０１は、ライブビュー表示用に撮影した動画像のフレーム画像を用いた他の処理を行ってもよい。ここでは一例として、評価値の取得および認識処理を行うものとする。
【0054】
Ｓ４０２でカメラ制御部１１０は、撮像光学系１０６や撮像センサー部１０７の動作を制御して動画像の１フレームを撮影する。カメラ制御部１１０は、撮影条件を決定する際、評価値算出部１０８で得られた評価値、認識部１０９による認識結果、およびＲＯＭ１３１に記憶されている設定などを考慮することができる。カメラ制御部１１０は例えば、認識部１０９の認識結果に基づく特定の領域に合焦するように撮像光学系１０６の合焦距離を調整することができる。
【0055】
Ｓ４０３でカメラ制御部１１０は、撮像センサー部１０７から画像データを読み出し、センサー信号処理部１１１に供給する。センサー信号処理部１１１は画像データに対して上述した補正処理を適用し、ＲＡＷ画像データとして現像部１１２に供給する。
【0056】
Ｓ４０４で現像部１１２は、ＲＡＷ画像データに対して上述した現像処理を適用する（装置内現像）。なお、現像部１１２は、撮像装置に実装されたハードウェアを用いるため、外部装置が有する現像部１２３を用いて現像処理する場合に発生する通信時間が発生しない。そのため、高速な現像処理という観点からは現像部１１２は現像部１２３よりも有利である。現像処理後の画像データは、必要に応じて表示部１０５での表示に適した解像度に変換される。
【0057】
Ｓ４０５で評価値算出部１０８は、現像処理後の画像データから、フォーカス状態や露出状態などに関する評価値を算出する。ここで算出する評価値は、コントラスト値や輝度値など公知の評価値であってよい。なお、評価値算出部１０８は、現像処理前のＲＡＷ画像データについて同様の評価値を算出してもよい。
【0058】
Ｓ４０６で認識部は、現像処理後の画像データに対して、被写体情報の検出および検出した被写体情報の認識などを行う認識処理を適用する。
なお、Ｓ４０５およびＳ４０６は逆の順序で実施されてもよいし、並列に実行されてもよい。
なお、Ｓ４０５およびＳ４０６は逆の順序で実施されてもよいし、並列に実行されてもよい。
【0059】
Ｓ４０７で表示処理部１１３は、現像後の画像データに各種の補助情報を表す画像を合成して表示用の画像データを生成し、表示部１０５に表示させる。補助情報としては例えば現在の設定値や状態の情報、評価値算出部１０８や認識部１０９から供給される評価値情報や被写体情報に基づく情報などがある。例えば、現在合焦している領域や認識された被写体領域を示す枠表示なども補助情報に含まれる。
【0060】
Ｓ４０８で制御部１０３は、操作部１０４を通じてユーザーからの撮影開始指示が入力されたか否かを判定し、撮影開始指示が入力されたと判定されればＳ４０９を実行し、判定されなければ再度Ｓ４０１を実行する。
【0061】
Ｓ４０９で制御部１０３は各部を制御し、静止画撮影の実行から記録用の画像データの生成までの動作を実施する。静止画撮影の撮影条件（露出および合焦制御）は、撮影スタンバイ状態で取得した評価値に基づいて決定することができる。
【0062】
Ｓ４１０で画像圧縮部１１４は、現像部１１２が出力する現像後の画像データを符号化して符号化画像データを生成し、符号化画像データを格納する静止画データファイルを生成する。そして、記録再生部１１６が静止画データファイルを記録媒体１１７に記録する。
【0063】
Ｓ４１１でＲＡＷ圧縮部１１５は、センサー信号処理部１１１から出力されたＲＡＷ画像データに対して符号化処理を適用して、情報量および／またはデータ量を削減（圧縮）したＲＡＷ画像データファイルを生成する。なお、ＲＡＷ圧縮部１１５における符号化は必須ではない。符号化を行わない場合、ＲＡＷ圧縮部１１５はセンサー信号処理部１１１の出力するＲＡＷ画像データをそのまま格納するＲＡＷ画像データファイルを生成することができる。また、非可逆符号化を適用する場合、符号化によって失われるＲＡＷ画像データの情報が品質が大きな影響を与えないように符号化のパラメータを選択する。
【0064】
Ｓ４１２で記録再生部１１６はＲＡＷ画像データファイルを記録媒体１１７に記録する。なお、ここでは現像処理が行われた画像データと、ＲＡＷ画像データとを別個のデータファイルとして記録するものとしたが、１つの画像データファイルにまとめて記録してもよい。また、記録媒体１１７の代わりに、あるいは記録媒体１１７に加えて、撮像装置１０１に通信可能に接続された外部装置が有する記録装置に画像データファイルを記録してもよい。
【0065】
Ｓ４１３でＲＡＷ圧縮部１１５は、外部装置１０２に送信するＲＡＷ画像データを格納したＲＡＷ画像データファイルを生成する。記録再生部１１６は、このＲＡＷ画像データファイルを通信部１１９を通じて外部装置１０２に送信する。外部装置１０２と記録再生部１１６とのデータ通信は公知の任意の方法を用いて行うことができるため、その詳細については説明を省略する。後述するように、本実施形態ではＲＡＷ圧縮部１１５は２種類のＲＡＷ画像データファイルを生成する。その後、制御部１０３は撮影スタンバイ状態の動作に戻るためにＳ４０１を再度実行する。
【0066】
次に、Ｓ４１３におけるＲＡＷ画像データファイルの送信処理の詳細について、図５のフローチャートを用いて説明する。
Ｓ５０１で領域決定部１１８は、センサー信号処理部１１１が出力するＲＡＷ画像データが表す画像のうち、外部装置１０２に送信する部分領域を決定する。部分領域の決定方法の詳細は後述する。領域決定部１１８は、決定した部分領域の情報（領域情報）と、部分領域に対応する部分ＲＡＷ画像データとをＲＡＷ圧縮部１１５に出力する。
Ｓ５０１で領域決定部１１８は、センサー信号処理部１１１が出力するＲＡＷ画像データが表す画像のうち、外部装置１０２に送信する部分領域を決定する。部分領域の決定方法の詳細は後述する。領域決定部１１８は、決定した部分領域の情報（領域情報）と、部分領域に対応する部分ＲＡＷ画像データとをＲＡＷ圧縮部１１５に出力する。
【0067】
Ｓ５０２でＲＡＷ圧縮部１１５は、領域決定部１１８が決定した部分領域に対応するＲＡＷ画像データを格納したＲＡＷ画像データファイルを生成する。この際、ＲＡＷ画像データは符号化してもしなくてもよい。なお、センサー信号処理部１１１が出力する、撮影画像の全体に対応するＲＡＷ画像データから、領域決定部１１８が決定した部分領域に対応するＲＡＷ画像データを抽出する処理は、領域決定部１１８が行っても、ＲＡＷ圧縮部１１５が行ってもよい。
【0068】
以降の説明では、撮影画像の全体に対応するＲＡＷ画像データを全体ＲＡＷ画像データ、全体ＲＡＷ画像データを格納するＲＡＷ画像データファイルを全体ＲＡＷ画像データファイルと呼ぶ。また、撮影画像の部分領域に対応するＲＡＷ画像データを部分ＲＡＷ画像データ、部分ＲＡＷ画像データを格納するＲＡＷ画像データファイルを部分ＲＡＷ画像データファイルと呼ぶ。
【0069】
Ｓ５０３で記録再生部１１６は通信部１１９を介して部分ＲＡＷ画像データファイルを外部装置１０２に送信する。
【0070】
Ｓ５０４でＲＡＷ圧縮部１１５は全体ＲＡＷ画像データファイルを生成する。
Ｓ５０５で記録再生部１１６は通信部１１９を介して全体ＲＡＷ画像データファイルを外部装置１０２に送信する。
以上が、ＲＡＷ画像データの送信処理である。
Ｓ５０５で記録再生部１１６は通信部１１９を介して全体ＲＡＷ画像データファイルを外部装置１０２に送信する。
以上が、ＲＡＷ画像データの送信処理である。
【0071】
送信された部分ＲＡＷ画像データファイルおよび全体ＲＡＷ画像データファイルは、それぞれ外部装置１０２によって順次現像処理が施される。そして、現像処理が適用された画像データファイルが、部分ＲＡＷ画像データファイルの現像処理結果から順に撮像装置１０１に返送される。以下、部分ＲＡＷ画像データファイルを現像処理した画像データを格納した画像データファイルを部分画像データファイル、全体ＲＡＷ画像データファイルを現像処理した画像データを格納した画像データファイルを全体画像データファイルと呼ぶ。
【0072】
撮像装置１０１は通信部１１９を通じて外部装置１０２から画像データファイルを受信する。記録再生部１１６は、受信した画像データファイルを記録媒体１１７に記録する。
【0073】
なお、外部装置１０２からの画像データファイル受信は図４に示した撮影モードにおける動作と独立したタイミングで発生する。そのため、記録再生部１１６による画像データファイルの記録動作は、図４に示した撮影モードにおける動作と並行にして実行される。
【0074】
記録再生部１１６は、部分ＲＡＷ画像データの現像結果を格納した画像データファイルは、装置内現像してＳ４１０で記録した画像データを上書きしないように記録する。全体ＲＡＷ画像データの現像結果を格納した画像データファイルを受信した場合には、装置内現像してＳ４１０で記録した画像データを上書きするように記録してもよい。また、全体ＲＡＷ画像データの現像結果を格納した画像データファイルを受信したら、先に受信した、部分ＲＡＷ画像データの現像結果を格納した画像データファイルを削除してもよい。
【0075】
ここで、本実施形態における画像データファイルのデータ構造と、ＲＡＷ画像データファイルの構造について、図６を用いて説明する。
図６（ａ）は、現像処理後の画像データを格納する画像データファイル６００のデータ構造の一例を示す図である。画像データファイル６００は、記録再生部１１６によって、例えば記録媒体１１７の所定の記録エリアに記録される。
図６（ａ）は、現像処理後の画像データを格納する画像データファイル６００のデータ構造の一例を示す図である。画像データファイル６００は、記録再生部１１６によって、例えば記録媒体１１７の所定の記録エリアに記録される。
【0076】
画像データファイル６００は、ヘッダ部６０１、メタデータ部６０２、圧縮データ部６０３を有する。
ヘッダ部６０１には、画像データファイルのファイル名や、データファイルが所定の画像データファイルの形式で記録されていることを示す識別コードなどが格納される。
圧縮データ部６０３には、現像処理後の画像データの符号化データ（圧縮データ）が格納される。
ヘッダ部６０１には、画像データファイルのファイル名や、データファイルが所定の画像データファイルの形式で記録されていることを示す識別コードなどが格納される。
圧縮データ部６０３には、現像処理後の画像データの符号化データ（圧縮データ）が格納される。
【0077】
メタデータ部６０２には、画像データファイルの生成元のＲＡＷ画像データファイルの識別情報（例えばファイル名）６０４が格納される。また、メタデータ部６０２には、画像データの現像処理に関する情報を示す現像ステータス６０５が含まれる。現像ステータス６０５には、圧縮データ部６０３に格納されている画像データを現像処理した現像部の識別情報、画像データが部分領域および全体領域のいずれに対応するかを示す情報などが含まれる。また、メタデータ部６０２には、部分領域の位置を示す情報（領域情報）が含まれる。
【0078】
また、メタデータ部６０２には、撮影時に用いられた情報に関するデータを含んだ撮影メタデータ６０６が含まれる。撮影メタデータ６０６には評価値算出部１０８で算出された評価値、認識部１０９での認識結果、撮像光学系１０６や撮像センサー部１０７などの情報が含まれて良い。撮像光学系１０６や撮像センサー部１０７などの情報としては例えば、レンズ種別識別情報、センサー種別識別情報、焦点検出領域情報などがあるが、これらに限定されない。またメタデータ部６０２には、その他にも、画像データファイルの生成元のＲＡＷ画像データファイルが記録されている記録媒体の識別コードや、ＲＡＷ画像データファイルのファイルパス情報など、他の情報が含まれてもよい。
【0079】
図６（ｂ）は、ＲＡＷ画像データを格納するＲＡＷ画像データファイル６１０のデータ構造の一例を示す図である。ＲＡＷ画像データファイル６１０は、記録再生部１１６によって、例えば記録媒体１１７の所定の記録エリアに記録される。
【0080】
ＲＡＷ画像データファイル６１０は、ヘッダ部６１１、メタデータ部６１２、圧縮データ部６１３を有する。なお、先に述べたように、ＲＡＷ画像データは符号化されていなくてもよいため、圧縮データ部６１３に格納されているＲＡＷ画像データは非圧縮データであってもよい。
【0081】
ヘッダ部６１１には、ＲＡＷ画像データファイルのファイル名や、データファイルがＲＡＷ画像データファイルの形式で記録されていることを示す識別コードなどが格納される。
圧縮データ部６１３には、符号化された、あるいは符号化されていないＲＡＷ画像データが格納される。
圧縮データ部６１３には、符号化された、あるいは符号化されていないＲＡＷ画像データが格納される。
【0082】
メタデータ部６１２には、このＲＡＷ画像データファイルに格納されているＲＡＷ画像データの現像結果を格納する画像データファイルの識別情報（例えばファイル名）６１４が格納される。また、メタデータ部６１２には、識別情報６１４に対応する画像データファイルに格納される画像データの現像処理に関する情報を示す現像ステータス６１５が含まれる。現像ステータス６１５には、画像データを現像処理した現像部の識別情報、画像データが部分領域および全体領域のいずれに対応するかを示す情報などが含まれる。また、メタデータ部６１２には、部分領域の位置を示す情報（領域情報）が含まれる。
【0083】
また、メタデータ部６１２には、撮影時に用いられた情報に関するデータを含んだ撮影メタデータ６１６が含まれる。撮影メタデータ６１６には評価値算出部１０８で算出された評価値、認識部１０９での認識結果、撮像光学系１０６や撮像センサー部１０７などの情報が含まれて良い。撮像光学系１０６や撮像センサー部１０７などの情報としては例えば、レンズ種別識別情報、センサー種別識別情報、焦点検出領域情報などがあるが、これらに限定されない。またメタデータ部６１２には、その他にも、現像処理後の画像データを格納した画像データファイルが記録されている記録媒体の識別コードや、画像データファイルのファイルパス情報など、他の情報が含まれてもよい。なお、圧縮データ部６１３に含まれるＲＡＷ画像データを現像処理した画像データを必要に応じてスケーリングしてメタデータ部６１２に格納してもよい。
【0084】
図６に例示したファイル構造は本実施形態で用いることが可能なファイル構造の一例であり、Ｅｘｉｆ(Exchangeable image file format)などの標準規格に準じたファイル構造構成であってもよい。
【0085】
次に、図７を用いて、領域決定部１１８が部分領域を決定する方法について説明する。本実施形態では、外部装置１０２に現像処理を依頼する場合に、撮像画像の部分領域に対応するＲＡＷ画像データをまず外部装置１０２に送信する。これにより、外部装置１０２との通信ならびに外部装置１０２での現像処理に要する時間を短縮し、部分領域に対する現像結果を短時間で取得できるようにしている。
【0086】
ユーザは先に得られる部分領域についての現像結果を、画像全体に対する現像処理結果の品質の判断材料として用いることが想定される。そのため、本実施形態において領域決定部１１８は、主被写体領域もしくは主被写体領域を含む領域を部分領域として決定する。
【0087】
被写体領域を含む部分領域の決定方法の一例について説明する。
図７（ａ）および図７（ｂ）は、領域決定部１１８が、カメラ制御部１１０から供給される焦点検出領域の情報を用いて部分領域を決定する例である。７００は撮影画像の全体を示し、７０１は撮影時に用いた焦点検出領域を示している。図７（ａ）の例では、領域決定部１１８は焦点検出領域７０１をそのまま部分領域として決定する。一方、図７（ｂ）の例では、領域決定部１１８は焦点検出領域７０１と中心位置が共通で、焦点検出領域７０１の全体を包含し、かつ焦点検出領域７０１よりも大きい矩形領域７０２を部分領域として決定する。
図７（ａ）および図７（ｂ）は、領域決定部１１８が、カメラ制御部１１０から供給される焦点検出領域の情報を用いて部分領域を決定する例である。７００は撮影画像の全体を示し、７０１は撮影時に用いた焦点検出領域を示している。図７（ａ）の例では、領域決定部１１８は焦点検出領域７０１をそのまま部分領域として決定する。一方、図７（ｂ）の例では、領域決定部１１８は焦点検出領域７０１と中心位置が共通で、焦点検出領域７０１の全体を包含し、かつ焦点検出領域７０１よりも大きい矩形領域７０２を部分領域として決定する。
【0088】
【0089】
図７（ｃ）および図７（ｄ）は、領域決定部１１８が、認識部１０９における認識結果を用いて部分領域を決定する例である。７０３および７０４は認識部１０９により被写体領域として検出された顔領域を示している。領域決定部１１８は、例えば顔領域もしくは顔領域を包含する領域を部分領域として決定することができる。図７（ｄ）は、顔領域７０３および７０４の両方を包含する矩形領域７０５を部分領域として決定する例を示している。なお、図７（ｃ）のように複数の被写体領域が検出されている場合、１つを主被写体領域として決定し、主被写体領域もしくは主被写体領域を包含する領域を部分領域として決定してもよい。主被写体領域は公知の手法により決定することができるが、例えば最も大きな被写体領域や、最も画像の中心に近い被写体領域を、主被写体領域として決定することができる。
【0090】
ここで説明した部分領域の決定方法は単なる例示であり、焦点検出領域、評価値、および被写体領域の２つ以上を複合的に考慮して部分領域を決定してもよい。なお、部分領域は、時間短縮の観点から、画像全体よりも小さい領域とする。また、部分領域の大きさに上限を定めてもよい。また、部分領域を操作部１０４を通じてユーザが指定できるように構成してもよい。
【0091】
（再生モードの動作）
再生モードにおける撮像装置１０１の動作について、図８に示すフローチャートを用いて説明する。図８のフローチャートに示す動作は、制御部１０３がＲＯＭ１３１からプログラムをＲＡＭ１３２に読み込んで実行し、以下の各ステップの動作主体となる機能ブロックを制御することにより実現される。
再生モードにおける撮像装置１０１の動作について、図８に示すフローチャートを用いて説明する。図８のフローチャートに示す動作は、制御部１０３がＲＯＭ１３１からプログラムをＲＡＭ１３２に読み込んで実行し、以下の各ステップの動作主体となる機能ブロックを制御することにより実現される。
【0092】
Ｓ８０１で制御部１０３は、撮像装置１０１の処理負荷がアイドル状態への遷移可能な状況か否かを判定する。制御部１０３は、撮像装置１０１の処理負荷がアイドル状態への遷移可能な状況と判定されれば、所定の確率で撮像装置１０１をアイドル状態へ遷移させる（Ｓ８１０）。また、制御部１０３は、撮像装置１０１の処理負荷がアイドル状態への遷移可能な状況と判定されなければ、Ｓ８０２を実行する。
【0093】
例えば、操作部１０４を通じた再生指示の入力を待機している間は、処理負荷が低いと判定し、制御部１０３は撮像装置１０１をアイドル状態に遷移させる。一方、再生指示が入力されて画像の再生が開始されている（再生中の状態を含む）場合、制御部１０３は処理負荷が低いとは判定せず、アイドル状態へは遷移させない。
【0094】
Ｓ８０２において制御部１０３は、再生する画像データに対応するＲＡＷ画像データについての、外部装置１０２を利用した現像処理に関する現像状態を検出する。ここで、再生する画像データは、現像部１１２で現像された画像データである。例えば直近に実行されたＳ４１０で記録された画像データファイルに含まれる画像データであってよい。
【0095】
本実施形態においては、表示対象の画像データについての現像状態として、外部装置との画像データの送受信状態に応じた以下の４つの現像状態があるものとする。
（１）未現像：部分ＲＡＷ画像データが外部装置１０２に送信されていない状態
（２）現像中：部分ＲＡＷ画像データが外部装置１０２に送信済みであるが、現像処理結果を受信していない状態
（３）一部現像済：部分ＲＡＷ画像データの現像処理結果は受信済みだが、全体ＲＡＷ画像データの現像処理結果の受信が完了していない状態
（４）全体現像済：全体ＲＡＷ画像データの現像処理結果を受信済みの状態
（１）未現像：部分ＲＡＷ画像データが外部装置１０２に送信されていない状態
（２）現像中：部分ＲＡＷ画像データが外部装置１０２に送信済みであるが、現像処理結果を受信していない状態
（３）一部現像済：部分ＲＡＷ画像データの現像処理結果は受信済みだが、全体ＲＡＷ画像データの現像処理結果の受信が完了していない状態
（４）全体現像済：全体ＲＡＷ画像データの現像処理結果を受信済みの状態
【0096】
ここでは、外部装置１０２との画像データの送受信状態に応じた現像状態を検出する例を説明した。しかし、他の状態に基づく現像状態を検出してもよい。例えば、画像データファイルのメタデータ部に含まれる現像ステータスを参照することによって現像状態を検出してもよいし、現像状態を示すようにファイル名を付与するようにして、記録媒体１１７に存在するファイル名に基づいて現像状態を検出してもよい。制御部１０３は、検出した現像状態を表示処理部１１３に出力する。
【0097】
Ｓ８０３で表示処理部１１３は、表示用画像データを生成する。表示用画像データの生成動作の詳細について、図９に示すフローチャートを用いて説明する。
Ｓ９０１で表示処理部１１３は、制御部１０３から供給された現像状態が、全体現像済であるか否か判定し、全体現像済であると判定されればＳ９０５を実行し、判定されなければＳ９０２を実行する。
Ｓ９０１で表示処理部１１３は、制御部１０３から供給された現像状態が、全体現像済であるか否か判定し、全体現像済であると判定されればＳ９０５を実行し、判定されなければＳ９０２を実行する。
【0098】
Ｓ９０５で表示処理部１１３は、全体ＲＡＷ画像データの現像処理結果である全体画像データに基づいて表示部１０５による表示に適した表示用画像データを生成し、表示用画像データ生成処理を終了する。表示用画像データは、表示部１０５の表示に適した解像度を有し、また、補助情報を表す画像が合成された画像データであってよい。補助情報には特に制限はないが、撮影条件（シャッタースピード、絞り値、感度、露出補正値など）や、画像から得られる情報（例えばヒストグラム、白飛び／黒つぶれ領域を示す情報など）を例示することができる。
【0099】
Ｓ９０２で表示処理部１１３は、制御部１０３から供給された現像状態が一部現像済であるか否か判定し、一部現像済であると判定されればＳ９０４を実行し、判定されなければＳ９０３を実行する。
【0100】
Ｓ９０４で表示処理部１１３は、現像部１１２によって現像処理されて記録媒体１１７に記録されている画像データと、外部装置１０２の現像部１２３による、部分ＲＡＷ画像データの現像処理結果である部分画像データとに基づいて表示用画像データを生成する。
【0101】
具体的には、表示処理部１１３は、現像部１１２が現像処理した撮像画像全体の画像データのうち、外部装置１０２に送信したＲＡＷ画像データに対応する部分領域の画像データを、外部装置１０２から受信済みの部分画像データに置換した合成画像を生成する。そして、この合成画像に基づいて、表示処理部１１３は、表示部１０５による表示に適した表示用画像データを生成して表示用画像データ生成処理を終了する。表示用画像データは元の画像が異なることを除き、Ｓ９０５と同様にして生成することができる。
【0102】
Ｓ９０３で表示処理部１１３は、現像部１１２によって現像処理されて記録媒体１１７に記録されている画像データに基づいて表示部１０５による表示に適した表示用画像データを生成して表示用画像データ生成処理を終了する。表示用画像データは元の画像が異なることを除き、Ｓ９０５と同様にして生成することができる。
【0103】
以上のようにして表示用画像データが生成されると、Ｓ８０４で表示処理部１１３は、表示用画像データに対する追加の補助情報として、現像状態を示す指標を生成する。指標の生成動作の詳細について、図１０に示すフローチャートを用いて説明する。
【0104】
Ｓ１００１で表示処理部１１３は、制御部１０３から供給された現像状態が全体現像済であるか否か判定し、全体現像済であると判定されれば指標の生成処理を終了し、判定されなければＳ１００２を実行する。
【0105】
Ｓ１００２で表示処理部１１３は、表示対象の画像データファイルのメタデータ部から領域情報を取得する。領域情報を取得する画像データは全体ＲＡＷ画像データファイルであっても、部分画像データファイルであってもよい。
【0106】
Ｓ１００３で表示処理部１１３は、取得した領域情報に基づいて、部分ＲＡＷ画像データに対応する部分領域を示す指標（例えば部分領域の輪郭を示す枠状の画像）を生成する。表示処理部１１３は、指標の位置および大きさを、Ｓ８０３で生成した表示用画像データの画像座標系に基づいて決定する。
【0107】
Ｓ１００４で表示処理部１１３は、制御部１０３から供給された現像状態が一部現像済であるか否か判定し、一部現像済であると判定されればＳ１００８を、判定されなければＳ１００５を実行する。
Ｓ１００８で表示処理部１１３は、指標の色を緑に決定して指標の生成処理を終了する。
Ｓ１００８で表示処理部１１３は、指標の色を緑に決定して指標の生成処理を終了する。
【0108】
Ｓ１００５で表示処理部１１３は、制御部１０３から供給された現像状態が現像中であるか否か判定し、現像中であると判定されればＳ１００７を、判定されなければＳ１００６を実行する。
Ｓ１００６で表示処理部１１３は、指標の色を赤に決定して指標の生成処理を終了する。
Ｓ１００７で表示処理部１１３は、指標の色を黄に決定して指標の生成処理を終了する。
Ｓ１００６で表示処理部１１３は、指標の色を赤に決定して指標の生成処理を終了する。
Ｓ１００７で表示処理部１１３は、指標の色を黄に決定して指標の生成処理を終了する。
【0109】
このように、本実施形態では撮影後に画像データを表示する場合、表示されている画像データについての外部装置１０２での現像処理の進捗状況を示す指標を併せて表示するようにした。そのため、ユーザは再生指示した画像データに関する外部装置での現像の進捗状況を容易に把握することができる。なお、ここでは指標の色によって現像処理の状況を表したが、色に限らず、任意の異なる表示形態を用いることができる。
【0110】
また、ここでは、現像処理の進捗状況を示す指標が、外部装置１０２で先行して現像処理を行う部分ＲＡＷ画像データに対応する部分領域を示す指標を兼ねるようにした。そのため、特に一部現像済の指標が表示されている場合、ユーザは指標内の領域の画質に基づいて残りの領域の現像後の画質を推測することができる。
【0111】
なお、ここでは現像状態が全体現像済である画像データについては指標を表示していないが、全体現像済みであることを示す指標を表示するようにしてもよい。また、外部装置１０２での現像処理の進捗状況を示す指標を部分領域を示す指標と別個に表示するようにしてもよい。外部装置１０２で先行して現像処理を行う部分ＲＡＷ画像データに対応する部分領域と、外部装置１０２での現像処理の進捗状況とが把握可能であれば、任意の形態の指標を生成することができる。
【0112】
図８に戻り、Ｓ８０５で表示処理部１１３はＳ８０３で生成した表示用画像データに、Ｓ８０４で生成した指標を合成して、表示部１０５に表示する。その後、表示処理部１１３は再度Ｓ８０１を実行し、次の再生指示の入力を待機する。そして、再生対象の画像データを変更する指示が入力されれば、新たな再生対象の画像データについて、Ｓ８０２以降の処理を実行する。
【0113】
図１１は、再生モードで動作する撮像装置１０１における、再生画像の表示例を模式的に示す図である。１１００は表示部１０５の表示画面である。指標１１０１は部分ＲＡＷ画像データに対応する部分領域を示し、また表示色により、外部装置１０２での現像状態を表す。図１１では便宜上、指標１１０１の色を線の種類によって表しているが、実際には左の表に記載されている色で表示される。表示対象の画像データが全体現像済である場合、表示処理部１１３は全体画像データファイル内の画像データに基づいて表示用画像データを生成し、指標は表示しない。
【0114】
図１２は再生モードで動作する撮像装置１０１における、再生画像の別の表示例を模式的に示す図である。ここでは、指標の形態が図１１と異なる。
この例では、部分ＲＡＷ画像データに対応する部分領域と他の領域との明るさにより現像状態を表すような指標を用いている。具体的には、未現像の状態では、画像全体の明るさを低減するような指標とする。ただし、部分領域は他の領域より明るく表示されるように、明るさの低減量を少なくする。また、一部現像済の状態では、部分領域については明るさを低減せず、他の領域のみ明るさを低減する指標とする。そして、現像中の状態では、未現像の状態の指標と一部現像済の状態の指標とを一定間隔で交互に表示することで、部分領域の明るさだけが周期的に変化して見えるようにする。また、全体現像済の状態では指標を表示せず、画像全体の明るさを低減しないようにする。ここで説明したような指標は、領域に応じて不透明度を異ならせることによって実現できる。
この例では、部分ＲＡＷ画像データに対応する部分領域と他の領域との明るさにより現像状態を表すような指標を用いている。具体的には、未現像の状態では、画像全体の明るさを低減するような指標とする。ただし、部分領域は他の領域より明るく表示されるように、明るさの低減量を少なくする。また、一部現像済の状態では、部分領域については明るさを低減せず、他の領域のみ明るさを低減する指標とする。そして、現像中の状態では、未現像の状態の指標と一部現像済の状態の指標とを一定間隔で交互に表示することで、部分領域の明るさだけが周期的に変化して見えるようにする。また、全体現像済の状態では指標を表示せず、画像全体の明るさを低減しないようにする。ここで説明したような指標は、領域に応じて不透明度を異ならせることによって実現できる。
【0115】
なお、表示部１０５に１枚の画像を表示する場合について表示例を説明したが、複数の画像を同時に表示する場合には、個々の画像について同様の表示制御を行うことができる。
【0116】
図１３は、６枚の画像１３０１～画像１３０６を表示部１０５に一覧表示した状態を模式的に示している。ここでは、各画像に、図１０および図１１を用いて説明した指標を適用した表示例を示しているが、図１２に示した指標など、他の形態の指標を用いてもよい。
【0117】
なお、画像の表示中の操作部１０４を通じて拡大指示が入力された場合、表示処理部１１３は、部分領域を中心として拡大表示してもよい。図１４を用いて画像の拡大表示例を説明する。ここでは図１０および図１１を用いて説明した指標を用いた例を示すが、図１２に示した指標など、他の形態の指標を用いてもよい。
【0118】
図１４（ａ）は通常倍率（拡大なし）での表示例を示す。
表示部１０５の表示画面１４００には撮像画像全体が、部分領域を示す指標１４０１とともに表示されている。この状態で拡大指示が入力されると、表示処理部１１３は図１４（ｂ）に示すように、部分領域が表示画面一杯に表示されるように拡大表示する。ここでは部分領域と表示画面の縦横比が一致しているため、指標１４０１が表示画面の外縁に一致するように拡大表示されている。
表示部１０５の表示画面１４００には撮像画像全体が、部分領域を示す指標１４０１とともに表示されている。この状態で拡大指示が入力されると、表示処理部１１３は図１４（ｂ）に示すように、部分領域が表示画面一杯に表示されるように拡大表示する。ここでは部分領域と表示画面の縦横比が一致しているため、指標１４０１が表示画面の外縁に一致するように拡大表示されている。
【0119】
本実施形態のように画像の部分領域の現像結果を先行して取得する場合、ユーザが部分領域についての現像結果を拡大表示して現像処理の品質を評価することが想定される。したがって、現像状態が一部現像済みである画像について拡大指示が入力された場合、表示処理部１１３は部分領域が表示画面一杯に表示されるように表示倍率を決定するようにして、ユーザの利便性を向上させることができる。
【0120】
図１４（ｂ）の状態で拡大指示が入力された場合、表示処理部１１３は、図１４（ｃ）の様に部分領域の中心を表示画面の中心に合わせた状態でさらに拡大表示してもよい。しかし、拡大率や、拡大画像がユーザ指示によって移動された場合には、指標１４０１の一部または全部が表示されなくなる場合がある。
【0121】
このような場合、ユーザは拡大表示されている画像が部分領域の中の領域なのか外の領域なのかが分からなくなる。また、指標が表示されなくなると、現像状態が分からなくなる。そのため、指標が表示画面外に移動してしまう場合には、指標を表示画面の外縁に表示するようにしてもよい。
【0122】
図１４（ｄ）は図１４（ｃ）と同じ拡大率の表示において、本来は表示されない指標１４０１を表示画面の外縁に新たな指標１４０２として表示した例を示す。なお、部分領域の輪郭を示す指標とは別に、現像の進捗状況を示す指標を用いる場合には、拡大率に関わらず現像の進捗状況を示す指標を表示するようにすればよい。
【0123】
図１４（ｅ）は、拡大表示の中心が部分領域の中心と異なる場合の拡大表示の例を示している。この場合、指標１４０１の一部が表示されているが、指標１４０１のどちらが部分領域であるのかを判別することができない。このように、指標の一部が表示される場合には、部分領域の位置を示すように指標を表示画面の外縁に表示させてもよい。
図１４（ｆ）は図１４（ｅ）の状態で、部分領域の位置を示すように指標１４０３を表示した例を示す。
図１４（ｆ）は図１４（ｅ）の状態で、部分領域の位置を示すように指標１４０３を表示した例を示す。
【0124】
本実施形態では、ＲＡＷ画像データの現像処理に外部装置を利用した可能な画像処理装置において、まず撮像画像の部分領域についての現像処理結果を取得するようにした。そのため、全領域についての現像処理が完了するよりも短時間で現像処理の結果を評価することが可能になる。
【0125】
また、外部装置での画像全体についての現像処理が完了していない画像について表示指示があった場合には、画像処理装置が現像処理した画像を用いて表示を行うほか、外部装置における現像処理の進捗状況を示す指標を併せて表示する。そのため、ユーザは表示されている画像についての現像処理の進捗状況を容易に把握できる。また、表示画像に、先行して現像結果が得られる部分領域を示す指標を重畳表示することにより、画像全体についての現像処理が完了していない状態であっても、ユーザは部分領域についての現像結果から全体についての現像処理結果を評価することができる。そのため、撮像装置で発明を実施した場合、撮影後、短時間で撮像画像に対する現像処理結果を評価することが可能になる。
【0126】
なお、本実施形態では、撮影画像を表示する際、外部装置での現像処理結果を受信している画像領域については、外部装置で現像処理して得られた画像データを優先して表示するようにした。しかし、外部装置での現像処理結果と、画像処理装置での現像処理結果とを比較可能に表示するようにしてもよい。
【0127】
●（第２実施形態）
次に、第２実施形態について説明する。第１実施形態では、先に現像結果を取得するための部分領域を撮像装置が決定し、部分領域に対応する部分ＲＡＷ画像データを外部装置に送信する構成であった。本実施形態では部分領域の決定は撮像装置が行うが、全体ＲＡＷ画像データから部分ＲＡＷ画像データを抽出する動作は外部装置で行う。
次に、第２実施形態について説明する。第１実施形態では、先に現像結果を取得するための部分領域を撮像装置が決定し、部分領域に対応する部分ＲＡＷ画像データを外部装置に送信する構成であった。本実施形態では部分領域の決定は撮像装置が行うが、全体ＲＡＷ画像データから部分ＲＡＷ画像データを抽出する動作は外部装置で行う。
【0128】
図１５は第２実施形態における画像処理システムの機能構成例を示すブロック図である。第１実施形態と同様の構成については図１と同じ参照数字を付し、説明を省略する。本実施形態では、外部装置１０２が領域切出部１５０１を有する。
【0129】
撮像装置１０１の領域決定部１５００は、全体ＲＡＷ画像データから部分ＲＡＷ画像データを抽出せず、決定した部分領域の情報（領域情報）だけをＲＡＷ圧縮部１１５に出力することを除き、第１実施形態の領域決定部１１８と同様の動作を行う。また、ＲＡＷ圧縮部１１５は、全体ＲＡＷ画像データファイルのみを作成する。記録再生部１１６は、全体ＲＡＷ画像データファイルのみを外部装置１０２に送信する。
【0130】
外部装置１０２において、ＲＡＷ伸長部１２２から出力された全体ＲＡＷ画像データは、領域切出部１５０１に供給される。領域切出部１５０１は、全体ＲＡＷ画像データファイルのメタデータ部６１２に含まれる領域情報を参照し、全体ＲＡＷ画像データから部分ＲＡＷ画像データを抽出して現像部１２３に出力する。領域切出部１５０１は、その後（例えば部分ＲＡＷ画像データに対する現像処理の完了後）、全体ＲＡＷ画像データを現像部１２３に出力する。
【0131】
次に、本実施形態におけるＲＡＷ画像データファイルの送信処理の詳細について、図１６のフローチャートを用いて説明する。この処理は、図４のフローチャートにおけるＳ４１３で実施することができる。
Ｓ１６０１で領域決定部１５００は、第１実施形態（図５のＳ５０１）と同様にして、外部装置１０２に送信する部分領域を決定する。部分領域の決定方法は第１実施形態と同様であってよい。領域決定部１５００は、決定した部分領域の情報（領域情報）をＲＡＷ圧縮部１１５に出力する。
Ｓ１６０１で領域決定部１５００は、第１実施形態（図５のＳ５０１）と同様にして、外部装置１０２に送信する部分領域を決定する。部分領域の決定方法は第１実施形態と同様であってよい。領域決定部１５００は、決定した部分領域の情報（領域情報）をＲＡＷ圧縮部１１５に出力する。
【0132】
Ｓ１６０２でＲＡＷ圧縮部１１５は、領域決定部１５００からの領域情報をメタデータ部６１２に含めた全体ＲＡＷ画像データファイルを生成する。この際、ＲＡＷ画像データは符号化してもしなくてもよい。
【0133】
Ｓ１６０３で記録再生部１１６は通信部１１９を介して全体ＲＡＷ画像データファイルを外部装置１０２に送信する。
【0134】
外部装置１０２は、第１実施形態と同様に、部分画像データファイル、全体画像データファイルの順に撮像装置１０１に送信する。外部装置１０２からこれらの画像データファイルを受信した際の撮像装置１０１の動作は第１実施形態と同様であってよい。
【0135】
本実施形態では、外部装置に送信するＲＡＷ画像データの総量および送信回数が削減できるため、ネットワークが従量制で課金される場合に有利である。一方で、外部装置１０２が部分ＲＡＷ画像データの現像処理を開始するまでの時間は第１実施形態より遅くなる可能性がある。
【0136】
●（第３実施形態）
次に、第３実施形態について説明する。第３実施形態では部分領域の決定および、全体ＲＡＷ画像データから部分ＲＡＷ画像データを抽出する動作の両方を外部装置で行う。
次に、第３実施形態について説明する。第３実施形態では部分領域の決定および、全体ＲＡＷ画像データから部分ＲＡＷ画像データを抽出する動作の両方を外部装置で行う。
【0137】
図１７は第３実施形態における画像処理システムの機能構成例を示すブロック図である。第１実施形態と同様の構成については図１と同じ参照数字を付し、説明を省略する。本実施形態では、撮像装置１０１が領域決定部を有さず、外部装置１０２が領域決定部１７００を有する。
【0138】
撮像装置１０１において、ＲＡＷ圧縮部１１５は全体ＲＡＷ画像データファイルのみを作成する。生成する全体ＲＡＷ画像データファイルのメタデータ部６１２に領域情報は含まれない。記録再生部１１６は、全体ＲＡＷ画像データファイルのみを外部装置１０２に送信する。
【0139】
外部装置１０２において、ＲＡＷ伸長部１２２から出力された全体ＲＡＷ画像データは、領域決定部１７００に供給される。領域決定部１７００は、全体ＲＡＷ画像データファイルのメタデータ部６１２に含まれる撮影メタデータ６１６に基づいて部分領域を決定する。領域決定部１７００は、例えば、撮影時に用いられた焦点検出領域や、認識された被写体領域の情報を用いて部分領域を決定することができる。領域決定部１７００は、決定した部分領域に基づいて、全体ＲＡＷ画像データから部分ＲＡＷ画像データを抽出して現像部１２３に出力する。領域決定部１７００は、その後（例えば部分ＲＡＷ画像データに対する現像処理の完了後）、全体ＲＡＷ画像データを現像部１２３に出力する。
【0140】
本実施形態では、第２実施形態の効果に加え、画像処理装置に部分領域を決定する構成を設ける必要が無いため、撮像装置を画像処理装置として用いる構成に好適である。
【0141】
●（第４実施形態）
次に、第４実施形態について説明する。第４実施形態では、部分画像データに基づいて、全体ＲＡＷ画像データに対する現像処理を行うか否かを制御可能とした構成を有する。本実施形態は第１実施形態と同様の構成を有する画像処理システムで実施可能である。
次に、第４実施形態について説明する。第４実施形態では、部分画像データに基づいて、全体ＲＡＷ画像データに対する現像処理を行うか否かを制御可能とした構成を有する。本実施形態は第１実施形態と同様の構成を有する画像処理システムで実施可能である。
【0142】
本実施形態では、図４のＳ４１３におけるＲＡＷ画像データファイルの送信処理において、部分ＲＡＷ画像データファイルの送信までの処理（Ｓ５０１～Ｓ５０３）を行う。したがって、撮影モードにおいて全体ＲＡＷ画像データファイルは外部装置１０２に自動的に送信されない。
【0143】
そして、撮像装置１０１は、再生モードで動作中、表示中の画像データの現像状態が一部現像済の場合、ユーザに画像全体について外部装置１０２で現像処理を行うか否かを問い合わせる。ユーザから画像全体について外部装置１０２で現像処理を行うことが指示されると、表示中の画像データに対応する全体ＲＡＷ画像データファイルを外部装置１０２に送信する。
【0144】
図１８（ａ）は本実施形態において、再生モードで動作中の撮像装置１０１が撮影画像を表示部１０５に表示している状態を模式的に示した図である。ここで、表示中の画像データの現像状態は一部現像済であるとする。表示用画像データの生成動作は第１実施形態で説明したとおりである。また、図１９は本実施形態における再生モードで動作中の撮像装置１０１の動作に関するフローチャートである。図１９においては、図８に示したＳ８０１～Ｓ８０４の記載は省略してある。
【0145】
例えば図１８（ａ）に示す表示状態で拡大指示が入力されると（Ｓ１９０１、Ｙｅｓ）、表示処理部１１３は、図１４を用いて説明したように拡大表示を行う（図１８（ｂ），Ｓ１９０３）。さらに、表示処理部１１３は、ユーザに対して画像全体について外部装置１０２での現像処理を実行するかどうかを問い合わせるユーザインタフェース１８０１を拡大画像に重畳表示させる（図１８（ｃ），Ｓ１９０５）。図１８（ｃ）では、外部装置１０２での現像処理が撮像装置１０１での現像処理よりも高画質な結果が得られる場合のユーザインタフェース１８０１の例を示している。
【0146】
ユーザは、操作部１０４の例えば方向キーを用いて、「はい」「いいえ」のいずれかを選択し、決定キーを押下することにより、画像全体について外部装置１０２で現像処理を行うか否かを指示することができる。
【0147】
制御部１０３は、操作部１０４を通じてユーザから画像全体について外部装置１０２で現像処理を行うことが指示された場合（Ｓ１９０７，Ｙｅｓ）、全体ＲＡＷ画像データファイルを生成するようＲＡＷ圧縮部１１５を制御する。ＲＡＷ圧縮部１１５は、記録媒体１１７にＳ４１２で記録したＲＡＷ画像データファイルに基づいて全体ＲＡＷ画像データファイルを生成することができる。そして、記録再生部１１６は、全体ＲＡＷ画像データファイルを外部装置１０２に送信する（Ｓ１９０９）。その後、外部装置から全体画像データファイルを受信すると、記録再生部１１６は記録媒体１１７に記録する。
【0148】
本実施形態では、ユーザが必要と判断した画像についてのみ画像全体についての現像処理を外部装置１０２に依頼するようにしたので、外部装置１０２との通信量を第２および第３実施形態よりもさらに削減することができる。
【0149】
なお、ここではユーザが拡大表示を指示した画像についてのみ外部装置において画像全体の現像処理を実施するか否かを問い合わせる構成について説明した。しかし、表示対象の画像データの現像状態が一部現像済の場合には自動で問い合わせるようにしてもよい。例えば図１９に示した再生モードでの動作において、Ｓ１９０１で表示処理部１１３は、表示対象の画像データの現像状態が一部現像済か否かを判定する。そして、表示対象の画像データの現像状態が一部現像済と判定されると、表示処理部１１３は、Ｓ１９０３以降を実行すればよい。すなわち、図１８（ｃ）に示したように、自動的に部分領域を表示部１０５に拡大表示し、さらにユーザインタフェース１８０１を重畳表示することができる。以降の動作は図１９で説明したとおりである。
【0150】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0151】
本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更及び変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【0152】
１００…画像処理システム、１０１…撮像装置（画像処理装置）、１０２…外部装置（情報処理装置）、１０３、１２５…制御部、１１０…カメラ制御部、１１２、１２３…現像部、１１８…領域決定部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】