特許 7475148 撮像装置、撮像システム、及びそれらの制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-18

(45)【発行日】2024-04-26

(54)【発明の名称】撮像装置、撮像システム、及びそれらの制御方法

(51)【国際特許分類】

   H04N 23/72 20230101AFI20240419BHJP

   H04N 23/60 20230101ALI20240419BHJP

【ＦＩ】

H04N23/72

H04N23/60 300

H04N23/60 500

【請求項の数】 24

(21)【出願番号】P 2020015534

(22)【出願日】2020-01-31

(65)【公開番号】P2021125711

(43)【公開日】2021-08-30

【審査請求日】2023-01-31

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】秦 哲也

【審査官】佐藤 直樹

(56)【参考文献】

【文献】特開２０１３－２３９８６１（ＪＰ，Ａ）

【文献】特開２００９－１０５６８７（ＪＰ，Ａ）

【文献】特開２０１３－１５７６７６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／７２

Ｈ０４Ｎ ２３／６０

(57)【特許請求の範囲】

【請求項1】

撮像面上に結像した光学像を光電変換することにより撮像し、画像信号を出力する撮像手段と、
前記撮像手段により撮像するときの撮像パラメータを設定する設定手段と、
外部の画像処理装置と情報の送受信を行うための通信手段と、を有し、
前記通信手段は、前記画像信号に対して前記外部の画像処理装置における画像処理を行うことが可能である場合に、前記外部の画像処理装置から、前記外部の画像処理装置における画像処理を行うことが可能でない場合に設定される撮像パラメータに対する、撮像パラメータの変更量を受信し、
前記設定手段は、前記画像信号に対して前記外部の画像処理装置における画像処理を行うことが可能である場合と可能でない場合で、前記撮像手段により撮像するときの撮像パラメータを異ならせ、前記画像信号に対して前記外部の画像処理装置における画像処理を行うことが可能である場合に、前記変更量を用いて前記撮像パラメータを設定することを特徴とする撮像装置。

【請求項2】

撮像面上に結像した光学像を光電変換することにより撮像し、画像信号を出力する撮像手段と、
外部の画像処理装置と情報の送受信を行うための通信手段と、
前記画像信号に対して前記外部の画像処理装置における画像処理を行うことが可能である場合と可能でない場合で、前記撮像手段により撮像するときの撮像パラメータを異ならせて設定する設定手段と、を有し、
前記外部の画像処理装置は、前記画像処理が行われた画像信号と前記画像処理が行われていない画像信号との違いに基づいて、前記設定手段が前記撮像パラメータを設定するための情報を決定し、
前記設定手段は、前記画像信号に対して前記外部の画像処理装置における画像処理を行うことが可能である場合に、前記通信手段を介して前記外部の画像処理装置から取得した情報に基づいて、前記撮像パラメータを設定することを特徴とする撮像装置。

【請求項3】

前記撮像パラメータは、ＩＳＯ感度、シャッター速度、レンズの絞り値の少なくとも１つを含むことを特徴とする請求項１または２に記載の撮像装置。

【請求項4】

前記通信手段は、前記外部の画像処理装置から、前記画像信号に対して前記外部の画像処理装置における画像処理を行うことが可能であるか否かを示す情報を受信することを特徴とする請求項１に記載の撮像装置。

【請求項5】

前記通信手段は前記外部の画像処理装置に前記撮像装置のＩＤ情報を送信し、
前記外部の画像処理装置は、前記撮像装置から送信されたＩＤ情報に基づいて、前記画像信号に対して前記外部の画像処理装置における画像処理を行うことが可能であるか否かを判断することを特徴とする請求項４に記載の撮像装置。

【請求項6】

前記外部の画像処理装置における画像処理と異なるアルゴリズムを用いて画像処理を行う画像処理手段を有することを特徴とする請求項２に記載の撮像装置。

【請求項7】

前記設定手段は、ユーザーによる入力に従って、前記画像信号に対して前記外部の画像処理装置における画像処理を行うことが可能であるか否かを判断することを特徴とする請求項１または２に記載の撮像装置。

【請求項8】

前記設定手段は、前記外部の画像処理装置における画像処理を行うための認証コードが入力されている場合に、前記画像信号に対して前記外部の画像処理装置における画像処理を行うことが可能であると判断することを特徴とする請求項７に記載の撮像装置。

【請求項9】

撮像装置と、画像処理装置とを含む撮像システムであって、
前記撮像装置は、
撮像面上に結像した光学像を光電変換することにより撮像し、画像信号を出力する撮像手段と、
前記画像信号に対して画像処理を行う第１の画像処理手段と、
前記第１の画像処理手段による画像処理に対応する、前記撮像手段により撮像するときの撮像パラメータを決定する第１の決定手段と、
前記画像処理装置と情報の送受信を行うための第１の通信手段と、を有し、
前記画像処理装置は、
前記撮像装置と情報の送受信を行うための第２の通信手段と、
外部から受信した画像信号に対して画像処理を行う第２の画像処理手段と、
前記撮像装置から受信した情報に基づいて、前記第２の画像処理手段による画像処理に対応する、前記撮像パラメータの変更量を決定する第２の決定手段と、を有する
ことを特徴とする撮像システム。

【請求項10】

前記撮像装置から受信した情報は前記撮像装置のＩＤ情報であって、
前記画像処理装置は、前記ＩＤ情報に基づいて、前記撮像装置の画像信号に対して前記第２の画像処理手段により画像処理を行うか否かを判定すると共に、前記第２の画像処理手段により画像処理を行う場合に、前記第２の決定手段により前記変更量を決定することを特徴とする請求項９に記載の撮像システム。

【請求項11】

前記変更量は、前記撮像装置に応じた前記撮像パラメータの変更量であって、
前記第２の通信手段は、前記変更量を前記撮像装置に送信し、
前記第１の決定手段は、前記第２の決定手段により決定された前記変更量に基づいて、前記撮像パラメータを変更することを特徴とする請求項９または１０に記載の撮像システム。

【請求項12】

前記第１の通信手段は、前記撮像パラメータを送信し、
前記変更量は、送信された前記撮像パラメータの前記撮像装置に応じた変更量であって、
前記画像処理装置は、更に、前記第２の決定手段により決定された前記変更量に基づいて、前記撮像パラメータを変更する変更手段を有し、
前記第２の通信手段は、前記変更手段により変更された撮像パラメータを前記撮像装置に送信することを特徴とする請求項９または１０に記載の撮像システム。

【請求項13】

前記第２の画像処理手段は、前記第１の画像処理手段と異なるアルゴリズムを用いて画像処理を行うことを特徴とする請求項９乃至１２のいずれか１項に記載の撮像システム。

【請求項14】

前記撮像装置から受信した情報は、前記撮像手段から出力された画像信号と、前記第１の画像処理手段により画像処理された画像信号であって、
前記第２の決定手段は、前記第１の画像処理手段と前記第２の画像処理手段とによりそれぞれ処理された画像信号間の違いに基づいて、前記撮像パラメータの変更量を決定することを特徴とする請求項１３に記載の撮像システム。

【請求項15】

前記撮像装置から受信した情報は、前記撮像手段から出力された画像信号であって、
前記画像処理装置は、更に、前記第１の画像処理手段と同じアルゴリズムを用いて画像処理を行い、
前記第２の決定手段は、前記第１の画像処理手段と前記第２の画像処理手段のそれぞれのアルゴリズムを用いて処理された画像信号間の違いに基づいて、前記撮像パラメータの変更量を決定することを特徴とする請求項１３に記載の撮像システム。

【請求項16】

撮像面上に結像した光学像を光電変換することにより撮像し、画像信号を出力する撮像手段と、
前記画像信号に対して画像処理を行う第１の画像処理手段と、
前記第１の画像処理手段による画像処理に対応する、前記撮像手段により撮像するときの撮像パラメータを決定する第１の決定手段と、
前記画像信号に対して、前記第１の画像処理手段と異なるアルゴリズムを用いて画像処理を行う第２の画像処理手段と、
前記第１の画像処理手段と前記第２の画像処理手段とにより処理された画像信号間の違いに基づいて、前記撮像パラメータの変更量を決定する第２の決定手段と、を有し、
前記第１の決定手段は、前記第２の決定手段により決定された前記変更量に基づいて、前記撮像パラメータを変更することを特徴とする撮像システム。

【請求項17】

前記画像信号間の差は、前記撮像手段で撮像した画像信号を、前記第１の画像処理手段と、前記第２の画像処理手段によりそれぞれ処理して得られた２つの画像信号の差であることを特徴とする請求項１６に記載の撮像システム。

【請求項18】

撮像面上に結像した光学像を光電変換することにより撮像し、画像信号を出力する撮像工程と、
外部の画像処理装置と情報の送受信を行い、前記画像信号に対して前記外部の画像処理装置における画像処理を行うことが可能である場合に、前記外部の画像処理装置から、前記外部の画像処理装置における画像処理を行うことが可能でない場合に設定される撮像パラメータに対する、撮像パラメータの変更量を受信する通信工程と、
前記画像信号に対して前記外部の画像処理装置における画像処理を行うことが可能である場合と可能でない場合で、前記撮像工程において撮像するときの撮像パラメータを異ならせ、前記画像信号に対して前記外部の画像処理装置における画像処理を行うことが可能である場合に前記変更量を用いて、前記撮像パラメータを設定する設定工程と、
を有することを特徴とする撮像装置の制御方法。

【請求項19】

撮像面上に結像した光学像を光電変換することにより撮像し、画像信号を出力する撮像工程と、
外部の画像処理装置と情報の送受信を行う通信工程と、
前記画像信号に対して前記外部の画像処理装置における画像処理を行うことが可能である場合と可能でない場合で、前記撮像工程において撮像するときの撮像パラメータを異ならせ、前記画像信号に対して前記外部の画像処理装置における画像処理を行うことが可能である場合に、前記通信工程において前記外部の画像処理装置から取得した情報に基づいて、前記撮像パラメータを設定する設定工程と、を有し、
前記外部の画像処理装置は、前記画像処理が行われた画像信号と前記画像処理が行われていない画像信号との違いに基づいて、前記設定工程が前記撮像パラメータを設定するための情報を決定することを特徴とする撮像装置の制御方法。

【請求項20】

撮像面上に結像した光学像を光電変換することにより撮像し、画像信号を出力する撮像手段と、前記画像信号に対して画像処理を行う第１の画像処理手段と、を有する撮像装置と、外部から受信した画像信号に対して画像処理を行う第２の画像処理手段を有する画像処理装置と、を含む撮像システムの制御方法であって、
前記撮像装置において、前記第１の画像処理手段による画像処理に対応する、前記撮像手段により撮像するときの撮像パラメータを決定する第１の決定工程と、
前記画像処理装置において、前記撮像装置から受信した情報に基づいて、前記第２の画像処理手段による画像処理に対応する、前記撮像パラメータの変更量を決定する第２の決定工程と
を有することを特徴とする制御方法。

【請求項21】

撮像面上に結像した光学像を光電変換することにより撮像し、画像信号を出力する撮像手段と、前記画像信号に対して画像処理を行う第１の画像処理手段と、前記画像信号に対して、前記第１の画像処理手段と異なるアルゴリズムを用いて画像処理を行う第２の画像処理手段と、を有する撮像システムの制御方法であって、
前記第１の画像処理手段による画像処理に対応する、前記撮像手段により撮像するときの撮像パラメータを決定する第１の決定工程と、
前記第１の画像処理手段と前記第２の画像処理手段とにより処理された画像信号間の違いに基づいて、前記撮像パラメータの変更量を決定する第２の決定工程と、
前記第２の決定工程で決定された前記変更量に基づいて、前記撮像パラメータを変更する変更工程と
を有することを特徴とする制御方法。

【請求項22】

コンピュータに、請求項１乃至８のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。

【請求項23】

コンピュータに、請求項９乃至１５のいずれか１項に記載の撮像システムを構成する画像処理装置の各手段として機能させるためのプログラム。

【請求項24】

請求項２２または２３に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置、撮像システム、及びそれらの制御方法に関し、特に、撮像装置外部の画像処理装置を利用して画像処理を行う技術に関する。

【背景技術】

【0002】

従来、撮像装置で撮像した画像に対し、ノイズ成分を除去するＮＲ処理等の画像処理を適用することで、高画質な画像となるように補正することが行われている。ＮＲ処理を用いて高画質な画像を得るためには、ＮＲ処理によるノイズの低減効果を考慮に入れて、撮像時に絞り値、シャッター速度、ＩＳＯ感度等の撮像パラメータを決定することが必要である。例えば、ＩＳＯ感度を上げるとノイズ成分の強度は上がるが、シャッター速度を高速にすることができるため、手振れや被写体振れの影響が低減する。このため、暗い環境下で動きのある被写体を撮像する際には、ＮＲ処理後のノイズ成分の強度が許容できる範囲でＩＳＯ感度を上げ、シャッター速度や絞り値等の撮像パラメータを決定することが望ましい。

【0003】

また、撮像画像に対する画像処理を、撮像装置内ではなく、撮像装置外部の画像処理装置において実行することが行われている。例えば、特許文献１では、撮像装置で撮像された画像と撮像装置の機種情報とを外部の画像処理装置へ送信し、外部の画像処理装置において、撮像装置の機種ごとに記録されている画質補正パラメータに基づいて画質補正を行う技術が開示されている。

【0004】

加えて、近年、統計的な特徴量等を利用した高度な画像処理技術の発展に伴い、撮像装置では実行することが困難である高度な画像処理を、撮像装置外の画像処理装置において実行させることで、より高画質な画像を得ることが可能となっている。この場合、外部の画像処理装置における画像処理の結果（例えば、ノイズ低減の度合い）を考慮して撮像時の撮像パラメータを決定する必要がある。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００７－１１６２９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、従来の技術では、撮像装置で画像処理を行う場合と、外部の画像処理装置で画像処理を行う場合とで、それぞれの場合に応じた最適な撮像パラメータを決定することができなかった。

【0007】

本発明は、上記問題点を鑑みてなされたものであり、画像処理に応じた、撮像シーンに適した撮像パラメータを決定することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するために、本発明の撮像装置において、撮像面上に結像した光学像を光電変換することにより撮像し、画像信号を出力する撮像手段と、前記撮像手段により撮像するときの撮像パラメータを設定する設定手段と、外部の画像処理装置と情報の送受信を行うための通信手段と、を有し、前記通信手段は、前記画像信号に対して前記外部の画像処理装置における画像処理を行うことが可能である場合に、前記外部の画像処理装置から、前記外部の画像処理装置における画像処理を行うことが可能でない場合に設定される撮像パラメータに対する、撮像パラメータの変更量を受信し、前記設定手段は、前記画像信号に対して前記外部の画像処理装置における画像処理を行うことが可能である場合と可能でない場合で、前記撮像手段により撮像するときの撮像パラメータを異ならせ、前記画像信号に対して前記外部の画像処理装置における画像処理を行うことが可能である場合に、前記変更量を用いて前記撮像パラメータを設定する。

【0009】

また、上記目的を達成するために、撮像装置と、画像処理装置とを含む本発明の撮像システムにおいて、前記撮像装置は、撮像面上に結像した光学像を光電変換することにより撮像し、画像信号を出力する撮像手段と、前記画像信号に対して画像処理を行う第１の画像処理手段と、前記第１の画像処理手段による画像処理に対応する、前記撮像手段により撮像するときの撮像パラメータを決定する第１の決定手段と、前記画像処理装置と情報の送受信を行うための第１の通信手段と、を有し、前記画像処理装置は、前記撮像装置と情報の送受信を行うための第２の通信手段と、外部から受信した画像信号に対して画像処理を行う第２の画像処理手段と、前記撮像装置から受信した情報に基づいて、前記第２の画像処理手段による画像処理に対応する、前記撮像パラメータの変更量を決定する第２の決定手段と、を有する。

【0010】

また、上記目的を達成するために、本発明の撮像システムにおいて、撮像面上に結像した光学像を光電変換することにより撮像し、画像信号を出力する撮像手段と、前記画像信号に対して画像処理を行う第１の画像処理手段と、前記第１の画像処理手段による画像処理に対応する、前記撮像手段により撮像するときの撮像パラメータを決定する第１の決定手段と、前記画像信号に対して、前記第１の画像処理手段と異なるアルゴリズムを用いて画像処理を行う第２の画像処理手段と、前記第１の画像処理手段と前記第２の画像処理手段とにより処理された画像信号間の違いに基づいて、前記撮像パラメータの変更量を決定する第２の決定手段と、を有し、前記第１の決定手段は、前記第２の決定手段により決定された前記変更量に基づいて、前記撮像パラメータを変更する。

【発明の効果】

【0011】

本発明によれば、本発明によれば、画像処理に応じた、撮像シーンに適した撮像パラメータを決定することができる。

【図面の簡単な説明】

【0012】

【図1】本発明の実施形態における撮像システムの構成を表す図。

【図2】実施形態における撮像装置の機能構成を示すブロック図。

【図3】実施形態における外部画像処理装置の機能構成を示す図。

【図4】実施形態におけるユーザー属性情報テーブルの一例を示す図。

【図5A】第１の実施形態における撮像装置の処理を示すフローチャート。

【図5B】第１の実施形態における外部画像処理装置の処理を示すフローチャート。

【図6】第１の実施形態におけるプログラム線図の一例を示す図。

【図7】第１の実施形態における撮像パラメータの変更量の一例を示す図。

【図8A】第２の実施形態における撮像装置の処理を示すフローチャート。

【図8B】第２の実施形態における外部画像処理装置の処理を示すフローチャート。

【図9】第２の実施形態における撮像パラメータの変更方法を説明する図。

【発明を実施するための形態】

【0013】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0014】

＜第１の実施形態＞
以下、本発明の第１の実施形態について説明する。
本発明の第１の実施形態では、外部の画像処理装置に対するユーザー属性情報に基づいて、撮像装置における撮像パラメータを制御する撮像システムについて説明する。

【0015】

図１は、本発明の第１の実施形態における撮像装置を含む撮像システムの構成例を示す図である。
撮像システムは、画像を撮像する撮像装置１０１、通信用のネットワーク１０２、サーバ等から構成される外部画像処理装置１０３を含む。撮像装置１０１は、ネットワーク１０２を介して、外部画像処理装置１０３と通信することができる。

【0016】

次に、撮像装置１０１の機能構成について、図２を参照して説明する。
光学系２０１は、ズームレンズ、フォーカスレンズを含むレンズ群で構成され、被写体像を撮像部２０２の撮像面上に結像する。光学系２０１には、光学系２０１のズームポジション、フォーカスポジションをユーザーが直接操作して制御する不図示の操作部材が設けられている。

【0017】

撮像部２０２は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、光学系２０１により撮像部２０２の撮像面上に結像された光学像を光電変換する。そして、得られたアナログ画像信号を不図示のＡ／Ｄ変換部を用いてデジタル画像データに変換した後、ＲＡＷ画像データとして出力する。撮像部２０２から出力されたＲＡＷ画像データは、ＲＡＭ２０９に一時的に記憶される。

【0018】

画像処理部２０３は、ＲＡＭ２０９に記憶されているＲＡＷ画像データに対して、ホワイトバランス調整、色補間、ガンマ処理、ＮＲ処理等、様々な画像処理を適用し、画像処理結果画像（例えば、ＪＰＥＧ画像データ）を生成する。

【0019】

制御部２０７は、例えばＣＰＵであり、撮像装置１０１が備える各ブロックに対する制御プログラムをＲＯＭ２０８より読み出し、ＲＡＭ２０９に展開して実行する。これにより、制御部２０７は、撮像装置１０１が備える各ブロックの動作を制御する。例えば、撮像シーンの明るさ情報や後述するプログラム線図に基づいて、光学系２０１における絞り値、撮像部２０２におけるシャッター速度、ＩＳＯ感度等の撮像パラメータを決定し、各ブロックの動作を制御する。また、後述するように、制御部２０７は、外部画像処理装置１０３から送信される撮像パラメータの更新情報も用いて、撮像パラメータを決定する。

【0020】

ＲＯＭ２０８は、電気的に消去・記録可能な不揮発性メモリであり、撮像装置１０１が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。また、後述するように、外部の画像処理装置の使用に関するユーザーＩＤ情報を記録する。

【0021】

ＲＡＭ２０９は、書き換え可能な揮発性メモリであり、制御部２０７等が実行するプログラムの展開や、撮像装置１０１が備える各ブロックの動作等で生成されたデータの一時的な記憶等に用いられる。
記録部２０４は、着脱可能なメモリカード等である。記録部２０４は、画像処理部２０３で処理された画像データを、ＲＡＭ２０９を介し、記録画像として記録する。

【0022】

表示部２０５は、ＬＣＤ等の表示デバイスであり、ＲＡＭ２０９に記憶されている画像や記録部２０４に記録されている画像の表示、ユーザーからの指示を受け付けるための操作ユーザーインターフェイスの表示等を行う。
指示入力部２１１は、タッチパネルや操作ボタンであり、ユーザーによる指示を入力する。また、指示入力部２１１には、不図示のシャッター釦が備えられており、ユーザーは例えば、シャッター釦の半押し動作によってＯＮとなるスイッチＳＷ１、及び、例えば、シャッター釦の全押し動作によってＯＮとなるスイッチＳＷ２によって、撮像を行う際の指示を出すことができる。

【0023】

通信部２１０は、ネットワーク１０２を介して、外部画像処理装置１０３と通信を行う通信部であり、例えば、後述する外部画像処理装置１０３の使用に関するユーザー属性を表すＩＤ情報や、記録部２０４によって記録されているＲＡＷ画像データを、外部画像処理装置１０３へ送信する。また、後述する通り、外部画像処理装置１０３から、撮像パラメータに対する変更量に関する情報等を受信する。

【0024】

次に、外部画像処理装置１０３の機能構成について、図３に示すブロック図を参照して説明する。
外部画像処理部３０１は、入力されたＲＡＷ画像データに対して、ホワイトバランス調整、色補間、ガンマ処理、ＮＲ処理等、様々な画像処理を適用する。ここで適用される画像処理は、少なくともその一部分が、撮像装置１０１の画像処理部２０３において適用される画像処理とは異なるアルゴリズムを用いて実行されるものとする。本実施形態においては、一例として、ＮＲ処理のアルゴリズムが画像処理部２０３におけるアルゴリズムと異なっており、それ以外の画像処理のアルゴリズムや内容は撮像装置１０１と外部画像処理装置１０３とで共通であるものとして説明する。更に、外部画像処理装置１０３におけるＮＲ処理の方が、撮像装置１０１におけるＮＲ処理よりも、ノイズ低減効果が大きいものとして説明する。

【0025】

ユーザー属性判定部３０２は、入力されたＩＤ情報に対して、予め、ＩＤ情報と関連付けして記録されている外部画像処理装置１０３の使用に対するユーザー属性情報を参照し、ユーザー属性を判定する。
撮像パラメータ変換部３０３は、ユーザー属性判定部３０２が判定したユーザー属性情報に基づいて、撮像装置１０１での撮像パラメータの変更量を決定する。

【0026】

外部通信部３０４は、ネットワーク１０２を介して撮像装置１０１と通信し、撮像装置１０１から、例えばＲＡＷ画像データやＩＤ情報を受信する。また、撮像装置１０１に対して、撮像パラメータ変換部３０３で決定した撮像パラメータの情報等を送信する。

【0027】

ＲＯＭ３０５は、電気的に消去・記録可能な不揮発性メモリであり、外部画像処理装置１０３が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。また、ＲＯＭ３０５には、外部画像処理装置１０３の使用に関するユーザー属性情報が、ＩＤ情報と関連付けして記録されている。
ＲＡＭ３０６は、書き換え可能な揮発性メモリであり、外部画像処理装置１０３の各部が実行するプログラムの展開や、生成されたデータの一時的な記憶等に用いられる。

【0028】

次に、図４を参照して、外部画像処理装置１０３に記録されているユーザー属性情報の一例について説明する。ユーザー属性情報テーブル４０１において、列４０２は各ユーザーのＩＤ情報、列４０３は外部画像処理部３０１における画像処理の使用権限を表す情報を表している。例えば、外部画像処理部３０１における画像処理の使用に事前のユーザー登録が必要である場合であれば、各ユーザーがユーザー登録を事前に行っているか否かの情報が記録されている。

【0029】

次に、第１の実施形態における撮像システムの動作について、図５Ａ及び図５Ｂのフローチャートに沿って説明する。なお、図５Ａは、撮像装置１０１における処理を、また、図５Ｂは、外部画像処理装置１０３における処理を示している。

【0030】

まず、Ｓ５０１において、撮像装置１０１が通常の撮像準備を開始する。具体的には、ユーザーが撮像装置１０１の電源を入れると、撮像装置１０１の制御部２０７によって、撮像シーンの明るさ情報が取得され、撮像パラメータの決定が行われる。なお、本実施形態では、ユーザーが絞り値（Ａｖ値）を指定して設定するＡｖ優先モードが選択されている場合を例に取って説明する。

【0031】

ここで行われる撮像パラメータの決定方法、特にＩＳＯ感度、シャッター速度、絞り値の決定方法について、図６に示すプログラム線図を参照して説明する。
図６において、６０１は撮像シーンの明るさ情報（Ｂｖ値）を表している。６０２はシャッター速度（Ｔｖ値）であり、ＩＳＯ感度８００～１２８００の場合に用いるＴｖ値が示されている。６０３は絞り値（Ａｖ値）であり、ＩＳＯ感度８００～１２８００の場合に用いるＡｖ値が示されている。

【0032】

ＩＳＯ感度の設定がオートの場合には、それぞれの感度におけるノイズ特性と、ＮＲ処理適用後のノイズ低減効果の予測に基づいて、設計者がＢｖ値毎に予め定めておいたＩＳＯ感度の値を用いる。ここでは、ユーザーが設定したＡｖ値が４．０、制御部２０７が演算したＢｖ値が７である場合を例に取って説明する。また、上記の条件下では、オート時のＩＳＯ感度が１６００と予め設計されているものとして説明する。この場合、Ｔｖ値として１／１２５が撮像パラメータとして決定される。すなわち、ＩＳＯ感度１６００、Ｔｖ値１／１２５、Ａｖ値４．０となる。

【0033】

なお、ＩＳＯ感度の設定がオートでのＩＳＯ感度の設定については、ＩＳＯ感度を上げてＴｖ値を高速にすると、手振れや被写体の動きブレの影響が小さくなる利点がある一方で、画像のノイズの程度が悪化する。このトレードオフのため、ＮＲ処理におけるノイズ低減効果を考慮して、ノイズの程度が許容できる範囲で、できるだけＴｖ値を高速にするようにプログラム線図を設計するとよい。

【0034】

Ｓ５０２では、外部画像処理装置１０３による画像処理を用いる撮像モードである外部連携撮像モードが、ユーザーによって設定されているか否かを判定する。設定されていなければＳ５０３へ進み、通常の撮像動作を行う。なお、Ｓ５０３では、通常の撮像動作として、ユーザーの撮像指示に従って画像の撮像を行うが、ここでは、ＲＡＷ画像データの撮像動作に続き、画像処理部２０３による一連の画像処理の実行を行って、Ｓ５１１に進む。

【0035】

一方、外部連携撮像モードが設定されていれば、Ｓ５０４へ進み、外部画像処理装置１０３による画像処理を用いる場合の一連の撮像動作を開始する。Ｓ５０４では、撮像装置１０１の通信部２１０から、ネットワーク１０２を介して、外部画像処理装置１０３へ、外部画像処理装置１０３の使用に関するＩＤ情報を送信し、Ｓ５０５へ進む。

【0036】

外部画像処理装置１０３では、Ｓ５２０においてＩＤ情報を待ち、ＩＤ情報を受信すると、Ｓ５２１に進む。Ｓ５２１では、ユーザー属性判定部３０２は受信したＩＤ情報を図４に示すテーブルに参照することにより、外部画像処理装置１０３における画像処理の利用の可否を判定する。ユーザー属性情報が利用可能であることを示していれば、Ｓ５２２へ進み、撮像装置１０１における撮像パラメータの変更量を示す情報を取得する。利用可能でなければ、Ｓ５２３へ進む。

【0037】

撮像パラメータの変更量は、撮像装置１０１における画像処理と、外部画像処理部３０１における画像処理との特性の違いに基づいて予め決定され、記憶されているものである。一例として、図７に、撮像パラメータの変更量の一例を示す。

【0038】

図７の横軸は、通常の撮像動作において、撮像装置１０１によって定められたＩＳＯ感度の設定値を表したものである。縦軸は、外部連携撮像モードにおけるＩＳＯ感度の変更量を示したものであり、高感度時に通常の場合よりも所定量だけＩＳＯ感度を上げる方向に撮像パラメータを更新することを示している。すなわち、外部画像処理部３０１におけるＮＲ処理を用いる撮像モードにおいて、通常よりも高いＩＳＯ感度で撮像を行うよう制御することを意味している。この変更により、ＩＳＯ感度を上げる分だけ、シャッター速度（Ｔｖ値）を高速に設定することができ、手振れや被写体の動きブレの影響を抑えることが可能となる。

【0039】

一方、Ｓ５２３では、外部画像処理装置１０３における画像処理を利用できないため、外部画像処理装置１０３における画像処理が利用不可である旨を送信するように決定する。
Ｓ５２４では、Ｓ５２２で決定した図７に示す撮像パラメータの変更量の情報またはＳ５２３で決定した外部画像処理装置１０３における画像処理が利用不可である旨を、ネットワーク１０２を介して、カメラに送信する。

【0040】

撮像装置１０１は、Ｓ５０５において、撮像パラメータの変更量の情報または外部画像処理装置１０３における画像処理を利用できない旨を受信するまで待機する。そして、Ｓ５０６において、受信した内容が、撮像パラメータの変更量の情報ではない場合、すなわち、外部画像処理装置１０３における画像処理が使用不可である場合、Ｓ５０３に進んで、通常の撮像動作を行う。

【0041】

一方、受信した内容が、撮像パラメータの変更量の情報である場合、Ｓ５０７に進み、受信した情報に基づいて、撮像パラメータの更新を行う。例えば、図６に示すプログラム線図において、通常の撮像動作において選択されていたシャッター速度（Ｔｖ値）の設定がＴｖ値１／１２５であった場合に、ＩＳＯ感度を１段分上げた場合の設定値であるＴｖ値１／２５０が新たに選択される。すなわち、通常の撮像動作の場合の撮像パラメータが、ＩＳＯ感度１６００、Ｔｖ値１／１２５、Ａｖ値４．０であったのに対し、外部連携撮像モードにおける撮像パラメータはＩＳＯ感度３２００、Ｔｖ値１／２５０、Ａｖ値４．０となる。

【0042】

Ｓ５０８では、撮像装置１０１が、更新された撮像パラメータを用いて、画像の撮像を行う。ここでは、撮像部２０２が出力したＲＡＷ画像データを記録部２０４によって記録する処理までを行う。
次にＳ５０９において、撮像装置１０１が、記録したＲＡＷ画像データを、ネットワーク１０２を介して、外部画像処理装置１０３へ送信する。

【0043】

外部画像処理装置１０３では、Ｓ５２５において撮像装置１０１からＲＡＷ画像データを受信するまで待機し、ＲＡＷ画像データを受信すると、Ｓ５２６において、受信したＲＡＷ画像データに対して、外部画像処理部３０１による画像処理を適用し、画像データを生成する。
Ｓ５２７において、外部画像処理装置１０３は、生成した画像データを、ネットワーク１０２を介して撮像装置１０１へ送信する。なお、外部画像処理装置１０３は、生成した画像データを撮像装置１０１へ送信せずに、不図示の記録媒体に記録し、ユーザーが任意に記録した画像データにアクセスできるようにしてもよい。

【0044】

撮像装置１０１は、Ｓ５１０において、外部画像処理装置１０３から処理済みの画像データを受信するまで待機し、画像データを受信すると、Ｓ５１１において、受信した画像データを記録部２０４により記録する。

【0045】

上記の通り第１の実施形態によれば、外部画像処理装置を利用した画像処理を行う場合に、外部画像処理装置における画像処理の特性を反映して、適した撮像パラメータを決めることができるため、撮像画像の画質を向上させることが可能となる。また、外部画像処理装置を利用しない場合や利用できない場合にも、撮像装置内における画像処理の特性に適した撮像パラメータを決めることができる。

【0046】

なお、本実施形態では、外部画像処理装置によってＮＲ処理を適用する場合を例に取って説明したが、本発明における画像処理の内容はこれに限定されるものではない。例えば、レンズの絞りを開放付近に設定した場合に生じる収差を補正する収差補正を行うようにしても良い。この場合、外部画像処理装置において収差補正を行う場合には、レンズの絞りの設定を通常よりも開放側に設定するように制御すれば良い。このようにすることで、撮像シーンが暗い場合でも、絞りを開放側に設定するため十分な光量が得られると共に、解像感の高い画像を撮像することができる。すなわち、撮像装置における画像処理とは特性の異なる画像処理を、外部画像処理装置において適用する場合であれば、どのような画像処理を適用しても構わない。

【0047】

また、本実施形態では、撮像パラメータの制御として、Ａｖ優先撮像モードにおけるＩＳＯ感度を制御する場合を例に取って説明したが、本発明における撮像パラメータの制御の方法はこれに限定されるものではない。例えば、ＩＳＯ感度オートの撮像モードにおいて、使用するＩＳＯ感度の上限が設定されている場合に、その上限値を高くするように撮像パラメータを制御しても構わない。

【0048】

なお、上述した説明では、外部画像処理装置１０３は、ユーザー属性に基づいて画像処理が利用できる場合に、図７に示す撮像パラメータの変更量を決定して撮像装置１０１に通知するものとして説明したが、本発明はこれに限られるものでは無い。撮像装置１０１から撮像パラメータを外部画像処理装置１０３に送信し、画像処理が利用できる場合に、送信された撮像パラメータを外部画像処理装置１０３において変更し、変更した撮像パラメータを撮像装置１０１に送信するようにしてもよい。または、送信された撮像パラメータに対応する変更量のみを撮像装置１０１へ送信するようにしてもよい。

【0049】

また、本実施形態では、画像の撮像後に、撮像したＲＡＷ画像信号を撮像装置１０１から外部画像処理装置１０３へ送信し、外部画像処理装置１０３における画像処理の適用を実行する場合を例に取って説明した。しかしながら、本発明におけるＲＡＷ画像信号に対する画像処理の適用のタイミングは、これに限定されるものではない。例えば、外部画像処理装置１０３の使用に関するユーザー属性情報の送信と、撮像パラメータの更新に関する処理のみを撮像時に行い、外部画像処理装置１０３における画像処理の適用は、撮像後に行うようにしても良い。例えば、撮像装置１０１において記録媒体に記録されたＲＡＷ画像を、ユーザーのＰＣ上に移した後に、ユーザーのＰＣから外部画像処理装置１０３へ送信し、画像処理を適用するようにしても構わない。

【0050】

また、本実施形態では、撮像装置１０１と外部画像処理装置１０３とが、ネットワーク１０２を介して情報の送受信を行う場合を例に取って説明したが、本発明における撮像装置１０１と外部画像処理装置１０３間の送受信は、これに限られるものではない。例えば、スマートフォン等のエッジデバイスを外部画像処理装置１０３として使用し、有線、又は、無線通信によって、撮像装置１０１とエッジデバイスが直接通信する構成を用いても構わない。

【0051】

また、ＲＡＷ画像ではなく、撮像装置１０１で画像処理を適用した後の画像（例えば、ＪＰＥＧ画像）を、外部画像処理装置１０３へ送信するようにしても良い。この場合、外部画像処理装置１０３では、送信された画像（例えば、ＪＰＥＧ画像）に対して、ＮＲ処理等の画像処理を適用する。

【0052】

また、本実施形態では、外部画像処理装置１０３の使用に関するユーザー属性情報を判定するユーザー属性判定部３０２と、画像処理を適用する外部画像処理部３０１とが、同一の装置内に構成されている場合を例に取って説明した。しかしながら、本発明における外部画像処理装置の構成は、これに限られるものではない。例えば、ユーザー属性判定部はネットワークを介して撮像装置１０１と通信する構成とし、外部画像処理部３０１はユーザーの自宅に設置されているＰＣ上で実行されるソフトウェアとする構成であっても構わない。

【0053】

また、本実施形態では、外部画像処理装置１０３によって決定された撮像パラメータの更新を、撮像装置１０１側で自動的に適用し、撮像に用いる場合を例に取って説明したが、本発明における撮像パラメータの制御方法は、これに限定されるものではない。例えば、外部画像処理装置１０３によって決定された撮像パラメータの変更量を、撮像装置１０１の表示部において推奨値としてユーザーに通知し、ユーザーの選択によって撮像パラメータを更新するようにしても構わない。すなわち、外部画像処理装置１０３の使用に関するユーザー属性情報から、撮像パラメータの情報へと変換する処理を行う方法であれば、変換した撮像パラメータの情報の使用方法はどのようなものであっても構わない。

【0054】

＜第２の実施形態＞
以下、本発明の第２の実施形態について説明する。なお、第２の実施形態における撮像システムの構成は、図１乃至図３を参照して説明したものと同様であるため、ここでは説明を省略する。

【0055】

上述した第１の実施形態では、外部画像処理装置１０３の使用に関するユーザー属性情報に基づいて、撮像パラメータの変更量を決定する場合について説明した。これに対し、第２の実施形態では、撮像装置１０１での画像の撮像に関する撮像情報に基づいて、撮像パラメータを変更する場合について説明する。

【0056】

第１の実施形態で説明した場合のように、外部画像処理装置１０３におけるＮＲ処理の方が、ノイズ低減効果が大きい場合であっても、撮像シーンや被写体によってはノイズ低減効果の差が小さくなる場合がある。このような場合に撮像パラメータの変更量を適切に決定するためには、撮像シーンや撮像画像に関する情報も用いることが必要となる。

【0057】

次に、図８Ａ及び図８Ｂを用いて、第２の実施形態における撮像動作について説明する。なお、図８Ａは、撮像装置１０１における処理を、また、図８Ｂは、外部画像処理装置１０３における処理を示している。また、図８Ａ及び図８Ｂに示す処理において、図５Ａ及び図５Ｂで説明した処理と同様の処理には同じステップ番号を付して、適宜説明を省略する。

【0058】

Ｓ８０４では、撮像装置１０１は準備撮像期間中に撮像を行い、ＲＡＷ画像データを取得すると共に、取得したＲＡＷ画像データに対して、画像処理部２０３において画像処理を適用し、画像データを生成する。
Ｓ８０５では、撮像装置１０１は外部画像処理装置１０３へ、Ｓ８０４において取得したＲＡＷ画像データと画像処理後の画像データとを撮像情報として送信する。

【0059】

Ｓ８２０において、外部画像処理部３０１は、撮像情報の受信を待ち、受信するとＳ８２１に進んで、受信したＲＡＷ画像データに対して、ＮＲ処理を適用する。

【0060】

Ｓ８２２では、撮像パラメータ変換部３０３が、撮像パラメータの変更量を決定する。具体的には、撮像パラメータ変換部３０３が、撮像装置１０１から送信された画像処理後の画像データと、外部画像処理部３０１において生成した外部画像処理後の画像データとの間（画像信号間）でノイズの程度を比較する。例えば、２枚の画像の差分値を算出すると、その差分値は撮像装置１０１と外部画像処理装置１０３との間でのノイズ低減効果の差を示すことになる。従って、差分値の信号の振幅をノイズ評価値としてノイズの程度を比較することができる。

【0061】

撮像パラメータ変換部３０３は、算出したノイズ評価値と、図９に示す特性に基づいて、撮像パラメータの更新内容を決定する。図９において、横軸は算出したノイズ評価値を表し、縦軸はＩＳＯ感度の変更量を段数として表したものである。例えば、算出したノイズ評価値の値が図の９０２よりも大きな値である場合、ＩＳＯ感度の変更量は１段分として決定される。この場合、通常の撮像動作の場合に比べて、ＩＳＯ感度を上げ、その分シャッター速度を高速に設定することができるため、手振れや被写体ブレの影響を低減し、画質を向上させることが可能となる。一方、算出したノイズ評価値の値が図の９０１よりも小さい値である場合、ＩＳＯ感度を変更しないものとして決定される。
そして、Ｓ８２３において、外部画像処理部３０１は、Ｓ８２２で決定した撮像パラメータの変更量を撮像装置１０１に送信する。

【0062】

Ｓ８０６において、撮像装置１０１は撮像パラメータの変更量に関する情報を待ち、撮像パラメータの変更量に関する情報を受信すると、Ｓ５０７に進み、以下、図５を参照して説明した処理を行う。

【0063】

上記の通り第２の実施形態によれば、撮像シーン毎に、外部画像処理装置での画像処理の特性を反映した撮像パラメータを決めることが可能となる。

【0064】

なお、本実施形態では、撮像情報として、準備撮像中のＲＡＷ画像データと撮像装置１０１における画像処理後の画像データとを外部画像処理装置１０３へ送信し、撮像パラメータの変更量の判断に使用する場合を例に取って説明した。しかしながら、本発明は、撮像装置１０１から外部画像処理装置１０３に送信する画像データをこれらに限定するものではない。例えば、撮像シーンの明るさ情報、被写体の種類の情報、被写体に含まれるエッジやテクスチャ成分の特性の情報を撮像情報として送信し、その情報に基づいて、外部画像処理装置での画像処理の適用結果を推定する方法を用いても構わない。

【0065】

また、本実施形態では、ＲＡＷ画像データと、撮像装置１０１での画像処理を適用した画像処理結果画像との両方を送信する場合で説明したが、ＲＡＷ画像信号のみを外部画像処理装置へ送信し、外部画像処理装置１０３において撮像装置１０１と同様の画像処理を適用して画像処理結果画像として用いる構成を用いても構わない。

【0066】

また、本実施形態では、外部画像処理装置１０３が撮像装置１０１の撮像パラメータの変更量を決定する構成を例に取って説明したが、これに限られるものではない。例えば、外部画像処理装置１０３による画像処理を利用することを撮像装置１０１が確認できた場合に、撮像装置１０１が予め定められたルールに従って撮像パラメータを変更してもよい。具体的には、撮像装置１０１は、画像処理を利用することが確認できた場合に、ＩＳＯ感度を１段分上げたプログラム線図に変更する、あるいは、設定可能なＩＳＯ感度の上限を１段上げたりするなどの処理を行えばよい。外部画像処理装置１０３によるＮＲ処理が利用できるのであれば、撮像パラメータのＩＳＯ感度を上げ、収差補正処理が利用できるのであれば、撮像パラメータの絞りを開放側にシフトさせればよい。また、外部画像処理装置１０３によるＮＲ処理と収差補正処理の両方が利用できるのであれば、ＩＳＯ感度を上げ、かつ、絞りを開放側にシフトさせるようにしてもよい。つまり、外部画像処理装置１０３にて利用する画像処理の種類に応じた内容で、撮像パラメータを変更するように構成すればよい。

【0067】

なお、撮像装置１０１が、外部画像処理装置１０３による画像処理を利用することを確認する方法としては、様々なものが考えられる。例えば、撮像装置１０１が外部画像処理装置１０３と通信してユーザーの認証をしたり、ユーザーに外部画像処理装置１０３から取得した認証コードを撮像装置１０１に入力させたりする方法が考えらえる。あるいは、ユーザーに、外部の装置による画像処理を利用することを、撮像装置１０１の設定メニュー上で選択させるようにしてもよい。このような構成とすれば、撮像装置１０１自身が撮像パラメータを変更するため、必ずしも、外部画像処理装置１０３に撮像パラメータ変換部３０３を設ける必要はない。

【0068】

また、本実施形態では、撮像装置１０１と外部画像処理装置１０３とが別個に構成される場合を例に取って説明したが、本発明における撮像装置１０１の構成はこれに限定されるものではない。例えば、撮像装置１０１内に、互いに処理内容の少なくとも一部が異なる複数の画像処理部を備える構成の撮像装置を用いても構わない。この場合、通常の撮像動作時に用いられる画像処理部の特性に基づいて撮像パラメータを設定しておき、別の画像処理部を用いる場合には、使用する画像処理部での画像処理の特性に基づいて設定された撮像パラメータへ更新するように制御すれば良い。このようにすることで、特性の異なる複数の画像処理を、その特性に合わせて使い分ける場合においても、それぞれの画像処理の特性に応じた撮像パラメータを決定することが可能となる。

【0069】

また、本実施形態では、撮像動作が開始された準備撮像期間中に、ＲＡＷ画像データを外部画像処理装置１０３へ送信する場合を例に取って説明したが、本発明は、ＲＡＷ画像データ等の撮像情報を送信するタイミングをこれに限定するものではない。例えば、準備撮像期間中に、撮像シーンや被写体が大きく変化したことを検知した場合や、使用する撮像パラメータが大きく変化する場合にのみ、撮像情報の送信と撮像パラメータの更新を実行するようにしても良い。また、所定の閾値以上のＩＳＯ感度が設定された場合や、撮像した画像に手振れや動きブレが検出された場合等、通常の撮像装置での画像処理を適用した場合には望ましい画質が得られないことが予測される場合にのみ、撮像情報の送信と撮像パラメータの更新を実行するようにしても良い。
＜他の実施形態＞
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0070】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0071】

１０１：撮像装置、１０２：ネットワーク、１０３：外部画像処理装置、２０２：撮像部、２０３：画像処理部、２０５：表示部、２０７：制御部、２１０：通信部、２１１：指示入力部、３０１：外部画像処理部、３０２：ユーザー属性判定部、３０３：撮像パラメータ変換部、３０４：外部通信部

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8A】

【図8B】

【図9】