(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022162426
(43)【公開日】2022-10-24
(54)【発明の名称】情報処理方法、情報処理装置、プログラム
(51)【国際特許分類】
H04N 5/232 20060101AFI20221017BHJP
H04N 5/77 20060101ALI20221017BHJP
H04N 5/92 20060101ALI20221017BHJP
【ＦＩ】
H04N5/232 300
H04N5/232 290
H04N5/77
H04N5/92 010
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2021067271
(22)【出願日】2021-04-12
(71)【出願人】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】100116942
【弁理士】
【氏名又は名称】岩田 雅信
(74)【代理人】
【識別番号】100167704
【弁理士】
【氏名又は名称】中川 裕人
(72)【発明者】
【氏名】奥池 和幸
【テーマコード（参考）】
5C053
5C122
【Ｆターム（参考）】
5C053GB06
5C053JA21
5C053LA01
5C122EA31
5C122FG02
5C122FH06
5C122FH11
5C122FH14
5C122GA34
5C122GC52
5C122HA01
5C122HB01
(57)【要約】
【課題】ＲＡＷ画像データをクラウド側で扱う場合に管理するデータ量を削減できるようにする。
【解決手段】情報処理装置が、ＲＡＷ画像データの撮像を行う撮像デバイスについて、ＲＡＷ画像データの画像処理パラメータの設定に用いる個体情報を取得し、その個体情報を撮像デバイスに関連づけて記憶する処理を行うようにする。
【選択図】図６
【解決手段】情報処理装置が、ＲＡＷ画像データの撮像を行う撮像デバイスについて、ＲＡＷ画像データの画像処理パラメータの設定に用いる個体情報を取得し、その個体情報を撮像デバイスに関連づけて記憶する処理を行うようにする。
【選択図】図６
【特許請求の範囲】
【請求項1】
情報処理装置が、
ＲＡＷ画像データの撮像を行う撮像デバイスについて、ＲＡＷ画像データの画像処理パラメータの設定に用いる個体情報を取得し、前記個体情報を前記撮像デバイスに関連づけて記憶する第１処理を行う
情報処理方法。
ＲＡＷ画像データの撮像を行う撮像デバイスについて、ＲＡＷ画像データの画像処理パラメータの設定に用いる個体情報を取得し、前記個体情報を前記撮像デバイスに関連づけて記憶する第１処理を行う
情報処理方法。
【請求項2】
前記個体情報は、前記撮像デバイスの光学中心の情報である
請求項１に記載の情報処理方法。
請求項１に記載の情報処理方法。
【請求項3】
撮像デバイスの光学中心の情報を、撮像デバイスから受信した画像データを用いて算出して取得する
請求項２に記載の情報処理方法。
請求項２に記載の情報処理方法。
【請求項4】
前記個体情報は、前記撮像デバイスの画像処理に調整値の情報である
請求項１に記載の情報処理方法。
請求項１に記載の情報処理方法。
【請求項5】
ＲＡＷ画像データのフレーム毎の撮影情報を保存する第２処理を、さらに行う
請求項１に記載の情報処理方法。
請求項１に記載の情報処理方法。
【請求項6】
前記撮影情報は、ＲＡＷ画像データの切り出し位置情報である
請求項５に記載の情報処理方法。
請求項５に記載の情報処理方法。
【請求項7】
前記撮影情報は、ＲＡＷ画像データの水平垂直回転情報である
請求項５に記載の情報処理方法。
請求項５に記載の情報処理方法。
【請求項8】
ＲＡＷ画像データのフレーム毎の画像の認識情報を保存する第３処理を、さらに行う
請求項１に記載の情報処理方法。
請求項１に記載の情報処理方法。
【請求項9】
前記認識情報は画像の被写体についての物体認識の結果を示す情報である
請求項８に記載の情報処理方法。
請求項８に記載の情報処理方法。
【請求項10】
前記個体情報を用いて歪補正パラメータ算出する第４処理を、さらに行う
請求項１に記載の情報処理方法。
請求項１に記載の情報処理方法。
【請求項11】
前記個体情報及び前記撮影情報を用いて歪補正パラメータ算出する第４処理を、さらに行う
請求項５に記載の情報処理方法。
請求項５に記載の情報処理方法。
【請求項12】
前記個体情報及び前記認識情報を用いて歪補正パラメータ算出する第４処理を、さらに行う
請求項８に記載の情報処理方法。
請求項８に記載の情報処理方法。
【請求項13】
前記第４処理で算出した歪補正パラメータを用いてＲＡＷ画像データを現像する第５処理を、さらに行う
請求項１０に記載の情報処理方法。
請求項１０に記載の情報処理方法。
【請求項14】
ＲＡＷ画像データの撮像を行う撮像デバイスについて、ＲＡＷ画像データの画像処理パラメータの設定に用いる個体情報を取得し、前記個体情報を前記撮像デバイスに関連づけて記憶する処理部を備えた
情報処理装置。
情報処理装置。
【請求項15】
ＲＡＷ画像データの撮像を行う撮像デバイスについて、ＲＡＷ画像データの画像処理パラメータの設定に用いる個体情報を取得し、前記個体情報を前記撮像デバイスに関連づけて記憶する処理を
情報処理装置に実行させるプログラム。
情報処理装置に実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は情報処理方法、情報処理装置、プログラムに関し、ＲＡＷ画像データを扱う場合の技術に関する。
【背景技術】
【0002】
撮像装置によって撮像された画像データとして、現像処理、特に画作りの処理が施される前の段階の画像データであるＲＡＷ画像データを保存するケースがある。
下記特許文献１には、ＲＡＷ画像データをオフラインで現像するために、ＲＡＷ画像データと幾何変形パラメータ（歪補正パラメータ）を紐づけて保存する技術が開示されている。
下記特許文献１には、ＲＡＷ画像データをオフラインで現像するために、ＲＡＷ画像データと幾何変形パラメータ（歪補正パラメータ）を紐づけて保存する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１６－１３４６３１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１の場合、ＲＡＷ画像データの現像、特に歪補正のために、幾何変形パラメータを１枚（１フレーム）毎に付加する。これによってデータサイズの増大という問題が発生している。
【0005】
本開示では、ＲＡＷ画像データを保存する状況において、データサイズの増大を抑えつつ、ＲＡＷ画像データに対する適切な処理が実行できるようにする技術を提案する。
【課題を解決するための手段】
【0006】
本技術に係る情報処理方法は、情報処理装置が、ＲＡＷ画像データの撮像を行う撮像デバイスについて、ＲＡＷ画像データの画像処理パラメータの設定に用いる個体情報を取得し、前記個体情報を前記撮像デバイスに関連づけて記憶する第１処理を行うようにする。
外部の撮像デバイスからＲＡＷ画像データを受信する情報処理装置を想定した場合に、撮像デバイスの個体情報を、撮像デバイスに関連づけて管理する。
外部の撮像デバイスからＲＡＷ画像データを受信する情報処理装置を想定した場合に、撮像デバイスの個体情報を、撮像デバイスに関連づけて管理する。
【図面の簡単な説明】
【0007】
【図1】本技術の実施の形態の撮像デバイスと情報処理装置によるシステム構成の説明図である。
【図2】実施の形態のセンサのブロック図である。
【図3】実施の形態のセンサの構造例の説明図である。
【図4】実施の形態の情報処理装置の構成のブロック図である。
【図5】実施の形態の設定段階及び運用段階の処理の説明図である。
【図6】第１の実施の形態の処理の説明図である。
【図7】実施の形態の情報処理装置の光学中心算出処理のフローチャートである。
【図8】実施の形態のセンサにおけるＩＳＰ処理の説明図である。
【図9】実施の形態のアプリケーションプロセッサにおけるデータ分離のフローチャートである。
【図10】実施の形態のアプリケーションプロセッサにおけるデータ分離のフローチャートである。
【図11】実施の形態の送信されるデータ内容の説明図である。
【図12】実施の形態の情報処理装置の歪補正パラメータ算出処理のフローチャートである。
【図13】実施の形態の情報処理装置の歪補正パラメータ算出の際の広角歪に対応する処理のフローチャートである。
【図14】第２の実施の形態の処理の説明図である。
【発明を実施するための形態】
【0008】
以下、実施の形態を次の順序で説明する。
<１．システム構成>
<２．装置構成>
<３．設定段階及び運用段階の処理例>
<４．第１の実施の形態>
<５．第２の実施の形態>
<６．まとめ及び変形例>
<１．システム構成>
<２．装置構成>
<３．設定段階及び運用段階の処理例>
<４．第１の実施の形態>
<５．第２の実施の形態>
<６．まとめ及び変形例>
【0009】
なお本開示では、「画像データ」とは静止画や動画としての画像データを指す。また図面の表記において「画像データ」を省略して「画像」とする場合がある。
また、ＲＡＷ画像データとは、撮像により得られた画像データにおいて、現像処理の一部又は全部を行う前の画像データである。例えば画作りが行われる前の、イメージセンサの画素配列のままのデータ（例えばＲ（赤）／Ｇ（緑）／Ｂ（青）形式のデータ）、或いはそれを輝度信号と色信号に分離した段階のデータなどをＲＡＷ画像データと呼ぶことができる。さらには例えば色再現／シャープネス等の処理が施されていない段階の画像データをＲＡＷ画像データと呼ぶことができる。
また、ＲＡＷ画像データとは、撮像により得られた画像データにおいて、現像処理の一部又は全部を行う前の画像データである。例えば画作りが行われる前の、イメージセンサの画素配列のままのデータ（例えばＲ（赤）／Ｇ（緑）／Ｂ（青）形式のデータ）、或いはそれを輝度信号と色信号に分離した段階のデータなどをＲＡＷ画像データと呼ぶことができる。さらには例えば色再現／シャープネス等の処理が施されていない段階の画像データをＲＡＷ画像データと呼ぶことができる。
【0010】
<１．システム構成>
図１に実施の形態のシステム構成例を示している。このシステムは撮像デバイス１００と情報処理装置１０３がネットワーク１０４により通信可能とされる。
図１に実施の形態のシステム構成例を示している。このシステムは撮像デバイス１００と情報処理装置１０３がネットワーク１０４により通信可能とされる。
【0011】
撮像デバイス１００は、光学系１０５、センサ１０１、アプリケーションプロセッサ１０２を備える。
【0012】
光学系１０５は、例えばズームレンズ、フォーカスレンズ、絞り等を有し、外部からの光をセンサ１０１に入射させる。
【0013】
センサ１０１は、例えば１チップで構成されるＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサであり、光学系１０５からの入射光の受光及び光電変換という撮像動作を行って、光学系１０５からの入射光に対応する画像データを出力する。
またセンサ１０１は、撮像により得た画像データに対して、例えば所定の認識対象を認識する認識処理、その他の信号処理を行い、その信号処理の信号処理結果を出力する。
またセンサ１０１は、撮像により得た画像データに対して、例えば所定の認識対象を認識する認識処理、その他の信号処理を行い、その信号処理の信号処理結果を出力する。
【0014】
アプリケーションプロセッサ１０２は、例えば外部の装置との間でデータ伝送を行うＩ／Ｆ（Interface）として機能するとともに、本開示の処理に関連するデータ分離処理などを行う。
センサ１０１とアプリケーションプロセッサ１０２の通信は、例えば、ＭＩＰＩ（Mobile Industry Processor Interface）等の比較的高速なパラレルＩ／Ｆ等を採用することができる。
センサ１０１とアプリケーションプロセッサ１０２の通信は、例えば、ＭＩＰＩ（Mobile Industry Processor Interface）等の比較的高速なパラレルＩ／Ｆ等を採用することができる。
【0015】
情報処理装置１０３は、例えばクラウドコンピューティングによる画像処理を行うクラウドサーバとして機能する。
本実施の形態では、情報処理装置１０３は、撮像デバイス１００からネットワーク１０４を介してＲＡＷ画像データを受信し、ＲＡＷ画像データに対する各種処理を行うことができるものとする。
本実施の形態では、情報処理装置１０３は、撮像デバイス１００からネットワーク１０４を介してＲＡＷ画像データを受信し、ＲＡＷ画像データに対する各種処理を行うことができるものとする。
【0016】
情報処理装置１０３はコンピュータ機器など、情報処理、特に画像処理が可能な機器である。この情報処理装置１０３としては、具体的には、サーバ機能を実現する処理の能力を有するコンピュータ装置が想定されるが、例えばパーソナルコンピュータ、スマートフォンやタブレット等の携帯端末装置、携帯電話機、ビデオ編集装置、ビデオ再生機器等などであって本実施の形態で説明する処理機能を備えるものでもよい。
【0017】
なお、情報処理装置１０３は、撮像デバイス１００と別体の情報処理装置であるが、必ずしもクラウドコンピューティングによるコンピュータ装置に限られない。例えば情報処理装置１０３は、スマートフォン等の端末装置などとして、撮像デバイス１００の近距離の位置で使用されるものであってもよい。
【0018】
また、センサ１０１や情報処理装置１０３は、ＡＩ（artificial intelligence）エンジンによる機械学習を用いた各種の解析処理を行うことも想定される。例えばＡＩエンジンは、画像データについてＤＮＮ（Deep Neural Network）処理としての画像解析により、画像内容判定、シーン判定、物体認識（顔認識、人物認識等を含む）、個人識別、姿勢推定の処理などを行うことができる。
【0019】
ネットワーク１０４は、イーサネット、衛星通信回線、電話回線等を用いた遠隔地間の伝送路を形成するネットワークでもよいし、Ｗｉ－Ｆｉ（登録商標）通信、ブルートゥース（Bluetooth：登録商標）等による無線伝送路によるネットワークでもよい。さらにビデオケーブル、ＵＳＢ（Universal Serial Bus）ケーブル、ＬＡＮ（Local Area Network）ケーブル等を用いた有線接続の伝送路によるネットワークでもよい。
【0020】
このようなシステムにおいて、センサ１０１によって画像撮像が行われ、画像データが出力される。このセンサ１０１が出力する画像データは、アプリケーションプロセッサ１０２によって情報処理装置１０３に送信される。情報処理装置１０３では、送信されてきた画像データを記憶するとともに、画像データを用いた各種処理を行うことができる。
【0021】
ここで、撮像デバイス１００から情報処理装置１０３に送信される画像データはＲＡＷ画像データであるとする。情報処理装置１０３は、逐次送信されてくるＲＡＷ画像データを記憶するとともに、必要に応じてＲＡＷ画像データに対する現像処理、物体認識処理、画像や物体認識に基づく解析処理などを行って、各種情報をユーザに提供するサービスを行う。
本実施の形態では、このように情報処理装置１０３でＲＡＷ画像データを扱うことを想定して、より精度の高い情報提供を行うとともに、必要なデータ量の増大を抑制する。
本実施の形態では、このように情報処理装置１０３でＲＡＷ画像データを扱うことを想定して、より精度の高い情報提供を行うとともに、必要なデータ量の増大を抑制する。
【0022】
【0023】
センサ１０１は撮像ブロック２０及び信号処理ブロック３０を有する。
撮像ブロック２０と信号処理ブロック３０とは、接続線（内部バス）ＣＬ１，ＣＬ２、及び、ＣＬ３によって電気的に接続されている。
撮像ブロック２０と信号処理ブロック３０とは、接続線（内部バス）ＣＬ１，ＣＬ２、及び、ＣＬ３によって電気的に接続されている。
【0024】
撮像ブロック２０は、撮像部２１、撮像処理部２２、出力制御部２３、出力Ｉ／Ｆ（Interface）２４、及び撮像制御部２５を有している。
【0025】
撮像部２１は複数の画素が２次元に並んで構成される。撮像部２１は、撮像処理部２２によって駆動され、画像を撮像する。
すなわち撮像部２１に光学系１０５（図１）からの光が入射すると、撮像部２１における各画素がその入射光を受光し、光電変換を行う。この光電変換により得られるアナログ信号が入射光に対応する画像信号として出力される。
すなわち撮像部２１に光学系１０５（図１）からの光が入射すると、撮像部２１における各画素がその入射光を受光し、光電変換を行う。この光電変換により得られるアナログ信号が入射光に対応する画像信号として出力される。
【0026】
なお撮像部２１が出力する画像（信号）のサイズは、例えば、１２Ｍ（３９６８×２９７６）ピクセルや、ＶＧＡ（Video Graphics Array）サイズ（６４０×４８０ピクセル）等の複数のサイズの中から選択することができる。
また、撮像部２１が出力する画像については、例えば、ＲＧＢ（赤、緑、青）のカラー画像とするか、又は、輝度のみの白黒画像とするかを選択することができる。
これらの選択は、撮影モードの設定の一種として行うことができる。
また、撮像部２１が出力する画像については、例えば、ＲＧＢ（赤、緑、青）のカラー画像とするか、又は、輝度のみの白黒画像とするかを選択することができる。
これらの選択は、撮影モードの設定の一種として行うことができる。
【0027】
撮像処理部２２は、撮像制御部２５の制御に従い、撮像部２１の駆動や、撮像部２１が出力するアナログの画像信号のＡＤ（Analog to Digital）変換、撮像信号処理等の、撮像部２１での画像撮像に関連する処理を行う。
【0028】
ここで撮像信号処理としては、例えば撮像部２１が出力する画像について、所定の小領域ごとに画素値の平均値を演算すること等により、小領域ごとの明るさを求める処理や、撮像部２１が出力する画像をＨＤＲ（High Dynamic Range）画像に変換する処理、欠陥補正、現像等がある。
【0029】
撮像処理部２２は、撮像部２１が出力するアナログの画像信号のＡＤ変換等によって得られるデジタルの画像信号を撮像画像として出力する。
本実施の形態の場合、少なくともＲＡＷ画像データとして撮像画像を出力する。
本実施の形態の場合、少なくともＲＡＷ画像データとして撮像画像を出力する。
【0030】
撮像処理部２２が出力する撮像画像は、出力制御部２３に供給されるとともに、接続線ＣＬ２を介して、信号処理ブロック３０の画像圧縮部３５に供給される。
【0031】
出力制御部２３には、撮像処理部２２から撮像画像が供給される他、信号処理ブロック３０から、接続線ＣＬ３を介して、撮像画像等を用いた信号処理の信号処理結果などの各種情報が供給される。例えば後述する認識情報や撮影情報が供給される。
【0032】
出力制御部２３は、撮像処理部２２からの撮像画像、及び信号処理ブロック３０からの信号処理結果を、出力Ｉ／Ｆ２４から外部に出力させる出力制御を行う。例えば図１のアプリケーションプロセッサ１０２に出力する制御を行う。
【0033】
例えば出力制御部２３は、撮像処理部２２からの撮像画像、又は信号処理ブロック３０からの信号処理結果（後述する認識情報や撮影情報）を選択し、出力Ｉ／Ｆ２４に供給する。
【0034】
出力Ｉ／Ｆ２４は、出力制御部２３から供給される撮像画像、及び、信号処理結果を外部に出力するＩ／Ｆである。
出力Ｉ／Ｆ２４としては、例えばＭＩＰＩ等の比較的高速なパラレルＩ／Ｆ等を採用することができる。
出力Ｉ／Ｆ２４としては、例えばＭＩＰＩ等の比較的高速なパラレルＩ／Ｆ等を採用することができる。
【0035】
出力Ｉ／Ｆ２４は、出力制御部２３の出力制御に応じて、撮像処理部２２からの撮像画像、又は信号処理ブロック３０からの信号処理結果を外部に出力する。
したがって、例えば、外部において、信号処理ブロック３０からの信号処理結果だけが必要であり、撮像画像そのものが必要でない場合には、信号処理結果だけを出力することができ、出力Ｉ／Ｆ２４から外部に出力するデータ量を削減することができる。
また、信号処理ブロック３０において、外部で必要とする信号処理結果が得られる信号処理を行い、その信号処理結果を、出力Ｉ／Ｆ２４から出力することにより、外部で信号処理を行う必要がなくなり、外部のブロックの負荷を軽減することができる。
したがって、例えば、外部において、信号処理ブロック３０からの信号処理結果だけが必要であり、撮像画像そのものが必要でない場合には、信号処理結果だけを出力することができ、出力Ｉ／Ｆ２４から外部に出力するデータ量を削減することができる。
また、信号処理ブロック３０において、外部で必要とする信号処理結果が得られる信号処理を行い、その信号処理結果を、出力Ｉ／Ｆ２４から出力することにより、外部で信号処理を行う必要がなくなり、外部のブロックの負荷を軽減することができる。
【0036】
撮像制御部２５は、通信Ｉ／Ｆ２６及びレジスタ群２７を有する。
【0037】
通信Ｉ／Ｆ２６は、例えば、Ｉ２Ｃ（Inter Integrated Circuit）等のシリアル通信Ｉ／Ｆ等の第１の通信Ｉ／Ｆであり、外部との間で、レジスタ群２７に読み書きする情報等の必要な情報のやりとりを行う。
【0038】
レジスタ群２７は、複数のレジスタを有し、撮像部２１での画像の撮像に関連する撮影情報、その他の各種情報を記憶する。
例えば、レジスタ群２７は、通信Ｉ／Ｆ２６において外部から受信された情報や、撮像処理部２２での撮像信号処理の結果を記憶する。これら撮影時の撮像処理に関連する情報を、説明上「撮影情報」と呼ぶ。
例えば、レジスタ群２７は、通信Ｉ／Ｆ２６において外部から受信された情報や、撮像処理部２２での撮像信号処理の結果を記憶する。これら撮影時の撮像処理に関連する情報を、説明上「撮影情報」と呼ぶ。
【0039】
レジスタ群２７に記憶される撮影情報としては、例えば、ＩＳＯ感度（撮像処理部２２でのＡＤ変換時のアナログゲイン）、露光時間（シャッタスピード）、フレームレート、フォーカス、撮影モード等を示す情報や、切り出し位置情報、水平垂直回転情報などがある。
【0040】
撮影モードには、例えば、露光時間やフレームレート等が手動で設定される手動モードと、シーンに応じて自動的に設定される自動モードとがある。自動モードには、例えば、夜景や、人の顔等の各種の撮影シーンに応じたモードがある。
【0041】
また、切り出し位置情報とは、撮像処理部２２において、撮像部２１が出力する画像の一部を切り出して、撮像画像として出力する場合に、撮像部２１が出力する画像から切り出す範囲を表す情報である。切り出し範囲の指定によって、例えば、撮像部２１が出力する画像から、人が映っている範囲だけを切り出すこと等が可能になる。
またいわゆる手ブレ補正のために、撮像デバイス１００に設けられた不図示の角速度センサや加速度センサの情報に応じて、撮像処理部２２がフレーム毎に切り出し範囲を調整することもある。
なお、画像の切り出しとしては、撮像部２１が出力する画像から切り出す方法の他、撮像部２１から、切り出し範囲の画像（信号）だけを読み出す方法がある。
またいわゆる手ブレ補正のために、撮像デバイス１００に設けられた不図示の角速度センサや加速度センサの情報に応じて、撮像処理部２２がフレーム毎に切り出し範囲を調整することもある。
なお、画像の切り出しとしては、撮像部２１が出力する画像から切り出す方法の他、撮像部２１から、切り出し範囲の画像（信号）だけを読み出す方法がある。
【0042】
水平垂直回転情報とは、画像の縦横の切り替え、傾き補正などによる、水平方向、垂直方向の変化の情報である。
【0043】
撮像制御部２５は、レジスタ群２７に記憶された撮影情報に従って、撮像処理部２２を制御し、これにより、撮像部２１での画像の撮像処理を制御する。
【0044】
なおレジスタ群２７は、撮影情報として、撮像処理部２２での撮像信号処理の結果の他、出力制御部２３での出力制御に関する出力制御情報も記憶することができる。
出力制御部２３は、レジスタ群２７に記憶された出力制御情報に従って、撮像画像及び信号処理結果を選択的に出力させる出力制御を行うことができる。
出力制御部２３は、レジスタ群２７に記憶された出力制御情報に従って、撮像画像及び信号処理結果を選択的に出力させる出力制御を行うことができる。
【0045】
またセンサ１０１では、撮像制御部２５と、信号処理ブロック３０のＣＰＵ３１とは、接続線ＣＬ１を介して接続されており、ＣＰＵ３１は接続線ＣＬ１を介してレジスタ群２７に対して情報の読み書きを行うことができる。
【0046】
すなわちセンサ１０１では、レジスタ群２７に対する情報の読み書きは通信Ｉ／Ｆ２６から行う他、ＣＰＵ３１からも行うことができる。
【0047】
信号処理ブロック３０は、ＣＰＵ（Central Processing Unit）３１、ＩＳＰ（Image Signal Processor）３２、ＤＳＰ（Digital Signal Processor）３３、通信Ｉ／Ｆ３４、画像圧縮部３５、入力Ｉ／Ｆ３６、及びメモリ３７を有し、撮像ブロック２０で得られた撮像画像等を用いて所定の信号処理を行う。
【0048】
信号処理ブロック３０を構成するＣＰＵ３１からメモリ３７までの上記各部は、相互にバス３９を介して接続され、必要に応じて情報のやりとりを行うことができる。
【0049】
ＣＰＵ３１は、メモリ３７に記憶されたプログラムを実行することで、信号処理ブロック３０の制御、接続線ＣＬ１を介しての、撮像制御部２５のレジスタ群２７への情報の読み書き、その他の各種の処理を行う。
【0050】
例えばＣＰＵ３１は、プログラムを実行することにより、ＤＳＰ３３での信号処理により得られる信号処理結果を用いて撮影情報を算出する算出部として機能し、信号処理結果を用いて算出した新たな撮影情報を、接続線ＣＬ１を介して撮像制御部２５のレジスタ群２７にフィードバックして記憶させることができる。
【0051】
したがってＣＰＵ３１は、撮像画像の信号処理結果に応じて撮像部２１での撮像動作や撮像処理部２２での撮像信号処理を制御することができる。
【0052】
またＣＰＵ３１がレジスタ群２７に記憶させた撮影情報は、通信Ｉ／Ｆ２６から外部に提供（出力）することができる。例えば、レジスタ群２７に記憶された撮影情報のうちのフォーカスの情報は、通信Ｉ／Ｆ２６から、フォーカスを制御するフォーカスドライバ（図示せず）に提供することができる。
【0053】
ＩＳＰ３２は、メモリ３７に記憶されたプログラムを実行することで、撮像処理部２２から、接続線ＣＬ２を介して、信号処理ブロック３０に供給される撮像画像や、入力Ｉ／Ｆ３６が外部から受け取る情報を用いた信号処理を行う信号処理部として機能する。
これによりＩＳＰ３２は、ＤＳＰ３３における認識処理の入力画像を生成する。
これによりＩＳＰ３２は、ＤＳＰ３３における認識処理の入力画像を生成する。
【0054】
ＤＳＰ３３は、メモリ３７に記憶されたプログラムを実行することで、撮像処理部２２から、接続線ＣＬ２を介して、信号処理ブロック３０に供給される撮像画像や、入力Ｉ／Ｆ３６が外部から受け取る情報を用いた信号処理を行う信号処理部として機能する。
特に本実施の形態では、ＩＳＰ３２からの入力画像についてＤＮＮ処理等の物体認識処理を行うことができる。
特に本実施の形態では、ＩＳＰ３２からの入力画像についてＤＮＮ処理等の物体認識処理を行うことができる。
【0055】
メモリ３７は、ＳＲＡＭ（Static Random Access Memory）やＤＲＡＭ（Dynamic RAM）等で構成され、信号処理ブロック３０の処理上必要なデータ等を記憶する。
例えば、メモリ３７は、通信Ｉ／Ｆ３４において、外部から受信されたプログラムや、画像圧縮部３５で圧縮され、ＩＳＰ３２やＤＳＰ３３での信号処理で用いられる撮像画像、ＤＳＰ３３で行われた認識処理の結果である認識情報、ＣＰＵ３１や撮像制御部２５の制御で行われた撮影時の処理の情報（撮影情報）、入力Ｉ／Ｆ３６が受け取った情報、レジスタ群２７に記憶された情報のうちで出力Ｉ／Ｆ２４から出力する情報等を記憶する。上述のように撮影情報としては、切り出し位置情報や、水平垂直回転情報などがある。
認識情報や、切り出し位置情報、水平垂直回転情報などを含む撮影情報などは、逐次メモリ３７から出力制御部２３転送されて出力Ｉ／Ｆ２４から出力されるようにすることができる。
例えば、メモリ３７は、通信Ｉ／Ｆ３４において、外部から受信されたプログラムや、画像圧縮部３５で圧縮され、ＩＳＰ３２やＤＳＰ３３での信号処理で用いられる撮像画像、ＤＳＰ３３で行われた認識処理の結果である認識情報、ＣＰＵ３１や撮像制御部２５の制御で行われた撮影時の処理の情報（撮影情報）、入力Ｉ／Ｆ３６が受け取った情報、レジスタ群２７に記憶された情報のうちで出力Ｉ／Ｆ２４から出力する情報等を記憶する。上述のように撮影情報としては、切り出し位置情報や、水平垂直回転情報などがある。
認識情報や、切り出し位置情報、水平垂直回転情報などを含む撮影情報などは、逐次メモリ３７から出力制御部２３転送されて出力Ｉ／Ｆ２４から出力されるようにすることができる。
【0056】
通信Ｉ／Ｆ３４は、例えば、ＳＰＩ（Serial Peripheral Interface）等のシリアル通信Ｉ／Ｆ等の第２の通信Ｉ／Ｆであり、外部との間で、ＣＰＵ３１やＤＳＰ３３が実行するプログラム等の必要な情報のやりとりを行う。
例えば、通信Ｉ／Ｆ３４は、ＣＰＵ３１やＤＳＰ３３が実行するプログラムを外部からダウンロードし、メモリ３７に供給して記憶させる。
したがって、通信Ｉ／Ｆ３４がダウンロードするプログラムによって、ＣＰＵ３１やＤＳＰ３３で様々な処理を実行することができる。
例えば、通信Ｉ／Ｆ３４は、ＣＰＵ３１やＤＳＰ３３が実行するプログラムを外部からダウンロードし、メモリ３７に供給して記憶させる。
したがって、通信Ｉ／Ｆ３４がダウンロードするプログラムによって、ＣＰＵ３１やＤＳＰ３３で様々な処理を実行することができる。
【0057】
なお通信Ｉ／Ｆ３４は、外部との間で、プログラムの他、任意のデータのやりとりを行うことができる。
例えば通信Ｉ／Ｆ３４は、ＤＳＰ３３での信号処理により得られる信号処理結果を外部に出力することができる。
また通信Ｉ／Ｆ３４は、ＣＰＵ３１の指示に従った情報を外部の装置に出力し、これによりＣＰＵ３１の指示に従って、外部の装置を制御することができる。
例えば通信Ｉ／Ｆ３４は、ＤＳＰ３３での信号処理により得られる信号処理結果を外部に出力することができる。
また通信Ｉ／Ｆ３４は、ＣＰＵ３１の指示に従った情報を外部の装置に出力し、これによりＣＰＵ３１の指示に従って、外部の装置を制御することができる。
【0058】
画像圧縮部３５には、撮像処理部２２から接続線ＣＬ２を介して撮像画像が供給される。画像圧縮部３５は、撮像画像を圧縮する圧縮処理を行い、その撮像画像よりもデータ量が少ない圧縮画像を生成する。画像圧縮部３５で生成された圧縮画像は、バス３９を介してメモリ３７に供給されて記憶される。
なお画像圧縮部３５は、圧縮を行わずに撮像画像をそのままメモリ３７に記憶させることもある。
メモリ３７に記憶された圧縮された（又は非圧縮の）撮像画像は、ＩＳＰ３２やＤＳＰ３３の処理に供される。
なお画像圧縮部３５は、圧縮を行わずに撮像画像をそのままメモリ３７に記憶させることもある。
メモリ３７に記憶された圧縮された（又は非圧縮の）撮像画像は、ＩＳＰ３２やＤＳＰ３３の処理に供される。
【0059】
即ちＩＳＰ３２やＤＳＰ３３での信号処理は、撮像画像そのものを用いて行う他、画像圧縮部３５で撮像画像から生成された圧縮画像を用いて行うことができる。圧縮画像は、撮像画像よりもデータ量が少ないため、ＩＳＰ３２やＤＳＰ３３での信号処理の負荷の軽減や、圧縮画像を記憶するメモリ３７の記憶容量の節約を図ることができる。
【0060】
画像圧縮部３５での圧縮処理としては、例えば１２Ｍ（３９６８×２９７６）ピクセルの撮像画像をＶＧＡサイズの画像に変換するスケールダウンを行うことができる。またＩＳＰ３２やＤＳＰ３３での信号処理が輝度を対象として行われ、かつ撮像画像がＲＧＢの画像である場合には、圧縮処理としては、ＲＧＢの画像を例えばＹＵＶの画像に変換するＹＵＶ変換を行うことができる。
【0061】
なお画像圧縮部３５はソフトウェアにより実現することもできるし、専用のハードウエアにより実現することもできる。
【0062】
入力Ｉ／Ｆ３６は外部から情報を受け取るＩ／Ｆである。入力Ｉ／Ｆ３６は、例えば外部のセンサから、その外部のセンサの出力（外部センサ出力）を受け取り、バスを介してメモリ３７に供給して記憶させる。
入力Ｉ／Ｆ３６としては、例えば出力Ｉ／Ｆ２４と同様に、ＭＩＰＩ等のパラレルＩ／Ｆ等を採用することができる。
入力Ｉ／Ｆ３６としては、例えば出力Ｉ／Ｆ２４と同様に、ＭＩＰＩ等のパラレルＩ／Ｆ等を採用することができる。
【0063】
また外部のセンサとしては、例えば、距離に関する情報をセンシングする距離センサを採用することができる。
さらに外部のセンサとしては、例えば、光をセンシングし、その光に対応する画像を出力するイメージセンサ、すなわちセンサ１０１とは別のイメージセンサを採用することができる。
また外部のセンサとしては、撮像デバイス１００の挙動を検出する角速度センサ、加速度センサなどを採用することもできる。
さらに外部のセンサとしては、例えば、光をセンシングし、その光に対応する画像を出力するイメージセンサ、すなわちセンサ１０１とは別のイメージセンサを採用することができる。
また外部のセンサとしては、撮像デバイス１００の挙動を検出する角速度センサ、加速度センサなどを採用することもできる。
【0064】
ＣＰＵ３１、ＩＳＰ３２、ＤＳＰ３３では、撮像画像（から生成された圧縮画像）を用いる他、入力Ｉ／Ｆ３６が上述のような外部のセンサから受け取り、メモリ３７に記憶される外部センサ出力を用いて信号処理を行うことができる。
【0065】
以上のように構成される１チップのセンサ１０１では、撮像部２１での撮像により得られる撮像画像（から生成される圧縮画像）を用いた信号処理がＩＳＰ３２、ＤＳＰ３３で行われ、その信号処理の信号処理結果、及び、撮像画像が、出力Ｉ／Ｆ２４から選択的に出力される。特に本実施の形態では、ＲＡＷ画像データとしての撮像画像や、上述した認識情報、撮影情報などが出力Ｉ／Ｆ２４から出力される。
従ってユーザが必要とする情報を出力するセンサ１０１を小型に構成することができる。
従ってユーザが必要とする情報を出力するセンサ１０１を小型に構成することができる。
【0066】
図３にセンサ１０１の外観構成例を模式的に示している。
センサ１０１は、例えば複数のダイが積層された積層構造を有する１チップの半導体装置として構成することができる。
図３では、センサ１０１は、ダイ５１、５２の２枚のダイが積層されて構成される例を示している。
センサ１０１は、例えば複数のダイが積層された積層構造を有する１チップの半導体装置として構成することができる。
図３では、センサ１０１は、ダイ５１、５２の２枚のダイが積層されて構成される例を示している。
【0067】
図示のように上側のダイ５１には撮像部２１が搭載され、下側のダイ５２には撮像処理部２２から撮像制御部２５までの各部や、ＣＰＵ３１からメモリ３７までの各部が搭載されている。
【0068】
上側のダイ５１と下側のダイ５２とは、例えばダイ５１を貫きダイ５２にまで到達する貫通孔を形成することにより、又はダイ５１の下面側に露出したＣｕ配線と、ダイ５２の上面側に露出したＣｕ配線とを直接接続するＣｕ－Ｃｕ接合を行うこと等により、電気的に接続される。
【0069】
ここで、撮像処理部２２において、撮像部２１が出力する画像信号のＡＤ変換を行う方式としては、例えば、列並列ＡＤ方式やエリアＡＤ方式を採用することができる。
【0070】
列並列ＡＤ方式では、例えば撮像部２１を構成する画素の列に対してＡＤＣ（AD Converter）が設けられ、各列のＡＤＣが、その列の画素の画素信号のＡＤ変換を担当することで、１行の各列の画素の画像信号のＡＤ変換が並列に行われる。列並列ＡＤ方式を採用する場合には、その列並列ＡＤ方式のＡＤ変換を行う撮像処理部２２の一部が、上側のダイ５１に搭載されることがある。
【0071】
エリアＡＤ方式では、撮像部２１を構成する画素が複数のブロックに区分され、各ブロックに対してＡＤＣが設けられる。そして各ブロックのＡＤＣが、そのブロックの画素の画素信号のＡＤ変換を担当することで、複数のブロックの画素の画像信号のＡＤ変換が並列に行われる。エリアＡＤ方式では、ブロックを最小単位として、撮像部２１を構成する画素のうちの必要な画素についてだけ、画像信号のＡＤ変換（読み出し及びＡＤ変換）を行うことができる。
【0072】
なお、センサ１０１の面積が大になることが許容されるのであれば、センサ１０１は１枚のダイで構成することができる。
【0073】
また、図３では２枚のダイ５１、５２を積層して１チップのセンサ１０１を構成することとしたが、１チップのセンサ１０１は３枚以上のダイを積層して構成することができる。例えば３枚のダイを積層して１チップのセンサ１０１を構成する場合には、図３のメモリ３７を別のダイに搭載することができる。
【0074】
ところでセンサチップ、メモリチップ、ＤＳＰチップ等のチップどうしを、複数のバンプで並列に接続してセンサ１０１を構成する場合、積層構造に構成された１チップのセンサ１０１に比較して厚みが大きく増加し装置が大型化する。
さらにその場合、バンプの接続部分での信号劣化等により、撮像処理部２２から出力制御部２３に撮像画像を出力するレートとして、十分なレートを確保することが困難になることがあり得る。
さらにその場合、バンプの接続部分での信号劣化等により、撮像処理部２２から出力制御部２３に撮像画像を出力するレートとして、十分なレートを確保することが困難になることがあり得る。
【0075】
図３のような積層構造のセンサ１０１によれば、以上のような装置の大型化や、撮像処理部２２と出力制御部２３との間のレートとして、十分なレートを確保することができなくなることを防止することができる。
従って積層構造のセンサ１０１によれば、ユーザが必要とする情報を出力する撮像装置を小型に構成することを実現することができる。
従って積層構造のセンサ１０１によれば、ユーザが必要とする情報を出力する撮像装置を小型に構成することを実現することができる。
【0076】
ユーザが必要とする情報が撮像画像である場合には、センサ１０１は撮像画像を出力することができる。
また、ユーザが必要とする情報が、撮像画像を用いた信号処理により得られる場合には、センサ１０１は、ＤＳＰ３３等において、その信号処理、例えば撮像画像から所定の認識対象を認識する認識処理を行うことにより、ユーザが必要とする情報としての信号処理結果を得て出力することができる。
また、ユーザが必要とする情報が、撮像画像を用いた信号処理により得られる場合には、センサ１０１は、ＤＳＰ３３等において、その信号処理、例えば撮像画像から所定の認識対象を認識する認識処理を行うことにより、ユーザが必要とする情報としての信号処理結果を得て出力することができる。
【0077】
【0078】
情報処理装置１０３のＣＰＵ７１は、ＲＯＭ７２や例えばＥＥＰ－ＲＯＭ（Electrically Erasable Programmable Read-Only Memory）などの不揮発性メモリ部７４に記憶されているプログラム、または記憶部７９からＲＡＭ７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
ＣＰＵ７１、ＲＯＭ７２、ＲＡＭ７３、不揮発性メモリ部７４は、バス８３を介して相互に接続されている。このバス８３にはまた、入出力インタフェース７５も接続されている。
ＣＰＵ７１、ＲＯＭ７２、ＲＡＭ７３、不揮発性メモリ部７４は、バス８３を介して相互に接続されている。このバス８３にはまた、入出力インタフェース７５も接続されている。
【0079】
なお情報処理装置１０３を、画像処理やＤＮＮ処理を行うものとする場合、ＣＰＵ７１に代えて、或いはＣＰＵ７１と共に、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＡＩ専用プロセッサ等が設けられてもよい。
【0080】
入出力インタフェース７５には、操作子や操作デバイスよりなる入力部７６が接続される。例えば入力部７６としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
入力部７６によりユーザの操作が検知され、入力された操作に応じた信号はＣＰＵ７１によって解釈される。
入力部７６としてはマイクロフォンも想定される。ユーザの発する音声を操作情報として入力することもできる。
入力部７６によりユーザの操作が検知され、入力された操作に応じた信号はＣＰＵ７１によって解釈される。
入力部７６としてはマイクロフォンも想定される。ユーザの発する音声を操作情報として入力することもできる。
【0081】
また入出力インタフェース７５には、ＬＣＤ或いは有機ＥＬパネルなどよりなる表示部７７や、スピーカなどよりなる音声出力部７８が一体又は別体として接続される。
表示部７７は各種表示を行う表示部であり、例えば情報処理装置１０３の筐体に設けられるディスプレイデバイスや、情報処理装置１０３に接続される別体のディスプレイデバイス等により構成される。
表示部７７は、ＣＰＵ７１の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部７７はＣＰＵ７１の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行うことができる。
表示部７７は各種表示を行う表示部であり、例えば情報処理装置１０３の筐体に設けられるディスプレイデバイスや、情報処理装置１０３に接続される別体のディスプレイデバイス等により構成される。
表示部７７は、ＣＰＵ７１の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部７７はＣＰＵ７１の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行うことができる。
【0082】
入出力インタフェース７５には、ハードディスクや固体メモリなどより構成される記憶部７９や、モデムなどより構成される通信部８０が接続される場合もある。
記憶部７９は各種の情報の格納に用いられる。本実施の形態の場合、例えば後述する画像保存用ＤＢ４２、情報保存用ＤＢ４４、或いはＤＢ４７等を記憶部７９において構成することができる。
記憶部７９は各種の情報の格納に用いられる。本実施の形態の場合、例えば後述する画像保存用ＤＢ４２、情報保存用ＤＢ４４、或いはＤＢ４７等を記憶部７９において構成することができる。
【0083】
通信部８０は、ネットワーク１０４等の伝送路を介しての通信処理や、各種機器との有線／無線通信、バス通信などによる通信を行う。
【0084】
入出力インタフェース７５にはまた、必要に応じてドライブ８１が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体８２が適宜装着される。
ドライブ８１により、リムーバブル記録媒体８２からは画像ファイル等のデータファイルや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータファイルは記憶部７９に記憶されたり、データファイルに含まれる画像や音声が表示部７７や音声出力部７８で出力されたりする。またリムーバブル記録媒体８２から読み出されたコンピュータプログラム等は必要に応じて記憶部７９にインストールされる。
ドライブ８１により、リムーバブル記録媒体８２からは画像ファイル等のデータファイルや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータファイルは記憶部７９に記憶されたり、データファイルに含まれる画像や音声が表示部７７や音声出力部７８で出力されたりする。またリムーバブル記録媒体８２から読み出されたコンピュータプログラム等は必要に応じて記憶部７９にインストールされる。
【0085】
この情報処理装置１０３では、例えば本実施の形態の処理のためのソフトウェアを、通信部８０によるネットワーク通信やリムーバブル記録媒体８２を介してインストールすることができる。或いは当該ソフトウェアは予めＲＯＭ７２や記憶部７９等に記憶されていてもよい。
【0086】
<３．実施の形態の概要、及び設定段階と運用段階の処理例>
実施の形態の処理の概要について説明する。
実施の形態では、センサ１０１で撮像したＲＡＷ画像データを、クラウド側の情報処理装置１０３にアップロードし、当該画像や画像に基づく情報を各種サービスに用いることを想定している。
実施の形態の処理の概要について説明する。
実施の形態では、センサ１０１で撮像したＲＡＷ画像データを、クラウド側の情報処理装置１０３にアップロードし、当該画像や画像に基づく情報を各種サービスに用いることを想定している。
【0087】
サービスの例を挙げる。
例えば撮像デバイス１００を監視カメラや定点カメラとして監視システムや観測システムを構成することが考えられる。
センサ１０１で撮像した画像データをクラウドサーバである情報処理装置１０３に逐次アップロードしていく。情報処理装置１０３は、アップロードされた画像をユーザに提供したり、画像からの検出結果、分析結果の情報、例えば特定の人物の認識情報、単位時間での人数情報、混雑情報、気象情報などをユーザに提供したりすることができる。
例えば撮像デバイス１００を監視カメラや定点カメラとして監視システムや観測システムを構成することが考えられる。
センサ１０１で撮像した画像データをクラウドサーバである情報処理装置１０３に逐次アップロードしていく。情報処理装置１０３は、アップロードされた画像をユーザに提供したり、画像からの検出結果、分析結果の情報、例えば特定の人物の認識情報、単位時間での人数情報、混雑情報、気象情報などをユーザに提供したりすることができる。
【0088】
また撮像デバイス１００を店舗の商品のモニタカメラとする用途とし、情報処理装置１０３が画像に基づいて商品の販売状況、欠品情報などを生成し、ユーザに提供するというケースも想定される。
また撮像デバイス１００を工場の製造ラインのモニタカメラとする用途とし、情報処理装置１０３が画像に基づいて生産品の状態、不良品情報、ライン稼働状況情報などを生成し、ユーザに提供するというケースも想定される。
また撮像デバイス１００を工場の製造ラインのモニタカメラとする用途とし、情報処理装置１０３が画像に基づいて生産品の状態、不良品情報、ライン稼働状況情報などを生成し、ユーザに提供するというケースも想定される。
【0089】
これら多様なユースケースが想定されるが、本実施の形態では、エッジ側である撮像デバイス１００から、クラウド側である情報処理装置１０３にアップロードする画像はＲＡＷ画像データであるとする。
情報処理装置１０３では、ＲＡＷ画像データを必要に応じて現像処理を行い、また或いは被写体の解析処理や、画像から目的の情報の分析処理等を行う。これによりサービスに必要な情報を生成し、ユーザに提供する。
情報処理装置１０３では、ＲＡＷ画像データを必要に応じて現像処理を行い、また或いは被写体の解析処理や、画像から目的の情報の分析処理等を行う。これによりサービスに必要な情報を生成し、ユーザに提供する。
【0090】
このような場合に、画像の歪補正や画像処理を、情報処理装置１０３において適切に行うようにすることを考える。
【0091】
例えばＲＡＷ画像データについて歪補正を行うには、そのＲＡＷ画像データと幾何変形パラメータ、即ち歪補正パラメータが紐づけられている必要がある。ところが、情報処理装置１０３側で、ＲＡＷ画像データのフレーム毎に歪補正パラメータを紐づけて管理することは、必要なデータ量の増大を招く。
【0092】
そこで情報処理装置１０３は、ＲＡＷ画像データと歪補正パラメータを別管理するものとする。
具体的には、ＲＡＷ画像データの撮像を行った撮像デバイス１００におけるレンズの光学中心情報をデバイスに紐づけて管理する。これにより、ＲＡＷ画像データのフレーム毎に幾何変形パラメータ等を記憶・管理する必要をなくし、データサイズの拡大を抑える。
具体的には、ＲＡＷ画像データの撮像を行った撮像デバイス１００におけるレンズの光学中心情報をデバイスに紐づけて管理する。これにより、ＲＡＷ画像データのフレーム毎に幾何変形パラメータ等を記憶・管理する必要をなくし、データサイズの拡大を抑える。
【0093】
歪補正のために幾何変形パラメータを作成する際に、撮像デバイス１００における光軸中心と、ＲＡＷ画像データの画像中心がずれている場合、歪補正が適切にできないという事情がある。例えば撮像デバイス１００において安価なレンズを用いる場合、ピント合わせのためにレンズをねじ込むが、この動作によって、光軸中心と画像中心の位置が回転してしまう。例えばこのような状況に対応するために、情報処理装置１０３において撮像デバイス１００の個体ごとに幾何変形パラメータを作成できるようにする。
【0094】
またＲＡＷ画像データのフレーム毎に関連づけて管理する情報として、撮影情報と認識情報を用いる。
撮影情報とは、切り出し位置情報、水平垂直回転情報などである。
認識情報は、ＤＳＰ３３において行われる例えばＤＮＮ結果情報など、被写体の認識結果の情報である。
これらを用いることで、情報処理装置１０３側で生成する歪補正パラメータの精度を向上させる。
撮影情報とは、切り出し位置情報、水平垂直回転情報などである。
認識情報は、ＤＳＰ３３において行われる例えばＤＮＮ結果情報など、被写体の認識結果の情報である。
これらを用いることで、情報処理装置１０３側で生成する歪補正パラメータの精度を向上させる。
【0095】
図５は設定段階の手順、及び運用段階の手順をそれぞれ示している。
図の下部のエッジ側として撮像デバイス１００側の動作手順、図の上部のクラウド側として情報処理装置１０３側の動作手順を示している。
まず手順ＳＴ１から手順ＳＴ６として設定段階の処理や動作を説明する。
図の下部のエッジ側として撮像デバイス１００側の動作手順、図の上部のクラウド側として情報処理装置１０３側の動作手順を示している。
まず手順ＳＴ１から手順ＳＴ６として設定段階の処理や動作を説明する。
【0096】
・手順ＳＴ１
撮像デバイス１００において、例えば撮像を行う現場での設置時などに設定用の所定の画像の撮影を行う。例えば格子画像、マクベスなどと呼ばれる画像を用意して撮影する。
撮像デバイス１００において、例えば撮像を行う現場での設置時などに設定用の所定の画像の撮影を行う。例えば格子画像、マクベスなどと呼ばれる画像を用意して撮影する。
【0097】
・手順ＳＴ２
撮像デバイス１００において手順ＳＴ１の撮影による撮像画像や、その他必要な撮像デバイス１００のデバイス情報を情報処理装置１０３にアップロードする。ここでいうデバイス情報としては、撮像デバイス１００の識別情報や、レンズの種別、特性等を示すレンズデータ、イメージセンサ（撮像部２１）のＲＧＢ感度など、その撮像デバイス１００の固有の特性等の情報を含む。
撮像デバイス１００において手順ＳＴ１の撮影による撮像画像や、その他必要な撮像デバイス１００のデバイス情報を情報処理装置１０３にアップロードする。ここでいうデバイス情報としては、撮像デバイス１００の識別情報や、レンズの種別、特性等を示すレンズデータ、イメージセンサ（撮像部２１）のＲＧＢ感度など、その撮像デバイス１００の固有の特性等の情報を含む。
【0098】
・手順ＳＴ３
情報処理装置１０３が、撮像デバイス１００における光学中心や、撮像デバイス１００の特性に応じた調整値（以下「個体調整値」という）を計算する。
個体調整値とは、例えばその撮像デバイス１００の特性に応じた色味調整のパラメータや、シェーディング補正のパラメータなど、その撮像デバイス１００で撮像された画像データに対する画像処理に用いることに適した調整値である。
なお本開示では、光学中心や個体調整値など、撮像デバイス１００の個体に応じたＲＡＷ画像データの画像処理に用いる補正パラメータの算出の元になる情報を総称して個体情報と呼んでいる。上記のデバイス情報の全部又は一部が個体情報となる場合もあるし、デバイス情報は個体情報とはならないこともある。
情報処理装置１０３が、撮像デバイス１００における光学中心や、撮像デバイス１００の特性に応じた調整値（以下「個体調整値」という）を計算する。
個体調整値とは、例えばその撮像デバイス１００の特性に応じた色味調整のパラメータや、シェーディング補正のパラメータなど、その撮像デバイス１００で撮像された画像データに対する画像処理に用いることに適した調整値である。
なお本開示では、光学中心や個体調整値など、撮像デバイス１００の個体に応じたＲＡＷ画像データの画像処理に用いる補正パラメータの算出の元になる情報を総称して個体情報と呼んでいる。上記のデバイス情報の全部又は一部が個体情報となる場合もあるし、デバイス情報は個体情報とはならないこともある。
【0099】
・手順ＳＴ４
情報処理装置１０３が、撮像デバイス１００にフィードバックする設定値を作成する。
情報処理装置１０３が、撮像デバイス１００にフィードバックする設定値を作成する。
【0100】
・手順ＳＴ５
情報処理装置１０３が作成した設定値に基づいて、パラメータやプログラムが撮像デバイス１００にデプロイされる。
情報処理装置１０３が作成した設定値に基づいて、パラメータやプログラムが撮像デバイス１００にデプロイされる。
【0101】
・手順ＳＴ６
情報処理装置１０３は、デバイスを特定するデバイス情報と共に、手順ＳＴ３で計算した光学中心や個体調整値を、ＤＢ（データベース）に保存する。
情報処理装置１０３は、デバイスを特定するデバイス情報と共に、手順ＳＴ３で計算した光学中心や個体調整値を、ＤＢ（データベース）に保存する。
【0102】
以上の手順で、情報処理装置１０３は、撮像デバイス１００に応じた個体情報、即ち光学中心の情報や個体調整値を管理できる状態になる。なお、このためには少なくとも手順ＳＴ１，ＳＴ２，ＳＴ３，ＳＴ６が行われればよい。
【0103】
続いて、運用段階の処理又は動作として、手順ＳＴ１１から手順ＳＴ１６までを説明する。
【0104】
・手順ＳＴ１１
撮像デバイス１００において、実際の設置環境における撮影を行う。
撮像デバイス１００において、実際の設置環境における撮影を行う。
【0105】
・手順ＳＴ１２
撮像デバイス１００において手順ＳＴ１１として行われた撮影による撮像画像や、その撮影に付随する情報を情報処理装置１０３にアップロードする。この場合、撮像画像としてのＲＡＷ画像データが情報処理装置１０３にアップロードされるとともに、撮影に付随する情報として、ＲＡＷ画像データのフレームに対応する認識情報や撮影情報がアップロードされる。
認識情報は撮像したＲＡＷ画像データに対するセンサ１０１内での画像信号処理、物体認識処理が行われた結果としての認識情報である。撮影情報は、そのＲＡＷ画像データの撮影の際の切り出しを行った場合の切り出し位置情報や、水平－垂直変換や回転調整による水平垂直回転情報である。
撮像デバイス１００において手順ＳＴ１１として行われた撮影による撮像画像や、その撮影に付随する情報を情報処理装置１０３にアップロードする。この場合、撮像画像としてのＲＡＷ画像データが情報処理装置１０３にアップロードされるとともに、撮影に付随する情報として、ＲＡＷ画像データのフレームに対応する認識情報や撮影情報がアップロードされる。
認識情報は撮像したＲＡＷ画像データに対するセンサ１０１内での画像信号処理、物体認識処理が行われた結果としての認識情報である。撮影情報は、そのＲＡＷ画像データの撮影の際の切り出しを行った場合の切り出し位置情報や、水平－垂直変換や回転調整による水平垂直回転情報である。
【0106】
・手順ＳＴ１３
アップロードされるＲＡＷ画像データのフレームや、認識情報、撮影情報が関連づけられて情報処理装置１０３側のＤＢに保存される。
アップロードされるＲＡＷ画像データのフレームや、認識情報、撮影情報が関連づけられて情報処理装置１０３側のＤＢに保存される。
【0107】
・手順ＳＴ１４
情報処理装置１０３は、ＤＢに取り込んだＲＡＷ画像データに対して現像処理のためのパラメータ算出を行う。この場合に、設定段階で撮像デバイス１００に関連づけて保存した光学中心や個体調整値の情報を用いる。
またＲＡＷ画像データのフレームに関連づけて保存されている認識情報、撮影情報も用いられる。具体的には、現像処理では歪補正が行われるが、歪補正のための歪補正パラメータを計算する際に、光学中心、認識情報、撮影情報を用いることができる。
情報処理装置１０３は、ＤＢに取り込んだＲＡＷ画像データに対して現像処理のためのパラメータ算出を行う。この場合に、設定段階で撮像デバイス１００に関連づけて保存した光学中心や個体調整値の情報を用いる。
またＲＡＷ画像データのフレームに関連づけて保存されている認識情報、撮影情報も用いられる。具体的には、現像処理では歪補正が行われるが、歪補正のための歪補正パラメータを計算する際に、光学中心、認識情報、撮影情報を用いることができる。
【0108】
・手順ＳＴ１５
情報処理装置１０３は、ＤＢに取り込んだＲＡＷ画像データに対して、算出したパラメータを用いた現像処理を行う。
例えば現像処理では、歪補正、色処理、シェーディング補正などを含む各種処理が行われる。歪補正には手順ＳＴ１４で計算した歪補正パラメータを用いる。また色処理、シェーディング補正などに個体調整値を用いることができる。
情報処理装置１０３は、ＤＢに取り込んだＲＡＷ画像データに対して、算出したパラメータを用いた現像処理を行う。
例えば現像処理では、歪補正、色処理、シェーディング補正などを含む各種処理が行われる。歪補正には手順ＳＴ１４で計算した歪補正パラメータを用いる。また色処理、シェーディング補正などに個体調整値を用いることができる。
【0109】
・手順ＳＴ１６
情報処理装置１０３は、現像した画像データについてＤＮＮ処理等を行うことができる。これは、運用しているサービスにとって要求される被写体の認識のための人物認識、クラス判定、物体認識などを行うものである。
情報処理装置１０３は、現像した画像データについてＤＮＮ処理等を行うことができる。これは、運用しているサービスにとって要求される被写体の認識のための人物認識、クラス判定、物体認識などを行うものである。
【0110】
・手順ＳＴ１７
情報処理装置１０３は、認識処理の結果を解析し、例えば運用しているサービスのユーザに対して提供する情報を生成する。また撮像デバイスに対してフィードバックする情報を生成することもできる。
情報処理装置１０３は、認識処理の結果を解析し、例えば運用しているサービスのユーザに対して提供する情報を生成する。また撮像デバイスに対してフィードバックする情報を生成することもできる。
【0111】
・手順ＳＴ１８
情報処理装置１０３が撮像デバイス１００にフィードバックする情報を生成した場合、それを撮像デバイス１００に送信し、撮像デバイス１００において撮像制御やＤＮＮ処理に用いられるようにすることができる。例えば撮像動作制御や認識処理のパラメータの変更などが行われることが想定される。
情報処理装置１０３が撮像デバイス１００にフィードバックする情報を生成した場合、それを撮像デバイス１００に送信し、撮像デバイス１００において撮像制御やＤＮＮ処理に用いられるようにすることができる。例えば撮像動作制御や認識処理のパラメータの変更などが行われることが想定される。
【0112】
以上の手順で、運用段階において情報処理装置１０３は、撮像デバイス１００からアップロードされたＲＡＷ画像データについて、光学中心の情報や個体調整値を用い、また同時にアップロードされる認識情報や撮影情報を用いて、適切に現像処理を行うことができる。
特に、手順ＳＴ１３，ＳＴ１４が行われることで、情報処理装置１０３において手順ＳＴ１５でＲＡＷ画像データを適切に現像処理できることになる。
特に、手順ＳＴ１３，ＳＴ１４が行われることで、情報処理装置１０３において手順ＳＴ１５でＲＡＷ画像データを適切に現像処理できることになる。
【0113】
<４．第１の実施の形態>
第１の実施の形態としての図５の設定段階及び運用段階の処理の流れを図６のブロック図で説明する。図６は、センサ１０１、アプリケーションプロセッサ１０２、情報処理装置１０３の機能（機能を発揮する部位）又は処理などをブロック化したものである。
第１の実施の形態としての図５の設定段階及び運用段階の処理の流れを図６のブロック図で説明する。図６は、センサ１０１、アプリケーションプロセッサ１０２、情報処理装置１０３の機能（機能を発揮する部位）又は処理などをブロック化したものである。
【0114】
センサ１０１における構成として撮像部２１、ＩＳＰ３２、ＤＳＰ３３を抽出して示している。
この場合の撮像部２１は、ＲＡＷ画像データや撮影情報を出力する機能部としての意味で示している。
ＩＳＰ３２は、撮像部２１で得られた撮像画像について現像処理を行い、認識処理のための入力画像を生成する機能部としての意味で示している。
ＤＳＰ３３は、ＩＳＰ３２からの入力画像データを対象としてＤＮＮによる物体認識処理を行う機能部としての意味で示している。
この場合の撮像部２１は、ＲＡＷ画像データや撮影情報を出力する機能部としての意味で示している。
ＩＳＰ３２は、撮像部２１で得られた撮像画像について現像処理を行い、認識処理のための入力画像を生成する機能部としての意味で示している。
ＤＳＰ３３は、ＩＳＰ３２からの入力画像データを対象としてＤＮＮによる物体認識処理を行う機能部としての意味で示している。
【0115】
アプリケーションプロセッサ１０２については、データ分離処理４１を行うことを示している。データ分離処理４１は、センサ１０１からの情報の分離、特にＲＡＷ画像データと、認識情報及び撮影情報の分離を行う処理である。
【0116】
情報処理装置１０３については、画像保存用ＤＢ４２、算出処理４３、情報保存用ＤＢ４４、歪補正パラメータ算出処理４５、現像処理４６を示している。
画像保存用ＤＢ４２はＲＡＷ画像データを保存するＤＢである。
算出処理４３は、光学中心や個体調整値を算出する処理である。
情報保存用ＤＢ４４は、撮影情報や認識情報を保存するＤＢである。
歪補正パラメータ算出処理４５は、歪補正パラメータを算出する処理である。
現像処理４６は、ＲＡＷ画像データに対して現像を行う処理である。
画像保存用ＤＢ４２はＲＡＷ画像データを保存するＤＢである。
算出処理４３は、光学中心や個体調整値を算出する処理である。
情報保存用ＤＢ４４は、撮影情報や認識情報を保存するＤＢである。
歪補正パラメータ算出処理４５は、歪補正パラメータを算出する処理である。
現像処理４６は、ＲＡＷ画像データに対して現像を行う処理である。
【0117】
この図６を用いて、図５の設定段階の処理、特に手順ＳＴ１，ＳＴ２，ＳＴ３，ＳＴ６の流れを説明する。
手順ＳＴ１の画像撮影として、格子画像などの所定の画像の撮像が撮像部２１で行われ、例えば格子画像を被写体としたＲＡＷ画像データがセンサ１０１から出力される。
このＲＡＷ画像データが、手順ＳＴ２として、アプリケーションプロセッサ１０２を介して情報処理装置１０３にアップロードされる。
なお、この手順ＳＴ１，ＳＴ２では撮像デバイス１００についてのデバイス情報も情報処理装置１０３に送信される。
手順ＳＴ１の画像撮影として、格子画像などの所定の画像の撮像が撮像部２１で行われ、例えば格子画像を被写体としたＲＡＷ画像データがセンサ１０１から出力される。
このＲＡＷ画像データが、手順ＳＴ２として、アプリケーションプロセッサ１０２を介して情報処理装置１０３にアップロードされる。
なお、この手順ＳＴ１，ＳＴ２では撮像デバイス１００についてのデバイス情報も情報処理装置１０３に送信される。
【0118】
情報処理装置においては送信されてきたＲＡＷ画像データを画像保存用ＤＢ４２に取り込んだ後、そのＲＡＷ画像データを用いて、手順ＳＴ３としての算出処理４３を行う。
すなわち算出処理４３では、光学中心や個体調整値を算出する。これらのいずれか一方のみの算出を行う場合もある。
すなわち算出処理４３では、光学中心や個体調整値を算出する。これらのいずれか一方のみの算出を行う場合もある。
【0119】
【0120】
ステップＳ２０２でＣＰＵ７１は、光学中心の仮設定を行う。
ステップＳ２０３でＣＰＵ７１は、仮設定した光学中心を用いて歪補正パラメータを作成する。
ステップＳ２０３でＣＰＵ７１は、仮設定した光学中心を用いて歪補正パラメータを作成する。
【0121】
ステップＳ２０４でＣＰＵ７１は、作成した歪補正パラメータを用いて歪補正を含む現像処理を行う。
ステップＳ２０５でＣＰＵ７１は、現像した画像について格子情報の解析を行う。例えば格子が直線になっているかであるとか、格子が垂直に交差しているかなどを解析する。これはステップＳ２０２で仮設定した光学中心を用いた場合の歪補正の具合を確認するためである。
ステップＳ２０５でＣＰＵ７１は、現像した画像について格子情報の解析を行う。例えば格子が直線になっているかであるとか、格子が垂直に交差しているかなどを解析する。これはステップＳ２０２で仮設定した光学中心を用いた場合の歪補正の具合を確認するためである。
【0122】
ステップＳ２０６でＣＰＵ７１は、解析結果としての直線性や垂直交差の度合いを数値化した値と、それらに対応して設定されている閾値を比較し、閾値条件を満たすか否かを確認する。これはステップＳ２０２で仮設定した光学中心により、正しく歪補正が行われたか否かの確認を行うことを意味する。
【0123】
閾値を満たさなければＣＰＵ７１はステップＳ２０２に戻って光学中心の仮設定を行う。すなわち、それまでとは異なる光学中心の設定を行う。そしてステップＳ２０３以降の処理を行う。
つまりＣＰＵ７１は、光学中心の仮設定を変更しながら、閾値条件を満たすまで、ステップＳ２０２からステップＳ２０５の処理を繰り返す。
閾値条件を満たした時点で、そのとき仮設定されている光学中心は、処理対象としたＲＡＷ画像データにとって適切な光学中心となる。つまり、そのＲＡＷ画像データを撮像した撮像デバイス１００についての光学中心となる。
つまりＣＰＵ７１は、光学中心の仮設定を変更しながら、閾値条件を満たすまで、ステップＳ２０２からステップＳ２０５の処理を繰り返す。
閾値条件を満たした時点で、そのとき仮設定されている光学中心は、処理対象としたＲＡＷ画像データにとって適切な光学中心となる。つまり、そのＲＡＷ画像データを撮像した撮像デバイス１００についての光学中心となる。
【0124】
算出処理４３として個体調整値を算出する場合は、例えばデバイス情報におけるＲＧＢ感度の情報などを用いて算出を行う。例えば色味調整のパラメータや、シェーディング補正のパラメータなどが個体調整値として算出できる。
【0125】
手順ＳＴ６に相当する処理として、算出された光学中心や個体調整値は、撮像デバイス１００のデバイス情報とともに情報保存用ＤＢ４４に記憶される。
例えば算出された光学中心や個体調整値は、撮像デバイス１００の識別情報と関連づけられて保存されればよい。
例えば算出された光学中心や個体調整値は、撮像デバイス１００の識別情報と関連づけられて保存されればよい。
【0126】
なお、手順ＳＴ４，ＳＴ５に相当する処理として、算出処理４３の段階でＲＡＷ画像データに基づいて撮像デバイス１００に関する設定値が算出され、センサ１０１の例えばＩＳＰ３２の処理のパラメータなどとしてフィードバックされる場合もある。
【0127】
続いて運用段階の処理の流れを説明する。
図５の手順ＳＴ１１の画像撮影としての撮像が、図６の撮像部２１で行われる。
また手順ＳＴ１２としてＲＡＷ画像データ、認識情報、撮影情報がアプリケーションプロセッサ１０２を介して情報処理装置１０３にアップロードされる。この場合の動作が以下のように行われる。
なお、以下の手順ＳＴ１１，ＳＴ１２に相当する処理は、撮像される画像のフレーム毎に行われる。
図５の手順ＳＴ１１の画像撮影としての撮像が、図６の撮像部２１で行われる。
また手順ＳＴ１２としてＲＡＷ画像データ、認識情報、撮影情報がアプリケーションプロセッサ１０２を介して情報処理装置１０３にアップロードされる。この場合の動作が以下のように行われる。
なお、以下の手順ＳＴ１１，ＳＴ１２に相当する処理は、撮像される画像のフレーム毎に行われる。
【0128】
【0129】
撮像により得られたＲＡＷ画像データはＩＳＰ３２において処理される。
例えばＩＳＰ３２では図８のように、シェーディング補正６０、混色補正６１、デジタルゲイン６２、ホワイトバランスゲイン６３、デモザイク６４、ガンマ補正６５、正規化６６、歪補正６７を行って、認識処理のための入力画像データを生成する。
またデジタルゲイン６２の処理を経た画像データについて検波６８を行い、検波結果を例えば撮像制御部２５によるフォーカス制御、アイリス制御等に用いるようにする。
例えばＩＳＰ３２では図８のように、シェーディング補正６０、混色補正６１、デジタルゲイン６２、ホワイトバランスゲイン６３、デモザイク６４、ガンマ補正６５、正規化６６、歪補正６７を行って、認識処理のための入力画像データを生成する。
またデジタルゲイン６２の処理を経た画像データについて検波６８を行い、検波結果を例えば撮像制御部２５によるフォーカス制御、アイリス制御等に用いるようにする。
【0130】
ＩＳＰ３２によって得られた認識処理のための入力画像データは、図６のようにＤＳＰ３３に送られてＤＮＮ処理対象とされる。
そしてＤＳＰ３３によってＤＮＮ処理が行われ、認識情報が生成される。
そしてＤＳＰ３３によってＤＮＮ処理が行われ、認識情報が生成される。
【0131】
以上のように、撮像部２１からＲＡＷ画像データや撮影情報が出力され、ＤＳＰ３３から認識情報が出力され、これらは例えばＭＩＰＩによりアプリケーションプロセッサ１０２に送信される。
【0132】
アプリケーションプロセッサ１０２はＲＡＷ画像データ、撮影情報、認識情報についてデータ分離処理４１を行ったうえで情報処理装置１０３に送信する。
【0133】
データ分離処理４１の処理例を図９，図１０に示す。
図９の処理例では、アプリケーションプロセッサ１０２は、ステップＳ１０１で、ＭＩＰＩで受信したデータのヘッダーのＶＣ／ＤＴを見てデータを分離する。ＶＣ／ＤＴは、ＶＣ（Virtual Channel Id)及びＤＴ（Data Type）の値によりデータ種別を示している。
図９の処理例では、アプリケーションプロセッサ１０２は、ステップＳ１０１で、ＭＩＰＩで受信したデータのヘッダーのＶＣ／ＤＴを見てデータを分離する。ＶＣ／ＤＴは、ＶＣ（Virtual Channel Id)及びＤＴ（Data Type）の値によりデータ種別を示している。
【0134】
ＶＣ／ＤＴがＲＡＷ画像データ用の値であれば、アプリケーションプロセッサ１０２はステップＳ１０２で、画像保存用ＤＢ４２に保存するデータとして情報処理装置１０３へのデータ送信を行う。すなわちこの場合は、センサ１０１から送信されてきたＲＡＷ画像データを情報処理装置１０３に送信することになる。
これに応じて情報処理装置１０３はＲＡＷ画像データを画像保存用ＤＢ４２に保存する。
これに応じて情報処理装置１０３はＲＡＷ画像データを画像保存用ＤＢ４２に保存する。
【0135】
ステップＳ１０１で判定するＶＣ／ＤＴがメタデータ用の値であれば、センサ１０１から送信されてきた情報は撮影情報又は認識情報である。
この場合、アプリケーションプロセッサ１０２はステップＳ１０３で、情報の変化の有無を確認する。例えば前回以前の直近に送信したＲＡＷ画像データのフレームにおける撮影情報、認識情報と比較して、今回の撮影情報又は認識情報の内容に変化がなければ、ステップＳ１０５に進んで、特に送信を行わずに図９の処理を終える。
この場合、アプリケーションプロセッサ１０２はステップＳ１０３で、情報の変化の有無を確認する。例えば前回以前の直近に送信したＲＡＷ画像データのフレームにおける撮影情報、認識情報と比較して、今回の撮影情報又は認識情報の内容に変化がなければ、ステップＳ１０５に進んで、特に送信を行わずに図９の処理を終える。
【0136】
一方、前回以前の直近に送信したＲＡＷ画像データのフレームにおける撮影情報、認識情報と比較して、今回の撮影情報又は認識情報の内容に変化があった場合は。アプリケーションプロセッサ１０２はステップＳ１０４に進んで、今回の撮影情報又は認識情報を、情報保存用ＤＢ４４に保存するデータとして情報処理装置１０３に送信する。
これに応じて情報処理装置１０３は撮影情報又は認識情報を情報保存用ＤＢ４４に保存する。
これに応じて情報処理装置１０３は撮影情報又は認識情報を情報保存用ＤＢ４４に保存する。
【0137】
図９の処理例によれば、アプリケーションプロセッサ１０２は、撮影情報や認識情報として変化があったフレームについて、これらを送信する。これにより、通信データ量や、情報処理装置１０３で管理するデータ量を削減できる。
【0138】
図１０はデータ分離処理４１としての他の処理例である。
アプリケーションプロセッサ１０２は、ステップＳ１０１で、ＭＩＰＩで受信したデータのヘッダーのＶＣ／ＤＴを見てデータを分離する。
ＶＣ／ＤＴがＲＡＷ画像データ用の値であれば、アプリケーションプロセッサ１０２はステップＳ１０２で、画像保存用ＤＢ４２に保存するデータとして情報処理装置１０３へＲＡＷ画像データの送信を行う。
アプリケーションプロセッサ１０２は、ステップＳ１０１で、ＭＩＰＩで受信したデータのヘッダーのＶＣ／ＤＴを見てデータを分離する。
ＶＣ／ＤＴがＲＡＷ画像データ用の値であれば、アプリケーションプロセッサ１０２はステップＳ１０２で、画像保存用ＤＢ４２に保存するデータとして情報処理装置１０３へＲＡＷ画像データの送信を行う。
【0139】
ステップＳ１０１で判定するＶＣ／ＤＴがメタデータ用の値であれば、センサ１０１から送信されてきた情報は撮影情報又は認識情報である。
この場合、アプリケーションプロセッサ１０２はステップＳ１１０で、当該情報が切り出し位置情報又は水平垂直変換情報であるか否かを判定する。
この場合、アプリケーションプロセッサ１０２はステップＳ１１０で、当該情報が切り出し位置情報又は水平垂直変換情報であるか否かを判定する。
【0140】
切り出し位置情報又は水平垂直変換情報であったら、アプリケーションプロセッサ１０２は、ステップＳ１１１で、これらの撮影情報と、認識情報とを、情報保存用ＤＢ４４に保存するデータとして情報処理装置１０３に送信する。
これに応じて情報処理装置１０３は撮影情報と認識情報を情報保存用ＤＢ４４に保存する。
これに応じて情報処理装置１０３は撮影情報と認識情報を情報保存用ＤＢ４４に保存する。
【0141】
切り出し位置情報又は水平垂直変換情報でなかった場合は、アプリケーションプロセッサ１０２は、ステップＳ１１２で、今回のフレームの認識情報を、情報保存用ＤＢ４４に保存するデータとして情報処理装置１０３に送信する。
これに応じて情報処理装置１０３は認識情報を情報保存用ＤＢ４４に保存する。
これに応じて情報処理装置１０３は認識情報を情報保存用ＤＢ４４に保存する。
【0142】
図１０の処理例によれば、アプリケーションプロセッサ１０２は、撮影情報として特に切り出し位置情報又は水平垂直変換情報がセンサ１０１から送信されてきた場合のみ、そのフレームについて撮影情報と認識情報を情報処理装置１０３に送信する。それ以外のフレームでは認識情報のみ情報処理装置１０３に送信する。これにより、フレーム毎に認識情報が情報処理装置１０３で管理されるとともに、撮影情報については、切り出し処理又は水平垂直変換処理が行われた場合のみ情報処理装置１０３で管理されるようになり、情報処理装置１０３で管理するデータ量を削減できる。
【0143】
運用段階の手順ＳＴ１１，ＳＴ１２として、撮像されるフレーム毎に、ここまでの説明のように処理が行われる。
図１１に、手順ＳＴ１１，ＳＴ１２で送信される情報を示している。
センサ１０１からアプリケーションプロセッサ１０２に対しては、ＭＩＰＩデータとしてＲＡＷ画像データ、撮影情報、認識情報が送信される。
アプリケーションプロセッサ１０２から情報処理装置１０３に対しては、ファイルデータとしてＲＡＷ画像データ、撮影情報、認識情報が送信される。これらは１つのファイルとして送信されてもよいが、分割してそれぞれのファイルとして送信してもよい。図８，図９の処理は分割して送信する例の処理である。
図１１に、手順ＳＴ１１，ＳＴ１２で送信される情報を示している。
センサ１０１からアプリケーションプロセッサ１０２に対しては、ＭＩＰＩデータとしてＲＡＷ画像データ、撮影情報、認識情報が送信される。
アプリケーションプロセッサ１０２から情報処理装置１０３に対しては、ファイルデータとしてＲＡＷ画像データ、撮影情報、認識情報が送信される。これらは１つのファイルとして送信されてもよいが、分割してそれぞれのファイルとして送信してもよい。図８，図９の処理は分割して送信する例の処理である。
【0144】
情報処理装置１０３では、上述のように撮像デバイス１００からの送信に応じて、手順ＳＴ１３として、図６の画像保存用ＤＢ４２へのＲＡＷ画像データの記憶や、情報保存用ＤＢ４４への撮影情報や認識情報の記憶を行う。
【0145】
その後、情報処理装置１０３は任意の時点で手順ＳＴ１４としての図６の歪補正パラメータ算出処理４５を行うことができる。これは情報保存用ＤＢ４４に保存された光学中心の情報を用いてＲＡＷ画像データに対する歪補正パラメータを算出する。
【0146】
また情報処理装置１０３は任意の時点で手順ＳＴ１５としての現像処理４６を行うことができる。これは、画像保存用ＤＢ４２に保存されたＲＡＷ画像データの現像処理である。なお現像処理としては図８で説明した処理内容とほぼ同様の処理が行われることが考えられる。例えばシェーディング補正６０から歪補正６７までの処理が行われる。
このような処理を図６の現像処理４６として行う際に、歪補正パラメータ算出処理４５で算出された歪補正パラメータ等を用いる。
このような処理を図６の現像処理４６として行う際に、歪補正パラメータ算出処理４５で算出された歪補正パラメータ等を用いる。
【0147】
現像処理４６の対象となるＲＡＷ画像データが画像保存用ＤＢ４２に保存されている場合、そのＲＡＷ画像データを撮像した撮像デバイス１００についてのデバイス情報に関連づけられて光学中心の情報及び個体調整値が、情報保存用ＤＢ４４に保存されている。またＲＡＷ画像データのフレーム毎に関連づけられて、撮影情報と認識情報又はその一方が情報保存用ＤＢ４４に保存されている。
【0148】
歪補正パラメータ算出処理４５では、デバイス情報におけるレンズデータ、光学中心の情報及び個体調整値、撮影情報、認識情報を用いて歪補正パラメータを算出する。
【0149】
図１２に歪補正パラメータの算出処理例を示す。
情報処理装置１０３のＣＰＵ７１はステップＳ３０１で、レンズデータと、光学中心の情報を基にして歪補正パラメータを算出する。
この算出された歪補正パラメータは、エッジ用、つまり撮像デバイス１００で用いられる歪補正パラメータとなる。例えば情報処理装置１０３は、このエッジ用の歪補正パラメータを、ＩＳＰ３２における歪補正６７で用いる歪補正パラメータとして撮像デバイス１００にフィードバックすることができる。
情報処理装置１０３のＣＰＵ７１はステップＳ３０１で、レンズデータと、光学中心の情報を基にして歪補正パラメータを算出する。
この算出された歪補正パラメータは、エッジ用、つまり撮像デバイス１００で用いられる歪補正パラメータとなる。例えば情報処理装置１０３は、このエッジ用の歪補正パラメータを、ＩＳＰ３２における歪補正６７で用いる歪補正パラメータとして撮像デバイス１００にフィードバックすることができる。
【0150】
ステップＳ３０２でＣＰＵ７１は、レンズデータと光学中心の情報に加えて、撮影情報（切り出し位置情報、水平垂直変換情報）を用いてＲＡＷ画像データ用の歪補正パラメータを作成する。これは情報処理装置１０３側でのＲＡＷ画像データに対する歪補正に用いるパラメータである。
【0151】
ステップＳ３０４でＣＰＵ７１は、認識情報、例えばＤＳＰ３３によるＤＮＮ結果を用いて、広角歪み補正を加味したＲＡＷ画像データ用の歪補正パラメータを作成する。
例えば立体物の被写体が画像の隅に或る場合に歪補正を行うと、その立体物の形状が、本来の形ではない状態に変形される。特に歪補正を精密に行うと広角歪みが出ることがある。
そこでステップＳ３０４では、被写体の認識結果に応じて処理を切り替える。
例えば立体物の被写体が画像の隅に或る場合に歪補正を行うと、その立体物の形状が、本来の形ではない状態に変形される。特に歪補正を精密に行うと広角歪みが出ることがある。
そこでステップＳ３０４では、被写体の認識結果に応じて処理を切り替える。
【0152】
このステップＳ３０４の処理例を図１３に示す。
情報処理装置１０３のＣＰＵ７１は、ステップＳ３４０で認識情報について判定処理を行う。例えば認識された物体の種別（クラス）や、物体の画像内での位置などを判定する。
情報処理装置１０３のＣＰＵ７１は、ステップＳ３４０で認識情報について判定処理を行う。例えば認識された物体の種別（クラス）や、物体の画像内での位置などを判定する。
【0153】
ステップＳ３４１でＣＰＵ７１は、画像における像高の高い位置に立体物としての被写体が存在するか否かを判定する。
存在する場合は、ＣＰＵ７１はステップＳ３４３に進み、広角歪みを発生させないために水平方向のみの補正を行う歪補正パラメータを生成する。
像高の高い位置に立体物としての被写体が存在しない場合は、水平・垂直の両方に対して歪補正を行う歪補正パラメータを生成する。
存在する場合は、ＣＰＵ７１はステップＳ３４３に進み、広角歪みを発生させないために水平方向のみの補正を行う歪補正パラメータを生成する。
像高の高い位置に立体物としての被写体が存在しない場合は、水平・垂直の両方に対して歪補正を行う歪補正パラメータを生成する。
【0154】
このように認識情報に応じて処理を切り替えることで、広角歪みが発生しない歪補正を行うことができるようにする。
【0155】
情報処理装置１０３は、図６の歪補正パラメータ算出処理４５として、以上のような処理で歪補正パラメータを生成したら、その歪補正パラメータを用いて現像処理４６を行うことができる。これにより、情報処理装置１０３側でも、ＲＡＷ画像データに対して適切な歪補正ができるようになる。
【0156】
さらに現像処理４６では、情報保存用ＤＢ４４から読み出した個体調整値の情報を用いて、シェーディング補正や色調整等の処理を行うことができる。つまり、処理対象のＲＡＷ画像データの撮像元である撮像デバイス１００の個体に合わせた現像処理を行うことができる。
なお、歪補正パラメータ算出処理４５では、歪補正パラメータの算出に加えて、例えば個体調整値を用いて現像処理で用いるパラメータを算出してもよい。例えば情報保存用ＤＢ４４から読み出した個体調整値が現像処理に用いるパラメータそのものであるときは、加えてパラメータ算出を行う必要は無いが、個体調整値に基づいて現像処理に用いるパラメータを算出するものとしてもよい。
なお、歪補正パラメータ算出処理４５では、歪補正パラメータの算出に加えて、例えば個体調整値を用いて現像処理で用いるパラメータを算出してもよい。例えば情報保存用ＤＢ４４から読み出した個体調整値が現像処理に用いるパラメータそのものであるときは、加えてパラメータ算出を行う必要は無いが、個体調整値に基づいて現像処理に用いるパラメータを算出するものとしてもよい。
【0157】
現像処理４６により，現像後の画像データ、例えばＪＰＥＧ画像データやビットマップ画像データなどが得られる。
このような画像データに対して、必要に応じて、また提供するサービス内容に応じて、情報処理装置１０３が図５に示した手順ＳＴ１６，ＳＴ１７，ＳＴ１８の処理を行う場合がある。
また、手順ＳＴ１８に関しては、歪補正パラメータ算出処理で算出した歪補正パラメータを、情報保存用ＤＢ４４に記憶し、何らかの時点でセンサ１０１にフィードバックしてＩＳＰ３２における歪補正処理に適用できるようにしてもよい。
このような画像データに対して、必要に応じて、また提供するサービス内容に応じて、情報処理装置１０３が図５に示した手順ＳＴ１６，ＳＴ１７，ＳＴ１８の処理を行う場合がある。
また、手順ＳＴ１８に関しては、歪補正パラメータ算出処理で算出した歪補正パラメータを、情報保存用ＤＢ４４に記憶し、何らかの時点でセンサ１０１にフィードバックしてＩＳＰ３２における歪補正処理に適用できるようにしてもよい。
【0158】
<５．第２の実施の形態>
第２の実施の形態の処理の流れを図１４に示す。図１４は図６と同様の形式で処理の流れを示している。
図６では画像保存用ＤＢ４２と情報保存用ＤＢ４４を分けてデータ保存を行ったが、図１４は、情報処理装置１０３における手順ＳＴ６や手順ＳＴ１３においてＤＢ４７にまとめてデータ保存を行う例である。
第２の実施の形態の処理の流れを図１４に示す。図１４は図６と同様の形式で処理の流れを示している。
図６では画像保存用ＤＢ４２と情報保存用ＤＢ４４を分けてデータ保存を行ったが、図１４は、情報処理装置１０３における手順ＳＴ６や手順ＳＴ１３においてＤＢ４７にまとめてデータ保存を行う例である。
【0159】
すなわち、ＤＢ４７において、撮像デバイス１００のデバイス情報に関連づけて、その光学中心の情報や個体調整値が記憶される。
またＲＡＷ画像データが記憶されるとともに、ＲＡＷ画像データのフレーム毎に、撮影情報、認識情報が記憶される。
またＲＡＷ画像データが記憶されるとともに、ＲＡＷ画像データのフレーム毎に、撮影情報、認識情報が記憶される。
【0160】
設定段階では、算出処理４３として撮像デバイス１００によって撮像された格子画像などの画像データから図７のように光学中心が算出される。そして撮像デバイス１００のデバイス情報に関連づけて、その光学中心の情報や個体調整値が記憶される。
【0161】
運用段階では、ＤＢ４７から読み出されるＲＡＷ画像データのフレーム毎に、図１２のように、レンズデータ、光学中心、撮影情報、認識情報を用いて歪補正パラメータ算出処理４５が行われる。そして算出された歪補正パラメータや、ＤＢ４７から読み出された個体調整値を用いた現像処理４６が行われる。
【0162】
<６．まとめ及び変形例>
実施の形態で説明した技術によれば、以下のような効果が得られる。
実施の形態の情報処理装置１０３は、ＲＡＷ画像データの撮像を行う撮像デバイス１００の個体情報として例えば光学中心の情報や個体調整値等、ＲＡＷ画像データの画像処理パラメータの設定に用いる情報を取得し、これらの個体情報を撮像デバイス１００に関連づけて記憶する第１処理を行う。つまり図５の手順ＳＴ６の処理である。
外部の撮像デバイス１００からＲＡＷ画像データを受信する情報処理装置１０３を想定した場合に、撮像デバイス１００の個体情報を、撮像デバイス１００に関連づけて管理する。
これにより、ＲＡＷ画像データのフレーム毎に幾何変形パラメータ等を記憶・管理する必要をなくし、データサイズの拡大を抑えることができる。
実施の形態で説明した技術によれば、以下のような効果が得られる。
実施の形態の情報処理装置１０３は、ＲＡＷ画像データの撮像を行う撮像デバイス１００の個体情報として例えば光学中心の情報や個体調整値等、ＲＡＷ画像データの画像処理パラメータの設定に用いる情報を取得し、これらの個体情報を撮像デバイス１００に関連づけて記憶する第１処理を行う。つまり図５の手順ＳＴ６の処理である。
外部の撮像デバイス１００からＲＡＷ画像データを受信する情報処理装置１０３を想定した場合に、撮像デバイス１００の個体情報を、撮像デバイス１００に関連づけて管理する。
これにより、ＲＡＷ画像データのフレーム毎に幾何変形パラメータ等を記憶・管理する必要をなくし、データサイズの拡大を抑えることができる。
【0163】
実施の形態では、個体情報は撮像デバイス１００の光学中心の情報である例を挙げた。
これにより撮像デバイス１００の個体に応じたレンズ歪補正パラメータを算出できる。ＲＡＷ画像データのフレーム毎ではなく、撮像デバイス１００の個体に関連づけて光学中心の情報を管理することで、現像処理に用いるために記憶しておく情報の情報量を削減できる。即ちフレーム毎に幾何変形パラメータを記憶しておく必要は無い。
これにより撮像デバイス１００の個体に応じたレンズ歪補正パラメータを算出できる。ＲＡＷ画像データのフレーム毎ではなく、撮像デバイス１００の個体に関連づけて光学中心の情報を管理することで、現像処理に用いるために記憶しておく情報の情報量を削減できる。即ちフレーム毎に幾何変形パラメータを記憶しておく必要は無い。
【0164】
実施の形態では、撮像デバイス１００の光学中心の情報を、撮像デバイス１００から受信した画像データを用いて算出して取得する例を挙げた（図７参照）。
設定段階における撮像デバイス１００により撮像された画像、例えば格子画像の画像データを用いて、その撮像デバイス１００の光学中心の情報を算出して取得することができる。
設定段階における撮像デバイス１００により撮像された画像、例えば格子画像の画像データを用いて、その撮像デバイス１００の光学中心の情報を算出して取得することができる。
【0165】
実施の形態では、個体情報は撮像デバイス１００の個体調整値の情報である例を挙げた。
これにより情報処理装置１０３側で撮像デバイス１００の個体に応じた画像処理を行うためのパラメータを設定できる。
例えば撮像デバイス１００の個体に応じた画像処理としての色味補正やシェーディング補正などに関するパラメータを算出できる。従ってクラウド側で撮像デバイス１００に応じた画像処理を行うことができる。またエッジ側にパラメータをフィードバックすることも可能である。
個体調整値としては色味調整のパラメータや、シェーディング補正のパラメータを例示したが、これら以外の情報も考えられる。例えばホワイトバランスゲイン、ガンマカーブなどのパラメータも考えられる。
これにより情報処理装置１０３側で撮像デバイス１００の個体に応じた画像処理を行うためのパラメータを設定できる。
例えば撮像デバイス１００の個体に応じた画像処理としての色味補正やシェーディング補正などに関するパラメータを算出できる。従ってクラウド側で撮像デバイス１００に応じた画像処理を行うことができる。またエッジ側にパラメータをフィードバックすることも可能である。
個体調整値としては色味調整のパラメータや、シェーディング補正のパラメータを例示したが、これら以外の情報も考えられる。例えばホワイトバランスゲイン、ガンマカーブなどのパラメータも考えられる。
【0166】
実施の形態では、ＲＡＷ画像データのフレーム毎の撮影情報を保存する第２処理を行う例を挙げた。つまり図５の手順ＳＴ１３における撮影情報の保存の処理である。
これによりフレーム毎の撮影時の処理に関する情報を管理でき、その後の処理に利用できるようになる。例えば歪補正パラメータの算出や色調整処理、シェーディング補正処理、輝度調整処理、などの各種画像処理に、撮影時の処理の情報を利用できる。
これによりフレーム毎の撮影時の処理に関する情報を管理でき、その後の処理に利用できるようになる。例えば歪補正パラメータの算出や色調整処理、シェーディング補正処理、輝度調整処理、などの各種画像処理に、撮影時の処理の情報を利用できる。
【0167】
実施の形態では、撮影情報は、ＲＡＷ画像データの切り出し位置情報である例を挙げた。
撮像デバイス１００側からのＲＡＷ画像データに関して切り出し位置情報がフレーム毎に管理されることで、フレーム毎に適切な補正パラメータを算出できる。
例えば安価な撮像デバイス１００などの事情で光学中心と画像中心がずれている場合において、撮像された画像データの切り出し位置を加味した計算を行うことで精度の高い歪補正パラメータを算出できる。また撮像デバイス１００においてブレ補正機能などでフレーム毎に切り出し位置を調整するような場合も、光軸中心と画像中心がフレーム毎にずれるため、各フレームの切り出し位置情報が管理されることで、高精度な歪補正パラメータを算出できるようになる。
撮像デバイス１００側からのＲＡＷ画像データに関して切り出し位置情報がフレーム毎に管理されることで、フレーム毎に適切な補正パラメータを算出できる。
例えば安価な撮像デバイス１００などの事情で光学中心と画像中心がずれている場合において、撮像された画像データの切り出し位置を加味した計算を行うことで精度の高い歪補正パラメータを算出できる。また撮像デバイス１００においてブレ補正機能などでフレーム毎に切り出し位置を調整するような場合も、光軸中心と画像中心がフレーム毎にずれるため、各フレームの切り出し位置情報が管理されることで、高精度な歪補正パラメータを算出できるようになる。
【0168】
実施の形態では、撮影情報は、ＲＡＷ画像データの水平垂直回転情報である例を挙げた。
撮像デバイス１００側で撮像されたＲＡＷ画像データについての水平－垂直の回転処理の情報がフレーム毎に管理されることで、フレーム毎に、その水平垂直回転処理を反映した適切な補正パラメータを算出できる。
撮像デバイス１００側で撮像されたＲＡＷ画像データについての水平－垂直の回転処理の情報がフレーム毎に管理されることで、フレーム毎に、その水平垂直回転処理を反映した適切な補正パラメータを算出できる。
【0169】
実施の形態では、ＲＡＷ画像データのフレーム毎の画像の認識情報を保存する第３処理を行う例を挙げた。つまり図５の手順ＳＴ１３における認識情報の保存の処理である。
これによりフレーム毎の撮像画像の認識情報、例えば被写体の種別、シーン種別、構図などに関する情報を管理でき、その後の処理に利用できるようになる。例えば歪補正パラメータの算出や色調整処理、シェーディング補正処理、輝度調整処理、などの各種画像処理に認識情報を利用できる。
これによりフレーム毎の撮像画像の認識情報、例えば被写体の種別、シーン種別、構図などに関する情報を管理でき、その後の処理に利用できるようになる。例えば歪補正パラメータの算出や色調整処理、シェーディング補正処理、輝度調整処理、などの各種画像処理に認識情報を利用できる。
【0170】
実施の形態では、認識情報は画像の被写体についての物体認識の結果を示す情報である例を挙げた。
撮像デバイス１００側で撮像されたＲＡＷ画像の被写体の物体認識結果、例えばＤＮＮ処理の結果がフレーム毎に管理されることで、フレーム毎に、その認識結果に応じた適切な歪補正パラメータを算出できる。例えば図１２，図１３で述べたように立体物に応じて歪補正パラメータの算出方式を切り替えることで、広角ひずみが生じないような歪補正パラメータを算出できるようになる。
撮像デバイス１００側で撮像されたＲＡＷ画像の被写体の物体認識結果、例えばＤＮＮ処理の結果がフレーム毎に管理されることで、フレーム毎に、その認識結果に応じた適切な歪補正パラメータを算出できる。例えば図１２，図１３で述べたように立体物に応じて歪補正パラメータの算出方式を切り替えることで、広角ひずみが生じないような歪補正パラメータを算出できるようになる。
【0171】
実施の形態では、個体情報を用いて歪補正パラメータを算出する第４処理を行う例を挙げた。つまり図５の手順ＳＴ１４の処理である。
図１２で説明したように、個体情報としての光学中心の情報を用いて歪補正パラメータ（エッジ用、ＲＡＷ用）を算出する。これによりＲＡＷ画像について、その撮影元である撮像デバイス１００に応じた歪補正パラメータを算出できる。
図１２で説明したように、個体情報としての光学中心の情報を用いて歪補正パラメータ（エッジ用、ＲＡＷ用）を算出する。これによりＲＡＷ画像について、その撮影元である撮像デバイス１００に応じた歪補正パラメータを算出できる。
【0172】
実施の形態では、個体情報及び撮影情報を用いて歪補正パラメータを算出する例を挙げた。
図１２のステップＳ３０２で撮影情報を反映した歪補正パラメータ（ＲＡＷ用）を算出している。これによりクラウド側で、フレーム毎の撮影情報を反映させた歪補正ができるようになる。
図１２のステップＳ３０２で撮影情報を反映した歪補正パラメータ（ＲＡＷ用）を算出している。これによりクラウド側で、フレーム毎の撮影情報を反映させた歪補正ができるようになる。
【0173】
実施の形態では、個体情報及び認識情報を用いて歪補正パラメータ算出する例を挙げた。
図１２のステップＳ３０４で認識情報を反映した歪補正パラメータ（ＲＡＷ用）を算出している。これによりクラウド側で、フレーム毎の画像の認識情報を反映させた歪補正ができるようになる。例えば像高の高い箇所に立体物の存在によって広角歪みが生じないような歪補正パラメータを算出することができる。
図１２のステップＳ３０４で認識情報を反映した歪補正パラメータ（ＲＡＷ用）を算出している。これによりクラウド側で、フレーム毎の画像の認識情報を反映させた歪補正ができるようになる。例えば像高の高い箇所に立体物の存在によって広角歪みが生じないような歪補正パラメータを算出することができる。
【0174】
実施の形態では、第４処理で算出した歪補正パラメータを用いてＲＡＷ画像データを現像する第５処理を行う例を挙げた。つまり図５の手順ＳＴ１５の処理である。
即ちクラウド側の情報処理装置１０３において、図６や図１４における現像処理４６を行う。これによりエッジ側で撮像したＲＡＷ画像について、クラウド側で視認可能な画像データ、例えばＪＰＥＧ画像データやビットマップ画像データなどを生成し、ユーザに提供することができる。
即ちクラウド側の情報処理装置１０３において、図６や図１４における現像処理４６を行う。これによりエッジ側で撮像したＲＡＷ画像について、クラウド側で視認可能な画像データ、例えばＪＰＥＧ画像データやビットマップ画像データなどを生成し、ユーザに提供することができる。
【0175】
なお図６や図１４で説明したクラウド側の処理は、１つの情報処理装置１０３で行われてもよいし、複数の情報処理装置１０３によって分散されて実行されてもよい。
第１処理（手順ＳＴ６）、第２処理（手順ＳＴ１３の撮影情報の保存）、第３処理（手順ＳＴ１３の認識情報の保存）、第４処理（手順ＳＴ１４）、第５処理（手順ＳＴ１５）は、それぞれが、もしくは一部が、別体の情報処理装置１０３によって実行されてもよい。
運用段階の第２処理から第５処理は、時系列的に連続して行われるものでもよいし、連続的に行われなくてもよい。
第１処理（手順ＳＴ６）、第２処理（手順ＳＴ１３の撮影情報の保存）、第３処理（手順ＳＴ１３の認識情報の保存）、第４処理（手順ＳＴ１４）、第５処理（手順ＳＴ１５）は、それぞれが、もしくは一部が、別体の情報処理装置１０３によって実行されてもよい。
運用段階の第２処理から第５処理は、時系列的に連続して行われるものでもよいし、連続的に行われなくてもよい。
【0176】
本開示の技術は、クラウドコンピューティングに限らず、撮像装置（カメラ）と別体の情報処理装置でＲＡＷ画像を扱う場合に広く適用できる。
例えばデジタルカメラと有線又は無線でデータ通信可能に接続される情報処理装置、画像処理装置、画像編集装置などにおいて、上述の実施の形態で説明したクラウド側の情報処理装置１０３と同様の処理を行うことができる。この場合も、ＲＡＷ画像データに対して適切に歪補正や画像処理を行うことができるとともに、幾何変形パラメータ等をフレーム毎に記憶しなくてもよく、データ量の削減効果を得ることができる。
例えばデジタルカメラと有線又は無線でデータ通信可能に接続される情報処理装置、画像処理装置、画像編集装置などにおいて、上述の実施の形態で説明したクラウド側の情報処理装置１０３と同様の処理を行うことができる。この場合も、ＲＡＷ画像データに対して適切に歪補正や画像処理を行うことができるとともに、幾何変形パラメータ等をフレーム毎に記憶しなくてもよく、データ量の削減効果を得ることができる。
【0177】
実施の形態のプログラムは、上述の図５，図６，図１４で説明した情報処理方法を実現する処理を例えばＣＰＵ、ＤＳＰ、ＧＰＵ、ＧＰＧＰＵ、ＡＩプロセッサ等、或いはこれらを含むデバイスに実行させるプログラムである。
即ち実施の形態のプログラムは、ＲＡＷ画像データの撮像を行う撮像デバイス１００について、ＲＡＷ画像データの画像処理パラメータの設定に用いる個体情報を取得し、個体情報を撮像デバイス１００に関連づけて記憶する処理を情報処理装置１０３に実行させるプログラムである。
このようなプログラムにより本開示でいう情報処理装置１０３を各種のコンピュータ装置により実現できる。
即ち実施の形態のプログラムは、ＲＡＷ画像データの撮像を行う撮像デバイス１００について、ＲＡＷ画像データの画像処理パラメータの設定に用いる個体情報を取得し、個体情報を撮像デバイス１００に関連づけて記憶する処理を情報処理装置１０３に実行させるプログラムである。
このようなプログラムにより本開示でいう情報処理装置１０３を各種のコンピュータ装置により実現できる。
【0178】
これらのプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
あるいはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
【0179】
またこのようなプログラムによれば、本開示の情報処理装置の広範な提供に適している。例えばスマートフォンやタブレット等の携帯端末装置、携帯電話機、パーソナルコンピュータ、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、これらの機器を本開示の情報処理装置として機能させることができる。
【0180】
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
【0181】
なお本技術は以下のような構成も採ることができる。
（１）
情報処理装置が、
ＲＡＷ画像データの撮像を行う撮像デバイスについて、ＲＡＷ画像データの画像処理パラメータの設定に用いる個体情報を取得し、前記個体情報を前記撮像デバイスに関連づけて記憶する第１処理を行う
情報処理方法。
（２）
前記個体情報は、前記撮像デバイスの光学中心の情報である
上記（１）に記載の情報処理方法。
（３）
撮像デバイスの光学中心の情報を、撮像デバイスから受信した画像データを用いて算出して取得する
上記（２）に記載の情報処理方法。
（４）
前記個体情報は、前記撮像デバイスの画像処理に調整値の情報である
上記（１）から（３）のいずれかに記載の情報処理方法。
（５）
ＲＡＷ画像データのフレーム毎の撮影情報を保存する第２処理を、さらに行う
上記（１）から（４）のいずれかに記載の情報処理方法。
（６）
前記撮影情報は、ＲＡＷ画像データの切り出し位置情報である
上記（５）に記載の情報処理方法。
（７）
前記撮影情報は、ＲＡＷ画像データの水平垂直回転情報である
上記（５）又は（６）に記載の情報処理方法。
（８）
ＲＡＷ画像データのフレーム毎の画像の認識情報を保存する第３処理を、さらに行う
上記（１）から（７）のいずれかに記載の情報処理方法。
（９）
前記認識情報は画像の被写体についての物体認識の結果を示す情報である
上記（８）に記載の情報処理方法。
（１０）
前記個体情報を用いて歪補正パラメータ算出する第４処理を、さらに行う
上記（１）から（９）のいずれかに記載の情報処理方法。
（１１）
前記個体情報及び前記撮影情報を用いて歪補正パラメータ算出する第４処理を、さらに行う
上記（５）から（７）のいずれかに記載の情報処理方法。
（１２）
前記個体情報及び前記認識情報を用いて歪補正パラメータ算出する第４処理を、さらに行う
上記（８）又は（９）に記載の情報処理方法。
（１３）
前記第４処理で算出した歪補正パラメータを用いてＲＡＷ画像データを現像する第５処理を、さらに行う
上記（１０）から（１２）のいずれかに記載の情報処理方法。
（１４）
ＲＡＷ画像データの撮像を行う撮像デバイスについて、ＲＡＷ画像データの画像処理パラメータの設定に用いる個体情報を取得し、前記個体情報を前記撮像デバイスに関連づけて記憶する処理部を備えた
情報処理装置。
（１５）
ＲＡＷ画像データの撮像を行う撮像デバイスについて、ＲＡＷ画像データの画像処理パラメータの設定に用いる個体情報を取得し、前記個体情報を前記撮像デバイスに関連づけて記憶する処理を
情報処理装置に実行させるプログラム。
（１）
情報処理装置が、
ＲＡＷ画像データの撮像を行う撮像デバイスについて、ＲＡＷ画像データの画像処理パラメータの設定に用いる個体情報を取得し、前記個体情報を前記撮像デバイスに関連づけて記憶する第１処理を行う
情報処理方法。
（２）
前記個体情報は、前記撮像デバイスの光学中心の情報である
上記（１）に記載の情報処理方法。
（３）
撮像デバイスの光学中心の情報を、撮像デバイスから受信した画像データを用いて算出して取得する
上記（２）に記載の情報処理方法。
（４）
前記個体情報は、前記撮像デバイスの画像処理に調整値の情報である
上記（１）から（３）のいずれかに記載の情報処理方法。
（５）
ＲＡＷ画像データのフレーム毎の撮影情報を保存する第２処理を、さらに行う
上記（１）から（４）のいずれかに記載の情報処理方法。
（６）
前記撮影情報は、ＲＡＷ画像データの切り出し位置情報である
上記（５）に記載の情報処理方法。
（７）
前記撮影情報は、ＲＡＷ画像データの水平垂直回転情報である
上記（５）又は（６）に記載の情報処理方法。
（８）
ＲＡＷ画像データのフレーム毎の画像の認識情報を保存する第３処理を、さらに行う
上記（１）から（７）のいずれかに記載の情報処理方法。
（９）
前記認識情報は画像の被写体についての物体認識の結果を示す情報である
上記（８）に記載の情報処理方法。
（１０）
前記個体情報を用いて歪補正パラメータ算出する第４処理を、さらに行う
上記（１）から（９）のいずれかに記載の情報処理方法。
（１１）
前記個体情報及び前記撮影情報を用いて歪補正パラメータ算出する第４処理を、さらに行う
上記（５）から（７）のいずれかに記載の情報処理方法。
（１２）
前記個体情報及び前記認識情報を用いて歪補正パラメータ算出する第４処理を、さらに行う
上記（８）又は（９）に記載の情報処理方法。
（１３）
前記第４処理で算出した歪補正パラメータを用いてＲＡＷ画像データを現像する第５処理を、さらに行う
上記（１０）から（１２）のいずれかに記載の情報処理方法。
（１４）
ＲＡＷ画像データの撮像を行う撮像デバイスについて、ＲＡＷ画像データの画像処理パラメータの設定に用いる個体情報を取得し、前記個体情報を前記撮像デバイスに関連づけて記憶する処理部を備えた
情報処理装置。
（１５）
ＲＡＷ画像データの撮像を行う撮像デバイスについて、ＲＡＷ画像データの画像処理パラメータの設定に用いる個体情報を取得し、前記個体情報を前記撮像デバイスに関連づけて記憶する処理を
情報処理装置に実行させるプログラム。
【符号の説明】
【0182】
２０ 撮像ブロック
２１ 撮像部
２２ 撮像処理部
２３ 出力制御部
２５ 撮像制御部
３０ 信号処理ブロック
３１ ＣＰＵ
３２ ＩＳＰ
３３ ＤＳＰ
３７ メモリ
４１ データ分離処理
４２ 画像保存用ＤＢ
４３ 算出処理
４４ 情報保存用ＤＢ
４５ 歪補正パラメータ算出処理
４６ 現像処理
４７ ＤＢ
７１ ＣＰＵ
１００ 撮像デバイス
１０１ センサ
１０２ アプリケーションプロセッサ
１０３ 情報処理装置
１０４ ネットワーク
１０５ 光学系
２１ 撮像部
２２ 撮像処理部
２３ 出力制御部
２５ 撮像制御部
３０ 信号処理ブロック
３１ ＣＰＵ
３２ ＩＳＰ
３３ ＤＳＰ
３７ メモリ
４１ データ分離処理
４２ 画像保存用ＤＢ
４３ 算出処理
４４ 情報保存用ＤＢ
４５ 歪補正パラメータ算出処理
４６ 現像処理
４７ ＤＢ
７１ ＣＰＵ
１００ 撮像デバイス
１０１ センサ
１０２ アプリケーションプロセッサ
１０３ 情報処理装置
１０４ ネットワーク
１０５ 光学系
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】