(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022191694
(43)【公開日】2022-12-28
(54)【発明の名称】カメラシステム
(51)【国際特許分類】
G06T 7/00 20170101AFI20221221BHJP
G06N 20/00 20190101ALI20221221BHJP
H04N 5/225 20060101ALI20221221BHJP
H04N 5/232 20060101ALI20221221BHJP
【ＦＩ】
G06T7/00 350B
G06N20/00
H04N5/225 800
H04N5/232 290
H04N5/225 600
H04N5/225 300
H04N5/225 400
【審査請求】未請求
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2021100075
(22)【出願日】2021-06-16
(71)【出願人】
【識別番号】316005926
【氏名又は名称】ソニーセミコンダクタソリューションズ株式会社
(74)【代理人】
【識別番号】100116942
【弁理士】
【氏名又は名称】岩田 雅信
(74)【代理人】
【識別番号】100167704
【弁理士】
【氏名又は名称】中川 裕人
(72)【発明者】
【氏名】中溝 正彦
【テーマコード（参考）】
5C122
5L096
【Ｆターム（参考）】
5C122DA30
5C122EA55
5C122FA06
5C122FA18
5C122FB03
5C122FB11
5C122FB13
5C122FB16
5C122FB17
5C122FC05
5C122FC06
5C122GG03
5C122GG21
5C122HA46
5C122HA82
5C122HB01
5L096AA02
5L096BA08
5L096CA02
5L096DA01
5L096KA03
5L096KA04
(57)【要約】
【課題】機械学習に用いられる学習データとして適切な複数種類の撮像画像データを取得可能なカメラシステムを提供することを目的とする。
【解決手段】 カメラシステムは、撮像のための光学素子を含む撮像光学系と、前記撮像光学系を介して入射された光を分光するミラーと、前記ミラーを介して入射される入射光を受光し光電変換を行うことにより機械学習の学習データとして用いられる第１撮像画像データを出力する第１撮像素子と、前記ミラーを介して入射される入射光を受光し光電変換を行うことにより前記学習データとして用いられる第２撮像画像データを出力する第２撮像素子と、を備えるものとした。
【選択図】図１
【解決手段】 カメラシステムは、撮像のための光学素子を含む撮像光学系と、前記撮像光学系を介して入射された光を分光するミラーと、前記ミラーを介して入射される入射光を受光し光電変換を行うことにより機械学習の学習データとして用いられる第１撮像画像データを出力する第１撮像素子と、前記ミラーを介して入射される入射光を受光し光電変換を行うことにより前記学習データとして用いられる第２撮像画像データを出力する第２撮像素子と、を備えるものとした。
【選択図】図１
【特許請求の範囲】
【請求項1】
撮像のための光学素子を含む撮像光学系と、
前記撮像光学系を介して入射された光を分光するミラーと、
前記ミラーを介して入射される入射光を受光し光電変換を行うことにより機械学習の学習データとして用いられる第１撮像画像データを出力する第１撮像素子と、
前記ミラーを介して入射される入射光を受光し光電変換を行うことにより前記学習データとして用いられる第２撮像画像データを出力する第２撮像素子と、を備えた
カメラシステム。
前記撮像光学系を介して入射された光を分光するミラーと、
前記ミラーを介して入射される入射光を受光し光電変換を行うことにより機械学習の学習データとして用いられる第１撮像画像データを出力する第１撮像素子と、
前記ミラーを介して入射される入射光を受光し光電変換を行うことにより前記学習データとして用いられる第２撮像画像データを出力する第２撮像素子と、を備えた
カメラシステム。
【請求項2】
前記分光は時分割分光とされた
請求項１に記載のカメラシステム。
請求項１に記載のカメラシステム。
【請求項3】
前記ミラーにおける反射光が前記第１撮像素子に導かれる第１位置と前記反射光が前記第２撮像素子に導かれる第２位置との間で前記ミラーを可動させるミラー可動部を備えた
請求項２に記載のカメラシステム。
請求項２に記載のカメラシステム。
【請求項4】
前記ミラーはハーフミラーとされ、
前記分光は前記ハーフミラーによる同時分光とされ、
前記ハーフミラーにおける反射光が前記第１撮像素子及び前記第２撮像素子における一方の撮像素子に入射され、前記ハーフミラーにおける透過光が他方の撮像素子に入射される
請求項１に記載のカメラシステム。
前記分光は前記ハーフミラーによる同時分光とされ、
前記ハーフミラーにおける反射光が前記第１撮像素子及び前記第２撮像素子における一方の撮像素子に入射され、前記ハーフミラーにおける透過光が他方の撮像素子に入射される
請求項１に記載のカメラシステム。
【請求項5】
前記第１撮像画像データはカラー画像データとされた
請求項１に記載のカメラシステム。
請求項１に記載のカメラシステム。
【請求項6】
前記第２撮像画像データは距離画像データとされた
請求項５に記載のカメラシステム。
請求項５に記載のカメラシステム。
【請求項7】
前記第２撮像素子の撮像動作に同期させて発光制御される発光部を備えた
請求項６に記載のカメラシステム。
請求項６に記載のカメラシステム。
【請求項8】
前記第２撮像画像データは、偏光画像データとされた
請求項５に記載のカメラシステム。
請求項５に記載のカメラシステム。
【請求項9】
前記第１撮像素子が備える光学フィルタと前記第２撮像素子が備える光学フィルタは光学特性が異なるものとされた
請求項１に記載のカメラシステム。
請求項１に記載のカメラシステム。
【請求項10】
前記第１撮像素子は原色系カラーフィルタを備え、
前記第２撮像素子は補色系カラーフィルタを備えた
請求項９に記載のカメラシステム。
前記第２撮像素子は補色系カラーフィルタを備えた
請求項９に記載のカメラシステム。
【請求項11】
前記第２撮像画像データはモノクロ画像データとされた
請求項５に記載のカメラシステム。
請求項５に記載のカメラシステム。
【請求項12】
前記第１撮像素子は位相差画素を含まない画素構成とされ、
前記第２撮像素子は位相差画素を含んだ画素構成とされた
請求項１に記載のカメラシステム。
前記第２撮像素子は位相差画素を含んだ画素構成とされた
請求項１に記載のカメラシステム。
【請求項13】
前記第１撮像素子は、異なるカラーフィルタを有する画素が所定パターンで配列され、
前記第２撮像素子は、互いに波長の異なる光を吸収する複数の光吸収層を有する画素が配列された
請求項１に記載のカメラシステム。
前記第２撮像素子は、互いに波長の異なる光を吸収する複数の光吸収層を有する画素が配列された
請求項１に記載のカメラシステム。
【請求項14】
前記第２撮像素子は前記第１撮像素子よりも光学的クロストークの発生頻度及び受光感度が共に高くされた
請求項１に記載のカメラシステム。
請求項１に記載のカメラシステム。
【請求項15】
前記第１撮像画像データの画素数と前記第２撮像画像データの画素数は同一とされた
請求項１に記載のカメラシステム。
請求項１に記載のカメラシステム。
【請求項16】
前記第１撮像画像データの画素数は前記第２撮像画像データの画素数よりも多くされた
請求項１に記載のカメラシステム。
請求項１に記載のカメラシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、複数の撮像素子を備えたカメラシステムの技術分野に関する。
【背景技術】
【0002】
機械学習においては学習モデルの性能向上のために多くの学習データを必要とする。学習データの用意には工数が掛かることもあり、大量に用意することは難しかった。
下記特許文献１においては、画像データから学習データを切り出す際の精度向上を図る技術が開示されている。
下記特許文献１においては、画像データから学習データを切り出す際の精度向上を図る技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２０－０４６８５８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、撮像画像データから得られる情報に基づいて撮像画像データには含まれていない情報を推定する場合に、複数種類の撮像画像データを学習データとして用意して機械学習を行う技術が知られている。例えば、二次元のカラー画像データに基づいて被写体についての奥行き情報（距離情報）を推定する場合を例に挙げる。このとき、機械学習に用いる最適な学習データは、画角や距離など各種の条件を一致させた上で撮像されたカラー画像データと距離画像データである。
【0005】
しかし、各種の条件を一致させた上で異なる種類の撮像画像データを得ることは困難である。従って、大抵は似たような撮影環境で得られた複数種類の撮像画像データ、即ち、カラー画像データと距離画像データを学習データとして用いることにより学習モデルを構築して推論に用いるのが一般的である。
また、実際に撮像された一種類の撮像画像データに基づいて他の種類の撮像画像データを人工的に作成することにより、或いは、全ての撮像画像データを人工的に作成することにより学習データを用意して学習モデルを構築する手法もある。
また、実際に撮像された一種類の撮像画像データに基づいて他の種類の撮像画像データを人工的に作成することにより、或いは、全ての撮像画像データを人工的に作成することにより学習データを用意して学習モデルを構築する手法もある。
【0006】
このような手法を用いた場合には、学習モデルの性能が必ずしも高いとは言えない場合があった。
【0007】
本技術はこのような問題に鑑みて為されたものであり、機械学習に用いられる学習データとして適切な複数種類の撮像画像データを取得可能なカメラシステムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本技術に係るカメラシステムは、撮像のための光学素子を含む撮像光学系と、前記撮像光学系を介して入射された光を分光するミラーと、前記ミラーを介して入射される入射光を受光し光電変換を行うことにより機械学習の学習データとして用いられる第１撮像画像データを出力する第１撮像素子と、前記ミラーを介して入射される入射光を受光し光電変換を行うことにより前記学習データとして用いられる第２撮像画像データを出力する第２撮像素子と、を備えたものである。
これにより、第１撮像素子と第２撮像素子に入射される光は、同一の撮像光学系を通過した光とされる。
これにより、第１撮像素子と第２撮像素子に入射される光は、同一の撮像光学系を通過した光とされる。
【図面の簡単な説明】
【0009】
【図1】第１の実施の形態におけるカメラシステムの構成例を示す図である。
【図2】第１の実施の形態におけるカメラシステムにおいて可動ミラーが第２位置に位置した状態を示す図である。
【図3】第１の実施の形態における可動ミラーの制御と第１撮像素子の撮像動作と第２撮像素子の撮像動作のタイミングチャートである。
【図4】第１の実施の形態における可動ミラーの制御と第１撮像素子の撮像動作と第２撮像素子の撮像動作のタイミングチャートの別例である。
【図5】第２の実施の形態におけるカメラシステムの構成例を示す図である。
【図6】第２の実施の形態における可動ミラーの制御と発光部の制御と第１撮像素子の撮像動作と第２撮像素子の撮像動作のタイミングチャートである。
【図7】第２の実施の形態における可動ミラーの制御と発光部の制御と第１撮像素子の撮像動作と第２撮像素子の撮像動作のタイミングチャートの別例である。
【図8】第３の実施の形態におけるカメラシステムの構成例を示す図である。
【図9】第３の実施の形態におけるハーフミラーの制御と第１撮像素子の撮像動作と第２撮像素子の撮像動作のタイミングチャートである。
【図10】第３の実施の形態におけるカメラシステムの構成の別例を示す図である。
【図11】第３の実施の形態におけるハーフミラーの制御と発光部の制御と第１撮像素子の撮像動作と第２撮像素子の撮像動作のタイミングチャートである。
【図12】変形例におけるカメラシステムの構成例を示す図である。
【図13】変形例におけるカメラシステムの構成の別の例を示す図である。
【図14】変形例におけるカメラシステムの構成の更に別の例を示す図である。
【図15】変形例におけるカメラシステムの構成の他の例を示す図である。
【図16】提供システムを含むシステム全体の構成を示すブロック図である。
【図17】提供システムが実行する処理についてのフローチャートである。
【図18】提供システムを含むシステム全体の構成の別例を示すブロック図である。
【図19】コンピュータ装置のブロック図である。
【発明を実施するための形態】
【0010】
以下、添付図面を参照し、本技術に係る実施の形態を次の順序で説明する。
<１．複数種類の撮像画像データ>
<２．第１の実施の形態>
<２－１．カメラシステムの構成>
<２－２．タイミングチャート>
<３．第２の実施の形態>
<４．第３の実施の形態>
<５．カメラシステムの構成についての変形例>
<６．カメラシステムのまとめ>
<７．提供システム>
<８．コンピュータ装置>
<９．提供システムのまとめ>
<１０．本技術>
<１．複数種類の撮像画像データ>
<２．第１の実施の形態>
<２－１．カメラシステムの構成>
<２－２．タイミングチャート>
<３．第２の実施の形態>
<４．第３の実施の形態>
<５．カメラシステムの構成についての変形例>
<６．カメラシステムのまとめ>
<７．提供システム>
<８．コンピュータ装置>
<９．提供システムのまとめ>
<１０．本技術>
【0011】
<１．複数種類の撮像画像データ>
本実施の形態におけるカメラシステム１は、複数種類の撮像画像データを略同時に生成するカメラシステム１である。また、それらの複数種類の撮像画像データは、極力同一の条件下で撮像されることにより得られるものである。
本実施の形態におけるカメラシステム１は、複数種類の撮像画像データを略同時に生成するカメラシステム１である。また、それらの複数種類の撮像画像データは、極力同一の条件下で撮像されることにより得られるものである。
【0012】
これらの複数種類の撮像画像データは、略同一条件及び略同一タイミングで撮像された撮像画像データを組として機械学習に供与される。
【0013】
異なる種類の撮像画像データを入力データとして機械学習を行うことにより、一方の撮像画像データに基づいて他方の撮像画像データを推定するための学習モデルを構築することができる。
【0014】
学習済みの学習モデルを用いることにより、一方の撮像画像データから他方の撮像画像データを推論することが可能となる。また、各種のアルゴリズムの改良にも繋がる。
【0015】
具体的に、カラー画像データと距離画像データの２種類を例に挙げて説明する。本実施の形態におけるカメラシステム１においては、画角などの各種の条件を一致させた状態で同じ被写体を略同じタイミングで撮像したカラー画像データと距離画像データが生成される。カラー画像データと距離画像データは、対応する画像データと言える。
【0016】
例えば、画素数や画角や撮像倍率などの各種条件を一致させて得られたカラー画像データと距離画像データは、ある画素位置における色情報と距離情報が完全に対応する。
【0017】
このようにして得られた２種類の撮像画像データを学習データとして利用して学習モデルを生成する。この学習モデルを用いて、例えば、対応する距離画像データが得られないカラー画像データについて推論を行うことにより、対応する距離画像データを生成することができる。
【0018】
従って、例えば、カラー画像データに撮像された被写体ごとに距離を推定することが可能となる。
【0019】
このように、複数種類の撮像画像データを組み合わせることで、一方の撮像画像データから他方の撮像画像データを推論するための学習モデルを生成することができる。
【0020】
また、２種類の撮像画像データを複数の時刻において連続して取得することにより得られた学習データを用いて機械学習を行うことにより、高精度な推論を行うことができる学習モデルを生成することができる。
【0021】
ここで、撮像画像データの種類について説明する。
【0022】
撮像画像データには、撮像素子の構成や特性に応じて各種考えられる。
例えば、カラー画像データやモノクロ画像データなどである。
例えば、カラー画像データやモノクロ画像データなどである。
【0023】
これらの撮像画像データを用いて機械学習を行うことにより、モノクロ画像データからカラー画像データを推定することや、変換アルゴリズムの改良を行うことができる。
【0024】
また、カラー画像データやモノクロ画像データには、画素数の違いによって高解像度の撮像画像データや低解像度の撮像画像データがある。
【0025】
画素数の異なる撮像画像データを用いて機械学習を行うことにより、低解像度の撮像画像データから高解像度の撮像画像データを推定することや、変換アルゴリズムの改良を行うことができる。
【0026】
また、画素ごとの被写体の深度情報とされた距離画像データや、被写体についての偏光情報とされた偏光画像データも複数種類の撮像画像データに含まれる。
【0027】
これらの撮像画像データを用いて機械学習を行うことにより、カラー画像データから距離画像データを推定することや、カラー画像データから偏光画像データを推定することなどが可能となる。
【0028】
更に、カラー画像データは、カラーフィルタの種類に応じて異なる種類の撮像画像データとされる。具体的には、Ｒ（Red：赤）、Ｇ（Green：緑）、Ｂ（Blue：青）の原色系カラーフィルタがベイヤー配列などの所定のパターンで配列された撮像素子から得られるＲＧＢ撮像画像データや、Ｒ（Red）、Ｃ（Clear）、Ｂ（Blue）に対応したカラーフィルタが所定のパターンで配列された撮像素子から得られるＲＣＣＢ撮像画像データや、Ｃｙ（Cyan）、Ｙｅ（Yellow）、Ｇ（Green）、Ｍｇ（Magenta）に対応した補色系カラーフィルタが所定のパターンで配列された撮像素子から得られるＣＭＹ撮像画像データなど各種考えられる。
【0029】
カラーフィルタの種類によって得られる撮像画像データの特性は異なる。具体的には、色再現に優れたカラーフィルタの配列と、解像度に優れたカラーフィルタの配列などが存在する。そして、異なる態様でカラーフィルタが配置された撮像素子によって得られた複数の撮像画像データを用いて機械学習を行うことにより、双方の特性を持つ撮像画像データを推論することが可能となる。
【0030】
また、このように所定パターンで複数種類のカラーフィルタが配列された撮像素子において得られるカラー画像データは、デモザイク処理が必要となる。一方で、一つの画素において複数の吸収層が積層された構造を備えた撮像素子を用いることにより、一つの画素から複数種類の色信号（例えばＲ信号、Ｇ信号、Ｂ信号）を得ることができる。このような撮像素子を用いればデモザイク処理が不要となる。
【0031】
そして、これらの撮像画像データを学習データとして機械学習を行うことにより、デモザイク処理のアルゴリズムの改良を行うことが可能となる。換言すれば、デモザイク処理により得られた撮像画像データを一つの画素から複数の色信号を得ることにより生成された撮像画像データに近づけることが可能となる。これにより、デモザイク処理による画質の劣化などを低減させることができる。
【0032】
或いは、赤外（ＩＲ：Infrared）光についての感度を有するＩＲフィルタを備えた撮像素子から得られるＩＲ撮像画像データを用いてもよい。これらのデータを用いた機械学習を行うことにより、カラー画像データからＩＲ撮像画像データを推論することなどが可能となる。
【0033】
また、位相差画素を含む撮像素子によって得られた撮像画像データも考えられる。このような撮像画像データは、位相差画素を含まない撮像素子によって得られた撮像画像データと組にされる。
【0034】
即ち、位相差画素を含む場合には、画素欠陥と見なされる位相差画素についての適切な画素信号を得るために画素欠陥補完処理が必要となる。
そして、位相差画素を含んで撮像された撮像画像データと位相差画素を含まずに撮像された撮像画像データを用いて機械学習を行うことにより、画素欠陥補完処理のアルゴリズムの性能改善などを行うことが可能となる。
そして、位相差画素を含んで撮像された撮像画像データと位相差画素を含まずに撮像された撮像画像データを用いて機械学習を行うことにより、画素欠陥補完処理のアルゴリズムの性能改善などを行うことが可能となる。
【0035】
他にも、クロストークの発生確率を低減させた構成において得られたカラー画像データと、受光感度を向上させた構成において得られたカラー画像データを用いて機械学習を行うことにより、クロストーク及び受光感度低下に基づくノイズが低減された良好な撮像画像データを得ることが可能となる。
【0036】
<２．第１の実施の形態>
<２－１．カメラシステムの構成>
このように複数種類の撮像画像データを略同一条件で得るためのカメラシステム１について説明する。具体的に、第１の実施の形態におけるカメラシステム１Ａの構成について、図１を参照して第１の実施の形態を説明する。
<２－１．カメラシステムの構成>
このように複数種類の撮像画像データを略同一条件で得るためのカメラシステム１について説明する。具体的に、第１の実施の形態におけるカメラシステム１Ａの構成について、図１を参照して第１の実施の形態を説明する。
【0037】
カメラシステム１Ａは、撮像光学系２と、第１ミラー３と、第２ミラー４Ａ、４Ｂと、第１撮像素子５と、第２撮像素子６と、ミラー可動部７と制御部８とを備えている。
【0038】
撮像光学系２は、フォーカスレンズやズームレンズなどの各種レンズと、アイリス機構と、メカニカルシャッタ機構等を備えている。なお、電子シャッタ制御を行うことによりメカニカルシャッタ機構を備えていなくてもよい。
【0039】
第１ミラー３は、第１位置Ｐ１と第２位置Ｐ２の間で可動する可動ミラー３Ａとされている。可動ミラー３Ａが第１位置Ｐ１に位置した状態においては、撮像光学系２を通過した入射光（被写体光）が第２ミラー４Ａに向けて反射される。
【0040】
第２ミラー４Ａにおいては、入射された被写体光が更に第１撮像素子５に向けて反射される。
【0041】
第１撮像素子５は、カラーフィルタやマイクロレンズや受光素子や読み出し回路等を備えて構成され、第１撮像画像データを出力する。第１撮像素子５は、可動ミラー３Ａが第１位置Ｐ１に位置している状態で被写体光を受光して光電変換により電荷を蓄積する。
【0042】
可動ミラー３Ａが第２位置Ｐ２に位置した状態（図２参照）においては、撮像光学系２を通過した被写体光が第２ミラー４Ｂに向けて反射される。
【0043】
第２ミラー４Ｂにおいては、入射された被写体光が更に第２撮像素子６に向けて反射される。
【0044】
第２撮像素子６は、カラーフィルタやマイクロレンズや受光素子や読み出し回路等を備えて構成され、第２撮像画像データを出力する。
但し、第１撮像素子５に対して何らかの構成が変更されている。例えば、第１撮像画像データがカラー画像データとされ、第２撮像画像データがモノクロ画像データとされている場合には、第２撮像素子６は、カラーフィルタを備えずに構成されている。
但し、第１撮像素子５に対して何らかの構成が変更されている。例えば、第１撮像画像データがカラー画像データとされ、第２撮像画像データがモノクロ画像データとされている場合には、第２撮像素子６は、カラーフィルタを備えずに構成されている。
【0045】
或いは、第２撮像画像データが偏光画像データである場合には、第２撮像素子６は偏光子を備えて構成されている。
【0046】
それ以外にも、第１撮像素子５と第２撮像素子６が異なる光学特性を備えた光学フィルタを備えていてもよい。例えば、第１撮像素子５が原色系カラーフィルタを備え、第２撮像素子６が補色系カラーフィルタを備えていてもよい。
これにより、複数の撮像画像データを得る事ができる。
これにより、複数の撮像画像データを得る事ができる。
【0047】
また、第１撮像素子５が位相差画素を含まずに構成され、第２撮像素子６が位相差画素を含んで構成されていてもよい。
【0048】
また、第１撮像素子５は各画素が一色のカラーフィルタを一つだけ備えることにより一つの波長帯についての感度を有するように構成されているのに対し、第２撮像素子６は各画素が複数の波長帯に対する感度を有するように構成されていてもよい。
【0049】
また、第１撮像素子５が光学的クロストークの発生頻度が低くなるように構成され、第２撮像素子６が高受光感度となるように構成されていてもよい。
【0050】
第１撮像素子５と第２撮像素子６の画素数は、同一とされていてもよいし、異なっていてもよい。例えば、第１撮像素子５と第２撮像素子６の構成に画素数以外の違いがある場合には、第１撮像素子５と第２撮像素子６の画素数を同一にすることが望ましい。これにより得られた撮像画像データは、解像度以外の構成の違いによって生じた違いのみを含むこととなる。
【0051】
一方、第１撮像素子５と第２撮像素子６の画素数が異なる場合には、第１撮像素子５と第２撮像素子６の画素数以外の条件をできるだけ同一にすることが望ましい。これにより得られた撮像画像データは、解像度の違いによって生じた違いのみを含むこととなる。
【0052】
第２撮像素子６は、可動ミラー３Ａが第２位置Ｐ２に位置している状態で被写体光を受光して光電変換により電荷を蓄積する。
【0053】
１枚の撮像画像データを得るために必要な露光時間を考えれば、可動ミラー３Ａの切り替え周期は数ｍｓｅｃや数十ｍｓｅｃ等の短い時間となる。従って、第１撮像画像データと第２撮像画像データは略同じタイミングで撮像されたデータと見なすことが可能となる。
特に、被写体が動被写体でない場合には、第１撮像素子５と第２撮像素子６が全く同じタイミングで撮像した場合に得られる撮像画像データと遜色の無いデータを得ることができる。
特に、被写体が動被写体でない場合には、第１撮像素子５と第２撮像素子６が全く同じタイミングで撮像した場合に得られる撮像画像データと遜色の無いデータを得ることができる。
【0054】
ミラー可動部７は、可動ミラー３Ａを可動する機構である。なお、ミラー可動部７がミラー３Ａと一体に設けられていてもよい。
【0055】
制御部８は、カメラシステム１Ａの全体的な制御や撮像光学系２の駆動制御を行うと共に、ミラー可動部７の駆動制御を行う。これにより、制御部８は可動ミラー３Ａの位置を制御する。
制御部８が可動ミラー３Ａを駆動制御することにより、可動ミラー３Ａにおいては時分割分光が行われる。
制御部８が可動ミラー３Ａを駆動制御することにより、可動ミラー３Ａにおいては時分割分光が行われる。
【0056】
<２－２．タイミングチャート>
制御部８が行う可動ミラー３Ａの制御は、第１撮像素子５及び第２撮像素子６の撮像動作に同期させて行う。各撮像素子の撮像動作と可動ミラー３Ａの動作についてのタイミングチャートを図３に示す。
制御部８が行う可動ミラー３Ａの制御は、第１撮像素子５及び第２撮像素子６の撮像動作に同期させて行う。各撮像素子の撮像動作と可動ミラー３Ａの動作についてのタイミングチャートを図３に示す。
【0057】
可動ミラー３Ａが第１位置Ｐ１に位置している場合には、第１撮像素子５において撮像動作が行われ、第２撮像素子６において撮像動作が休止される。
【0058】
制御部８が可動ミラー３Ａの位置を第１位置Ｐ１から第２位置Ｐ２に移動させたことに応じて、第１撮像素子５において撮像動作が休止され、第２撮像素子６において撮像動作が行われる。
【0059】
可動ミラー３Ａが１／６０ｓｅｃ間隔で第１位置Ｐ１と第２位置Ｐ２の位置の切り替えが行われている場合には、各撮像素子は１／６０ｓｅｃ間隔で撮像動作と休止動作が切り替えられる。その結果、各撮像素子は、１／３０ｓｅｃ間隔で一つの撮像画像データが出力される。
【0060】
なお、可動ミラー３Ａが第１位置Ｐ１から第２位置Ｐ２へ移動している間、或いは第２位置Ｐ２から第１位置Ｐ１へ移動している間は、各撮像素子に入射される光がノイズを多分に含んでいる可能性がある。
【0061】
その場合には、図４に示すように、第１位置Ｐ１から第２位置Ｐ２へ移動している間の時間は第１撮像素子５と第２撮像素子６の双方において撮像動作が休止されるように構成されてもよい。
可動ミラー３Ａが第２位置Ｐ２から第１位置Ｐ１へ移動している間の時間についても同様である。
可動ミラー３Ａが第２位置Ｐ２から第１位置Ｐ１へ移動している間の時間についても同様である。
【0062】
<３．第２の実施の形態>
第２の実施の形態におけるカメラシステム１Ｂは、第２撮像素子６において距離画像データが生成されるものである。
第２の実施の形態におけるカメラシステム１Ｂは、第２撮像素子６において距離画像データが生成されるものである。
【0063】
具体的に、カメラシステム１Ｂの構成について図５を参照して説明する。
【0064】
カメラシステム１Ｂは、発光部９を備えて構成されている。
発光部９は、ドライバ回路を含んで構成され、ＩＲ光を被写体に向けて照射する。発光部９のＩＲ光の照射制御は、制御部８によって行われる。
発光部９は、ドライバ回路を含んで構成され、ＩＲ光を被写体に向けて照射する。発光部９のＩＲ光の照射制御は、制御部８によって行われる。
【0065】
第１撮像素子５の前段には、ＩＲ光を遮断するＩＲカットフィルタ１０が設けられている。ＩＲカットフィルタ１０は、第１撮像素子５の一部として設けられていてもよい。
【0066】
発光部９の発光態様は各種考えられる。例えば、ＩＲ光を単に発光及び消光させるだけでなく、ストライプ状や格子状の発光パターンを被写体に対して投影するように発光してもよい。
【0067】
第２撮像素子６は、ＴｏＦ（Time of Flight）方式の測距を行うＴｏＦセンサとされている。ＴｏＦとしては、ｄＴｏＦ（direct ToF）とｉＴｏＦ（indirect ToF）のいずれであってもよい。
これにより、被写体の三次元構造を推測するための距離画像データを得ることができる。
これにより、被写体の三次元構造を推測するための距離画像データを得ることができる。
【0068】
発光部９の発光タイミングと各撮像素子の撮像タイミングの関係について、図６のタイミングチャートに示す。
【0069】
図示するように、可動ミラー３Ａが第１位置Ｐ１に移動されたタイミングで短時間の発光動作が行われると共に、可動ミラー３Ａが第２位置Ｐ２に移動されたタイミングでも短時間の発光動作が行われる。即ち、制御部８は、可動ミラー３Ａの移動制御に同期させて発光部９を発光させる。
【0070】
なお、可動ミラー３Ａが第１位置Ｐ１に位置した状態で発光部９から出射したＩＲ光は、被写体で反射した可動ミラー３Ａが第２位置Ｐ２に移動する前に撮像光学系２及び可動ミラー３Ａを介して第１撮像素子５に入射しようとする。
但し、第１撮像素子５の前段にはＩＲカットフィルタ１０が配置されているため、ＩＲ光は第１撮像素子５に到達しない。
但し、第１撮像素子５の前段にはＩＲカットフィルタ１０が配置されているため、ＩＲ光は第１撮像素子５に到達しない。
【0071】
このことを鑑みて、制御部８は、可動ミラー３Ａが第２位置Ｐ２に位置したタイミングに応じて、即ち、第２撮像素子６の撮像動作に同期させて発光部９の発光動作を行ってもよい（図７参照）。
【0072】
<４．第３の実施の形態>
第３の実施の形態におけるカメラシステム１Ｃは、図８に示すように、第１ミラー３として可動ミラー３Ａを備える代わりにハーフミラー３Ｂを備える。
第３の実施の形態におけるカメラシステム１Ｃは、図８に示すように、第１ミラー３として可動ミラー３Ａを備える代わりにハーフミラー３Ｂを備える。
【0073】
カメラシステム１Ｃは、撮像光学系２と、ハーフミラー３Ｂと、第２ミラー４Ｂと、第１撮像素子５と、第２撮像素子６と、制御部８とを備えている。
【0074】
ハーフミラー３Ｂは、一部の光を透過させる（直進させる）と共に、一部の光を反射させる。即ち、ハーフミラー３Ｂは被写体光の同時分光を行う。
【0075】
ハーフミラー３Ｂを透過した光は第１撮像素子５に入射される。一方、ハーフミラー３Ｂにおいて反射された光は、第２ミラー４Ｂにおいて更に反射され、第２撮像素子６に入射される。
【0076】
ハーフミラー３Ｂは、例えば、透過した光と反射した光が略同じ光量となるようにされている。或いは、第２ミラー４Ｂでの反射における減衰量を考慮して透過する光の光量が反射される光の光量よりも少なくされていてもよい。
【0077】
可動ミラー３Ａの代わりにハーフミラー３Ｂを用いることにより、第１撮像素子５と第２撮像素子６において被写体光が同時に受光される。従って、可動ミラー３Ａを用いた際に生じた第１撮像素子５と第２撮像素子６の撮像動作のずれを解消することができる。特に、被写体が動被写体である場合に効果的である。
【0078】
第３の実施の形態におけるカメラシステム１Ｃが備える各撮像素子の撮像タイミングの関係について図９に示す。
【0079】
図示するように、ハーフミラー３Ｂに対する制御は行わないでよい。また、第１撮像素子５における撮像動作と第２撮像素子６における撮像動作は、休止期間がないため高速で行うことができる。
【0080】
第３の実施の形態における別の例について説明する。
別の例におけるカメラシステム１Ｃ’は、ハーフミラー３Ｂと発光部９とＩＲカットフィルタ１０を備えている（図１０参照）。
別の例におけるカメラシステム１Ｃ’は、ハーフミラー３Ｂと発光部９とＩＲカットフィルタ１０を備えている（図１０参照）。
【0081】
カメラシステム１Ｃ’が備える発光部９の発光タイミングと各撮像素子の撮像タイミングの関係について、図１１のタイミングチャートに示す。
【0082】
図示するように、ハーフミラー３Ｂに対する制御は行わないでよい。また、発光部９の発光タイミングは、第１撮像素子５の撮像動作の開始及び第２撮像素子６の撮像動作の開始に同期させて短時間の発光動作が行われる。
【0083】
<５．カメラシステムの構成についての変形例>
上述した各例では、第１撮像素子５及び第２撮像素子６が同一平面上に設けられている例を示したが、第１撮像素子５及び第２撮像素子６が同一平面上に設けられていなくてもよい。
上述した各例では、第１撮像素子５及び第２撮像素子６が同一平面上に設けられている例を示したが、第１撮像素子５及び第２撮像素子６が同一平面上に設けられていなくてもよい。
【0084】
例えば、図１２に示すように、カメラシステム１Ａ’は可動ミラー３Ａを備えている。可動ミラー３Ａが第１位置Ｐ１に制御されている状態においては、第１の実施の形態と同様に、第２ミラー４Ａでの反射を介して第１撮像素子５へと被写体光が導かれる。一方、可動ミラー３Ａが第２位置Ｐ２に制御されている状態においては、第１の実施の形態とは異なり、可動ミラー３Ａでの反射光としての被写体光が第２ミラー４Ｂでの反射を介さずに第２撮像素子６へと入射される。
【0085】
但し、第１撮像素子５に入射される被写体光に対して第２撮像素子６に入射される被写体光は反射回数の違いによって左右反転されたものとなる。
従って、第２撮像素子６から出力される信号に対する後段の処理において左右を反転する処理が必要となる。
従って、第２撮像素子６から出力される信号に対する後段の処理において左右を反転する処理が必要となる。
【0086】
このような構成を採ることで、第２ミラー４Ｂなどの光学部材を削減することができるため、組み立て工数の削減や部品点数の削減やコスト削減やカメラシステム１Ａ’の小型化を図ることができる。
【0087】
このように、第２ミラー４Ａ、４Ｂのうちの一方を省略する構成は、可動ミラー３Ａを備えたカメラシステム１だけでなくハーフミラー３Ｂを備えたカメラシステムにも適用することが可能である。
【0088】
また、第２ミラー４Ａ、４Ｂの双方を省略する構成としてもよい。この場合には、第１撮像素子５から出力される信号及び第２撮像素子６から出力される信号の双方について、後段の処理で左右を反転する処理を実行する。
【0089】
更に、図１３に示すカメラシステム１Ｂ’のように、発光部９及びＩＲカットフィルタ１０を備えた構成において第１撮像素子５と第２撮像素子６が同一平面上に設けられていなくてもよい。
【0090】
また、図１３に示す構成から更に第２ミラー４Ａを削減した構成とされていてもよい。
何れの場合であっても、第１撮像素子５及び第２撮像素子６から出力される信号に対して適宜左右反転処理が必要となる。
何れの場合であっても、第１撮像素子５及び第２撮像素子６から出力される信号に対して適宜左右反転処理が必要となる。
【0091】
ＩＲ光を照射する発光部９を備えた上述の各例においては、ＩＲカットフィルタ１０を備える構成を例に挙げたが、それ以外の構成であってもよい。
【0092】
例えば、図１４に示すように、第２ミラー４Ａとして誘電体ミラー４Ａ’を採用したカメラシステム１Ｄであってもよい。
誘電体ミラー４Ａ’は、波長範囲が約３６０ｎｍ～約８３０ｎｍとされた可視光や可視光に近い波長のＩＲ光のみを反射する特性を有している。従って、第１撮像素子５がカラー画像データを出力する場合に図１４に示すようなＩＲカットフィルタ１０を備えていない構成を採ることができる。
誘電体ミラー４Ａ’は、波長範囲が約３６０ｎｍ～約８３０ｎｍとされた可視光や可視光に近い波長のＩＲ光のみを反射する特性を有している。従って、第１撮像素子５がカラー画像データを出力する場合に図１４に示すようなＩＲカットフィルタ１０を備えていない構成を採ることができる。
【0093】
第２ミラー４Ａとして誘電体ミラー４Ａ’を採用した場合には、ＩＲカットフィルタ１０を設ける必要がなくなるため、部品点数の削減や組み立て工数の削減、或いは、カメラシステム１Ｄの小型化を図ることが可能となる。
【0094】
上述した各例では、二つの撮像素子を備えた構成について説明したが、三つ以上の撮像素子を備えていてもよい。
【0095】
例えば、図１５に示すカメラシステム１Ｅは、第１ミラー３としての可動ミラー３Ａと、第２ミラー４Ａと第２ミラー４Ｂ’を備えている。
【0096】
第２ミラー４Ａは、第１の実施の形態と同様の構成とされている。一方、第２ミラー４Ｂ’は、ハーフミラーとされており、反射光を第２撮像素子６へと導くと共に通過光を第３撮像素子１１へと導く。
【0097】
これにより、可動ミラー３Ａが第１位置Ｐ１に制御された状態においては、第１撮像素子５において撮像動作が行われる。また、可動ミラー３Ａが第２位置Ｐ２に制御された状態においては、第２撮像素子６及び第３撮像素子１１の双方において撮像動作が行われる。
【0098】
従って、図１５に示すカメラシステム１Ｅでは、３枚の撮像画像データを略同時に得ることが可能となる。
【0099】
なお、図１５に示す構成において、第２ミラー４Ａにハーフミラーを採用すれば、４枚の撮像画像データを略同時に得る事が可能となる。
【0100】
各図を参照してカメラシステム１の構成を説明したが、撮影時に撮像画像データを確認するためのモニタなどが必要な場合には、カメラシステム１が背面モニタなどを備えていてもよい。その場合には、制御部８は、背面モニタに表示するための表示画像データを生成し、モニタドライバを介して背面モニタに提供する。
なお、背面モニタの代わりにカメラシステム１の外部に設けられたモニタを利用してもよい。
なお、背面モニタの代わりにカメラシステム１の外部に設けられたモニタを利用してもよい。
【0101】
<６．カメラシステムのまとめ>
上述した各例を用いて説明したように、カメラシステム１（１Ａ、１Ａ’、１Ｂ、１Ｂ’、１Ｃ、１Ｃ’、１Ｄ、１Ｅ）は、撮像のための光学素子（レンズやアイリス等）を含む撮像光学系２と、撮像光学系２を介して入射された光（被写体光）を分光するミラー（可動ミラー３Ａやハーフミラー３Ｂなどの第１ミラー３）と、該ミラーを介して入射される入射光（被写体光）を受光し光電変換を行うことにより機械学習の学習データとして用いられる第１撮像画像データを出力する第１撮像素子５と、該ミラーを介して入射される入射光を受光し光電変換を行うことにより学習データとして用いられる第２撮像画像データを出力する第２撮像素子６と、を備えたものである。
これにより、第１撮像素子５と第２撮像素子６に入射される光は、同一の撮像光学系２を通過した光とされる。
従って、第１撮像画像データと第２撮像画像データの差分の要因から撮像光学系の違いを排除することができるため、一方の撮像画像データから他方の撮像画像データを推定するための適切な学習データを得ることができる。そして、これらの学習データとしての撮像画像データを用いた機械学習を行うことにより、学習モデルの高精度化を図ることができる。
特に、第１撮像素子５と第２撮像素子６で撮像光学系２を共通とすることにより、画角や被写体までの距離や撮影方向といった撮影に関する各種条件を両撮像素子間で完全に一致させることができるため好適である。
上述した各例を用いて説明したように、カメラシステム１（１Ａ、１Ａ’、１Ｂ、１Ｂ’、１Ｃ、１Ｃ’、１Ｄ、１Ｅ）は、撮像のための光学素子（レンズやアイリス等）を含む撮像光学系２と、撮像光学系２を介して入射された光（被写体光）を分光するミラー（可動ミラー３Ａやハーフミラー３Ｂなどの第１ミラー３）と、該ミラーを介して入射される入射光（被写体光）を受光し光電変換を行うことにより機械学習の学習データとして用いられる第１撮像画像データを出力する第１撮像素子５と、該ミラーを介して入射される入射光を受光し光電変換を行うことにより学習データとして用いられる第２撮像画像データを出力する第２撮像素子６と、を備えたものである。
これにより、第１撮像素子５と第２撮像素子６に入射される光は、同一の撮像光学系２を通過した光とされる。
従って、第１撮像画像データと第２撮像画像データの差分の要因から撮像光学系の違いを排除することができるため、一方の撮像画像データから他方の撮像画像データを推定するための適切な学習データを得ることができる。そして、これらの学習データとしての撮像画像データを用いた機械学習を行うことにより、学習モデルの高精度化を図ることができる。
特に、第１撮像素子５と第２撮像素子６で撮像光学系２を共通とすることにより、画角や被写体までの距離や撮影方向といった撮影に関する各種条件を両撮像素子間で完全に一致させることができるため好適である。
【0102】
第１の実施の形態等で説明したように、ミラー（可動ミラー３Ａ）における分光は時分割分光とされてもよい。
例えば、ミラーの反射率を高くすると共に、第１撮像画像データの生成のために要する露光時間に亘って分光（反射光）が第１撮像素子５に導かれるようにし、第２撮像画像データの生成のために要する露光時間に亘って分光が第２撮像素子６に導かれるようにすることが可能となる。
これにより、第１撮像素子５及び第２撮像素子６における受光量を確保することができる。従って、ゲインコントロール等によるノイズの増加が抑制された第１撮像画像データ及び第２撮像画像データを得ることができる。
例えば、ミラーの反射率を高くすると共に、第１撮像画像データの生成のために要する露光時間に亘って分光（反射光）が第１撮像素子５に導かれるようにし、第２撮像画像データの生成のために要する露光時間に亘って分光が第２撮像素子６に導かれるようにすることが可能となる。
これにより、第１撮像素子５及び第２撮像素子６における受光量を確保することができる。従って、ゲインコントロール等によるノイズの増加が抑制された第１撮像画像データ及び第２撮像画像データを得ることができる。
【0103】
第１の実施の形態等で説明したように、ミラー（可動ミラー３Ａ）における反射光が第１撮像素子５に導かれる第１位置Ｐ１と反射光が第２撮像素子６に導かれる第２位置Ｐ２との間でミラーを可動させるミラー可動部７を備えていてもよい。
カメラシステム１がミラーを可動させる構成を備え、可動位置に応じて第１撮像素子５と第２撮像素子６のそれぞれに入射光（被写体光）を導くことができる。これにより、第１撮像素子５と第２撮像素子６の撮像が時分割で行われる。
従って、例えば、１フレームごとに第１撮像画像データと第２撮像画像データが交互に出力されるような構成を採ることができ、略同じタイミングで撮像された２種類の画像データを得ることができる。
カメラシステム１がミラーを可動させる構成を備え、可動位置に応じて第１撮像素子５と第２撮像素子６のそれぞれに入射光（被写体光）を導くことができる。これにより、第１撮像素子５と第２撮像素子６の撮像が時分割で行われる。
従って、例えば、１フレームごとに第１撮像画像データと第２撮像画像データが交互に出力されるような構成を採ることができ、略同じタイミングで撮像された２種類の画像データを得ることができる。
【0104】
第３の実施の形態等で説明したように、ミラー（第１ミラー３）はハーフミラー３Ｂとされ、分光はハーフミラー３Ｂによる同時分光とされ、ハーフミラー３Ｂにおける反射光が第１撮像素子５及び第２撮像素子６における一方の撮像素子に入射され、ハーフミラー３Ｂにおける透過光が他方の撮像素子に入射されてもよい。
ハーフミラー３Ｂを用いて反射光と透過光がそれぞれの撮像素子に入射されることにより、第１撮像素子５における露光と第２撮像素子６における露光を同時に行うことができる。
従って、撮像対象の被写体が動きのある動被写体であった場合に被写体の動きによって被写体の撮像位置が撮像素子ごとに異なってしまうことが防止される。これにより、機械学習に用いられる学習データとして最適なデータを生成することができる。
ハーフミラー３Ｂを用いて反射光と透過光がそれぞれの撮像素子に入射されることにより、第１撮像素子５における露光と第２撮像素子６における露光を同時に行うことができる。
従って、撮像対象の被写体が動きのある動被写体であった場合に被写体の動きによって被写体の撮像位置が撮像素子ごとに異なってしまうことが防止される。これにより、機械学習に用いられる学習データとして最適なデータを生成することができる。
【0105】
上述した各例で説明したように、第１撮像画像データはカラー画像データとされてもよい。
撮像画像データとしては種々考えられるが、一般的にはカラー画像データが広く用いられている。本構成では、カラー画像データとされた第１撮像画像データと、距離画像データやＩＲ画像データなどそれ以外の画像データとされた第２撮像画像データを取得することができる。
これにより、一般的に広く用いられているカラー画像データからそれ以外の画像データを推定するために用いられる学習モデルを獲得するための学習データを生成することができる。
撮像画像データとしては種々考えられるが、一般的にはカラー画像データが広く用いられている。本構成では、カラー画像データとされた第１撮像画像データと、距離画像データやＩＲ画像データなどそれ以外の画像データとされた第２撮像画像データを取得することができる。
これにより、一般的に広く用いられているカラー画像データからそれ以外の画像データを推定するために用いられる学習モデルを獲得するための学習データを生成することができる。
【0106】
第２の実施の形態等で説明したように、第２撮像画像データは距離画像データとされてもよい。
これにより、カラー画像データから距離画像データを推定する学習モデルを生成するための学習データを生成することができる。
従って、このようにして得られた学習モデルを用いた推論処理を行うことにより、撮像された各被写体までの距離情報をカラー画像データから得ることが可能となる。このようにして得られた距離情報を用いれば、例えば、二次元のカラー画像データから三次元モデルを構築することなどが可能となる。
これにより、カラー画像データから距離画像データを推定する学習モデルを生成するための学習データを生成することができる。
従って、このようにして得られた学習モデルを用いた推論処理を行うことにより、撮像された各被写体までの距離情報をカラー画像データから得ることが可能となる。このようにして得られた距離情報を用いれば、例えば、二次元のカラー画像データから三次元モデルを構築することなどが可能となる。
【0107】
第２の実施の形態等で説明したように、第２撮像素子６の撮像動作に同期させて発光制御される発光部９を備えていてもよい。
これにより、第２撮像素子６は発光部９から出射されて被写体で反射した反射光（被写体光）を受光するタイミングに応じた露光制御を行うことが可能となる。
従って、第２撮像素子６は、被写体までの距離に基づく距離画像データを生成することができる。
これにより、第２撮像素子６は発光部９から出射されて被写体で反射した反射光（被写体光）を受光するタイミングに応じた露光制御を行うことが可能となる。
従って、第２撮像素子６は、被写体までの距離に基づく距離画像データを生成することができる。
【0108】
第１の実施の形態等で説明したように、第２撮像画像データは、偏光画像データとされてもよい。
これにより、カラー画像データに対応する偏光画像データがカメラシステムから出力される。
従って、カラー画像データに基づいて被写体ごとに面の向きなどを推定する学習モデルを生成するための学習データを生成することができる。このような学習モデルを用いた推論処理によって得られた被写体ごとの面の向きは、例えば、二次元画像データから三次元モデルを構築する際などに利用可能である。
これにより、カラー画像データに対応する偏光画像データがカメラシステムから出力される。
従って、カラー画像データに基づいて被写体ごとに面の向きなどを推定する学習モデルを生成するための学習データを生成することができる。このような学習モデルを用いた推論処理によって得られた被写体ごとの面の向きは、例えば、二次元画像データから三次元モデルを構築する際などに利用可能である。
【0109】
第１の実施の形態等で説明したように、第１撮像素子５が備える光学フィルタと第２撮像素子６が備える光学フィルタは光学特性が異なるものとされてもよい。
これにより、ある光学特性を備えた撮像素子において得られた撮像画像データに対応して、異なる光学特性を備えた撮像素子において得られた撮像画像データを得ることができる。
従って、一方の光学特性を備えた撮像素子において得られた撮像画像データに基づいて、他方の撮像素子において得られるであろう撮像画像データを推論するための学習データを得ることができる。
光学特性の違いとは、例えば、光波長に対する受光感度の特性の違いなどである。
これにより、ある光学特性を備えた撮像素子において得られた撮像画像データに対応して、異なる光学特性を備えた撮像素子において得られた撮像画像データを得ることができる。
従って、一方の光学特性を備えた撮像素子において得られた撮像画像データに基づいて、他方の撮像素子において得られるであろう撮像画像データを推論するための学習データを得ることができる。
光学特性の違いとは、例えば、光波長に対する受光感度の特性の違いなどである。
【0110】
第１の実施の形態において説明したように、第１撮像素子５は原色系カラーフィルタを備え、第２撮像素子６は補色系カラーフィルタを備えていてもよい。
一般的に、原色系カラーフィルタを用いた撮像素子において得られる撮像画像データは色再現やＳＮ（Signal to Noise）比が良好な傾向にあり、補色系カラーフィルタを用いた撮像素子において得られる撮像画像データは受光感度と解像度が良好な傾向にある。
本構成によれば、原色系カラーフィルタにより得られた第１撮像画像データに対応した撮像画像データとして補色系カラーフィルタにより得られた第２撮像画像データを生成することができる。
従って、原色系カラーフィルタにより得られた第１撮像画像データから補色系カラーフィルタにより得られた第２撮像画像データを推定するための学習モデルを生成することが可能となる。このような学習モデルを利用することにより、第１撮像画像データに相当する画像を撮像した場合に、対応する第２撮像画像データを推論処理によって得る事ができる。そして、原色系カラーフィルタを用いて得られた色再現やＳＮ比の良好な特性と、補色系カラーフィルタを利用した際に得られる受光感度の高さや解像度の高さなどの良好な特性の双方を有する新たな画像を生成することなどが可能となる。
一般的に、原色系カラーフィルタを用いた撮像素子において得られる撮像画像データは色再現やＳＮ（Signal to Noise）比が良好な傾向にあり、補色系カラーフィルタを用いた撮像素子において得られる撮像画像データは受光感度と解像度が良好な傾向にある。
本構成によれば、原色系カラーフィルタにより得られた第１撮像画像データに対応した撮像画像データとして補色系カラーフィルタにより得られた第２撮像画像データを生成することができる。
従って、原色系カラーフィルタにより得られた第１撮像画像データから補色系カラーフィルタにより得られた第２撮像画像データを推定するための学習モデルを生成することが可能となる。このような学習モデルを利用することにより、第１撮像画像データに相当する画像を撮像した場合に、対応する第２撮像画像データを推論処理によって得る事ができる。そして、原色系カラーフィルタを用いて得られた色再現やＳＮ比の良好な特性と、補色系カラーフィルタを利用した際に得られる受光感度の高さや解像度の高さなどの良好な特性の双方を有する新たな画像を生成することなどが可能となる。
【0111】
第１の実施の形態において説明したように、第２撮像画像データはモノクロ画像データとされてもよい。
これにより、カラー画像データに対応するモノクロ画像データがカメラシステムから出力される。
従って、モノクロ画像データに基づいてカラー画像データを推定する学習モデルを生成するための学習データを生成することができる。このような学習モデルを用いた推論処理を行うことにより、例えば、モノクロ画像データしか無い場合であっても、カラー画像データを生成することが可能となる。即ち、カラーの撮像画像データを得ることができなかった時代に撮像されたモノクロ画像データから当時の色彩を再現することなどが可能となる。
これにより、カラー画像データに対応するモノクロ画像データがカメラシステムから出力される。
従って、モノクロ画像データに基づいてカラー画像データを推定する学習モデルを生成するための学習データを生成することができる。このような学習モデルを用いた推論処理を行うことにより、例えば、モノクロ画像データしか無い場合であっても、カラー画像データを生成することが可能となる。即ち、カラーの撮像画像データを得ることができなかった時代に撮像されたモノクロ画像データから当時の色彩を再現することなどが可能となる。
【0112】
第１の実施の形態において説明したように、第１撮像素子５は位相差画素を含まない画素構成とされ、第２撮像素子６は位相差画素を含んだ画素構成とされていてもよい。
第２撮像素子６に含まれる位相差画素は、撮像画像データに用いる画素信号を出力できない場合がある。そのような場合には、撮像画像データから見ると位相差画素は画素欠陥として扱われる。そして、周辺画素から出力される画素信号を用いた画素欠陥補完（補正）を行うことにより位相差画素から出力されるべき画素信号の推定が行われる。
本構成によれば、画素欠陥補完が行われていない状態の第１撮像画像データと、画素欠陥補完が行われた状態の第２撮像画像データの双方を出力することができる。
これにより、画素欠陥補完が行われた撮像画像データから画素欠陥補完が行われていない撮像画像データを推定するための学習モデルに用いられる学習データを出力することができる。従って、位相差画素を含んだ撮像素子による撮像画像データしか得られない場合に、位相差画素を含まない撮像素子による撮像画像データを推定することが可能となる。また、第１撮像素子５から出力される第１撮像画像データは、第１撮像素子５が位相差画素を含まないため、画素欠陥補完を行った場合の理想の撮像画像データとみなすことができる。従って、画素欠陥補完のアルゴリズムによって得られた撮像画像データと推定された第１撮像画像データに相当する撮像画像データ、即ち推定された理想の撮像画像データを比較することにより、画素欠陥補完アルゴリズムの性能を向上させることが可能となる。
第２撮像素子６に含まれる位相差画素は、撮像画像データに用いる画素信号を出力できない場合がある。そのような場合には、撮像画像データから見ると位相差画素は画素欠陥として扱われる。そして、周辺画素から出力される画素信号を用いた画素欠陥補完（補正）を行うことにより位相差画素から出力されるべき画素信号の推定が行われる。
本構成によれば、画素欠陥補完が行われていない状態の第１撮像画像データと、画素欠陥補完が行われた状態の第２撮像画像データの双方を出力することができる。
これにより、画素欠陥補完が行われた撮像画像データから画素欠陥補完が行われていない撮像画像データを推定するための学習モデルに用いられる学習データを出力することができる。従って、位相差画素を含んだ撮像素子による撮像画像データしか得られない場合に、位相差画素を含まない撮像素子による撮像画像データを推定することが可能となる。また、第１撮像素子５から出力される第１撮像画像データは、第１撮像素子５が位相差画素を含まないため、画素欠陥補完を行った場合の理想の撮像画像データとみなすことができる。従って、画素欠陥補完のアルゴリズムによって得られた撮像画像データと推定された第１撮像画像データに相当する撮像画像データ、即ち推定された理想の撮像画像データを比較することにより、画素欠陥補完アルゴリズムの性能を向上させることが可能となる。
【0113】
第１の実施の形態において説明したように、第１撮像素子５は、異なるカラーフィルタを有する画素が所定パターンで配列され、第２撮像素子６は、互いに波長の異なる光を吸収する複数の光吸収層を有する画素が配列されていてもよい。
これにより、例えば、第２撮像素子６からは画素ごとにＲ、Ｇ、Ｂの画素信号を得ることができる。従って、第２撮像素子６においてはデモザイク処理が不要とされる。そして、カメラシステム１からは、デモザイク処理が施された第１撮像画像データとデモザイク処理が施されない第２撮像画像データがカメラシステムから出力される。
このような第１撮像画像データと第２撮像画像データを用いて機械学習を行うことにより得られた学習モデルは、第１撮像画像データと第２撮像画像データの差分に基づいたものとなる。従って、デモザイク処理における補完アルゴリズムの改良を行うことや、デモザイク処理による解像度の劣化等を防止するための補正を行うことなどが可能となる。
これにより、例えば、第２撮像素子６からは画素ごとにＲ、Ｇ、Ｂの画素信号を得ることができる。従って、第２撮像素子６においてはデモザイク処理が不要とされる。そして、カメラシステム１からは、デモザイク処理が施された第１撮像画像データとデモザイク処理が施されない第２撮像画像データがカメラシステムから出力される。
このような第１撮像画像データと第２撮像画像データを用いて機械学習を行うことにより得られた学習モデルは、第１撮像画像データと第２撮像画像データの差分に基づいたものとなる。従って、デモザイク処理における補完アルゴリズムの改良を行うことや、デモザイク処理による解像度の劣化等を防止するための補正を行うことなどが可能となる。
【0114】
第１の実施の形態において説明したように、第２撮像素子６は第１撮像素子よりも光学的クロストークの発生頻度及び受光感度が共に高くされていてもよい。
具体的には、第１撮像素子５は光学的クロストークの抑制に特化した撮像素子とされ、第２撮像素子６は受光感度の向上に特化した撮像素子とされる。これにより、光学的クロストークが抑制された第１撮像画像データと受光感度が高くゲインコントロール等によるノイズの増加が抑制された第２撮像画像データを出力することができる。
これらの撮像画像データを学習データとして機械学習を行うことにより得られた学習モデルを用いることにより、光学的クロストークによるノイズと受光感度が低いことによるノイズの双方が低減された撮像画像データを推定することが可能となる。
具体的には、第１撮像素子５は光学的クロストークの抑制に特化した撮像素子とされ、第２撮像素子６は受光感度の向上に特化した撮像素子とされる。これにより、光学的クロストークが抑制された第１撮像画像データと受光感度が高くゲインコントロール等によるノイズの増加が抑制された第２撮像画像データを出力することができる。
これらの撮像画像データを学習データとして機械学習を行うことにより得られた学習モデルを用いることにより、光学的クロストークによるノイズと受光感度が低いことによるノイズの双方が低減された撮像画像データを推定することが可能となる。
【0115】
第１の実施の形態において説明したように、第１撮像画像データの画素数と第２撮像画像データの画素数は同一とされてもよい。
双方の撮像画像データの画素数が一致されることで、第１撮像画像データと第２撮像画像データから画素ごとに対応した異なるデータを得ることができる。例えば、カラー画像データと距離画像データであれば、カラー画像データにおける各画素に対応した距離情報が含まれるように距離画像データが生成される。
このような２種類の画像データを学習データとして学習モデルの構築が行われることにより、学習モデルの推論の精度向上を図ることができる。
双方の撮像画像データの画素数が一致されることで、第１撮像画像データと第２撮像画像データから画素ごとに対応した異なるデータを得ることができる。例えば、カラー画像データと距離画像データであれば、カラー画像データにおける各画素に対応した距離情報が含まれるように距離画像データが生成される。
このような２種類の画像データを学習データとして学習モデルの構築が行われることにより、学習モデルの推論の精度向上を図ることができる。
【0116】
第１の実施の形態において説明したように、第１撮像画像データの画素数は第２撮像画像データの画素数よりも多くされてもよい。
例えば、第１撮像画像データは高解像度の撮像画像データとされ、第２撮像画像データは低解像度の撮像画像データとされる。
このような撮像画像データを学習データとして学習モデルの構築がおこなわれることにより、低解像度の撮像画像データから高解像度の撮像画像データを推論するための学習モデルを生成することが可能となる。
例えば、第１撮像画像データは高解像度の撮像画像データとされ、第２撮像画像データは低解像度の撮像画像データとされる。
このような撮像画像データを学習データとして学習モデルの構築がおこなわれることにより、低解像度の撮像画像データから高解像度の撮像画像データを推論するための学習モデルを生成することが可能となる。
【0117】
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
【0118】
また、上述した各例はいかように組み合わせてもよく、各種の組み合わせを用いた場合であっても上述した種々の作用効果を得ることが可能である。
【0119】
<７．提供システム>
機械学習を行うことにより学習モデルを得ようとするユーザに対して機械学習に用いられる各種の情報を提供する提供システム１００ついて説明する。
機械学習を行うことにより学習モデルを得ようとするユーザに対して機械学習に用いられる各種の情報を提供する提供システム１００ついて説明する。
【0120】
提供システム１００はユーザＵに対して各種の情報を提供するシステムである。
提供システム１００は、サーバ装置１０１と学習データ取得装置１０２を備えている。
提供システム１００は、サーバ装置１０１と学習データ取得装置１０２を備えている。
【0121】
サーバ装置１０１は、学習データの管理等を行うデータサーバとしての機能を備えると共に、ユーザＵの要求に応じて各種の処理を行うコンピュータ装置である。
【0122】
サーバ装置１０１は、学習データを蓄積する処理や検索処理や取得処理や送信処理などを行う。
【0123】
具体的に、サーバ装置１０１は、ユーザＵから学習データの送信要求を受信し、管理下にある学習データの中からユーザＵの要求に合った学習データを検索する。ユーザＵの要求に応じた学習データが見つかった場合には、検索結果として抽出された学習データをユーザＵに提供する。ユーザＵへの学習データの提供は、例えば、ユーザＵが使用するコンピュータ装置に対する送信処理を行うことにより実現する。
【0124】
一方、ユーザＵの要求に応じた適切な学習データが無かった場合、或いは、学習データがあったとしてもユーザＵが所望するデータ量に足りなかった場合には、センサ工場２００に対して、ユーザＵが所望する学習データ、即ち、撮像画像データを取得するための条件等の情報を送信する。
【0125】
ユーザＵが所望する撮像画像データを取得するための条件についての情報とは、撮像素子の画素数や撮像光学系についての情報や、撮像素子が備える光学フィルタについての条件などである。
【0126】
具体的な例を用いて説明すると、カラー撮像画像データから被写体ごとの距離情報を抽出するための学習モデルを構築することを望んでいる場合には、カラー撮像画像データと距離画像データの双方を取得可能な前述した第２の実施の形態のカメラシステム１Ｂを製造するための情報をセンサ工場２００に対して送信する。それらの情報は、例えば、第１撮像素子５を作成するための画素数や光学フィルタなどの条件と、第２撮像素子６を作成するための画素数や光学フィルタなどの条件、更に、発光部９を用意するための情報（発光周期や発光時間や照射する光の波長などの情報）やＩＲカットフィルタ１０を用意するための情報などをセンサ工場２００に提供する。
【0127】
センサ工場２００では、受信した情報に基づいて撮像素子を作成し、ユーザＵの所望の撮像画像データを得るためのカメラシステム１を製造して学習データ取得装置１０２に提供する。
【0128】
学習データ取得装置１０２は、カメラシステム１を用いて撮像画像データの取得、即ち撮影を行う。取得した撮像画像データは、サーバ装置１０１に送信されることにより、学習データとして蓄積される。
【0129】
ユーザＵのために撮像された撮像画像データは、学習データとしてサーバ装置１０１から、或いは学習データ取得装置１０２から直接ユーザＵ（ユーザＵが利用するコンピュータ装置）へ送信される。
【0130】
なお、サーバ装置１０１は、ユーザＵに対して追加の学習データの提供を提案してもよい。追加の学習データとは、ユーザＵが作成する学習モデルの性能を向上させ得るような学習データである。
例えば、画素数や撮影条件を振ることにより得られた種々のカラー画像データと距離画像データのセットを追加の学習データとして提案する。
例えば、画素数や撮影条件を振ることにより得られた種々のカラー画像データと距離画像データのセットを追加の学習データとして提案する。
【0131】
或いは、３種類以上の撮像画像データが組となったデータセットを追加の学習データとして提案してもよい。
【0132】
例えば、ユーザＵがカラー撮像画像データと距離画像データの学習データを要求していた場合、距離画像データはＴｏＦセンサとしての撮像素子から出力されたデータであるため、ノイズやジッタなどの誤差を含んだものとなる。
【0133】
このような誤差を含んだ学習データを用いて機械学習を行っても、学習モデルの性能が低くなる虞がある。
【0134】
そこで、カラー画像データと距離画像データと偏光画像データが組となったデータセットを追加の学習データとして提案する。
【0135】
偏光画像データを用いて距離画像データに含まれる誤差を低減させることにより、距離画像データの精度を向上させることができ、作成される学習モデルの性能を更に向上させることが可能となる。
【0136】
これ以外にも、低解像度のカラー画像データと高解像度のカラー画像データの学習データを要求していた場合に、モノクロ画像データを追加の学習データとして提案してもよい。
【0137】
高解像度のカラー画像データを得るための撮像素子は一般的に受光感度が低下する。従って、高解像度のカラー画像データと同等の画素数とされたモノクロ撮像画像データをユーザＵに提供することにより、高解像度のカラー画像データの誤差（ノイズ）を低減させることができ、より高性能な学習モデルを生成することが可能となる。
【0138】
提供システム１００が実行する処理の流れの一例について、図１７を参照して説明する。
【0139】
提供システム１００は、ステップＳ１０１において、ユーザＵから要求を受信したか否かを判定する。要求を受信していない場合には再度ステップＳ１０１の処理を実行する。
【0140】
ユーザＵから要求を受信したと判定した場合、提供システム１００は、ステップＳ１０２において、ユーザＵの要求に応じた検索条件を設定して検索処理を実行する。この処理により、提供システム１００が管理する学習データからユーザＵが所望した条件に合致する学習データが検索される。この検索処理は、学習データごとに付与された後述するタグを用いて行われる。
【0141】
提供システム１００は、ステップＳ１０３において、検索処理の結果学習データが抽出されたか否かを判定する。
学習データが抽出されていないと判定した場合には、撮像素子の制作過程に移る。具体的には、提供システム１００は、ステップＳ１０４において、撮像素子の仕様を決定してセンサ工場２００へ提供する。
学習データが抽出されていないと判定した場合には、撮像素子の制作過程に移る。具体的には、提供システム１００は、ステップＳ１０４において、撮像素子の仕様を決定してセンサ工場２００へ提供する。
【0142】
センサ工場２００においてカメラシステム１が製造された後、提供システム１００は、ステップＳ１０５において、カメラシステム１を用いて学習データの取得を行う。具体的には、カメラシステム１を用いて撮像を行い、例えば、カラー撮像画像データと距離画像データの双方を得る。
【0143】
提供システム１００はステップＳ１０６において、取得した学習データにタグ付けを行う。付与するタグは、検索処理に用いられるものであり、例えば、撮像された撮像画像データがカラー撮像画像データであることや距離画像データであることを特定するための情報や、画素数についての情報などである。或いは、被写体についての情報がタグとして付与されてもよい。
【0144】
具体的には、タグは、撮像素子についての情報や、被写体の情報や、撮像画像データを得るための条件についての情報や、撮影条件についての情報などである。
【0145】
撮像素子についての情報は、製品情報や、撮像素子の種類や、光学サイズや、画素サイズや、画素数や撮像素子の設定情報などを含み得る。
【0146】
被写体の情報は、人物、風景、車両、顔などの情報を含み得る。
【0147】
撮像画像データを得るための条件についての情報は、平均出力や露光時間等の情報を含み得る。
【0148】
撮影条件についての情報は、撮像光学系についての情報や、露光時間や、撮影時刻や、位置情報などを含み得る。更に、発光部９の情報（発光波長）などが含まれていてもよい。
【0149】
提供システム１００はステップＳ１０７において、ユーザＵに対するデータ提供を行う。なお、提供システム１００はステップＳ１０７において追加データの提案を行ってもよい。
【0150】
ステップＳ１０３において、ユーザＵが所望した学習データを抽出できたと判定した場合、提供システム１００はステップＳ１０８へと進み、学習データの取得を行う。
更に、提供システム１００はステップＳ１０７においてユーザＵに対するデータ提供を行う。
なお、追加データの提案を行う場合には、ステップＳ１０８において類似データの検索を行い、抽出された学習データを追加データとしてステップＳ１０７においてユーザＵに提供してもよい。或いは、ステップＳ１０８において、学習モデルの性能の向上に寄与する撮像画像データの種類を特定して検索処理を行い、抽出された撮像画像データを追加データとしてステップＳ１０７においてユーザＵに提供してもよい。
更に、提供システム１００はステップＳ１０７においてユーザＵに対するデータ提供を行う。
なお、追加データの提案を行う場合には、ステップＳ１０８において類似データの検索を行い、抽出された学習データを追加データとしてステップＳ１０７においてユーザＵに提供してもよい。或いは、ステップＳ１０８において、学習モデルの性能の向上に寄与する撮像画像データの種類を特定して検索処理を行い、抽出された撮像画像データを追加データとしてステップＳ１０７においてユーザＵに提供してもよい。
【0151】
なお、ユーザＵに対して学習データを提供するのではなく学習データを取得するための手段を提供する場合もある。
【0152】
具体的に、図１８を参照して説明する。
提供システム１００Ａは、サーバ装置１０１と学習データ取得装置１０２だけでなく、センサ工場２００を備えている。
提供システム１００Ａは、サーバ装置１０１と学習データ取得装置１０２だけでなく、センサ工場２００を備えている。
【0153】
センサ工場２００で製造されたカメラシステム１は、学習データ取得装置による学習データ取得に用いられるだけでなく、ユーザＵに提供されてもよい。
【0154】
これによりユーザＵは、カメラシステム１を利用して自身で学習データの取得を行うことができる。
【0155】
また、センサ工場２００は、カメラシステム１を構成する撮像素子（第１撮像素子５及び第２撮像素子６）を作成し、撮像素子をユーザＵに提供してもよい。或いは、ユーザＵが既に所有する第１撮像素子５の情報に基づいて第２撮像素子６を作成して、第２撮像素子６をユーザに提供してもよい。
【0156】
ユーザＵは、提供された撮像素子を用いてカメラシステム１を作成し、学習データの取得を行う。
【0157】
このように、提供システム１００Ａでは、データだけでなく作成した撮像素子やカメラシステム１自体をユーザＵに提供可能とされている。
【0158】
なお、ユーザＵがカメラシステム１を用いて学習データを取得した場合には、サーバ装置１０１において学習データを蓄積することができない。
そこで、ユーザＵに対して、取得した学習データのアップロードを要求してもよい。そして、そのインセンティブとして追加の学習データの提供や金銭の支払いを行うことが可能となるように提供システム１００Ａが構成されていてもよい。
そこで、ユーザＵに対して、取得した学習データのアップロードを要求してもよい。そして、そのインセンティブとして追加の学習データの提供や金銭の支払いを行うことが可能となるように提供システム１００Ａが構成されていてもよい。
【0159】
ユーザＵにおいて取得された学習データの提供が行われた場合には、サーバ装置１０１において学習データの蓄積が行われる。
【0160】
<８．コンピュータ装置>
提供システム１００、１００Ａが備えるコンピュータ装置の構成について図１９を参照して説明する。
提供システム１００、１００Ａが備えるコンピュータ装置の構成について図１９を参照して説明する。
【0161】
コンピュータ装置はＣＰＵ７１を備えている。ＣＰＵ７１は、上述した各種の処理を行う演算処理部として機能し、ＲＯＭ７２や例えばＥＥＰ－ＲＯＭ（Electrically Erasable Programmable Read-Only Memory）などの不揮発性メモリ部７４に記憶されているプログラム、または記憶部７９からＲＡＭ７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【0162】
なお、提供システム１００としてのコンピュータ装置が備えるＣＰＵ７１は、上述した各機能を実現するために図１７に示す各処理を実行する。
【0163】
ＣＰＵ７１、ＲＯＭ７２、ＲＡＭ７３、不揮発性メモリ部７４は、バス８３を介して相互に接続されている。このバス８３にはまた、入出力インタフェース（Ｉ／Ｆ）７５も接続されている。
【0164】
入出力インタフェース７５には、操作子や操作デバイスよりなる入力部７６が接続される。
例えば入力部７６としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
入力部７６によりユーザの操作が検知され、入力された操作に応じた信号はＣＰＵ７１によって解釈される。
例えば入力部７６としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
入力部７６によりユーザの操作が検知され、入力された操作に応じた信号はＣＰＵ７１によって解釈される。
【0165】
また入出力インタフェース７５には、ＬＣＤ或いは有機ＥＬパネルなどよりなる表示部７７や、スピーカなどよりなる音声出力部７８が一体又は別体として接続される。
表示部７７は各種表示を行う表示部であり、例えばコンピュータ装置の筐体に設けられるディスプレイデバイスや、コンピュータ装置に接続される別体のディスプレイデバイス等により構成される。
表示部７７は各種表示を行う表示部であり、例えばコンピュータ装置の筐体に設けられるディスプレイデバイスや、コンピュータ装置に接続される別体のディスプレイデバイス等により構成される。
【0166】
表示部７７は、ＣＰＵ７１の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部７７はＣＰＵ７１の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。
【0167】
入出力インタフェース７５には、ハードディスクや固体メモリなどより構成される記憶部７９や、モデムなどより構成される通信部８０が接続される場合もある。
【0168】
通信部８０は、インターネット等の伝送路を介しての通信処理や、各種機器との有線／無線通信、バス通信などによる通信を行う。
【0169】
入出力インタフェース７５にはまた、必要に応じてドライブ８１が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記憶媒体８２が適宜装着される。
【0170】
ドライブ８１により、リムーバブル記憶媒体８２から各処理に用いられるプログラム等のデータファイルなどを読み出すことができる。読み出されたデータファイルは記憶部７９に記憶されたり、データファイルに含まれる画像や音声が表示部７７や音声出力部７８で出力されたりする。またリムーバブル記憶媒体８２から読み出されたコンピュータプログラム等は必要に応じて記憶部７９にインストールされる。
【0171】
このコンピュータ装置では、例えば本実施の形態の処理のためのソフトウェアを、通信部８０によるネットワーク通信やリムーバブル記憶媒体８２を介してインストールすることができる。或いは当該ソフトウェアは予めＲＯＭ７２や記憶部７９等に記憶されていてもよい。
【0172】
ＣＰＵ７１が各種のプログラムに基づいて処理動作を行うことで、上述した演算処理部を備えたコンピュータ装置である提供システム１００としての必要な情報処理や通信処理が実行される。
なお、提供システム１００は、図１９のようなコンピュータ装置が単一で構成されることに限らず、複数のコンピュータ装置がシステム化されて構成されてもよい。複数のコンピュータ装置は、ＬＡＮ（Local Area Network）等によりシステム化されていてもよいし、インターネット等を利用したＶＰＮ（Virtual Private Network）等により遠隔地に配置されたものでもよい。複数のコンピュータ装置には、クラウドコンピューティングサービスによって利用可能なサーバ群（クラウド）としてのコンピュータ装置が含まれてもよい。
なお、提供システム１００は、図１９のようなコンピュータ装置が単一で構成されることに限らず、複数のコンピュータ装置がシステム化されて構成されてもよい。複数のコンピュータ装置は、ＬＡＮ（Local Area Network）等によりシステム化されていてもよいし、インターネット等を利用したＶＰＮ（Virtual Private Network）等により遠隔地に配置されたものでもよい。複数のコンピュータ装置には、クラウドコンピューティングサービスによって利用可能なサーバ群（クラウド）としてのコンピュータ装置が含まれてもよい。
【0173】
<９．提供システムのまとめ>
上述した提供システム１００（１００Ａ）が実行する提供方法は、ユーザから機械学習に用いられる学習データの提供要求を受信する処理（サーバ装置１０１の要求受信機能）と、前記要求に応じてカメラシステム１（１Ａ、１Ａ’、１Ｂ、１Ｂ’、１Ｃ、１Ｃ’、１Ｄ、１Ｅ）によって撮像された第１撮像画像データと第２撮像画像データを提供する処理（サーバ装置１０１のデータ提供機能）と、をコンピュータ装置が実行するものである。そして、カメラシステム１は、撮像のための光学素子（レンズやアイリス等）を含む撮像光学系２と、撮像光学系２を介して入射された光（被写体光）を分光するミラー（可動ミラー３Ａやハーフミラー３Ｂなどの第１ミラー３）と、該ミラーを介して入射される入射光（被写体光）を受光し光電変換を行うことにより機械学習の学習データとして用いられる第１撮像画像データを出力する第１撮像素子５と、該ミラーを介して入射される入射光を受光し光電変換を行うことにより学習データとして用いられる第２撮像画像データを出力する第２撮像素子６と、を備えたものである。
これにより、同一の撮像光学系２を通過した光を受光する第１撮像素子５と第２撮像素子６による光電変換により得られた第１撮像画像データと第２撮像画像データがユーザに対して提供される。
従って、第１撮像画像データと第２撮像画像データの差分の要因から撮像光学系の違いを排除することができるため、一方の撮像画像データから他方の撮像画像データを推定するための適切な学習データを提供することができる。そして、これらの学習データとしての撮像画像データを用いた機械学習を行うことにより、ユーザＵは学習モデルの高精度化を図ることができる。
特に、第１撮像素子５と第２撮像素子６で撮像光学系２を共通とすることにより、画角や被写体までの距離や撮影方向といった撮影に関する各種条件を両撮像素子間で完全に一致させることができるため好適である。
上述した提供システム１００（１００Ａ）が実行する提供方法は、ユーザから機械学習に用いられる学習データの提供要求を受信する処理（サーバ装置１０１の要求受信機能）と、前記要求に応じてカメラシステム１（１Ａ、１Ａ’、１Ｂ、１Ｂ’、１Ｃ、１Ｃ’、１Ｄ、１Ｅ）によって撮像された第１撮像画像データと第２撮像画像データを提供する処理（サーバ装置１０１のデータ提供機能）と、をコンピュータ装置が実行するものである。そして、カメラシステム１は、撮像のための光学素子（レンズやアイリス等）を含む撮像光学系２と、撮像光学系２を介して入射された光（被写体光）を分光するミラー（可動ミラー３Ａやハーフミラー３Ｂなどの第１ミラー３）と、該ミラーを介して入射される入射光（被写体光）を受光し光電変換を行うことにより機械学習の学習データとして用いられる第１撮像画像データを出力する第１撮像素子５と、該ミラーを介して入射される入射光を受光し光電変換を行うことにより学習データとして用いられる第２撮像画像データを出力する第２撮像素子６と、を備えたものである。
これにより、同一の撮像光学系２を通過した光を受光する第１撮像素子５と第２撮像素子６による光電変換により得られた第１撮像画像データと第２撮像画像データがユーザに対して提供される。
従って、第１撮像画像データと第２撮像画像データの差分の要因から撮像光学系の違いを排除することができるため、一方の撮像画像データから他方の撮像画像データを推定するための適切な学習データを提供することができる。そして、これらの学習データとしての撮像画像データを用いた機械学習を行うことにより、ユーザＵは学習モデルの高精度化を図ることができる。
特に、第１撮像素子５と第２撮像素子６で撮像光学系２を共通とすることにより、画角や被写体までの距離や撮影方向といった撮影に関する各種条件を両撮像素子間で完全に一致させることができるため好適である。
【0174】
<１０．本技術>
本技術は以下のような構成を採ることもできる。
（１）
撮像のための光学素子を含む撮像光学系と、
前記撮像光学系を介して入射された光を分光するミラーと、
前記ミラーを介して入射される入射光を受光し光電変換を行うことにより機械学習の学習データとして用いられる第１撮像画像データを出力する第１撮像素子と、
前記ミラーを介して入射される入射光を受光し光電変換を行うことにより前記学習データとして用いられる第２撮像画像データを出力する第２撮像素子と、を備えた
カメラシステム。
（２）
前記分光は時分割分光とされた
上記（１）に記載のカメラシステム。
（３）
前記ミラーにおける反射光が前記第１撮像素子に導かれる第１位置と前記反射光が前記第２撮像素子に導かれる第２位置との間で前記ミラーを可動させるミラー可動部を備えた
上記（２）に記載のカメラシステム。
（４）
前記ミラーはハーフミラーとされ、
前記分光は前記ハーフミラーによる同時分光とされ、
前記ハーフミラーにおける反射光が前記第１撮像素子及び前記第２撮像素子における一方の撮像素子に入射され、前記ハーフミラーにおける透過光が他方の撮像素子に入射される
上記（１）から上記（３）の何れかに記載のカメラシステム。
（５）
前記第１撮像画像データはカラー画像データとされた
上記（１）から上記（５）の何れかに記載のカメラシステム。
（６）
前記第２撮像画像データは距離画像データとされた
上記（５）に記載のカメラシステム。
（７）
前記第２撮像素子の撮像動作に同期させて発光制御される発光部を備えた
上記（６）に記載のカメラシステム。
（８）
前記第２撮像画像データは、偏光画像データとされた
上記（５）に記載のカメラシステム。
（９）
前記第１撮像素子が備える光学フィルタと前記第２撮像素子が備える光学フィルタは光学特性が異なるものとされた
上記（１）から上記（８）の何れかに記載のカメラシステム。
（１０）
前記第１撮像素子は原色系カラーフィルタを備え、
前記第２撮像素子は補色系カラーフィルタを備えた
上記（９）に記載のカメラシステム。
（１１）
前記第２撮像画像データはモノクロ画像データとされた
上記（５）に記載のカメラシステム。
（１２）
前記第１撮像素子は位相差画素を含まない画素構成とされ、
前記第２撮像素子は位相差画素を含んだ画素構成とされた
上記（１）から上記（１１）の何れかに記載のカメラシステム。
（１３）
前記第１撮像素子は、異なるカラーフィルタを有する画素が所定パターンで配列され、
前記第２撮像素子は、互いに波長の異なる光を吸収する複数の光吸収層を有する画素が配列された
上記（１）から上記（１２）の何れかに記載のカメラシステム。
（１４）
前記第２撮像素子は前記第１撮像素子よりも光学的クロストークの発生頻度及び受光感度が共に高くされた
上記（１）から上記（１３）の何れかに記載のカメラシステム。
（１５）
前記第１撮像画像データの画素数と前記第２撮像画像データの画素数は同一とされた
上記（１）から上記（１４）の何れかに記載のカメラシステム。
（１６）
前記第１撮像画像データの画素数は前記第２撮像画像データの画素数よりも多くされた
上記（１）から上記（１５）の何れかに記載のカメラシステム。
本技術は以下のような構成を採ることもできる。
（１）
撮像のための光学素子を含む撮像光学系と、
前記撮像光学系を介して入射された光を分光するミラーと、
前記ミラーを介して入射される入射光を受光し光電変換を行うことにより機械学習の学習データとして用いられる第１撮像画像データを出力する第１撮像素子と、
前記ミラーを介して入射される入射光を受光し光電変換を行うことにより前記学習データとして用いられる第２撮像画像データを出力する第２撮像素子と、を備えた
カメラシステム。
（２）
前記分光は時分割分光とされた
上記（１）に記載のカメラシステム。
（３）
前記ミラーにおける反射光が前記第１撮像素子に導かれる第１位置と前記反射光が前記第２撮像素子に導かれる第２位置との間で前記ミラーを可動させるミラー可動部を備えた
上記（２）に記載のカメラシステム。
（４）
前記ミラーはハーフミラーとされ、
前記分光は前記ハーフミラーによる同時分光とされ、
前記ハーフミラーにおける反射光が前記第１撮像素子及び前記第２撮像素子における一方の撮像素子に入射され、前記ハーフミラーにおける透過光が他方の撮像素子に入射される
上記（１）から上記（３）の何れかに記載のカメラシステム。
（５）
前記第１撮像画像データはカラー画像データとされた
上記（１）から上記（５）の何れかに記載のカメラシステム。
（６）
前記第２撮像画像データは距離画像データとされた
上記（５）に記載のカメラシステム。
（７）
前記第２撮像素子の撮像動作に同期させて発光制御される発光部を備えた
上記（６）に記載のカメラシステム。
（８）
前記第２撮像画像データは、偏光画像データとされた
上記（５）に記載のカメラシステム。
（９）
前記第１撮像素子が備える光学フィルタと前記第２撮像素子が備える光学フィルタは光学特性が異なるものとされた
上記（１）から上記（８）の何れかに記載のカメラシステム。
（１０）
前記第１撮像素子は原色系カラーフィルタを備え、
前記第２撮像素子は補色系カラーフィルタを備えた
上記（９）に記載のカメラシステム。
（１１）
前記第２撮像画像データはモノクロ画像データとされた
上記（５）に記載のカメラシステム。
（１２）
前記第１撮像素子は位相差画素を含まない画素構成とされ、
前記第２撮像素子は位相差画素を含んだ画素構成とされた
上記（１）から上記（１１）の何れかに記載のカメラシステム。
（１３）
前記第１撮像素子は、異なるカラーフィルタを有する画素が所定パターンで配列され、
前記第２撮像素子は、互いに波長の異なる光を吸収する複数の光吸収層を有する画素が配列された
上記（１）から上記（１２）の何れかに記載のカメラシステム。
（１４）
前記第２撮像素子は前記第１撮像素子よりも光学的クロストークの発生頻度及び受光感度が共に高くされた
上記（１）から上記（１３）の何れかに記載のカメラシステム。
（１５）
前記第１撮像画像データの画素数と前記第２撮像画像データの画素数は同一とされた
上記（１）から上記（１４）の何れかに記載のカメラシステム。
（１６）
前記第１撮像画像データの画素数は前記第２撮像画像データの画素数よりも多くされた
上記（１）から上記（１５）の何れかに記載のカメラシステム。
【符号の説明】
【0175】
１、１Ａ、１Ａ’、１Ｂ、１Ｂ’、１Ｃ、１Ｃ’、１Ｄ、１Ｅ カメラシステム
２ 撮像光学系
３ 第１ミラー（ミラー）
３Ａ 可動ミラー（ミラー）
３Ｂ ハーフミラー（ミラー）
５ 第１撮像素子
６ 第２撮像素子
７ ミラー可動部
９ 発光部
Ｐ１ 第１位置
Ｐ２ 第２位置
２ 撮像光学系
３ 第１ミラー（ミラー）
３Ａ 可動ミラー（ミラー）
３Ｂ ハーフミラー（ミラー）
５ 第１撮像素子
６ 第２撮像素子
７ ミラー可動部
９ 発光部
Ｐ１ 第１位置
Ｐ２ 第２位置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】