特開2019-213130(P2019-213130A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オリンパス株式会社の特許一覧
特開2019-213130撮像装置、学習装置、撮像方法、学習方法、画像データ作成方法およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2019-213130(P2019-213130A)
(43)【公開日】2019年12月12日
(54)【発明の名称】撮像装置、学習装置、撮像方法、学習方法、画像データ作成方法およびプログラム
(51)【国際特許分類】
   H04N 5/232 20060101AFI20191115BHJP
   G03B 17/18 20060101ALI20191115BHJP
   G06N 20/00 20190101ALI20191115BHJP
【FI】
   H04N5/232 220
   H04N5/232 300
   H04N5/232 939
   G03B17/18 Z
   G03B17/18 A
   G06N99/00 150
【審査請求】未請求
【請求項の数】13
【出願形態】OL
【全頁数】34
(21)【出願番号】特願2018-109783(P2018-109783)
(22)【出願日】2018年6月7日
(71)【出願人】
【識別番号】000000376
【氏名又は名称】オリンパス株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】特許業務法人酒井国際特許事務所
(72)【発明者】
【氏名】谷 憲
(72)【発明者】
【氏名】新谷 浩一
(72)【発明者】
【氏名】原 聡司
【テーマコード(参考)】
2H102
5C122
【Fターム(参考)】
2H102AA01
2H102AA02
2H102AA03
2H102AA08
2H102AA13
2H102AA17
2H102AA52
5C122DA04
5C122EA12
5C122EA48
5C122FA11
5C122FF01
5C122FF18
5C122FK08
5C122FK33
5C122FK34
5C122FK41
5C122GA01
5C122GA23
5C122GC01
5C122GC14
5C122HA03
5C122HA13
5C122HB01
5C122HB02
5C122HB05
(57)【要約】
【課題】入力した画像に対する解答を如何にして撮像することができるのかを把握させることができる撮像装置、学習装置、撮像方法、学習方法およびプログラムを提供する。
【解決手段】撮像装置2は、複数の画像データを用いて少なくとも撮影パラメータを含む基本設定種別をシーン毎に学習した第1の学習結果に基づいて、シーン判定部122によって判定されたシーンにおいて最適な基本設定種別、基本設定種別において変更を推奨する基本設定範囲を推定する分類器123と、分類器123が推定した基本設定種別に変更を促す第1の情報を表示部110に表示させる表示制御部121cと、を備える。
【選択図】図2
【特許請求の範囲】
【請求項1】
画像データを生成することができる撮像部と、
前記画像データに基づいて、前記撮像部の撮影時におけるシーンを判定するシーン判定部と、
複数の画像データを用いて少なくとも撮影パラメータを含む基本設定種別をシーン毎に学習した第1の学習結果に基づいて、前記シーン判定部によって判定された前記シーンおよび前記画像データにおいて最適な前記基本設定種別、前記基本設定種別において変更を推奨する基本設定範囲を推定する分類器と、
前記分類器が推定した前記基本設定種別に変更を促す第1の情報を表示部に表示させる表示制御部と、
を備える撮像装置。
【請求項2】
前記分類器は、複数の特殊画像データを用いて少なくとも特殊画像処理を含む応用機能をシーン毎に学習した第2の学習結果に基づいて、前記シーン判定部によって判定された前記シーンおよび前記画像データにおいて最適な前記応用機能をさらに推定し、
前記表示制御部は、前記分類器が推定した前記応用機能を適用することを促す第2の情報を前記表示部に表示させる
請求項1に記載の撮像装置。
【請求項3】
前記分類器は、前記第1の学習結果に基づいて、前記シーン判定部によって判定された前記シーンおよび前記画像データにおいて前記基本設定種別の変更を推奨する際に最適な前記基本設定種別の設定順をさらに推定し、
前記表示制御部は、前記分類器が推定した前記設定順によって前記第1の情報を切り替えながら前記表示部に順次表示させる
請求項1または2に記載の撮像装置。
【請求項4】
前記撮像部に設定された現在の撮影パラメータを含む設定値を検出する検出部と、
を備え、
前記表示制御部は、前記基本設定範囲に前記設定値を重畳して前記表示部に表示させる
請求項1〜3のいずれか一つに記載の撮像装置。
【請求項5】
撮影を指示する指示信号の入力を受け付ける第1の操作部と、
少なくとも前記撮像部の撮影パラメータの変更を指示する変更信号の入力を受け付ける第2の操作部と、
前記第2の操作部から入力された前記変更信号に基づいて、前記撮像部を制御する撮像制御部と、
前記第2の操作部の操作によって前記設定値から遷移した遷移結果および前記基本設定種別の変更順を含む操作履歴と、前記画像データと、を対応付けた画像ファイルを記録する記録部と、
前記記録部を制御する記録制御部と、
をさらに備え、
前記撮像制御部は、前記第1の操作部から前記指示信号が入力された場合、前記撮像部に撮影を実行させ、
前記記録制御部は、前記シーン判定部が判定した前記シーンと、前記撮像部が撮影した前記画像データと、前記指示信号が入力された時刻から所定時間遡った時刻までの期間の前記操作履歴と、を対応付けて前記画像ファイルを前記記録部に記録する
請求項4に記載の撮像装置。
【請求項6】
画像データを生成することができる撮像部と、
所定の通信規格に従って外部機器またはサーバへ前記画像データを送信し、かつ、前記外部機器または前記サーバが前記画像データに基づく前記撮像部の撮影時におけるシーンを判定した判定結果に応じて前記外部機器または前記サーバが備える分類器が推定した前記撮像部に最適な基本設定種別であって、少なくとも撮影パラメータを含む基本設定種別と、前記基本設定種別において変更を推奨する基本設定範囲と、を受信する通信部と、
前記基本設定種別に変更を促す第1の情報を表示部に表示させる表示制御部と、
を備える撮像装置。
【請求項7】
外部から入力された複数の画像ファイルであって、画像データと操作履歴とが対応付けられた複数の画像ファイルの入力を教師データとして受け付けて学習することによって第1の学習結果を生成する学習部と、
前記学習部によって生成された前記第1の学習結果を外部の機器が備える分類器に送信することによって前記分類器が記録する学習結果を更新させる制御部と、
を備える学習装置。
【請求項8】
前記操作履歴は、
撮影を指示する指示信号が入力された時刻から所定時間遡った時刻までの期間において撮影パラメータの基本設定種別の変更順と、
撮影パラメータの設定値から遷移した遷移結果と、
を含む請求項7に記載の学習装置。
【請求項9】
画像データを生成する撮像ステップと、
前記画像データに基づいて、撮像部の撮影時におけるシーンを判定するシーン判定ステップと、
複数の画像データを用いて少なくとも撮影パラメータを含む基本設定種別をシーン毎に学習した第1の学習結果に基づいて、前記シーン判定ステップにおいて判定された前記シーンおよび前記画像データにおいて最適な前記基本設定種別、前記基本設定種別において変更を推奨する基本設定範囲を推定する推定ステップと、
前記基本設定種別に変更を促す第1の情報を表示部に表示させる表示制御ステップと、
を含む撮像方法。
【請求項10】
外部から入力された複数の画像ファイルであって、画像データと操作履歴とが対応付けられた複数の画像ファイルの入力を受け付けて学習することによって第1の学習結果を生成する学習ステップと、
前記第1の学習結果を外部の機器が備える分類器に送信することによって前記分類器が記録する学習結果を更新させる制御ステップと、
を含む学習方法。
【請求項11】
画像データを生成する撮像装置が実行する画像データ作成方法であって、
特定シーンの撮像時に前記画像データに影響するパラメータに対するユーザの操作を検出することによって操作履歴情報を生成する生成ステップと、
当該撮像装置の操作後に撮影後に撮影された画像データと前記操作履歴情報とをファイル化するファイル化ステップと、
前記画像データを入力した場合、前記操作履歴情報が出力されるシーン別推論モデルを作成するための教師画像データと該教師画像データの撮影時の操作履歴とを対応付けられた教師データ用画像ファイルを生成するファイル生成ステップと、
を含む画像データ作成方法。
【請求項12】
撮像装置が実行するプログラムであって、
画像データを生成し、
前記画像データに基づいて、撮像部の撮影時におけるシーンを判定し、
複数の画像データを用いて少なくとも撮影パラメータを含む基本設定種別をシーン毎に学習した第1の学習結果に基づいて、判定された前記シーンおよび前記画像データにおいて最適な前記基本設定種別、前記基本設定種別において変更を推奨する基本設定範囲を推定し、
前記基本設定種別に変更を促す第1の情報を表示部に表示させる
プログラム。
【請求項13】
学習装置が実行するプログラムであって、
外部から入力された複数の画像ファイルであって、画像データと操作履歴とが対応付けられた複数の画像ファイルの入力を受け付けて学習することによって第1の学習結果を生成し、
前記第1の学習結果を外部の機器が備える分類器に送信することによって前記分類器が記録する学習結果を更新させる
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、被写体を撮像して該被写体の画像データを生成する撮像装置、画像データを用いて学習する学習装置、撮像方法、学習方法、画像データ作成方法およびプログラムに関する。
【背景技術】
【0002】
近年、静止画像や動画に関連する質問に対する解答を自動的に生成する技術が知られている(特許文献1参照)。この技術では、画像と、この画像に関連する問題との入力を受け付け、受け付けた問題と画像を注目に基づく畳み込みニューラルネットワークフレームワークに入力することによって解答を生成する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2017−91525号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、従来の畳み込みニューラルネットワークフレームワークを用いた深層学習では、質問に対して、入力で受け付けた画像に何か写っているかを自動的に最適な画像で解答するのみである。しかしながら、ユーザによっては、解答で得られた画像が最適でない場合があるうえ、解答で得られた画像に対してさらに自身の味付けを行いたい場合があり、入力した画像に対してユーザが所望する画像を如何にして撮像することができるのかを把握したいという要望がある。
【0005】
本開示は、上記に鑑みてなされたものであって、入力した画像に対してユーザが所望する画像を如何にして撮像することができるのかを把握させることができる撮像装置、学習装置、撮像方法、学習方法、画像データ作成方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決し、目的を達成するために、本開示に係る撮像装置は、画像データを生成することができる撮像部と、前記画像データに基づいて、前記撮像部の撮影時におけるシーンを判定するシーン判定部と、複数の画像データを用いて少なくとも撮影パラメータを含む基本設定種別をシーン毎に学習した第1の学習結果に基づいて、前記シーン判定部によって判定された前記シーンおよび前記画像データにおいて最適な前記基本設定種別、前記基本設定種別において変更を推奨する基本設定範囲を推定する分類器と、前記分類器が推定した前記基本設定種別に変更を促す第1の情報を表示部に表示させる表示制御部と、を備える。
【0007】
また、本開示に係る撮像装置は、上記開示において、前記分類器は、複数の特殊画像データを用いて少なくとも特殊画像処理を含む応用機能をシーン毎に学習した第2の学習結果に基づいて、前記シーン判定部によって判定された前記シーンおよび前記画像データにおいて最適な前記応用機能をさらに推定し、前記表示制御部は、前記分類器が推定した前記応用機能を適用することを促す第2の情報を前記表示部に表示させる。
【0008】
また、本開示に係る撮像装置は、上記開示において、前記分類器は、前記第1の学習結果に基づいて、前記シーン判定部によって判定された前記シーンおよび前記画像データにおいて前記基本設定種別の変更を推奨する際に最適な前記基本設定種別の設定順をさらに推定し、前記表示制御部は、前記分類器が推定した前記設定順によって前記第1の情報を切り替えながら前記表示部に順次表示させる。
【0009】
また、本開示に係る撮像装置は、上記開示において、前記撮像部に設定された現在の撮影パラメータを含む設定値を検出する検出部と、を備え、前記表示制御部は、前記基本設定範囲に前記設定値を重畳して前記表示部に表示させる。
【0010】
また、本開示に係る撮像装置は、上記開示において、撮影を指示する指示信号の入力を受け付ける第1の操作部と、少なくとも前記撮像部の撮影パラメータの変更を指示する変更信号の入力を受け付ける第2の操作部と、前記第2の操作部から入力された前記変更信号に基づいて、前記撮像部を制御する撮像制御部と、前記第2の操作部の操作によって前記設定値から遷移した遷移結果および前記基本設定種別の変更順を含む操作履歴と、前記画像データと、を対応付けた画像ファイルを記録する記録部と、前記記録部を制御する記録制御部と、をさらに備え、前記撮像制御部は、前記第1の操作部から前記指示信号が入力された場合、前記撮像部に撮影を実行させ、前記記録制御部は、前記シーン判定部が判定した前記シーンと、前記撮像部が撮影した前記画像データと、前記指示信号が入力された時刻から所定時間遡った時刻までの期間の前記操作履歴と、を対応付けて前記画像ファイルを前記記録部に記録する。
【0011】
また、本開示に係る撮像装置は、上記開示において、画像データを生成することができる撮像部と、所定の通信規格に従って外部機器またはサーバへ前記画像データを送信し、かつ、前記外部機器または前記サーバが前記画像データに基づく前記撮像部の撮影時におけるシーンを判定した判定結果に応じて前記外部機器または前記サーバが備える分類器が推定した前記撮像部に最適な基本設定種別であって、少なくとも撮影パラメータを含む基本設定種別と、前記基本設定種別において変更を推奨する基本設定範囲と、を受信する通信部と、前記基本設定種別に変更を促す第1の情報を表示部に表示させる表示制御部と、を備える。
【0012】
また、本開示に係る学習装置は、外部から入力された複数の画像ファイルであって、画像データと操作履歴とが対応付けられた複数の画像ファイルの入力を教師データとして受け付けて学習することによって第1の学習結果を生成する学習部と、前記学習部によって生成された前記第1の学習結果を外部の機器が備える分類器に送信することによって前記分類器が記録する学習結果を更新させる制御部と、を備える。
【0013】
また、本開示に係る学習装置は、前記操作履歴は、撮影を指示する指示信号が入力された時刻から所定時間遡った時刻までの期間において撮影パラメータの基本設定種別の変更順と、撮影パラメータの設定値から遷移した遷移結果と、を含む。
【0014】
また、本開示に係る撮像方法は、画像データを生成する撮像ステップと、前記画像データに基づいて、撮像部の撮影時におけるシーンを判定するシーン判定ステップと、複数の画像データを用いて少なくとも撮影パラメータを含む基本設定種別をシーン毎に学習した第1の学習結果に基づいて、前記シーン判定ステップにおいて判定された前記シーンおよび前記画像データにおいて最適な前記基本設定種別、前記基本設定種別において変更を推奨する基本設定範囲を推定する推定ステップと、前記基本設定種別に変更を促す第1の情報を表示部に表示させる表示制御ステップと、を含む。
【0015】
また、本開示に係る学習方法は、外部から入力された複数の画像ファイルであって、画像データと操作履歴とが対応付けられた複数の画像ファイルの入力を受け付けて学習することによって第1の学習結果を生成する学習ステップと、前記第1の学習結果を外部の機器が備える分類器に送信することによって前記分類器が記録する学習結果を更新させる制御ステップと、を含む。
【0016】
また、本開示に係る画像データ作成方法は、画像データを生成する撮像装置が実行する画像データ作成方法であって、特定シーンの撮像時に前記画像データに影響するパラメータに対するユーザの操作を検出することによって操作履歴情報を生成する生成ステップと、当該撮像装置の操作後に撮影後に撮影された画像データと前記操作履歴情報とをファイル化するファイル化ステップと、前記画像データを入力した場合、前記操作履歴情報が出力されるシーン別推論モデルを作成するための教師画像データと該教師画像データの撮影時の操作履歴とを対応付けられた教師データ用画像ファイルを生成するファイル生成ステップと、を含む。
【0017】
また、本開示に係るプログラムは、撮像装置が実行するプログラムであって、画像データを生成し、前記画像データに基づいて、撮像部の撮影時におけるシーンを判定し、複数の画像データを用いて少なくとも撮影パラメータを含む基本設定種別をシーン毎に学習した第1の学習結果に基づいて、判定された前記シーンおよび前記画像データにおいて最適な前記基本設定種別、前記基本設定種別において変更を推奨する基本設定範囲を推定し、前記基本設定種別に変更を促す第1の情報を表示部に表示させる。
【0018】
また、本開示に係るプログラムは、学習装置が実行するプログラムであって、外部から入力された複数の画像ファイルであって、画像データと操作履歴とが対応付けられた複数の画像ファイルの入力を受け付けて学習することによって第1の学習結果を生成し、前記第1の学習結果を外部の機器が備える分類器に送信することによって前記分類器が記録する学習結果を更新させる。
【発明の効果】
【0019】
本開示によれば、入力した画像に対する解答を如何にして撮像することができるのかを把握させることができるという効果を奏する。
【図面の簡単な説明】
【0020】
図1図1は、本開示の実施の形態1に係る撮像システムの概要を示す模式図である。
図2図2は、本開示の実施の形態1に係る撮像装置の機能構成を示すブロック図である。
図3図3は、本開示の実施の形態1に係るサーバの機能構成を示すブロック図である。
図4図4は、本開示の実施の形態1に係る撮像システムが実行する処理の概要を説明するフローチャートである。
図5図5は、本開示の実施の形態1に係る撮像装置が備える表示部が表示する画像の一例を模式的に示す図である。
図6図6は、本開示の実施の形態1に係るサーバが備える分類器による基本設定種別および設定範囲の推定方法を模式的に説明する図である。
図7図7は、基本設定種別の一例を示す図である。
図8図8は、基本設定範囲の一例を示す図である。
図9図9は、操作履歴の一例を模式的に示す図である。
図10図10は、本開示の実施の形態1に係る撮像装置が備える表示部が表示する画像の別の一例を模式的に示す図である。
図11図11は、本開示の実施の形態1に係る撮像装置が備える表示部が表示する画像の別の一例を模式的に示す図である。
図12図12は、本開示の実施の形態1に係る撮像装置が備える表示部が表示する画像の別の一例を模式的に示す図である。
図13図13は、本開示の実施の形態1に係る撮像装置が実行する処理の概要を示すフローチャートである。
図14図14は、本開示の実施の形態1に係るサーバが実行する処理の概要を示すフローチャートである。
図15図15は、本開示の実施の形態1に係るサーバの学習部が実行する学習処理の概要を示すフローチャートである。
図16図16は、本開示の実施の形態2に係る撮像システムが実行する処理の概要を説明するフローチャートである。
図17図17は、本開示の実施の形態2に係る撮像装置が備える表示部が表示する画像の一例を示す図である。
図18図18は、本開示の実施の形態2に係るサーバが備える分類器による基本設定種別および設定範囲の推定方法を模式的に説明する図である。
図19図19は、応用機能の一例を示す図である。
図20図20は、本開示の実施の形態2に係る撮像装置が備える表示部が表示する画像の一例を示す図である。
図21図21は、本開示の実施の形態2に係る撮像装置が備える表示部が表示する画像の一例を示す図である。
図22図22は、本開示の実施の形態2に係る撮像装置が実行する処理の概要を示すフローチャートである。
図23図23は、本開示の実施の形態2に係るサーバが実行する処理の概要を示すフローチャートである。
図24図24は、本開示の実施の形態3に係る撮像装置が実行する処理の概要を示すフローチャートである。
図25図25は、撮影時の状況を模式的に示す図である。
図26図26は、本開示の実施の形態3に係る撮像装置が備える表示部の画像の一例を示す図である。
図27図27は、本開示の実施の形態3に係る撮像装置に対する撮影パラメータの操作履歴の概要を示すタイミングチャートである。
図28図28は、本開示の実施の形態3に係る撮像装置に装着された記録媒体に記録される静止画画像ファイルの一例を模式的に示す図である。
図29図29は、サーバ4が実行する処理の概要を示すフローチャートである。
図30図30は、本開示のその他の実施の形態に係る顕微鏡の概略構成を模式的に示す図である。
図31図31は、本開示のその他の実施の形態に係る顕微鏡が備える表示部が表示する画像の一例を模式的に示す図である。
図32図32は、本開示のその他の実施の形態に係る顕微鏡が備える表示部が表示する画像の一例を模式的に示す図である。
図33図33は、本開示のその他の実施の形態に係る顕微鏡が備える表示部が表示する画像の一例を模式的に示す図である。
図34図34は、本開示のその他の実施の形態に係る顕微鏡が備える表示部が表示する画像の一例を模式的に示す図である。
図35図35は、本開示のその他の実施の形態に係る顕微鏡が備える表示部が表示する画像の一例を模式的に示す図である。
【発明を実施するための形態】
【0021】
以下、本開示を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本開示が限定されるものではない。また、以下の説明において参照する各図は、本開示の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。すなわち、本開示は、各図で例示された形状、大きさおよび位置関係のみに限定されるものではない。さらに、以下の説明では、撮像装置を例に説明するが、撮像装置以外にも、タブレット型端末装置、カムコーダ、撮影機能付きICレコーダ、ビデオマイクロスコープや生物顕微鏡等の顕微鏡、工業用または医療用の内視鏡、超音波スコープおよび電気メス等処置具の撮像機能または表示機能を有する機器であっても適用することができる。
【0022】
(実施の形態1)
〔撮像システムの概略〕
図1は、本開示の実施の形態1に係る撮像システムの概要を示す模式図である。図1に示す撮像システム1は、撮像装置2と、ネットワークN100を経由して撮像装置2が接続することができるサーバ4と、を備える。なお、以下の説明では、撮像装置2をデジタルスチルカメラとして説明するが、デジタルスチルカメラ以外にも、携帯電話、ドローン、タブレット型端末装置、カムコーダ、撮影機能付きICレコーダ、ビデオマイクロスコープや生物顕微鏡等の顕微鏡、工業用または医療用の内視鏡、超音波スコープおよび電気メス等処置具の撮像機能または表示機能を有する機器であっても適用することができる。さらに、撮像装置2は、ネットワークN100を経由してサーバ4と所定の通信規格に従って双方向に通信を行っているが、これに限定されることなく、例えば携帯電話や携帯型のルータを経由することによってサーバ4と通信を行ってもよい。
【0023】
図1に示す状況下において、撮像装置2は、撮影した画像データと、撮影時のシーンと、撮影時の各種情報を含むExifと、を対応付けた画像ファイルをサーバ4へ送信する。また、撮像装置2は、サーバ4から各種プログラムをアップデータするためのデータや新規なプログラムのデータ等を受信する。サーバ4は、撮像装置2から送信された画像ファイルを記録するとともに、画像ファイルに格納されたExifの各種パラメータ、撮影時のシーンおよび画像データを用いて周知の機械学習を行うことによって学習結果を生成し、この学習結果を用いた分類器または識別器を生成するとともに、撮像装置2へ学習結果を送信する。
【0024】
また、撮像装置2は、撮像する状況に応じて、顔の特徴を有する画像が得られているか、対象物の画像の動きやカメラの姿勢、加速度や、対象物の距離やシーンの明るさや色成分に応じて、例えばポートレート、風景、マクロ、夜景、夕景、スポーツなどのシーン判定した後に、そのシーンに相応しい操作の方法を機械学習しておき、学習結果を生成してもよい。このシーンは、GPSなどの位置情報やカレンダーや日時、時刻の情報で、さらにシーンを細かく分類してもよい。このあたりのシーン判定そのものを機械学習の結果で行ってもよい。また、特定のプログラムの分岐等でシーンを検出してもよい。したがって、シーン検出した結果ごとに、対応するシーンの画像データが得られる。この時に、ユーザが、さらに手動操作をして、細かい撮影パラメータなどの調整、設定をする場合があるが、このユーザ操作も各操作部等が撮影前にどのように操作されたかを履歴として記録しておくことができる(生成ステップ)。これによって、特定シーンの撮像時に画像に影響するパラメータに対するユーザの操作を検出して操作履歴情報とすることができ、上記操作後に撮影された画像データとを対応付けてファイル化を行うことができる(ファイル生成ステップ)。この画像データと上記操作履歴情報をファイル化する制御ができるように構成すれば、上記画像データを入力したときに上記操作履歴情報が出力されるようなシーン別の推論モデルを作成することができる。したがって、撮影画像データと当該画像データ撮像時の操作履歴とが対応付けられた教師データ用画像ファイルを作成する(ファイル生成ステップ)。この結果、機械学習によって使いやすくした撮像装置2を提供することができる。これをシーンごとに推論モデルを用意することによって、特定のシーン特有の設定などを専門的に解析、学習するので推論に誤差要因がなくなり精度が向上する。
【0025】
〔撮像装置の構成〕
まず、撮像装置2の構成について説明する。
図2は、撮像装置2の機能構成を示すブロック図である。
図2に示す撮像装置2は、本体部10と、本体部10に対して着脱自在なレンズ装置20と、を備える。
【0026】
〔レンズ装置の構成〕
まず、レンズ装置20の構成について説明する。
レンズ装置20は、光学系201と、絞り202と、ドライバ203と、レンズ制御部204と、レンズ通信部205と、を備える。
【0027】
光学系201は、単数または複数のレンズを用いて構成され、所定の視野領域から光を集光して被写体像を結像する。光学系201は、後述するレンズ制御部204の制御のもと、ドライバ203によって光軸方向に移動することで、焦点距離や焦点位置を変更する。
【0028】
絞り202は、光学系201が集光した光の入射量を制御することで露出の調整を行う。絞り202は、ドライバ203によって絞り値を変更する。
【0029】
ドライバ203は、レンズ制御部204の制御のもと、光学系201を光軸方向に沿って移動させることによって光学系201の焦点位置や焦点距離を変更する。また、ドライバ203は、レンズ制御部204の制御のもと、絞り202を駆動させて絞り値を変更する。ドライバ203は、駆動回路等を用いて構成される。
【0030】
レンズ制御部204は、レンズ通信部205を介して本体部10から入力された指示信号に基づいて、ドライバ203の駆動を制御することによって光学系201および絞り202を制御する。レンズ制御部204は、CPU(Central Processing Unit)等を用いて構成される。
【0031】
レンズ通信部205は、所定の通信規格に従って本体部10から入力された指示信号をレンズ制御部204へ送信するとともに、レンズ制御部204から入力された信号を本体部10へ送信する。
【0032】
〔本体部の構成〕
次に、本体部10の構成について説明する。
本体部10は、シャッタ100と、撮像素子101と、通信部102と、SDRAM(Synchronous Dynamic Random Access Memory)103と、メモリI/F104と、Flashメモリ105と、画像処理部106と、操作部107と、電池108と、表示駆動部109と、表示部110と、タッチパネル111と、GPS112と、ジャイロセンサ113と、加速度センサ114と、地磁気センサ115と、第1通信部116と、第2通信部117と、第3通信部118と、バス119と、時計120と、制御部121と、シーン判定部122と、分類器123と、学習部124と、を備える。この分類機123や学習部124は、外部に用意して、ネットワークN100を経由してこれを通信で使えるようにしてもよい。
【0033】
シャッタ100は、後述する制御部121の制御のもと、撮像素子101の状態を露光状態または遮光状態に設定する。シャッタ100は、例えばフォーカルプレーンシャッタ等を用いて構成される。なお、シャッタ100を用いずに、後述する撮像素子101における電子シャッタを用いてもよい。
【0034】
撮像素子101は、後述する制御部121の制御のもと、光学系201が集光した被写体像を受光して光電変換を行うことによって画像データ(RAWデータ)を生成して出力する。撮像素子101は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサを用いて構成される。なお、実施の形態1では、撮像素子101をベイヤー配列のイメージセンサを例に説明するが、例えばFovionのような積層型のイメージセンサであってもよいし、赤外光に感度を持つ画素を有するイメージセンサであってもよい。また、撮像素子101は、後述する制御部121の制御のもと、受光量を電子的に制御することができる電子シャッタ機能を有する。なお、実施の形態1では、撮像素子101、光学系201、絞り202およびシャッタ100が撮像部として機能する。
【0035】
通信部102は、所定の通信規格に従って制御部121から入力された指示信号をレンズ装置20へ送信するとともに、レンズ装置20から入力された信号を制御部121へ送信する。
【0036】
SDRAM103は、バス119を介して撮像素子101から入力された画像データ(RAWデータ)や撮像装置2が処理中の各種情報を一時的に記録する。
【0037】
メモリI/F104は、後述する制御部121の制御のもと、本体部10の外部から装着されるメモリカード等の記録媒体W1に対して画像データを書き込むとともに、記録媒体W1に記録された画像データを読み出し、この画像データをSDRAM103へ出力する。
【0038】
Flashメモリ105は、撮像装置2を動作させるための各種プログラム、プログラムの実行中に使用される各種データを記録する。Flashメモリ105は、撮像装置2が実行する各種プログラムおよび各種プログラムの実行中に使用されるデータを記録するプログラム記録部105aを有する。
【0039】
画像処理部106は、DSP(Digital Signal Processing)、GPU(Graphics Processing Unit)およびFPGA(Field Programmable Gate Array)等を用いて構成され、撮像素子101が生成した画像データ(RAWデータ)に対して、所定の画像処理を行う。ここで、所定の画像処理として、ノイズ低減処理、オプティカルブラック減算処理、ホワイトバランス調整処理、撮像素子101がベイヤー配列の場合には画像データの同時化処理、カラーマトリクス演算処理、γ補正処理、色再現処理およびエッジ強調処理等を含む基本の画像処理を行う。また、画像処理部106は、予め設定された各画像処理のパラメータに基づいて、自然な画像を再現する画像処理を行う。ここで、各画像処理のパラメータとは、コントラスト、シャープネス、彩度、ホワイトバランスおよび階調の値である。さらに、画像処理部106は、複数の画像処理を組み合わせて視覚的な効果を与える特殊効果処理を実行する。ここで、特殊効果処理としては、例えばトーンカーブ処理、彩度アップ処理、ソフトフォーカス効果処理、ホワイトアウト効果処理、シェーディング効果処理またはスターライト効果処理等である。
【0040】
操作部107は、撮像装置2の各種の指示を与える指示信号の入力を受け付ける。操作部107は、撮像装置2の電源状態をオン状態またはオフ状態に切り換える電源スイッチ107a、撮影の指示を与えるレリーズスイッチ107b、撮像装置2の各種設定を切り換える操作スイッチ107c、動作撮影の指示を与える動作スイッチ、撮像装置2のピント位置を変更するフォーカススイッチ、撮像装置2の露出値を補正する露出補正スイッチおよび撮像装置2のISO感度を変更するISO変更スイッチ等を用いて構成される。なお、操作部107は、ブッシュスイッチ、ボタン、ジョグダイヤルおよび回転レバー等を用いて構成される。
【0041】
電池108は、撮像装置2に対して着脱自在であり、撮像装置2を構成する各部に所定の電圧を供給する。電池108は、リチウムイオン充電池やニッケル水素充電池等を用いて構成される。
【0042】
表示駆動部109は、制御部121の制御のもと、表示部110を駆動する。具体的には、表示駆動部109は、制御部121の制御のもと、画像処理部106が画像処理を施した画像データに対応するライブビュー画像を表示部110に表示させる。また、表示駆動部109は、制御部121の制御のもと、撮像装置2の現在の状態を示す状態情報を表示部110に表示させる。ここで、状態情報には、撮像装置2の電池残量、撮像装置2に装着された記録媒体W1のメモリ残量、撮像装置2の撮影パラメータ(例えばシャッタ速度、絞り値、所定距離、ピント位置、AFモードの種別、ISO感度、顔検出の有無、特殊効果処理の設定状態および画質モードの種別)が含まれる。
【0043】
表示部110は、液晶または有機EL(Electro Luminescence)等の表示パネルを用いて構成される。表示部110は、表示駆動部109の駆動によって撮像装置2に関する各種情報、ライブビュー画像、撮影画像および動画を表示する。
【0044】
タッチパネル111は、表示部110の表示領域に重畳して設けられ、外部からタッチされた位置を検出し、この検出した位置に応じた信号を制御部121へ出力する。
【0045】
GPS112は、地上の物体の位置を測位する測定手段であるGPS(Global Positioning System)を構成する複数のGPS衛星から送信されてくる衛星の軌道情報を受信し、この受信した軌道情報に基づいて、撮影時や画像再生時における撮像装置2の位置情報を取得し、この位置情報を制御部121へ出力する。ここで、位置情報は、経度、緯度および時刻情報である。
【0046】
ジャイロセンサ113は、撮像装置2の姿勢を検出し、この検出結果を制御部121へ出力する。具体的には、ジャイロセンサ113は、撮像装置2のヨー方向、ロー方向およびピッチ方向それぞれの角速度(傾き)を検出し、この角速度を制御部121へ出力する。
【0047】
加速度センサ114は、撮像装置2に生じる加速度を検出し、この検出結果を制御部121へ出力する。
【0048】
地磁気センサ115は、レンズ装置20の光軸が略水平になる場合において、レンズ装置20の光軸が視野領域を向いた方向を基準方位としたときの撮像装置2の方位を検出する。具体的には、地磁気センサ115は、地磁気の垂直方向と水平方向の成分を検出し、北を基準とする基準方位と撮像装置2におけるレンズ装置20の光軸とがなす角度を方位角として検出することによって撮像装置2の方位を検出する。
【0049】
第1通信部116は、制御部121の制御のもと、外部機器との間で通信に必要な信号を含む各種データの無線通信を所定のプロトコルに従って行う。第1通信部116は、Bluetooth(登録商標)通信を採用している。なお、第1通信部116は、Bluetooth通信の他、赤外線通信(IrDA(Infrared Data Association))等、他の通信を採用しても構わない。例えば、Bluetoothの場合、機器の役割としては、近距離の一対一関係のマスター、スレーブの関係となり、概略接続処理としては、マスターが、所望のスレーブを検索し接続を行うため、問い合わせと応答の関係だけで通信が成り立ち、簡便である。つまり、大まかな接続シーケンスとしては、まず、マスターは、スレーブ機器が存在するかの問い合わせ(Inquiry)を行う。続いて、スレーブは、マスターからの問い合わせ(Inquiry)に対し、応答を返す。その後、マスターは、応答があったスレーブのうち、所望のスレーブと接続する。ただし、データ通信は、マスターからのデータ送受信指示により、データ送受信を行い、マスターが許可しないとデータ送受信できない。
【0050】
第2通信部117は、制御部121の制御のもと、外部機器との間で通信に必要な信号を含む各種データの無線通信を所定のプロトコルに従って行う。第2通信部117は、Bluetooth Low Energy(登録商標)通信(以下、単に「BLE通信」という)を採用している。
【0051】
第3通信部118は、制御部121の制御のもと、ネットワークN100を介して外部のサーバ4との間で通信に必要な信号を含む各種データの無線通信を所定のプロトコルに従って行う。第3通信部118は、Wi-Fi(Wireless Fidelity)(登録商標)通信を採用している。例えば、Wi-Fiの場合、ローカルネットワークを想定し、機器の役割として、アクセスポイント、ステーションの関係があり、概略の接続処理としては、アクセスポイントが構築している無線ネットワークに、ステーションが接続する関係となる。大まかな接続シーケンスとしては、まず、アクセスポイントは、無線ネットワークを構築し、自分のネットワーク識別子(SSID)を報知する。続いて、ステーションは、報知されているネットワーク識別子(SSID)を検索し、所望のネットワーク(アクセスポイント)に接続する。多くの機器とのネットワークを想定するので、カバー範囲も広く、干渉の問題を考慮しながら厳密な識別ステップを踏むことになる。このため、接続確立に時間が係ることがある。ただし、データ通信は、アクセスポイント、ステーションそれぞれのタイミングでデータの送受信がすることができる。なお、第3通信部118は、Wi-Fi(Wireless Fidelity)以外に、4G無線を利用した通信を採用してもよい。もちろん、第3通信部118は、3G無線を利用した通信、5G無線を利用した通信およびWiMAX(Worldwide Interoperability for Microwave Access)通信等、他の通信を採用しても構わない。
【0052】
バス119は、撮像装置2の各部を接続する伝送路をなし、撮像装置2の内部で発生した各種データを撮像装置2の各部に転送する。
【0053】
時計120は、時間を計時し、この計時結果を制御部121へ出力する。時計120は、計時機能の他、撮像素子101によって生成された画像データの日時に関する日時情報を生成し、この日時情報を制御部121へ出力する。
【0054】
制御部121は、CPUやASIC(Application Specific Integrated Circuit)を用いて構成され、撮像装置2を構成する各部を統括的に制御する。制御部121は、検出部121aと、撮像制御部121bと、表示制御部121cと、記録制御部121dと、通信制御部121eと、を有する。
【0055】
検出部121aは、撮像装置2の現在の撮影パラメータを含む設定値を検出する。ここで、撮影パラメータには、少なくとも、ISO、露出補正、絞り(F値)、シャッタ(シャッタスピード)、WB(ホワイトバランス)、コントラスト、シャープネス、連写(連写モード)および画質(RAWやJPEG等)が含まれる。
【0056】
撮像制御部121bは、撮像素子101を制御する。撮像制御部121bは、レリーズスイッチ107bから撮影を指示する指示信号が入力された場合、撮像素子101に撮影を実行させる。撮像制御部121bは、操作スイッチ107cまたはタッチパネル111から入力された操作信号に応じて、例えば撮像装置2の撮影パラメータ、例えば撮像素子101のISO感度を制御する。
【0057】
表示制御部121cは、表示駆動部109の駆動を制御することによって、表示部110の表示態様を制御する。例えば、表示制御部121cは、表示駆動部109を駆動することによって撮像装置2に関する各種情報を表示部110に表示させる。
【0058】
記録制御部121dは、記録媒体W1を制御する。具体的には、記録制御部121dは、後述するシーン判定部122が判定した判定結果と、撮像素子101が撮影した画像データと、レリーズスイッチ107bから撮影を指示する指示信号が入力された時刻から所定時間遡った時刻までの期間の操作部107によって変更された撮影パラメータの操作履歴と、を対応付けて画像ファイルを、記録媒体W1に記録する。
【0059】
通信制御部121eは、第1通信部116、第2通信部117および第3通信部118それぞれの通信を制御する。また、通信制御部121eは、第1通信部116、第2通信部117および第3通信部118それぞれの通信を制御する。
【0060】
シーン判定部122は、撮像素子101が生成した画像データに基づいて、撮像素子101の撮影時におけるシーンを判定し、この判定結果を分類器123へ出力する。具体的には、シーン判定部122は、複数の画像データに基づいて各シーンが学習されたシーン学習結果を用いて、入力された画像データの特徴量、被写体種別、人物の有無およびパラメータが予めシーン毎に設定された特徴量、被写体種別、人物の有無およびパラメータのいずれかと略一致するか否かを判定し、略一致するシーンを入力された画像データのシーンであると判定する。ここで、シーン判定部122が判定するシーンとしては、ポートレート、風景&人物、夜景&人物、子供(動きの活発な子供等の被写体)、夜景、手持ち夜景、花火、流し撮り(移動する被写体に対して背景を流しているシーン)、ライブコンボジット、ライブバルブ、スポーツ(動きのある被写体)、夕日、ビーチ、スノー(雪)、HDR逆光補正、キャンドルライト、深度合成、マクロ、ペット、料理、トワイライト、キャンドルライト、紅葉、桜、水中、高感度、ネイチャーマクロ(花や昆虫に対するクローズアップ撮影)および文章のいずれかである。
【0061】
分類器123は、複数の画像データを用いて撮影パラメータの基本設定種別をシーン毎に学習した第1の学習結果に基づいて、シーン判定部122によって判定されたシーンにおよび撮像素子101によって生成された画像データおいて最適な基本設定種別、基本設定種別において変更を推奨する基本設定範囲を推定する。具体的には、分類器123は、学習部124または外部の学習装置が公知のSVM等によって複数の画像データを用いて撮影パラメータの基本設定種別をシーン毎に学習した第1の学習結果(認識基準または推論モデル)に基づいて、シーン判定部122によって判定されたシーンおよび画像データにおいて最適な基本設定種別、基本設定種別において変更を推奨する基本設定範囲を推定する。より具体的には、分類器123は、シーン判定部122によって判定されたシーンが夕日の場合、最適な基本設定種別としてWB、基本設定範囲を5300kと推定する。
【0062】
学習部124は、複数の画像データを用いて撮影パラメータの基本設定種別をシーン毎に学習した第1の学習結果を生成し、この第1の学習結果を分類器123または制御部121へ出力する。具体的には、学習部124は、公知のSVM等により、複数の画像データを用いて撮影パラメータを含む基本設定種別をシーン毎に学習した第1の学習結果を生成する。なお、この部分は、外部の機器(例えばサーバ4)が行ってもよい。この場合、撮像装置2が第3通信部118(通信部)を有して、第3通信部118が画像データを送信して、推論結果を受信するようにすればよい。このような撮像システム1であれば、この撮像装置2の第3通信部118(通信部)が重要となり、この第3通信部118(通信部)を介して、撮像素子101(撮像部)で取得した画像データを外部装置やサーバ4に送信し、外部装置またはサーバ4が、画像データに基づいて撮像装置2(撮像部)の撮影時におけるシーンを判定するシーン判定を行う。そして、外部装置またはサーバ4は、判定したシーンおよび画像データにおいて最適な基本設定種別、基本設定種別において変更を推奨する学習を行った分類器による基本設定範囲を推定した結果を受信すればよい。これにより、撮像装置2は、外部機器またはサーバ4から受信した受信結果に従って、撮像装置2側の表示制御部121cが、サーバ4の分類器44が推定した基本設定種別に変更を促す情報を表示部110に表示して促せばよい。この表示制御部121cも本体部10の外部にあってもよい。
【0063】
〔サーバの構成〕
次に、サーバ4の構成について説明する。
図3は、サーバ4の機能構成を示すブロック図である。
【0064】
図3に示すサーバ4は、通信部41と、画像ファイルデータベース42(以下、「画像ファイルDB42」という)と、学習部43と、分類器44と、記録部45と、サーバ制御部46と、を備える。
【0065】
通信部41は、サーバ制御部46の制御のもと、撮像装置2との間で通信に必要な信号を含む各種データの通信を所定のプロトコルに従って行う。通信部41は、信号を送受信可能な通信モジュールを用いて構成される。
【0066】
画像ファイルDB42は、ネットワークN100および通信部41を経由して外部から送信された複数の画像ファイルを記録する。画像ファイルDB42は、HDD(Hard Disk Drive)およびSSD(Solid State Drive)等を用いて構成される。
【0067】
学習部43は、画像ファイルDB42に記録された複数の画像ファイルを教師データとして用いて、撮影時のシーンを学習することによって、入力された画像データに対して撮影時のシーンを判定するためのシーン学習結果を生成する。また、学習部43は、画像ファイルDB42に記録された複数の画像ファイルを用いて、撮像装置2を含む外部機器の撮影パラメータの基本設定種別をシーン毎に学習した第1の学習結果を生成する。学習部43は、GPUやFPGA等を用いて構成される。
【0068】
分類器44は、学習部43によって生成されたシーン学習結果および第1の学習結果に基づいて、外部から入力された画像データのシーンを判定し、判定したシーンにおいて最適な基本設定種別、基本設定種別において変更を推奨する基本設定範囲を推定する。分類器44は、GPUやFPGA等を用いて構成される。
【0069】
記録部45は、揮発性メモリや不揮発性メモリ等を用いて構成される。記録部45は、サーバ4が実行する各種プログラムを記録するプログラム記録部451を有する。記録部45は、Flashメモリ、HDDおよびSSD等を用いて構成される。
【0070】
学習部47は、サーバ制御部46の制御のもと、通信部41を経由して撮像装置2を含む外部機器から送信された画像データに対して、周知のディープラーニング等の深層学習や機械学習によるトレーニングを行って画像データに対応する画像のシーンを判定するとともに、シーンに最適な撮影パラメータの基本設定からの範囲を学習する。学習部47は、例えばGPUやFPGA等を用いて構成される。
【0071】
分類器48は、サーバ制御部46の制御のもと、学習部47によって学習された学習結果に基づいて、通信部41を経由して外部から入力された画像ファイルに格納された画像データを入力して、画像データの撮影時における撮影パラメータの基本設定に関する基本設定情報を出力する。分類器48は、例えばGPUやFPGA等を用いて構成される。
【0072】
サーバ制御部46は、CPU等を用いて構成される。サーバ制御部46は、通信制御部461と、記録制御部462と、学習制御部463と、を有する。
【0073】
通信制御部461は、通信部41の通信を制御する。通信制御部461は、通信部41に学習部43によって生成された第1の学習結果およびシーン学習結果を送信させる。
【0074】
記録制御部462は、画像ファイルDB42および記録部45を制御する。記録制御部462は、通信部41が受信した画像ファイルを画像ファイルDB42に記録する。
【0075】
学習制御部463は、学習部43を制御する。例えば、学習制御部463は、学習部43が複数の画像データを用いて学習する際の重み付け係数を制御する。
【0076】
〔撮像システムの処理〕
次に、撮像システム1が実行する処理の概要について説明する。図4は、撮像システム1が実行する処理の概要を説明するフローチャートである。
【0077】
図4に示すように、まず、ユーザが電源スイッチ107aの電源オンを行った場合(ステップS1:Yes)、電源スイッチ107aは、制御部121へ操作信号を出力する(ステップS2)。
【0078】
続いて、撮像制御部121bは、撮像素子101に撮像させて画像データを生成させる(ステップS3)。この場合、画像処理部106は、制御部121の制御のもと、バス119を経由して入力された画像データに対して画像処理を行うことによってライブビュー画像データを生成する。
【0079】
その後、通信制御部121eは、画像処理部106が生成したライブビュー画像データに対応するライブビュー画像を第3通信部118に送信させる(ステップS4)。この場合、表示駆動部109は、制御部121の制御のもと、バス119を経由して画像処理部106によって画像処理が施されたライブビュー画像データに対応するライブビュー画像を表示部110に表示させる。具体的には、図5に示すように、表示駆動部109は、表示部110にライブビュー画像LV1を表示させる。
【0080】
続いて、分類器44は、ネットワークN100を経由して撮像装置2から入力されたライブビュー画像データに基づいて、撮像装置2が撮影しているシーンを分類器123に判定させ(ステップS5)、撮像装置2が撮影しているシーンを確定する(ステップS6)。具体的には、分類器44は、画像処理部106から入力されたライブビュー画像データに基づいて、撮像装置2が撮影している以下のシーンであるか否かを判定することによって撮像装置2が撮影しているシーンを確定する。なお、実施の形態1では、サーバ4に画像データを送信することなく、撮像装置2のシーン判定部122が画像データに基づいて、撮像装置2の撮影時のシーンを判定してもよい。
【0081】
その後、検出部121aは、撮像装置2の現在の撮影パラメータの設定値を検出する(ステップS7)。ここで、撮影パラメータの設定値とは、少なくとも、ISO、露出補正、絞り(F値)、シャッタ(シャッタスピード)、WB(ホワイトバランス)、コントラスト、シャープネス、連写(連写モード)および画質(RAWやJPEG等)の各々の設定である。例えば、設定値として、ISOの場合、ISO100、絞りの場合、F5.6等である。
【0082】
通信制御部121eは、検出部121aが検出した設定値を第3通信部118に送信させる(ステップS8)。
【0083】
続いて、分類器44は、撮像装置2から受信した設定値と上述したステップS6で確定したシーンとに基づいて、ステップS6で確定したシーンにおいて基本設定種別の変更を推奨する際に最適な基本設定種別および基本設定種別の設定範囲を推定し(ステップS9)、基本設定種別および基本設定種別の設定範囲を撮像装置2へ送信する(ステップS10)。この場合、分類器44は、基本設定種別の変更を推奨する際に最適な基本設定種別の設定順をさらに推定し、この推定した設定順を撮像装置2へ送信する。
【0084】
ここで、分類器44による基本設定種別および設定範囲の推定方法を詳細に説明する。図6は、分類器44による基本設定種別および設定範囲の推定方法を模式的に説明する図である。
【0085】
図6に示すように、分類器44は、撮像装置2から入力された画像(ライブビュー画像)に基づいて、シーンを判定し、この判定結果のシーンにおいて基本設定種別の変更を推奨する際に最適な基本設定種別を推定する。そして、分類器44は、基本設定種別とシーンとに基づいて、基本設定種別において変更を推奨する範囲を示す基本設定範囲を推定する。図7は、基本設定種別の一例を示す図である。図7に示すように、基本設定種別Q1は、少なくとも、ISO、露出補正、絞り(F値)、シャッタ(シャッタスピード)、WB(ホワイトバランス)、コントラスト、シャープネス、連写(ドライブモード)および画質(RAWやJPEG等)を含む。さらに、分類器44は、図8に示すように、基本設定種別がWBである場合、WBの設定可能範囲T1から推奨する範囲を示す基本設定範囲T2を推定する。さらに、図9に示すように、分類器44は、基本設定種別の設定順をさらに推定する。例えば、図9に示すように、分類器44は、シーンがマクロを推定した場合において、基本設定種別が露出補正、WB、F値およびドライブを推定したとき、WB、露出星絵およびF値の設定順となるように推定する。これにより、ユーザは、撮像装置2の表示部110に表示に従って、操作部107を操作することで、WBをAUTOから電球に変更し、露出補正を±0から+0.7に変更した後、レンズ装置20のF値をF1.8からF4.0に変更することができる。この結果、ユーザの趣向を凝らすととともに、最適な画像を撮影することができる。
【0086】
図4に戻り、ステップS11以降の説明を続ける。
表示制御部121cは、バス119を経由して第3通信部118から入力された基本設定種別を表示駆動部109へ出力することによって、表示駆動部109を駆動することによって基本設定情報の変更を促す第1の情報を表示部110に表示させる(ステップS11)。具体的には、図10に示すように、表示駆動部109は、基本設定種別の変更を促す第1の情報アイコンA1をライブビュー画像LV1上に重畳して表示部110に表示させる。これにより、ユーザは、現在の撮影しているシーンに対して基本設定種別を変更することができる旨を直感的に把握することができる。
【0087】
その後、操作部107の操作またはタッチパネル111から第1の情報アイコンA1をタッチした操作信号が入力された場合(ステップS12)、表示制御部121cは、表示駆動部109を駆動することによって基本設定種別および基本設定範囲を表示部110に表示させる(ステップS13)。具体的には、図11に示すように、表示制御部121c基本設定種別に関するアイコンA2を表示部110に表示させる。その後、図12に示すように、表示制御部121cは、基本設定範囲T2を表示部12に表示させる。この場合、表示制御部121cは、基本設定種別で設定可能範囲T1上に推奨する基本設定範囲T2を重畳して表示部110に表示させるとともに、検出部121aが検出した撮像装置2の現在の設定情報B11を基本設定範囲T2上に重畳して表示部110に表示させる。これにより、ユーザは、最適な撮影パラメータが反映しつつ、現在の設定値と推奨される基本設定範囲とを比較しながら自分好みの味付けを行いながら撮影を行うことができる。さらに、表示制御部121cは、アイコンA2が操作される毎(タッチされる毎)に、分類器44が推定した基本設定種別の設定順にアイコンA2の表示態様を変更して表示部110に表示させてもよい。これにより、ユーザは、次に変更すべき撮影パラメータを直感的に把握することができる。
【0088】
〔撮像装置の処理〕
次に、撮像装置2が実行する処理について説明する。図13は、撮像装置2が実行する処理の概要を示すフローチャートである。
【0089】
図13に示すように、まず、電源スイッチ107aが操作されて電源がオンした場合(ステップS101:Yes)、撮像装置2は、後述するステップS102へ移行する。これに対して、電源スイッチ107aが操作されず、電源がオンしていない場合(ステップS101:No)、撮像装置2は、この判断を続ける。
【0090】
ステップS102において、撮像装置2が撮影モードである場合(ステップS102:Yes)、撮像装置2は、後述するステップS104へ移行する。これに対して、撮像装置2が撮影モードでない場合(ステップS102:No)、撮像装置2は、後述するステップS103へ移行する。
【0091】
ステップS103において、撮像装置2は、画像再生を行う。具体的には、表示制御部121cは、操作部107から入力された操作信号に基づいて、記録媒体W1が記録する画像データに対応する画像を表示部110に再生させる。ステップS103の後、撮像装置2は、ステップS102へ戻る。
【0092】
ステップS104において、撮像制御部121bは、撮像素子101に撮像させて画像データを生成させる。
【0093】
続いて、画像処理部106は、撮像素子101が生成した画像データに対して画像処理を行う(ステップS105)。
【0094】
その後、第1通信部116は、画像処理部106が画像処理を施した画像データをサーバ4へ送信する(ステップS106)。
【0095】
続いて、第3通信部118がサーバ4から解析結果を受信した場合(ステップS107:Yes)、撮像装置2は、後述するステップS108へ移行する。これに対して、第3通信部118がサーバ4から解析結果を受信していない場合(ステップS107:No)、撮像装置2は、後述するステップS116へ移行する。
【0096】
ステップS108において、サーバ4から受信した解析結果が撮像装置2の撮影時におけるシーンに変化がありと判断している場合(ステップS108:Yes)、撮像装置2は、後述するステップS109へ移行する。これに対して、サーバ4から受信した解析結果が撮像装置2の撮影時におけるシーンに変化がないと判断している場合(ステップS108:No)、撮像装置2は、後述するステップS112へ移行する。
【0097】
ステップS109において、表示制御部121cは、撮像装置2のシーンが変化したことを示すシーン変化通知を表示部110に表示させる。
【0098】
続いて、操作部107に対してシーン変化に応じてUIを更新するUI更新操作があった場合(ステップS110:Yes)、制御部121は、新規解析結果を取得する(ステップS111)。ステップS111の後、撮像装置2は、後述するステップS112へ移行する。これに対して、操作部107に対してシーン変化に応じてUIを更新するUI更新操作がなかった場合(ステップS110:No)、撮像装置2は、後述するステップS112へ移行する。
【0099】
ステップS112において、制御部121は、サーバ4から受信した解析情報から基本機能UIを生成する。例えば、上述した図12に示すように、制御部121は、基本設定種別、基本設定種別で設定可能範囲T1、基本設定範囲T2を含む基本機能UIを生成する。
【0100】
続いて、表示制御部121cは、表示駆動部109を駆動することによって、基本機能UIを表示部110に表示させる(ステップS113)。
【0101】
その後、操作部107またはタッチパネル111が操作されることによって表示部110が表示する基本機能UIに対して基本設定操作があった場合(ステップS114:Yes)、撮像制御部121bは、操作部107またはタッチパネル111から入力された操作信号に応じて撮影パラメータの設定を反映する(ステップS115)。この場合、表示制御部121cは、基本機能UIに対応するアイコンA2が操作される毎(タッチされる毎)に、分類器44が推定した基本設定種別の設定順にアイコンA2の表示態様を変更して表示部110に表示させてもよい。ステップS115の後、撮像装置2は、後述するステップS116へ移行する。これに対して、操作部107またはタッチパネル111が操作されることによって表示部110が表示する基本機能UIに対して基本設定操作がなかった場合(ステップS114:No)、撮像装置2は、後述するステップS116へ移行する。
【0102】
ステップS116において、レリーズスイッチ107bに対して撮影操作があった場合(ステップS116:Yes)において、シーン判定があるとき(ステップS117:Yes)、記録制御部121dは、基本設定変更情報を生成する(ステップS118)。ここで、基本設定変更情報とは、検出部121aが検出した設定値から遷移した遷移結果および基本設定種別の変更順を含む操作履歴である。ステップS118の後、撮像装置2は、後述するステップS119へ移行する。
【0103】
ステップS116において、レリーズスイッチ107bに対して撮影操作があった場合(ステップS116:Yes)において、シーン判定がないとき(ステップS117:No)、制御部121は、撮像素子101に撮影を実行させる(ステップS119)。この場合、記録制御部121dは、撮影時のシーンと、撮像素子101が生成した画像データと、設定値から遷移した撮影パラメータの操作履歴を含む基本設定変更情報と、を対応付けた画像ファイルを生成し、この画像ファイルを記録媒体W1に記録する。ステップS119の後、撮像装置2は、後述するステップS120へ移行する。
【0104】
ステップS116において、レリーズスイッチ107bに対して撮影操作がなかった場合(ステップS116:No)、撮像装置2は、後述するステップS120へ移行する。
【0105】
ステップS120において、電源スイッチ107aが操作されることによって終了する場合(ステップS120:Yes)、撮像装置2は、本処理を終了する。これに対して、電源スイッチ107aが操作されることなく終了しない場合(ステップS120:No)、撮像装置2は、上述したステップS102へ戻る。
【0106】
〔サーバの処理〕
次に、サーバ4の処理について説明する。図14は、サーバ4が実行する処理の概要を示すフローチャートである。
【0107】
図14に示すように、まず、ネットワークN100を経由して撮像装置2から画像(データを含む画像ファイル)を受信した場合(ステップS201:Yes)、サーバ4は、後述するステップS202へ移行する。これに対して、ネットワークN100を経由して撮像装置2から画像(画像データを含む画像ファイル)を受信していない場合(ステップS201:No)、サーバ4は、本処理を終了する。
【0108】
ステップS202において、分類器48は、撮像装置2から受信した画像データに基づいて、撮像装置2の撮影時におけるシーンを判定する。
【0109】
続いて、分類器48は、ステップS202において判定したシーンと複数の画像データを用いて少なくとも撮影パラメータの基本設定種別をシーン毎に学習した第1の学習結果とに基づいて、変更を推奨する際に最適な前記基本設定種別を推定し(ステップS203)、基本設定種別において変更を推奨する範囲を示す基本設定範囲を推定する(ステップS204)。
【0110】
その後、通信制御部461は、分類器48が推定した解析結果を通信部41に送信させる(ステップS205)。ステップS205の後、サーバ4は、本処理を終了する。
【0111】
〔サーバによる学習処理〕
次に、サーバ4の学習部47が実行する学習処理について説明する。図15は、サーバ4の学習部47が実行する学習処理の概要を示すフローチャートである。
【0112】
図15に示すように、学習部47は、画像ファイルDB42から複数の画像ファイルを入力し、入力した複数の画像ファイルのExifを分析する(ステップS301)。
【0113】
続いて、学習部47は、複数の画像データを用いてシーン毎に予め設定された基本設定種別の設定値が撮影時に変更されているか否かを判定し(ステップS302)、予め設定された基本設定種別の設定値が撮影時に変更されていると判定した場合(ステップS302:Yes)、学習部47は、後述するステップS303へ移行し、予め設定された基本設定種別の設定値が撮影時に変更されていないと判定した場合(ステップS302:No)、学習部47は、本処理を終了する。
【0114】
ステップS304において、学習部47は、周知のSVM等を用いて、画像ファイルDB42から入力した複数の画像ファイルのExifと操作履歴とに基づいて、複数の撮影パラメータを含む基本設定種別の設定順および設定値をシーン毎に学習した第1の学習結果を生成する。
【0115】
続いて、学習部47は、ステップS304で学習した第1の学習結果を分類器48に入力することによって分類器48の第1の学習結果を更新する(ステップS304)。ステップS304の後、学習部47は、本処理を終了する。
【0116】
以上説明した実施の形態1によれば、表示制御部121cがサーバ4の分類器44が推定したシーンにおいて最適な基本設定種別に変更を促す第1の情報を表示部110に表示させるので、ユーザが所望する画像に対して如何にして撮像することができるのかを把握させることができる。
【0117】
また、実施の形態1によれば、表示制御部121cがサーバ4の分類器44によって推定された基本設定種別の設定順によって第1の情報を切り替えながら表示部110に順次表示させるので、ユーザが所望する画像の撮影手順を直感的に把握することができる。
【0118】
また、実施の形態1によれば、表示制御部121cが基本設定範囲に検出部121aによって検出された撮像装置2の現在の撮影パラメータの設定値を重畳して表示部110に表示させるので、現在の設定値を把握しながら、趣向を懲らしつつ最適な撮影を行うことができる。
【0119】
また、実施の形態1によれば、記録制御部121dがシーン判定部122によって判定されたシーンと、撮像素子101が撮影した画像データと、レリーズスイッチ107bによって指示信号が入力された時刻から所定時間遡った時刻までの期間の操作履歴と、を対応付けて画像ファイルを記録媒体W1に記録するので、ディープラーニング等の機械学習に用いるデータを容易に収集することができる。
【0120】
また、実施の形態1によれば、通信制御部461が学習部43によって生成された第1の学習結果を撮像装置2の分類器123に送信することによって分類器123が記録する第1の学習結果を更新させるので、常に最新の学習結果を反映した状態で撮影することができる。
【0121】
なお、実施の形態1では、撮像装置2から画像データをサーバ4に送信することによってサーバ4が撮影時のシーンを判定し、このシーンにおける最適な基本設定種別、基本設定種別において変更を推奨する基本設定範囲を推定していたが、これに限定されることなく、撮像装置2のシーン判定部122が判定するとともに、分類器123が推定するようにしてもよい。具体的には、シーン判定部122が撮像素子101によって生成された画像データに基づいて、撮像装置2の撮影時におけるシーンを判定する。そして、分類器123は、シーン判定部122によって判定されたシーンにおける最適な基本設定種別、基本設定種別において変更を推奨する基本設定範囲を推定するようにしてもよい。
【0122】
(実施の形態2)
次に、本開示の実施の形態2について説明する。実施の形態2に係る撮像システムは、上述した実施の形態1に係る撮像システムと同一の構成を有し、撮像システム、撮像装置およびサーバの各々が実行する処理が異なる。具体的には、上述した実施の形態1では、撮影時におけるシーンにおいて最適な基本設定種別および基本設定範囲を推定していたが、実施の形態2では、撮像時におけるシーンにおいて最適な基本設定種別および基本設定範囲に加えて、最適な応用機能をさらに推奨して提示する。以下においては、実施の形態2に係る撮像システム、撮像装置およびサーバの各々が実行する処理について説明する。なお、上述した実施の形態1に係る撮像システム1と同一の構成には同一の符号を付して詳細な説明は適宜省略する。
【0123】
〔撮像システムの処理〕
まず、実施の形態2に係る撮像システム1が実行する処理の概要について説明する。図16は、実施の形態2に係る撮像システム1が実行する処理の概要を説明するフローチャートである。図16において、ステップS1〜ステップS8は、上述した図4と同様の処理であり、ステップS9a〜ステップS13aが異なるため、ステップS1〜ステップS8の詳細な説明は省略する。
【0124】
ステップS9aにおいて、分類器123は、バス119を経由して制御部121から入力された設定情報と上述したステップS6で確定したシーンとに基づいて、ステップS6で確定したシーンにおいて基本設定種別の変更を推奨する際に最適な基本設定種別、基本設定種別の設定範囲および応用設定情報を推定する。
【0125】
続いて、通信制御部461は、基本設定種別、基本設定種別の設定範囲および応用機能情報を通信部41に送信させる(ステップS10a)。
【0126】
ここで、分類器44による基本設定種別、設定範囲および応用設定情報の推定方法を詳細に説明する。図18は、分類器44による基本設定種別および設定範囲の推定方法を模式的に説明する図である。
【0127】
図18に示すように、分類器44は、撮像装置2から入力された画像(ライブビュー画像)に基づいて、シーンを判定し、この判定結果のシーンにおいて基本設定種別の変更を推奨する際に最適な基本設定種別を推定する。そして、分類器44は、基本設定種別とシーンとに基づいて、基本設定種別において変更を推奨する範囲を示す基本設定範囲を推定する。さらに、分類器44は、撮像装置2から入力された画像(ライブビュー画像)に基づいて、シーンを判定し、この判定結果のシーンに応じて最適な応用機能を示す応用機能情報を推定する。図19は、応用機能の一例を示す図である。図18に示すように、応用機能Q2は、HDR、コンポジット、多重露光、深度合成および特殊効果処理であるアートフィルタ(登録商標)を含む。
【0128】
図16に戻り、ステップS11a以降の説明を続ける。
ステップS11aにおいて、表示制御部121cは、基本設定情報の変更を促す第1の情報および応用機能の適用を促す第2の情報を表示部110に表示させる。具体的には、図17に示すように、表示制御部121cは、基本設定情報の変更を促す第1の情報アイコンA1および応用機能情報の適用を促す第2の情報アイコンA10をライブビュー画像LV1上に重畳して表示部110に表示させる。これにより、ユーザは、現在の撮影しているシーンに対して基本設定情報を変更することができる旨を直感的に把握することができる。さらに、ユーザは、現在の撮影しているシーンに対して応用機能が可能であることを直感的に把握することができる。
【0129】
その後、タッチパネル111から第1の情報アイコンA1または第2の情報アイコンA10をタッチした操作信号が入力された場合(ステップS12a)、表示制御部121cは、表示駆動部109に基本設定種別および基本設定範囲、または応用機能を表示部110に表示させる(ステップS13a)。具体的には、図20に示すように、表示制御部121c、応用機能に関するアイコンA11を表示部110に表示させる。その後、図221に示すように、表示制御部121cは、応用機能が設定されたことを示すアイコンA12を表示部12に表示させる。これにより、ユーザは、最適な撮影パラメータが反映しつつ、現在の設定値と推奨される基本設定範囲とを比較しながら自分好みの味付けを行いながら、さらに応用機能、例えば特殊効果処理を施した撮影を行うことができる。
【0130】
〔撮像装置の処理〕
次に、撮像装置2が実行する処理について説明する。図22は、撮像装置2が実行する処理の概要を示すフローチャートである。
【0131】
図22において、ステップS401〜ステップS415は、上述した図13のステップS101〜ステップS315それぞれに対応する。
【0132】
ステップS416において、操作部107の操作またはタッチパネル111に対してタッチされることによって応用機能が操作された場合(ステップS416:Yes)、撮像制御部121bは、撮像素子101が生成した画像データに対して応用機能の適用を開始する(ステップS417)。具体的には、撮像制御部121bは、タッチパネル111によって選択された応用機能が特殊効果処理である場合、撮像素子101が生成した画像データに対して画像処理部106に特殊画像処理を実行させる。ステップS417の後、撮像装置2は、後述するステップS418へ移行する。
【0133】
ステップS416において、操作部107の操作またはタッチパネル111に対してタッチされることなく応用機能が操作されていない場合(ステップS416:No)、撮像装置2は、後述するステップS418へ移行する。
【0134】
ステップS418〜ステップS420は、上述した図13のステップS116〜ステップS118それぞれに対応する。
【0135】
ステップS421において、記録制御部121dは、応用機能の履歴に関する応用機能変更情報を生成する。
【0136】
ステップS422およびステップS423は、上述した図13のステップS119およびステップS120それぞれに対応する。なお、ステップS422において、記録制御部121dは、撮影時のシーンと、撮像素子101が生成した画像データと、設定情報から遷移した撮影パラメータの操作履歴を含む基本設定変更情報と、応用機能変更情報と、を対応付けた画像ファイルを生成し、この画像ファイルを記録媒体W1に記録する。
【0137】
〔サーバの処理〕
次に、サーバ4が実行する処理について説明する。図23は、サーバ4が実行する処理の概要を示すフローチャートである。
【0138】
図23において、ステップS501〜ステップS504およびステップS505は、上述した図14のステップS201〜ステップS204およびステップS205それぞれに対応し、ステップS505のみが異なる。
【0139】
ステップS505において、分類器44は、撮像装置2から入力された画像(ライブビュー画像)に基づいて、シーンを判定し、この判定結果のシーンに応じて最適な応用機能を示す応用機能を推定する。ステップS505の後、サーバ4は、ステップS506へ移行する。
【0140】
以上説明した実施の形態2によれば、表示制御部121cがサーバ4の分類器44によって推定された撮影時のシーンに応じて最適な応用機能を示す応用機能を適用することを促す第2の情報を表示部110に表示させるので、ユーザが所望する画像に対して如何にして応用機能を適用した状態で撮像することができるのかを把握させることができる。
【0141】
(実施の形態3)
次に、本開示の実施の形態3について説明する。実施の形態3に係る撮像システムは、上述した実施の形態1に係る撮像システムと同一の構成を有し、撮像装置およびサーバの各々が実行する処理が異なる。以下においては、実施の形態3に係る撮像装置およびサーバが実行する処理について説明する。なお、上述した実施の形態1に係る撮像システム1と同一の構成には同一の符号を付して詳細な説明は適宜省略する。
【0142】
〔撮像装置の処理〕
まず、実施の形態3に係る撮像装置2が実行する処理について説明する。図24は、実施の形態3に係る撮像装置2が実行する処理の概要を示すフローチャートである。
【0143】
図24に示すように、まず、撮像装置2が撮影モードに設定されている場合(ステップS701:Yes)について説明する。この場合、撮像制御部121bは、撮像素子101に撮影を実行させる(ステップS702)。この場合、図25に示すように、撮像装置2は、ユーザに把持された状態で、ユーザが所望する被写体を撮像する。
【0144】
続いて、シーン判定部122は、撮像素子101が生成した画像データに基づいて、撮像装置2の撮影時におけるシーンを推定する(ステップS703)。この場合、分類器123は、シーン判定部122が推定したシーンにおいて変更を推奨する際に最適な基本設定種別、基本設定種別において変更を推奨する範囲を示す基本設定範囲を推定する。
【0145】
その後、撮像制御部121bは、撮像素子101が生成した画像データに基づいて、撮像装置2の露出およびピント位置の自動制御を行う(ステップS704)。具体的には、撮像制御部121bは、撮像素子101が生成した画像データに基づいて、例えばコントラストAF処理を行うことによって、レンズ装置20のピントを調整する。さらに、撮像制御部121bは、撮像素子101が生成する画像データが適正露出となるように、シャッタ100、絞り202および撮像素子101のISO感度を調整する。
【0146】
続いて、表示制御部121cは、分類器123が推定した基本設定種別および基本設定範囲に関する情報を表示部110に表示させる(ステップS705)。具体的には、図26に示すように、表示制御部121cは、分類器123が推定した基本設定種別および基本設定範囲に関する情報A100をライブビュー画像LV100に重畳して表示部110に表示させる。この場合、図26に示すように、表示制御部121cは、シーン判定部122が判定したシーンに関するシーンアイコンA101をライブビュー画像LV100に重畳して表示部110に表示させてもよい。
【0147】
その後、操作部107またはタッチパネル111が操作された場合(ステップS106:Yes)、撮像制御部121bは、操作部107またはタッチパネル111の操作に応じて、撮像装置2の撮影パラメータを制御する(ステップS707)。ステップS707の後、撮像装置2は、後述するステップS708へ移行する。これに対して、操作部107またはタッチパネル111が操作されていない場合(ステップS106:No)、撮像装置2は、後述するステップS708へ移行する。
【0148】
ステップS708において、操作部107から撮影を指示する指示信号が入力された場合(ステップS708:Yes)、撮像制御部121bは、撮像素子101に撮影を実行させる(ステップS709)。この場合、記録制御部121dは、操作スイッチ107cの操作によって設定情報から遷移した撮影パラメータの操作履歴と、撮像素子101が生成した画像データとを対応付けて画像ファイルを記録媒体W1に記録する。ステップS709の後、撮像装置2は、上述したステップS701へ戻る。
【0149】
図27は、撮影パラメータの操作履歴の概要を示すタイミングチャートである。図27に示すように、記録制御部121dは、レリーズスイッチ107bから撮影を指示する指示信号が入力された時刻から所定時間遡った時刻までの遡及時間D1の操作履歴(例えば時刻t1〜時刻t5までの撮影パラメータに対する各操作の内容)と、画像データと、シーン情報と、を対応付けた画像ファイルを生成して記録媒体W1に記録する。図28は、記録媒体W1に記録される静止画画像ファイルの一例を模式的に示す図である。図28に示すように、記録制御部121dは、静止画ファイルF1を記録媒体W1に記録する。静止画ファイルF1には、画像データF10、画像データのサムネイルF11、シーン判定部122によるシーン情報F12、基本設定種別が操作される前に検出部121aが検出した設定値F13、操作履歴F14および撮像装置2を識別する機器情報F15が含まれる。
【0150】
ステップS708において、操作部107から撮影を指示する指示信号が入力されていない場合(ステップS708:No)、撮像装置2は、上述したステップS701へ戻る。
【0151】
ステップS701において、撮像装置2が撮影モードに設定されていない場合(ステップS701:No)について説明する。この場合において、撮像装置2がネットワークN100を経由してサーバ4から分類器123の学習結果(推論モデル)を更新するために新たな学習結果を取得する更新モードであるとき(ステップS710:Yes)、撮像装置2は、後述するステップS711へ移行する。これに対して、撮像装置2がネットワークN100を経由してサーバ4から分類器123の学習結果を更新するために新たな学習結果を取得する更新モードでないとき(ステップS710:No)、撮像装置2は、上述したステップS701へ戻る。
【0152】
ステップS711において、通信制御部121eは、ネットワークN100を経由して分類器123の学習結果を更新するための学習依頼をサーバ4へ送信する。
【0153】
続いて、通信制御部121eは、ネットワークN100を経由して記録媒体W1に記録された複数の画像ファイルをサーバ4へ送信する(ステップS712)。
【0154】
その後、ネットワークN100を経由してサーバ4から学習結果を受信した場合(ステップS713:Yes)、制御部121は、サーバ4から受信した学習結果を分類器123に入力することによって分類器123を更新する(ステップS714)。ステップS714の後、撮像装置2は、上述したステップS701へ戻る。
【0155】
ステップS713において、ネットワークN100を経由してサーバ4から学習結果を受信していない場合(ステップS713:No)、撮像装置2は、上述したステップS712へ戻る。
【0156】
〔サーバの処理〕
次に、サーバ4が実行する処理について説明する。図29は、サーバ4が実行する処理の概要を示すフローチャートである。
【0157】
図25に示すように、まず、ネットワークN100を経由して撮像装置2から学習結果を更新するための学習依頼があった場合(ステップS801:Yes)、サーバ4は、後述するステップS802へ移行する。これに対して、ネットワークN100を経由して撮像装置2から学習結果を更新するための学習依頼がなかった場合(ステップS801:No)、サーバ4は、本処理を終了する。
【0158】
ステップS802において、ネットワークN100を経由して複数の画像ファイルを撮像装置2から受信した場合(ステップS802:Yes)、サーバ4は、後述するステップS403へ移行する。これに対して、ネットワークN100を経由して複数の画像ファイルを撮像装置2から受信していない場合(ステップS802:No)、サーバ4は、複数の画像ファイルを受信するまで、この判定を続ける。
【0159】
ステップS803において、学習部47は、ネットワークN100を経由して撮像装置2から受信した複数の画像ファイルを用いて周知の機械学習を行う。
【0160】
続いて、通信制御部461は、学習部47が学習した学習結果を通信部41に送信させる(ステップS804)。ステップS804の後、サーバ4は、本処理を終了する。
【0161】
以上説明した実施の形態3によれば、表示制御部121cが分類器123によって推定された基本設定種別および基本設定範囲に関する情報を表示部110に表示させるので、ユーザが所望する画像に対して如何にして撮像することができるのかを把握させることができる。
【0162】
(その他の実施の形態)
なお、上述した実施の形態1〜3では、撮像装置2を例に説明していたが、これに限定されることなく、例え表示装置を備える顕微鏡5であっても適用することができる。この場合、図31に示すように、顕微鏡5が撮影した画像データに対応するライブビュー画像LV1上にシーン判定部122が判定したシーンに関する情報のアイコンA200および基本設定種別に関するアイコンA201を重畳して表示させてもよい。これにより、図32図35に示すように、ユーザは、アイコンA201の表示に応じて、顕微鏡5の絞りを操作することによって、通常のライブビュー画像LV200から、互いに分解能およびコントラストが異なるライブビュー画像LV201(開口が開き過ぎの画像)、ライブビュー画像LV202(開口絞り80%)およびライブビュー画像LV203(開口絞り過ぎ)を観察することができる。この結果、ユーザ好みの観察を行うことができる。
【0163】
上述した本開示の実施の形態1〜3に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した本開示の実施の形態1〜3に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本開示の実施の形態1〜3で説明した構成要素を適宜組み合わせてもよい。
【0164】
また、本開示の実施の形態1〜3では、撮像システムであったが、例えばカプセル型の内視鏡、被検体を撮像するビデオマイクロスコープ、内視鏡システム、撮像機能を有する携帯電話および撮像機能を有するタブレット型端末であっても適用することができる。
【0165】
また、本開示の実施の形態1〜3では、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
【0166】
また、本開示の実施の形態1〜3に係る撮像装置またはサーバに実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)、USB媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【0167】
また、本開示の実施の形態1〜3に係る撮像装置またはサーバに実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。さらに、本開示の実施の形態1〜3に係る撮像装置またはサーバに実行させるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【0168】
また、本開示の実施例中で、「部」(セクションやユニット)として記載した部分は、専用の回路や、複数の汎用の回路を組み合わせて構成してもよく、必要に応じて、予めプログラムされたソフトウェアに従って動作を行うマイコン、CPUなどのプロセッサ、あるいはFPGAなどシーケンサを組み合わせて構成されてもよい。また、その制御の一部または全部を外部の装置が引き受けるような設計も可能で、この場合、有線や無線の通信回路が介在する。通信は、BluetoothやWiFi、電話回線などで行えばよく、USBなどで行っても良い。専用の回路、汎用の回路や制御部を一体としてASICとして構成してもよい。機構などが移動する制御を伴う制御部分などは、様々なアクチュエータと、必要に応じて移動用の連結メカニズムによって構成されており、ドライバ回路によってアクチュエータが作動する。このドライブ回路もまた、特定のプログラムに従ってマイコンやASICなどが制御する。こうした制御は各種センサやその周辺回路が出力する情報によって、詳細な補正、調整などが行われても良い。
【0169】
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。また、こうした、単純な分岐処理からなるプログラムに限らず、より多くの判定項目を総合的に判定して分岐させてもよい。その場合、ユーザにマニュアル操作を促して学習を繰り返すうちに機械学習するような人工知能の技術を併用しても良い。また、多くの専門家が行う操作パターンを学習させて、さらに複雑な条件を入れ込む形で深層学習をさせて実行してもよい。
【0170】
以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【符号の説明】
【0171】
1・・・撮像システム;2・・・撮像装置;4・・・サーバ;5・・・顕微鏡;10・・・本体部;12・・・表示部;20・・・レンズ装置;41・・・通信部;42・・・画像ファイルデータベース;43・・・学習部;44・・・分類器;45・・・記録部;46・・・サーバ制御部;47・・・学習部;48・・・分類器;100・・・シャッタ;101・・・撮像素子;102・・・通信部;104・・・メモリI/F;105・・・Flashメモリ;106・・・画像処理部;107・・・操作部;107a・・・電源スイッチ;107b・・・レリーズスイッチ;107c・・・操作スイッチ;108・・・電池;109・・・表示駆動部;110・・・表示部;111・・・タッチパネル;112・・・GPS;113・・・ジャイロセンサ;114・・・加速度センサ;115・・・地磁気センサ;116・・・第1通信部;117・・・第2通信部;118・・・第3通信部;119・・・バス;120・・・時計;121・・・制御部;121a・・・検出部;121b・・・撮像制御部;121c・・・表示制御部;121d・・・記録制御部;121e・・・通信制御部;122・・・シーン判定部;123・・・分類器;124・・・学習部;201・・・光学系;202・・・絞り;203・・・ドライバ;204・・・レンズ制御部;205・・・レンズ通信部;451・・・プログラム記録部;461・・・通信制御部;462・・・記録制御部;463・・・学習制御部;491・・・通信制御部;W1・・・記録媒体
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31
図32
図33
図34
図35