特許 7152244 学習装置、学習方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-03

(45)【発行日】2022-10-12

(54)【発明の名称】学習装置、学習方法およびプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20221004BHJP

   G06N 20/00 20190101ALI20221004BHJP

   G06T 7/00 20170101ALI20221004BHJP

【ＦＩ】

H04N5/232 220

G06N20/00

G06T7/00 350C

H04N5/232 290

H04N5/232 300

【請求項の数】 3

(21)【出願番号】P 2018196066

(22)【出願日】2018-10-17

(65)【公開番号】P2020065173

(43)【公開日】2020-04-23

【審査請求日】2021-07-19

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】武藤 美香

【審査官】佐藤 直樹

(56)【参考文献】

【文献】特開２０１５－１８６２１０（ＪＰ，Ａ）

【文献】特開２００１－２１１３８２（ＪＰ，Ａ）

【文献】特開２０１７－２２０８９２（ＪＰ，Ａ）

【文献】特開平１１－２５２４５０（ＪＰ，Ａ）

【文献】特開２０１８－１１３６６０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２３２

Ｇ０６Ｎ ２０／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

画像取得装置と双方向に通信可能な学習装置であって、
前記画像取得装置が生成した画像データと、前記画像取得装置によって前記画像データに対応する画像に写る対象物の検出結果と、前記対象物の奥行き情報と、前記対象物を構成する複数の重要部位の特定結果と、前記対象物を構成する複数の重要部位の各々に対して選択した最適な撮影パラメータと、前記複数の重要部位の各々に対して最適な撮影パラメータを１回の撮影で行うことができるか否かを判定した判定結果と、前記画像取得装置が前記撮影パラメータを変更しながら生成した複数の前記画像データを合成した合成画像データと、前記撮影パラメータから変更された操作履歴と、を含む複数の画像ファイルデータに基づいて、機械学習を行い、前記複数の重要部位の各々に対して最適な撮影パラメータを更新するための学習モデルを生成する学習部を備える、
学習装置。

【請求項2】

学習装置が実行する学習方法であって、
画像取得装置が生成した画像データと、前記画像取得装置によって前記画像データに対応する画像に写る対象物の検出結果と、前記対象物の奥行き情報と、前記対象物を構成する複数の重要部位の特定結果と、前記対象物を構成する複数の重要部位の各々に対して選択した最適な撮影パラメータと、前記複数の重要部位の各々に対して最適な撮影パラメータを１回の撮影で行うことができるか否かを判定した判定結果と、前記画像取得装置が前記撮影パラメータを変更しながら生成した複数の前記画像データを合成した合成画像データと、前記撮影パラメータから変更された操作履歴と、を含む複数の画像ファイルデータに基づいて、機械学習を行い、前記複数の重要部位の各々に対して最適な撮影パラメータを更新するための学習モデルを生成する学習ステップを含む、
学習方法。

【請求項3】

学習装置に、
画像取得装置が生成した画像データと、前記画像取得装置によって前記画像データに対応する画像に写る対象物の検出結果と、前記対象物の奥行き情報と、前記対象物を構成する複数の重要部位の特定結果と、前記対象物を構成する複数の重要部位の各々に対して選択した最適な撮影パラメータと、前記複数の重要部位の各々に対して最適な撮影パラメータを１回の撮影で行うことができるか否かを判定した判定結果と、前記画像取得装置が前記撮影パラメータを変更しながら生成した複数の前記画像データを合成した合成画像データと、前記撮影パラメータから変更された操作履歴と、を含む複数の画像ファイルデータに基づいて、機械学習を行い、前記複数の重要部位の各々に対して最適な撮影パラメータを更新するための学習モデルを生成する学習ステップを実行させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像データに対して画像処理を行う画像処理装置、学習装置、画像処理方法、学習方法およびプログラムに関する。

【背景技術】

【0002】

従来、デジタルカメラ等の撮像装置においては、入力画像と背景画像との差分から画像データから対象物を検出する技術が知られている（例えば、特許文献１を参照）。この技術によれば、撮像装置を設定したシーンに対して、画像データを構成する部分領域毎に特徴量と対象物を含まない背景画像データの部分領域毎の特徴量とに基づいて、対象物と外乱とを判別するためのパラメータを決定することで、対象物と外乱との区別を行う。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１２－８９９２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述した特許文献１では、背景画像と主要画像とを分離して対象物である被写体を区別しているのみで、対象物の部位毎の判別まで行っていないため、対象物の部位毎に適した処理を行うことができなかった。

【0005】

本開示は、上記に鑑みてなされたものであって、対象物の部位毎に適した処理を行うことができる画像処理装置、学習装置、画像処理方法、学習方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本開示に係る画像処理装置は、取得済みの画像毎に該画像に含まれる複数の部位を重要部位が定められた複数の教師データを用いて学習された学習済みモデルに従って、取得中の画像データから複数の重要部位を特定する特定部と、前記複数の重要部位の各々に対して最適な撮影パラメータを選択する選択部と、を備える。

【0007】

また、本開示に係る学習装置は、画像取得装置と双方向に通信可能な学習装置であって、撮像装置が生成した画像データと、撮像装置によって前記画像データに対応する画像に写る対象物の検出結果と、前記対象物の奥行き情報と、前記対象物を構成する複数の重要部位の特定結果と、前記対象物を構成する複数の重要部位の各々に対して選択した最適な撮影パラメータと、前記複数の重要部位の各々に対して最適な撮影パラメータを１回の撮影で行うことができるか否かを判定した判定結果と、撮像装置が生成した合成画像データと、前記撮影パラメータから変更された操作履歴と、を含む複数の画像ファイルデータに基づいて、機械学習を行い、前記複数の重要部位の各々に対して最適な撮影パラメータを更新するための学習モデルを生成する学習部を備える。

【0008】

また、本開示に係る画像処理方法は取得済みの画像毎に該画像に含まれる複数の部位を重要部位が定められた複数の教師データを用いて学習された学習済みモデルに従って、取得中の画像データから複数の重要部位を特定する特定ステップと、前記複数の重要部位の各々に対して最適な撮影パラメータを選択する選択ステップと、を含む。

【0009】

また、本開示に係る学習方法、撮像装置が生成した画像データと、撮像装置によって前記画像データに対応する画像に写る対象物の検出結果と、前記対象物の奥行き情報と、前記対象物を構成する複数の重要部位の特定結果と、前記対象物を構成する複数の重要部位の各々に対して選択した最適な撮影パラメータと、前記複数の重要部位の各々に対して最適な撮影パラメータを１回の撮影で行うことができるか否かを判定した判定結果と、撮像装置が生成した合成画像データと、前記撮影パラメータから変更された操作履歴と、を含む複数の画像ファイルデータに基づいて、機械学習を行い、前記複数の重要部位の各々に対して最適な撮影パラメータを更新するための推論モデルを生成する学習ステップを、を含む。

【0010】

また、本開示に係るプログラムは、画像処理装置に、取得済みの画像毎に該画像に含まれる複数の部位を重要部位が定められた複数の教師データを用いて学習された学習済みモデルに従って、取得中の画像データから複数の重要部位を特定する特定ステップと、前記複数の重要部位の各々に対して最適な撮影パラメータを選択する選択ステップと、を実行させる。

【0011】

また、本開示に係るプログラムは、学習装置に、撮像装置が生成した画像データと、撮像装置によって前記画像データに対応する画像に写る対象物の検出結果と、前記対象物の奥行き情報と、前記対象物を構成する複数の重要部位の特定結果と、前記対象物を構成する複数の重要部位の各々に対して選択した最適な撮影パラメータと、前記複数の重要部位の各々に対して最適な撮影パラメータを１回の撮影で行うことができるか否かを判定した判定結果と、撮像装置が生成した合成画像データと、前記撮影パラメータから変更された操作履歴と、を含む複数の画像ファイルデータに基づいて、機械学習を行い、前記複数の重要部位の各々に対して最適な撮影パラメータを更新するための推論モデルを生成する学習ステップを実行させる。

【発明の効果】

【0012】

本開示によれば、対象物の部位毎に適した処理を行うことができるという効果を奏する。

【図面の簡単な説明】

【0013】

【図1】図１は、本開示の実施の形態１に係る画像処理システムの概要を示す模式図である。

【図2】図２は、本開示の実施の形態１に係る撮像装置の機能構成を示すブロック図である。

【図3】図３は、本開示の実施の形態１に係る学習装置の機能構成を示すブロック図である。

【図4】図４は、本開示の実施の形態１に係る画像取得装置が実行する処理の概要を示すフローチャートである。

【図5】図５は、図４の撮影処理の概要を示すフローチャートである。

【図6】図６は、本開示の実施の形態１に係る画像取得装置を用いて撮影している状況を模式的に示す図である。

【図7】図７は、本開示の実施の形態１に係る画像取得装置が備える生成部による奥行き情報の生成方法を模式的に説明する図である。

【図8A】図８Ａは、ユーザが画像取得装置を用いて対象物を構成する重要部位として頭部にこだわって撮影した画像の一例を模式的に示す図である。

【図8B】図８Ｂは、ユーザが画像取得装置を用いて対象物を構成する重要部位として羽部にこだわって撮影した画像の一例を模式的に示す図である。

【図8C】図８Ｃは、ユーザが画像取得装置を用いて対象物を撮影する際にユーザＵ１が理想とする対象物を構成する複数の重要部位の各々に対してユーザが理想とする撮影パラメータで撮影できた場合の画像の一例を模式的に示す図である。

【図9】図９は、推論エンジンが推論時に使用する学習結果の一例を模式的に示す図である。

【図10】図１０は、図４の学習処理の概要を示すフローチャートである。

【図11】図１１は、本開示の実施の形態１に係る学習装置が実行する処理の概要を示すフローチャートである。

【図12】図１２は、本開示の実施の形態２に係る画像取得装置が実行する撮影処理の概要を示すフローチャートである。

【図13】図１３は、本開示の実施の形態２に係る画像取得装置が対象物を撮像している際の状況を模式的に示す図である。

【図14】図１４は、本開示の実施の形態２に係る画像取得装置が対象物を撮像した画像の一例を模式的に示す図である。

【図15】図１５は、本開示の実施の形態２に係る画像取得装置の表示部が表示する画像の一例を示す図である。

【図16】図１６は、本開示の実施の形態２に係る画像取得装置の表示部が表示する画像の別の一例を示す図である。

【発明を実施するための形態】

【0014】

以下、本開示を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本開示が限定されるものでない。また、以下の説明において参照する各図は、本開示の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。即ち、本開示は、各図で提示された形状、大きさおよび位置関係のみに限定されるものでない。さらに、以下の説明では、画像処理装置の例として、撮像装置に設けられた例を説明するが、撮像装置以外にも、スマートフォン等の携帯電話、タブレット型端末装置、パーソナルコンピュータ、カムコーダ、撮影機能付きＩＣレコーダ、ビデオマイクロスコープや生物顕微鏡等の顕微鏡、工業用または医療用の内視鏡、撮影機能付きウエアブルデバイス、例えばヘッドマウンドディスプレイや撮影機能付き時計等であっても適用することができる。さらに、学習装置として、ネットワークを経由して種々の装置に接続可能なサーバを例に説明するが、サーバ以外にもパーソナルコンピュータ等であっても適用することができる。

【0015】

（実施の形態１）
〔画像処理システムの構成〕
図１は、本開示の実施の形態１に係る画像処理システムの概要を示す模式図である。図１に示す画像処理システム１は、画像取得装置２と、学習装置３と、を備える。画像取得装置２は、被写体を撮像することによって画像データを生成する。

【0016】

画像取得装置２は、ネットワークＮ１００を経由して画像データを含む画像ファイルを学習装置３へ送信する。

【0017】

学習装置３は、ネットワークＮ１００を経由して画像取得装置２から送信された画像ファイルに含まれる画像データおよびメタデータに基づいて、機械学習、例えば多層のニューラルネットワークによって構成されたディープラーニング等を行うことによって強化学習を行い、画像取得装置２からの依頼に応じて最新の学習結果を送信することによって、画像取得装置２が備える推論エンジンや学習器等を更新する。

【0018】

〔撮像装置の構成〕
まず、画像取得装置２の詳細な構成について説明する。
図２は、画像取得装置２の機能構成を示すブロック図である。図２に示す画像取得装置２は、撮像部２１と、画像処理部２２と、表示部２３と、記録部２４と、推論エンジン２５と、操作部２６と、通信部２７と、制御部２８と、を備える。

【0019】

撮像部２１は、被写体を撮像することによって画像データを生成し、この画像データを画像処理部２２へ出力する。撮像部２１は、光学系２１１と、撮像素子２１２と、を有する。

【0020】

光学系２１１は、所定の視野領域から光を集光することによって、撮像素子２１２の受光面に被写体像を結像する。光学系２１１は、１または複数のレンズ、絞りおよびシャッタ、これらを駆動するステッピングモータやボイルコイルモータ等を用いて構成される。例えば、光学系２１１は、制御部２８の制御のもと、ステッピングモータがレンズを光軸方向に沿って移動させることによって、所定の位置にピントを合焦させる。また、光学系２１１は、所定距離を変更することができるズーム機能およびピント位置を変更することができるピント調整機能を有する。

【0021】

撮像素子２１２は、光学系２１１が結像した被写体像を受光し、光電変換を行うことによって画像データ（ＲＡＷデータ）を生成する。撮像素子２１２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いて構成される。なお、撮像素子２１２に、画像データに対してＡ／Ｄ変換を行うＡ／Ｄ変換回路や信号処理を行う信号処理回路等を設けてもよい。

【0022】

画像処理部２２は、制御部２８の制御のもと、撮像部２１から入力された画像データに対して各種の画像処理や推論エンジン２５を用いて各種の検出処理を行って表示部２３へ出力する。画像処理部２２は、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＣＰＵ（Central Processing Unit）およびＤＳＰ（Digital Signal Processing）およびメモリ等のハードウエアを有するプロセッサを用いて構成される。画像処理部２２は、検出部２２１と、生成部２２２と、特定部２２３と、選択部２２４と、判定部２２５と、合成部２２６と、を有する。なお、画像処理部２２が実施の形態１に係る画像処理装置として機能する。

【0023】

検出部２２１は、撮像部２１が生成した画像データに対応する画像に写る対象物を検出する。具体的には、検出部２２１は、推論エンジン２５が有する推論モデルや学習済みモデルに基づいて、対象物の種別を検出する。なお、検出部２２１は、周知のパターンマッチング等を用いて対象物を検出してもよい。

【0024】

生成部２２２は、撮像部２１が生成した画像データに基づいて、対象物の奥行き情報を生成する。具体的には、生成部２２２は、撮像部２１が生成した時間的に連続する画像データに基づいて、対象物の奥行き情報、例えば画像取得装置２から対象物までの距離を奥行き情報として生成する。なお、生成部２２２は、画像データ以外にも、測距情報に基づいて、対象物の奥行き情報を生成してもよい。

【0025】

特定部２２３は、取得済みの画像毎に該画像に含まれる複数の部位を重要部位が定められた複数の教師データを用いて学習された学習済みモデル（推論モデル）に従って、取得中の画像データから複数の重要部位を特定する。具体的には、特定部２２３は、検出部２２１が検出した対象物を構成する複数の重要部位を特定する。例えば、特定部２２３は、取得済みの画像毎に該画像に含まれる複数の部位を重要部位が定められた複数の教師データを用いて学習された学習済みモデル、生成部２２２が生成した奥行き情報および検出部２２１が検出した対象物に基づいて、対象物を構成する複数の重要部位を特定する。

【0026】

選択部２２４は、特定部２２３が特定した対象物を構成する複数の重要部位の各々に対して最適な撮影パラメータを選択する。具体的には、選択部２２４は、互いに種別が異なる複数の被写体を撮像することによって生成された複数のサンプルデータを機械学習によって生成した推論エンジン２５の推論モデルに基づいて、複数の重要部位の各々に対して最適な撮影パラメータを選択する。ここで、撮影パラメータとは、露出、ピント位置、被写界深度、彩度、コントラスト、明度、シャープネス、カラーおよびホワイトバランス等である。

【0027】

判定部２２５は、撮像部２１が選択部２２４によって選択された複数の重要部位の各々に対して最適な撮影パラメータを１回の撮影で行うことができるか否かを判定する。

【0028】

合成部２２６は、撮像部２１が撮影パラメータを変更しながら生成した複数の画像データを合成して合成画像データを生成する。

【0029】

表示部２３は、制御部２８の制御のもと、画像処理部２２から入力された画像データに対応する画像や画像取得装置２に関する各種の情報を表示する。表示部２３は、液晶や有機ＥＬ（Electro Luminescence）等の表示ディスプレイを用いて構成される。なお、表示部２３の表示領域上にタッチパネルを設けてもよい。

【0030】

記録部２４は、画像取得装置２に関する各種の情報を記録する。記録部２４は、揮発性メモリ、不揮発性メモリ、フレームメモリおよび画像取得装置２に対して着脱自在なメモリカード等の記録媒体を用いて構成される。記録部２４は、複数の画像ファイルデータを記録する画像ファイル記録部２４１と、画像取得装置２が実行する各種のデータやプログラムを記録するプログラム記録部２４２と、を有する。

【0031】

推論エンジン２５は、複数の画像データを用いて機械学習された第１の学習結果を用いて、対象物を構成する複数の重要部位の各々に対して最適な撮影パラメータを推測し、この推測結果を画像処理部２２の選択部２２４へ出力する。ここで、学習結果とは、複数の対象物を撮像した複数の画像データと、画像取得装置２によって特定された対象物を構成する複数の重要部位の特定結果と、画像取得装置２によって生成された対象物の奥行き情報と、画像取得装置２が複数の重要部位の各々に対して選択した撮影パラメータと、操作履歴データと、に基づいて、ディープラーニング等の機械学習によって学習された学習結果である。さらに、推論エンジン２５は、複数の画像データを用いて被写体毎の種別を学習した第２の学習結果に基づいて、対象物の種別を検出した検出結果を画像処理部２２の検出部２２１へ出力する。推論エンジン２５は、ＧＰＵ、ＦＰＧＡ、ＤＳＰおよびメモリ等のハードウエアを有するプロセッサを用いて構成される。

【0032】

なお、学習（深層学習）は、ニューラル・ネットワークを用いた「機械学習」の過程を多層構造化したものである。学習（深層学習）は、情報を前から後ろに送って判定を行う「順伝搬型ニューラル・ネットワーク」が代表的なものである。これは、最も単純なものでは、Ｎ１個のニューロンで構成される入力層、パラメータで与えられるＮ２個のニューロンで構成される中間層、判別するクラスの数に対応するＮ３個のニューロンで構成される出力層の３層があればよい。そして、入力層と中間層、中間層と出力層の各ニューロンはそれぞれが結合加重で結ばれ、中間層と出力層はバイアス値が加えられることで、論理ゲートの形成が容易である。簡単な判別なら３層でもよいが、中間層を多数にすれば、機械学習の過程において複数の特徴量の組み合わせ方を学習することも可能となる。近年では、９層～１５２層のものが、学習にかかる時間や判定精度、消費エネルギーの関係から実用的になっている。また、画像の特徴量を圧縮する、「畳み込み」と呼ばれる処理を伴い、最小限処理で動き、パターン認識に強い「畳み込み型ニューラル・ネットワーク」や、より複雑な情報を扱え、順番や順序によって意味合いが変わる情報分析に対応して、情報を双方向に流れる「再帰型ニューラル・ネットワーク」（全結合リカレントニューラルネット）を利用してもよい。その他、教師あり学習を用いるパターン認識モデルとして、例えば、サポートベクトルマシン、サポートベクトル回帰という手法もある。ここでの学習は、識別器の重み、フィルター係数、オフセットを算出するもので、他には、ロジスティック回帰処理を利用する手法もある。ニューラル・ネットワークの処理の多くが行列の掛け算であることから、行列計算に特化したＧＰＵ（Graphic Processing Unit）やＴＰＵ（Tensor Processing Unit）と呼ばれるものが利用される場合もある。近年ではこうした人工知能（ＡＩ）専用ハードの「ニューラル・ネットワーク・プロセッシング・ユニット（ＮＰＵ）」がＣＰＵなどその他の回路とともに集積して組み込み可能に設計され、処理回路の一部になっている場合もある。カメラや携帯機器等の情報端末製品に搭載するコンパクトタイプの推論エンジンは、少ない層で高精度判断するための学習は困難であり、また時間がかかるため、正確なアノテーションや学習のさせ方に工夫することが望まれる。推論モデルを生成する時、学習に使用した画像によって推論モデルの仕様が変わるので、学習時の情報と連携して効率的な学習を行ってもよい。そこで、どのような学習をさせたかを示す情報をアノテーション作業時に設定し、この情報を情報取得装置の記録部に推論情報の一部として記録しておいてもよい。

【0033】

操作部２６は、画像取得装置２に関する各種の操作の入力を受け付け、受け付けた操作に応じた指示信号を制御部２８へ出力する。操作部２６は、スイッチ、ボタン、ジョイスティックおよびレバー等を用いて構成される。

【0034】

通信部２７は、ネットワークＮ１００を経由して学習装置３と所定の通信規格に従って双方向に通信を行う。通信部２７は、画像ファイル等を送信する送信部２７１と、学習結果を受信する受信部２７２と、を有する。通信部２７は、通信モジュール等を用いて構成される。

【0035】

制御部２８は、画像取得装置２を構成する各部の動作を制御する。制御部２８は、ＣＰＵおよびメモリ等のハードウエアを有するプロセッサを用いて構成される。制御部２８は、画像処理制御部２８１と、撮影制御部２８２と、表示制御部２８３と、記録制御部２８４と、通信制御部２８５と、を有する。

【0036】

画像処理制御部２８１は、画像処理部２２の動作を制御する。例えば、画像処理制御部２８１は、画像処理の彩度、明度、シャープネスおよびコントラスト等を制御する。

【0037】

撮影制御部２８２は、判定部２２５の判定結果に基づいて、撮像部２１を制御する。具体的には、撮影制御部２８２は、判定部２２５が対象物を構成する複数の重要部位の各々に対して最適な撮影パラメータを１回の撮影で行うことができないと判定した場合、対象物を構成する複数の重要部位の各々に対して最適な撮影パラメータとなるように撮像部２１の撮影パラメータを変更しながら撮像部２１に複数回撮影を実行させる。

【0038】

表示制御部２８３は、表示部２３の表示態様を制御する。表示制御部２８３は、判定部２２５の判定結果を合成画像データに対応する合成画像に重畳して表示部２３に表示させる。

【0039】

記録制御部２８４は、撮像部２１が生成した画像データと、検出部が検出した検出結果と、特定部２２３が特定した対象物を構成する複数の重要部位の特定結果と、生成部２２２が生成した対象物を構成する複数の重要部位の各々の奥行き情報と、対象物を構成する複数の重要部位の各々に対して選択した撮影パラメータと、合成部２２６が生成した合成画像データと、操作部２６に対する操作履歴と、を含む画像ファイルデータを記録部２４に記録する。

【0040】

通信制御部２８５は、通信部２７の通信を制御する。具体的には、通信制御部２８５は、操作部２６の操作に応じて、送信部２７１に記録部２４が記録する複数の画像ファイルデータを学習装置３へ送信させる。

【0041】

〔学習装置の構成〕
次に、学習装置３の詳細な構成について説明する。
図３は、学習装置３の機能構成を示すブロック図である。図３に示す学習装置３は、通信部３１と、学習部３２と、学習データベース３３と、学習制御部３４と、を備える。

【0042】

通信部３１は、ネットワークＮ１００を経由して画像取得装置２と所定の通信規格に従って双方向に通信を行う。通信部３１は、学習装置３が学習した学習結果を送信する送信部３１１と、画像ファイルデータを受信する受信部３１２と、を有する。

【0043】

学習部３２は、画像取得装置２から送信された複数の画像ファイルデータに基づいて、ディープラーニング等の機械学習を行い、対象物を構成する複数の重要部位の各々に対して最適な撮影パラメータを更新するための推論モデルを第１の学習結果または第２の学習結果として生成する。ここで、複数の画像ファイルデータには、画像取得装置２が生成した画像データと、画像取得装置２によって画像データに対応する画像に写る対象物の検出結果と、対象物の奥行き情報と、対象物を構成する複数の重要部位の特定結果と、対象物を構成する複数の重要部位の各々に対して選択した最適な撮影パラメータと、複数の重要部位の各々に対して最適な撮影パラメータを１回の撮影で行うことができるか否かを判定した判定結果と、画像取得装置２が生成した合成画像データと、撮影パラメータから変更された操作履歴と、を含む。

【0044】

学習データベース３３は、複数の画像ファイルデータを記録する。学習データベース３３は、ＨＤＤ（Hard Disk Drive）およびＳＳＤ（Solid State Drive）等を用いて構成される。

【0045】

学習制御部３４は、学習装置３を構成する各部の動作を制御する。学習制御部３４は、ＣＰＵおよびメモリ等のハードウエアを有するプロセッサを用いて構成される。

【0046】

〔画像取得装置の処理〕
次に、画像取得装置２が実行する処理について説明する。図４は、画像取得装置２が実行する処理の概要を示すフローチャートである。

【0047】

図４に示すように、まず、画像取得装置２が撮影モードに設定されている場合（ステップＳ１０１；Ｙｅｓ）について説明する。この場合、画像取得装置２は、対物物を撮影することによって画像データを生成する撮影処理を実行する（ステップＳ１０２）。なお、撮影処理の詳細は、後述する。

【0048】

続いて、操作部２６から終了を指示する指示信号が入力された場合（ステップＳ１０３：Ｙｅｓ）、画像取得装置２は、本処理を終了する。これに対して、操作部２６から終了を指示する指示信号が入力されていない場合（ステップＳ１０３：Ｎｏ）、画像取得装置２は、上述したステップＳ１０１へ戻る。

【0049】

ステップＳ１０１において、画像取得装置２が撮影モードに設定されていない場合（ステップＳ１０１：Ｎｏ）、画像取得装置２は、ステップＳ１０４へ移行する。

【0050】

続いて、画像取得装置２が学習モードに設定されている場合（ステップＳ１０４：Ｙｅｓ）、画像取得装置２は、学習装置３に対して複数の画像ファイルデータを送信することによって推論エンジン２５を最新の学習結果に更新させる学習処理を実行する（ステップＳ１０５）。なお、学習処理の詳細は、後述する。ステップＳ１０５の後、画像取得装置２は、ステップＳ１０３へ移行する。

【0051】

ステップＳ１０４において、画像取得装置２が学習モードに設定されていない場合（ステップＳ１０４：Ｎｏ）、画像取得装置２は、ステップＳ１０６へ移行する。

【0052】

続いて、画像取得装置２が再生モードに設定されている場合（ステップＳ１０６：Ｙｅｓ）、画像取得装置２は、記録部２４の画像ファイル記録部２４１が記録する画像ファイル内の画像データに対応する画像を表示部２３に再生させる（ステップＳ１０７）。ステップＳ１０７の後、画像取得装置２は、ステップＳ１０３へ移行する。

【0053】

ステップＳ１０６において、画像取得装置２が再生モードに設定されていない場合（ステップＳ１０６：Ｎｏ）、画像取得装置２は、ステップＳ１０３へ移行する。

【0054】

〔撮影処理〕
次に、図４のステップＳ１０２において説明した撮影処理の詳細について説明する。図５は、撮影処理の概要を示すフローチャートである。

【0055】

図５に示すように、まず、撮影制御部２８２は、撮像部２１に撮像を実行させる（ステップＳ２０１）。

【0056】

続いて、検出部２２１は、撮像部２１が生成した画像データに対応する画像から対物物を検出する（ステップＳ２０２）。この場合、検出部２２１は、推論エンジン２５が記録する推論モデルに基づいて、対象物の種別を検出する。

【0057】

その後、生成部２２２は、撮像部２１が生成した画像データに基づいて、検出部２２１が検出した対象物の奥行き情報を生成し（ステップＳ２０３）、特定部２２３は、生成部２２２が生成した対象物の奥行き情報に基づいて、対象物を構成する複数の重要部位を特定する。具体的には、図６に示すように、ユーザＵ１が画像取得装置２を用いて主被写体である対象物Ａ１を撮影している場合、生成部２２２は、図７に示す対象物Ａ１の奥行き情報（距離分布情報）を生成する。図７において、水平方向をＸ、垂直方向をＹ、水平方向と垂直方向とが直交する奥行き方向をＺとして説明する。図７の（ｂ）における曲線Ｌ１（対象物Ａ１の腹部（羽部）に相当），Ｌ２（対象物Ａ１の頭部に相当）は、図７の（ａ）における垂直方向Ｙ１，Ｙ２の奥行き方向の奥行き情報（距離分布情報）を示す。図７の（ｂ）の曲線Ｌ１および曲線Ｌ２に示すように、特定部２２３は、生成部２２２が生成した対象物の奥行き情報に基づいて、画像取得装置２から対象物Ａ１を構成する複数の部位（例えば頭部、首、腹部（羽部）、脚部）において、同じ距離に位置している頭部および腹部（羽部）の各々が対象物Ａ１においてユーザＵ１が重要部位として特定する。

【0058】

続いて、判定部２２５は、推論エンジン２５が記録する推論モデルの推論結果に基づいて、ユーザＵ１がこだわる複数の重要部位を１回の撮影で表現可能な否かを判定する（ステップＳ２０５）。判定部２２５が１回の撮影で表現可能であると判定した場合（ステップＳ２０５：Ｙｅｓ）、画像取得装置２は、後述するステップＳ２０６へ移行する。これに対して、判定部２２５が１回の撮影で表現可能でないと判定した場合（ステップＳ２０５：Ｎｏ）、画像取得装置２は、後述するステップＳ２０８へ移行する。

【0059】

ここで、推論エンジン２５が推論するユーザＵ１のこだわり重要箇所の推論方法について説明する。図８Ａは、ユーザＵ１が画像取得装置２を用いて対象物を構成する重要部位として頭部にこだわって撮影した画像の一例を模式的に示す図である。図８Ｂは、ユーザＵ１が画像取得装置２を用いて対象物を構成する重要部位として羽部（腹部に相当）にこだわって撮影した画像の一例を模式的に示す図である。図８Ｃは、ユーザＵ１が画像取得装置２を用いて対象物を撮影する際にユーザＵ１が理想とする対象物を構成する複数の重要部位の各々に対してユーザＵ１が理想とする撮影パラメータで撮影できた場合の画像の一例を模式的に示す図である。図９は、推論エンジン２５が推論時に使用する学習結果の一例を模式的に示す図である。

【0060】

つまり、ここではわかりやすく、画像を分析してその色や形から対象物がどのような動物であるかが検出された場合、その動物ごとにどの部分が特徴的で正しく描写されるべきかを表形式で表している。この推論テーブルＴ１は、人間が理解しやすいように整理して論理的に説明しやすくして書いているが、実際には、機械学習で得られた推論エンジンは、これらの表の一部を飛ばして結論を出す場合もある。また、この時、キリンのおもちゃやポスターや、その他の紛らわしいものと本物のキリンを識別するために、対象物の距離や画面内の大きさ撮影時の光学系や撮像素子の情報を参考にした大きさ情報や厚み情報を加味すれば、より正しく紛い物と区別できるので、ここでは、被写体の大きさや顔と胴体の厚みの差などを副次情報として利用してもよい例を示している。顔は公知の目鼻口などの顔パーツの配置を画像で推論する技術を使い、そこから輪郭や同じ色などで繋がっている部分を胴体と判定すればよく、各部位の距離もカメラの距離測定の技術を使えば検出できる。

【0061】

また、重要部位は、複数の部位を指定できるようにして、このような対象物なら、この部分とこの部分が重要という情報の入れ込みが出来るようにしている。顔検出や胴体の判定が公知であるので、動物を例に説明したが、花や姿勢毎の人物でも同様の表が作成できる。このような表は、まず、対象物を特定する辞書などを設け（前述の大きさや形か色などで判別可能とする）、特定部２２３が専用のプログラムでこれを特定、図９のような表を記録部２４に設けておき、どこを重視するかというのをテーブル参照できるようにして構成すれば、重要な部位が好ましく描写された撮影（観察でもよい）が出来る撮像装置が提供可能となる。

【0062】

ただし、このように、対象物特定、さらにテーブル参照による対象部位の重要性判定、その部位が画像のどこであるかを判定して好適なパラメータ制御で撮像、というステップを踏まなくてもよい。例えば、画像から対象物特定をせずに、画像の中の複数の重要部位をそのまま判定できる推論モデルを使ってもよい。

【0063】

図８Ａ～図８Ｃに示すように、ユーザＵ１は、対象物Ａ１を構成する複数の重要部位の各々に対して、こだわりを持って撮影を行っている。しかしながら、図８Ａに示すように、ユーザＵ１は、対象物Ａ１を構成する複数の重要部位のうち頭部Ａ１１に画像取得装置２のピントを合わせて撮影した場合、対象物Ａ１を構成する複数の重要部位である羽部Ａ１２にピントを合わすことが難しいうえ、羽部Ａ１２の色の表現することが難しい。一方、図８Ｂに示すように、ユーザＵ１は、対象物Ａ１を構成する複数の重要部位である羽部Ａ１２に画像取得装置２の露出を合わせて羽部Ａ１２の色にこだわって撮影した場合、対象物Ａ１を構成する複数の重要部位である頭部Ａ１１に露出やピントを合わすことが難しい。このため、図８Ｃに示すように、ユーザＵ１は、対象物Ａ１を構成する複数の重要部位の各々に対して、こだわりを反映しつつ、理想とする撮影パラメータで撮影したい。そこで、判定部２２５は、検出部２２１が検出した検出結果および特定部２２３が特定した特定結果と推論エンジン２５が記録する推論モデルの学習結果テーブルＴ１に基づいて、ユーザＵ１がこだわる複数の重要部位を１回の撮影で表現可能か否かを判定する。例えば、判定部２２５は、検出部２２１が対象物をフラミンゴと検出し（例えば図７を参照）、特定部２２３がフラミンゴを構成する重要部位の顔部および羽部の各々を特定している場合、重要部位の顔部および羽部の各々に対して最適な撮影パラメータが異なるので、１回の撮影で表現可能でないと判定する。

【0064】

ステップＳ２０６において、選択部２２４は、複数の画像データを用いて推論エンジン２５が記録する推論モデルに基づいて、複数の重要部位の各々に対して最適な撮影パラメータを選択する。

【0065】

続いて、撮影制御部２８２は、選択部２２４が選択した複数の重要部位の各々に対して最適な撮影パラメータに基づいて、撮像部２１に撮像を実行させる（ステップＳ２０７）。ステップＳ２０７の後、画像取得装置２は、後述するステップＳ２１１へ移行する。

【0066】

ステップＳ２０８において、選択部２２４は、推論エンジン２５が記録する推論モデル、複数の重要部位の各々に対して撮影毎の最適な撮影パラメータを選択する。

【0067】

続いて、撮影制御部２８２は、選択部２２４が選択した複数の重要部位の各々に対して最適な撮影パラメータに基づいて、重要部位毎に撮影パラメータを変更して撮像部２１に撮像を実行させる（ステップＳ２０９）。

【0068】

その後、合成部２２６は、撮像部２１が生成した複数の画像データに基づいて、重要部位毎に撮影パラメータを反映した合成画像データを生成する（ステップＳ２１０）。

【0069】

続いて、表示制御部２８３は、画像処理部２２が生成した画像データに対応する画像を表示部２３に表示させる（ステップＳ２１１）。

【0070】

その後、操作部２６に対して撮影パラメータを変更する手動操作があった場合（ステップＳ２１２：Ｙｅｓ）、撮影制御部２８２は、撮像部２１の撮影パラメータを変更し（ステップＳ２１３）、撮影パラメータで変更があった操作履歴を記録部２４に一時的に記録する（ステップＳ２１４）。ステップＳ２１４の後、画像取得装置２は、後述するステップＳ２１５へ移行する。これに対して、操作部２６に対して撮影パラメータを変更する手動操作がなかった場合（ステップＳ２１２：Ｎｏ）、画像取得装置２は、後述するステップＳ２１５へ移行する。

【0071】

続いて、操作部２６に対して撮影操作があった場合（ステップＳ２１５：Ｙｅｓ）、撮影制御部２８２は、撮像部２１に撮影を実行して記録する（ステップＳ２１６）。この場合、記録制御部２８４は、撮像部２１が生成した画像データと、検出部２２１の検出結果と、特定部２２３が特定した対象物を構成する複数の重要部位の特定結果と、生成部２２２が生成した対象物を構成する複数の重要部位の各々の奥行き情報と、選択部２２４が対象物を構成する複数の重要部位の各々に対して選択した撮影パラメータと、記録部２４に記録された操作履歴と、合成画像データと、を格納した画像ファイルデータを生成して画像ファイル記録部２４１に記録する。ステップＳ２１６の後、画像取得装置２は、図４のメインルーチンへ戻る。

【0072】

ステップＳ２１５において、操作部２６に対して撮影操作がなかった場合（ステップＳ２１５：Ｎｏ）、画像取得装置２は、図４のメインルーチンへ戻る。

【0073】

〔学習処理〕
次に、図４のステップＳ１０５において説明した学習処理の詳細について説明する。図１０は、学習処理の概要を示すフローチャートである。画像取得装置２が、図９で説明した推論テーブルＴ１と同様の効果を奏する推論モデル（学習済みモデル）を得る時、こだわりの撮影が出来るように教師データの一部を学習させられるようにした工夫である。誰もが撮るような類型的な画像で満足できる場合は、必ずしも学習処理を積極的に行わずともよく、製品の工場からの出荷時点でこの処理を終わらせておいてもよい。

【0074】

図１０に示すように、通信制御部２８５は、送信部２７１に画像ファイル記録部２４１が記録する複数の画像ファイルデータを学習データとして学習装置３へ送信する（ステップＳ３０１）。この場合、画像ファイルデータには、対象物を撮像した画像データと、メタデータとが含まれる。メタデータとしては、画像取得装置２によって特定された対象物を構成する複数の重要部位の特定結果、画像取得装置２によって生成された対象物を構成する複数の需要部位の各々の奥行き情報、画像取得装置２が複数の重要部位の各々に対して選択した撮影パラメータ、および推論エンジン２５の推論した撮影パラメータから変更された操作履歴データである。この学習データとして送信する画像ファイルデータは、こうした画像を撮りたい、といった場合に、画像内においてこだわって描写した部分を指定したり、うまく行って満足した画像と失敗した画像を指定して出力したりできるようにしてもよい。つまり、これから撮影したいものに対し、すでに得られている画像ごとに当該画像に含まれる複数の部位を重要部位が定められた複数の教師データを使って学習された学習済モデルを使って正しい制御を行う。ユーザが撮影（観察）して満足した画像のみを送信してもよく、失敗した画像はユーザによる画像消去操作時に送信してもよい。これはネガティブサンプルになる。失敗部分をタッチ操作で指定できるグラフィックインターフェースにしてもよい。操作履歴からその重要部分が判定される場合もある。何度も、どこにピントを合わせようかと悩んだ操作があれば、そのピントを合わせた履歴から、それが得られる。このような学習データの送信によって、外部の学習装置３がユーザの良いと思った画像に似た制御を行うための推論エンジン（の学習用データ）を設計する。また、これは絶対に撮影したいという例があれば、これを検査用データとしてもよい。この時、どこがこだわり部位であるかの情報も合わせて出力する。

【0075】

続いて、受信部２７２が学習装置３から学習結果を受信した場合（ステップＳ３０２：Ｙｅｓ）、制御部２８は、推論エンジン２５の学習結果を、学習装置３から送信された学習結果に更新する（ステップＳ３０３）。これにより、ユーザの操作によって操作履歴に基づく学習結果を反映した推論エンジン２５に更新することができる。ステップＳ３０３の後、画像取得装置２は、図４のメインルーチンへ戻る。これに対して、受信部２７２が学習装置３から学習結果を受信していない場合（ステップＳ３０２：Ｎｏ）、学習装置３から学習結果を受信するまで待機する。

【0076】

〔学習装置の処理〕
次に、学習装置３が実行する処理について説明する。図１１は、学習装置３が実行する処理の概要を示すフローチャートである。なお、実施の形態１では、推論エンジンをどのように設計するかはいくつかの選択肢があり、図９で説明したように、まず対象物を検出して、その後、重要部位がどこであるかを推論する場合もあり、対象物にこだわらず、統計的に重要な部位を画像全体の特徴から推論する方法もある。ここでは、ユーザが撮影した画像や、ユーザが指定したカテゴリーの画像を使って学習するものを例示している。この画像は、前述のように画像の部位ごとの遠近分布情報や撮像系の特性と対象物距離、画面内の大きさからえられた対象物の大きさ情報を含んでもよい。その方が情報量が増えることによって正確な推論ができる場合がある。また、個々のユーザが選ばなくとも、一般的に良いとされる画像にこだわり描写部位（ピントや色、これらを優先順位付けしてもよい）をアノテーションした画像を教師データとしてもよい。

【0077】

図１１に示すように、まず、ネットワークＮ１００を経由して受信部３１２が画像取得装置２から学習データを受信した場合（ステップＳ４０１：Ｙｅｓ）、学習部３２は、学習制御部３４の制御のもと、受信部３１２が受信した学習データに基づいて、機械学習を行う（ステップＳ４０２）。教師データあるいは、上述の検査用画像データの重要部位が特定の信頼性で正しく判定されるまで、教師データを変えたり、ネガティブサンプルを入れたり、ネットワークの構成を変更したりして試行錯誤があるので、Ｓ４０２は実際には何度もループを繰り返して学習のやり直しを行う。

【0078】

続いて、学習制御部３４は、画像取得装置２に対して、学習部３２が生成した推論モデルを送信部３１１に送信させる（ステップＳ４０３）。ステップＳ４０３の後、学習装置３は、本処理を終了する。これは具体的には、推論エンジンのレイヤー構造や各情報の重みづけ方法を規定したデータであって、画像取得装置に内蔵された推論エンジン用のハードウエアが、これにしたがって画像から重要ポイントを判断できるようになるものである。

【0079】

ステップＳ４０１において、ネットワークＮ１００を経由して受信部３１２が画像取得装置２から画像データを受信していない場合（ステップＳ４０１：Ｎｏ）、学習装置３は、本処理を終了する。

【0080】

以上説明した実施の形態１によれば、選択部２２４が対象物を構成する複数の重要部位の各々に対して最適な撮影パラメータを選択するので、対象物の部位毎に適した処理を行うことができる。このような工夫によって、すでに得られている画像ごとに当該画像に含まれる複数の部位を重要部位が定められた複数の教師データを使って学習された学習済モデルに従って、取得中の画像から複数の重要部位を特定する特定部と、前記複数の重要部位の各々に対して最適な撮影パラメータを選択する選択部とを備える画像処理装置が提供可能となる。このようにして得られた学習結果は、図９のようなテーブル判定に似た規則で、対象物毎の重要部位を判定することができる。図９では、重要部位に優先順位を示したが、これをさらに細分化して、ピントではこの部位、色ではこの部位と、分けて優先順位付けを行ってもよい。これまで説明したように、「教師あり学習」が、アノテーションによって出力を定められた教師データを使って「入力と出力の関係」を学習するもので、特定の条件下での信頼性の高い推論を行うものであるのに対し、「データの構造」を学習する「教師なし学習」の手法を用いることによって、より複雑な状況に対応できる推論モデルを取得してもよい。「強化学習」と呼ばれる、「価値や効果を最大化するような行動」を学習する手法を用いても良い。これは、状態行動価値が増大化するような法則を見つけるように学習させるもので、現在ではなく次の状態の価値を見積もって高めたり、特定の報酬が得られたりするまで試行錯誤した結果を学習に反映させる。学習結果の検証には、教師データを使ってもよい。アノテーションによって得られた正解の出力をそのまま学習するのではなく、さらに良い回答が得られるよう学習させるもので、未知の状況に対応できるようにしたものである。これらは教師あり学習と併用してもよく、教師なし学習による推論のあと、教師あり学習による推論を行ってもよい。アノテーション用データは、こうした「教師なし学習」、「強化学習」の検証用データとしても利用が可能である。」。「機械に何かを判定させる場合、人間が機械に判定の仕方を教える必要があり、ここでは画像の判定を、機械学習により導出する手法を採用したが、そのほか、人間が経験則・ヒューリスティクスによって獲得したルールを適応するルールベースの手法を用いてもよい。

【0081】

また、実施の形態１によれば、選択部２２４が推論エンジン２５によって記録された推論モデルに基づいて、対象物を構成する複数の重要部位の各々に対して最適な撮影パラメータを選択するので、対象物の部位毎に適した処理を行うことができる。

【0082】

また、実施の形態１によれば、特定部２２３が生成部２２２によって生成された奥行き情報を利用してもよい。つまり、より多くの情報で対象物を構成する複数の重要部位を特定することができるので、選択部２２４が最適な撮影パラメータを選択することができる。

【0083】

また、実施の形態１によれば、特定部２２３が生成部２２２によって生成された奥行き情報に基づいて、対象物を構成する複数の重要部位を特定することができるので、選択部２２４が最適な撮影パラメータを選択することができる。

【0084】

また、実施の形態１によれば、特定部２２３が生成部２２２によって生成された奥行き情報と検出部２２１によって検出された対象物の種別とに基づいて、対象物を構成する複数の重要部位を特定するので、対象物毎の重要な撮影パラメータを選択することができる。

【0085】

また、実施の形態１によれば、判定部２２５によって撮像部２１が選択部２２４によって選択された複数の重要部位の各々に対して最適な撮影パラメータを１回の撮影で行うことができるか否かを判定し、撮影制御部２８２が判定部２２５の判定結果に基づいて、撮像部２１を制御するので、対象物に適した撮影回数で撮影を行うことができる。

【0086】

また、実施の形態１によれば、合成部２２６が撮像部２１によって撮影パラメータが変更されながら生成した複数の画像データを合成して合成画像データを生成するので、対象物の部位毎に適した撮影パラメータの画像を生成することができる。

【0087】

また、実施の形態１によれば、記録制御部２８４が、撮像部２１が生成した画像データと、検出部２２１の検出結果と、特定部２２３が特定した対象物を構成する複数の重要部位の特定結果と、生成部２２２が生成した対象物を構成する複数の重要部位の各々の奥行き情報と、選択部２２４が対象物を構成する複数の重要部位の各々に対して選択した撮影パラメータと、記録部２４に記録された操作履歴と、合成画像データと、を格納した画像ファイルデータを生成して画像ファイル記録部２４１に記録するので、学習装置３で学習させる学習データを容易に作成することができる。

【0088】

（実施の形態２）
次に、実施の形態２について説明する。上述した実施の形態１では、画像取得装置として撮像装置に適用した例に説明したが、実施の形態２では、画像取得装置として内視鏡に適用した場合について説明する。また、実施の形態２に係る画像処理装置は、上述した実施の形態１に係る画像取得装置２と同様の構成を有し、実行する撮影処理が異なる。以下においては、実施の形態２に係る画像取得装置が実行する撮影処理について説明する。なお、上述した実施の形態１に係る画像取得装置２と同一の構成には同一の符号を付して詳細な説明を省略する。

【0089】

〔撮影処理〕
図１２は、実施の形態２に係る画像取得装置２が実行する撮影処理の概要を示すフローチャートである。図１２において、画像取得装置２は、上述した図５のステップＳ２１１に換えて、ステップＳ２１１Ａを実行し、それ以外は、上述した図５と同様のため、詳細な説明は省略する。

【0090】

ステップＳ２１１Ａにおいて、表示制御部２８３は、推論エンジン２５の推論結果に基づいて、対象物を構成する重要部位毎に応じたメッセージを重畳した画像を表示部２３に表示させる。具体的には、図１３に示すように、画像取得装置２が対象物Ａ１００を撮像している場合（図１４の画像Ｐ１１→画像Ｐ１２→画像Ｐ１３→画像Ｐ１４→画像Ｐ１５→画像Ｐ１６）、表示制御部２８３は、図１５または図１６に示すように、推論エンジン２５の推論結果に基づいて、対象物を構成する重要部位毎に応じたメッセージ、例えばＯＫやＮＧを重畳した画像を表示部２３に表示させる。これにより、ユーザは、直感的に最適な画像を把握することができる。

【0091】

以上説明した実施の形態２によれば選択部２２４が対象物を構成する複数の重要部位の各々に対して最適な撮影パラメータを選択するので、対象物の部位毎に適した処理を行うことができる。

【0092】

（その他の実施の形態）
上述した実施の形態１，２に係る画像処理システムに開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、上述した本開示の実施の形態に係る画像処理システムに記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本開示の実施の形態に係る画像処理システムで説明した構成要素を適宜組み合わせてもよい。

【0093】

また、実施の形態１，２に係る画像処理システムでは、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。

【0094】

また、実施の形態１，２に係る画像処理システムに実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

【0095】

また、実施の形態１，２に係る画像処理システムに実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。

【0096】

なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。また、こうした、単純な分岐処理からなるプログラムに限らず、より多くの判定項目を総合的に判定して分岐させてもよい。その場合、ユーザにマニュアル操作を促して学習を繰り返すうちに機械学習するような人工知能の技術を併用しても良い。また、多くの専門家が行う操作パターンを学習させて、さらに複雑な条件を入れ込む形で深層学習をさせて実行してもよい。

【0097】

以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

【符号の説明】

【0098】

１・・・画像処理システム；２・・・画像取得装置；３・・・学習装置；２１・・・撮像部；２２・・・画像処理部；２３・・・表示部；２４・・・記録部；２５・・・推論エンジン；２６・・・操作部；２７，３１・・・通信部；２８・・・制御部；３２・・・学習部；３３・・・学習データベース；３４・・・学習制御部；２１１・・・光学系；２１２・・・撮像素子；２２１・・・検出部；２２２・・・生成部；２２３・・・特定部；２２４・・・選択部；２２５・・・判定部；２２６・・・合成部；２４１・・・画像ファイル記録部；２４２・・・プログラム記録部；２７１，３１１・・・送信部；２７２，３１２・・・受信部；２８１・・・画像処理制御部；２８２・・・撮影制御部；２８３・・・表示制御部；２８４・・・記録制御部；２８５・・・通信制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図8C】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】