特開 2023-166258 画像評価装置、画像評価方法及び画像評価プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023166258

(43)【公開日】2023-11-21

(54)【発明の名称】画像評価装置、画像評価方法及び画像評価プログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20231114BHJP

   H04N 5/93 20060101ALI20231114BHJP

   H04N 23/63 20230101ALI20231114BHJP

   G06F 16/58 20190101ALI20231114BHJP

【ＦＩ】

H04N5/232 300

H04N5/93

H04N5/232 930

H04N5/232 290

G06F16/58

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2022077183

(22)【出願日】2022-05-09

(71)【出願人】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】110002907

【氏名又は名称】弁理士法人イトーシン国際特許事務所

(72)【発明者】

【氏名】神田 和男

(72)【発明者】

【氏名】宮澤 慎吾

(72)【発明者】

【氏名】池澤 美子

(72)【発明者】

【氏名】市川 学

(72)【発明者】

【氏名】野中 修

【テーマコード（参考）】

5B175

5C053

5C122

【Ｆターム（参考）】

5B175DA02

5B175FB02

5B175FB03

5B175HB03

5C053GB06

5C053JA21

5C053LA06

5C053LA11

5C122EA42

5C122FH09

5C122FH11

5C122FH14

5C122FK12

5C122FK24

5C122FK42

5C122FL03

5C122GA34

5C122HA01

5C122HA88

5C122HB01

(57)【要約】

【課題】ユーザの画像についてのこだわりや好み等を直感的な操作により指定することにより、所望の画像の選択を容易にする。
【解決手段】 画像評価方法は、複数の画像を含む画像群中の各画像を一覧表示し、前記画像群から第１画像を選択し、前記第１画像と特定部位を含む画像とを表示し、前記特定部位の画像特徴に基づいて前記画像群中の各画像に優先度情報を付し、前記特定部位を含む画像の表示を前記優先度情報に応じて設定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数の画像を含む画像群中の各画像を一覧表示し、
前記画像群から第１画像を選択し、
前記第１画像と特定部位を含む画像とを表示し、
前記特定部位の画像特徴に基づいて前記画像群中の各画像に優先度情報を付し、
前記特定部位を含む画像の表示を前記優先度情報に応じて設定する
ことを特徴とする画像評価方法。

【請求項2】

前記第１画像を表示して、前記第１画像中の前記特定部位を指定する第１指定操作を受け付ける
ことを特徴とする請求項１に記載の画像評価方法。

【請求項3】

前記特定部位を含む画像を一覧表示し、
前記一覧表示の表示順を前記優先度情報に応じて設定する
ことを特徴とする請求項１に記載の画像評価方法。

【請求項4】

前記画像群の各画像の一覧表示に際して、前記各画像のサムネイル画像を表示する
ことを特徴とする請求項３に記載の画像評価方法。

【請求項5】

前記画像群中の各画像のうち前記特定部位の画像部分に類似する類似画像の優先度を類似していない非類似画像の優先度よりも高くする
ことを特徴とする請求項１に記載の画像評価方法。

【請求項6】

前記特定部位を含む画像を一覧表示し、
前記第１画像中の特定部位を指定する第２指定操作を受け付け、
前記第１及び第２指定操作に基づく複数の特定部位のそれぞれの画像特徴に基づいて前記画像群中の各画像に優先度を付し、前記一覧表示の表示順を前記優先度に応じて設定する
ことを特徴とする請求項２に記載の画像評価方法。

【請求項7】

前記特定部位の画像特徴に基づいて優先度が付された画像について画像評価を行い、評価結果の数値に基づいて、前記優先度を設定する
ことを特徴とする請求項１に記載の画像評価方法。

【請求項8】

前記画像群は外部から入力され、
前記外部から入力された前記画像群に前記特定部位を指定するための第１情報が含まれている場合には、前記第１情報に基づいて前記第１画像中の特定部位を指定する
ことを特徴とする請求項１に記載の画像評価方法。

【請求項9】

前記特定部位を含む画像を一覧表示し、
前記第１画像中の特定部位を指定する前記第１指定操作が発生した場合には、前記第１情報及び第１指定操作に基づく複数の特定部位のそれぞれの画像特徴に基づいて前記画像群中の各画像に優先度を付し、前記一覧表示の表示順を前記優先度に応じて設定する
ことを特徴とする請求項８に記載の画像評価方法。

【請求項10】

上記画像に付す優先度情報は、上記画像の画像データが格納される画像ファイル内に所定の規則で書き込まれた情報、または、上記画像ファイルから互いに参照されることを可能に記録された情報である
ことを特徴とする請求項１に記載の画像評価方法。

【請求項11】

上記優先度情報は、優先度を判定した時の条件の情報を関連付けて記録可能である
ことを特徴とする請求項１に記載の画像評価方法。

【請求項12】

複数の画像を含む画像群を受信する入力部と、
前記画像群から第１画像を選択する第１画像選択部と、
前記第１画像を表示すると共に、前記画像群の各画像の一覧表示を表示する表示制御部と、
前記第１画像中の特定部位を指定する第１指定操作を受け付ける指定部と、
前記特定部位の画像特徴に基づいて前記画像群中の各画像に優先度を付し、前記一覧表示の表示順を前記優先度に応じて設定するレイティング評価部と、
を備えたことを特徴とする画像評価装置。

【請求項13】

前記表示制御部は、前記画像群の各画像の一覧表示に際して、前記各画像のサムネイル画像を表示する
ことを特徴とする請求項１２に記載の画像評価装置。

【請求項14】

前記画像群の各画像のうち前記特定部位の画像部分に類似する画像部分を有する類似画像を判定する類似画像判定部を更に具備し、
前記レイティング評価部は、前記画像群中の各画像のうち類似画像の優先度を類似していない非類似画像の優先度よりも高くする
ことを特徴とする請求項１２に記載の画像評価装置。

【請求項15】

前記指定部は、前記第１画像中の特定部位を指定する第２指定操作を受け付け、
前記レイティング評価部は、前記第１及び第２指定操作に基づく複数の特定部位のそれぞれの画像特徴に基づいて前記画像群中の各画像に優先度を付し、前記一覧表示の表示順を前記優先度に応じて設定する
ことを特徴とする請求項１２に記載の画像評価装置。

【請求項16】

前記特定部位の画像特徴に基づいて優先度が付された画像について画像評価を行い、評価結果を数値化する画像数値評価部を更に具備し、
前記レイティング評価部は、前記評価結果の数値に基づいて、前記優先度を設定する
ことを特徴とする請求項１２に記載の画像評価装置。

【請求項17】

前記入力部が受信した前記画像群に前記特定部位を指定するための第１情報が含まれている場合には、前記第１情報に基づいて前記第１画像中の特定部位を指定する制御部を更に具備する
ことを特徴とする請求項１２に記載の画像評価装置。

【請求項18】

前記レイティング評価部は、前記第１画像中の特定部位を指定する前記第１指定操作が発生した場合には、前記第１情報及び第１指定操作に基づく複数の特定部位のそれぞれの画像特徴に基づいて前記画像群中の各画像に優先度を付し、前記一覧表示の表示順を前記優先度に応じて設定する
ことを特徴とする請求項１７に記載の画像評価装置。

【請求項19】

コンピュータに、
複数の画像を含む画像群中の各画像を一覧表示し、
前記画像群から第１画像を選択し、
前記第１画像と特定部位を含む画像とを表示し、
前記特定部位の画像特徴に基づいて前記画像群中の各画像に優先度情報を付し、
前記特定部位を含む画像の表示を前記優先度情報に応じて設定する
手順を実行させるための画像評価プログラム。

【請求項20】

コンピュータに、
複数の画像を含む画像群中の各画像を一覧表示し、
前記画像群から第１画像を選択し、
前記第１画像を表示して、前記第１画像中の特定部位を指定する第１指定操作を受け付け、
前記特定部位の画像特徴に基づいて前記画像群中の各画像に優先度を付し、前記一覧表示の表示順を前記優先度に応じて設定する
手順を実行させるための画像評価プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像に対するユーザのこだわりを反映した画像評価を行う画像評価装置、画像評価方法及び画像評価プログラムに関する。

【背景技術】

【0002】

近年、デジタルカメラなどの撮影機能付き携帯機器（撮影機器）が普及している。この種の撮影機器においては、動画撮影機能や、撮影を連続的に行う、所謂連写機能を備えた撮影機器も普及している。

【0003】

動画撮影や連写撮影によって取得された多数の画像から、ユーザの画像についてのこだわりや好み等に応じた特定の画像を選択する場合がある。このような用途に対して、撮影機器においては、取得された多数の画像の一部をサムネイル表示する機能を備えたものもある。

【0004】

例えば、特許文献１においては、任意に設定された並び替え条件を満たす画像がマトリクスに従って抽出され、並び替え条件を充足する画像から優先的に一覧表示画面の表示スペースに配列することにより、画像の選択を容易にした技術が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特許第４９５１３９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１の技術においては、並び替え条件の設定によっては、ユーザが希望する画像を優先的に表示することができず、所望の画像の選択が困難な場合がある。
本発明は、ユーザの画像についてのこだわりや好み等を直感的な操作により指定することにより、所望の画像の選択を容易にすることができる画像評価装置、画像評価方法及び画像評価プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一態様による画像評価方法は、複数の画像を含む画像群中の各画像を一覧表示し、前記画像群から第１画像を選択し、前記第１画像と特定部位を含む画像とを表示し、前記特定部位の画像特徴に基づいて前記画像群中の各画像に優先度情報を付し、前記特定部位を含む画像の表示を前記優先度情報に応じて設定する。
本発明の一態様による画像評価装置は、複数の画像を含む画像群を受信する入力部と、前記画像群から第１画像を選択する第１画像選択部と、前記第１画像を表示すると共に、前記画像群の各画像の一覧表示を表示する表示制御部と、前記第１画像中の特定部位を指定する第１指定操作を受け付ける指定部と、前記特定部位の画像特徴に基づいて前記画像群中の各画像に優先度を付し、前記一覧表示の表示順を前記優先度に応じて設定するレイティング評価部と、を備える。

【0008】

本発明の一態様による画像評価プログラムは、コンピュータに、複数の画像を含む画像群中の各画像を一覧表示し、前記画像群から第１画像を選択し、前記第１画像と特定部位を含む画像とを表示し、前記特定部位の画像特徴に基づいて前記画像群中の各画像に優先度情報を付し、前記特定部位を含む画像の表示を前記優先度情報に応じて設定する手順を実行させる。
本発明の一態様による画像評価プログラムは、コンピュータに、複数の画像を含む画像群中の各画像を一覧表示し、前記画像群から第１画像を選択し、前記第１画像を表示して、前記第１画像中の特定部位を指定する第１指定操作を受け付け、前記特定部位の画像特徴に基づいて前記画像群中の各画像に優先度を付し、前記一覧表示の表示順を前記優先度に応じて設定する手順を実行させる。

【発明の効果】

【0009】

本発明によれば、ユーザの画像についてのこだわりや好み等を直感的な操作により指定することにより、所望の画像の選択を容易にすることができるという効果を有する。

【図面の簡単な説明】

【0010】

【図1】本発明の第１の実施の形態に係る画像評価装置を示すブロック図。

【図2】記録部１７の記録内容を説明するための説明図。

【図3】推論モデルの一例を示す説明図。

【図4】第１の実施形態の動作を説明するためのフローチャート。

【図5】表示画面上の表示例を示す説明図。

【図6】表示画面上の表示例を示す説明図。

【図7】表示画面上の表示例を示す説明図。

【図8】第２の実施形態を説明するためのブロック図。

【図9】記録部３５に記録される情報又は撮像システム３０から出力される情報を説明するための説明図。

【図10】撮像システム３０の動作を説明するためのフローチャート。

【発明を実施するための形態】

【0011】

以下、図面を参照して本発明の実施の形態について詳細に説明する。

【0012】

（第１の実施の形態）
図１は本発明の第１の実施の形態に係る画像評価装置を示すブロック図である。本実施形態は、撮影によって得られた複数の画像、例えば、動画撮影や、撮影を連続的に行う所謂連写撮影により取得された複数の画像を含む画像群について、各画像の表示を行うと共に、当該表示上で画像中の特定の画像部分（以下、特定部位という）を指定する操作を受け付け、当該特定部位の画像特徴に基づく画像、例えば、当該特定部位に類似する画像部分を有する画像を、画像群の中から選択することにより、ユーザの画像についてのこだわりや好み等を反映した画像の選択を容易にするものである。なお、ユーザの画像についてのこだわりや好み等を反映した画像とは、少なくとも特定部位を含む画像が考えられる。

【0013】

特定部位とは、画像についてのユーザのこだわりやユーザの嗜好を最も表現する画像部分、或いはユーザが画像中で注目してほしいと考える注目部の画像部分である。ユーザは、自分のこだわりや嗜好を特徴付けると判断した画像部分、或いは画像中の注目してほしいと考える画像部分を特定部位として指定する。例えば、被写体が人物や動物である場合、画像中の顔の画像部分や、顔の中の目の画像部分等が特定部位として指定されることも考えられる。本実施形態は、このような特定部位を含む画像、即ち、ユーザのこだわりや嗜好に沿った画像等の選択動作を直感的な操作によって指定することが可能である。

【0014】

本実施形態によれば、例えばプロカメラマンが撮影したあるシーンの大量の画像から、プロカメラマン自身がこだわりを持った画像等を比較的簡単に選択することができる。また、例えば、内視鏡により取得した膨大な内視鏡画像から病変部の特定を行うための推論に用いる教師画像を、比較的簡単に収集することも可能である。

【0015】

図１において、画像評価装置１０は、制御部１１、入力部１２、代表画像選択部１３、サムネイル作成部１４、レイティング評価部１５、画像数値評価部１６、記録部１７、表示制御部１８、類似画像判定部１９及び指定部２０を含む。制御部１１は、画像評価装置１０内の各部を統括的に制御する。

【0016】

制御部１１は、ＣＰＵ（Central Processing Unit）やＦＰＧＡ（Field Programmable Gate Array）等を用いたプロセッサによって構成されていてもよい。制御部１１は、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。なお、制御部１１に限らず、画像評価装置１０内の各部が、ＣＰＵやＦＰＧＡ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。クラウド上に実装され実現されてもよい。
画像評価装置１０の入力部１２は、複数の画像を含む１つ以上の画像群を取得する。例えば、画像群は、撮影機器によって動画撮影、連写撮影、或いは通常撮影によって得られた画像であってもよい。入力部１２は、例えば複数の画像を記憶したメモリ媒体等の記録媒体から情報を読み出すメモリリーダーによって構成されていてもよく、また、撮影機器やＬＡＮ上のサーバやクラウド上のサーバから画像データを取得する各種通信インタフェース回路により構成されていてもよい。入力部１２は取得した画像群の各画像を記録部１７に与えて記録する。

【0017】

記録部１７は、ハードディスクやメモリ媒体等の所定の記録媒体によって構成されて、画像評価装置１０の各部から与えられた画像データを含む各種情報を記録すると共に、記録されている情報を各部に出力する。記録部１７としては、例えばカードインターフェースを採用してもよく、この場合には記録部１７はメモリカード等の記録媒体に画像データ等を記録可能である。

【0018】

代表画像選択部１３は、記録部１７に記録された画像群について、代表画像を選択する。代表画像は、ユーザが特定部位を指定するために用いられる画像である。代表画像選択部１３は、画像群の各画像について画像データ中に含まれる各種情報を用いて、或いは画像の画層解析により、代表画像を選択する。例えば、代表画像選択部１３は、画像群の各画像のうち、撮影時刻が最も早い画像を代表画像として選択してもよい。また、例えば、代表画像選択部１３は、画像群の各画像のうち、ピントが最もあっていると判定された画像や、被写体の全体が撮影された画像、被写体が中央に位置する画像等を代表画像として選択してもよい。

【0019】

サムネイル作成部１４は、画像サイズを変更する公知のサムネイル画像生成技術を採用して、記録部１７に記録された画像群の各画像について、サムネイル画像を生成する。サムネイル作成部１４は、生成したサムネイル画像を記録部１７に与えて、サムネイル画像の元となった画像に関連付けて記録させるようになっていてもよい。

【0020】

レイティング評価部１５は、記録部１７に記録された画像群の各画像について、各画像の順位を示すレイティングを施す。即ち、レイティング評価部１５は、記録部１７に記録された画像群の各画像が、ユーザのこだわりや嗜好を反映した画像であったり、注目部を有する画像であったりするか否かに基づいて、その程度に応じたレイティングを各画像に施す。なお、レイティング評価部１５の評価は、後述する画像数値評価部１６の評価結果及び類似画像判定部１９の判定結果に基づいて行われてもよく、これらの評価や判定が行われる前の状態（以下、初期状態という）では、レイティング評価部１５は、例えば、画像の撮影時刻順や、記録順に各画像をレイティングする。レイティング評価部１５は、レイティング情報を記録部１７に与えて、各画像に対応させて記憶させるようになっていてもよい。なお、レイティング評価部１５は、初期状態であっても、画像のピントの状態等に基づいてレイティングを施してもよい。

【0021】

図２は記録部１７の記録内容を説明するための説明図である。図２は画像群の１つの画像について記録される内容の一例を示している。図２に示すように、記録部１７には、画像群の各画像の画像データが記録される。画像データとしては、入力部１２から取り込まれた画像の画像データの他にサムネイル作成部１４によって作成されたサムネイル画像データを含んでもよい。また、記録部１７には、パラメータ情報、撮影条件情報、画像群情報、推論モデル情報、第１レイティング情報及び第２レイティング情報が記録される。パラメータ情報は、取得された画像データの各種パラメータの情報であり、例えば、露出時間、絞り値、露出プログラム、ＩＳＯ感度（撮像素子のゲイン）の情報等を含む。また、撮影条件情報は、撮影日時、撮影場所、交換レンズの種類、被写体までの距離や明るさ情報を含む。画像群情報は、当該画像が複数の画像群のうちのいずれの画像群に含まれるかを示す情報である。推論モデル情報は、当該画像の撮影時に推論モデルを使用された場合には、その使用された推論モデルに関する情報である。図２で示した大きなブロックの部分は、図示した各ブロックをデータとしたファイルとして扱ってもよい。また、中に書かれたブロック（データ）は、参照可能であれば、別の記録装置やファイルにあってもよい。また、レイティング情報は、画像の優先度を示す情報（優先度情報）を、例えば、ランク分けしたものや、数値化したものの他、誰がレイティングしたかや、何時どこで、何を使ってレイティングしたかといった、レイティング条件情報を含んでもよい。上記優先度情報は、当該優先度を判定した時の条件の情報を関連付けて記録可能であることを特徴とするという表現も可能である。

【0022】

制御部１１は、代表画像選択部１３が選択した代表画像の画像データ及びサムネイル作成部１４が作成したサムネイル画像の画像データを記録部１７から読み出して、表示制御部１８に与える。表示制御部１８は、代表画像及び複数のサムネイル画像を含む表示画像のデータを生成して、図示しない表示装置の表示画面上に表示可能なデータ形式に変換して、表示装置に出力する。表示制御部１８が生成する表示画像は、サムネイル画像の一覧を表示するサムネイル領域と代表画像を表示するビュー領域とを有する。

【0023】

表示制御部１８は、ビュー領域には、１枚の代表画像を配置する。また、表示制御部１８は、サムネイル領域には、複数のサムネイル画像を配置する。表示制御部１８は、レイティング評価部１５よるレイティング情報に基づいて、サムネイル領域に表示するサムネイル画像の表示位置を決定する。例えば、表示制御部１８は、レイティング情報によって優先度がより高いと判定された画像に対応するサムネイル画像の順に、各サムネイル画像を順番にサムネイル領域に配置するようになっていてもよい。例えば、初期状態では、各画像の撮影時刻順に、サムネイル領域の左端から右端に向かって、且つ上端から下端に向かって優先度がより高い画像のサムネイル画像から順次配置するようになっていてもよい。なお、サムネイル領域には１行又は１列でサムネイル画像が配置される場合もある。

【0024】

本実施形態においては、指定部２０は、ユーザが特定部位を指定するための操作を受け付けるようになっている。例えば、指定部２０は、図示しないキーボードやポインティングデバイス等を有して、ユーザ操作を受け付けるようになっていてもよい。また、指定部２０は、図示しない表示装置の表示画面上に配設されたタッチパネルにより構成されて、ユーザのタッチ操作等によるユーザ操作を受け付けるようになっていてもよい。例えば、ユーザは、ビュー領域上に表示された代表画像中の特定部位を、タッチ操作や範囲指定操作等によって、指定することが可能である。指定部２０は、ユーザによる特定部位の指定操作に基づく代表画像上の位置（以下、指定位置という）を示す指定位置情報を類似画像判定部１９に出力する。

【0025】

類似画像判定部１９は、代表画像の画像データ及び指定部２０からの指定位置情報が与えられ、ユーザによって、代表画像中のいずれの位置を指定する操作が行われたかを判定する。例えば、類似画像判定部１９は、公知の画像認識処理によって、当該指定位置情報によって特定される特定部位を判定する。例えば、類似画像判定部１９は、代表画像が動物を含む画像である場合において、ユーザがビュー領域に表示された代表画像中の動物の頭部の位置を指定する操作を行った場合には、類似画像判定部１９は、指定位置情報により、代表画像の頭部を特定部位として判定する。また、例えば、類似画像判定部１９は、代表画像が鳥を含む画像である場合において、ユーザがビュー領域に表示された代表画像中の鳥のくちばしの位置を指定する操作を行った場合には、類似画像判定部１９は、指定位置情報により、代表画像中のくちばしを特定部位として判定する。また、例えば、類似画像判定部１９は、代表画像が内視鏡画像である場合において、ユーザがビュー領域に表示された代表画像中の病変部の位置を指定する操作を行った場合には、類似画像判定部１９は、指定位置情報により、代表画像中の病変部を特定部位として判定する。

【0026】

本実施形態においては、特定部位の画像特徴に基づいて、レイティング評価部１５によるレイティングを実施する。例えば、特定部位の画像特徴と類似する画像特徴を有する画像であるか否かによって、レイティング評価を行う。

【0027】

類似画像判定部１９は、代表画像が属する画像群の他の各画像について、特定部位の画像部分に類似する画像部分を含む画像（以下、類似画像という）を判定する。類似画像判定部１９は、類似画像についての判定結果をレイティング評価部１５に出力する。レイティング評価部１５は、類似画像判定部１９の判定結果が与えられ、類似画像については類似する画像部分を含んでいない画像（以下、非類似画像という）よりも優先度を高くするレイティング評価を行い、評価結果のレイティング情報を記録部１７及び表示制御部１８に与える。

【0028】

記録部１７は、各画像のレイティング情報を更新する。表示制御部１８は、入力されたレイティング情報に従って、サムネイル領域のサムネイル画像の配置順をレイティング順に変更した表示画像を生成して表示装置に出力する。

【0029】

即ち、ユーザが画像についてこだわりを有する画像部分を指定する操作、例えばタッチ操作をすることによって、こだわりを有する画像部分に類似する画像部分を有する類似画像の優先度がより高くなり、サムネイル領域に優先度順に表示される。例えば、画像群の一部の画像のサムネイル画像しかサムネイル領域に表示されない場合でも、ユーザが例えばタッチ操作をすることで、自分がこだわりを有する画像部分を含む類似画像が確実にサムネイル領域に表示されるようになる。これにより、ユーザが大量の画像から所望の画像を選択する作業を有効に支援することができる。

【0030】

なお、類似画像判定部１９は、特定部位の判定及び類似画像の判定に、追尾やトラッキングと呼ばれる技術を用いてもよい。具体的には、テンプレートマッチングや特徴点マッチング、色情報を用いたトラッキング等を用いてもよい。 また、例えば、深層学習（ディープ・ラーニング）を用いて生成した推論モデルを用いてもよい。

【0031】

図３は推論モデルの一例を示す説明図である。図３の推論モデルは、入力層、中間層及び出力層を有する。図３の推論モデルは、入力及び出力に対応する大量のデータセットを教師データとして所定のネットワークに与えて例えば深層学習することにより得られるものである。なお、深層学習（ディープ・ラーニング）は、ニューラル・ネットワークを用いた「機械学習」の過程を多層構造化したものである。情報を前から後ろに送って判定を行う「順伝搬型ニューラル・ネットワーク」が代表的なものである。これは、最も単純なものでは、Ｎ１個のニューロンで構成される入力層、パラメータで与えられるＮ２個のニューロンで構成される中間層、判別するクラスの数に対応するＮ３個のニューロンで構成される出力層の３層があればよい。そして、入力層と中間層、中間層と出力層の各ニューロンはそれぞれが結合加重で結ばれ、中間層と出力層はバイアス値が加えられることで、論理ゲートの形成が容易である。簡単な判別なら３層でもよいが、中間層を多数にすれば、機械学習の過程において複数の特徴量の組み合わせ方を学習することも可能となる。近年では、９層～１５２層のものが、学習にかかる時間や判定精度、消費エネルギーの関係から実用的になっている。

【0032】

機械学習に採用するネットワークとしては、公知の種々のネットワークを採用してもよい。例えば、ＣＮＮ（Convolution Neural Network）を利用したＲ－ＣＮＮ（Regions with CNN features）やＦＣＮ（Fully Convolutional Networks）、ＹＯＬＯ等を用いてもよい。これは、画像の特徴量を圧縮する、「畳み込み」と呼ばれる処理を伴い、最小限処理で動き、パターン認識に強い。また、より複雑な情報を扱え、順番や順序によって意味合いが変わる情報分析に対応して、情報を双方向に流れる「再帰型ニューラル・ネットワーク」（全結合リカレントニューラルネット）を利用してもよい。

【0033】

更に、レイティングに際して、画像の特徴を数値化した情報を利用することも可能である。画像数値評価部１６は、画像群の各画像について、各種の画像評価を行い、評価結果を数値化する。例えば、画像数値評価部１６は、画像のピント、色合い、ぼけ等の画像評価を、公知の各種手法を採用して、画像全体又は類似画像に対応する部分について数値化する。例えば、画像数値評価部１６は、画像認識処理によって、画像中の輪郭（エッジ）を抽出し、エッジの幅に対応する数値をピント状態の数値として用いてもよい。画像数値評価部１６は、画像を数値化した結果（評価結果）の情報をレイティング評価部１５に与える。なお、画像数値評価部１６は、評価結果の情報を表示制御部１８に与えて、画像についての評価を視覚化するようにしてもよい。例えば、表示制御部１８は、画像数値評価部１６からの評価結果の情報に基づいて、表示画面上に、ピント状態を示すヒストグラムを表示させるようになっていてもよい。

【0034】

また、画像数値評価部１６は、深層学習を用いて生成した推論モデルにより各種の画像の特徴を推定するようにしてもよい。また、各種の画像の特徴の推定結果に対し、推論モデルにより評価結果の数値を算出するようにしてもよい。

【0035】

レイティング評価部１５は、画像数値評価部１６から評価結果の数値が与えられると、類似画像について評価結果の数値に基づく優先度を付しても良い。例えば、レイティング評価部１５は、数値化された評価結果に基づいて、類似画像についてピントが合っている画像程優先度を高くするようにしてもよい。レイティング評価部１５は、画像数値評価部１６からの評価結果の数値に基づいて生成したレイティング情報を記録部１７及び表示制御部１８に与える。

【0036】

また、指定部２０は、画像群の各画像のレイティングを直接指定するユーザによるレイティング指定操作を受け付けるようになっていてもよい。指定部２０は、ユーザによるレイティング指定操作が発生すると、この操作に基づく情報をレイティング評価部１５に出力する。レイティング評価部１５は、ユーザのレイティング指定操作に応じて各画像のレイティングを行って、レイティング情報を修正するようになっている。レイティング評価部１５は、レイティング情報を修正すると、修正したレイティング情報を記録部１７に与えて記録する。

【0037】

図２の例では、レイティング情報として、第１及び第２のレイティング情報が記録される例を示している。なお、ユーザが特定部位を指定する操作やレイティング指定操作を行う毎に、３つ以上のレイティング情報が記録部１７に記録される場合もある。

【0038】

表示制御部１８は、入力されたレイティング情報に従って、サムネイル領域のサムネイル画像の配置順をレイティング順に変更した表示画像を生成して表示装置に出力する。従って、ユーザが、例えばタッチ操作をすることで、自分がこだわりを有する画像部分を含む類似画像であって、ピント等の画像評価が良好である画像に基づくサムネイル画像が高い優先度で確実にサムネイル領域に表示されるようになる。これにより、ユーザの画像の選択作業を有効に支援することができる。

【0039】

次に、このように構成された実施形態の動作について図４から図７を参照して説明する。図４は第１の実施形態の動作を説明するためのフローチャートである。また、図５から図７は表示画面上の表示例を示す説明図である。

【0040】

入力部１２は、例えば連写撮影等による画像群を取得する（Ｓ１）。入力部１２を介して取り込まれた画像群は、記録部１７に記録される。制御部１１は、記録部１７に記録されている画像群を読み出して、代表画像選択部１３、サムネイル作成部１４及びレイティング評価部１５に与える。代表画像選択部１３は、読み出された画像群から代表画像を選択し、サムネイル作成部１４は、読み出された画像群の各画像についてサムネイル画像を生成する。また、レイティング評価部１５は、読み出された画像群の各画像にレイティングを施す。なお、初期状態では、レイティング評価部１５は、例えば、撮影順で優先度を付したレイティングを行う。

【0041】

制御部１１は、代表画像選択部１３が選択した代表画像の画像データ、サムネイル作成部１４が作成したサムネイル画像の画像データ及びレイティング評価部１５が作成したレイティング情報を、表示制御部１８に与える。表示制御部１８は、代表画像及び複数のサムネイル画像を含む表示画像のデータを生成して、図示しない表示装置の表示画面上に表示可能なデータ形式に変換して、表示装置に出力する。

【0042】

図５は表示装置の表示画面２１上のビュー領域Ａｖ及びサムネイル領域Ａｔの表示例を示している。図５に示すように、サムネイル領域Ａｔには、サムネイル画像Ｐ１，Ｐ２，Ｐ３が表示され（Ｓ２）、ビュー領域Ａｖには、代表画像Ｐ０が表示される（Ｓ３）。代表画像Ｐ０は、鳥の画像Ｂ０を含み、サムネイル画像Ｐ１～Ｐ３はそれぞれ鳥の画像Ｂ１，Ｂ２，Ｂ３を含む。代表画像Ｐ０及びサムネイル画像Ｐ１～Ｐ３に含まれる鳥の画像は、例えば、全て同一の鳥を撮影することにより得られたものである。

【0043】

サムネイル画像Ｐ１～Ｐ３は、例えば、連写撮影によって取得された一連の画像を含む画像群から生成されたものであり、当該画像群の最初に撮影された画像から撮影順に３枚の画像にそれぞれ対応するものである。即ち、初期状態においては、サムネイル画像Ｐ１～Ｐ３は、撮影された順番にサムネイル領域Ａｔの左側から順に配置される。連写撮影によって得られる画像は通常は３枚よりも多く、サムネイル領域Ａｔには、画像群の全ての画像に基づくサムネイル画像を表示することはできないことがある。従って、ユーザは、初期状態においてサムネイル領域Ａｔに表示されたサムネイル画像から、自分がこだわりを有する画像等を簡単には選択することができないことがある。

【0044】

そこで、本実施形態においては、指定部２０により、ユーザがこだわりを有する画像部分である特定部位を指定する操作を受け付ける（Ｓ４）。指定部２０は、ユーザによる特定部位の指定操作が発生すると（Ｓ４のＹＥＳ判定）、当該操作に基づく代表画像上の指定位置を示す指定位置情報を類似画像判定部１９に出力する。なお、Ｓ４は、手動操作に従って分岐しなくともよい。すでに特定のロジックで決まっているものや、画像の内容、位置、その他による推論で決まる場合もあり、特定の信号を取得した結果で分岐する場合も想定している。その場合、これらの特定のデフォルト判定を行ってＹＥＳに分岐できるようにして、ＮＯ分岐はなくてもよい。

【0045】

なお、ユーザの指定操作を容易にするために、図５の例では表示画面２１には、ヒストグラム表示２２を表示する例を示している。図５のヒストグラム表示２２は、横軸にピント状態をとり縦軸に画像群中の画像の枚数をとって、画像群中の類似画像の各画像のピント状態を示している。ヒストグラム表示２２を参照することで、ユーザはこだわりを有する画像の選択操作が一層容易となる。

【0046】

いま、ユーザが表示画面２１上に表示された代表画像Ｐ０の鳥の目の画像部分を特定部位として指定するものとする。この場合には、指定部２０からの指定位置情報は、例えば、図５の破線で囲った指定位置Ｂ０ａとなる。類似画像判定部１９は、指定位置Ｂ０ａの指定位置情報が与えられると、公知の画像認識処理によって、当該指定位置情報によって特定される特定部位を判定する。即ち、図５の例では、類似画像判定部１９は、特定部位が鳥の目の画像部分であるものと判定する。

【0047】

なお、ユーザによる特定部位の指定を容易にするために、特定部位の指定操作に際して、当該指定した部分近傍を拡大表示してもよい。図６はこの例を示しており、代表画像Ｐ０中の鳥の画像Ｂ０のうち、目を含む一部の領域Ｂ０ｂは、拡大表示されている。

【0048】

類似画像判定部１９は、Ｓ５において、特定部位である鳥の目の画像部分に類似する画像部分を有する画像（類似画像）を、代表画像Ｐ０が属する画像群から抽出する。類似画像判定部１９は、抽出した類似画像の情報をレイティング評価部１５に与える。レイティング評価部１５は、類似画像判定部１９の判定結果が与えられ、類似画像についてより優先度を高くするレイティング評価を行い、評価結果のレイティング情報を記録部１７及び表示制御部１８に与える。表示制御部１８は、レイティング情報に応じてサムネイル画像の表示順序を変更する。

【0049】

図７はこの場合の表示例を示している。図７の例では、代表画像Ｐ０の指定位置Ｂ０ａにおける特定部位に類似する画像部分を有する画像のサムネイル画像Ｐ２の優先度が最も高くなったことを示している。これにより、ユーザは、こだわりを有する特定部位の画像部分を指定する例えばタッチ操作等によって、当該特定部位に類似する画像部分を有する画像のサムネイル画像Ｐ２を簡単に選択することができる。なお、図７の例では、既にサムネイル領域Ａｔに表示されていたサムネイル画像Ｐ２の優先度が高くなった例を示したが、サムネイル領域Ａｔに表示されていないサムネイル画像の優先度が最も高くなって、サムネイル領域Ａｔに表示されるようになることもある。

【0050】

また、この場合において、レイティング評価部１５が画像数値評価部１６からの評価結果の数値に基づいてレイティング情報を更新することもある。この場合には、類似画像のうち、例えばピントが最も高い画像から順に、より高い優先度が設定されることが考えられる。即ち、この場合には、類似画像のピントが合っている画像の順番で、当該画像に基づくサムネイル画像がサムネイル領域Ａｔに並べて表示される。

【0051】

制御部１１は、Ｓ７において、ユーザの更なる特定部位の指定操作が発生したか否かを判定する。特定部位の指定操作が発生した場合には（Ｓ７のＹＥＳ判定）、制御部１１は処理をＳ５に戻して、類似画像の選択、サムネイル表示の更新処理を行う。例えば、ユーザは、代表画像Ｐ０中の鳥のくちばしを特定部位として指定する操作を行うものとする。この場合には、類似画像判定部１９は、指定部２０からの指定位置情報に基づいて、特定部位がくちばしを指定するものであることを判定し、当該くちばしに類似する画像部分を有する類似画像を画像群の中から抽出する。

【0052】

レイティング評価部１５は、類似画像判定部１９の判定結果に基づいて、第１優先として目が類似する類似画像、第２優先としてくちばしが類似する類似画像の優先度を高くする。即ち、この場合には、代表画像Ｐ０の鳥の目の画像が類似する類似画像群の中から、くちばしの画像が類似する類似画像の優先度を高くする。また、この場合には、レイティング評価部１５は、目及びくちばしの画像部分のピント状態に応じて、優先度を決定してもよい。

【0053】

なお、レイティング評価部１５は、最初に指定された特定部位を第１優先とし、次に指定された特定部位を第２優先としてレイティングを行ったが、後に指定された特定部位を第１優先とし、先に指定された特定部位を第２優先としてレイティングを行ってもよく、また、後に指定された特定部位を用いてレイティングを行うようになっていてもよい。また、第１優先と第２優先のレイティング結果をユーザに見えるように表示してもよい。
表示制御部１８は、レイティング評価部１５からのレイティング情報に基づいて、サムネイル領域Ａｔの表示を更新する。こうして、ユーザは、こだわりを有する画像部分を例えばタッチするという、直感的で簡単な操作により、こだわりを有する特定部位を繰り返し指定して、好みの画像に基づくサムネイル画像をサムネイル領域Ａｔに優先的に表示させることができる。

【0054】

制御部１１は、Ｓ８においてレイティング指定操作が発生したか否かを判定する。制御部１１は、レイティング指定操作が発生していない場合（Ｓ８のＮＯ判定）には処理をＳ１０に移行して、終了操作の有無を判定する。なお、Ｓ４のＮＯ判定の場合にも、Ｓ１０に移行する。レイティング指定操作が発生した場合（Ｓ８のＹＥＳ判定）には、制御部１１は、処理をＳ９に移行して、ユーザのレイティング指定操作に応じて、記録部１７のレイティング情報を更新する。

【0055】

記録部１７は、先に記録されているレイティング情報を第１レイティング情報として記録し、後に記録されるレイティング情報を第２レイティング情報として記録する。なお、上述したように、レイティング評価部１５によってレイティング情報が更新される毎に、記録部１７は新たに第ｎ（ｎは２，３，…）レイティング情報を記録してもよく、以前に記録されているレイティング情報を上書きしてもよい。また、レイティング情報の記録に際して、指定部２０の操作者に関する情報を付加して記録できるようになっていてもよい。

【0056】

つまり、Ｓ９では、画像データが含まれる画像ファイルに、特定の規則で情報を書き込めるようにして、このレイティング情報（優先度情報または優先度データと表現してもよい）を併せて記録してもよいし、画像データが含まれる画像ファイルに対応して、ファイル名やデータの格納部位を表す情報から互いに参照できるように関連づけられたファイル名のファイルやデータ格納位置に上記優先度情報を記録してもよい。つまり、上記画像に付す優先度情報は、上記画像の画像データが格納される画像ファイル内に所定の規則で書き込まれた情報、または、上記画像ファイルから互いに参照されることを可能に記録された情報である。なお、このレイティング情報以外の撮影パラメータ情報や撮影した場所や日付、撮影機材や撮影者など撮影条件情報も同様の仕組みで画像と関連付けて記録可能となっていてもよい。

【0057】

終了操作が発生すると（Ｓ１０のＹＥＳ判定）、制御部１１は、処理を終了する。終了操作が発生していない場合（Ｓ１０のＮＯ判定）には、制御部１１は、処理をＳ３に戻して、Ｓ３～Ｓ１０を繰り返す。

【0058】

このように、本実施形態においては、複数の画像を含む画像群のうちの代表画像中の特定部位を指定するユーザ操作を受け付け、当該特定部位に類似する画像部分を有する類似画像を、画像群の中から選択して、類似画像のサムネイル画像を優先して表示するようになっている。これにより、ユーザによるこだわりや嗜好等を反映した画像の選択を容易にする。ユーザがこだわりを有する画像部分等を特定部位として指定するので、ユーザは直感的な操作により、こだわりや嗜好に沿った画像等の選択動作を行うことができる。

【0059】

なお、本実施形態では、レイティング情報に応じて優先度の高いサムネイル画像の表示位置を変更した。一方で、サムネイル画像が撮影された時間の流れが重要な場合もある。そのような場合では、優先度の高い画像を撮影時刻順に表示するとともに、サムネイル画像の表示を強調する（サムネイル画像の周囲に枠をつける等）ことで、優先順位をユーザが把握できるようにしてもよい。
（第２の実施形態）
図８は第２の実施形態を説明するためのブロック図である。第２の実施形態のハードウェア構成は、図１と同様である。本実施形態は、取得する画像群の画像にレイティングを決定するための情報が含まれる場合の例である。

【0060】

近年、人間が目視で行っていた判定を、画像データをもとにAI（人工知能）を活用して支援する技術が各分野で発達している。例えば、上述したディープ・ラーニング技術を用いて、ユーザのこだわりや好みを反映させた画像を撮影するための推論モデルを構築することができる。第２の実施形態は、このようなユーザのこだわりや嗜好等に関する情報、即ち、レイティングを指定するための情報（以下、引き継ぎ情報という）を含む画像群が入力される場合において、画像群に含まれる引き継ぎ情報を利用して、画像表示を制御するものである。また、画像群に含まれる引き継ぎ情報を利用することで、代表画像の選択を行うことも可能である。

【0061】

図８の撮像システム３０は、被写体を撮像して得た画像を記録する。撮像システム３０としては、デジタルカメラやビデオカメラだけでなく、スマートフォンやタブレット端末に内蔵されるカメラを採用してもよい。撮像システム３０は、撮像システム３０の全体を統括的に制御する制御部３１を備えている。制御部３１は、ＣＰＵやＦＰＧＡ等を用いたプロセッサによって構成されていてもよい。制御部３１は、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。

【0062】

撮像システム３０は、撮像部３２を備えている。撮像部３２は、ズームやフォーカシングのためのレンズや絞り等を備えた図示しない光学系と、ＣＣＤやＣＭＯＳセンサ等により構成された図示しない撮像素子とを有する。撮像部３２の光学系は、レンズを駆動するズーム（変倍）機構、ピント及び絞り機構を備えている。光学系によって被写体光学像が撮像素子の撮像面に導かれるようになっている。

【0063】

撮像部３２は、制御部３１に制御されて、被写体光学像を光電変換して被写体の撮像画像（撮像信号）を取得する。制御部３１は、撮像部３２からの撮像画像（動画像及び静止画像）に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行う。

【0064】

撮像システム３０には操作部３６が設けられている。操作部３６は、図示しないレリーズボタン、ファンクションボタン、撮影モード設定、パラメータ操作等の各種スイッチ、ダイヤル、リング部材等を含む。操作判定部３７は、操作部３６に対するユーザ操作を受け付けて、ユーザ操作に基づく操作信号を制御部３１に出力する。制御部３１は、操作信号に基づいて、各部を制御する。

【0065】

撮像システム３０には表示部３２が設けられている。表示部３２は、例えば、ＬＣＤ（液晶表示装置）等の表示画面を有しており、制御部３１からの信号処理された撮像画像を表示する。また、表示部３２は、撮像システム３０の各種メニュー表示や警告表示等を表示することもできるようになっている。

【0066】

制御部１１には記録部３５が設けられている。記録部３５は、信号処理後の撮像画像を圧縮処理し、圧縮後の画像を記録することができる。記録部３５は、所定の記録媒体によって構成されて、制御部１１から与えられた情報を記録すると共に、記録されている情報を制御部１１に出力することができる。また、記録部３５としては、例えばカードインターフェースを採用してもよく、この場合には記録部３５はメモリカード等の記録媒体に画像データを記録可能である。

【0067】

図８の撮像システム３０は、推論モデル部３４を備える。推論モデル部３４は複数の推論モデルを有する。推論モデル部３４には、撮像部３２からの撮像画像（ライブビュー画像）が与えられる。推論モデル部３４は、推論モデルを用いた推論処理によって、ユーザのこだわりや好みを反映した画像を取得するための判定を行う。例えば、推論モデル部３４は、ライブビュー画像にユーザのこだわりや好みの画像が含まれるタイミングを推論により求める。推論モデル部３４の推論結果は、シャッタチャンスのタイミングとして制御部３１に供給される。制御部３１は、推論モデル部３４の出力に基づいて、例えば連写撮影を実行する。こうして、推論モデル部３４を利用することで、ユーザのこだわりや好みを反映した画像の撮影が容易となる場合がある。推論モデル部３４は、シャッタチャンスのタイミングの他に、推論の信頼性の情報を出力することもできる。

【0068】

推論モデル部３４に関する情報は、引き継ぎ情報として利用できる場合がある。また、推論モデル部３４に関する情報だけでなく、撮像部３２の各種パラメータ情報や撮影条件情報についても引き継ぎ情報として利用できる場合がある。そこで、撮像システム３０の制御部３１は、推論モデル部３４に関する情報及び撮像部３２のパラメータ情報や撮影条件等について記録部３５に記録する。記録部３５が可搬媒体である場合には、記録部３５を取り外すことで記録部３５に記録された情報を外部に持ち出すことができる。また、記録部３５が可搬媒体でない場合には、図示しない通信回路を経由して、制御部３１は記録部３５に記録された情報を外部に出力することが可能である。

【0069】

図９は記録部３５に記録される情報又は撮像システム３０から出力される情報を説明するための説明図である。

【0070】

図９の上段は画像群の各画像の画像データを示しており、図９の例では２つの画像群ＰＧ１，ＰＧ２の例を示している。画像群ＰＧ１には例えば連写撮影によって取得された複数の画像Ｐ１ａが含まれる。また、画像群ＰＧ２には例えば連写撮影によって取得された複数の画像Ｐ２ａが含まれる。撮像システム３０からこれらの画像群ＰＧ１，ＰＧ２の各画像が出力可能である。

【0071】

画像群ＰＧ１に関する引き継ぎ情報ＰＧＡ１が撮像システム３０から出力される。また、画像群ＰＧ２に関する引き継ぎ情報ＰＧＡ２が撮像システム３０から出力される。引き継ぎ情報ＰＧＡ１は、画像群ＰＧ１の全体に関する群情報ＰＡａ１と、画像群ＰＧ１の各画像Ｐ１ａに関する個別情報ＰＡｂ１とを有する。また、引き継ぎ情報ＰＧＡ２は、画像群ＰＧ２の全体に関する群情報ＰＡａ２と、画像群ＰＧ２の各画像Ｐ２ａに関する個別情報ＰＡｂ２とを有する。

【0072】

例えば、撮影対象によって撮影パラメータ等の切り替えや、推論モデル部３４の種類の切り替えが行われることが考えられる。例えば、内視鏡用の推論モデル部３４では、食道と胃では粘膜構造が異なるため、また、胃と十二指腸では管腔の構造が異なるため等の理由から、撮影対象毎に使用される推論モデルの種類が異なる場合がある。情報ＰＡａ１，ＰＡａ２は、画像群がどのようなユーザのこだわりによって撮影されたかを示すものであり、情報ＰＡａ１，ＰＡａ２としては、例えば、連写撮影時に使用する推論モデル部３４の種類等や、撮影パラメータを示す情報、推論の信頼性の情報、特定部位を指定するための位置情報等が考えられる。

【0073】

第２の実施形態においては、制御部１１は、入力部１２を介して画像群の各画像と引き継ぎ情報とを取り込む。制御部１１は取り込んだ各画像群の画像と引き継ぎ情報とを記録部１７に与えて記録する。この場合には、図２の画像群情報には、群情報ＰＡａ１，ＰＡａ２に対応する情報が記録され、推論モデル情報としては、個別情報ＰＡｂ１，ＰＡｂ２に対応する情報が記録される。また、第１レイティング情報としては、個別情報ＰＡｂ１，ＰＡｂ２中の信頼性に関する情報を採用してもよい。

【0074】

制御部１１は、記録部１７に記録された情報を用いて、画像群の表示を行う。この場合には、制御部１１は、撮像システム３０によって取得された引き継ぎ情報を利用して、表示を制御する。即ち、制御部１１は、代表画像選択部１３を制御して、引き継ぎ情報に基づいて代表画像を選択させる。また、制御部１１は、レイティング評価部１５を制御して、引き継ぎ情報に基づいてレイティング情報を生成して、記録部１７及び表示制御部１８に与える。こうして、第２の実施形態においては、ユーザがこだわりを有する画像部分である特定部位の指定操作を行うことなく、サムネイル領域Ａｔにおいて、撮像システム３０により付加された引き継ぎ情報に基づく優先度で、サムネイル画像が表示される。

【0075】

また、ユーザは、指定部２０によって特定部位の指定操作を実行することで、撮像システム３０により付加された引き継ぎ情報に基づくレイティング情報に追加して、或いは撮像システム３０により付加された引き継ぎ情報に基づくレイティング情報から変更して、新たなレイティング情報を作成することができる。

【0076】

次に、このように構成された実施の形態の動作について図１０を参照して説明する。図１０は撮像システム３０の動作を説明するためのフローチャートである。なお、画像評価装置１０の動作は、撮像システム３０からの引き継ぎ情報を利用する点を除き、図４のフローと同様である。

【0077】

いま、撮像システム３０において、画像の撮像を行うものとする。制御部３１は、図１０のＳ２０において撮像の開始が指示されたか否かを判定する。例えば、ユーザが動画撮影のために操作部３６を操作すると、制御部３１は撮像部３２を制御して動画撮影を開始させる。撮像部３２は、被写体を撮像し、撮像画像を制御部３１に与える。制御部３１は、入力された撮像画像に対して所定の信号処理を施した後、表示部３３に出力する。こうして、表示部３３においてライブビュー表示が開始される（Ｓ２１）。また、制御部３１は、信号処理御の画像を記録部３５にも与える。これにより、記録部３５において、動画記録が開始される。

【0078】

制御部３１は、Ｓ２２において撮像モードの切り替え等のユーザのこだわりや好みを反映させる操作が行われたか否かを判定する。例えば、撮像システム３０が内視鏡視システムであって、内視鏡による観察が行われている場合においては鉗子の挿入等の処置が行われたことを判定してもよい。ユーザが撮影モード等を切り替えると（Ｓ２２のＹＥＳ判定）、操作判定部３７はユーザ操作を受け付けて、操作信号を制御部３１に与える。制御部３１は、操作信号に基づいて、パラメータ等の切り替えを行う。また、制御部３１は、操作信号に基づいて、推論モデル部３４の切り替えを行う。

【0079】

Ｓ２２のＮＯ判定の場合又はＳ２４の処理が終了すると、次のＳ２５において、制御部３１は、ユーザにより静止画記録が指示されたか否かを判定する。静止画記録が指示された場合には（Ｓ２５のＹＥＳ判定）、制御部３１は、撮像部３２からの撮像画像を静止画として記録部３５に与えて記録する。この場合には、制御部３１は、静止画像の画像データだけでなく、撮影パラメータや、推論モデルに関する情報等の引き継ぎ情報についても画像データに関連付けて記録部３５に記録する。

【0080】

Ｓ２５のＮＯ判定の場合又はＳ２６の処理が終了すると、制御部３１は撮像終了操作が行われたか否かを判定する（Ｓ２７）。撮像終了操作が行われていない場合には（Ｓ２７のＮＯ判定）、処理をＳ２１に戻す。撮像終了操作が行われた場合には（Ｓ２７のＹＥＳ判定）、制御部３１は、動画像の記録処理を行う。即ち、制御部３１は、動画像の記録を終了すると共に、動画像に関連する撮影パラメータや、推論モデルに関する情報等の引き継ぎ情報についても画像データに関連付けて記録部３５に記録する。

【0081】

制御部３１は、撮像開始が指示されていないと判定した場合には（Ｓ２０のＮＯ判定）、Ｓ２９において、記録部３５に記録されている画像を表示部３３に与えて表示する。ユーザは、表示部３３に表示された画像を確認しながら、必要に応じて、表示された複数の画像に対してレイティングを施す。レイティング結果は、引き継ぎ情報として記録部３５に与えられて、画像に関連付けて記録される。

【0082】

制御部３１は、Ｓ３０において、動画や静止画の外部出力が指示されているか否かを判定する。制御部３１は、外部出力が指示されていない場合には（Ｓ３０のＮＯ判定）、処理をＳ２０に戻し、外部出力が指示されている場合には（Ｓ３０のＹＥＳ判定）、Ｓ３１において、選択された画像群の各種情報を外部に出力する。

【0083】

いま、撮像システム３０から鳥を撮像して得た画像群が画像評価装置１０に出力されるものとする。画像評価装置１０の入力部１２は、撮像システム３０からの画像群を取り込んで記録部１７に与える。記録部１７には、引き継ぎ情報を含む画像群の各情報が画像毎に記録される。なお、引き継ぎ情報は、図２の第１レイティング情報として記録部１７に記録される。

【0084】

例えば、撮像システム３０により撮影を行ったユーザのこだわりの画像部分が鳥の目であるものとする。このようなこだわりを反映させた撮影パラメータや推論モデル部３４の推論モデルが撮像時に用いられる結果、記録部１７に記録される第１レイティング情報としての引き継ぎ情報は、例えば、鳥の目の画像部分を特定部位として、この特定部位の画像部分にピントが合った画像に高い優先度を設定するための情報となっている。この場合には、制御部１１が、記録部１７に記録されている画像群の情報を代表画像選択部１３、サムネイル作成部１４及びレイティング評価部１５に与えることにより、表示制御部１８によって、例えば図７に示す表示が表示される。即ち、画像評価装置１０に対する操作を行うことなく、撮像システム３０に対して行った操作により、撮像システム３０を操作したユーザのこだわりや好みを反映させた表示順でサムネイル画像が表示される。

【0085】

ここで、画像評価装置１０を操作するユーザが、指定部２０により特定部位を指定する操作を行うものとする。例えば、ユーザが代表画像Ｐ０（図7参照）中の鳥のくちばしを特定部位として指定する操作を行うものとする。類似画像判定部１９は、指定部２０からの指定位置情報に基づいて、特定部位がくちばしを指定するものであることを判定し、当該くちばしに類似する画像部分を有する類似画像を画像群の中から抽出する。

【0086】

なお、上記説明では、ユーザが画像中の特定部位を指定するものと説明したが、画像評価装置１０を操作するユーザが、指定部２０にてこだわりや好みに基づき画像のみを選択するようしてもよい。ユーザが選択した画像を指定部２０が解析することで特定部位を指定するようにしてもよい。例えば、ユーザは鳥のくちばしが最もきれいに撮影されていると感じる画像のみを選択し、指定部２０が推論モデルや公知の特徴検出アルゴリズム等によりユーザが選択した画像からくちばしと判断できる領域を検出し、その検出結果を特定部位としてもよい。この時、ユーザが「くちばし」という補助情報を入力することで、指定部２０が解析を行うようにしてもよい。即ち、この場合には、ユーザの手動による指定だけでなく、特定のプログラムやロジックや推論により特定部位の指定が可能である。更に、特定部位を指定するための指定情報を外部から入力するようになっていてもよい。

【0087】

また、内視鏡検査では１枚の画像に１つの病変が撮影されるケースも多いため、ユーザが選択した画像において病変検出等の推論モデルを実行し、検出結果を特定部位とするようにしてもよい。この時、悪性の度合いや病変の種類等をユーザが補助情報として入力するようにしてもよい。
レイティング評価部１５は、類似画像判定部１９の判定結果に基づいて、引き継ぎ情報に基づく優先順位を第１優先とし、即ち、例えば目にピントがあった画像を第１優先とし、第２優先としてくちばしが類似する類似画像の優先度を高くする。即ち、この場合には、鳥の目にピントが合った画像群の中から、くちばしの画像部分が代表画像のくちばしの画像部分に類似する類似画像の優先度を高くする。また、この場合には、レイティング評価部１５は、目及びくちばしの画像部分のピント状態に応じて、優先度を決定してもよい。

【0088】

また、レイティング評価部１５は、引き継ぎ情報に基づく優先順位を第１優先とし、特定部位の指定操作に基づく優先順位を第２優先としてレイティングを行ったが、後に指定された特定部位に基づく優先順位を第１優先とし、引き継ぎ情報に基づく優先順位を第２優先としてレイティングを行ってもよく、また、引き継ぎ情報を考慮することなく、後に指定された特定部位を用いてレイティングを行うようになっていてもよい。

【0089】

表示制御部１８は、レイティング評価部１５からのレイティング情報に基づいて、サムネイル領域Ａｔの表示を更新する。こうして、ユーザは、簡単な操作により、撮像システム３０を操作するユーザのこだわりや好みに基づくレイティングだけでなく、画像評価装置１０を操作するユーザのこだわりや好みについても反映した画像に基づくサムネイル画像をサムネイル領域Ａｔに優先順位を付けて表示させることができる。

【0090】

また、例えば、撮像システム３０により撮影を行ったユーザのこだわりの画像部分が早期胃がんであるものとする。このような場合は、記録部１７に記録される第１レイティング情報としての引き継ぎ情報は、例えば、胃における早期胃がんの画像部分を特定部位として、この特定部位の画像部分にピントが合った画像に高い優先度を設定するための情報となっている。

【0091】

従ってこの場合には、制御部１１が、記録部１７に記録されている画像群の情報を代表画像選択部１３、サムネイル作成部１４及びレイティング評価部１５に与えることにより、表示制御部１８によって、例えば一連の内視鏡画像のうち、早期胃がんの病変部の画像を含む画像に高い優先度が付された表示が行われる。優先度が高い画像については、他の画像と区別する何らかの表示を行うことにより、ユーザは、簡単に、早期胃がんの病変部を撮像した画像を認識することができる。また、優先度が高い画像のみを教師データとして推論モデルを構築することにより、早期胃がんの病変部を推論により検出する推論モデルを比較的簡単に構築することも可能である。

【0092】

第２の実施形態によれば、例えば、撮像時には、時間的な余裕、場所的な余裕を考慮して、撮像システムの設定に応じて自動的に引き継ぎ情報を生成し、この引き継ぎ情報を利用して、一時的なレイティング（選別）を行う。更に、画像評価装置１０において、画像の細部に亘る２次的なレイティングを実施することで、大量の画像からユーザのこだわりや好みに応じた最適な画像を比較的簡単に選択できる。

【0093】

記録部１７は、先に記録されているレイティング情報を第１レイティング情報として記録し、後に記録されるレイティング情報を第２レイティング情報として記録する。例えば、撮像システム３０を操作するユーザと、画像評価装置１０を操作するユーザとが異なることが考えられる。そこで、第１レイティング情報及び第２レイティング情報が、いずれのユーザの操作に基づくものであるかを記録しておいてもよい。

【0094】

このように、本実施形態においては、撮像システムを操作するユーザのこだわりや好みに基づく引き継ぎ情報を用いて、レイティングを行うことが可能である。これにより、画像評価装置によるレイティングに要する時間を短縮することも可能である。

【0095】

上記実施の形態においては、撮像のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、携帯電話やスマートフォンなど携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。また、撮像部が撮像装置と別体になったものでもよい。更に、撮像システムとして内視鏡を採用してもよい。

【0096】

本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

【0097】

なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。

【0098】

なお、ここで説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。

【0099】

なお、実施例中で、「部」（セクションやユニット）として記載した部分は、専用の回路や、複数の汎用の回路を組み合わせて構成してもよく、必要に応じて、予めプログラムされたソフトウェアに従って動作を行うマイコン、ＣＰＵなどのプロセッサ、あるいはＦＰＧＡなどシーケンサを組み合わせて構成されてもよい。また、その制御の一部または全部を外部の装置が引き受けるような設計も可能で、この場合、有線や無線の通信回路が介在する。通信は、ブルートゥース（登録商標）やＷｉＦｉ、電話回線などで行えばよく、ＵＳＢなどで行っても良い。専用の回路、汎用の回路や制御部を一体としてＡＳＩＣとして構成してもよい。動く部分などは、様々なアクチュエータと、必要に応じて移動用の連結メカニズムによって構成されており、ドライバ回路によってアクチュエータが作動する。このドライブ回路もまた、特定のプログラムに従ってマイコンやＡＳＩＣなどが制御する。こうした制御は各種センサやその周辺回路が出力する情報によって、詳細な補正、調整などが行われても良い。また、推論モデルという言葉で人工知能が判断する学習結果で判断する実施例を説明したが、これは、単純なフローチャートや条件分岐、あるいは演算を伴う数値化判断等でも代替可能な場合がある。

【符号の説明】

【0100】

１０…画像評価装置、１１…制御部、１２…入力部、１３…代表画像選択部、１４…サムネイル作成部、１５…レイティング評価部、１６…画像数値評価部、１７…記録部、１８…表示制御部、１９…類似画像判定部、２０…指定部、２１…表示画面、３０…撮像システム、３１…制御部、３２…撮像部、３３…表示部、３４…推論モデル部、３５…記録部、３６…操作部、３７…操作判定部、Ａｔ…サムネイル領域、Ａｖ…ビュー領域、Ｐ０…代表画像、Ｐ１～Ｐ３…サムネイル画像。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】