特開 2023-29106 画像処理装置、画像処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023029106

(43)【公開日】2023-03-03

(54)【発明の名称】画像処理装置、画像処理方法、およびプログラム

(51)【国際特許分類】

   A61B 3/14 20060101AFI20230224BHJP

   A61B 3/10 20060101ALI20230224BHJP

   G06T 7/00 20170101ALI20230224BHJP

   G16H 30/00 20180101ALI20230224BHJP

【ＦＩ】

A61B3/14

A61B3/10 100

G06T7/00 350B

G16H30/00

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021135208

(22)【出願日】2021-08-20

(71)【出願人】

【識別番号】000220343

【氏名又は名称】株式会社トプコン

(74)【代理人】

【識別番号】110002000

【氏名又は名称】弁理士法人栄光事務所

(72)【発明者】

【氏名】曽根 悠一

【テーマコード（参考）】

4C316

5L096

5L099

【Ｆターム（参考）】

4C316AB03

4C316AB04

4C316AB11

4C316AB16

4C316FB13

4C316FB14

4C316FB21

4C316FB26

4C316FZ01

5L096BA06

5L096BA13

5L096CA22

5L096DA01

5L096KA04

5L096KA15

5L099AA26

(57)【要約】

【課題】被検眼の診断に用いられる多量の画像データを分類し、ユーザが画像データの削除の可否を容易に決定可能とする。
【解決手段】画像処理装置であって、被検眼の１または複数の画像データを取得する取得部と、前記１または複数の画像データを、削除の可能性を示す複数の分類のうちのいずれかに分類する分類部と、前記分類部による分類の結果を対応付けて、前記１または複数の画像データそれぞれの削除の可否を受け付け可能に表示する表示部と、を有する。
【選択図】図４

【特許請求の範囲】

【請求項1】

被検眼の１または複数の画像データを取得する取得部と、
前記１または複数の画像データを、削除の可能性を示す複数の分類のうちのいずれかに分類する分類部と、
前記分類部による分類の結果を対応付けて、前記１または複数の画像データそれぞれの削除の可否を受け付け可能に表示する表示部と、
を有することを特徴とする画像処理装置。

【請求項2】

ユーザから前記複数の分類それぞれに対応する分類条件の設定を受け付ける設定部を更に有する、ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記分類条件は、輝度に対する閾値である、ことを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記分類条件は、所定のオブジェクトの有無である、ことを特徴とする請求項２または３に記載の画像処理装置。

【請求項5】

前記分類部は、画像データと前記複数の分類のうちのいずれかの分類との組み合わせを学習データとして学習処理が行われた学習済みモデルを用いて、画像データを前記学習済みモデルに入力した際に得られる分類を当該画像データの分類として決定する、ことを特徴とする請求項１に記載の画像処理装置。

【請求項6】

前記学習済みモデルは、前記表示部にて削除の可否を受け付けた画像データを前記学習データとして用いて前記学習処理が行われることにより、更新される、ことを特徴とする請求項５に記載の画像処理装置。

【請求項7】

前記表示部は、前記１または複数の画像データそれぞれに対し、前記分類部による分類の結果に対応するアイコンを付して一覧表示する、ことを特徴とする請求項１～６のいずれか一項に記載の画像処理装置。

【請求項8】

前記複数の分類は、削除する、または、削除しない、の少なくとも２分類にて行われる、ことを特徴とする請求項１～７のいずれか一項に記載の画像処理装置。

【請求項9】

前記表示部にて受け付けた削除の可否に基づいて、画像データの記憶部への記憶処理を制御する画像管理部を更に有する、ことを特徴とする請求項１～８のいずれか一項に記載の画像処理装置。

【請求項10】

被検眼の１または複数の画像データを取得する取得工程と、
前記１または複数の画像データを、削除の可能性を示す複数の分類のうちのいずれかに分類する分類工程と、
前記分類工程による分類の結果を対応付けて、前記１または複数の画像データそれぞれの削除の可否を受け付け可能に表示部に表示させる表示制御工程と、
を有することを特徴とする画像処理方法。

【請求項11】

コンピュータに、
被検眼の１または複数の画像データを取得する取得工程、
前記１または複数の画像データを、削除の可能性を示す複数の分類のうちのいずれかに分類する分類工程、
前記分類工程による分類の結果を対応付けて、前記１または複数の画像データそれぞれの削除の可否を受け付け可能に表示部に表示させる表示制御工程、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、およびプログラムに関する。

【背景技術】

【0002】

従来、被検眼の画像解析を行ってその診断を行う診断装置が知られている。そのような診断装置により眼の状態を診断し、例えば、異常の早期発見等に利用されている。診断装置においては、画像データを撮影して利用することが行われるが、撮影された画像データには診断時の利用に適していない画像データなども含まれる。診断時の利用に適していない画像データとしては、例えば、画像の品質が低かったり、内容が重複したりしているものなどが挙げられる。

【0003】

例えば、特許文献１では、眼科撮影装置により撮影された動画像を構成する複数のフレームから例外フレームを判定し、例外フレーム以外のフレームに対して画像処理を適用する構成が開示されている。このような構成により、計測に適してない例外フレームが含まれている場合でも、ロバストに画像の解析を可能としている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１７－５６２４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

診断装置において撮影される画像データは大量になる場合が想定される。そのような大量の画像データに対して選別を行うことにより、より効率的に診断を行ったり、必要な画像データのみを保存したりすることが求められる。

【0006】

特許文献１では、動画像を構成する複数のフレームのうち、例外フレームとみなされたフレームを処理の対象から除くことは記載されている。しかしながら、複数の画像データに対して、削除を含む複数の分類については考慮されていない。

【0007】

上記課題を鑑み、本発明は、被検眼の診断に用いられる多量の画像データを分類し、ユーザが画像データの削除の可否を容易に決定可能とすることを目的とする。

【課題を解決するための手段】

【0008】

上記課題を解決するために本発明の一形態は以下の構成を有する。すなわち、画像処理装置であって、
被検眼の１または複数の画像データを取得する取得部と、
前記１または複数の画像データを、削除の可能性を示す複数の分類のうちのいずれかに分類する分類部と、
前記分類部による分類の結果を対応付けて、前記１または複数の画像データそれぞれの削除の可否を受け付け可能に表示する表示部と、
を有する。

【0009】

また、本発明の別の形態は以下の構成を有する。すなわち、画像処理方法であって、
被検眼の１または複数の画像データを取得する取得工程と、
前記１または複数の画像データを、削除の可能性を示す複数の分類のうちのいずれかに分類する分類工程と、
前記分類工程による分類の結果を対応付けて、前記１または複数の画像データそれぞれの削除の可否を受け付け可能に表示部に表示させる表示制御工程と、
を有する。

【0010】

また、本発明の別の形態は以下の構成を有する。すなわち、プログラムであって、
コンピュータに、
被検眼の１または複数の画像データを取得する取得工程、
前記１または複数の画像データを、削除の可能性を示す複数の分類のうちのいずれかに分類する分類工程、
前記分類工程による分類の結果を対応付けて、前記１または複数の画像データそれぞれの削除の可否を受け付け可能に表示部に表示させる表示制御工程、
を実行させる。

【発明の効果】

【0011】

本発明により、被検眼の診断に用いられる多量の画像データを分類し、ユーザが画像データの削除の可否が容易に決定可能になる。

【図面の簡単な説明】

【0012】

【図1】本発明の一実施形態に係るシステム構成の例を示すブロック図。

【図2】本発明の第１の実施形態に係る機能構成の例を示すブロック図。

【図3】本発明の第１の実施形態に係る分類処理のフローチャート。

【図4】本発明の一実施形態に係る画面構成の例を示す図。

【図5】本発明の一実施形態に係る画面構成の例を示す図。

【図6】本発明の第２の実施形態に係る機能構成の例を示すブロック図。

【図7】本発明の第２の実施形態に係るＤＢ構成の例を示す表図。

【図8】本発明の第２の実施形態に係る処理のフローチャート。

【発明を実施するための形態】

【0013】

この発明に係る画像処理装置、画像処理方法、およびプログラムの実施形態の例について、図面を参照しながら詳細に説明する。なお、この明細書において引用された文献の記載内容や任意の公知技術を、以下の実施形態に援用することが可能である。なお、以下に説明する実施形態は、本発明を説明するための一実施形態であり、本発明を限定して解釈されることを意図するものではなく、また、各実施形態で説明されている全ての構成が本発明の課題を解決するために必須の構成であるとは限らない。また、各図面において、同じ構成要素については、同じ参照番号を付すことにより対応関係を示す。

【0014】

＜第１の実施形態＞
［システム構成］
図１は、本発明の一実施形態に係る眼科システムの概略構成を示す図である。眼科システムは、撮像装置１００および情報処理装置２００を含んで構成され、これらはネットワーク３００を介して通信可能に接続される。

【0015】

撮像装置１００は、被検眼を対象とした画像を撮影するための撮影装置であり、例えば、ＯＣＴ（Ｏｐｔｉｃａｌ Ｃｏｈｅｒｅｎｃｅ Ｔｏｍｏｇｒａｐｈｙ）装置やカメラにより構成される。ＯＣＴ装置を用いて被検眼に対してＯＣＴ測定を実行することにより被検眼の断層像を取得する。また、カメラにより、被検眼の正面画像を撮影可能である。なお、撮像装置１００にて撮影される画像の種類は特に限定するものではなく、ユーザの操作等に応じて、複数種類の画像が撮影されてよい。以下、撮像装置１００にて撮影されて取得される各種画像をまとめて画像データとも称する。

【0016】

撮像装置１００は、撮像部１０１、画像処理部１０２、撮影制御部１０３、記憶部１０４、および通信部１０５を含んで構成される。撮像部１０１は、所定の撮影原理に基づいて、被検眼の撮影を行う。ここでは、被検眼の正面画像を撮影するカメラおよびＯＣＴ装置を用いるものとする。ＯＣＴ装置の場合、撮影制御部１０３からの制御指示を受け、被検眼にＯＣＴスキャンを適用してＯＣＴ画像を取得する。

【0017】

ＯＣＴ手法は、典型的にはフーリエドメインＯＣＴであり、スペクトラルドメインＯＣＴ及びスウェプトソースＯＣＴのいずれでもよい。スウェプトソースＯＣＴは、波長可変光源からの光を測定光と参照光とに分割し、被検眼に投射された測定光の戻り光を参照光と重ね合わせて干渉光を生成する。そして、この干渉光を光検出器で検出し、波長の掃引及び測定光のスキャンに応じて収集された検出データ（干渉信号データ）にフーリエ変換等を施して反射強度プロファイルデータを形成する。一方、スペクトラルドメインＯＣＴは、低コヒーレンス光源（広帯域光源）からの光を測定光と参照光とに分割し、被検眼に投射された測定光の戻り光を参照光と重ね合わせて干渉光を生成する。そして、この干渉光のスペクトル分布を分光器で検出し、分光器による検出データ（干渉信号データ）にフーリエ変換等を施して反射強度プロファイルデータを形成する。すなわち、スウェプトソースＯＣＴはスペクトル分布を時分割で取得するＯＣＴ手法であり、スペクトラルドメインＯＣＴはスペクトル分布を空間分割で取得するＯＣＴ手法である。

【0018】

画像処理部１０２は、撮像部１０１にて取得された各種画像データに対して画像処理を行う。ここで行われる画像処理の内容は特に限定するものではなく、例えば、取得される画像データの種類に応じて予め規定されていてよい。撮影制御部１０３は、撮像部１０１による撮影動作を制御する。画像処理部１０２や撮影制御部１０３はそれぞれ、専用回路にて構成されてもよいし、撮像装置１００が備える不図示のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサが記憶部１０４に記憶されたプログラムを読み出して実行することで実現されてもよい。

【0019】

記憶部１０４は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などにて構成され、撮像部１０１にて撮影された各種画像データを記憶する。記憶部１０４はその他、画像処理部１０２や撮影制御部１０３にて利用される撮影設定や、各種プログラムを記憶しておいてもよい。通信部１０５は、ネットワーク３００を介して外部装置（例えば、情報処理装置２００）との通信を司る。ここでの通信方法は、有線／無線を問わず、また、通信規格等も特に限定するものではない。

【0020】

情報処理装置２００は、処理部２０１、記憶部２０２、通信部２０３、およびＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）部２０４を含んで構成される。処理部２０１は、情報処理装置２００全体の制御、処理を司り、ＣＰＵなどのプロセッサにより構成される。記憶部２０２は、ＲＡＭ、ＲＯＭ、ＨＤＤ、ＳＳＤなどにて構成され、処理部２０１による処理にて用いられる各種設定や、各種処理のプログラム、または各種画像データを記憶する。通信部２０３は、ネットワーク３００を介して外部装置（例えば、撮像装置１００）との通信を司る。ここでの通信方法は、有線／無線を問わず、また、通信規格等も特に限定するものではない。ＵＩ部２０４は、情報処理装置２００のユーザが利用するユーザインターフェースであり、例えば、ユーザ指示を入力するための操作部や、画面等を表示する表示部などを含んで構成される。操作部は、例えば、マウスやキーボードなどが用いられてよい。表示部は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）又は有機発光ダイオード（ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ－Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ディスプレイなどが用いられてよい。

【0021】

［機能構成］
図２は、本実施形態に係る情報処理装置２００の機能構成の例を示すブロック図である。情報処理装置２００は、画像取得部２１１、分類条件管理部２１２、分類条件設定部２１３、画像分類部２１４、画面生成部２１５、指示受付部２１６、および画像管理部２１７を含んで構成される。なお、情報処理装置２００にて実現される機能のブロック構成は一例であり、後述する各処理に対応して更に詳細に分割されてもよい。本実施形態において、各機能は、情報処理装置２００が備える処理部２０１が、記憶部２０２に記憶されたプログラムを読み出して実行されることで実現されてよい。なお、図２に示す機能の一部を撮像装置１００側、もしくは、ネットワーク３００上に設けられたサーバ（不図示）により実現されてもよい。

【0022】

画像取得部２１１は、外部装置（ここでは、撮像装置１００）から各種画像データを取得する。画像データを取得する際には、画像取得部２１１が定期的に撮像装置１００に新たに撮影された画像データを問い合わせてもよいし、外部装置側から自動的に送信されてくる画像データを都度取得してもよい。

【0023】

分類条件管理部２１２は、画像取得部２１１にて取得した画像データを分類するための分類条件を管理する。本実施形態では、各画像データに対し、削除する／削除しない、の２分類の例を用いて説明する。分類条件設定部２１３は、分類条件管理部２１２にて管理される各種分類条件の設定を行う。分類条件の例については、後述する。

【0024】

画像分類部２１４は、画像取得部２１１にて取得した各画像データについて、分類条件管理部２１２にて管理されている分類条件を用いて分類を行う。本実施形態では、分類条件管理部２１２にて管理されている分類条件に基づいて、各画像データは、削除する、または、削除しない、のいずれかに分類される。ここでの分類は、例えば、フラグなどを用いて管理されてよい。画面生成部２１５は、画像分類部２１４にて分類された各画像データを分類結果と併せて表示するための画面を生成する。ここでの画面の構成例については、図４、図５を用いて後述する。指示受付部２１６は、画面生成部２１５にて生成された画面を介して入力された画像データに対する指示を受け付ける。具体的には、指示受付部２１６は、各画像データを実際に削除するか否かのユーザ指示を受け付ける。画像管理部２１７は、画像取得部２１１にて取得した画像データを管理し、指示受付部２１６にて受け付けた指示に基づき画像データの削除を実行する。画像管理部２１７は、各画像データと併せて分類結果などを対応付けて管理してよい。

【0025】

［分類条件］
本実施形態に係る画像データの分類条件について説明する。分類条件は、画像データの特性に応じて、画像を分類するための条件である。分類条件は、ユーザの指示に基づいて設定されてもよいし、システム側で任意の条件を設定してもよい。また、複数の分類条件が設定されてよい。また、ユーザが設定可能な分類条件については、ユーザが設定可能なパラメータの範囲や、選択可能な選択肢を規定しておいてもよい。

【0026】

分類条件としては、例えば、以下のような項目に対する閾値を設定し、その値に応じて分類を決定してよい。
・画像データの輝度
・画像データのサイズ
・画像データの解像度
・画像データにおけるダイナミックレンジ
・撮影日時
・データ形式（拡張子等）

【0027】

また、分類条件は、画像データを解析して、抽出される画像データの特徴点やオブジェクトに基づいて設定されてもよい。例えば、以下の特徴点やオブジェクトの検出結果に応じて、分類が行われてよい。なお、以下に示す分類条件を適用するために、撮像装置１００や情報処理装置２００にて、画像処理が適時実行されてよい。
・被検眼における乳頭の形状やサイズ
・被検眼における血管の形状やサイズ
・被検眼の領域を示すエッジ
・連続する画像データの類似度
・解析できない特定画素（例えば、黒画素）の領域のサイズ

【0028】

［処理フロー］
図３は、本実施形態に係る情報処理装置２００の処理のフローチャートである。本処理は、例えば、情報処理装置２００が備える処理部２０１が記憶部２０２に記憶された各種プログラムを読み出して実行することにより、図２に示す各機能部として動作することで実現される。ここでは、説明を簡単化するために、処理の主体を情報処理装置２００として示すが、図２にて示したような各機能が連携して処理を実現する。

【0029】

ステップＳ３０１にて、情報処理装置２００は、撮像装置１００にて撮影された各画像データを取得する。画像データは、未処理の画像データすべてを対象としてもよいし、ユーザから取得対象の画像データの指定を受け付けてもよい。

【0030】

ステップＳ３０２にて、情報処理装置２００は、管理している分類条件を参照する。ここで参照する分類条件は、例えば、画像データの種類に応じて切り替えられてもよいし、設定されている分類条件すべてを参照してもよい。

【0031】

ステップＳ３０３にて、情報処理装置２００は、ステップＳ３０１にて取得した各画像データに対して、ステップＳ３０２にて参照した分類条件を用いて分類処理を行う。このとき、分類条件の内容に応じて、各種画像処理が行われてもよい。画像処理の例としては、例えば、階調変換処理、画像強調処理、閾値処理、コントラスト変換処理、二値化処理、エッジ検出処理、画像平均化処理、画像平滑化処理、フィルタ処理、領域抽出処理、アライメント処理などが行われてよい。なお、画像処理は上記に限定するものではなく、後段の各処理を考慮してそのほかの処理が行われてよい。上述したように、本実施形態では、各画像データを、削除する／削除しない、のいずれかに分類する。

【0032】

ステップＳ３０４にて、情報処理装置２００は、ステップＳ３０３の分類処理の結果に応じて、表示画面を生成する。

【0033】

ステップＳ３０５にて、情報処理装置２００は、ステップＳ３０４にて生成された表示画面をＵＩ部２０４の表示部に表示させる。ここでの表示は、情報処理装置２００のユーザからの指示に基づいて表示されてよい。

【0034】

ステップＳ３０６にて、情報処理装置２００は、ステップＳ３０５にて生成された表示が画面を介して、実際に削除する、または、削除しない（すなわち、保存する）画像データのユーザ指示を受け付ける。

【0035】

ステップＳ３０７にて、情報処理装置２００は、ステップＳ３０６にて受け付けたユーザ指示に基づき、各画像データの管理を行う。より具体的には、情報処理装置２００は、ユーザ指示により削除すると指示された画像データは削除し、削除しないと指示された画像データは保存する。なお、画像データの保存場所については、予め設定された場所であってもよいし、ユーザにより個別に指定された場所であってもよい。そして、本処理フローを終了する。

【0036】

［表示画面］
図４、図５を用いて、図３のステップＳ３０４にて生成される表示画面の構成例を説明する。図４は、「削除する」と分類された画像データに着目して表示している際の画面構成の例を示し、図５は、「削除しない」と分類された画像データに着目して表示している際の画面構成の例を示す。

【0037】

図４に示す表示画面４００は、領域４０１、４０２、４０３、４０４の４つの領域に大きく分けられる。領域４０１は、着目している１の画像データ４０５を表示する。領域４０１には、着目している画像データ４０５の情報４０６が示される。ここでは、画像データ４０５は、「削除する」と分類されているため、その旨を示すアイコン４０７が画像データ４０５に重畳して表示される。なお、アイコン４０７の表示方法は一例であり、他の文字列や図形であってもよい。ユーザは、「削除する」を示すアイコン４０7の有無を指定することで、実際に着目している画像データを削除するか否かを指示することが可能となる。ここでの指定は、不図示のボタン（例えば、ＵＩ部２０４が備えるハードウェア上のキー）などを介して指示されてよい。本実施形態において、「削除する」と分類された場合には、アイコン４０7が自動的に表示され、「削除しない」と分類された場合には、アイコン４０7を表示しない。これにより、ユーザが個別に削除の可否について入力を行う必要が無くなる。なお、アイコン４０7の自動表示は逆であってもよい。

【0038】

領域４０２には、複数の画像データの一覧が表示される。一覧のうち、領域４０１にて着目している画像データ４０５に対応するサムネイルには、フレーム４０８が示される。また、アイコン４０７に対応するアイコン４０９が、一覧に含まれる各画像データのサムネイルに対応付けて表示される。

【0039】

領域４０３には、領域４０２に表示されている複数の画像データに関する情報が示される。ここでは、複数の画像データ群に対して付与された識別情報（ここでは、「ＩＤ５」）、撮影モードの情報（ここでは、「無散瞳眼底」）、および撮影時刻が表示されている。なお、領域４０３にて表示させる情報の項目は特に限定されるものではなく、ユーザが設定してもよいし、撮影モードなどに応じて切り替えられてもよい。

【0040】

領域４０４には、複数の画像データに対する分類に関する情報が示される。ここでは、撮影モードの情報（ここでは、「無散瞳眼底」）、および撮影時刻に対応付けて、画像データの枚数のうち保存される画像データの数を示している。つまり、複数の画像データのうち、「削除しない」と分類された画像データの枚数が識別可能に示されており、図４の例では、全４枚の画像データのうち、２枚が保存する（すなわち、削除しない）と分類されている状態を示している。なお、領域４０４に表示させる情報の項目は特に限定されるものではなく、ユーザが設定してもよい。

【0041】

図５に示す表示画面５００は、図４に示した表示画面４００と基本的な構成については同じであり、領域５０１、５０２、５０３、５０４の４つの領域に大きく分けられる。ここでは「削除しない」と分類された画像データ５０５に着目して表示している。図４に示した例とは異なり、画像データ５０５上には、「削除する」と分類されたアイコンは表示されない。情報５０６、カーソル５０７の構成も、図４と同様である。図４や図５に示した表示画面では不図示であるが、例えば、別途設けられた保存ボタンを押下することにより、削除すると分類された画像データは削除され、削除しないと分類された画像データは記憶部２０２に保存される。

【0042】

以上、本実施形態により、被検眼の診断に用いられる多量の画像データを自動的に分類し、ユーザが画像データの削除の可否を容易に決定可能となる。そのため、ユーザは、大量の画像データに対して個別に確認する作業を抑制することが可能となり、診断時の作業効率を向上させることが可能となる。

【0043】

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。上記の第１の実施形態では、予め設定された分類条件を用いて複数の画像データを分類する形態について説明した。本実施形態では、学習データを用いて学習処理を行うことにより得られる学習済みモデルを用いて、各画像データの分類を行う。なお、第１の実施形態と重複する構成については説明を省略し、差分に着目して説明を行う。

【0044】

以下の説明において、「学習」または「機械学習」とは、学習データおよび任意の学習アルゴリズムを用いて学習を行うことにより、「学習済みモデル」を生成することを指す。学習済みモデルは、複数の学習データを用いて学習が進むことにより、適時更新され、同じ入力であってもその出力が変化し得る。したがって、学習済みモデルは、いずれの時点での状態であるかを限定するものではない。ここでは、学習にて用いられるモデルを「学習モデル」と記載し、一定程度の学習が行われた学習モデルを「学習済みモデル」と記載する。また、「学習データ」の具体的な例については後述するが、その構成は、利用する学習アルゴリズムに応じて変更されてよい。また、学習データには、学習そのものに用いられる教師データ、学習済みモデルの検証に用いられる検証データ、学習済みモデルのテストに用いられるテストデータを含んでよい。以下の説明では、学習に関するデータを包括的に示す場合は、「学習データ」と記載し、学習そのものを行う際のデータを示す場合は「教師データ」と記載する。なお、学習データに含まれる教師データ、検証データ、およびテストデータを明確に分類することを意図するものではなく、例えば、学習、検証、およびテストの方法によっては、学習データすべてが教師データにもなり得る。

【0045】

［機能構成］
図６は、本実施形態に係る情報処理装置２００の機能構成の例を示すブロック図である。情報処理装置２００は、画像取得部６０１、学習処理部６０２、学習済みモデル管理部６０３、画像分類部６０４、画面生成部６０５、指示受付部６０６、画像管理部６０７、および履歴管理部６０８を含んで構成される。なお、情報処理装置２００にて実現される機能のブロック構成は一例であり、後述する各処理に対応して更に詳細に分割されてもよい。本実施形態において、各機能は、情報処理装置２００が備える処理部２０１が、記憶部２０２に記憶されたプログラムを読み出して実行されることで実現されてよい。なお、図２に示す機能の一部を撮像装置１００側、もしくは、ネットワーク３００上に設けられたサーバ（不図示）により実現されてもよい。特に、学習処理は処理負荷が高いため、学習用に設けられたサーバにて実行されてよい。

【0046】

画像取得部６０１は、外部装置（ここでは、撮像装置１００）から各種画像データを取得する。画像データを取得する際には、画像取得部６０１が定期的に撮像装置１００に新たに撮影された画像データを問い合わせてもよいし、外部装置側から自動的に送信されてくる画像データを都度取得してもよい。

【0047】

学習処理部６０２は、画像取得部６０１にて取得した画像データを分類するための学習済みモデルを生成するための学習処理を行う。所定の学習データを用いてディープラーニングを実行する学習プログラムが記憶部２０２にて保持される。学習処理を行うことで、すでに学習処理が行われることで生成されている学習済みモデルを更新することが可能となる。本実施形態において用いられる学習データは、画像データと、その画像データの分類結果を示す分類情報とが対応付けられている。本実施形態では、分類情報として、削除する／削除しない、の２分類を用いて説明する。本実施形態に係る学習済みモデルは、画像データと、分類情報との対からなる学習データを用いて学習が行われることで生成される学習済みモデルである。画像データを学習済みモデルに入力することで、その出力として画像データに対する分類情報（ここでは、削除する、または、削除しない）が出力される。本実施形態に係る学習処理では、この出力としての分類情報と、学習データにて示される分類情報とを比較してその差分に基づき学習済みモデルのパラメータを調整して、学習処理を繰り返すことで、学習済みモデルが更新される。ここでの調整には、例えば、逆誤差伝搬法などが用いられてよい。

【0048】

本実施の形態における学習処理は、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて行われる分類アルゴリズムが適用可能である。畳み込みニューラルネットワークは、複数の畳み込み層、複数のプーリング層、および複数の全結合層を含んでいる。なお、畳み込みニューラルネットワークの構成は上記に限定するものではなく、層数や構成が他の構成であってよい。また、他の学習アルゴリズムを用いてもよい。

【0049】

学習済みモデル管理部６０３は、学習処理部６０２による学習処理の結果得られた学習済みモデルを管理する。学習済みモデル管理部６０３は、最新の学習済みモデルのみを管理するような構成であってもよいし、更新されるごとに新たな学習済みモデルを追加して管理するような構成であってもよい。また、学習済みモデル管理部６０３は、学習処理部６０２が学習処理を行う際のベースとなる学習モデルを提供するような構成であってもよい。

【0050】

画像分類部６０４は、画像取得部６０１にて取得した各画像データを入力として、学習済みモデル管理部６０３にて管理されている学習済みモデルを適用することで、分類を行う。本実施形態では、各画像データは、複数の分類のいずれかに分類されるが、ここでは、削除する、または、削除しない、のいずれかに分類される。

【0051】

画面生成部６０５は、画像分類部６０４にて分類された各画像データを分類結果と併せて表示するための画面を生成する。ここでの画面の構成例については、第１の実施形態にて説明した図４、図５の構成例と同様であってよい。指示受付部６０６は、画面生成部６０５にて生成された画面を介して入力された画像データに対する指示を受け付ける。具体的には、指示受付部６０６は、各画像データを実際に削除するか否かのユーザ指示を受け付ける。画像管理部６０７は、画像取得部６０１にて取得した画像データを管理し、指示受付部６０６にて受け付けた指示に基づき画像データの削除を実行する。画像管理部６０７は、各画像データと併せて分類結果などを対応付けて管理してよい。

【0052】

履歴管理部６０８は、画像管理部６０７による画像データの管理状況や、学習処理部６０２による画像データを用いた学習処理の状況を履歴情報として管理する。本実施形態では、画像データの分類を行った後に、ユーザに対してその分類結果を示している。さらに、実際に各画像データの扱い、すなわち、削除するか、保存するかの指示を受け付けている。これらの情報は、学習処理部６０２における学習処理の学習データとして利用可能であり、この学習データを用いて学習済みモデルを更新することで、よりユーザに適した分類が可能な学習済みモデルを生成することが可能となる。

【0053】

図７を用いて、本実施形態に係る履歴管理部６０８が管理する履歴情報のデータベース（ＤＢ）構成の例を示す。本実施形態に係る履歴情報ＤＢ７００は、識別情報７０１、分類７０２、ユーザ指示７０３、学習処理利用７０４、および管理状態７０５の項目を含んで構成される。識別情報７０１は、画像データを一意に識別するための識別情報である。この識別情報は、情報処理装置２００側で設定してもよいし、撮像装置１００側で設定してもよい。画像データの識別情報の仕様（桁数や使用文字列など）も特に限定するものではない。分類７０２は、画像分類部６０４の処理の結果としての分類を示す。本例では、「削除」（画像データを削除するに分類）、または、「保存」（画像データを削除しないに分類）のいずれかが示される。

【0054】

ユーザ指示７０３は、表示画面を介して指示受付部６０６が受け付けたユーザ指示に基づく画像データの扱いを示す。本例では、「削除」（画像データを削除するように指示）、または、「保存」（画像データを削除しないように指示）のいずれかが示される。学習処理利用７０４は、画像データとユーザ指示（すなわち、ユーザ指示７０３にて示されるユーザに基づく画像データの実際の扱い）との対を学習データとして学習処理を行ったか否かを示す。本例では、利用済み（学習データとして用いた学習が実施済み）、または未利用（学習データとして用いた学習が未実施）のいずれかが示される。管理状態７０５は、画像データの管理状態を示す。本例では、「削除済み」、または、「未削除」のいずれかが示される。本実施形態において、ユーザ指示により「削除」が指定された場合、画像データは学習処理が行われた後に対象の画像データを削除する。なお、一定数の画像データが、学習処理待ちのために削除されずに保持された場合、ある上限値を限度として古い順に画像データを削除するような構成であってもよい。

【0055】

なお、上述したように、本実施形態では、画像データを削除する／削除しない、の２分類に分けているが、更に多くの分類を用いる場合には、その分類に応じて学習データや履歴情報の構成を変更してよい。

【0056】

［処理フロー］
図８は、本実施形態に係る情報処理装置２００の処理のフローチャートである。本処理は、例えば、情報処理装置２００が備える処理部２０１が記憶部２０２に記憶された各種プログラムを読み出して実行することにより、図６に示す各機能部として動作することで実現される。ここでは、説明を簡単化するために、処理の主体を情報処理装置２００として示すが、図６にて示したような各機能が連携して処理を実現する。

【0057】

ステップＳ８０１にて、情報処理装置２００は、撮像装置１００にて撮影された各画像データを取得する。画像データは、未処理の画像データすべてを対象としてもよいし、ユーザから取得対象の画像データの指定を受け付けてもよい。

【0058】

ステップＳ８０２にて、情報処理装置２００は、管理している学習済みモデルを取得する。なお、本実施形態では、情報処理装置２００が適時学習処理を行って学習済みモデルを更新する例を示したが、不図示の外部サーバなどにより学習処理を行う場合には、その外部サーバに最新の学習済みモデルを要求するような構成であってもよい。

【0059】

ステップＳ８０３にて、情報処理装置２００は、ステップＳ８０１にて取得した各画像データを入力として、ステップＳ８０２にて取得した学習済みモデルを適用することで分類処理を行う。このとき、画像データに対して各種画像処理が行われてもよい。画像処理の例としては、例えば、階調変換処理、画像強調処理、閾値処理、コントラスト変換処理、二値化処理、エッジ検出処理、画像平均化処理、画像平滑化処理、フィルタ処理、領域抽出処理、アライメント処理などが行われてよい。なお、画像処理は上記に限定するものではなく、後段の各処理を考慮してそのほかの処理が行われてよい。上述したように、本実施形態では、各画像データは、学習済みモデルにより削除する／削除しない、のいずれかに分類される。

【0060】

ステップＳ８０４にて、情報処理装置２００は、ステップＳ８０３の分類処理の結果に応じて、表示画面を生成する。ここで生成される表示画面は、第１の実施形態にて示した図４や図５の構成と同様であってよい。

【0061】

ステップＳ８０５にて、情報処理装置２００は、ステップＳ８０４にて生成された表示画面をＵＩ部２０４の表示部に表示させる。ここでの表示は、情報処理装置２００のユーザからの指示に基づいて表示されてよい。

【0062】

ステップＳ８０６にて、情報処理装置２００は、ステップＳ８０５にて生成された表示が画面を介して、実際に削除する、または、削除しない（すなわち、保存する）画像データのユーザ指示を受け付ける。

【0063】

ステップＳ８０７にて、情報処理装置２００は、ステップＳ８０６にて受け付けたユーザ指示に基づき、各画像データの管理を行う。より具体的には、情報処理装置２００は、削除しないと指示された画像データを保存する。ユーザ指示により削除すると指示された画像データについては、後段の学習処理が行われた結果に応じて削除を行うように管理される。なお、画像データの保存場所については、予め設定された場所であってもよいし、ユーザにより個別に指定された場所であってもよい。

【0064】

ステップＳ８０８にて、情報処理装置２００は、ステップＳ８０７の処理結果に基づき、履歴情報ＤＢ７００を更新する。より具体的には、情報処理装置２００は、画像データを履歴情報ＤＢ７００に登録したり、処理結果に応じて、履歴情報ＤＢ７００にて管理されている項目の値を更新したりする。

【0065】

ステップＳ８０９にて、情報処理装置２００は、取得した画像データを学習データとして用いて学習処理を行い、学習済みモデルを更新するか否かを判定する。ここでの判定は、例えば、ユーザ指示に基づいて更新すると判定されてもよいし、学習データとして一定量の画像データが蓄積された際に更新すると判定されてもよい。また、所定のスケジュールに応じて更新すると判定されてもよい。学習済みモデルを更新すると判定した場合（ステップＳ８０９にてＹＥＳ）、情報処理装置２００の処理は、ステップＳ８１０へ進む。一方、学習済みモデルを更新しないと判定した場合（ステップＳ８０９にてＮＯ）、情報処理装置２００の処理は終了する。

【0066】

ステップＳ８１０にて、情報処理装置２００は、蓄積した学習データを用いて学習処理を行う。なお、不図示の外部サーバなどにより学習処理を行う場合には、情報処理装置２００は、その外部サーバに蓄積した学習データを提供し、その学習データに基づく学習処理を実行させて最新の学習済みモデルを要求するような構成であってもよい。さらに、情報処理装置２００は、学習処理が完了した後、削除するとして分類された画像データを削除する。更に、情報処理装置２００は、学習処理の結果に応じて、履歴情報ＤＢ７００の内容を更新する。そして、本処理フローを終了する。

【0067】

以上、本実施形態により、分類条件に代えて学習済みモデルを用いることで、被検眼の診断に用いられる多量の画像データを分類し、ユーザが画像データの削除の可否を容易に決定可能となる。また、個別のユーザによる設定は不要となり、ユーザの指向に合わせて容易に画像データを分類することが可能となる。

【0068】

＜その他の実施形態＞
上記の実施形態では、画像データを、削除する／削除しない、の２分類に分ける例を示した。しかし、更に多くの分類を用いてもよい。例えば、削除する可能性が高い順に、３以上の分類を用いてもよい。また、複数の分類条件のうち、どの分類条件に当てはまるかに応じて、３以上の分類に分けてもよい。また、対象とする画像データの種類（例えば、撮影した部位や画像の特性）や、画像データの用途（例えば、診断する病気の種類）に応じて、分類の数を変更させてもよい。

【0069】

本発明において、上述した１以上の実施形態の機能を実現するためのプログラムやアプリケーションを、ネットワーク又は記憶媒体等を用いてシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。

【0070】

なお、本明細書において「プロセッサ」は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、プログラマブル論理デバイス（例えば、ＳＰＬＤ（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＣＰＬＤ（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ））等の汎用または専用の回路を意味する。

【0071】

また、上記に一例として示した方法だけでなく上記の装置を制御する制御方法をコンピュータに実行させるためのプログラムが提供される。このようなプログラムを、コンピュータによって読み取り可能な任意の記憶媒体に記憶させることができる。この記憶媒体としては、例えば、半導体メモリ、光ディスク、光磁気ディスク（ＣＤ－ＲＯＭ／ＤＶＤ－ＲＡＭ／ＤＶＤ－ＲＯＭ／ＭＯ等）、磁気記憶媒体（ハードディスク／フロッピー（登録商標）ディスク／ＺＩＰ等）などを用いることが可能である。また、インターネットやＬＡＮ等のネットワークを通じてこのプログラムを送受信することも可能である。同様に、ネットワーク上に配置された処理部にて実行された処理結果や、制御指示に基づいて、装置の動作が制御されるような構成であってもよい。

【0072】

このように、本発明は上記の実施形態に限定されるものではなく、実施形態の各構成を相互に組み合わせることや、明細書の記載、並びに周知の技術に基づいて、当業者が任意の変更、応用、省略、追加することも本発明の予定するところであり、保護を求める範囲に含まれる。

【0073】

以上の通り、本明細書には次の事項が開示されている。
（１） 被検眼の１または複数の画像データを取得する取得部（例えば、画像取得部２１１）と、
前記１または複数の画像データを、削除の可能性を示す複数の分類のうちのいずれかに分類する分類部（例えば、画像分類部２１４）と、
前記分類部による分類の結果を対応付けて、前記１または複数の画像データそれぞれの削除の可否を受け付け可能に表示する表示部（例えば、画面生成部２１５）と、
を有することを特徴とする画像処理装置。
この構成によれば、被検眼の診断に用いられる多量の画像データを分類し、ユーザが画像データの削除の可否が容易に決定可能になる。

【0074】

（２） ユーザから前記複数の分類それぞれに対応する分類条件の設定を受け付ける設定部（例えば、分類条件設定部２１３）を更に有する、ことを特徴とする（１）に記載の画像処理装置。
この構成によれば、画像データを分類する際の分類条件をユーザが設定可能となる。

【0075】

（３） 前記分類条件は、輝度に対する閾値である、ことを特徴とする（２）に記載の画像処理装置。
この構成によれば、輝度に基づいて画像データを分類することが可能となる。

【0076】

（４） 前記分類条件は、所定のオブジェクトの有無である、ことを特徴とする（２）または（３）に記載の画像処理装置。
この構成によれば、画像データに含まれる所定のオブジェクトの有無に基づいて、画像データを分類することが可能となる。

【0077】

（５） 前記分類部は、画像データと前記複数の分類のうちのいずれかの分類との組み合わせを学習データとして学習処理が行われた学習済みモデルを用いて、画像データを前記学習済みモデルに入力した際に得られる分類を当該画像データの分類として決定する、ことを特徴とする（１）に記載の画像処理装置。
この構成によれば、学習済みモデルを用いて容易に画像データを分類することが可能となる。

【0078】

（６） 前記学習済みモデルは、前記表示部にて削除の可否を受け付けた画像データを前記学習データとして用いて前記学習処理が行われることにより、更新される、ことを特徴とする（５）に記載の画像処理装置。
この構成によれば、分類結果をユーザが確認し、その結果として指定した情報を用いて更に学習処理を行って学習済みモデルを更新することが可能となる。これにより、ユーザにより適した学習済みモデルを用いて画像データの分類が可能となる。

【0079】

（７） 前記表示部は、前記１または複数の画像データそれぞれに対し、前記分類部による分類の結果に対応するアイコンを付して一覧表示する、ことを特徴とする（１）～（６）のいずれかに記載の画像処理装置。
この構成によれば、ユーザによる分類結果の視認性を向上させることが可能となる。

【0080】

（８） 前記複数の分類は、削除する、または、削除しない、の少なくとも２分類にて行われる、ことを特徴とする（１）～（７）のいずれかに記載の画像処理装置。
この構成によれば、ユーザは、削除対象となり得る画像データを容易に把握することが可能となる。

【0081】

（９） 前記表示部にて受け付けた削除の可否に基づいて、画像データの記憶部への記憶処理を制御する画像管理部を更に有する、ことを特徴とする（１）～（８）のいずれかに記載の画像処理装置。
この構成によれば、分類結果をユーザが確認した上でのユーザの指示に基づいて、画像データを適切に管理することが可能となる。

【0082】

（１０） 被検眼の１または複数の画像データを取得する取得工程（例えば、ステップS３０１）と、
前記１または複数の画像データを、削除の可能性を示す複数の分類のうちのいずれかに分類する分類工程（例えば、ステップS３０２、ステップS303）と、
前記分類工程による分類の結果を対応付けて、前記１または複数の画像データそれぞれの削除の可否を受け付け可能に表示部に表示させる表示制御工程（例えば、ステップS３０４、ステップ３０５）と、
を有することを特徴とする画像処理方法。
この構成によれば、被検眼の診断に用いられる多量の画像データを分類し、ユーザが画像データの削除の可否が容易に決定可能になる。

【0083】

（１１） コンピュータ（例えば、情報処理装置２００）に、
被検眼の１または複数の画像データを取得する取得工程（例えば、ステップS３０１）、
前記１または複数の画像データを、削除の可能性を示す複数の分類のうちのいずれかに分類する分類工程（例えば、ステップS３０２、ステップS３０３）、
前記分類工程による分類の結果を対応付けて、前記１または複数の画像データそれぞれの削除の可否を受け付け可能に表示部に表示させる表示制御工程（例えば、ステップS３０４、ステップS３０５）、
を実行させるためのプログラム。
この構成によれば、被検眼の診断に用いられる多量の画像データを分類し、ユーザが画像データの削除の可否が容易に決定可能になる。

【符号の説明】

【0084】

１００…撮像装置
１０１…撮像部
１０２…画像処理部
１０３…撮影制御部
１０４…記憶部
１０５…通信部
２００…情報処理装置
２０１…処理部
２０２…記憶部
２０３…通信部
２０４…UI(User Interface)部
２１１…画像取得部
２１２…分類条件管理部
２１３…分類条件設定部
２１４…画像分類部
２１５…画面生成部
２１６…指示受付部
２１７…画像管理部
３００…ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】