特許 6390746 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6390746

(24)【登録日】2018年8月31日

(45)【発行日】2018年9月19日

(54)【発明の名称】診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20180910BHJP

   G06T 1/00 20060101ALI20180910BHJP

   A61B 5/00 20060101ALI20180910BHJP

【ＦＩ】

   G06T7/00 614

   G06T1/00 290Z

   A61B5/00 M

【請求項の数】15

【全頁数】22

(21)【出願番号】特願2017-81415(P2017-81415)

(22)【出願日】2017年4月17日

(65)【公開番号】特開2018-41434(P2018-41434A)

(43)【公開日】2018年3月15日

【審査請求日】2017年9月11日

(31)【優先権主張番号】特願2016-170477(P2016-170477)

(32)【優先日】2016年9月1日

(33)【優先権主張国】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(72)【発明者】

【氏名】松永 和久

【審査官】 山田 辰美

(56)【参考文献】

【文献】 特開２０１５−１９１２８６（ＪＰ，Ａ）

【文献】 特開平１１−３２８４０４（ＪＰ，Ａ）

【文献】 特開２０１６−１０６３１０（ＪＰ，Ａ）

【文献】 特開２００６−３５０７０４（ＪＰ，Ａ）

【文献】 特開２０１０−０６１２８５（ＪＰ，Ａ）

【文献】 特開２０１２−０４３３７９（ＪＰ，Ａ）

【文献】 特開２００３−３１７０９８（ＪＰ，Ａ）

【文献】 特開２００８−２４５７１９（ＪＰ，Ａ）

【文献】 特開平０９−３２８４０４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ １／００

Ａ６１Ｂ ５／００

(57)【特許請求の範囲】

【請求項1】

撮影画像から病変を診断するための診断支援装置における画像処理方法であって、
病変に係る既知の第１撮影画像に対応するリファレンス画像がデータベースに登録されており、病変に係る未知の第２撮影画像に対応するクエリ画像を前記データベースのリファレンス画像と対比することにより診断支援を行うに際し、
前記病変に係る既知の第１撮影画像に基づいて形成されるリファレンス画像について、その第１画像特徴ベクトルを抽出し、
前記抽出された第１画像特徴ベクトルを登録し、
前記リファレンス画像が、前記第１撮影画像に幾何変形を施して増量することによって形成されており、前記幾何変形を施されたリファレンス画像を用いて診断支援が行われ、
前記第１画像特徴ベクトルの抽出において、
前記第１撮影画像の第１短辺実寸長を算出し、
前記第１短辺実寸長を用いて前記第１撮影画像の第１リサイズ増量倍率を決定し、
前記第１撮影画像に外挿処理を施して第１外挿画像とし、
前記第１外挿画像に回転、反転及び前記第１リサイズ増量倍率に基づくリサイズによって幾何変形処理を施すことにより増量して第１幾何変形画像とし、
前記第１幾何変形画像から中央正方形領域をクロップすることにより第１切出し画像を得、前記第１切出し画像において前記第１画像特徴ベクトルを抽出することを特徴とする方法。

【請求項2】

前記第１リサイズ増量倍率が、前記第１短辺実寸長を踏まえ、前記第１短辺実寸長の全体平均よりも小さいものは大きくなる方向に、前記第１短辺実寸長の全体平均よりも大きいものは小さくなる方向に設定されることを特徴とする請求項１に記載の方法。

【請求項3】

病変に係る未知の第２撮影画像に基づいて形成されるクエリ画像について第２画像特徴ベクトルを抽出し、
前記第２画像特徴ベクトルを前記第１画像特徴ベクトルと対比し、前記リファレンス画像の中から前記クエリ画像に類似する少なくとも１つの候補を検索することを特徴とする請求項１又は２に記載の方法。

【請求項4】

撮影画像から病変を診断するための診断支援装置における画像処理方法であって、
病変に係る既知の第１撮影画像に対応するリファレンス画像がデータベースに登録されており、病変に係る未知の第２撮影画像に対応するクエリ画像を前記データベースのリファレンス画像と対比することにより診断支援を行うに際し、
前記リファレンス画像について、その第１画像特徴ベクトルを抽出し、
前記抽出された第１画像特徴ベクトルを登録し、
前記リファレンス画像が、前記第１撮影画像に幾何変形を施して増量することによって形成されており、前記幾何変形を施されたリファレンス画像を用いて診断支援が行われ、
前記クエリ画像について第２画像特徴ベクトルを抽出し、
前記第２画像特徴ベクトルを前記第１画像特徴ベクトルと対比し、前記リファレンス画像の中から前記クエリ画像に類似する少なくとも１つの候補を検索し、
前記第２画像特徴ベクトルの抽出において、
前記第２撮影画像の第２短辺実寸長を算出し、
前記第２短辺実寸長を用いて前記第２撮影画像の第２リサイズ増量倍率を決定し、
前記第２撮影画像に外挿処理を施して第２外挿画像とし、
前記第２外挿画像に回転、反転及び前記第２リサイズ増量倍率に基づくリサイズによって幾何変形処理を施すことにより増量して第２幾何変形画像とし、
前記第２幾何変形画像から中央正方形領域をクロップすることにより第２切出し画像を得、前記第２切出し画像において前記第２画像特徴ベクトルを抽出することを特徴とする方法。

【請求項5】

前記第２リサイズ増量倍率が、前記第２短辺実寸長を踏まえ、前記第２短辺実寸長の全体平均よりも小さいものは大きくなる方向に、前記第２短辺実寸長の全体平均よりも大きいものは小さくなる方向に設定されることを特徴とする請求項４に記載の方法。

【請求項6】

撮影画像から病変を診断するための診断支援装置における画像処理方法であって、
病変に係る既知の第１撮影画像に対応するリファレンス画像がデータベースに登録されており、病変に係る未知の第２撮影画像に対応するクエリ画像を前記データベースのリファレンス画像と対比することにより診断支援を行うに際し、
前記リファレンス画像から幾何変形が施されたリファレンス画像を作成し、
前記クエリ画像から幾何変形が施されたクエリ画像を作成し、
前記幾何変形が施されたリファレンス画像をニューラルネットワークに入力して機械学習しアンサンブル識別器を生成し、
前記幾何変形が施されたクエリ画像を機械学習済みの前記アンサンブル識別器に入力して前記クエリ画像の識別を行い、
前記リファレンス画像について、
機械学習用にＭ枚の前記第１撮影画像を用意し、
前記第１撮影画像をＮ通りの事前増量をしてＭ×Ｎ枚とし、
Ｍ×Ｎ枚の前記学習画像の中から所定の画像を取り出し、９０×Ｌ度の回転、反転する／しないをランダムに幾何変形し、
幾何変形した前記第１撮影画像を前記ニューラルネットワークに入力して機械学習を行い、
必要な回数に達するまで、幾何変形及び機械学習を繰り返し、前記アンサンブル識別器を生成することを特徴とする方法。
ここで、Ｍ及びＮは２以上の整数、Ｌは０〜３の整数である。

【請求項7】

前記第１撮影画像として高解像度長方形画像を入力し、前記高解像度長方形画像から低解像度正方形画像を事前に用意することを特徴とする請求項６に記載の方法。

【請求項8】

撮影画像から病変を診断するための診断支援装置における画像処理方法であって、
病変に係る既知の第１撮影画像に対応するリファレンス画像がデータベースに登録されており、病変に係る未知の第２撮影画像に対応するクエリ画像を前記データベースのリファレンス画像と対比することにより診断支援を行うに際し、
前記リファレンス画像から幾何変形が施されたリファレンス画像を作成し、
前記クエリ画像から幾何変形が施されたクエリ画像を作成し、
前記幾何変形が施されたリファレンス画像をニューラルネットワークに入力して機械学習しアンサンブル識別器を生成し、
前記幾何変形が施されたクエリ画像を機械学習済みの前記アンサンブル識別器に入力して前記クエリ画像の識別を行い、
前記クエリ画像について、
予測対象の前記第２撮影画像を１枚入力し、
前記第２撮影画像をＮ通りの事前増量をしてＮ枚とし、
Ｎ枚の前記第２撮影画像それぞれについて、９０×Ｌ度の回転、反転する／しないの組み合わせで８通りに幾何変形し、
幾何変形した８×Ｎ枚の前記第２撮影画像を機械学習済みの前記アンサンブル識別器に個別に入力し、８×Ｎ個の推論値を得、
８×Ｎ個の推論値を平均して最終推論値とすることを特徴とする方法。
ここで、Ｎは２以上の整数、Ｌは０〜３の整数である。

【請求項9】

前記第２撮影画像として高解像度長方形画像を入力し、前記高解像度長方形画像から低解像度正方形画像を事前に用意することを特徴とする請求項８に記載の方法。

【請求項10】

前記アンサンブル識別器が複数の単位識別器を含み、前記リファレンス画像及び／又は前記クエリ画像が、各単位識別器向けに異なるパターンによって幾何変形されることを特徴とする請求項６から９のいずれか１項に記載の方法。

【請求項11】

撮影画像から病変を診断するための診断支援装置における画像処理方法であって、
病変に係る既知の第１撮影画像に対応するリファレンス画像がデータベースに登録されており、病変に係る未知の第２撮影画像に対応するクエリ画像を前記データベースのリファレンス画像と対比することにより診断支援を行うに際し、
前記第２撮影画像の第２短辺実寸長を算出し、
前記第２短辺実寸長を用いて前記第２撮影画像の第２リサイズ増量倍率を決定し、
前記第２撮影画像に少なくとも前記第２リサイズ増量倍率に基づくリサイズによる幾何変形処理を施して増量することにより、前記クエリ画像を作成することを特徴とする方法。

【請求項12】

撮影画像から病変を診断するための診断支援装置における画像処理方法であって、
病変に係る既知の第１撮影画像に対応するリファレンス画像がデータベースに登録されており、病変に係る未知の第２撮影画像に対応するクエリ画像を前記データベースのリファレンス画像と対比することにより診断支援を行うに際し、
前記リファレンス画像をニューラルネットワークに入力して機械学習しアンサンブル識別器を生成し、
前記クエリ画像を機械学習済みの前記アンサンブル識別器に入力して前記クエリ画像の識別を行うに際し、前記クエリ画像について、
予測対象の前記第２撮影画像を１枚入力し、
前記第２撮影画像を複数通り増量し、
前記増量した複数枚の第２撮影画像それぞれについて複数通りに幾何変形し、
前記幾何変形した複数枚の前記第２撮影画像を機械学習済みの前記アンサンブル識別器に個別に入力し、複数個の推論値を得、
前記複数個の推論値を平均して最終推論値とすることを特徴とする方法。

【請求項13】

撮影画像から病変を診断するための診断支援装置であって、
病変に係る既知の第１撮影画像に対応するリファレンス画像が登録されているデータベースを備え、
病変に係る未知の第２撮影画像に対応するクエリ画像を前記データベースのリファレンス画像と対比することにより診断支援が行われるに際し、
前記リファレンス画像から幾何変形を施されたリファレンス画像を作成し、前記クエリ画像から幾何変形を施されたクエリ画像を作成する作成手段と、
前記幾何変形が施されたリファレンス画像をニューラルネットワークに入力して機械学習しアンサンブル識別器を生成する生成手段と、
前記幾何変形が施されたクエリ画像を機械学習済みの前記アンサンブル識別器に入力して前記クエリ画像の識別を行う識別手段と、をさらに備え、
前記作成手段は、前記リファレンス画像について、機械学習用にＭ枚の前記第１撮影画像を用意し、前記第１撮影画像をＮ通りの事前増量をしてＭ×Ｎ枚とし、Ｍ×Ｎ枚の前記学習画像の中から所定の画像を取り出し、９０×Ｌ度の回転、反転する／しないをランダムに幾何変形し、
前記生成手段は、幾何変形した前記第１撮影画像を前記ニューラルネットワークに入力して機械学習を行い、必要な回数に達するまで、幾何変形及び機械学習を繰り返し、前記アンサンブル識別器を生成することを特徴とする診断支援装置。
ここで、Ｍ及びＮは２以上の整数、Ｌは０〜３の整数である。

【請求項14】

撮影画像から病変を診断するための診断支援装置であって、
病変に係る既知の第１撮影画像に対応するリファレンス画像が登録されているデータベースを備え、
病変に係る未知の第２撮影画像に対応するクエリ画像を前記データベースのリファレンス画像と対比することにより診断支援が行われるに際し、
前記リファレンス画像から幾何変形を施されたリファレンス画像を作成し、前記クエリ画像から幾何変形を施されたクエリ画像を作成する作成手段と、
前記幾何変形が施されたリファレンス画像をニューラルネットワークに入力して機械学習しアンサンブル識別器を生成する生成手段と、
前記幾何変形が施されたクエリ画像を機械学習済みの前記アンサンブル識別器に入力して前記クエリ画像の識別を行う識別手段と、をさらに備え、
前記作成手段は、前記クエリ画像について、予測対象の前記第２撮影画像を１枚入力し、前記第２撮影画像をＮ通りの事前増量をしてＮ枚とし、前記Ｎ枚の前記第２撮影画像それぞれについて、９０×Ｌ度の回転、反転する／しないの組み合わせで８通りに幾何変形し、
前記識別手段は、前記幾何変形した８×Ｎ枚の前記第２撮影画像を機械学習済みの前記アンサンブル識別器に個別に入力し、８×Ｎ個の推論値を得、
８×Ｎ個の推論値を平均して最終推論値とすることを特徴とする診断支援装置。
ここで、Ｎは２以上の整数、Ｌは０〜３の整数である。

【請求項15】

コンピュータに請求項１から１２のいずれか１項に記載の画像処理方法を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、診断支援装置、及び診断支援装置における画像処理方法、並びにプログラムに関する。

【背景技術】

【0002】

皮膚病変の診断として視診は必ず行われ、多くの情報を得ることができる。しかしながら、肉眼やルーペだけでは、ホクロとしみの判別さえ難しく、良性腫瘍と悪性腫瘍の鑑別も難しい。そこで、ダーモスコープ付きカメラを用いて病変を撮影するダーモスコピー診断が行われているが、画像の観察による症例の識別は医師のスキルに依存しているのが現状である。

【0003】

このため、例えば、特許文献１に、撮影され保存された患者の撮影画像からＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｉｍａｇｉｎｇ）変換したハイダイナミックレンジ合成画像を生成して比較可能な医用撮影装置の技術が記載されている。特許文献１に記載された技術によれば、診断スキルの有無に依存することなく容易にダーモスコピー画像の所見を得ることができる。

【0004】

しかしながら、特許文献１に記載された技術によれば、医師が目視による所見を得るときに、ダーモスコピー画像を複数並べた場合、疾患部の配置、方向、大きさ等が異なると、異なる点にのみ注目してしまい、疾患部の違いを把握することが困難になる。したがって、精度の高い診断は困難であった。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１５−１６４５１２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は上記した課題を解決するためになされたものであり、疾患部の違いを把握することを容易にし、精度の高い診断支援を行うことができる、診断支援装置、及び診断支援装置における画像処理方法、並びにプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上記した課題を解決するために本発明の一態様は、撮影画像から病変を診断するための診断支援装置における画像処理方法であって、病変に係る既知の第１撮影画像に対応するリファレンス画像がデータベースに登録されており、病変に係る未知の第２撮影画像に対応するクエリ画像を前記データベースのリファレンス画像と対比することにより診断支援を行うに際し、前記病変に係る既知の第１撮影画像に基づいて形成されるリファレンス画像について、その第１画像特徴ベクトルを抽出し、前記抽出された第１画像特徴ベクトルを登録し、前記リファレンス画像が、前記第１撮影画像に幾何変形を施して増量することによって形成されており、前記幾何変形を施されたリファレンス画像を用いて診断支援が行われ、前記第１画像特徴ベクトルの抽出において、前記第１撮影画像の第１短辺実寸長を算出し、前記第１短辺実寸長を用いて前記第１撮影画像の第１リサイズ増量倍率を決定し、前記第１撮影画像に外挿処理を施して第１外挿画像とし、前記第１外挿画像に回転、反転及び前記第１リサイズ増量倍率に基づくリサイズによって幾何変形処理を施すことにより増量して第１幾何変形画像とし、前記第１幾何変形画像から中央正方形領域をクロップすることにより第１切出し画像を得、前記第１切出し画像において前記第１画像特徴ベクトルを抽出することを特徴とする。

【0008】

また、本発明の他の態様は、撮影画像から病変を診断するための診断支援装置であって、病変に係る既知の第１撮影画像に対応するリファレンス画像が登録されているデータベースを備え、病変に係る未知の第２撮影画像に対応するクエリ画像を前記データベースのリファレンス画像と対比することにより診断支援が行われるに際し、前記リファレンス画像から幾何変形を施されたリファレンス画像を作成し、前記クエリ画像から幾何変形を施されたクエリ画像を作成する作成手段と、前記幾何変形が施されたリファレンス画像をニューラルネットワークに入力して機械学習しアンサンブル識別器を生成する生成手段と、前記幾何変形が施されたクエリ画像を機械学習済みの前記アンサンブル識別器に入力して前記クエリ画像の識別を行う識別手段と、をさらに備え、前記作成手段は、前記リファレンス画像について、機械学習用にＭ枚の前記第１撮影画像を用意し、前記第１撮影画像をＮ通りの事前増量をしてＭ×Ｎ枚とし、Ｍ×Ｎ枚の前記学習画像の中から所定の画像を取り出し、９０×Ｌ度の回転、反転する／しないをランダムに幾何変形し、前記生成手段は、幾何変形した前記第１撮影画像を前記ニューラルネットワークに入力して機械学習を行い、必要な回数に達するまで、幾何変形及び機械学習を繰り返し、前記アンサンブル識別器を生成することを特徴とする診断支援装置。ここで、Ｍ及びＮは２以上の整数、Ｌは０〜３の整数である。
本発明の他の特徴は、本明細書及び添付図面の記載により明らかにする。

【発明の効果】

【0009】

本発明によれば、疾患部の違いを把握することを容易にし、精度の高い診断支援を行うことができる、診断支援装置、及び診断支援装置における画像処理方法、並びにプログラムを提供することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の第１実施形態に係る診断支援装置の構成を示すブロック図である。

【図2】本発明の第１実施形態に係る診断支援装置による特徴ベクトルデータベース生成処理の手順を示すフローチャートである。

【図3】本発明の第１実施形態に係る診断支援装置による画像検索処理の手順を示すフローチャートである。

【図4】図２の第１リサイズ増量倍率決定処理におけるリサイズ増量方針を説明する図である。

【図5】図２の入力画像外挿処理における第１外挿画像と第１切出し画像の一例を示す図である。

【図6】本発明の第１実施形態に係る診断支援装置による幾何変形処理の拡張例を説明するために引用した図である。

【図7】本発明の第２実施形態に係る診断支援装置の構成を示すブロック図である。

【図8】本発明の第２実施形態のアンサンブル識別器（ニューラルネットワーク）の構成を示すブロック図である。

【図9】本発明の第２実施形態の画像事前増量を示すフローチャートである。

【図10】本発明の第２実施形態の画像事前増量のための幾何変形のパターンの一例を説明する図である。

【図11】本発明の第２実施形態の機械学習識別器生成処理の流れを示すフローチャートである。

【図12】本発明の第２実施形態の被検画像（未知の画像識別）識別処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して、本発明を実施するための形態（以下、実施形態）について詳細に説明する。以降の図においては、実施形態の説明の全体を通して同じ要素には同じ番号又は符号を付している。

【0012】

（第１実施形態の構成）
図１は、第１実施形態に係る診断支援装置１の構成を示すブロック図である。図１に示すように、本実施態に係る診断支援装置１には、ダーモスコープ付撮影装置２０が接続されている。

【0013】

ダーモスコープ付撮影装置２０は、診断支援装置１の装置本体１０からの指示により撮影を行い、撮影画像（ダーモスコピー画像）を画像記憶部１５に記憶するとともに表示装置４０上に表示する。また、撮影画像は、装置本体１０により画像処理が施されて画像記憶部１５に記憶するとともに表示装置４０上に表示される。

【0014】

入力装置３０は、ダーモスコピー画像の撮影開始指示や、後述するダーモスコピー画像中の部位選択操作等を行う。なお、表示装置４０は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）モニタ等により構成され、入力装置３０は、マウス等により構成されている。

【0015】

装置本体１０は、撮影画像取得部１１と、リファレンス画像特徴ベクトル抽出部１２と、クエリ画像特徴ベクトル抽出部１３と、検索手段１４と、画像記憶部１５と、データ記憶部１６と、を含む。

【0016】

撮影画像取得部１１は、ダーモスコープ付撮影装置２０により撮影された撮影画像を取り込んでリファレンス画像特徴ベクトル抽出部１２、及びクエリ画像特徴ベクトル抽出部１３へ出力する。リファレンス画像特徴ベクトル抽出部１２は、病変に係る既知の撮影画像（第１撮影画像）に基づいて形成されるリファレンス画像について画像特徴ベクトル（第１画像特徴ベクトル）を抽出してデータ記憶部１６の一部領域に割り当てられる特徴ベクトルデータベース（以下、特徴ベクトルＤＢ１６０という）に登録する。なお、リファレンス画像は、第１撮影画像に幾何変形を施して増量することによって形成されており、幾何変形を施されたリファレンス画像が提示されることにより診断支援が行われる。以下では、リファレンス画像を予め増量しておく例について説明するが、増量計算は、クエリ画像との比較時に行ってもよい。また、クエリ画像のほうを増量してもよい。提示とは、表示して医師の支援をしてもよいし、比較して機械の支援をしてもよい。

【0017】

このため、リファレンス画像特徴ベクトル抽出部１２は、幾何変形処理部１２１（増量手段を含む）と、画像切出し部１２２と、ＤＢ登録部１２３と、を含み、構成されている。

【0018】

幾何変形処理部１２１は、病変に係る既知の撮影画像（第１撮影画像）の第１短辺実寸長を算出し、算出した第１短辺実寸長を用いて第１撮影画像の第１リサイズ増量倍率を決定し、第１撮影画像に外挿処理を施して第１外挿画像とし、第１外挿画像に回転、反転及び第１リサイズ増量倍率に基づくリサイズによって幾何変形処理を施すことにより増量して第１幾何変形画像とする。このとき、第１リサイズ増量倍率は、第１短辺実寸長を踏まえ、第１短辺実寸長の全体平均よりも小さいものは大きくなる方向に、第１短辺実寸長の全体平均よりも大きいものは小さくなる方向に設定される。

【0019】

画像切出し部１２２は、幾何変形処理部１２１から出力される第１幾何変形画像から中央正方形領域をクロップすることにより第１切出し画像を得、第１切出し画像からリファレンス画像の画像特徴ベクトル（第１画像特徴ベクトル）を抽出する。ＤＢ登録部１２３は、画像切出し部１２２により抽出されたリファレンス画像の第１特徴ベクトルをデータ記憶部１６の特徴ベクトルＤＢ１６０に登録する。

【0020】

クエリ画像特徴ベクトル抽出部１３は、病変に係る未知の撮影画像（第２撮影画像）に基づいて形成されるクエリ画像について画像特徴ベクトル（第２画像特徴ベクトル）を抽出して検索手段１４へ引き渡す。

【0021】

検索手段１４は、特徴ベクトルＤＢ１６０を参照してリファレンス画像の特徴ベクトル（第１画像特徴ベクトル）とクエリ画像の特徴ベクトル（第２特徴ベクトル）とを対比し、リファレンス画像の中からクエリ画像に類似する少なくとも１つの候補を検索して表示装置４０へ出力する。このため、検索手段１４は、クエリ画像の特徴ベクトルと、特徴ベクトルＤＢ１６０に登録されてある全てのリファレンス画像の特徴ベクトルとの間の距離（ユークリッド距離）を算出するベクトル間距離算出部１４１を含む。

【0022】

画像記憶部１５は、ダーモスコープ付撮影装置２０により撮影される患部のダーモスコピー画像を記憶する他に、第１実施形態に係るプログラムの実行途中で生成される画像他、各種データを記憶する。データ記憶部１６は、リファレンス画像特徴ベクトル抽出部１２により生成される特徴ベクトルＤＢ１６０を記憶する。画像記憶部１５とデータ記憶部１６はともに、半導体、磁気、光等のうち、いずれかの記憶素子が実装されている。

【0023】

（第１実施形態の動作）
以下、図２，図３のフローチャートを参照しながら、図１に示す第１実施形態に係る診断支援装置１の処理手順について詳細に説明する。最初に図２のフローチャートを参照しながら第１実施形態に係る診断支援装置１の特徴ベクトル生成処理の手順から説明する。なお、特徴ベクトルの生成処理はオフラインで実行される。

【0024】

具体的に、まず、医師が、入力装置３０を操作することによる指示の下、ダーモスコープ付撮影装置２０により患部の撮影を行うと、装置本体１０は、撮影画像取得部１１が変換対象となる撮影後のダーモスコピー画像を取り込み、画像記憶部１５へ記憶するとともに、リファレンス画像特徴ベクトル抽出部１２へ出力する（ステップＳ２０１）。これを受けてリファレンス画像特徴ベクトル抽出部１２は、幾何変形処理部１２１が、画像の第１短辺実寸長を算出する（ステップＳ２０２）。

【0025】

ダーモスコープ付撮影装置２０の接眼アダプタにより撮影距離は固定されており、このため、幾何変形処理部１２１は、撮影画像（第１撮影画像）のＥＸＩＦ（Ｅｘｃｈａｎｇｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）画像ファイルから機種情報と焦点距離設定を読み出して演算することにより、撮影画像の短辺実寸を求めることができる。

【0026】

続いて、幾何変形処理部１２１は、算出された撮影画像の第１短辺実寸長にしたがい画像増量の倍率（第１リサイズ増量倍率）を設定する（ステップＳ２０３）。図４に、縦軸にサンプル数、横軸に第１短辺実寸長（ｍｍ）をとった統計グラフが示されている。図４によれば、ｂｉｎ１１（短辺１０〜１１ｍｍ）に第１短辺実寸長が平均的に分布している。ここでは、データ群を３グループに分類してそれぞれに第１リサイズ増量倍率を設定することとした。幾何変形処理部１２１で設定される第１リサイズ増量倍率は、算出された第１短辺実寸長を踏まえ、第１短辺実寸長の全体平均よりも小さいものは大きくなる方向に、第１短辺実寸長の全体平均よりも大きいものは小さくなる方向に設定される。

【0027】

ステップＳ２０３の第１リサイズ増量倍率設定処理にあたり、幾何変形処理部１２１は、例えば、第１短辺実寸長が全体平均に近い場合（９ｍｍ以上２３ｍｍ未満）、０．８，１．０，１．２倍の３パターン設定し、第１短辺実寸長が全体平均より小さい場合（９ｍｍ未満）、０．６，０．８，１．０倍の大き目のサイズの３パターン設定し、第１短辺実寸長が全体平均より大きい場合（１２ｍｍ以上）、１．０，１．２，１．４倍の小さ目のサイズの３パターン設定することとした。

【0028】

次に、幾何変形処理部１２１は、撮影画像の外挿処理を実行する（ステップＳ２０４）。すなわち、ズームアウトのリサイズ等を行うと、元の撮影画像が存在しない領域が有効領域に含まれるようになり、その際、元の撮影画像が存在しない領域が画像特徴とならないように第１外挿画像を作成する必要がある。図５に、第１外挿画像の一例が示されている。

【0029】

続いて、幾何変形処理部１２１は、第１外挿画像の回転と反転とリサイズ幾何変形処理を実行する（ステップＳ２０５：第１外挿画像回転＋反転＋リサイズ幾何変形処理）。ここでは、例えば、３６０／１６刻みの回転と、反転のあり／なしと、ステップＳ２０３で決定された３パターンの第１リサイズ増量倍率にしたがい、１６［回転］×２［反転］×３［倍率］＝９６種類の幾何変形処理を実行して画像切出し部１２２に制御を移す。

【0030】

画像切出し部１２２は、第１外挿画像の幾何変形処理画像をステップＳ２０５の幾何変形処理後の画像と同一画素サイズで取得し、例えば、図５に示すように、中央正方形領域をクロップして第１切出し画像とする（ステップＳ２０６）。そして、クロップされた画像から所望の画像特徴ベクトル（第１画像特徴ベクトル）を抽出し、ＤＢ登録部１２３に出力する。ＤＢ登録部１２３は、抽出した第１画像特徴ベクトルをデータ記憶部１６の一部領域に割り当てられる特徴ベクトルＤＢ１６０に登録する（ステップＳ２０７：画像特徴ベクトル抽出＋データベース登録）。

【0031】

上記した、第１外挿画像回転＋反転＋リサイズ幾何変形処理（ステップＳ２０５），幾何変形処理後の中央領域のクロップ処理（ステップＳ２０６），画像特徴ベクトル抽出＋データベース登録（ステップＳ２０７）の処理は、前述したような全９６パターンの幾何変形処理後の画像に対して終了するまで（ステップＳ２０９“ＹＥＳ”）、繰り返し実行される。

【0032】

次に、図３のフローチャートを参照しながら第１実施形態に係る診断支援装置１の画像検索の処理動作を説明する。ここでは、図２のフローチャートにしたがい生成されデータ記憶部１６の一部領域に割り当てられ記憶された特徴ベクトルＤＢ１６０を用いて未知のクエリ画像の画像検索をオンラインで実行する。

【0033】

まず、医師が入力装置３０を操作することによる指示の下、ダーモスコープ付撮影装置２０により患部の撮影を行うと、装置本体１０は、撮影画像取得部１１が検索クエリとなる撮影後のダーモスコピー画像（第２撮影画像）を取り込み、クエリ画像特徴ベクトル抽出部１３へ出力する（ステップＳ３０１）。クエリ画像特徴ベクトル抽出部１３は、図２のフローチャートを用いて説明したリファレンス画像の特徴ベクトル生成処理と同様、画像の第２短辺実寸長算出、第２リサイズ増量倍率決定、撮影画像外挿処理後、第２外挿画像回転＋反転＋リサイズ幾何変形処理，幾何変形処理後の中央領域のクロップ処理，画像特徴ベクトル抽出の処理を実行することにより、クエリ画像の特徴ベクトル（第２画像特徴ベクトル）を抽出して検索手段１４に出力する（ステップＳ３０２）。

【0034】

検索手段１４は、ベクトル間距離算出部１４１が、クエリ画像と、データ記憶部１６の特徴ベクトルＤＢ１６０に登録されたリファレンス画像とのベクトル間距離を算出する（ステップＳ３０３）。ここでは、ベクトル間距離算出部１４１は、特徴ベクトルＤＢ１６０に登録済みの幾何変形処理を施して増量された１サンプルあたり９６個のリファレンス画像について個別にユークリッド距離を算出する。そして、サンプルごとに各ユークリッド距離を求め、これら９６個のリファレンス画像中の最短距離のサンプルのみを残す（ステップＳ３０４）。

【0035】

続いて、ベクトル間距離算出部１４１は、各サンプルの最短距離を短い順に並べ替えて検索候補順位とし（ステップＳ３０５）、表示装置４０に対し、検索候補順位順に各サンプルの候補提示を行う（ステップＳ３０６）。

【0036】

（第１実施形態の効果）
第１実施形態に係る診断支援装置１によれば、装置本体１０（リファレンス画像特徴ベクトル抽出部１２）が、病変に係る既知の撮影画像（第１撮影画像）に幾何変形処理を施して増量することによって形成されるリファレンス画像から画像特徴ベクトル（第１画像特徴ベクトル）を抽出してデータ記憶部１６上に特徴ベクトルＤＢ１６０を構築する。そして、装置本体１０（クエリ画像特徴ベクトル抽出部１３）が、病変に係る未知の撮影画像（第２撮影画像）に基づいて形成されるクエリ画像について画像特徴ベクトル（第２特徴ベクトル）を抽出し、検索手段１４が、データ記憶部１６の特徴ベクトルＤＢ１６０を参照してリファレンス画像の画像特徴ベクトルとクエリ画像の画像特徴ベクトルとを対比し、リファレンス画像の中からクエリ画像に類似する少なくとも１つの候補を検索して表示装置４０へ出力することにより、医師が、画像を複数並べて目視したときに、疾患部の違いを俯瞰的に把握することを容易にし、その結果、精度の高い診断支援を行うことができる。なお、画像は１画像ずつ表示させて見比べるようにしてもよい（以下同じ。）

【0037】

なお、装置本体１０（リファレンス画像特徴ベクトル抽出部１２，クエリ画像特徴ベクトル抽出部１３）が、撮影画像（第１、第２撮影画像）に幾何変形を施して増量する際、第１又は第２リサイズ増量倍率は、算出された第１又は第２短辺実寸長を踏まえ、第１又は第２短辺実寸長の全体平均よりも小さいものは大きくなる方向に、第１又は第２短辺実寸長の全体平均よりも大きいものは小さくなる方向に設定することで、撮影構図等、撮影対象とは無関係な、類似度検索に本質でない点の影響を低減することができる。したがって、検索された候補を表示するときにクエリ画像と同じ構図で表示することができ、目視による参照比較が容易になる。したがって、第１実施形態に係る診断支援装置１によれば、画像を複数並べたときに疾患部の違いを俯瞰的に把握することを容易にし、精度の高い診断支援を行うことができる。

【0038】

なお、第１実施形態に係る診断支援装置１によれば、例えば、図５に示すように、第１外挿画像をクロップして得られる第１切出し画像を１種類としたが、例えば、図６に示すように、切出し位置をオフセット設定することにより、幾何増量パターンを拡張することができる。具体的に、画像の切出し位置（中心）を７箇所シフトさせることで、７種類の第１外挿画像の第１幾何変形画像を得ることができ、その結果、幾何変形増量パターンを増やすことができ、その結果、検索精度が向上する。ここで述べた点は、クエリ画像に係る第２外挿画像、第２切出し画像及び第２幾何変形画像についても、当てはまる。

【0039】

また、上記した第１実施形態に係る診断支援装置１は、スタンドアロン構成で説明したが、例えば、装置本体１０をサーバで実現し、入力装置３０と表示装置４０をサーバにＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）網等のネットワーク経由で接続される端末で実現し、サーバが、端末から検索クエリを受信することにより特徴ベクトルＤＢ１６０に蓄積された特徴ベクトルと比較し、クエリ画像に類似する少なくとも１つの候補を検索して要求のあった端末に出力するクライアントサーバシステムで実現してもよい。

【0040】

なお、第１実施形態に係る画像処理方法は、例えば、図１に示すように、撮影画像から病変を診断するための診断支援装置１における画像処理方法である。そして、その画像処理方法は、例えば、病変に係る既知の第１撮影画像に基づいて形成されるリファレンス画像について第１画像特徴ベクトルを抽出して登録するデータベースを生成するステップ（Ａ）と、病変に係る未知の第２撮影画像に基づいて形成されるクエリ画像について第２画像特徴ベクトルを抽出してデータベースを参照して第１画像特徴ベクトルと対比し、リファレンス画像の中からクエリ画像に類似する少なくとも１つの候補を検索するステップ（Ｂ）と、を備え、データベース生成ステップ（Ａ）において、リファレンス画像が、第１撮影画像に幾何変形を施して増量することによって形成されていることを特徴とする。

【0041】

ここで、ステップ（Ａ）とは、例えは、図２のフローチャートに示すステップＳ２０１〜Ｓ２０９をいい、ステップ（Ｂ）とは、例えば、図３のフローチャートのステップＳ３０１〜Ｓ３０６をいう。

【0042】

また、第１実施形態に係る画像処理方法において、データベース生成ステップ（Ａ）は、第１撮影画像を入力するステップ（Ａ２）と、第１撮影画像の第１短辺実寸長を算出するステップ（Ａ３）と、第１短辺実寸長を用いて第１撮影画像の第１リサイズ増量倍率を決定するステップ（Ａ４）と、第１撮影画像に外挿処理を施して第１外挿画像とするステップ（Ａ５）と、第１外挿画像に回転、反転及び前記第１リサイズ増量倍率に基づくリサイズによって幾何変形処理を施すことにより増量して第１幾何変形画像とするステップ（Ａ６）と、第１幾何変形画像から中央正方形領域をクロップすることにより第１切出し画像を得るステップ（Ａ７）と、第１切出し画像において第１画像特徴ベクトルを抽出して登録するステップ（Ａ８）と、を備えてもよい。

【0043】

ここで、ステップ（Ａ２）は図２中のステップＳ２０１、ステップ（Ａ３）は図２中のステップＳ２０２、ステップ（Ａ４）は図２中のステップＳ２０３、ステップ（Ａ５）は図２中のステップＳ２０４、ステップ（Ａ６）は図２中のステップＳ２０５、ステップ（Ａ７）は図２中のステップＳ２０６、ステップ（Ａ８）は図２中のステップＳ２０７、のそれぞれをいう。

【0044】

検索ステップ（Ｂ）は、第２撮影画像を入力するステップ（Ｂ２）と、第２撮影画像の第２短辺実寸長を算出するステップ（Ｂ３）と、第２短辺実寸長を用いて第２撮影画像の第２リサイズ増量倍率を決定するステップ（Ｂ４）と、第２撮影画像に外挿処理を施して第２外挿画像とするステップ（Ｂ５）と、第２外挿画像に回転、反転及び前記第２リサイズ増量倍率に基づくリサイズによって幾何変形処理を施すことにより増量して第２幾何変形画像とするステップ（Ｂ６）と、第２幾何変形画像から中央正方形領域をクロップすることにより第２切出し画像を得るステップ（Ｂ７）と、第２切出し画像において第２画像特徴ベクトルを抽出するステップ（Ｂ８）と、第２画像特徴ベクトルと第１画像特徴ベクトルとのベクトル間距離を算出するステップ（Ｂ９）と、第１画像特徴ベクトルのサンプルごとにベクトル間距離を求め、最短距離のサンプルのみを残すステップ（Ｂ１０）と、各サンプルの最短距離を短い順に並べ替えて検索候補順位とするステップ（Ｂ１１）と、検索候補順位順に各サンプルの候補提示を行うステップ（Ｂ１２）と、を備えてもよい。

【0045】

ここで、ステップ（Ｂ２）〜ステップ（Ｂ８）は、ステップ（Ａ２）〜ステップ（Ａ８）に対応しており、図３中において、ステップ（Ｂ２）はステップＳ３０１、ステップ（Ｂ３）〜ステップ（Ｂ８）はステップＳ３０２、のそれぞれをいう。また、ステップ（Ｂ９）は図３中のステップＳ３０３、ステップ（Ｂ１０）は図３中のステップＳ３０４、ステップ（Ｂ１１）は図３中のステップＳ３０５、ステップ（Ｂ１２）は図３中のステップＳ３０６、のそれぞれをいう。

【0046】

第１実施形態に係る画像処理方法によれば、画像を複数並べて目視による所見を得る場合に、疾患部の違いを俯瞰的に把握することを容易にし、精度の高い診断支援を行うことができる。

【0047】

なお、第１実施形態に係るプログラムは、例えば、図１に示すように、撮影画像から病変を診断するための診断支援装置１における画像処理方法のプログラムである。そしてそのプログラムは、コンピュータ（装置本体１０）に、上記した第１実施形態に係る画像処理方法における各ステップと同様の処理を実行させるものであり、重複を回避する意味で各処理の説明を省略する。

【0048】

第１実施形態に係るプログラムによれば、装置本体１０が、上記した第１実施形態に係るプログラムを読み出し実行することにより、画像を複数並べて目視による所見を得る場合に、疾患部の違いを俯瞰的に把握することを容易にするため、精度の高い診断支援を行うことができる。なお、第１実施形態に係るプログラムは、装置本体１０内の図示省略したプログラムメモリに記憶される。

【0049】

（第２実施形態）
次に、第２実施形態について説明する。従来の正方形画像入力の機械学習では、長方形画像を正方形にリサイズしたり、事前にサイドカットして正方形にしたりして得た低解像度画像から、幾何増量を行っていたので、画質劣化の問題があった。そこで、第２実施形態は、ニューラルネットワークから構成される識別器を用いて低解像度正方形画像入力の機械学習を行うのに際し、高解像度長方形画像から、回転角、倍率を複数パターン変えた低解像度正方形画像を事前に用意し、機械学習の学習時には、事前に用意した画像に対して劣化しない９０度回転と反転に留めたオンライン幾何増量を行い、画像の情報量低下を最小限に留め精度の高い学習を行う。そして、識別器の推論時にも、同様な幾何増量を行い、増量分の複数の推論値を平均して最終推論値とする。

【0050】

図７は、本発明の第２実施形態に係る診断装置１００Ａの構成を示すブロック図である。図７に示すように、本発明の第２実施形態に係る診断装置１００Ａには、ダーモスコープ付き撮影装置２０が接続されている。

【0051】

ダーモスコープ付き撮影装置２０は、診断装置１００Ａからの指示により撮影を行ない、撮影画像（ダーモスコピー画像）を画像記憶部１５に格納すると共に、表示装置４０上に表示する。また、撮影画像は、診断装置本体１０により画像処理が施されて画像記憶部１５に保存されると共に表示装置４０上に表示される。

【0052】

入力装置３０は、ダーモスコープ画像の撮影開始指示や、後述するダーモスコピー画像中の部位選択操作等を行う。なお、表示装置４０、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）モニタ等により構成され、入力装置３０は、マウス等により構成されている。

【0053】

データ記憶部１６には、学習用に付された疾患の識別名称と既知の皮膚画像データを関連付けて記録される皮膚画像データベースを兼ねる。

【0054】

診断装置本体１０ａは、リファレンス画像特徴ベクトル抽出部１２と、クエリ画像特徴ベクトル抽出部１３と、アンサンブル識別器１４ａと、取得部１１とを含む。リファレンス画像特徴ベクトル抽出部１２と、クエリ画像特徴ベクトル抽出部１３は、前述の第１実施形態と同様の構成を有しているのでそれらの詳細は省略するが、第２実施形態では、幾何変形処理部１２１において、後述するアンサンブル識別器１４ａの機械学習に入力するため、高解像度長方形画像から、回転角、倍率を複数パターン変えた低解像度正方形画像を事前に用意する。

【0055】

この事前に用意された低解像度正方形画像は、アンサンブル識別器１４ａに入力される。アンサンブル識別器１４ａは、前処理された診断されるべき対象に係わる複数の未知の皮膚画像データに基づいて疾患であるか否かを識別する。このアンサンブル識別器１４ａは、対象に係る原画像データ、原画像データから変換された（第１の変換画像データ）及び同じく（第２の変換画像データ）のうち少なくとも２つを含む複数の皮膚画像データに対応するように、少なくとも２つの単位識別器１４２（ＣＮＮ１），１４３（ＣＮＮ２）……と、単位識別器１４２，１４３によって各別に得られた識別値を統合し、最終判定値を得る判定手段１４４と、を含む。

【0056】

単位識別器１４２，１４３……は、疾患に係る複数の既知の皮膚画像データに基づいて学習する畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を有し、幾何変形処理部１２１によって生成される変換画像データを、この畳み込みニューラルネットワークに入力することにより予め学習に付され、診断されるべき疾患の識別が可能なように分類情報を生成する識別器として機能する。

【0057】

なお、単位識別器１４２，１４３……は、例えば、診断装置１００Ａが製造工場から出荷される前に製造段階で予め学習に付されていてもよいし、出荷された後に病院側などで予め学習に付されることとしてもよい。ここで、「予め」とは、診断されるべき疾患を識別するよりも前にという意味である。

【0058】

図８に、畳み込みニューラルネットワーク（ＣＮＮ）の代表的構成を示す。図８によれば、畳み込みニューラルネットワークは、学習段階では複数の既知の皮膚画像データ（変換画像データ）が、被検段階では複数の未知の皮膚画像データ（変換画像データ）が入力される入力層１１１ａと、畳み込み層とプーリング層から構成されたセットを複数有し、複数の既知の皮膚画像データ又は複数の未知の皮膚画像データから特徴を抽出する中間層１１１ｂと、抽出された特徴に基づき診断対象の分類ごとに識別値を出力する出力層１１１ｃと、を備える。

【0059】

上記した畳み込みニューラルネットワークの処理は、多段接続された複数の処理ユニットａを介して行われる。各処理ユニットａの入出力は、入力画像から抽出される複数の特徴である特徴マップｂで示される複数の二次元画像である。この場合、入力画像も１枚の特徴量マップとみなされる。ここでは、畳み込み演算とプーリングのユニットのペアが処理ユニットａとして多段接続され、特徴量ベクトルを算出する。この特徴量ベクトルに対し、後述する判定手段１４４で識別処理が行われ、出力クラスを得る構成になっている。

【0060】

判定手段１４４は、抽出された特徴を入力して識別を行う。畳み込みニューラルネットワークの学習は、誤差逆転伝搬法による学習により各層の重みを更新する。識別処理として多層パーセプトロンが用いられる。多層パーセプトロンは、入力層１１１ａ、中間層１１１ｂ、出力層１１１ｃで構成される非線形のクラス識別器である。各階層間の重みは、誤差伝搬法による確率的勾配降下法で求める。識別時は、特徴量を順次伝搬し、出力層の各ユニットの出力を各クラスの事後確率として画像を分類する。ここでは、各単位識別器に１４２，１４３よって各別に得られた識別値を、例えば、平均することにより統合し、最終判定値を得る。

【0061】

畳み込みニューラルネットワークは、高い精度で画像を分類するのに一般的な手法であり、例えば、インターネットＵＲＬ（ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）等に詳細に記載されている。畳み込みニューラルネットワーク（ＣＮＮ）は、脳の神経回路網を模したニューラルネットワークを多層にして学習するディープラーニング（ディープニューラルネットワーク；Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の一種であり、画像解析に好適に用いることができる。なお、ディープラーニングの他の手法を採用したり、他の手法と組み合わせたりすることも可能である。

【0062】

なお、取得部１１は、複数の未知の皮膚画像データを取得可能であって、構造明瞭、部位強調等の画像変換のためにクエリ画像特徴ベクトル抽出部１３へ出力する。

【0063】

（第２実施形態の動作）
以下、図９から図１２のフローチャートを参照しながら、本発明の第２実施形態に係る診断装置１００Ａの動作について詳細に説明する。図９は画像事前増量処理のシーケンスを、図１０は画像事前増量のための幾何変形のパターンの一例を説明する図、図１１は事前画像増量処理を用いてアンサンブル識別器１４ａに機械学習（ニューラルネットワーク）を行わせる学習手順を、図１２は学習済みのアンサンブル識別器１４ａを用いた推論手順を、それぞれ示している。なお、以下の動作は、コンピュータに実行させる学習処理プログラムとして構成することができる。

【0064】

図９に示すように、まず、撮影画像の事前増量を行う。すなわち、一般的な撮影画像である長方形の高解像度の画像を診断支援装置１００Ａに入力する（ステップＳ１０）。そして、画像を幾何変形の上、所定の低解像度の正方形画像（例：２２４ｘ２２４）を複数パターンで生成する（ステップＳ２０）。すなわち、前もって正方形画像（２２４ｘ２２４）を用意し、アンサンブル識別器１４ａのニューラルネットワーク内では、画像劣化しない９０ｘＬ度回転、反転の増量のみを行う。ここで、Ｌは０〜３の整数であり、９０ｘＬ度は、０度、９０度、１８０度、２７０度を表す。

【0065】

幾何変形の具体例を図１０に示す。幾何変形は、画像の回転及び短辺長の伸縮によって行われる。図１０の上段に示したパターン１では、１つの単位識別器向けに、画像を０度又は９０度回転し、その後、双方の元画像の短辺側が２２４ｘ０．９画素となるような変形を行う。中段に示したパターン２では、他の単位識別器向けに、画像を０度、４５度、−１１度又は２２度回転し、その後、それぞれの元画像の短辺側が２２４ｘ０．９画素、２２４ｘ０．９画素、２２４ｘ１．１画素、２２４ｘ１．２画素となるような変形を行う。下段に示したパターン３では、さらに他の単位識別器向けに、画像を０度、４５度、１１度又は−２３度回転し、その後、それぞれの元画像の短辺側が２２４ｘ０．９画素、２２４ｘ１．０画素、２２４ｘ１．１２画素、２２４ｘ１．２５画素となるような変形を行う。なお、短辺側を０．９倍とすると、元画像が２２４画素の中に収まらないので、適切な外挿処理を行う。また、図１０では単位識別器が３つ設けられた例を示しているが、少なくとも２つの単位識別器が設けられていればよく、要するに、各単位識別器向けに異なるパターンで幾何変形が行われる。

【0066】

アンサンブル識別器１４ａによる機械学習は、図１１に示した次のような手順による。まず、機械学習用に複数枚（Ｍ枚）の学習画像（リファレンス画像）を用意する（ステップＳ３１）。次に、図９の手順にて、学習画像をＮ通りの事前増量し、ＭｘＮ枚とする（ステップＳ３２）。これらのＭｘＮ枚の学習画像の中から所定の画像を取り出し、９０ｘＬ度回転と、反転する／しない、をランダムに行う（ステップＳ３３）。そして、これらの増量した画像をニューラルネットワークに入力し学習を行う（ステップＳ３４）。学習に必要な回数に達したかどうかを判定し（ステップＳ３５）、ステップＳ３３及びステップＳ３４の手順を繰り返す。必要な回数を終了すると、学習済みのアンサンブル識別器１４ａが生成される（ステップＳ３６）。ここで、Ｍ及びＮは２以上の整数である。

【0067】

図１１で示した手順によって生成された学習済みのアンサンブル識別器１４ａを用いて、未知の撮影画像（クエリ画像）の識別（推論）を図１２に示した次のような手順で行う。まず、予測対象の未知の画像を１枚入力する（ステップＳ４１）。次に、図９の手順にて、未知の撮影画像をＮ通りの事前増量し、Ｎ枚とする（ステップＳ４２）。これらのＮ枚の画像それぞれについて、９０ｘＬ度回転と、反転する／しない、の組み合わせで、８通りの幾何変形画像を行い、８ｘＮ枚の画像を生成する（ステップＳ４３）。そして、これら各８ｘＮ枚の画像を学習済みアンサンブル識別器１４ａに個別に入力し、８ｘＮ個の推論値を得る（ステップＳ４４）。最後に、８ｘＮ個の推論値を平均して、最終推論値とする（ステップＳ４５）。以上により、推論を終了する（ステップＳ４６）。

【0068】

なお、第２実施形態の拡大適用として、例えば、図１０のパターン１で学習・推論した値と、バターン２又はパターン３で学習・推論した値を平均して最終推論値としてもよい。

【0069】

（第２実施形態の効果）
事前に高解像度画像から、回転・リサイズを行った画像を用意しておくことにより、拡大などによる画質劣化、回転による見切れ部の発生などを抑制することができ、元画像の情報損失を最小限に抑える効果がある。

【0070】

以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。またその様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。具体的には、上記実施形態は皮膚における病変を対象として説明したが、本発明は皮膚以外にも、例えば、眼底や子宮などの臓器における病変にも適用が可能である。

【0071】

以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲のとおりである。
［請求項１］
撮影画像から病変を診断するための診断支援装置における画像処理方法であって、
病変に係る既知の第１撮影画像に対応するリファレンス画像がデータベースに登録されており、病変に係る未知の第２撮影画像に対応するクエリ画像を前記データベースのリファレンス画像と対比することにより診断支援を行うに際し、
前記リファレンス画像から幾何変形が施されたリファレンス画像を作成し、または前記クエリ画像から幾何変形が施されたクエリ画像を作成することを特徴とする方法。
［請求項２］
（ａ）前記病変に係る既知の第１撮影画像に基づいて形成されるリファレンス画像について、その第１画像特徴ベクトルを抽出し、
（ｂ）前記抽出された第１画像特徴ベクトルを登録し、
（ｃ）前記リファレンス画像が、前記既知の第１撮影画像に幾何変形を施して増量することによって形成されており、前記幾何変形を施されたリファレンス画像により診断支援が行われることを特徴とする請求項１に記載の方法。
［請求項３］
前記第１画像特徴ベクトルの抽出において、
前記第１撮影画像の第１短辺実寸長を算出し、
前記第１短辺実寸長を用いて前記第１撮影画像の第１リサイズ増量倍率を決定し、
前記第１撮影画像に外挿処理を施して第１外挿画像とし、
前記第１外挿画像に回転、反転及び前記第１リサイズ増量倍率に基づくリサイズによって幾何変形処理を施すことにより増量して第１幾何変形画像とし、
前記第１幾何変形画像から中央正方形領域をクロップすることにより第１切出し画像を得、前記第１切出し画像において前記第１画像特徴ベクトルを抽出することを特徴とする請求項２に記載の方法。
［請求項４］
前記第１リサイズ増量倍率が、前記第１短辺実寸長を踏まえ、前記第１短辺実寸長の全体平均よりも小さいものは大きくなる方向に、前記第１短辺実寸長の全体平均よりも大きいものは小さくなる方向に設定されることを特徴とする請求項３に記載の方法。
［請求項５］
（ｄ）病変に係る未知の第２撮影画像に基づいて形成されるクエリ画像について第２画像特徴ベクトルを抽出し、
（ｅ）前記第２画像特徴ベクトルを前記第１画像特徴ベクトルと対比し、前記リファレンス画像の中から前記クエリ画像に類似する少なくとも１つの候補を検索することを特徴とする請求項２から４のいずれか１項に記載の方法。
［請求項６］
前記第２画像特徴ベクトルの抽出において、
前記第２撮影画像の第２短辺実寸長を算出し、
前記第２短辺実寸長を用いて前記第２撮影画像の第２リサイズ増量倍率を決定し、
前記第２撮影画像に外挿処理を施して第２外挿画像とし、
前記第２外挿画像に回転、反転及び前記第２リサイズ増量倍率に基づくリサイズによって幾何変形処理を施すことにより増量して第２幾何変形画像とし、
前記第２幾何変形画像から中央正方形領域をクロップすることにより第２切出し画像を得、前記第２切出し画像において前記第２画像特徴ベクトルを抽出することを特徴とする請求項５に記載の方法。
［請求項７］
前記第２リサイズ増量倍率が、前記第２短辺実寸長を踏まえ、前記第２短辺実寸長の全体平均よりも小さいものは大きくなる方向に、前記第２短辺実寸長の全体平均よりも大きいものは小さくなる方向に設定されることを特徴とする請求項６に記載の方法。
［請求項８］
前記病変に係る既知の前記第１撮影画像に基づいて形成される前記リファレンス画像について第１画像特徴ベクトルを抽出して登録するデータベースを生成するステップ（Ａ）を備え、
前記ステップ（Ａ）が、
前記第１撮影画像を入力するステップ（Ａ２）と、
前記第１撮影画像の第１短辺実寸長を算出するステップ（Ａ３）と、
前記第１短辺実寸長を用いて前記第１撮影画像の第１リサイズ増量倍率を決定するステップ（Ａ４）と、
前記第１撮影画像に外挿処理を施して第１外挿画像とするステップ（Ａ５）と、
前記第１外挿画像に回転、反転及び前記第１リサイズ増量倍率に基づくリサイズによって幾何変形処理を施すことにより増量して第１幾何変形画像とするステップ（Ａ６）と、
前記第１幾何変形画像から中央正方形領域をクロップすることにより第１切出し画像を得るステップ（Ａ７）と、
前記第１切出し画像において前記第１画像特徴ベクトルを抽出して登録するステップ（Ａ８）と、を備えることを特徴とする請求項１に記載の方法。
［請求項９］
前記病変に係る未知の前記第２撮影画像に基づいて形成される前記クエリ画像について第２画像特徴ベクトルを抽出して、病変に係る既知の前記第１撮影画像に基づいて形成される前記リファレンス画像について抽出された第１画像特徴ベクトルと対比し、前記リファレンス画像の中から前記クエリ画像に類似する少なくとも１つの候補を検索するステップ（Ｂ）を備え、
前記ステップ（Ｂ）が、
前記第２撮影画像を入力するステップ（Ｂ２）と、
前記第２撮影画像の第２短辺実寸長を算出するステップ（Ｂ３）と、
前記第２短辺実寸長を用いて前記第２撮影画像の第２リサイズ増量倍率を決定するステップ（Ｂ４）と、
前記第２撮影画像に外挿処理を施して第２外挿画像とするステップ（Ｂ５）と、
前記第２外挿画像に回転、反転及び前記第２リサイズ増量倍率に基づくリサイズによって幾何変形処理を施すことにより増量して第２幾何変形画像とするステップ（Ｂ６）と、
前記第２幾何変形画像から中央正方形領域をクロップすることにより第２切出し画像を得るステップ（Ｂ７）と、
前記第２切出し画像において前記第２画像特徴ベクトルを抽出するステップ（Ｂ８）と、
前記第２画像特徴ベクトルと前記第１画像特徴ベクトルとのベクトル間距離を算出するステップ（Ｂ９）と、
前記第１画像特徴ベクトルのサンプルごとに前記ベクトル間距離を求め、最短距離のサンプルのみを残すステップ（Ｂ１０）と、
各サンプルの最短距離を短い順に並べ替えて検索候補順位とするステップ（Ｂ１１）と、
検索候補順位順に各サンプルの候補提示を行うステップ（Ｂ１２）と、を備えることを特徴とする請求項１に記載の方法。
［請求項１０］
前記幾何変形が施されたリファレンス画像をニューラルネットワークに入力して機械学習しアンサンブル識別器を生成し、前記幾何変形が施されたクエリ画像を機械学習済みの前記アンサンブル識別器に入力して前記クエリ画像の識別を行うことを特徴とする請求項１に記載の方法。
［請求項１１］
前記リファレンス画像の幾何変形において前記第１撮影画像としての高解像度長方形画像から低解像度正方形画像を事前に用意し、その低解像度正方形画像を幾何増量してニューラルネットワークに入力して機械学習しアンサンブル識別器を生成することを特徴とする請求項１から９のいずれか１項に記載の方法。
［請求項１２］
前記クエリ画像の幾何変形において前記第２撮影画像としての高解像度長方形画像から低解像度正方形画像を事前に用意し、その低解像度正方形画像を幾何増量して機械学習済みの前記アンサンブル識別器に入力して前記クエリ画像の識別を行うことを特徴とする請求項１から９のいずれか１項に記載の方法。
［請求項１３］
前記アンサンブル識別器が複数の単位識別器を含み、前記リファレンス画像及び／又は前記クエリ画像が、各単位識別器向けに異なるパターンによって幾何変形されることを特徴とする請求項１０から１２のいずれか１項に記載の方法。
［請求項１４］
前記リファレンス画像について、
機械学習用にＭ枚の前記第１撮影画像を用意し、
前記第１撮影画像をＮ通りの事前増量をしてＭ×Ｎ枚とし、
Ｍ×Ｎ枚の前記学習画像の中から所定の画像を取り出し、９０×Ｌ度の回転、反転する／しないをランダムに幾何変形し、
幾何変形した前記第１撮影画像をニューラルネットワークに入力して機械学習を行い、
必要な回数に達するまで、幾何変形及び機械学習を繰り返し、
識別器を生成することを特徴とする請求項１から９のいずれか１項に記載の方法。
ここで、Ｍ及びＮは２以上の整数、Ｌは０〜３の整数である。
［請求項１５］
前記第１撮影画像として高解像度長方形画像を入力し、前記高解像度長方形画像から低解像度正方形画像を事前に用意することを特徴とする請求項１４に記載の方法。
［請求項１６］
前記クエリ画像について、
予測対象の前記第２撮影画像を１枚入力し、
前記第２撮影画像をＮ通りの事前増量をしてＮ枚とし、
Ｎ枚の前記第２撮影画像それぞれについて、９０×Ｌ度の回転、反転する／しないの組み合わせで８通りに幾何変形し、
幾何変形した８×Ｎ枚の前記第２撮影画像を機械学習済みの前記識別器に個別に入力し、８×Ｎ個の推論値を得、
８×Ｎ個の推論値を平均して最終推論値とすることを特徴とする請求項１から９のいずれか１項に記載の方法。
ここで、Ｎは２以上の整数、Ｌは０〜３の整数である。
［請求項１７］
前記第２撮影画像として高解像度長方形画像を入力し、前記高解像度長方形画像から低解像度正方形画像を事前に用意することを特徴とする請求項１６に記載の方法。
［請求項１８］
撮影画像から病変を診断するための診断支援装置であって、
病変に係る既知の第１撮影画像に対応するリファレンス画像が登録されているデータベースを備え、
病変に係る未知の第２撮影画像に対応するクエリ画像を前記データベースのリファレンス画像と対比することにより診断支援が行われるに際し、
前記リファレンス画像から幾何変形を施されたリファレンス画像を作成し、または前記クエリ画像から幾何変形を施されたクエリ画像を作成する増量手段を備えることを特徴とする診断支援装置。
［請求項１９］
コンピュータに請求項１から１７のいずれか１項に記載の画像処理方法を実行させるプログラム。

【符号の説明】

【0072】

１…診断支援装置、１０…装置本体、１１…撮影画像取得部、１２…リファレンス画像特徴ベクトル抽出部、１３…クエリ画像特徴ベクトル抽出部、１４…検索手段、１４ａ…アンサンブル識別器、１５…画像記憶部、１６…データ記憶部、２０…ダーモスコープ付撮影装置、３０…入力装置、４０…表示装置、１２１…幾何変形処理部、１２２…画像切出し部、１２３…ＤＢ登録部、１４１…ベクトル間距離算出部、１４２，１４３…単位識別器、１４４…判定手段、１６０…特徴ベクトルＤＢ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】