特許第6583316号(P6583316)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ カシオ計算機株式会社の特許一覧

<>
  • 特許6583316-識別装置、識別方法及びプログラム 図000006
  • 特許6583316-識別装置、識別方法及びプログラム 図000007
  • 特許6583316-識別装置、識別方法及びプログラム 図000008
  • 特許6583316-識別装置、識別方法及びプログラム 図000009
  • 特許6583316-識別装置、識別方法及びプログラム 図000010
  • 特許6583316-識別装置、識別方法及びプログラム 図000011
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6583316
(24)【登録日】2019年9月13日
(45)【発行日】2019年10月2日
(54)【発明の名称】識別装置、識別方法及びプログラム
(51)【国際特許分類】
   G06T 7/00 20170101AFI20190919BHJP
   A61B 5/00 20060101ALI20190919BHJP
【FI】
   G06T7/00 350B
   A61B5/00 M
【請求項の数】11
【全頁数】12
(21)【出願番号】特願2017-44353(P2017-44353)
(22)【出願日】2017年3月8日
(65)【公開番号】特開2018-147405(P2018-147405A)
(43)【公開日】2018年9月20日
【審査請求日】2018年4月16日
(73)【特許権者】
【識別番号】000001443
【氏名又は名称】カシオ計算機株式会社
(74)【代理人】
【識別番号】100095407
【弁理士】
【氏名又は名称】木村 満
(72)【発明者】
【氏名】松永 和久
【審査官】 佐田 宏史
(56)【参考文献】
【文献】 特開2015−011686(JP,A)
【文献】 特開2008−234627(JP,A)
【文献】 上田 修功,“アンサンブル学習”,情報処理学会研究報告,日本,社団法人情報処理学会,2004年 9月11日,Vol.2004, No.91,pp.195-202
【文献】 Bailing Zhang,"Reliable Classification of Vehicle Types Based on Cascade Classifier Ensembles",IEEE Transactions on Intelligent Transportation Systems,米国,IEEE,2013年 3月31日,Vol.14, No.1,pp.322-332
【文献】 Tatt Hee Oong et al.,"One-against-all ensemble for multiclass pattern classification",Applied Soft Computing,NL,Elsevier B.V.,2012年 4月30日,Vol.12, No.4,pp.1303-1308
(58)【調査した分野】(Int.Cl.,DB名)
G06T 1/00,7/00−7/90
A61B 5/00
(57)【特許請求の範囲】
【請求項1】
第1のクラスをその他のクラスと識別する第1の一対他識別器と、
前記第1のクラスとは異なる第2のクラスをその他のクラスと識別する第2の一対他識別器と、
前記第2の一対他識別器の識別結果を用いて、前記第1の一対他識別器の識別結果を補正する補正部と、を備え、
識別対象のデータには年齢情報が含まれており、
前記補正部は、前記第1の一対他識別器の識別結果を補正する前に、前記第2の一対他識別器の識別結果を、前記年齢情報を用いて補正する、
別装置。
【請求項2】
第1のクラスをその他のクラスと識別する第1の一対他識別器と、
前記第1のクラスとは異なる第2のクラスをその他のクラスと識別する第2の一対他識別器と、
前記第2の一対他識別器の識別結果を用いて、前記第1の一対他識別器の識別結果を補正する補正部と、を備え、
識別対象のデータには性別情報が含まれており、
前記補正部は、前記第1の一対他識別器の識別結果を補正する前に、前記第2の一対他識別器の識別結果を、前記性別情報を用いて補正する、
別装置。
【請求項3】
記第2の一対他識別器が前記第2のクラスを識別する精度は、前記第1の一対他識別器が前記第1のクラスを識別する精度よりも高い、
請求項1または2に記載の識別装置。
【請求項4】
前記補正部は、前記第2の一対他識別器が前記第2のクラスであると識別したら、前記第1の一対他識別器が前記第1のクラスであると識別しても、識別結果を前記第1のクラス以外のクラスであると補正する、
請求項1から3のいずれか1項に記載の識別装置。
【請求項5】
画像データを入力する画像入力部と、
前記画像入力部が入力した画像データを正規化する正規化部と、
を備え、
前記第1の一対他識別器及び前記第2の一対他識別器は、前記正規化部が正規化した画像データを識別する、
請求項1からのいずれか1項に記載の識別装置。
【請求項6】
前記正規化部が正規化した画像データから肌色成分を減算する肌色減算部を備え、
前記第1の一対他識別器及び前記第2の一対他識別器は、前記肌色減算部が肌色成分を減算した画像データを識別する、
請求項5に記載の識別装置。
【請求項7】
識別対象のデータには性別情報が含まれており、
前記補正部は、前記第1の一対他識別器の識別結果を補正する前に、前記第2の一対他識別器の識別結果を、前記性別情報を用いて補正する、
請求項1、及び、請求項1を引用する請求項3から6のいずれか1項に記載の識別装置。
【請求項8】
識別装置の識別方法であって、
前記識別装置の第1の一対他識別器が第1のクラスをその他のクラスと識別する第1の一対他識別ステップと、
前記識別装置の第2の一対他識別器が前記第1のクラスとは異なる第2のクラスをその他のクラスと識別する第2の一対他識別ステップと、
前記識別装置の補正部が前記第2の一対他識別ステップでの識別結果を用いて、前記第1の一対他識別ステップでの識別結果を補正する補正ステップと、を含み、
識別対象のデータには年齢情報が含まれており、
前記補正ステップでは、前記第1の一対他識別ステップでの識別結果を補正する前に、前記第2の一対他識別ステップでの識別結果を、前記年齢情報を用いて補正する、
別方法。
【請求項9】
コンピュータに、
第1のクラスをその他のクラスと識別する第1の一対他識別ステップ、
前記第1のクラスとは異なる第2のクラスをその他のクラスと識別する第2の一対他識別ステップ、及び
前記第2の一対他識別ステップでの識別結果を用いて、前記第1の一対他識別ステップでの識別結果を補正する補正ステップ、を実行させ、
識別対象のデータには年齢情報が含まれており、
前記補正ステップでは、前記第1の一対他識別ステップでの識別結果を補正する前に、前記第2の一対他識別ステップでの識別結果を、前記年齢情報を用いて補正する、
ログラム。
【請求項10】
識別装置の識別方法であって、
前記識別装置の第1の一対他識別器が第1のクラスをその他のクラスと識別する第1の一対他識別ステップと、
前記識別装置の第2の一対他識別器が前記第1のクラスとは異なる第2のクラスをその他のクラスと識別する第2の一対他識別ステップと、
前記識別装置の補正部が前記第2の一対他識別ステップでの識別結果を用いて、前記第1の一対他識別ステップでの識別結果を補正する補正ステップと、を含み、
識別対象のデータには性別情報が含まれており、
前記補正ステップでは、前記第1の一対他識別ステップでの識別結果を補正する前に、前記第2の一対他識別ステップでの識別結果を、前記性別情報を用いて補正する、
識別方法。
【請求項11】
コンピュータに、
第1のクラスをその他のクラスと識別する第1の一対他識別ステップ、
前記第1のクラスとは異なる第2のクラスをその他のクラスと識別する第2の一対他識別ステップ、及び
前記第2の一対他識別ステップでの識別結果を用いて、前記第1の一対他識別ステップでの識別結果を補正する補正ステップ、を実行させ、
識別対象のデータには性別情報が含まれており、
前記補正ステップでは、前記第1の一対他識別ステップでの識別結果を補正する前に、前記第2の一対他識別ステップでの識別結果を、前記性別情報を用いて補正する、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、識別装置、識別方法及びプログラムに関する。
【背景技術】
【0002】
皮膚病変の画像を識別する装置が開発されてきている。例えば、特許文献1には、アンサンブル識別器による識別の精度向上を図った診断装置等が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2017−45341号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載の診断装置は、従来の技術に比べて精度の高い識別が可能である。しかし、相変わらず誤って識別する可能性が残っており、識別精度のさらなる向上が求められている。
【0005】
本発明は、上記問題を解決するためになされたものであり、従来の識別装置よりも識別の精度をさらに高めた識別装置、識別方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明の識別装置は、
第1のクラスをその他のクラスと識別する第1の一対他識別器と、
前記第1のクラスとは異なる第2のクラスをその他のクラスと識別する第2の一対他識別器と、
前記第2の一対他識別器の識別結果を用いて、前記第1の一対他識別器の識別結果を補正する補正部と、を備え、
識別対象のデータには年齢情報が含まれており、
前記補正部は、前記第1の一対他識別器の識別結果を補正する前に、前記第2の一対他識別器の識別結果を、前記年齢情報を用いて補正する
上記目的を達成するため、本発明の他の識別装置は、
第1のクラスをその他のクラスと識別する第1の一対他識別器と、
前記第1のクラスとは異なる第2のクラスをその他のクラスと識別する第2の一対他識別器と、
前記第2の一対他識別器の識別結果を用いて、前記第1の一対他識別器の識別結果を補正する補正部と、を備え、
識別対象のデータには性別情報が含まれており、
前記補正部は、前記第1の一対他識別器の識別結果を補正する前に、前記第2の一対他識別器の識別結果を、前記性別情報を用いて補正する。
【発明の効果】
【0007】
本発明によれば、従来の識別装置よりも識別の精度をさらに高めることができる。
【図面の簡単な説明】
【0008】
図1】本発明の実施形態に係る識別装置の機能構成を示す図である。
図2】画像データの一例を示す図である。
図3】正規化した画像データの一例を示す図である。
図4】実施形態に係るベース識別器を説明する図である。
図5】実施形態に係る識別装置の全体処理内容を説明する図である。
図6】実施形態に係る識別装置の識別処理のフローチャートである。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態に係る識別装置、識別方法及びプログラムについて、図表を参照して説明する。なお、図中同一又は相当部分には同一符号を付す。
【0010】
本発明の実施形態に係る識別装置100は、複数のクラスのデータに対して、特定のクラスかその他のクラス(当該特定のクラス以外のクラス)かを識別する。このような識別を行う識別器は、「一対他識別器」、「一対他分類器」、「1クラス vs その他のクラス 識別器」等と呼ばれる。ここでは、一対他識別器と呼ぶことにする。
【0011】
実施形態に係る識別装置100は、図1に示すように、制御部10、記憶部20、画像入力部31、識別結果出力部32、を備える。
【0012】
制御部10は、CPU(Central Processing Unit)等で構成され、記憶部20に記憶されたプログラムを実行することにより、後述する各部(正規化部11、肌色減算部12、第1の一対他識別器13、第2の一対他識別器14、補正部15)の機能を実現する。
【0013】
記憶部20は、ROM(Read Only Memory)、RAM(Random Access Memory)等で構成され、制御部10のCPUが実行するプログラム及び必要なデータを記憶する。
【0014】
画像入力部31は、制御部10に識別装置100の識別対象となる画像データを入力するためのデバイスである。制御部10は、画像入力部31を介して画像データを取得する。画像入力部31は、制御部10が画像データを取得できるなら、任意のデバイスを使用することができる。例えば、記憶部20に画像データを記憶させておき、制御部10が記憶部20を読み出すことによって画像データを取得する場合は、記憶部20が画像入力部31を兼ねることになる。
【0015】
なお、画像入力部31で入力される画像データは、各画素が、光の三原色である赤、緑、青の各成分の強度を示すRGB値で表される。
【0016】
識別結果出力部32は、制御部10が、画像入力部31から入力した画像を識別した結果を出力するためのデバイスである。識別結果出力部32は、制御部10が識別結果を出力できるなら、任意のデバイスを使用することができる。例えば、制御部10が記憶部20に識別結果を出力する場合は、記憶部20が識別結果出力部32を兼ねることになる。
【0017】
次に、制御部10の機能について説明する。制御部10は、正規化部11、肌色減算部12、第1の一対他識別器13、第2の一対他識別器14及び補正部15の機能を実現する。
【0018】
正規化部11は、画像入力部31から入力した画像データの色及び輝度の成分を正規化する。正規化前後の画像データの具体例を図2及び図3に示す。ただし、これらは実際にはカラー画像である(識別装置100が扱う画像はカラー画像である)が、出願書類にするために白黒画像に変換されている。図2が正規化前の画像であり、白黒画像に変換される前は青みがかった画像になっている。図3は正規化後の画像であり、白黒画像に変換される前は薄紫色の画像になっている。
【0019】
肌色減算部12は、正規化部11で正規化された画像データのRGB値から、肌色成分(肌色のRGB値)を減算する。この肌色減算の処理によって、人の皮膚の画像のRGB値が、プラスとマイナスにまんべんなく散らばるようになり、識別器による識別の精度を向上させることができる。
【0020】
第1の一対他識別器13と、第2の一対他識別器14は、複数のクラスのデータに対して、特定のクラスかその他のクラス(当該特定のクラス以外のクラス)かを識別する識別器である。識別装置100は、ベース識別器として、このような一対他識別器を2つ用いて、識別精度を向上させる。このベース識別器としては、例えば、ニューラルネットワークや、SVM(Support Vector Machine)等、任意の識別器を使用することができる。本実施例では、図4に示すベース識別器を使用している。図4に示す識別器は、入力された画像そのものと該画像に幾何学変換処理(回転、反転、移動、スケーリング等)を施したものとをそれぞれ、畳み込みニューラルネットワーク(Convolutional Neural Network:CNN)に並列入力し、得られた各出力を加算平均し、識別結果(予測値)を出力する。
【0021】
識別装置100が識別したいクラス(ここでは第1のクラスとする)をその他のクラスと識別するベース識別器を、第1の一対他識別器13にする。そして、第2の一対他識別器14は、第1のクラス以外のあるクラス(ここでは第2のクラスとする)をその他のクラス(第1のクラスも含む)と識別するベース識別器である。ここで、第2の一対他識別器14の識別精度は、第1の一対他識別器13の識別精度よりも一定条件下で高いことが必要とされる。なお、この識別精度は、例えば、ROC(Receiver Operating Characteristic)曲線下の面積であるAUC(Area Under the receiver operator Curve)の値で表すことができる(AUCが1に近いほど精度が高いとみなされる)。第2の一対他識別器14としては、AUCがかなり1に近いことが望ましい。例えば、第2の一対他識別器14のAUCは、第1の一対他識別器13のAUCよりも大きい方が望ましい。ただし、これ以外にも、第2の一対他識別器14の選定条件は存在する。例えば、第2の一対他識別器14の第2のクラスに対する識別精度(感度)が、第1の一対他識別器13の第2のクラス(第1の一対他識別器13にとってはその他のクラスに含まれるクラス)に対する識別精度(特異度)よりも高い場合も、本実施形態にとって望ましい。
【0022】
補正部15は、第1の一対他識別器13による識別結果を、第2の一対他識別器14による識別結果によって補正する。具体的には、以下の式に基づいて、補正を行う。
【数1】
式(1)中、F(x)は、入力画像に対する識別器の出力、Cは各識別器が等価エラー率(Equal Error Rate:EER)となる判定閾値、チルダはベース識別器を表す。また、αは第1の一対他識別器13と第2の一対他識別器14の出力スケールを合わせるためと、第2の一対他識別器14の出力をどの程度、識別装置100の識別結果に影響させるかを調整するための係数である。例えばα=1としても良いし、
【数2】
としても良い。なお、式(1)の適用条件として、第2の一対他識別器14の出力(FSK(x)が判定閾値CSKを超える場合としているが、これは第2の一対他識別器14の出力の信頼性が高い条件の時のみに補正を適用するためである。
【0023】
以上、識別装置100の機能構成について説明した。次に、識別装置100の全体処理の内容について、図5を参照して説明する。まず、画像が正規化及び肌色減算されてから、第1のベース識別器(第1の一対他識別器)及び第2のベース識別器(第2の一対他識別器)にそれぞれ入力される。具体的には、第1のベース識別器は、皮膚病変がメラノーマ(悪性黒色種(Malignant Melanoma:MM))かその他かを識別し、第2のベース識別器は脂漏性角化症(Seborrheic Keratosis:SK)かその他かを識別する。一般に若年層の脂漏性角化症は希なので、第2のベース識別器の識別結果に、年齢情報及び性別情報による補正を行っている(このため、識別対象となる各画像データには、年齢情報及び性別情報が付加されている)。例えば、年齢が30歳未満であれば、第2のベース識別器の識別結果が脂漏性角化症であったとしても、この識別結果は「脂漏性角化症ではない」に補正される。そして、この補正後の第2のベース識別器の識別結果が脂漏性角化症であるなら、第1のベース識別器の識別結果がメラノーマだったとしても、識別装置100の識別結果は「メラノーマではない」に補正される。(より厳密には、上記の式(1)に従って、識別結果が計算される。)
【0024】
次に、識別装置100の識別処理について、図6を参照して説明する。この処理は、ユーザが識別装置100に識別処理の開始を指示すると開始される。まず、識別装置100の正規化部11は、画像入力部31によって入力された画像を正規化する(ステップS101)。ステップS101は、正規化ステップとも呼ばれる。次に、肌色減算部12は、正規化された画像のRGB値から肌色のRGB値を減算する(ステップS102)。ステップS102は、肌色減算ステップとも呼ばれる。
【0025】
そして、肌色が減算された画像は、第1の一対他識別器13によって識別される(ステップS103)。ステップS103は、第1の一対他識別ステップとも呼ばれる。また当該肌色が減算された画像は、第2の一対他識別器14によっても識別される(ステップS104)。ステップS104は、第2の一対他識別ステップとも呼ばれる。
【0026】
そして、第1の一対他識別器13によって識別された結果を、第2の一対他識別器14によって識別された結果を用いて、上記の式(1)に基づいて補正部15が補正する(ステップS105)。ステップS105は、補正ステップとも呼ばれる。そして、制御部10は、補正部15により補正された識別結果を、識別結果出力部32を介して出力し(ステップS106)、識別処理を終了する。ステップS106は、識別結果出力ステップとも呼ばれる。
【0027】
以上のように、識別装置100は、第2の一対他識別器14の識別結果を用いて、第1の一対他識別器13の識別結果を補正するので、より精度の高い識別結果を得ることができる。
【0028】
識別装置100の精度を評価した結果を示す。これは、ISBI(International Symposium on Biomedical Imaging) Challenge 2017の参加者に与えられた検証データ(全部で150標本)を用いて、評価したものである。表1は、識別装置100の備えるベース識別器のAUCの比較結果である。中央列は外部訓練データを用いていない場合である。また、右列は年齢/性別情報を利用していない場合である。年齢/性別情報を用いることによってSK識別器(第2の一対他識別器)の学習データの交差検証評価ではAUCが0.957から0.960に上昇したが、検証データでは標本数が少ないこともあり差は見られなかった。
【0029】
【表1】
【0030】
表2は、病変画像が悪性か良性かを判別する二項識別についてのISBI Challenge 2016 Part3の結果を要約したものである。この識別について識別装置100の再訓練を行った。その後2016年に公表されたCodella et al.(後述する参照文献1)による方法では、多層構造のニューラルネットワークベースでの自動病変セグメンテーションプロセスを利用している。なお、このプロセスは識別装置100では用いていない。
【0031】
【表2】
【0032】
識別装置100は、病変画像のセグメンテーション(又はクロッピング)を行っていないにもかかわらず、現時点における最新のデータである昨年の結果(表2)より著しく優れた結果を示した(表2で、左から2番目の列は後述する参照文献2に記載の2016年の最高値である)。参照文献1に記載されているように、信頼性のあるセグメンテーション法を用いれば、識別装置100の結果をさらに高めることができると予想される。また、脂漏性角化症の一対他識別器の識別結果を年齢/性別情報を用いて補正したことで、僅かな効果を観察した。
【0033】
(参照文献)
1. N. Codella, Q. B. Nguyen, S. Pankanti, D. Gutman, B. Helba, A. Halpern and J. R. Smith, "Deep Learning Ensembles for Melanoma Recognition in Dermoscopy Images," arXiv:1610.04662, 2016.
2. D. Gutman, N. C. F. Codella, E. Celebi, B. Helba, M. Marchetti, N. Mishra and A. Halpern, "Skin Lesion Analysis towards Melanoma Detection: A Challenge at the International Symposium on Biomedical Imaging (ISBI) 2016, hosted by the International Skin Imaging Collaboration (ISIC)," arXiv:1605.01397, 2016.
【0034】
なお、識別装置100の各機能は、通常のPC(Personal Computer)等のコンピュータによっても実施することができる。具体的には、上記実施形態では、識別装置100が行う識別処理のプログラムが、記憶部20のROMに予め記憶されているものとして説明した。しかし、プログラムを、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory)、DVD(Digital Versatile Disc)及びMO(Magneto−Optical Disc)等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータに読み込んでインストールすることにより、上述の各機能を実現することができるコンピュータを構成してもよい。
【0035】
以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
【0036】
(付記1)
第1のクラスをその他のクラスと識別する第1の一対他識別器と、
前記第1のクラスとは異なる第2のクラスをその他のクラスと識別する第2の一対他識別器と、
前記第2の一対他識別器の識別結果を用いて、前記第1の一対他識別器の識別結果を補正する補正部と、
を備える識別装置。
【0037】
(付記2)
前記第2の一対他識別器が前記第2のクラスを識別する精度は、前記第1の一対他識別器が前記第1のクラスを識別する精度よりも高い、
付記1に記載の識別装置。
【0038】
(付記3)
前記補正部は、前記第2の一対他識別器が前記第2のクラスであると識別したら、前記第1の一対他識別器が前記第1のクラスであると識別しても、識別結果を前記第1のクラス以外のクラスであると補正する、
付記1または2に記載の識別装置。
【0039】
(付記4)
画像データを入力する画像入力部と、
前記画像入力部が入力した画像データを正規化する正規化部と、
を備え、
前記第1の一対他識別器及び前記第2の一対他識別器は、前記正規化部が正規化した画像データを識別する、
付記1から3のいずれか1つに記載の識別装置。
【0040】
(付記5)
前記正規化部が正規化した画像データから肌色成分を減算する肌色減算部を備え、
前記第1の一対他識別器及び前記第2の一対他識別器は、前記肌色減算部が肌色成分を減算した画像データを識別する、
付記4に記載の識別装置。
【0041】
(付記6)
識別対象のデータには年齢情報が含まれており、
前記補正部は、前記第1の一対他識別器の識別結果を補正する前に、前記第2の一対他識別器の識別結果を、前記年齢情報を用いて補正する、
付記1から5のいずれか1つに記載の識別装置。
【0042】
(付記7)
識別対象のデータには性別情報が含まれており、
前記補正部は、前記第1の一対他識別器の識別結果を補正する前に、前記第2の一対他識別器の識別結果を、前記性別情報を用いて補正する、
付記1から6のいずれか1つに記載の識別装置。
【0043】
(付記8)
第1のクラスをその他のクラスと識別する第1の一対他識別ステップと、
前記第1のクラスとは異なる第2のクラスをその他のクラスと識別する第2の一対他識別ステップと、
前記第2の一対他識別ステップでの識別結果を用いて、前記第1の一対他識別ステップでの識別結果を補正する補正ステップと、
を含む識別方法。
【0044】
(付記9)
コンピュータに、
第1のクラスをその他のクラスと識別する第1の一対他識別ステップ、
前記第1のクラスとは異なる第2のクラスをその他のクラスと識別する第2の一対他識別ステップ、及び
前記第2の一対他識別ステップでの識別結果を用いて、前記第1の一対他識別ステップでの識別結果を補正する補正ステップ、
を実行させるためのプログラム。
【符号の説明】
【0045】
10…制御部、11…正規化部、12…肌色減算部、13…第1の一対他識別器、14…第2の一対他識別器、15…補正部、20…記憶部、31…画像入力部、32…識別結果出力部、100…識別装置
図1
図2
図3
図4
図5
図6