特許 6993027 画像分析方法、装置及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2021-12-13

(45)【発行日】2022-01-13

(54)【発明の名称】画像分析方法、装置及びコンピュータプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220105BHJP

【ＦＩ】

G06T7/00 350C

【請求項の数】 10

(21)【出願番号】P 2020515931

(86)(22)【出願日】2018-08-09

(65)【公表番号】

(43)【公表日】2020-12-10

(86)【国際出願番号】 KR2018009064

(87)【国際公開番号】W WO2019054638

(87)【国際公開日】2019-03-21

【審査請求日】2020-03-12

(31)【優先権主張番号】10-2017-0117463

(32)【優先日】2017-09-13

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2018-0057547

(32)【優先日】2018-05-21

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】520086852

【氏名又は名称】クレスコム カンパニー リミティッド

(74)【代理人】

【識別番号】110002158

【氏名又は名称】特許業務法人上野特許事務所

(72)【発明者】

【氏名】イ，ジェジュン

【審査官】小池 正彦

(56)【参考文献】

【文献】特開２００３－１７５０２３（ＪＰ，Ａ）

【文献】特開２００９－０４８６２０（ＪＰ，Ａ）

【文献】韓国公開特許第１０－２０１６－００９６４６０（ＫＲ，Ａ）

【文献】鈴木 聡志 他，びまん性肺疾患識別におけるＤｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ特徴の解析，情報処理学会 研究報告 バイオ情報学（ＢＩＯ） ２０１５－ＢＩＯ－４２，日本，情報処理学会，2015年06月16日，1～6

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

電子装置により実行される画像分析方法であって、
質疑画像を受信する段階と、
前記質疑画像から一つ以上の関心領域を抽出する段階と、
前記関心領域のそれぞれの特徴を抽出するために独立して学習された一つ以上の関心領域特徴抽出モデルに前記一つ以上の関心領域をそれぞれ適用して関心領域別第１特徴を算出する段階と、
前記関心領域別第１特徴を既に学習された統合分析モデルに適用して、前記質疑画像を識別するための前記質疑画像の分析値を算出する段階と、
を含み、
前記質疑画像を複数の学習画像で学習された全体領域特徴抽出モデルに適用して前記質疑画像の第２特徴を算出する段階をさらに含み、
前記分析値を算出する段階においては、
前記第１特徴及び前記第２特徴を前記統合分析モデルに適用して前記質疑画像の分析値を算出する、画像分析方法。

【請求項2】

前記統合分析モデルは、
複数の学習画像から抽出した一つ以上の関心領域を前記一つ以上の関心領域特徴抽出モデルにそれぞれ適用して算出された一つ以上の特徴で学習された神経網又は回帰モデルである、請求項１に記載の画像分析方法。

【請求項3】

前記統合分析モデルは、
前記学習画像を前記全体領域特徴抽出モデルに適用して算出した特徴、及び前記学習画像から抽出した一つ以上の関心領域を前記一つ以上の関心領域特徴抽出モデルにそれぞれ適用して算出された一つ以上の特徴で学習された神経網又は回帰モデルである、請求項１に記載の画像分析方法。

【請求項4】

前記関心領域特徴抽出モデルは、一つ以上の層で構成された深層神経網であり、
前記第１特徴は、前記一つ以上の層のいずれか一つの層から出力される値又は前記いずれか一つの層に入力される値である、請求項１に記載の画像分析方法。

【請求項5】

前記関心領域特徴抽出モデル及び前記全体領域特徴抽出モデルは、一つ以上の層で構成された深層神経網であり、
前記第１特徴及び前記第２特徴は、前記一つ以上の層のいずれか一つの層から出力される値又は前記いずれか一つの層に入力される値である、請求項１に記載の画像分析方法。

【請求項6】

前記関心領域特徴抽出モデルは、既に設定された識別値によって分類された一つ以上の関心領域を訓練データとして使用して学習され、
前記識別値は、前記質疑画像の分析値と同じ種類の値であるか、前記質疑画像の分析値と相関関係がある異なる種類の値であることを特徴とする、請求項１に記載の画像分析方法。

【請求項7】

前記一つ以上の関心領域特徴抽出モデルに前記一つ以上の関心領域をそれぞれ適用して関心領域別分析値を算出する段階；
前記質疑画像の分析値及び前記関心領域別分析値をユーザに提供する段階を含む、請求項１に記載の画像分析方法。

【請求項8】

前記関心領域を抽出する段階は、
前記質疑画像に特定領域に対して学習された自動検出モデルを適用して、前記特定領域に対応する領域を関心領域として抽出する段階を含む、請求項１に記載の画像分析方法。

【請求項9】

質疑画像を受信する入力部と、
前記質疑画像から一つ以上の関心領域を抽出する検出部と、
前記関心領域のそれぞれの特徴を抽出するために独立して学習された一つ以上の関心領域特徴抽出モデルに前記一つ以上の関心領域をそれぞれ適用して関心領域別第１特徴を算出する関心画像分析部と、
前記第１特徴を既に学習された統合分析モデルに適用して、前記質疑画像の分析値を算出し、前記分析値を用いて前記質疑画像を識別する統合分析部と、
を含み、
前記質疑画像を複数の画像で学習された全体領域特徴抽出モデルに適用して前記質疑画像の第２特徴を算出する全体画像分析部をさらに含み、
前記統合分析部は、前記第１特徴及び前記第２特徴を既に学習された統合分析モデルに適用して前記質疑画像の分析値を算出する、画像分析装置。

【請求項10】

請求項１～８のいずれか一方法を実行させるためにコンピュータ読取り可能媒体に格納された画像分析プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像分析方法、装置及びコンピュータプログラムに関し、より詳細には、機械学習を用いて画像を分析する方法、装置及びコンピュータプログラムに関する。

【背景技術】

【0002】

画像分析技術は、様々な分野に広範囲に用いられており、特に、機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）アルゴリズムを用いて客体識別の正確度が向上するに伴ってより活発に活用されている。

【0003】

画像分析において質疑画像が受信されると、コンピュータは、機械学習に基づいて学習されたモデルを用いて質疑画像の特徴（又は、質疑画像に含まれた客体の特徴）を分類する。ユーザは質疑画像に対する分析結果から、質疑画像にどのような客体が含まれているか－例えば、画像に含まれた商品がどのような商品か－、或いは各客体がどのような特性を有するか－例えば、商品がどのような色及びパターンを有するか、画像に含まれた顔が誰の顔か－などを容易に確認でき、これを活用してユーザは数多くの画像データを迅速に分類し理解することができる。

【0004】

客体を識別するためには、識別しようとする客体の特性を学習する必要があるが、既に識別された多量のデータを機械学習モデルに学習させる地図学習手法が用いられる。

【0005】

従来に機械学習手法を用いて分析モデルを生成し、学習された分析モデルから質疑画像を分析する方法は、２つに大別することができる。

【0006】

第一には、全体画像を学習対象にして分析モデルを生成し、画像を分析する方式である。全体画像を機械学習モデルに入力して学習させると、分析モデルは画像内の特徴を自ら学習して分類に活用する。

【0007】

第二は、画像内で関心領域（ＲＯＩ，Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）を抽出し、関心領域を学習対象にして分析モデルを訓練し、関心領域を中心に画像を分析する方式である。この時、関心領域は当該分野の専門家が特定するのが一般的である。当該分野における専門家達の累積した経験及び知識を活用して主要関心領域を抽出し、関心領域を中心にして画像を分析すれば画像分類及び分析の精密度を向上させることができる。

【0008】

しかし、上の２方式ともそれぞれ限界点を有する。全体画像を学習対象にして分析する際、画像内の複雑度が大きいか、或いは特徴的な部分が画像内に多数存在する場合、同一の質疑画像（分析対象）に対する分類結果が相違することがある。これは、地図学習データを生成する主体によって特徴と考えられる部分が異なり、識別値が変わり得るためである。全体画像ベース分類方式は、分析モデルを生成するために用いる学習データの正確性及び客観性が担保されないと、分類結果の信頼性が大きく低下する問題があり、全体画像に対する直観的な判断に依存することがあり得る。

【0009】

その上、全体画像ベースの分類方式は、画像分類の際に重要な意味を持たない部分まで共に分析されるため、質疑画像識別に関係ないノイズが当該画像の自動分析結果に否定的な影響を与えることがある。

【0010】

一方、関心領域別に特徴を分析する方式は、全体画像において関心領域以外の領域の特徴が反映されないか、選択した関心領域の重要度が大きくないこともあるという点で限界がある。

【発明の概要】

【発明が解決しようとする課題】

【0011】

画像分析技術は、様々な分野に広範囲に用いられており、特に機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）アルゴリズムを用いて客体識別の正確度が向上するに伴ってより活発に活用されている。

【0012】

画像分析において質疑画像が受信されると、コンピュータは、機械学習に基づいて学習されたモデルを用いて質疑画像の特徴（又は、質疑画像に含まれた客体の特徴）を分類する。ユーザは質疑画像に対する分析結果から、質疑画像にどのような客体が含まれているか－例えば、画像に含まれた商品がどのような商品か－、或いは各客体がどのような特性を有するか－例えば、商品がどのような色及びパターンを有するか、画像に含まれた顔が誰の顔か－などを容易に確認でき、これを活用してユーザは数多くの画像データを迅速に分類し理解することができる。

【0013】

客体を識別するためには、識別しようとする客体の特性を学習する必要があるが、既に識別された多量のデータを機械学習モデルに学習させる地図学習手法が用いられる。

【0014】

従来に機械学習手法を用いて分析モデルを生成し、学習された分析モデルから質疑画像を分析する方法は、２つに大別することができる。

【0015】

第一には、全体画像を学習対象にして分析モデルを生成し、画像を分析する方式である。全体画像を機械学習モデルに入力して学習させると、分析モデルは画像内の特徴を自ら学習して分類に活用する。

【0016】

第二は、画像内で関心領域（ＲＯＩ，Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）を抽出し、関心領域を学習対象にして分析モデルを訓練し、関心領域を中心に画像を分析する方式である。この時、関心領域は当該分野の専門家が特定するのが一般的である。当該分野における専門家達の累積した経験及び知識を活用して主要関心領域を抽出し、関心領域を中心にして画像を分析すれば画像分類及び分析の精密度を向上させることができる。

【0017】

しかし、上の２方式ともそれぞれ限界点を有する。全体画像を学習対象にして分析する際、画像内の複雑度が大きいか、或いは特徴的な部分が画像内に多数存在する場合、同一の質疑画像（分析対象）に対する分類結果が相違することがある。これは、地図学習データを生成する主体によって特徴と考えられる部分が異なり、識別値が変わり得るためである。全体画像ベース分類方式は、分析モデルを生成するために用いる学習データの正確性及び客観性が担保されないと、分類結果の信頼性が大きく低下する問題があり、全体画像に対する直観的な判断に依存することがあり得る。

【0018】

その上、全体画像ベースの分類方式は、画像分類の際に重要な意味を持たない部分まで共に分析されるため、質疑画像識別に関係ないノイズが当該画像の自動分析結果に否定的な影響を与えることがある。

【0019】

一方、関心領域別に特徴を分析する方式は、全体画像において関心領域以外の領域の特徴が反映されないか、選択した関心領域の重要度が大きくないこともあるという点で限界がある。

【課題を解決するための手段】

【0020】

このような目的を達成するための本発明は、画像分析方法において、質疑画像を受信する段階、前記質疑画像から一つ以上の関心領域を抽出する段階、前記関心領域のそれぞれの特徴を抽出するために独立して学習された一つ以上の関心領域特徴抽出モデルに前記一つ以上の関心領域をそれぞれ適用して関心領域別第１特徴を算出する段階、及び前記関心領域別第１特徴を既に学習された統合分析モデルに適用して、前記質疑画像の分析値を算出する段階を含むことをこと特徴とする。

【0021】

また、本発明は、画像分析装置において、質疑画像を受信する入力部、前記質疑画像から一つ以上の関心領域を抽出する検出部、前記関心領域のそれぞれの特徴を抽出するために独立して学習された一つ以上の関心領域特徴抽出モデルに前記一つ以上の関心領域をそれぞれ適用して関心領域別第１特徴を算出する関心画像分析部、前記第１特徴を既に学習された統合分析モデルに適用して、前記質疑画像の分析値を算出する統合分析部、及び前記分析値を用いて前記質疑画像に対する分析結果を出力する出力部を含むことを他の特徴とする。

【発明の効果】

【0022】

前述のような本発明によれば、従来方式に比べて画像分析の正確度を高めることができる。

【0023】

また、本発明によれば、全体画像の地図学習のために生成された訓練データが有し得る誤りが分析モデルに及ぼす影響を減らすことができ、深層神経網の学習正確度及び客観性を高めることができる。

【0024】

また、本発明によれば、判断誤りを誘発する可能性の高い雑音要素が画像に含まれている場合、画像内の主要関心領域から特徴を別途に検出した後、これを最終画像分類に反映することによって、画像分類の客観性及び正確性を高めることができる。

【0025】

また、本発明によれば、ブラックボックスと呼ばれる深層神経網の画像分類結果に対して判断根拠及び解析を提供することができる。

【図面の簡単な説明】

【0026】

【図1】本発明の一実施例に係る画像分析装置を説明するためのブロック図である。

【図2】本発明の一実施例に係る特徴抽出モデルを説明するための図である。

【図3】本発明の一実施例に係る関心領域抽出を説明するための手骨画像である。

【図4】本発明の一実施例に係る画像分析方法を説明するためのフローチャートである。

【図5】本発明の他の実施例に係る画像分析方法を説明するためのフローチャートである。

【発明を実施するための形態】

【0027】

前述した目的、特徴及び長所は、添付の図面を参照して詳細に後述され、これによって本発明の属する技術の分野における通常の知識を有する者が本発明の技術的思想を容易に実施可能であろう。本発明の説明において、本発明に関連した公知技術に関する具体的な説明が本発明の要旨を余計に曖昧にさせると判断される場合には、詳細な説明を省略する。以下、添付の図面を参照して本発明に係る好ましい実施例を詳細に説明する。図面中、同一の参照符号は同一又は類似の構成要素を示し、明細書及び特許請求の範囲に記載された全ての組合せは任意の方式で組合せ可能である。そして、特に規定しない限り、単数に対する言及は一つ以上を含むことができ、単数表現に対する言及も複数表現を含むものとして理解されるべきである。

【0028】

本発明は様々な分野に適用可能であるが、特に骨年齢の判断のための手骨画像分析に効果的に用いることができる。骨年齢は、児童青少年の身体的成長の進行程度及び成長の止める時期を推定するのに重要な役割を担う。したがって、成長潜在可能性の程度を把握するのに用いられる。骨年齢は、骨端板（成長板）が骨化の進行につれて骨端と骨幹端が融合して行く状態を当該骨の存在と形状の変化によって把握する。

【0029】

骨年齢の分析には手骨画像を主に活用し、一般に、アトラスベースのＧＰ方式又はＴＷ方式で骨の成熟度を見て骨年齢を判断する。

【0030】

ＧＰ方式は、骨年齢読取りに使用する手骨の全体画像を直観的に見て判別する方式であり、ＴＷ方式は、手骨画像において主要細部関節部位別に関心領域を分離した後、関心領域別にそれぞれ成熟等級を判断し、それを総合して骨年齢を算出する方式である。

【0031】

ＧＰ方式を用いるとき、専門医は骨年齢別代表画像と質疑画像とを比較して、質疑画像と最も類似な代表画像の骨年齢を質疑画像の骨年齢と判断する。しかし、ＧＰ方式は、読み取る人によって偏差が大きく、同一の読取者が判断を下しても、時間によって異なる評価を下す可能性が高いという研究結果が多数報告されている。

【0032】

ＴＷ方式は、ＧＰ方式に比べて読取者別又は同一読取者間の時間差分類結果の偏差が少ないという研究結果があり、より正確で誤差可能性が小さいと評価されている。しかし、ＴＷ方式も、各関心領域別に成熟等級を分類するにおいて、ＧＰ方式よりは小さいとしても誤差が発生し得る。また、評価対象として検出した関心領域以外の部分は骨年齢の分析に含まれないという限界がある。

【0033】

このような問題点は、ＧＰ方式とＴＷ方式を機械学習を用いて具現する場合にも同様に起きるが、本発明によれば上述の問題点を克服でき、手骨画像分析の正確度を大きく向上させることができる。

【0034】

以下では、図１及び図２を参照して本発明の一実施例による画像分析装置について説明する。

【0035】

図１を参照すると、本発明の一実施例に係る画像分析装置１００は、入力部１１０、検出部１３０、関心画像分析部１５０、統合分析部１７０を含み、全体画像分析部１６０をさらに含むことができる。

【0036】

入力部１１０は、ユーザから質疑画像が入力される入力モジュールでよく、他の電子装置（図示せず）から有無線通信網を介して質疑画像を受信する通信モジュールであり得る。他の実施例として、入力部１１０は客体の画像を取得する撮像モジュールであってもよい。質疑画像は、２次元のカラー又は白黒画像でよく、カメラ、放射線撮影装置、コンピュータ断層撮影装置などの撮像装置から取得されたものであるか、電子装置のキャプチャー機能によって取得されたものであり得る。入力部１１０は、受信した質疑画像を全体画像分析部１６０及び／又は検出部１３０に伝達することができる。

【0037】

検出部１３０は質疑画像から一つ以上の関心領域を抽出する。ここで、関心領域とは、質疑画像を分析する上で重要度を持つ特定領域を意味する。機械学習分析において特定領域の重要度は、当該画像の属したドメイン知識に基づく場合が多い。すなわち、関心領域を中心にして分析することは、分析において誤りを招き得る主要関心領域以外の領域におけるノイズを除去して正確度を高めるためである。例えば、図３に示すような手骨画像を質疑画像として受信した場合、画像分析装置１００は手骨画像を分析して骨年齢を測定することができる。検出部１３０は骨年齢の測定において主に考慮される領域Ｒ１～Ｒ５などを関心領域として抽出することができる。

【0038】

検出部１３０は手動検出部１３５及び自動検出部１３７を含み、関心領域は手動又は自動で抽出され得る。手動検出部１３５は、ユーザによって設定された位置情報に対応する領域を関心領域として抽出することができる。すなわち、図３の例示において、ユーザは手骨画像において関心領域となる一領域Ｒ１～Ｒ５を直接設定することができ、手動検出部１３５は、ユーザによって指定された領域を関心領域として抽出して関心画像特徴抽出部１６０に伝達することができる。

【0039】

自動検出部１３７は、質疑画像に、特定領域に対して学習された自動検出モデルを適用して、特定領域に対応する領域を関心領域として抽出することができる。ここでいう特定領域とは、前述した例示において骨年齢の測定に主に考慮される領域を意味する。自動検出部１３７は、全体画像から特定画像を抽出するために複数の特定領域画像を用いて学習された（訓練及び評価された）深層神経網である自動検出モデルを含むことができる。自動検出モデルには深層神経網ベースのＦａｓｔｅｒ－ＲＣＮＮ、Ｙｏｌｏ検出手法などを用いることができるが、これに限定されるものではない。

【0040】

例えば、自動検出部１３７は、複数の橈骨画像を用いて自動検出モデルを訓練させることができ、この場合、任意の手骨画像（手骨の全体画像）を入力すると、自動検出部１３７は橈骨に該当するＲ１を関心領域として抽出することができる。

【0041】

検出部１３０は質疑画像から一つ以上の関心領域（関心領域１，関心領域２，…，関心領域１Ｎ）を抽出し、抽出された関心画像を関心画像分析部１５０に伝達することができる。

【0042】

学習部１４０は、関心領域学習部１４３、全体領域学習部１４５、統合学習部１４７を含むことができる。

【0043】

関心領域学習部１４３は、一つ以上の関心領域特徴抽出モデルを独立して学習させて関心画像分析部１５０に提供することができる。それぞれの関心領域特徴抽出モデルは機械学習モデルであり、一つ以上の層で構成された深層神経網又は回帰分析モデルであり得る。

【0044】

関心領域学習部１４３は、各関心領域に対して既に識別された、すなわち既に設定された識別値によって分類された多数の関心領域画像を訓練データとして使用して関心領域特徴抽出モデルを訓練させることができる。ここで、識別値は質疑画像の分析値と同じ種類の値であってもよく、前記質疑画像の分析値と相関関係がある別個の種類の値であってもよい。

【0045】

例えば、最終的に質疑画像の骨年齢を判断しようとする場合、関心領域学習部１４３は、第１関心領域（橈骨）特徴抽出モデルを学習させるために、骨年齢別橈骨画像を訓練データとして使用することもでき、骨年齢と相関関係がある骨成熟等級（Ａ～Ｉ）別橈骨画像を訓練データとして使用することもできる。すなわち、図４に示す手骨画像において橈骨Ｒ１の骨成熟等級は全体手骨画像の骨年齢を判断することに影響を及ぼすので、骨成熟等級別にグループ化された橈骨画像を複数個用いて第１関心領域特徴抽出モデルを学習させることができる。

【0046】

したがって、このように学習された関心領域特徴抽出モデルに特定関心領域を適用すれば関心領域の分析値を取得することができる。すなわち、前記例示において、第１関心領域特徴抽出モデルに橈骨画像を入力すると、入力した橈骨画像の骨年齢又は骨成熟等級を関心領域の分析値として取得することができる。

【0047】

全体領域学習部１４５は、関心領域学習部１４３と同様に、全体領域特徴抽出モデルを訓練させて全体画像分析部１６０に提供するためのものである。全体領域特徴抽出モデルは機械学習モデルであり、一つ以上の層で構成された深層神経網又は回帰分析モデルであり得る。

【0048】

全体領域学習部１４５は、全体画像に対して既に識別された、すなわち既に設定された識別値によって分類された多数の全体領域画像を訓練データとして使用して全体領域特徴抽出モデルを訓練させることができる。ここで、識別値は、質疑画像の分析値と同じ種類の値であり得る。例えば、前述のように、手骨画像の骨年齢を判断しようとする場合、特定の骨年齢と判断された全体手骨画像を訓練データとして使用することができる。

【0049】

統合学習部１４７は、関心領域別学習によって抽出された特徴（又は特徴値）及び／又は全体領域学習部で抽出した全体領域特徴値を用いて統合分析モデルを訓練させることができる。統合学習部１４７については、統合分析部１７０の説明においてより詳細に説明する。

【0050】

関心画像分析部１５０は、各関心領域の特徴を抽出するために独立して学習された一つ以上の関心領域特徴抽出モデルに一つ以上の関心領域をそれぞれ適用して関心領域別第１特徴を算出することができる。そして、関心領域特徴抽出モデルによって算出された関心領域別第１特徴は、統合分析部１７０の入力として用いられる。

【0051】

例えば、手骨画像においてＲ１領域（橈骨領域）を関心領域１、複数の橈骨画像で学習された関心領域特徴抽出モデルを第１関心領域特徴抽出モデル１５５とすれば、関心画像分析部１５０は、検出部１３０で検出された関心領域１を第１関心領域特徴抽出モデルに入力して、関心領域１の第１特徴を算出することができる。

【0052】

関心領域特徴抽出モデルを用いて関心領域の特徴を算出する方法の一実施例を図２を参照してより詳細に説明すると、次の通りである。

【0053】

関心領域特徴抽出モデルは一つ以上の層で構成された深層神経網であり、関心領域の特徴に対する特徴地図（ｆｅａｔｕｒｅ ｍａｐ）を作成する多数の畳み込み層（ｃｏｎｖｏｌｕｔｉｏｎ ｌａｙｅｒ）と多数の畳み込み層間にサブサンプリングを行うプーリング層（ｐｏｏｌｉｎｇ ｌａｙｅｒ）を含む畳み込み神経網（ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＣＮＮ）であり得る。畳み込み神経網は、入力画像に対して畳み込みとサブサンプリングを交互に行うことによって入力画像から特徴を抽出することができる。特徴（ｆｅａｔｕｒｅ）又は特徴値は、画像を分類又は識別する上で重要な核心特徴を示すベクトル値を意味する。本発明の一実施例によれば、統合分析部１７０に入力される第１特徴は、深層神経網を構成する一つ以上の層のいずれか一層から出力される値又は一層に入力される値であり得る。

【0054】

畳み込み神経網は、複数の畳み込み層（ｃｏｎｖｏｌｕｔｉｏｎ ｌａｙｅｒ）、複数のサブサンプリング層（ｓｕｂｓａｍｐｌｉｎｇ ｌａｙｅｒ，Ｍａｘ－Ｐｏｏｌｉｎｇ ｌａｙｅｒ，Ｐｏｏｌｉｎｇ ｌａｙｅｒ）を含み、ＧＡＰ層（Ｇｌｏｂａｌ Ａｖｅｒａｇｅ Ｐｏｏｌｉｎｇ ｌａｙｅｒ）、完全連結層（Ｆｕｌｌｙ－Ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）、ソフトマックス層（Ｓｏｆｔｍａｘ ｌａｙｅｒ）などを含むことができる。畳み込み層は入力画像に対して畳み込みを行う層であり、サブサンプリング層は入力画像に対して地域的に最大値又は平均値を抽出して２次元画像にマッピングする層であり、局所的な領域をより大きくしてサブサンプリングを行うことができる。

【0055】

畳み込み層では、カーネルの大きさ、使用するカーネルの個数（生成するマップの個数）、畳み込み演算時に適用する重みテーブルなどの情報が必要である。サブサンプリング層では、サブサンプリングするカーネルの大きさ情報、カーネル領域内の値のうち最大値を選択するか最小値を選択するかなどに関する情報が必要である。

【0056】

畳み込み神経網（ＣＮＮ）の一例を示す図２において、畳み込み神経網は、畳み込み層（ｌａｙｅｒ １，ｌａｙｅｒ ３）の間にサブサンプリングがなされるプーリング層（ｌａｙｅｒ ２）を含み、末端にＧＡＰ層、完全連結層、ソフトマックス層などを含むことができる。これは説明の便宜のためのものであり、本例示に適用されたのとは異なる特性を有する層をより多様に組み合わせて畳み込み神経網を構成してもよく、本発明は深層神経網の構成及び構造によって制限されない。

【0057】

前述したように、関心画像分析部１５０で算出する第１特徴は、深層神経網を構成する一つ以上の層のいずれか一層から出力される値又は一層に入力される値であり得るので、ＧＡＰから出力される値を第１特徴として使用する場合の一実施例は次の通りである。

【0058】

図２に示すように、関心領域特徴抽出モデルのＧＡＰ層で各特徴マップの平均値を求め、これを完全連結層を介してソフトマックス層に伝達する場合、関心画像分析部１５０は、ＧＡＰで算出された各特徴マップの平均値ベクトルを当該関心領域の特徴として設定することができる。この場合、ＧＡＰで算出されたＫ個のチャネル特徴マップの平均値Ａ^１，Ａ^２，…，Ａ^Ｋが関心領域ｎの特徴値として統合分析部１７０に入力される。

【0059】

【0060】

【0061】

すなわち、関心領域ｎの特徴値Fn=[A¹, A²,, A³, _…, A^k]（Ｋ＝チャネルの総個数）となり、統合分析部１７０には関心領域別特徴値F₁, F₂, F₃, _…, F_N（Ｎ：関心領域の総個数）が入力され得る。

【0062】

さらに他の実施例において、関心画像分析部１５０は、深層神経網を構成する様々な層のいずれか一層に入力される値を第１特徴として使用することができる。例えば、図２の実施例で、関心画像分析部１５０がソフトマックス層に入力される値を第１特徴F’_Nとして使用すると仮定しよう。関心画像分析部１５０は、最終クラス分類のための各クラスのスコア又は正規化された確率値を関心領域の特徴値として算出するために、ソフトマックスの入力である各クラススコア値を統合分析部の入力に入れることができる。勿論、ソフトマックス結果として算出された正規化された確率値を当該関心領域の特徴値として設定して統合分析部の入力に入れることもできる。

【0063】

この例示において、クラスＣのスコアをS^Cとすれば、S^Cは次のように表すことができる。

【0064】

【0065】

【0066】

この場合、関心領域ｎの特徴値F’n=[S¹, S², S³, _…, S^M]（Ｍ＝クラスの総個数）となり、統合分析部１７０には関心領域別特徴値F’₁, F’₂, F’₃, _…, F’_Nが入力され得る。

【0067】

関心領域分析部１５０は、上述した関心領域別特徴値を算出することとは別個に、関心領域別分析値I₁,I₂,I₃, _…, I_Nを算出することができる。これは、統合分析部１７０に特徴値を入力することとは別個に、関心領域自体の分析結果をユーザに提供するためである。関心領域分析部１５０で算出された関心領域別分析値は出力部１９０に伝達され得る。

【0068】

全体画像分析部１６０は、本発明の一実施例による画像分析装置１００に含まれても含まれなくてもよいが、質疑画像を、複数の画像で学習された全体領域特徴抽出モデルに適用して、質疑画像の第２特徴を算出する。すなわち、全体領域特徴抽出モデルは、全体画像の特徴抽出のために全体画像に基づいて学習された機械学習フレームワークであり、手骨画像分析の実施例によれば、骨年齢別に手骨の全体画像を学習及び評価することによって、手骨の全体画像に含まれた特徴値分布によって骨年齢を判断できるように学習された深層神経網である。

【0069】

全体画像分析部１６０で使用する全体領域特徴抽出モデルは、入力画像が質疑画像の一部ではなく全体画像であるという点、全体画像に基づいて学習された神経網であるという点で関心領域特徴抽出モデルと異なるが、その構成及び学習方法は関心領域特徴抽出モデルと同一であり得る。

【0070】

全体画像分析部１６０には質疑画像自体が入力される。例えば、質疑画像が手骨画像である場合には手骨画像、質疑画像が顔画像である場合には顔全体の形状が含まれた画像が全体画像分析部１６０に入力され得る。関心画像分析部１５０は検出部１３０で抽出された関心領域だけが入力されるので、質疑画像が手骨画像である場合には、橈骨画像、中指の骨の３番目関節画像などの一部の領域だけが入力され、質疑画像が顔画像である場合には、目領域、鼻領域、口領域のように細分化された一領域の画像が関心画像分析部１５０に入力されるだろう。

【0071】

上述したように、全体領域特徴抽出モデルも、図２に示すような一つ以上の層で構成された深層神経網であり、畳み込み神経網である場合、入力される質疑画像上にカーネルを配置した後、畳み込みを行って特徴マップを生成したり、サブサンプリングによってカーネル領域内の値をサンプリングする過程を反復して行うことができる。このような過程によって全体画像分析部１６０は質疑画像の特徴を抽出することができる（第２特徴）。

【0072】

第２特徴も、関心画像分析部１５０から統合分析部１７０に入力される第１特徴と同様に、深層神経網を構成する一つ以上の層のうち、特定層に入力される入力値又は特定層の出力値であり得る。勿論、深層神経網全体を通過した結果値であってもよい。第２特徴の算出方法は関心画像分析部１５０で説明した通りであり、重複説明は省略する。

【0073】

一般的には、機械学習モデルを用いて特徴値を算出すると、特徴値の確率分布を参照して画像を分類する。しかし、本発明は、画像の学習及び分類を行うだけでなく、画像分類のために特定関心領域別に学習された各深層神経網から算出した特徴値を学習する段階及び構成によって画像分析の正確度を高めるという点で従来技術と異なる技術的特徴を有する。

【0074】

統合分析部１７０は、第１特徴を既に学習された統合分析モデルに適用して、質疑画像の分析値を算出する。仮に全体画像分析部１６０と関心画像分析部１５０が両方とも画像分析に用いられる場合、統合分析部１７０は第１特徴及び第２特徴を既に学習された統合分析モデルに適用して質疑画像の分析値を算出することができる。

【0075】

ここで、統合分析モデルは、統合学習部１４７で生成されたものであり、画像から抽出した一つ以上の関心領域を一つ以上の関心領域特徴抽出モデルにそれぞれ適用して算出された一つ以上の特徴で学習された深層神経網又は回帰モデルなどの機械学習モデルであり得る。他の実施例として、統合分析モデルは、画像を全体画像特徴抽出モデルに適用して算出した特徴、及び画像から抽出した一つ以上の関心領域を一つ以上の関心領域特徴抽出モデルにそれぞれ適用して算出された一つ以上の特徴で学習された神経網、深層神経網又は回帰モデルであってもよい。

【0076】

言い換えると、統合分析モデルは、特徴値で学習された機械学習モデルであり、複数の学習画像から抽出した関心領域を関心領域特徴抽出モデルに適用して算出された特徴（第１特徴）を学習データとしたり、或いは、学習画像を全体画像特徴抽出モデルに適用して算出した特徴（第２特徴）と第１特徴を学習データとして訓練されたものであり得る。したがって、統合分析部１７０の入力ベクトルXは、X=[F₁, F₂, _…, F_h, _…, F_H]と表すことができ、ここで、Ｈは関心領域の個数（全体画像を含む）であり、F_hは関心領域ｈの特徴値を意味する。

【0077】

例えば、手骨画像分析において橈骨領域を関心領域１とするとき、統合学習部１４７は、骨年齢別又は骨成熟等級別にグループ化された橈骨画像の複数個を第１関心領域特徴抽出モデルに適用して算出された橈骨画像の特徴値で統合分析モデルを学習させることができる。すなわち、統合分析モデルは地図学習によって骨年齢別橈骨画像の特徴値の特徴を学習することができる。

【0078】

したがって、後で質疑画像が入力されたとき、検出部１３０が質疑画像から橈骨画像を抽出すると、関心画像分析部１５０は橈骨画像を第１関心領域特徴抽出モデルに適用してF₁を質疑画像の関心領域１の特徴ベクトルとして算出し、F₁を受信した統合分析部１７０はF₁の特徴を算出してF₁の特徴に対応する骨年齢を識別することができる。このような方式で、統合分析部１７０は各関心領域別特徴F₁, F₂, F₃, _…, F_N及び／又は全体画像の特徴WFを学習対象にして骨年齢別画像特徴を学習することができる。

【0079】

要するに、本発明の統合分析部１７０が特徴分類に使用する統合分析モデルは、関心領域の特徴だけを学習してもよく、関心領域の特徴と全体画像の特徴との組合せを学習してもよい。後で質疑画像を分析する際にも、統合分析部１７０は画像を入力値として受けるのではなく、質疑画像の特徴値を入力値として受けて分類を行うことができる。本明細書において、統合分析部１７０の出力を質疑画像の分析値と命名し、これは、実際には質疑画像を分析した分類結果、すなわち質疑画像の機械学習モデル（全体領域特徴抽出モデル及び／又は関心領域特徴抽出モデル）の結果値又は出力値の特徴ベクトルであると理解され得る。

【0080】

統合分析部１７０は、分析値を用いて質疑画像を識別する。分析値は、質疑画像の属するカテゴリーを示したり、或いはカテゴリー別確率を示すベクトル値又は回帰分析モデルの結果値であり得る。

【0081】

例えば、手骨画像を分析する場合、分析値は骨年齢別確率を示すベクトル値でよく、分析値において最も高い確率値に対応する骨年齢が質疑画像の骨年齢として識別され得るか、或いは回帰分析モデルに対応する骨年齢値であり得る。したがって、仮に、質疑画像の分析結果、年齢が１０歳と算出されると、図１に示すように、統合分析部から出力される分析値I_Tは、一種のカテゴリーに該当する“１０歳”と算出されてもよく、回帰分析モデルが用いられた場合には“１０．２５３”のように骨年齢として特定の値が算出されてもよい。

【0082】

出力部１９０は、統合分析部１７０から算出された質疑画像の分析値及び関心画像分析部１５０から算出された関心領域別分析値をユーザに提供することができる。例えば、図１の１９５に示すように、ユーザに提供される分析結果は、質疑画像の分析値Ｉ _Ｔ だけでなく、第１関心領域の分析値Ｉ_１ 、第２関心領域の分析値Ｉ_２、第３関心領域の分析値Ｉ_３、第４関心領域の分析値Ｉ_４を全て含むことができる。図１の１９５は、質疑画像の骨年齢に対する分析結果であり、第１関心領域の骨年齢は１１歳、第２関心領域の骨年齢は９歳、第３関心領域の骨年齢は１２歳と分析された場合の一例である。

【0083】

関心領域の分析値は質疑画像の分析値に影響を及ぼすことができる、すなわち、質疑画像の分析値と相関関係がある他の種類の値であり得るので、万一学習部１４０で関心領域特徴抽出モデルを生成する時に骨年齢ではなく骨成熟等級を識別値として関心領域を学習させた場合、関心領域特徴抽出モデルに関心領域を適用して導出される分析値は骨成熟等級であり得る。この場合、ユーザには関心領域の分析値として関心領域別骨成熟等級が提供され得る。例えば、第１関心領域の骨成熟等級はＣ、第２関心領域の骨成熟等級はＤ、第３関心領域の骨成熟等級はＣのように分析され得る。したがって、本発明の画像分析装置１００は質疑画像の骨年齢と共に各関心領域の骨年齢又は骨成熟等級を提供することによって画像分析結果に対する判断根拠及び解析を共に提供できるという点で効果的である。

【0084】

図４及び図５は、本発明の一実施例に係る画像分析方法を示すフローチャートである。

【0085】

図４を参照すると、本発明の一実施例に係る電子装置は、質疑画像を受信し（Ｓ１００）、質疑画像から一つ以上の関心領域を抽出することができる（Ｓ２００）。

【0086】

段階２００において電子装置は、ユーザによって既に設定された位置情報に対応する領域を関心領域として抽出でき、質疑画像に、特定領域に対して学習された自動検出モデルを適用して、特定領域に対応する領域を関心領域として抽出することができる。

【0087】

次に、電子装置は、関心領域のそれぞれの特徴を抽出するために独立して学習された一つ以上の関心領域特徴抽出モデルに一つ以上の関心領域をそれぞれ適用して関心領域別第１特徴を算出することができる（Ｓ３００）。関心領域特徴抽出モデルは、一つ以上の層で構成された深層神経網であり、第１特徴は一つ以上の層のいずれか一層から出力される値又はいずれか一層に入力される値であり得る。

【0088】

電子装置は、関心領域別第１特徴を既に学習された統合分析モデルに適用して、質疑画像を識別するための分析値を算出することができる（Ｓ４００）。すなわち、質疑画像がどのようなカテゴリーに属するか、どのような確率値を有するか、どのような値に対応するかなどを示す分析値を算出することができる。ここで、統合分析モデルは、複数の学習画像から抽出した一つ以上の関心領域を一つ以上の関心領域特徴抽出モデルにそれぞれ適用して算出された一つ以上の特徴で学習された機械学習モデルであり、分析値は、第１特徴を統合したものの特徴ベクトルであるか、カテゴリー値を意味するものと理解され得る。

【0089】

一方、段階４５０で電子装置は関心領域別分析値を算出することができる。段階４５０で算出される分析値は質疑画像の分析値と同じ種類の値であってもよく、質疑画像の分析値と相関関係がある異なる種類の値であってもよい。例えば、質疑画像の骨年齢が分析値として導出される場合、段階４５０で算出される関心領域の分析値は関心領域の骨年齢であってもよく、骨年齢測定と相関関係を有する骨成熟等級であってもよい。これは、各関心領域特徴抽出モデルが学習される時にどのような値が識別値として用いられたかによって変わり得る。

【0090】

電子装置は段階５００で関心領域別分析値及び質疑画像の分析値をユーザに提供することができる。例えば、電子装置に含まれたディスプレイから分析値が表示されてもよく、電子装置に取り付けられたスピーカーなどから分析値が出力されてもよい。

【0091】

図５の実施例によれば、電子装置は、関心領域を抽出して関心領域別第１特徴を算出すると同時に、質疑画像を複数の学習画像で学習された全体領域特徴抽出モデルに適用して質疑画像の第２特徴を算出することができる（Ｓ３５０）。この場合、段階４００で電子装置は、第１特徴及び第２特徴を統合分析モデルに適用して質疑画像の分析値を算出することができる。この時、統合分析モデルは、学習画像を全体画像特徴抽出モデルに適用して算出した特徴、及び学習画像から抽出した一つ以上の関心領域を一つ以上の関心領域特徴抽出モデルにそれぞれ適用して算出された一つ以上の特徴で学習された神経網又は深層神経網であり、段階４００で算出される分析値は第１特徴及び第２特徴を統合したものの特徴値であると理解され得る。

【0092】

本明細書で省略された一部の実施例は、その実施主体が同一であれば同一に適用可能である。また、前述した本発明は、本発明の属する技術の分野における通常の知識を有する者にとって、本発明の技術的思想を逸脱しない範囲内で様々な置換、変形及び変更が可能であり、よって、前述した実施例及び添付の図面によって限定されるものではない。

【図1】

【図2】

【図3】

【図4】

【図5】