(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023177589
(43)【公開日】2023-12-14
(54)【発明の名称】画像処理装置および画像処理方法
(51)【国際特許分類】
G16H 30/00 20180101AFI20231207BHJP
【ＦＩ】
G16H30/00
【審査請求】未請求
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2022090329
(22)【出願日】2022-06-02
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100110412
【弁理士】
【氏名又は名称】藤元 亮輔
(74)【代理人】
【識別番号】100104628
【弁理士】
【氏名又は名称】水本 敦也
(74)【代理人】
【識別番号】100121614
【弁理士】
【氏名又は名称】平山 倫也
(72)【発明者】
【氏名】長 元気
【テーマコード（参考）】
5L099
【Ｆターム（参考）】
5L099AA26
(57)【要約】 （修正有）
【課題】撮影により取得された画像データに基づいて皮膚疾患の評価方法に適切な撮影ガイダンスや皮膚疾患に対する対処ガイダンスを提示する画像処理装置及び画像処理方法を提供する。
【解決手段】画像処理装置１０１において、演算部は、撮像装置で患者を撮影することで生成された画像データから患者の皮膚疾患の種類を推定する推定手段、推定した種類に応じて皮膚疾患の評価方法を決定する決定手段、画像データから、決定された評価方法で皮膚疾患の重症度を評価する評価手段及び決定された評価方法に応じた撮影ガイダンスおよび評価された重症度に応じた対処ガイダンスのうち少なくとも一方を出力するガイド手段として機能する。
【選択図】図２
【解決手段】画像処理装置１０１において、演算部は、撮像装置で患者を撮影することで生成された画像データから患者の皮膚疾患の種類を推定する推定手段、推定した種類に応じて皮膚疾患の評価方法を決定する決定手段、画像データから、決定された評価方法で皮膚疾患の重症度を評価する評価手段及び決定された評価方法に応じた撮影ガイダンスおよび評価された重症度に応じた対処ガイダンスのうち少なくとも一方を出力するガイド手段として機能する。
【選択図】図２
【特許請求の範囲】
【請求項1】
患者を撮影することで生成された画像データから前記患者の皮膚疾患の種類を推定する推定手段と、
推定された前記種類に応じて前記皮膚疾患の評価方法を決定する決定手段と、
前記画像データから、決定された前記評価方法で前記皮膚疾患の重症度を評価する評価手段と、
決定された前記評価方法に応じた撮影ガイダンスおよび評価された前記重症度に応じた対処ガイダンスのうち少なくとも一方を出力するガイド手段とを有することを特徴とする画像処理装置。
推定された前記種類に応じて前記皮膚疾患の評価方法を決定する決定手段と、
前記画像データから、決定された前記評価方法で前記皮膚疾患の重症度を評価する評価手段と、
決定された前記評価方法に応じた撮影ガイダンスおよび評価された前記重症度に応じた対処ガイダンスのうち少なくとも一方を出力するガイド手段とを有することを特徴とする画像処理装置。
【請求項2】
前記推定手段は、前記皮膚疾患に関する機械学習モデルを用いて前記種類を推定することを特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記評価手段は、前記画像データが複数ある場合に、該複数の画像データを合成して得られる画像データから前記重症度を評価することを特徴とする請求項１に記載の画像処理装置。
【請求項4】
前記評価手段は、前記画像データから前記患者の年齢を推定し、前記年齢の推定結果に応じて前記重症度を評価することを特徴とする請求項１に記載の画像処理装置。
【請求項5】
前記評価手段は、前記画像データから前記患者の身体の部位を推定し、前記部位の推定結果に応じて前記重症度を評価することを特徴とする請求項１に記載の画像処理装置。
【請求項6】
前記撮影ガイダンスは、前記患者の身体のうち撮影対象を指示するガイダンス、再撮影を指示するガイダンスおよび撮影パラメータの変更を指示するガイダンスのうち少なくとも１つを含むことを特徴とする請求項１に記載の画像処理装置。
【請求項7】
前記対処ガイダンスは、治療方法を示すガイダンスおよび通院または入院をすすめるガイダンスのうち少なくとも１つを含むことを特徴とする請求項１に記載の画像処理装置。
【請求項8】
前記ガイド手段は、前記対処ガイダンスを出力する際に、決定された前記評価方法と評価された前記重症度も出力することを特徴とする請求項１に記載の画像処理装置。
【請求項9】
前記決定手段は、前記種類が熱傷である場合は、前記評価方法を％Total Body Size Areaに決定し、
前記評価手段は、前記画像データからそれぞれ推定した、前記患者の身体の全体表面積に対する熱傷面積と熱傷深度とに応じて前記重症度を評価することを特徴とする請求項１に記載の画像処理装置。
前記評価手段は、前記画像データからそれぞれ推定した、前記患者の身体の全体表面積に対する熱傷面積と熱傷深度とに応じて前記重症度を評価することを特徴とする請求項１に記載の画像処理装置。
【請求項10】
前記評価手段は、前記画像データから推定した前記患者の身体の部位の数に応じて前記熱傷面積を推定する方法を選択することを特徴とする請求項９に記載の画像処理装置。
【請求項11】
前記決定手段は、前記種類がアトピー性皮膚炎である場合は、前記評価方法をEczema Area and Severity Indexに決定し、
前記評価手段は、前記画像データからそれぞれ推定した、前記患者の身体におけるアトピー性皮膚炎の部位の面積と該部位の兆候に応じて前記重症度を評価することを特徴とする請求項１に記載の画像処理装置。
前記評価手段は、前記画像データからそれぞれ推定した、前記患者の身体におけるアトピー性皮膚炎の部位の面積と該部位の兆候に応じて前記重症度を評価することを特徴とする請求項１に記載の画像処理装置。
【請求項12】
前記決定手段は、前記種類が乾癬である場合は、前記評価方法を前記画像データから推定した前記患者の身体の部位の数に応じてBody Surface Area またはPsoriasis Area Severity Index に決定することを特徴とする請求項１に記載の画像処理装置。
【請求項13】
前記評価手段は、
前記評価方法がBody Surface Areaである場合に、前記画像データから推定した前記患者の手の面積と該手における乾癬の面積とから前記重症度を評価し、
前記評価方法がPsoriasis Area Severity Indexである場合に、前記画像データから推定した乾癬の部位と面積に応じて前記重症度を評価することを特徴とする請求項１２に記載の画像処理装置。
前記評価方法がBody Surface Areaである場合に、前記画像データから推定した前記患者の手の面積と該手における乾癬の面積とから前記重症度を評価し、
前記評価方法がPsoriasis Area Severity Indexである場合に、前記画像データから推定した乾癬の部位と面積に応じて前記重症度を評価することを特徴とする請求項１２に記載の画像処理装置。
【請求項14】
請求項１から１３のいずれか一項に記載の画像処理装置と、
前記患者を撮像する撮像素子とを有することを特徴とする撮像装置。
前記患者を撮像する撮像素子とを有することを特徴とする撮像装置。
【請求項15】
患者を撮影することで生成された画像データから前記患者の皮膚疾患の種類を推定するステップと、
推定された前記種類に応じて前記皮膚疾患の評価方法を決定するステップと、
前記画像データから、決定された前記評価方法で前記皮膚疾患の重症度を評価するステップと、
決定された前記評価方法に応じた撮影ガイダンスおよび評価された前記重症度に応じた対処ガイダンスのうち少なくとも一方を出力するステップとを有することを特徴とする画像処理方法。
推定された前記種類に応じて前記皮膚疾患の評価方法を決定するステップと、
前記画像データから、決定された前記評価方法で前記皮膚疾患の重症度を評価するステップと、
決定された前記評価方法に応じた撮影ガイダンスおよび評価された前記重症度に応じた対処ガイダンスのうち少なくとも一方を出力するステップとを有することを特徴とする画像処理方法。
【請求項16】
コンピュータに、請求項１５に記載の画像処理方法に従う処理を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮影により取得された患部の画像を処理することで撮影をアシストする情報を提供する技術に関する。
【背景技術】
【0002】
画像処理技術を用いて診断を支援する撮像装置として、特許文献１には、患者の患部の画像を撮影により取得する際に疾患の解析に必要な情報を撮影するための工程を備えるものが開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１９－２１３８７３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１の撮像装置は、診断等のために必要十分な画像を取得するための撮影方法を提供したり撮影に対する支援を行ったりはしない。このため、疾患の種類等に応じた診断に必要な画像を取得できず、精度良い診断を行えなかったり診断結果に対する適切な対応を判断することが困難となったりする。
【0005】
本発明は、撮影により取得された画像データに基づいて皮膚疾患の評価方法に適切な撮影ガイダンスや皮膚疾患に対する対処ガイダンスを提示することができるようにした画像処理装置および画像処理方法を提供する。
【課題を解決するための手段】
【0006】
本発明の一側面としての画像処理装置は、患者を撮影することで生成された画像データから患者の皮膚疾患の種類を推定する推定手段と、推定された種類に応じて皮膚疾患の評価方法を決定する決定手段と、画像データから、決定された評価方法で皮膚疾患の重症度を評価する評価手段と、決定された評価方法に応じた撮影ガイダンスおよび評価された重症度に応じた対処ガイダンスのうち少なくとも一方を出力するガイド手段とを有することを特徴とする。なお、上記画像処理装置と、患者を撮像する撮像素子とを有する撮像装置も、本発明の他の一側面を構成する。
【0007】
また本発明の他の一側面としての画像処理方法は、患者を撮影することで生成された画像データから患者の皮膚疾患の種類を推定するステップと、推定された種類に応じて皮膚疾患の評価方法を決定するステップと、画像データから、決定された評価方法で皮膚疾患の重症度を評価するステップと、決定された評価方法に応じた撮影ガイダンスおよび評価された重症度に応じた対処ガイダンスのうち少なくとも一方を出力するステップとを有することを特徴とする。なお、コンピュータに上記画像処理方法に従う処理を実行させるプログラムも、本発明の他の一側面を構成する。
【発明の効果】
【0008】
本発明によれば、撮影により取得された画像データに基づいて皮膚疾患の評価方法に適切な撮影ガイダンスや皮膚疾患に対する対処ガイダンスを提示することができる。
【図面の簡単な説明】
【0009】
【図1】本発明の実施例における画像処理システムの構成を示す図。
【図2】実施例における画像処理装置を示す図。
【図3】実施例における撮像装置を示す図。
【図4】実施例における疾患とその評価方法の関係を示す図。
【図5】実施例における診断システムが実行する処理を示すフローチャート。
【図6】実施例における撮影ガイダンスの例を示す図。
【図7】実施例における処理を示すフローチャート。
【図8】実施例における撮像装置の外部仕様を示す図。
【図9】実施例における部位推定結果の例を示す図。
【図10】実施例における撮像装置の別の外部仕様を示す図。
【図11】実施例における撮像装置のさらに別の外部仕様を示す図。
【発明を実施するための形態】
【0010】
以下、本発明の実施例について図面を参照しながら説明する。
【0011】
図１は、実施例である画像処理装置１０１を含む画像処理システムの構成を示している。撮像装置１０２は、被写体（患者の患部）を撮影して可視光画像データを生成し、該画像データをネットワーク１０３を介して画像処理装置１０１へ送信する。画像処理装置１０１は、パーソナルコンピュータやサーバコンピュータ等により構成され、受信した画像データに対して後述する画像処理を実行する。撮像装置１０２は、電源がＯＮになったと同時にネットワーク１０３に接続され、ネットワーク１０３を介して画像処理装置１０１との通信が可能となる。この通信可能状態は、撮像装置１０２の電源がＯＦＦされるまで継続する。
【0012】
ネットワーク１０３は、無線または有線よりデータ伝送や各種制御等を行う。ネットワーク１０３は、Hypertext Transfer Protocol（ＨＴＴＰ）、File Transfer Protocol（ＦＴＰ）、Picture Transfer Protocol（ＰＴＰ）、ユニバーサル・シリアル・バス（ＵＳＢ）、Local Area Network（ＬＡＮ）等の様々な通信プロトコルを用いることができる。
【0013】
撮像装置１０２は、通常の単眼カメラでもよいし、ステレオカメラのような複眼カメラであってもよい。複眼カメラにより生成された３次元画像データを画像処理装置１０１に送信することで、画像処理装置１０１において疾患の面積や形状等を推定する際の精度を向上させることが可能となる。
【0014】
画像処理装置１０１は、画像処理（画像解析）として、患部の画像データから皮膚疾患の疾病を推定したり、その推定結果からより好適な撮影を行うための撮影条件等の情報を撮像装置１０２へ送信したりする。撮影条件は、被写体の構図や撮影パラメータ（フォーカス位置、ズーム位置、ＩＳＯ感度、露出、Ｔｖ値、Ａｖ値、ホワイトバランス、ストロボ発光、色調整処理、エッジ強調処理等）である。また画像処理装置１０１は、画像処理として、疾病の重症度等を判定するために必要な画像データが集まったか否かを判断したり、その画像データを解析して患者の重症度合いを判定したりする
図２は、画像処理装置１０１の構成を示している。画像処理装置１０１には、図１に示した撮像装置１０２や他の撮像装置１０４がネットワーク１０３を介して接続されている。また画像処理装置１０１には、液晶ディスプレイパネル等により構成された入出力表示装置２０１と、キーボード、マウス、タッチパネル、入力操作コントローラおよびジェスチャ入力装置等の各種操作入力を可能行うための操作入力装置２０２が接続されている。入出力表示装置２０１と操作入力装置２０２は、主にユーザインターフェースを構成する。これらのユーザインターフェースを用いることで、画像処理装置１０１の設定を変更したりプログラムを更新したりすることができる。ユーザインターフェースは、常時、画像処理装置１０１に接続しておく必要はなく、入出力表示装置２０１や操作入力装置２０２が不必要な場合は画像処理装置１０１から分離しておいてもよい。なお、ユーザインターフェース機能を撮像装置１０２に設けて、撮像装置１０２から画像処理装置１０１に操作入力を行えるようにしてもよい。
図２は、画像処理装置１０１の構成を示している。画像処理装置１０１には、図１に示した撮像装置１０２や他の撮像装置１０４がネットワーク１０３を介して接続されている。また画像処理装置１０１には、液晶ディスプレイパネル等により構成された入出力表示装置２０１と、キーボード、マウス、タッチパネル、入力操作コントローラおよびジェスチャ入力装置等の各種操作入力を可能行うための操作入力装置２０２が接続されている。入出力表示装置２０１と操作入力装置２０２は、主にユーザインターフェースを構成する。これらのユーザインターフェースを用いることで、画像処理装置１０１の設定を変更したりプログラムを更新したりすることができる。ユーザインターフェースは、常時、画像処理装置１０１に接続しておく必要はなく、入出力表示装置２０１や操作入力装置２０２が不必要な場合は画像処理装置１０１から分離しておいてもよい。なお、ユーザインターフェース機能を撮像装置１０２に設けて、撮像装置１０２から画像処理装置１０１に操作入力を行えるようにしてもよい。
【0015】
また、図２には示していないが、画像処理システムに被写体を照明する照明装置を設けてもよい。照明装置は、ハロゲンランプや発光ダイオード等からの光源を有する。
【0016】
画像処理装置１０１の内部バス上に配置されたインターフェース（Ｉ／Ｆ）２０３を介して撮像装置１０２、１０４、入出力表示装置２０１および操作入力装置２０２と通信することができる。各インターフェース２０３は、ネットワークインターフェース、シリアル通信インターフェース等により構成される。
【0017】
画像処理装置１０１は、汎用マイクロプロセッサとして構成されたＣＰＵや画像処理プロセッサ等により構成された処理手段としての演算部２０４を有する。演算部２０４は、内部バス（データバス、アドレスバス、他の制御線等）を介して記憶部２０５と接続されている。
【0018】
記憶部２０５は、Read only memory（ＲＯＭ）やRandom Access Memory（ＲＡＭ）およびElectrically Erasable Programmable Read-Only Memory（ＥＥＰＲＯＭ）等の不揮発メモリデバイスや外部記憶装置上のファイル領域や仮想記憶領域等によって構成される。外部記憶装置は、半導体素子やハードディスク等により構成され、インターフェース２０３に接続される。また、記憶部２０５が有する処理データ保存領域２０６は、ＲＡＭ領域や外部記憶装置のファイル領域または仮想記憶領域等によって構成され、処理対象の画像データを一時的に保存したり、画像処理の設定パラメータを記憶したりする。さらに記憶部２０５には、画像処理を実行するための画像処理プログラム２０７が記憶されている。画像処理プログラム２０７は、操作入力装置２０２等を通じた各種操作入力に応じて、画像処理の設定を変更したり画像処理を実行したりする。また、変更された設定を処理データ保存領域２０６に保存したり、処理データ保存領域２０６から削除したりすることができる。
【0019】
画像処理プログラム２０７は、画像処理を実行する画像処理部２０８と、操作入力装置２０２等を通じた各種操作入力に応じて画像処理部２０８の設定や動作を決定する画像処理設定部２１０とを有する。
【0020】
画像処理部２０８は、画像処理ライブラリ２０９に実装された画像処理を実行するためのプログラム本体である。画像処理ライブラリ２０９は、静的または動的にリンクされるライブラリとして記憶部２０５に設けられている。画像処理ライブラリ２０９に実装される画像処理は、機械学習モデルを用いて推論処理を行うものや、画像データの輝度、色、色相、勾配等の情報を用いた解析処理や推論処理を行うものであってもよい。さらに、画像データの濃淡分布や輝度勾配等の形状特徴情報による特徴マッチングを用いて推論処理を行うものであってもよい。例えば、輝度勾配が一定以上の画素をエッジとして抽出し、そのエッジの位置、重心および傾き等に基づくルールベースの推論処理を行うものであってもよい。
【0021】
さらに画像処理プログラム２０７は、各種機能に対応する機能部（入出力ルーチン）として、外部デバイス制御部２１１、保存データ生成部２１２、指示受付部２１３、一時記憶部２１４、表示画面生成部２１５、保存データ出力部２１６および操作受付部２１７を含む。
【0022】
外部デバイス制御部２１１は、撮像装置１０２、１０４の撮影条件を設定したり変更したりする。保存データ生成部２１２は、撮像装置１０２、１０４で生成された画像データから一時的または永続的な保存用データを生成する。指示受付部２１３および操作受付部２１７は、操作入力装置２０２等を通じた指示や操作を受け付ける。一時記憶２１４は、ＲＡＭ領域や演算部２０４のキャッシュ領域等で構成される。表示画面生成２１５は、入出力表示装置２０１や撮像装置１０２、１０４のモニタに表示される表示用画像データを生成する。これらの機能部は、アプリケーション（ユーティリティ）プログラムや静的または動的にリンクされるライブラリとして構成されたサブルーチン等の形態で記憶部２０５に実装される。
【0023】
画像処理装置１０１は、画像処理プログラム２０７を実行することにより、撮像装置１０２、１０４を制御したり、演算部２０４を利用して画像処理を実行したりすることができる。演算部２０４は、撮像装置１０２や操作入力装置２０２からの指示や操作に応じて、画像処理プログラム２０７の画像処理部２０８、画像処理ライブラリ２０９および各機能部を呼び出して画像処理を行う。そして、画像処理の結果を入出力表示装置２０１、撮像装置１０２、１０４またはデータ保存領域２０６に出力する。また演算部２０４は、、画像処理の結果を外部記憶装置に蓄積（ロギング）してもよい。
【0024】
なお、本実施例では、画像処理装置１０１を撮像装置（１０２、１０４）と別体として構成しているが、画像処理装置は撮像装置に内蔵されてもよい。また、複数のコンピュータネットワークを相互接続したインターネット・プロトコル・スイートを使用して、遠隔のサーバ装置として画像処理装置１０１が提供されてもよい。
【0025】
図３は、撮像装置１０２、１０４としてのデジタルスチルカメラの構成を示している。デジタルスチルカメラは、プログラムを実行することにより撮影処理を行う。３００は撮像部であり、ＣＣＤセンサやＣＭＯＳセンサ等の固体撮像素子を用いて光学像（被写体像）を撮影して画像データを生成する。ＣＰＵ３０１は、デジタルスチルカメラ全体の動作を制御する。ＲＯＭ３０２は、電源ＯＮ時に実行される初期処理や基本的な入出力処理や撮影処理を実行するプログラムを記憶している。
【0026】
ＲＡＭ３０３は、ＣＰＵ３０１のメインメモリとして機能する。ＲＡＭ３０３には、ＲＯＭ３０２に記憶されたプログラムがロードされる。またＲＡＭ３０３は、ＣＰＵ３０１が各種処理を実行する際のワークエリアを提供する。
【0027】
表示装置３０４は、液晶ディスプレイパネル等により構成される背面モニタであり、撮像部３００により生成された画像データや撮影に関する各種情報を表示する。入力装置３０５は、撮影者が各種操作を行うボタンやダイヤル等の操作部材を有し、操作に応じた信号をＣＰＵ３０１に出力する。操作部材には、撮影を指示する撮影ボタン、撮影に関する各種設定を行うためのダイヤルや表示装置３０４に設けられたタッチパネル等が含まれる。
【0028】
メディアドライブ３０６は、着脱可能な記憶媒体に画像データを記憶したり、記憶された画像データを読み出したりする。インターフェース３０７は、通信回線３０９を介してネットワーク１０３に接続される。ＣＰＵ３０１は、インターフェース３０７を通じて画像処理装置１０１と通信を行うことができる。システムバス（アドレスバス、データバスおよび制御バス）３０８は、上述した構成要素間での信号やデータの送受信を行う。
【0029】
ＣＰＵ３０１は、撮像部３００により生成された画像データおよびその画像データに関連するメタデータ（撮影時刻、撮影位置、画像フォーマット、撮影パラメータ等）をＲＡＭ３０３に一旦記憶する。画像処理部３１１は、ＲＡＭ３０３に記憶された画像データを、人の視覚特性に合った画像データや３次元データを含んだ画像データにするための画像変換処理を行う。なお、この画像変換処理に対する画像処理部３１１への負荷が高ければ、画像変換処理前の生画像データを画像処理装置１０１にダウンロードして、画像処理装置１０１で上記画像変換処理を行うようにしてもよい。ファイル生成部３１２は、画像変換処理前の生画像データ、動画データおよび静止画データのフィイルを生成する。
【0030】
図４は、本実施例における患者の皮膚疾患、皮膚疾患ごとの代表的な評価方法および対処方法の例を示している。この図では、皮膚疾患４０１の種類として、熱傷４０７、アトピー性皮膚炎４０８および乾癬４０９を例示している。評価方法４０２には、各皮膚疾患に対応した代表的な重症度を評価する方法を例示している。面積推定方法４０３には、各皮膚疾患の面積を推定するための代表的な方法を例示している。評価指標４０４には、各皮膚疾患の重症度を評価するための代表的な指標を例示している。面積測定部位４０５には、各皮膚疾患の面積を測定する代表的な身体（人体）の部位を例示している。対処方法４０６には、各皮膚疾患の重症度合いに応じて推奨される代表的な対処方法を例示している。
【0031】
図５のフローチャートは、図１の画像処理装置１０１（演算部２０４）が画像処理プログラム２０７に従って実行する基本的な画像処理（画像処理方法）の流れを示している。ここでは、撮像装置１０２に撮影を行わせる場合について説明する。演算部２０４は、推定手段、決定手段、評価手段およびガイド手段として機能する。
【0032】
ステップＳ５０１では、画像処理装置１０１は、撮像装置１０２が撮影を行って画像データを生成すると、該画像データをダウンロードする。
【0033】
次にステップＳ５０２では、画像処理装置１０１は、ダウンロードされた画像データに対して、皮膚疾患の検出や皮膚疾患の種類の推定を行うための画像処理（画像解析）を行う。画像解析では、機械学習モデルを用いて皮膚疾患の検出／種類推定を行ったり、画像データの輝度、色、色相、勾配等の情報を用いて検出／種類推定を行ったり、濃淡分布や輝度勾配等の形状特徴情報による特徴マッチングを用いて検出／種類推定を行ったりする。例えば、輝度勾配が一定以上の画素をエッジとして抽出し、そのエッジの位置、重心および傾き等に基づくルールベースの検出／種類推定を行う。
【0034】
次にステップＳ５０３では、画像処理装置１０１は、ステップＳ５０２にて皮膚疾患の種類が推定できたか否かを判断し、推定できた場合はステップＳ５０４に進む。推定できなければ、画像処理装置１０１は、ステップＳ５０５に進んで再撮影ガイダンスを出力した後、ステップＳ５０１に戻る。再撮影ガイダンスの詳細については後述する。
【0035】
ステップＳ５０４では、画像処理装置１０１は、推定された皮膚疾患４０１（４０７～４０８）の種類に応じた評価方法４０２を決定する。
【0036】
次にステップＳ５０６では、画像処理装置１０１は、画像データから患者８１０の身体を検出する。ここでは上述した皮膚疾患の検出／種類を推定する画像解析と同様の画像解析により身体を検出する。
【0037】
次にステップＳ５０７では、画像処理装置１０１は、検出された身体の形状や大きさ等から全身が撮影できたか否かを判断し、全身が撮影できていればステップＳ５０８に進む。また、撮像装置を１台しか使用しておらず全身の撮影ができていなかったり身体の局所しか撮影されていなかったりした場合は、ステップＳ５０９に進んで撮影ガイダンスを出力し、ステップＳ５１０にて追加撮影がなされるとステップＳ５０６に戻る。なお、前面あるいは背面等の半身しか撮影されていなかったとしても、皮膚疾患が撮影された半身にしか存在しない場合は、撮影者の指示に応じてステップＳ５０８に進んでもよい。
【0038】
ステップＳ５０８では、画像処理装置１０１は、これまでの撮影により生成された各画像データ内での身体の部位を推定する。部位の推定も、上述した皮膚疾患の検出／種類を推定する画像解析と同様の画像解析により行う。
【0039】
なお、画像データ内での顔を検出して患者の年齢を推定してもよい。年齢が推定できると、皮膚疾患の重症度合いを年齢を考慮して評価することができるので、皮膚疾患の重症度の推定結果の精度が向上する。また、ステップＳ５０１やステップＳ５０９での撮影が繰り返される間に表示用画像データであるライブビュー画像データ（動画データ）を取得できた場合は、そのライブビュー画像データも補間情報として利用して部位推定を行ってもよい。これにより、部位推定の精度が向上する。
【0040】
次にステップＳ５１１では、画像処理装置１０１は、皮膚疾患の領域や重症度を示す指標を計測するための画像解析を行う。ここで行う画像解析では、皮膚疾患の領域の面積や重症度と関連付けた計測を行う。具体的には、前述した皮膚疾患の検出／種類を推定する画像解析と同様の画像解析を行うとともに、画像データ上での面積、撮像装置の焦点距離および３次元データから得られる面積等を用いて実面積を計測する。また、複数回の撮影で得られた複数の画像データにおける構図が重複するおそれがある場合は、これら複数の画像データの画像合成を先に行って構図の重複の影響を受けないようにしてもよい。さらに画像データから部位を推定し、重複した部位の画像領域を検出した後に除算等を行ってもよい。
【0041】
次にステップＳ５１２では、画像処理装置１０１は、ステップＳ５１１で行った画像解析の成否を判定し、画像解析が成功していればステップＳ５１３にて画像解析の結果に応じて推奨される対処方法４０６を出力する。そして本処理を終了する。一方、画像解析が失敗した場合には、その画像解析結果をフィードバックしてステップＳ５１４にて撮影ガイダンスを出力し、ステップＳ５１５にて追加撮影が行われると、ステップＳ５０６に戻る。
【0042】
図６は、撮影ガイダンスの種類６０１と具体的な撮影ガイダンスの内容６０２の例を示している。また、推奨される対処方法に対応した対処ガイダンス６０７と具体的な対処ガイダンスの内容も併せて示している。
【0043】
撮影ガイダンスには、一連の撮影における複数の段階のそれぞれに応じた種類の撮影ガイダンスがある。すなわち、図５のステップＳ５０１での初期撮影６０３に対する撮影ガイダンス、ステップＳ５０５での再撮影ガイダンス、ステップＳ５０９での撮影ガイダンス（丸囲み１）およびステップＳ５０９での撮影ガイダンス（丸囲み２）がある。これらの撮影ガイダンスは、主として、患者の身体のうち撮影対象を指示するガイダンス、再撮影を指示するガイダンスおよび撮影パラメータの変更を指示するガイダンスを含む。
【0044】
また、対処ガイダンスには、主として、治療方法（外用薬、内服薬、光線治療および注射治療等）を示すガイダンスや、通院または入院（さらには集中治療）をすすめるガイダンスを含む。
【0045】
図８は、図３に示した撮像装置１０２の背面モニタ８０８（表示装置３０４）に表示される画像を示している。撮像装置１０２の電源がＯＦＦの状態で撮影者が電源ボタン８０１を操作すると、撮像装置１０２の電源がＯＮになり、ＣＰＵ３０１は背面モニタ８０８にライブビュー画像を表示させる。撮影者が撮影ボタン８０２を操作すると、ＣＰＵ３０１は撮像部３００に記録用の静止画データまたは動画データを生成させ、画像処理部３１１に画像変換処理を行わせる。
【0046】
背面モニタ８０８に不図示のメニュー項目が表示されているときに撮影者が入力装置３０５に含まれる上ボタン８０３、右ボタン９０４、下ボタン８０５および左ボタン８０６のいずれかを操作すると、ＣＰＵ２０１は、選択対象のメニュー項目を切り替える。さらに撮影者が決定ボタン８０７を操作すると、ＣＰＵ２０１は、選択メニュー項目を決定してそのメニュー項目での詳細設定を可能とし、設定情報をＲＡＭ３０３に保持するとともに撮像装置１０２の設定を切り替える。なお、背面モニタ８０８にタッチパネルが設けられている場合は、ＣＰＵ２０１は、背面モニタ８０８への撮影者のタッチを検出することで上記ボタン８０３～８０７が操作された場合と同じ動作を行う。
【0047】
背面モニタ８０８に表示されている画像には、患者（被写体）８１０と皮膚疾患（例えば熱傷）の領域８１１、８１２が写っている。また、画像内には、ガイダンス表示領域８０９が設けられている。ガイダンス表示領域８０９には、図６に示した撮影ガイダンスの内容を示す文字が表示される。表示される撮影ガイダンスは、文字でなくてもよく、全身や手のひら等を示すアイコンであってもよいし、文字とアイコンとの組み合わせでもよい。このような撮影ガイダンスを表示することで、撮影者に必要な撮影領域や構図を理解し易く提示することが可能となる。
【0048】
【0049】
ステップＳ５０１で撮像装置１０２が患者８１０を撮影して画像データを生成すると、画像処理装置１０１は該画像データをダウンロード（取得）する。
【0050】
ステップＳ５０２では、画像処理装置１０１は、画像データを画像解析して皮膚疾患の領域８１１、８１２を検出し、該皮膚疾患の種類が熱傷と推定する。
【0051】
ステップＳ５０３での判断を経てステップＳ５０４に進んだ画像処理装置１０１は、図４に示した熱傷４０７に対する％ＴＢＳＡ（Total Body Size Area）により重症度を評価することを決定する。％ＴＢＳＡは、身体の全体表面積に対する熱傷面積の割合（パーセンテージ）である。
【0052】
ステップＳ５０６では、画像処理装置１０１は、画像データから患者８１０の身体を検出する。ここで患者８１０の全身が撮影されていれば、画像処理装置１０１は、ステップＳ５０８に進んで患者８１０の身体の部位を推定する。
【0053】
図９は、部位の推定結果の例を示している。一般に、身体の部位の推定では、実態の骨格が正しく解析できるほど部位の粒度が細かく解析される。例えば、推定結果９０１では全身が１４の部位（黒丸間の部分）に分割されている。一方、他の推定結果９０２、９０３では、画像の分解能、撮影構図、学習モデルの性能および患者の着衣の形状等の条件が良くなくて十分な解析が行われず、８部位や６部位に分割されているにすぎない。また、条件がさらに悪化して部位推定の信頼度が低くなると、推定結果９０４のようにエラーが出力される。
【0054】
またステップＳ５０８では、画像処理装置１０１は、前述したように画像データから顔検出を行って患者８１０の年齢を推定し、年齢の推定結果に応じて皮膚疾患の重症度を補正する。ここでは年齢が２５歳前後に推定されたとして、ステップＳ７０１以降にて成人に対する重症度評価を行う。
【0055】
ステップＳ７０１では、画像処理装置１０１は、ステップＳ５０８での部位推定での粒度（分割部位数）を確認し、粒度に応じて評価方法を決定する。例えば粒度が図９の推定結果９０１のように十分であれば、ステップＳ７０２において、大腿、下腿等の細かな部位推定が必要な図４に示した９の法則やＬｕｎｄとＢｒｏｗｄｅｒの法則を用いて評価すると決定する。９の法則は、頭部、上肢（左右）、下肢（左右下腿・左右大腿）、体幹（前胸部・腹部・胸背部・腰背部臀部）の１１カ所をそれぞれ９％とし、陰部を１％として熱傷面積を算出する方法である。ＬｕｎｄとＢｒｏｗｄｅｒの法則は、９の法則よりさらに体幹を細かく分割して詳細に熱傷面積を算出する方法である。
【0056】
また、粒度が推定結果９０３のように十分でない場合は、ステップＳ７０３において、５の法則を用いて評価すると決定する。５の法則は、幼児、小児および成人のそれぞれに対して、頭部、腕部、脚部および胸部のそれぞれの熱傷面積を評価する方法である。成人の場合は、前胸部または両足での熱傷面積については、全体面積の５％を加算して評価する。
【0057】
さらに推定結果９０４のように部位推定が行えなかった場合や全身を撮影する構図が難しい場合には、ステップＳ７０４において、手掌法を用いて評価すると決定する。手掌法は、手のひらを全身の１％と考える簡易的な評価方法であり、図１０に示すように手のひら１００１を撮影する。手掌法では、患部面積の推定精度は落ちる可能性はあるが、撮影が簡易化されるため、迅速に重症度を評価することが可能となる。
【0058】
ステップＳ７０４では、画像処理装置１０１は、ステップＳ５０８で推定された各部位の画像に対して画像解析を行い、熱傷深度Ｉ～ＩＩＩの領域とそれらの面積割合を推定する。
【0059】
ステップＳ５１２では、画像処理装置１０１は、熱傷の領域と深度の推定が成功したか否かを判断する。一部の患部領域がうまく解析できない場合等、熱傷面積／深度の推定が十分に成功していない場合には、ステップＳ５１４にて撮影ガイダンスにより撮影パラメータを変更して追加撮影を行うことを撮影者に促す。そして、ステップＳ１５での追加撮影により得られた画像データに対して再度ステップＳ５０６からの処理を行う。
【0060】
ステップＳ５１２で熱傷の面積／深度の推定が成功した場合は、画像処理装置１０１は、ステップＳ５１３に進み、熱傷の位置、面積および深度に応じて推奨される対処方法を図１１に示すようにガイダンス表示領域８０９に表示する。
【0061】
図１１に示す画像内には、患者８１０および熱傷の領域８１１、８１２とともに、患者と熱傷の情報１１０１が表示されている。ここでは、皮膚疾患が熱傷であり、５の法則で評価したこと、患者は推定年齢が２５歳前後の成人であること、重症度が重症と評価されたことが表示されている。ガイダンス表示領域８０９には、推奨される対処方法として、救急センターでの集中治療が表示されている。
【0062】
表示された患者の推定年齢が既知の年齢と大きく異なっていた場合には、ボタン８０３～８０７やタッチパネルを用いて年齢を修正し、画像処理装置１０１に再評価を行わせてもよい。
【0063】
以上説明したように本実施例の画像処理装置１０１は、患者を撮影して得られた画像データに基づいて皮膚疾患の種類を推定するだけでなく、推定された種類に応じて皮膚疾患の重症度の評価に必要な画像データを取得するための撮影ガイダンスを出力（提示）する。このため、撮影者が皮膚疾患にあまり知見がない場合でも、皮膚疾患の画像解析に必要な画像データを効率の良い撮影で取得（収集）することが可能になる。また画像処理装置１０１は、収集した画像データに対する画像解析を行って皮膚疾患の重症度を評価して適切な対処方法を示す対処ガイダンスを提示する。これにより、専門的な救急隊員や医師が存在しない現場においても、提示された対処方法を参考にしてより適切な対処方法を判断することができる。
【0064】
なお、上記実施例では、撮影ガイダンスと対処ガイダンスの両方を出力する場合について説明したが、撮影ガイダンスと対処ガイダンスのうち少なくとも一方を出力できればよい。
【0065】
また、画像処理装置１０１は、画像データから患者の年齢や皮膚疾患の部位を推定するので、年列や部位の推定結果を用いてより精度良く重症度を評価することができる。
【0066】
また、画像処理装置１０１は、１つの画像データに患部全体が含まれていない場合に複数の画像データを合成して解析することができる。このため、オクルージョンが存在したり患部が身体の表裏に及んだりする場合等において、皮膚疾患の重症度を良好に評価することができる。
【0067】
また、画像処理装置１０１は、皮膚疾患が熱傷である場合に熱傷面積割合（％ＴＢＳＡ）を推定する方法として、９の法則、５の法則、手掌法およびＬｕｎｄとＢｒｏｗｄｅｒの法則等の複数の方法を選択できる。このため、画像データの解析により得られる部位の粒度や画像データの数等に応じたより好適な重症度評価方法を選択することができる。
【0068】
また、画像処理装置１０１は、皮膚疾患がアトピー性皮膚炎である場合には、疾患の評価方法として、疾患部位の面積と兆候をスコア化するＥＡＳＩ（Eczema Area and Severity Index：湿疹面積と重症度の指数）を用いて重症度を評価する。このため、画像データの解析により得られた部位の粒度に応じた好適な重症度評価方法を用いることができる。また、画像データからそれぞれ推定した、アトピー性皮膚炎の部位の面積と該部位の兆候に応じて重症度を評価する。このため、重症度を精度良く評価することができる。
【0069】
また、画像処理装置１０１は、皮膚疾患が乾癬である場合には、疾患の評価方法として、部位の粒度に応じて、ＢＳＡ（Body Surface Area：体表に占める乾癬の面積の割合）またはＰＡＳＩ（Psoriasis Area Severity Index：乾癬の面積と重症度の指数）を選択する。このため、画像データの解析により得られる部位の粒度に応じてより好適な重症度評価方法を選択することができる。なお、評価方法がＢＳＡである場合は画像データから推定した手の面積と該手における乾癬の面積とから重症度を評価し、評価方法がＰＡＳＩである場合は画像データから推定した乾癬の部位と面積に応じて重症度を評価する。このため、重症度を精度良く評価することができる。
【0070】
さらに画像処理装置１０１は、皮膚疾患の評価方法が複数ある際にも、用いた評価方法を評価結果と併せて提示する。このため、提示された対処方法の信頼性を確認したり再撮影の必要性を判断したりすることができる。
【0071】
上述した実施の形態には、以下の構成が含まれる。
（構成１）
患者を撮影することで生成された画像データから前記患者の皮膚疾患の種類を推定する推定手段と、
推定された前記種類に応じて前記皮膚疾患の評価方法を決定する決定手段と、
前記画像データから、決定された前記評価方法で前記皮膚疾患の重症度を評価する評価手段と、
決定された前記評価方法に応じた撮影ガイダンスおよび評価された前記重症度に応じた対処ガイダンスのうち少なくとも一方を出力するガイド手段とを有することを特徴とする画像処理装置。
（構成２）
前記推定手段は、前記皮膚疾患に関する機械学習モデルを用いて前記種類を推定することを特徴とする構成１に記載の画像処理装置。
（構成３）
前記評価手段は、前記画像データが複数ある場合に、該複数の画像データを合成して得られる画像データから前記重症度を評価することを特徴とする構成１または２に記載の画像処理装置。
（構成４）
前記評価手段は、前記画像データから前記患者の年齢を推定し、前記年齢の推定結果に応じて前記重症度を評価することを特徴とする構成１から３のいずれか１つに記載の画像処理装置。
（構成５）
前記評価手段は、前記画像データから前記患者の身体の部位を推定し、前記部位の推定結果に応じて前記重症度を評価することを特徴とする構成１から４のいずれか１つに記載の画像処理装置。
（構成６）
前記撮影ガイダンスは、前記患者の身体のうち撮影対象を指示するガイダンス、再撮影を指示するガイダンスおよび撮影パラメータの変更を指示するガイダンスのうち少なくとも１つを含むことを特徴とする構成１から５のいずれか１つに記載の画像処理装置。
（構成７）
前記対処ガイダンスは、治療方法を示すガイダンスおよび通院または入院をすすめるガイダンスのうち少なくとも１つを含むことを特徴とする構成１から６のいずれか１つに記載の画像処理装置。
（構成８）
前記ガイド手段は、前記対処ガイダンスを出力する際に、決定された前記評価方法と評価された前記重症度も出力することを特徴とする構成１から７のいずれか１つに記載の画像処理装置。
（構成９）
前記決定手段は、前記種類が熱傷である場合は、前記評価方法を％Total Body Size Areaに決定し、
前記評価手段は、前記画像データからそれぞれ推定した、前記患者の身体の全体表面積に対する熱傷面積と熱傷深度とに応じて前記重症度を評価することを特徴とする構成１から８のいずれか１つに記載の画像処理装置。
（構成１０）
前記評価手段は、前記画像データから推定した前記患者の身体の部位の数に応じて前記熱傷面積を推定する方法を選択することを特徴とする構成９に記載の画像処理装置。
（構成１１）
前記決定手段は、前記種類がアトピー性皮膚炎である場合は、前記評価方法をEczema Area and Severity Indexに決定し、
前記評価手段は、前記画像データからそれぞれ推定した、前記患者の身体におけるアトピー性皮膚炎の部位の面積と該部位の兆候に応じて前記重症度を評価することを特徴とする構成１から８のいずれか１つに記載の画像処理装置。
（構成１２）
前記決定手段は、前記種類が乾癬である場合は、前記評価方法を前記画像データから推定した前記患者の身体の部位の数に応じてBody Surface Area またはPsoriasis Area Severity Index に決定することを特徴とする構成１から１１のいずれか１つに記載の画像処理装置。
（構成１３）
前記評価手段は、
前記評価方法がBody Surface Areaである場合に、前記画像データから推定した前記患者の手の面積と該手における乾癬の面積とから前記重症度を評価し、
前記評価方法がPsoriasis Area Severity Indexである場合に、前記画像データから推定した乾癬の部位と面積に応じて前記重症度を評価することを特徴とする構成１２に記載の画像処理装置。
（構成１４）
構成１から１３のいずれか１つに記載の画像処理装置と、前記患者を撮像する撮像素子とを有することを特徴とする撮像装置。
（構成１）
患者を撮影することで生成された画像データから前記患者の皮膚疾患の種類を推定する推定手段と、
推定された前記種類に応じて前記皮膚疾患の評価方法を決定する決定手段と、
前記画像データから、決定された前記評価方法で前記皮膚疾患の重症度を評価する評価手段と、
決定された前記評価方法に応じた撮影ガイダンスおよび評価された前記重症度に応じた対処ガイダンスのうち少なくとも一方を出力するガイド手段とを有することを特徴とする画像処理装置。
（構成２）
前記推定手段は、前記皮膚疾患に関する機械学習モデルを用いて前記種類を推定することを特徴とする構成１に記載の画像処理装置。
（構成３）
前記評価手段は、前記画像データが複数ある場合に、該複数の画像データを合成して得られる画像データから前記重症度を評価することを特徴とする構成１または２に記載の画像処理装置。
（構成４）
前記評価手段は、前記画像データから前記患者の年齢を推定し、前記年齢の推定結果に応じて前記重症度を評価することを特徴とする構成１から３のいずれか１つに記載の画像処理装置。
（構成５）
前記評価手段は、前記画像データから前記患者の身体の部位を推定し、前記部位の推定結果に応じて前記重症度を評価することを特徴とする構成１から４のいずれか１つに記載の画像処理装置。
（構成６）
前記撮影ガイダンスは、前記患者の身体のうち撮影対象を指示するガイダンス、再撮影を指示するガイダンスおよび撮影パラメータの変更を指示するガイダンスのうち少なくとも１つを含むことを特徴とする構成１から５のいずれか１つに記載の画像処理装置。
（構成７）
前記対処ガイダンスは、治療方法を示すガイダンスおよび通院または入院をすすめるガイダンスのうち少なくとも１つを含むことを特徴とする構成１から６のいずれか１つに記載の画像処理装置。
（構成８）
前記ガイド手段は、前記対処ガイダンスを出力する際に、決定された前記評価方法と評価された前記重症度も出力することを特徴とする構成１から７のいずれか１つに記載の画像処理装置。
（構成９）
前記決定手段は、前記種類が熱傷である場合は、前記評価方法を％Total Body Size Areaに決定し、
前記評価手段は、前記画像データからそれぞれ推定した、前記患者の身体の全体表面積に対する熱傷面積と熱傷深度とに応じて前記重症度を評価することを特徴とする構成１から８のいずれか１つに記載の画像処理装置。
（構成１０）
前記評価手段は、前記画像データから推定した前記患者の身体の部位の数に応じて前記熱傷面積を推定する方法を選択することを特徴とする構成９に記載の画像処理装置。
（構成１１）
前記決定手段は、前記種類がアトピー性皮膚炎である場合は、前記評価方法をEczema Area and Severity Indexに決定し、
前記評価手段は、前記画像データからそれぞれ推定した、前記患者の身体におけるアトピー性皮膚炎の部位の面積と該部位の兆候に応じて前記重症度を評価することを特徴とする構成１から８のいずれか１つに記載の画像処理装置。
（構成１２）
前記決定手段は、前記種類が乾癬である場合は、前記評価方法を前記画像データから推定した前記患者の身体の部位の数に応じてBody Surface Area またはPsoriasis Area Severity Index に決定することを特徴とする構成１から１１のいずれか１つに記載の画像処理装置。
（構成１３）
前記評価手段は、
前記評価方法がBody Surface Areaである場合に、前記画像データから推定した前記患者の手の面積と該手における乾癬の面積とから前記重症度を評価し、
前記評価方法がPsoriasis Area Severity Indexである場合に、前記画像データから推定した乾癬の部位と面積に応じて前記重症度を評価することを特徴とする構成１２に記載の画像処理装置。
（構成１４）
構成１から１３のいずれか１つに記載の画像処理装置と、前記患者を撮像する撮像素子とを有することを特徴とする撮像装置。
【0072】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0073】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【符号の説明】
【0074】
１０１ 画像処理装置
１０２，１０４ 撮像装置
２０４ 演算部
１０２，１０４ 撮像装置
２０４ 演算部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
