特開 2022-187833 機械学習装置、その制御方法ならびにプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022187833

(43)【公開日】2022-12-20

(54)【発明の名称】機械学習装置、その制御方法ならびにプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221213BHJP

   A61B 5/00 20060101ALI20221213BHJP

【ＦＩ】

G06T7/00 612

A61B5/00 G

A61B5/00 101A

G06T7/00 350B

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021096033

(22)【出願日】2021-06-08

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】川村 秀樹

【テーマコード（参考）】

4C117

5L096

【Ｆターム（参考）】

4C117XA04

4C117XB09

4C117XE33

4C117XE43

4C117XH16

4C117XJ11

4C117XJ34

4C117XL01

5L096AA02

5L096BA06

5L096BA13

5L096CA02

5L096DA02

5L096GA38

5L096HA09

5L096HA11

5L096KA04

5L096KA15

(57)【要約】

【課題】様々な環境光下で或いは様々な撮影装置によって撮影される画像を機械学習に用いる場合であっても、精度の良い診断や病理的定量化を行うことが可能な機械学習装置を提供する。
【解決手段】開示に係る機械学習装置は、患者の患部を撮影した患部画像と、患部画像を撮影したときの色度を示す色度情報とを取得する取得手段と、学習済みの機械学習モデルにより、患部画像と色度情報とを用いて、患部に対する診断結果を推論する推論手段と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

患者の患部を撮影した患部画像と、前記患部画像を撮影したときの色度を示す色度情報とを取得する取得手段と、
学習済みの機械学習モデルにより、前記患部画像と前記色度情報とを用いて、前記患部に対する診断結果を推論する推論手段と、を有することを特徴とする機械学習装置。

【請求項2】

前記推論手段は、前記機械学習モデルにより、前記患部画像と前記色度情報とを用いて、前記患部に対して提供されるべき薬の投薬量を前記診断結果として推論する、ことを特徴とする請求項１に記載の機械学習装置。

【請求項3】

前記推論手段によって推論された診断結果と、前記患部の状態を診断した医師によって提供される診断結果とを比較する比較手段と、
前記推論された診断結果と前記医師によって提供される診断結果との差が閾値以上である場合、前記患部画像と、前記色度情報と、前記患部画像に関連付けられた前記診断結果とを含む学習データを用いて、前記機械学習モデルを再学習させる学習手段と、を更に有する、ことを特徴とする請求項１又は２に記載の機械学習装置。

【請求項4】

前記取得手段は、前記患部画像と前記色度情報とを同一のファイルから取得する、ことを特徴とする請求項１から３のいずれか１項に記載の機械学習装置。

【請求項5】

前記色度情報は、前記ファイルのメタデータに含まれ、
前記取得手段は、前記ファイルのメタデータから前記色度情報を取得する、ことを特徴とする請求項４に記載の機械学習装置。

【請求項6】

前記色度情報は、前記患者又は前記患部の近傍に置かれた基準色のパネルの色度を計測した情報である、ことを特徴とする請求項１から５のいずれか１項に記載の機械学習装置。

【請求項7】

前記色度情報は、色度計により計測された情報である、ことを特徴とする請求項１から６のいずれか１項に記載の機械学習装置。

【請求項8】

前記色度情報は、ＣＩＥ１９３１で定義される色空間の座標値を含む、ことを特徴とする請求項１から７のいずれか１項に記載の機械学習装置。

【請求項9】

機械学習装置の制御方法であって、
患者の患部を撮影した患部画像と、前記患部画像を撮影したときの色度を示す色度情報とを取得する取得工程と、
学習済みの機械学習モデルにより、前記患部画像と前記色度情報とを用いて、前記患部に対する診断結果を推論する推論工程と、を有することを特徴とする機械学習装置の制御方法。

【請求項10】

コンピュータを、請求項１から８のいずれか１項に記載の機械学習装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習装置、その制御方法ならびにプログラムに関する。

【背景技術】

【0002】

近年、被検体を撮影した医用画像を用いて診断や病理的定量化を行うために、深層学習などの機械学習モデルを用いる技術が知られている。一般に、深層学習などの機械学習モデルの学習には多量の学習データが必要であり、学習データとして集められる大量の画像は、様々な環境光の下で或いは様々な撮影装置によって撮影され得る。すなわち、学習データとなる大量の画像は、様々な環境光や撮影機器の特性の影響を受けており、また、記録される際にも撮影機器の記録態様により様々な色合いに変化している場合がある。更には、画像の見栄えを良くするために原色に近い色が加工或いは補正されている場合もある。

【0003】

このような画像データの生成に関し、特許文献１は、画像に対してホワイトバランス補正を行って、異なる環境光或いは撮影装置下で撮影される画像の白色を一定の色度に保つ技術を開示している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－９６２１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、医用画像を用いて診断や病理的定量化を行う場合、例えば患部が皮膚であるとき、どれほど重症であるか或いはどれほど血流が増えているかといった判断を、赤味を指標に行う場合がある。また、染色された顕微鏡画像においては、青色が指標になることもある。

【0006】

異なる各々の環境光或いは撮影機器下では、原色に近い色の患部画像の色合いがそれぞれ異なるため、そのような患部画像を学習データとして学習させた機械学習モデルでは、診断や病理的定量化の精度を効果的に向上させることができない課題がある。この点、特許文献１には、ホワイトバランス補正を適用して生成する撮影画像の白色を整合させる技術が開示されているが、ばらつきのある画像を学習データとして用いる際の対処については考慮していなかった。

【0007】

本発明は、上記課題に鑑みてなされ、その目的は、様々な環境光下で或いは様々な撮影装置によって撮影される画像を機械学習に用いる場合であっても、精度の良い診断や病理的定量化を行うことが可能な技術を実現することである。

【課題を解決するための手段】

【0008】

この課題を解決するため、例えば本発明の機械学習装置は以下の構成を備える。すなわち、患者の患部を撮影した患部画像と、前記患部画像を撮影したときの色度を示す色度情報とを取得する取得手段と、学習済みの機械学習モデルにより、前記患部画像と前記色度情報とを用いて、前記患部に対する診断結果を推論する推論手段と、を有することを特徴とする。

【発明の効果】

【0009】

本発明によれば、様々な環境光下で或いは様々な撮影装置によって撮影される画像を機械学習に用いる場合であっても、精度の良い診断や病理的定量化を行うことが可能になる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態における情報処理システムの概要を示す図

【図2】実施形態１における情報処理システムにおける各装置のハードウェア構成例を示すブロック図

【図3】実施形態１における情報処理システムにおける各装置の機能構成例を示す図

【図4】実施形態１における学習モデルを概念的に説明するための図

【図5】実施形態１における情報処理システムの動作概要を説明するための図

【図6A】実施形態１における学習データ取得に係る一連の動作を示すフローチャート

【図6B】実施形態１における推論及び再学習に係る一連の動作を示すフローチャート

【図7】色度座標図について説明するための図

【図8】環境光による色度の変化を説明するための図

【図9】実施形態１における学習データの構成例を示す図

【発明を実施するための形態】

【0011】

（実施形態１）
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0012】

（情報処理システムの概要）
図１を参照して、本実施形態に係る情報処理システムの概要について説明する。

【0013】

医院１０は、例えば患者を診断する病院である。例えば、医院１０には、デジタルカメラ１０１、クライアント端末１０３、光源１５１、色度計１０２、基準色チャート１５２が配置されている。デジタルカメラ１０１は、画像を撮像可能な撮像装置の一例である。クライアント端末１０３は、例えば、パーソナルコンピュータであり、デジタルカメラ１０１及び色度計１０２から受け付けた画像や計測データを、外部のサーバに送信可能な情報処理装置の一例である。基準色チャート１５２は、例えば白色、原色赤、原色青、原色緑のチャートで構成される。基準色チャート１５２は、デジタルカメラ１０１で患者１５３の患部を撮影する際に、患者或いは患部近傍に配置される。また撮影対象がガラスプレート上のサンプルの透過像である場合は、透過型チャートであってもよい。色度計１０２は、基準色チャート１５２の色度を測定するための計測器である。

【0014】

医院１０では、光源１５１の照明の下で、デジタルカメラ１０１が患者１５３の患部を撮影した患部画像を生成し、また、同一の照明の下で、色度計１０２が基準色チャート１５２の色度を測定する。クライアント端末１０３は、医師１５４が患者１５３を診察して下した診断結果の入力を受け付ける。本実施形態では、診断結果は、例えば患部に対して提供されるべき薬の投薬量を含むが、（撮影対象の）患部の状態に基づいて医師によって診断される診断内容であれば他の情報であってもよい。クライアント端末１０３は、有線或いは無線によりデジタルカメラ１０１及び色度計１０２と通信して、計測された各パネルの基準色の色度情報（単に色度情報ともいう）と、撮影された患部画像とを受信する。そして、クライアント端末１０３は、インターネット１０６とローカルエリアネットワーク１０７を介して、撮影された患部画像と色度情報と診断結果と（これらを患部データセットともいう）をデータサーバ１０８に送信する。

【0015】

データサーバ１０８は、機械学習で用いる学習データや推論処理で推論対象となる入力データを保持するサーバ装置の一例である。医院１０のクライアント端末１０３から送信されるデータ（患部データセット）を、例えばデータベースに格納し、推論サーバ１０９の要求に応じて格納されているデータを提供する。すなわち、推論サーバ１０９は、ローカルエリアネットワーク１０７を介し、データサーバ１０８上の患部データセットにアクセス可能である。推論サーバ１０９は、機械学習を用いた推論処理や学習処理を行う機械学習装置の一例である。推論サーバ１０９は、アクセスした患部画像と色度情報に基づいて診断結果を推定する推論処理や、患部データセットに基づいて機械学習モデルを学習させる処理を行う。医院１０と同様の構成の医院は複数存在してよく、例えば、他の医院は医院１１で示される。

【0016】

（各装置のハードウェア構成例）
次に、図２を参照して、情報処理システム１０を構成する各装置のハードウェア構成例について説明する。デジタルカメラ１０１は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、撮影操作部２０４、システムバス２０５、通信Ｉ／Ｆ２０６、撮像部２０７、表示部２０８、カメラエンジン２０９、及び記憶部２１０を含む。ＣＰＵ２０１は、１つ以上のプロセッサを含んでよく、ＲＯＭ２０２に格納されたプログラムを読み出し、実行することによりデジタルカメラ１０１の動作を制御する。ＣＰＵ２０１は、撮影操作部２０４を介しユーザの操作を受け付けて、撮像部２０７に撮影を指示する。撮像部２０７によって撮影された画像は、一旦ＲＡＭ２０３に格納され、その後カメラエンジン２０９による画像処理が施されて記憶部２１０に格納される。本実施形態では、例えば患者の患部を撮影した患部画像データが記憶部２１０に格納される。格納された画像データは、通信Ｉ／Ｆ部２０６を経てクライアント端末１０３に送信される。デジタルカメラ１０１内の各ブロックはシステムバス２０５を通じて相互に接続されている。

【0017】

色度計１０２は、ＣＰＵ２２１、ＲＯＭ２２２、ＲＡＭ２２３、操作部２２４、システムバス２３０、通信Ｉ／Ｆ２２６、受光部２２７、表示部２０８、及び演算部２２９を含む。ＣＰＵ２２１は、１つ以上のプロセッサを含んでよく、ＲＯＭ２２２に格納されたプログラムを読み出し、実行することにより色度計１０２の動作を制御する。色度計１０２において、ＣＰＵ２２１は、操作部２２４を介しユーザの操作を受け付けて、受光部２２７に受光を指示する。受光部２２７は、色情報を取得するための受光素子を含む。受光部２２７にて取得された色情報は、一旦ＲＡＭ２２３に格納され、その後演算部２２９による演算処理が施されてＲＡＭ２２３に格納される。格納される色度情報は、例えばＣＩＥ１９３１で定義される色空間（色度座標系）のx座標値とｙ座標値を含む。格納された色度情報は通信Ｉ／Ｆ部２２６を経てクライアント端末１０３に送信される。色度計１０２内の各ブロックはシステムバス２３０を通じて相互に接続されている。

【0018】

クライアント端末１０３は、ＣＰＵ２１２、ＨＤＤ２１３、ＲＡＭ２１４、ＮＩＣ２１５、入力部２１７、表示部２１８、及びシステムバス２１９を含む。ＣＰＵ２２１は、１つ以上のプロセッサを含んでよく、ＨＤＤ２１３に格納されたプログラムを読み出し、実行することによりクライアント端末１０３の動作を制御する。ＣＰＵ２１２は、通信Ｉ／Ｆ部２１６を介してデジタルカメラ１０１から患部画像データを受信し、ＲＡＭ２１４に格納する。また、ＣＰＵ２１２は、通信Ｉ／Ｆ２１６を介して色度計１０２から色度情報を受信し、ＲＡＭ２１４に格納する。入力部２１７は、患者１５３の患部を診断した医師１５４から診断結果を受け付ける。診断結果はＲＡＭ２１４に格納される。診断結果については後述する。クライアント端末１０３において収集される、患部画像データと色度情報と診断結果（すなわち患部データセット）とは、ネットワークインターフェイスカード（ＮＩＣ）２１６を介して、データサーバ１０８に送信される。クライアント端末１０３内の各ブロックはシステムバス２１９を通じて相互に接続されている。

【0019】

データサーバ１０８は、ＣＰＵ２５１、ＨＤＤ２５２、ＲＡＭ２５３、ＮＩＣ２５４、及びシステムバス２５５を含む。データサーバ１０８は、インターネット１０６を介して、広い地域に存在する様々な医院のクライアント端末と通信可能に構成されている。データサーバ１０８と推論サーバ１０９は多くのデータを速くやり取りを行うためローカルエリアネットワーク１０７を介して接続されている。データサーバ１０８は、１つ以上のクライアント端末１０３からのデータをＮＩＣ２５４を介して受信して、受信したデータ（患部画像データと色度情報と診断結果）をＨＤＤ２５２に格納する。ＣＰＵ２５１は、１つ以上のプロセッサを含んでよく、ＨＤＤ２５２に格納されたプログラムを読み出し、実行することによりデータサーバ１０８の動作を制御する。データサーバ１０８内の各ブロックはシステムバス２５５を通じて相互に接続されている。

【0020】

推論サーバ１０９は、ＣＰＵ２６１、ＨＤＤ２６２、ＲＡＭ２６３、ＮＩＣ２６４、システムバス２６５、ＧＰＵ２６６、入力部２６７、及び表示部２６８を含む。ＣＰＵ２６１は、１つ以上のプロセッサを含んでよく、ＨＤＤ２６２に格納されたプログラムを読み出して、実行することにより推論サーバ１０９の動作を制御する。また、ＣＰＵ２６１は、ＨＤＤ２６２に格納されたプログラムによって、単独で、又はＧＰＵ２６６と協働して、推論及び再学習の処理を実行する。ＣＰＵ２６１およびＧＰＵ２６６は、ＮＩＣ２６４及びローカルエリアネットワーク１０７を介してデータサーバ１０８に格納された、患部画像データと色度情報と診断結果にアクセスする。ＧＰＵ２６６は、データをより多く並列処理することで効率的な演算を行うことができるプロセッサである。深層学習（ディープラーニング）のための機械学習モデルを用いて複数回に渡り学習を行うような場合には、ＧＰＵ２６６で処理を行うことが有効である。例えば、学習部３２７による処理にはＣＰＵ２６１に加えてＧＰＵ２６６を用いてもよい。学習モデルを含む学習プログラムを実行する場合に、ＣＰＵ２６１とＧＰＵ２６６が協働して演算を行うことで学習を行ってよい。なお、学習部３２７の処理はＣＰＵ２６１またはＧＰＵ２６６のみにより演算が行われても良い。また、推定部３２５も学習部３２７と同様にＧＰＵ２６６を用いても良い。またＧＰＵ以外に機械学習に特化したデバイスを用いてもよい。

【0021】

（各装置のソフトウェア構成例）
次に、図３を参照して、各装置のソフトウェア構成例について説明する。図３に示すソフトウェア構成のそれぞれは、図２に示したハードウェア構成例におけるＣＰＵなどのハードウェア資源がプログラムを実行することにより実現される。なお、図３に示す機能ブロックの１つ以上は、例えば、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ソフトウェアとハードウェア資源の組み合わせによって実現されてもよい。

【0022】

デジタルカメラ１０１の構成例について説明する。デジタルカメラ１０１は、カメラ制御部３０１、画像処理部３０２、画像ファイル生成部３０３、及びデータ送受信部３０４を含む。カメラ制御部３０１は、例えばＣＰＵ２０１とＲＯＭ２０２に格納されたプログラムにより実現され、デジタルカメラ１０１の挙動の制御のために各機能ブロックに指示を出す。画像処理部３０２は、撮像部２０７にて撮影された画像をカラー画像に加工する。画像ファイル生成部３０３は、画像処理部３０２によって加工されたカラー画像を、画像ファイルフォーマットに従って画像データのファイルとして生成する。画像処理部３０２と画像ファイル生成部３０３とは、例えばカメラエンジン２０９のハードウェア処理回路とＲＯＭ２０２に格納されたプログラムにより実現される。データ送受信部３０４は、画像データのファイルをクライアント端末１０３に送信する。

【0023】

色度計１０２の構成例について説明する。色度計１０２は、色度計制御部３０５、受光部３０６、色度算出部３０７、及びデータ送受信部３０８を含む。色度計制御部３０５はＲＯＭ２２２に格納されたプログラムとＣＰＵ２２１によって実現され、色度計１０２の挙動の制御のために各機能ブロックに指示を出す。受光部２２７にて受光した色は色度算出部３０７によって色度情報に変換される。色度算出部３０７はＲＯＭ２２２に格納されたプログラムとＣＰＵ２２１によって実現される。データ送受信部３０８は、色度情報をクライアント端末１０３に送信する。

【0024】

クライアント端末１０３の構成例について説明する。クライアント端末制御部３０９は、ＨＤＤ２１３に格納されたプログラムとＣＰＵ２１２によって実現される。入力部３１０はキーボードなどの入力部２１７とＨＤＤ２１３に格納されたプログラムによって実現され、医師１５４が患者１５３の患部を診察した診断結果の入力を受け取る。クライアント端末制御部３０９は、デジタルカメラ１０１から受信した画像データのファイルと、色度計１０２から受信した色度情報と、診断結果とを患部データセットとしてデータ送受信部３１１を介してデータサーバ１０８に送信する。

【0025】

データサーバ１０８の構成例について説明する。データサーバ制御部３２３はＣＰＵ２５１とＨＤＤ２５２に格納されたプログラムにより実現される。データ収集／提供部３２１は、ＮＩＣ２５４、ＣＰＵ２５１およびＨＤＤ２５２に格納されたプログラムにより実現される。データ収集／提供部３２１は、クライアント端末１０３や別サーバの要求に応じてデータを受け取ったり、データ記憶部３２２に保存したりする動作を行うと共に、データ記憶部３２２に保存したデータを取り出して要求元の装置に送信する。また、データ収集／提供部３２１は、一組のデータとして、画像データのファイルと色度情報と診断結果との関連付けを保持する。データ記憶部３２２は、ＣＰＵ２５１とＨＤＤ２５２に格納されたプログラムおよびＨＤＤ２５２により実現され、クライアント端末１０３から受信した、画像データのファイルと色度情報と診断結果とを保持する。

【0026】

推論サーバ１０９の構成例について説明する。推論サーバ制御部３２８は、ＨＤＤ２６２に格納されたプログラムとＣＰＵ２６１によって実現される。推論サーバ制御部３２８は、データサーバ１０８に新しいデータが到着したかを定期的に監視する。データサーバ１０８に新しいデータが到着すると、推定部３２５に新しいデータの推定を指示する。なお、推定の指示はユーザによって入力部２６７を介して指示し、結果を表示部２６８に表示してもよい。データ送受信部３２４は、患部画像データのファイルと、患部画像データに関連付けられた色度情報と、患部画像データに関連付けられた診断結果とをデータサーバ１０８から取得するデータ取得の機能とを有する。推論サーバ制御部３２８は、データサーバ１０８に格納された患部画像データのファイルと色度情報と診断結果を参照する。推定部３２５は、ＨＤＤ２６２に格納されたプログラムとＣＰＵ２６１とＧＰＵ２６６によって実現される。推定部３２５は、データサーバ１０８に格納された患部画像データのファイルと色度情報とに基づいて、推定処理を実行し、推定結果を得る。推定結果は、患部画像に基づく医師の診断結果を推定した結果であり、例えば、患部画像から推定される投薬量などの数値であるが、他の定量的な推定結果であってもよい。差分演算部３２６は、推定部３２５による推定結果と診断結果との差分を演算する。推論サーバ制御部３２８は、差分が閾値より大きいと判定した場合には、学習部３２７に対して推論モデル４０１を再学習させる指示を出す。

【0027】

図４には、本実施形態に係る機械学習モデルを用いる場合の、入力データ、推論モデル、及び出力データの関係を模式的に示している。推論モデル４０１は、例えば、入力層と、１つ以上の中間層（隠れ層ともいう）と、出力層とを有するニューラルネットワークである。患部画像データ４０２と色度情報４０３は、入力データを構成し、推論モデル４０１の入力層に入力される。投薬量４０５は、出力データであり、推論モデル４０１の出力層から出力される。医師診断結果４０４は、教師データとして用いられる。なお、図４に示す推論モデルのニューラルネットワークは模式的に示したものであり、図４に示すニューロン数は入力データや出力データと必ずしも対応しない。

【0028】

推論モデル４０１は、学習済みの機械学習モデルを用いて、患部画像データから投薬量を推定する段階（すなわち推論段階）では、患部画像データ４０２と基準色の色度情報４０３とを入力として、推定される投薬量４０５を出力する。また、推論モデル４０１を学習させるためには、教師データに対応する医師診断結果４０４が参照され、推論モデルの出力と比較される。すなわち、医師診断結果４０４は、推論モデル４０１が患部画像データ４０２及び色度情報４０３に基づいて出力する投薬量と比較される。医師診断結果と投薬量との比較結果は、例えば、推論モデルの推論誤差の算出に用いられる。推論モデルを学習させる段階では、推論誤差に基づいて、学習途中の推論モデル４０１の内部パラメータ（例えばニューラルネットワークの重み）が徐々に変更されて最適化される。

【0029】

（情報処理システムの動作概要）
次に、図５を参照して、本実施形態に係る情報処理システム１０の動作概要について説明する。まず、医院１０において、光源１５１の下で患者１５３の患部を撮影する。Ｓ５０１では、色度計１０２が基準色チャート１５２の色度情報を取得する。基準色チャート１５２は、各チャートが例えば白色、原色の赤、原色の青、原色の緑であり、色度計１０２は、各チャートの各々の色度値を取得する。また、色度計１０２は、色度情報をクライアント端末１０３に送信する。Ｓ５０２では、デジタルカメラ１０１は、患者１５３の患部画像を撮影する。また、デジタルカメラ１０１は撮影した患部画像をクライアント端末１０３に送信する。Ｓ５０３では、クライアント端末１０３は、医師１５４が患者１５３を診察した診断結果を取得する。Ｓ５０４では、クライアント端末１０３は、基準色チャートの色度情報と、患部画像と、診断結果とをデータサーバ１０８にアップロードする。Ｓ５０５では、推論サーバ１０９は、データサーバ１０８に新しいデータがアップロードされると、患部画像に対する推論処理を実行し、診断結果を出力する。Ｓ５０６では、推論サーバ１０９は、Ｓ５０５で出力した診断結果と、Ｓ５０３で得られた医師による診断結果との相違を算出する。Ｓ５０７では、推論サーバ１０９は、相違が閾値を超える場合、推論モデルに基準色チャートの色度情報と患部画像と診断結果とを入力して、再学習を行う。

【0030】

（医院における学習データ取得に係る一連の動作）
次に、図６Ａを参照して、学習データ取得に係る一連の動作を説明する。なお、本動作は、例えば、医師１５４がクライアント端末１０３を介して、デジタルカメラ１０１に撮像指示及び色度計に色度情報の取得指示を出したときに開始される。また、特に断らない限り、デジタルカメラ１０１、色度計１０２及びクライアント端末１０３の各動作は、それぞれのＣＰＵ（ＣＰＵ２０１、ＣＰＵ２２１、ＣＰＵ２１２）がそれぞれのプログラムを実行し、各部を制御することにより実現される。

【0031】

Ｓ６０１では、色度計１０２は、患者の近傍に置かれる基準色チャート１５２の色度を取得する。例えば、基本色チャートが４色チャートである場合、色度計１０２は４つの色に対する色度情報を取得する。Ｓ６０２では、色度計１０２は、取得した色度情報をクライアント端末１０３に転送する。クライアント端末１０３は、色度計１０２から取得した色度情報を、内部のＨＤＤ２１３に保存する。

【0032】

Ｓ６０３では、デジタルカメラ１０１は、撮影指示に応じて患者１５３の患部を含んだ患部画像を撮影する。Ｓ６０４では、デジタルカメラ１０１は画像をクライアント端末に転送し、保存する。

【0033】

Ｓ６０５では、クライアント端末１０３は、撮影が終了したかを判定する。例えば、クライアント端末１０３は、医師１５４の指示が複数枚の患部撮影を行う指示であり、指定の撮影枚数を撮影していない場合には、撮影が終了していないと判定して、処理をＳ６０９に進める。クライアント装置１０３は、撮影が終了したと判定した場合には、Ｓ６０６に処理を進める。

【0034】

Ｓ６０６では、クライアント端末１０３は、医師１５４が撮影された患部画像を参照して診断を行った診断結果を受け付ける。診断結果は、図７を参照して後述するように、例えば、撮影した患部に対して提供されるべき最適な薬の投薬量が含まれる。投薬量は、例えば、処方する薬Ｍ００１について「３６」ｍｇなどと入力される。

【0035】

Ｓ６０７では、クライアント端末１０３は、医師１５４が診断結果をクライアント端末１０３に保存する。このとき、クライアント端末１０３は、診断結果を、対応する患部画像データと色度情報に関連付けて保存する。クライアント端末１０３は、例えば、医師１５４による診断結果の入力完了指示を受け付けたことに応じて、或いは、診断結果の保存指示を受け付けたことに応じて、Ｓ６０６で入力された診断結果を、例えばＨＤＤ２１３に保存する。

【0036】

Ｓ６０８では、クライアント端末１０３は、例えば医師１５４によるアップロード指示に応じて、基準色チャート１５２の色度情報と患部画像データと診断結果（患部データセット）とを、データサーバ１０８にアップロードする。本一連の動作は、クライアント端末１０３が患部データセットをデータサーバ１０８にアップロードすると、その後、終了する。

【0037】

Ｓ６０９では、クライアント端末１０３は、撮影機器又は環境光に変化があるかを判定する。例えば、クライアント端末１０３は、Ｓ６０３で患部を撮影した際と比べて、患部撮影機器又は環境光に変化がある場合には、改めて患部の撮影及び色度するためにＳ６０１に処理を戻す。クライアント端末１０３は、撮影機器又は環境光に変化がある無い場合には継続して撮影を行うためにＳ６０３に進む。

【0038】

なお、本実施形態では、クライアント端末１０３が医師の診断結果を受け付けるごとに、患部データセットをデータサーバ１０８に送信する場合を例に説明した。しかし、クライアント端末１０３は、予め定められた時間ごとに、当該時間内に保存された複数の患部データセットをデータサーバ１０８に送信してもよい。

【0039】

（推論及び再学習に係る一連の動作）
次に、図６Ｂを参照して、推論及び再学習に係る一連の動作について説明する。なお、推論サーバ１０９の機械学習モデルは、データサーバ１０８に格納された所定の患部データセット（推論モデルの最適化に必要なサンプル数のデータセット）を用いて、学習済みの状態である。また、本動作は、例えば、新たな患部データセットがクライアント端末１０３からデータサーバ１０８に格納されたときに開始される。また、特に断らない限り、データサーバ１０８及び推論サーバ１０９の各動作は、それぞれのＣＰＵ（ＣＰＵ２５１、ＣＰＵ２６１）がそれぞれのプログラムを実行し、各部を制御することにより実現される。

【0040】

Ｓ６５１では、推論サーバ１０９は、データサーバ１０８に新たに格納された患部画像を読み出す。例えば、推論サーバ１０９は、患部データセットの到来を通知する通知情報をデータサーバ１０８から受信したことに応じて、データサーバ１０８に到来した患部データセットを読み出す要求を送信し、データサーバ１０８から患部画像データを受信する。

【0041】

Ｓ６５２では、データサーバ１０８に格納されている患部画像に紐づけられた基準色の色度情報を読み出す。例えば、推論サーバ１０９は、患部データセットの到来を通知する上記通知情報をデータサーバ１０８から受信した場合に、患部画像データに加えて、当該患部画像データと共に患部データセットに含まれる色度情報を、データサーバ１０８から受信する。

【0042】

Ｓ６５３は、推論サーバ１０９は、更にＧＰＵ２６６により、機械学習モデルの推論モデルを用いて、患部画像に基づく画像診断を行う。すなわち、推論サーバ１０９は、患部画像に基づく診断結果（本実施形態では例えば処方すべき薬の投薬量）を推論する。

【0043】

Ｓ６５４では、推論サーバ１０９は、Ｓ６５１で読み出した患部画像に関連付けられている診断結果をデータサーバ１０８から読み出す。具体的には、例えば、推論サーバ１０９は、Ｓ６５１で読み出した患部画像に関連付けられている診断結果をデータサーバ１０８へ要求し、データサーバ１０８から対応する診断結果を受信する。

【0044】

Ｓ６５５では、推論サーバ１０９は、Ｓ６５３で求めた推論結果と、Ｓ６５４で取得した診断結果との差を算出する。例えば、推論結果が薬の投薬量である場合、Ｓ６５３で推論された投薬量と、データサーバ１０８に格納されている投薬量（医師１５４によって入力された正解とされる投薬量）との差を算出する。

【0045】

Ｓ６５６では、推論サーバ１０９は、Ｓ６５５で算出した差が閾値以上になるかを判定する。推論サーバ１０９は、Ｓ６５５で算出した差が閾値以上である場合には、機械学習モデルによる推論結果と医師による診断結果との差が大きいため、機械学習モデルを再学習させるためにＳ６５７に処理を進める。推論サーバ１０９は、Ｓ６５５で算出した差が閾値を越えない場合には、本一連の動作を終了する。

【0046】

Ｓ６５７では、推論サーバ１０９は、更にＧＰＵ２６６により、データサーバ１０８が有する患部データセットを用いて、機械学習モデルを再学習させる。例えば、推論サーバ１０９は、Ｓ６５１で取得した患部画像に係る患部データセットを含んだ、データサーバ１０８に格納された所定の患部データセット（推論モデルの最適化に必要なサンプル数のデータセット）を用いて再学習を行う。このように、推論結果において医師の診断結果と所定以上の相違がある場合には、推論モデルを再学習させることで、高い精度の推論モデルを得ることができる。

【0047】

（学習データの例）
次に、図７を参照して、本実施形態に係る学習データの一例について説明する。図７に示すデータ構造は、データサーバ１０８が一組のデータ（一組の患部データセット）として保持する患部画像のファイルと色度情報と診断結果のうち、色度情報と診断結果のデータを格納する構造例を示している。この例では、画像データの実体的なデータは画像ＩＤにより参照される。色度情報には、色度の形式を示す色度形式の情報や、基準色である赤、緑、青及び白の色度の値を格納してよい。

【0048】

例えば表皮の症例では、皮膚近くに血液が集まる病変を観察して赤味の色や形、分布で症状を診断する。やけどにおいては、患部の深さや出血の様子を、患部の赤味によって診断する。このため、患部を撮影した画像と、患部に対して実際に医師が診断した結果とを学習することにより、患部の状態に基づいて診断結果（例えば薬の投薬量）を推定することが可能である。しかし、本実施形態では、推論モデルに基準色の色度情報を更に入力することにより、推論モデルが色度情報を考慮しながら、患部を撮影した画像に基づく診断結果を推定できるようにし、より精度の高い診断結果を実現する。

【0049】

デジタルカメラなどの撮像装置から出力される画像は、環境光や撮像機器により画像の色が異なる場合がある。例えば、撮像素子の色分離のためのカラーフィルタの特性の違いや画像処理の違いがある。また、環境光によっても見える色の相違が生じ、白熱電球や昼光など光源によって差が生じる場合がある。

【0050】

また、撮像装置が画像ファイルに残す色域は、人が知覚可能な色域より狭いことが知られている。撮像装置では、色域が狭いことに対して画像の見栄えを良くするために、撮像画像の色を補正したうえで、補正した画像を保存する場合がある。このとき、色の補正方法は撮像装置によって様々であり、また、当該補正に用いた色情報（色情報は、例えば白色の色情報を含む）は現像処理後に破棄され、画像ファイルにデータとして記録されているものではない。すなわち、様々な医院等で撮影された多量の患部画像を収集して多量の学習データを構成する場合、様々な環境光の下で様々な撮像装置で撮影された画像が含まれることになり、精度の良い学習データとはなりにくい。

【0051】

本実施形態では、撮影環境下で人が知覚可能な色域端付近の基準色の色情報を取得し、画像処理後も色情報を保持して、学習データとして活用する。更に、撮影装置が扱うことができる色域よりも、広い領域において基本色の色度情報を保持することで、撮像装置の画像処理を経る前の患部画像の色合いを見積もる指標となり、推論モデルの精度を向上させることができる。

【0052】

また、患部画像に基づいて診断結果を出力する際には、原色付近の色の情報が重要である。上述のように、表皮の症例においては、皮膚近くに血液が集まる病変を観察して赤味の色や形、分布に基づいて診断が行われ、また、やけどにおいては、患部の深さや出血の様子を、患部の赤味によって診断がなされる。或いは、生体サンプルの例では、対象組織が青くなるように染色された顕微鏡標本において、顕微鏡の観察像において青みの色が対象組織の数や密度のような定量的な数値を診断結果として示すこともある。

【0053】

図８は、色度座標系で表された可視領域と各装置の表示可能領域とを示している。色情報を数値で表現する方法として、例えばＣＩＥ１９３１色度座標系を用いることができる。この座標系では、白色点から離れる程、広い色域を示し、人の知覚に準じた色域となる。各々の撮像装置において撮影された画像の色は、三原色すなわち赤緑青(ＲＧＢ)の比で表現されるため、色域は原色Ｒ点（赤）、原色Ｇ点（緑）、原色Ｂ点（青）を頂点とする三角形で表現される。

【0054】

具体的に、図８の例では、８０１は、人が知覚可能な色域は可視領域を示している。８０２～８０４は、それぞれ、基準色の原色Ｒ点と、基準色の原色Ｇ点と、基準色の原色Ｂ点を示しており、８０５は、白色点を示す。８０６は、患部色度の例を示しており、原色Ｒ点に近い。

【0055】

８１１は画像を保存するときの色域の例を示しており、例えばｓＲＧＢ色域を示す。８１２～８１４は、それぞれ、ｓＲＧＢ色域における、原色Ｒ点と、原色Ｇ点と、原色Ｂ点とを示す。８２１は、表示装置で表示することができる色域の例を示している。８２２～８２４は、それぞれ、表示装置で表示することができる色域における、原色Ｒ点、原色Ｇ点、原色Ｂ点を示す。

【0056】

例えば、被写体を撮影する際に被写体の色が可視領域８０１の端であっても、例えば撮像装置が撮影し、画像処理を行い、ファイルに保存される段階で色域８１１に狭まる。さらに画像ファイルを表示させる場合には表示装置で表示することができる色域８２１まで狭まる。

【0057】

図９は、例えば同じ患部を異なる環境光の下で、撮像装置によって撮影した画像をｓＲＧＢ画像として出力する場合の例を示している。この例に示すように、患部画像の色度８０６と基準色原色Ｒ点８０２の色度は、画像上ｓＲＧＢの原色Ｒの座標値にクリップされ、色の差分情報が失われることになる。

【0058】

このように、本実施形態では、患部画像と医師による診断結果とに加えて、基準色の色度を測定した色度情報を合わせた学習データを用いる。このようにすることで、推論モデルに色度の情報を加味した推論を行わせることができるため、高い精度の推論モデルを得ることができる。

【0059】

なお、上述の実施形態では、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習（ディープラーニング）を、推論モデルとして用いる場合を例に説明した。しかし、推論モデルを機械学習させる具体的なアルゴリズムとして他のアルゴリズムを用いてもよい。他のアルゴリズムは、例えば、決定木、サポートベクターマシンなどのアルゴリズムを含んでよい。

【0060】

また、上述の学習部３２７は、誤差検出部と、更新部と、を備えてもよい。誤差検出部は、入力層に入力される入力データに応じてニューラルネットワークの出力層から出力される出力データと、教師データとの誤差を得る。誤差検出部は、損失関数を用いて、ニューラルネットワークからの出力データと教師データとの誤差を計算するようにしてもよい。更新部は、誤差検出部で得られた誤差に基づいて、その誤差が小さくなるように、ニューラルネットワークのノード間の結合重み付け係数等を更新する。この更新部は、例えば、誤差逆伝播法を用いて、結合重み付け係数等を更新する。誤差逆伝播法は、上記の誤差が小さくなるように、各ニューラルネットワークのノード間の結合重み付け係数等を調整する手法である。

【0061】

（実施形態２）
実施形態１では、患部画像のデータと色度情報とが別々である場合を例に説明した。実施形態２では、色度情報を患部画像データのメタ領域に付帯させる場合を例に説明する。なお、本実施形態は、患部画像と色度情報の持ち方が実施形態１と異なるが、システム構成やデジタルカメラ１０１などのシステムを構成する装置の構成例は実施形態１と同様にすることができる。従って、実施形態１と同様の構成については同じ参照番号を付して重複する説明は省略する。

【0062】

クライアント端末制御部３０９は、Ｓ６０８において、デジタルカメラ１０１から受信した画像データのファイルと、色度計１０２から受信した色度情報と、受け付けた診断結果とを一組のデータとしてデータサーバ１０８に送信する。この際、クライアント端末制御部３０９は、画像ファイルに対して図７に示したデータ構造を、患部画像データの中のメタデータとして埋め込む加工を行う。すなわち、色度情報などの種々の情報がメタデータに含まれる。このようにすることで、データサーバ１０８は、患部画像データと色度情報と診断結果とを関連付けて記憶する手間が簡略化される。このため、データサーバ１０８は１組のデータを１ファイルとして管理することが可能になる。すなわち、データサーバ１０８は複数のファイルを関連させるＲＤＢの機能を持つ必要がなくなるため、データベースサーバを低コストで実現することが可能になる。

【0063】

（実施形態３）
上述の実施形態では、デジタルカメラ１０１と色度計１０２とが別々の装置である場合を例に説明した。しかし、デジタルカメラ１０１と色度計１０２とを一体の装置に構成してもよい。三刺激値型の色度計は、人の視感度分光に模したＸ・Ｙ・Ｚの３つのセンサ出力から色度を算出する。一方、デジタルカメラの撮像装置は、Ｒ・Ｇ・Ｂの３つのセンサのアレイから画像を生成する。そこで、デジタルカメラ１０１の撮像素子は、例えば、受光部にＸ・Ｙ・Ｚ・Ｒ・Ｇ・Ｂの６つのセンサを含み、色度計の出力と撮像装置の出力を有する受光部を含んでよい。例えば、ＸセンサとＲセンサ、ＹセンサとＧセンサ、ＺセンサとＢセンサの相関取りを行う。このようにすることで、Ｒ・Ｇ・Ｂの３つのセンサを持つ受光部が、色度計としてのＸＹＺ出力値と撮像装置のＲＧＢ出力値とを出力することができる。

【0064】

以上説明したように本実施形態では、患者の患部を撮影した患部画像と、患部画像を撮影したときの色度を示す色度情報とを取得し、学習済みの機械学習モデルにより、患部画像と色度情報とを用いて、患部に対する診断結果を推論するようにした。このようにすることで、様々な環境光下で或いは様々な撮影装置によって撮影される画像を機械学習に用いる場合であっても、精度の良い診断や病理的定量化を行うことができる。

【0065】

また、推論された診断結果と、患部の状態を診断した医師によって提供される診断結果とを比較するようにした。そして、推論された診断結果と医師によって提供される診断結果との差が閾値以上である場合、患部画像と色度情報と診断結果とを含む学習データに用いて、学習モデルを再学習させるようにした。このようにすることで、推定結果に所定以上の誤差を含む場合には、誤差の生じたサンプルを含んだ学習データにより再学習を行い、推論精度を更に向上させることができる。

【0066】

なお、上述の実施形態では、推論モデル４０１について、機械学習された学習済みモデルを用いる場合を例に説明した。しかし、推論アルゴリズムは、ルックアップテーブル（ＬＵＴ）等のルールベースの処理であってもよい。その場合には、例えば、入力データと出力データとの関係をあらかじめＬＵＴとして作成する。そして、この作成したＬＵＴをＲＡＭ２６３のメモリに格納しておくとよい。推論モデル４０１の処理を行う場合には、この格納されたＬＵＴを参照して、出力データを取得することができる。つまりＬＵＴは、処理部と同等の処理をするためのプログラムとして、ＣＰＵあるいはＧＰＵなどが協働で動作することにより、推論処理を行うことができる。

【0067】

プロセッサまたは回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートウェイ（ＦＰＧＡ）を含み得る。また、プロセッサまたは回路は、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、ニューラルプロセッシングユニット（ＮＰＵ）、またはニューラルエンジンを含み得る。

【0068】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0069】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0070】

１０１…デジタルカメラ、１０２…色度計、１０３…クライアント端末、１０８…データサーバ、１０９…推論サーバ、３２４…データ送受信部、３２５…推定部、３２７…学習部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】