IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 東芝メディカルシステムズ株式会社の特許一覧

特開2023-171312モデル訓練装置、走査プロトコル推奨装置及びモデル訓練方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023171312
(43)【公開日】2023-12-01
(54)【発明の名称】モデル訓練装置、走査プロトコル推奨装置及びモデル訓練方法
(51)【国際特許分類】
   G16H 40/00 20180101AFI20231124BHJP
   G16H 10/00 20180101ALI20231124BHJP
【FI】
G16H40/00
G16H10/00
【審査請求】未請求
【請求項の数】16
【出願形態】OL
(21)【出願番号】P 2023080728
(22)【出願日】2023-05-16
(31)【優先権主張番号】202210554470.7
(32)【優先日】2022-05-19
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110001771
【氏名又は名称】弁理士法人虎ノ門知的財産事務所
(72)【発明者】
【氏名】ヂュ チーチェン
(72)【発明者】
【氏名】リ リン
(72)【発明者】
【氏名】ウー チェン
(72)【発明者】
【氏名】イァン チィンユゥ
(72)【発明者】
【氏名】シュウ シェピン
(72)【発明者】
【氏名】ワン イジン
【テーマコード(参考)】
5L099
【Fターム(参考)】
5L099AA21
(57)【要約】
【課題】走査プロトコルの推奨をより精確に支援可能にすること。
【解決手段】実施形態に係るモデル訓練装置は、取得部と、適合度真値特定部と、学習部とを備える。取得部は、被検体を走査する検査の情報と走査プロトコルの情報とを含む訓練データを取得する。適合度真値特定部は、訓練データに基づいて、訓練データに対応する、検査と走査プロトコルとの間の適合度合いを示す適合度の真値を特定する。学習部は、訓練データと適合度の真値とを用いて学習を行うことで、検査の情報及び走査プロトコルの情報を入力として検査と走査プロトコルとの適合度を出力する走査プロトコル推奨モデルを生成する。
【選択図】図1
【特許請求の範囲】
【請求項1】
被検体を走査する検査の情報と走査プロトコルの情報とを含む訓練データを取得する取得部と、
前記訓練データに基づいて、前記訓練データに対応する、前記検査と前記走査プロトコルとの間の適合度合いを示す適合度の真値を特定する適合度真値特定部と、
前記訓練データと前記適合度の真値とを用いて学習を行うことで、検査の情報及び走査プロトコルの情報を入力として検査と走査プロトコルとの適合度を出力する走査プロトコル推奨モデルを生成する学習部と、
を備える、モデル訓練装置。
【請求項2】
前記検査の情報は、検査前の情報と検査後の情報とを含み、
前記適合度真値特定部は、前記検査前の情報と前記検査後の情報とを含む訓練データに基づいて、前記適合度の真値を特定し、
前記学習部は、前記検査前の情報を含む訓練データを用いて、走査プロトコル推奨モデルの学習を行う、請求項1に記載のモデル訓練装置。
【請求項3】
前記学習部は、
前記検査の情報から検査特徴を計算する検査特徴計算部と、
前記走査プロトコルの情報から走査プロトコル特徴を計算する走査プロトコル特徴計算部と、
前記検査特徴と前記走査プロトコル特徴との類似度を計算するモデルを初期モデルとして構築し、前記類似度が前記適合度の真値に近づくように前記初期モデルを訓練して訓練済みモデルを取得し、当該訓練済みモデルを訓練済みの前記走査プロトコル推奨モデルとする訓練部と、
を含む、請求項1に記載のモデル訓練装置。
【請求項4】
前記検査特徴計算部は、前記検査特徴を示す検査特徴ベクトルを抽出し、
前記走査プロトコル特徴計算部は、前記走査プロトコル特徴を示す走査プロトコル特徴ベクトルを抽出し、
前記訓練部は、前記検査特徴ベクトルと前記走査プロトコル特徴ベクトルとを同一のマッピングネットワーク空間にマッピングし、当該マッピングネットワーク空間に類似度計算ネットワークを形成して、前記類似度を計算する、請求項3に記載のモデル訓練装置。
【請求項5】
前記適合度は、相関性スコア、画質スコアおよび被ばく線量スコアのうちの少なくとも1つを含む、請求項1に記載のモデル訓練装置。
【請求項6】
前記適合度真値特定部は、前記訓練データに対する手動ラベリングを受け付けることにより、前記適合度の真値を特定する、請求項1に記載のモデル訓練装置。
【請求項7】
前記適合度真値特定部は、前記訓練データを、予め設定された発見的ラベリング規則に従ってラベリングして前記適合度の真値を特定する、請求項1に記載のモデル訓練装置。
【請求項8】
前記適合度真値特定部は、前記訓練データを入力として前記適合度の真値を出力するラベリングモデルを用いて、前記適合度の真値を特定する、請求項1に記載のモデル訓練装置。
【請求項9】
前記走査プロトコル推奨モデルの使用結果を検証した検証データを取得し、前記検証データを新しい訓練データとしてフィードバックするフィードバック情報取得部をさらに備える、請求項1に記載のモデル訓練装置。
【請求項10】
前記適合度の真値が所定の閾値を超えた前記訓練データを用いて学習を行い、検査の情報を入力として走査プロトコルを出力する走査プロトコル生成モデルを生成する、走査プロトコル生成モデル作成部をさらに備える、請求項3に記載のモデル訓練装置。
【請求項11】
前記検査特徴ベクトルを前記同一のマッピングネットワーク空間にマッピングするエンコーダと、
マッピングされた空間ベクトルを前記走査プロトコル特徴ベクトルに変換して、当該走査プロトコル特徴ベクトルに基づいて走査プロトコルを生成するデコーダと、
を含む、走査プロトコル生成モデル作成部をさらに備える、請求項4に記載のモデル訓練装置。
【請求項12】
被検体を走査する検査の情報と候補走査プロトコルの情報とを取得する情報取得部と、
前記候補走査プロトコル毎に、前記検査の情報と候補走査プロトコルの情報とを、請求項1に記載のモデル訓練装置により生成された走査プロトコル推奨モデルにそれぞれ入力して、候補走査プロトコルと検査との適合度を出力するスコアリング部と、
前記候補走査プロトコルと検査との適合度に基づいて、候補走査プロトコルの中から前記検査に使用することを推奨される推奨走査プロトコルを選択する走査プロトコル選択部と、
を備える、走査プロトコル推奨装置。
【請求項13】
請求項10または11に記載のモデル訓練装置が生成した走査プロトコル生成モデルを用いて、新しい走査プロトコルを生成し、当該新しい走査プロトコルを前記候補走査プロトコルまたは推奨走査プロトコルとする走査プロトコル生成部をさらに備える、請求項12に記載の走査プロトコル推奨装置。
【請求項14】
前記推奨走査プロトコルを、当該推奨走査プロトコルと検査との適合度とともに表示する表示部をさらに備える、請求項12に記載の走査プロトコル推奨装置。
【請求項15】
検査中に用いられる走査プロトコルへの選択または修正を取得、或いは走査プロトコルを実行した検査結果を取得して、フィードバック情報として出力するフィードバック部をさらに備える、請求項12に記載の走査プロトコル推奨装置。
【請求項16】
被検体を走査する検査の情報と走査プロトコルの情報とを含む訓練データを取得し、
前記訓練データに基づいて、前記訓練データに対応する、前記検査と前記走査プロトコルとの間の適合度合いを示す適合度の真値を特定し、
前記訓練データと前記適合度の真値とを用いて学習を行うことで、検査の情報及び走査プロトコルの情報を入力として検査と走査プロトコルとの適合度を出力する走査プロトコル推奨モデルを生成する、
ことを含む、モデル訓練方法。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書及び図面に開示の実施形態は、モデル訓練装置、走査プロトコル推奨装置及びモデル訓練方法に関する。
【0002】
具体的には、本実施形態は、走査プロトコル推奨モデルを訓練するモデル訓練装置、走査プロトコルを推奨する走査プロトコル推奨装置及びモデル訓練方法に関する。
【背景技術】
【0003】
X線診断装置、CT(Computed Tomography:コンピュータ断層撮影)装置、MRI(Magnetic Resonance Imaging:磁気共鳴イメージング)装置、超音波診断装置などの医用画像診断装置において被検体を走査する際に、類似の疾患であっても、異なる患者に対してパーソナライズされた走査案が必要となる場合がある。そのため、一般的には、走査検査に対して被検体に適した走査プロトコルを予め定めておき、所望の医用画像を取得するように走査プロトコルに従って走査を行う。
【0004】
走査プロトコルは、走査の過程や走査に係るパラメータを規定するものであり、一般的には、スキャノ走査パラメータ、再構築走査パラメータ、線量制御相関パラメータ及びその他の走査パラメータ(例えば、アキシャル走査パラメータ、ヘリカル走査パラメータ、ボリューム走査パラメータ等)が含まれる。
【0005】
従来の走査プロトコルの特定方法は、手動で走査プロトコルを設定し又は既存の走査プロトコルを選択する方法、及び、分類器を利用して既存の走査プロトコルを自動的に選択する方法が含まれる。
【0006】
走査プロトコルを手動で設定する方法や既存の走査プロトコルを選択する方法では、臨床医師又は放射線科医師により相関パラメータが設定される、或いは、既存の走査プロトコルの中から検査に用いられる走査プロトコルが選択されるのが一般的である。しかしながら、画像知識の乏しい臨床医師の場合では、設定又は選択された走査プロトコルが精確でない可能性がある。また、手動で走査プロトコルを特定することは、経験不足、重労働、油断等の原因によって、又は被検体及び検査の情報をタイムリーに取得できない等によって、走査プロトコルが不精確になる可能性がある。
【0007】
分類器を用いて既存の走査プロトコルを自動的に選択する方法では、予め一連の走査プロトコルのカテゴリを定義しておき、カテゴリ毎に少なくとも1つのプロトコルを関連付けておき、過去に実行した検査の情報と走査プロトコルとの対応データを訓練データとして利用して分類器を訓練する。それにより、訓練済みの分類器を用いて検査情報から検査が属すカテゴリを推定し、このカテゴリに関連する走査プロトコルを選択する。
【0008】
しかしながら、従来の分類器の訓練において、検査報告書、臨床診断結果、フォローアップ検査など検査前後の完備情報は、検査とプロトコルとの適合を評価するのに役立つものであっても、十分に学習されることがない。
【0009】
そのため、従来の分類器の訓練データは完全なものではない。また、分類器のモデルの推奨結果は訓練データに制限されるため、病院で使用可能な候補走査プロトコルに直接適合させることができない。さらに、分類結果は、訓練データに使用されたプロトコルに限定され、また、候補走査プロトコルの中から分類結果に類似したプロトコルを推奨することしかできず、新しいプロトコルを生成することができない。また、従来の分類器のモデル構造も訓練データに制限され、新しい訓練データをさらに追加する時にはモデル構造を変更する必要があり、異なる病院の間で分類器モデルを共用することもできない。
【先行技術文献】
【特許文献】
【0010】
【特許文献1】米国特許第61925947号明細書
【特許文献2】国際公開第2013/179216号
【発明の概要】
【発明が解決しようとする課題】
【0011】
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、走査プロトコルの推奨をより精確に支援可能にすることである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置付けることもできる。
【課題を解決するための手段】
【0012】
実施形態に係るモデル訓練装置は、取得部と、適合度真値特定部と、学習部とを備える。取得部は、被検体を走査する検査の情報と走査プロトコルの情報とを含む訓練データを取得する。適合度真値特定部は、前記訓練データに基づいて、前記訓練データに対応する、前記検査と前記走査プロトコルとの間の適合度合いを示す適合度の真値を特定する。学習部は、前記訓練データと前記適合度の真値とを用いて学習を行うことで、検査の情報及び走査プロトコルの情報を入力として検査と走査プロトコルとの適合度を出力する走査プロトコル推奨モデルを生成する。
【図面の簡単な説明】
【0013】
図1図1は、第1の実施形態に係るモデル訓練装置および走査プロトコル推奨装置を含む走査プロトコル推奨システムの機能構成の一例を示すブロック図である。
図2図2は、検査情報及び走査情報を収集可能な症例の一例を示す模式図である。
図3図3は、検査情報、プロトコル情報及び適合度を対応付けて記憶するデータベースの一例を示す模式図である。
図4図4は、訓練データに適合度をラベリングするラベリング処理の一例を示すフローチャートである。
図5図5は、訓練データに適合度をラベリングするラベリング処理の他の例を示すフローチャートである。
図6図6は、第1の実施形態に係る特徴ベクトルの計算を示す模式図である。
図7図7は、第1の実施形態に係る空間マッピング処理の一例を示す模式図である。
図8図8は、第1の実施形態に係る走査プロトコル推奨モデルの構成の一例を説明するための説明図である。
図9図9は、第1の実施形態に係るモデル訓練装置のモデル訓練過程の一例を示すフローチャートである。
図10図10は、第1の実施形態に係る学習手段におけるモデル訓練処理の一例を示すフローチャートである。
図11図11は、第1の実施形態に係る走査プロトコル推奨装置が走査プロトコル推奨を行う一例を示す模式図である。
図12図12は、第1の実施形態に係る走査プロトコル推奨装置の走査プロトコル推奨処理の一例を示すフローチャートである。
図13図13は、走査プロトコル推奨モデルの構成の他の例を説明するための説明図である。
図14図14は、走査プロトコル推奨モデルの構成の他の例を説明するための説明図である。
図15図15は、第2の実施形態に係るモデル訓練装置および走査プロトコル推奨装置を含む走査プロトコル推奨システムの機能構成の一例を示すブロック図である。
図16図16は、第2の実施形態に係る走査プロトコル推奨装置の表示手段の表示例を示す模式図である。
図17図17は、第2の実施形態に係る走査プロトコル推奨装置の走査プロトコル推奨処理の一例を示すフローチャートである。
図18図18は、第2の実施形態に係るフィードバック処理の一例を示すフローチャートである。
図19図19は、第3の実施形態に係るモデル訓練装置および走査プロトコル推奨装置を含む走査プロトコル推奨システムの機能構成の一例を示すブロック図である。
図20図20は、第3の実施形態に係る走査プロトコル推奨モデルおよび走査プロトコル生成モデルの構成の一例を説明するための説明図である。
図21図21は、第3の実施形態に係るモデル訓練装置のモデル訓練過程の一例を示すフローチャートである。
図22図22は、第3の実施形態に係る走査プロトコル推奨装置の表示手段の表示例を示す模式図である。
図23図23は、第3の実施形態に係る走査プロトコル推奨装置の走査プロトコル推奨処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0014】
実施形態に係るモデル訓練装置は、医用画像の走査プロトコルを推奨する走査プロトコル推奨モデルを訓練するためのものであって、被検体を走査する検査の情報と走査プロトコルの情報とを含む訓練データを取得する取得部と、前記訓練データに基づいて、前記訓練データに対応する、前記検査と前記走査プロトコルとの間の適合度合いを示す適合度の真値を特定する適合度真値特定部と、前記訓練データと前記適合度の真値とを用いて学習を行い、検査の情報及び走査プロトコルの情報を入力として検査と走査プロトコルとの適合度を出力する走査プロトコル推奨モデルを生成する学習部と、を備える。
【0015】
また、実施形態に係るモデル訓練方法は、医用画像の走査プロトコルを推奨する走査プロトコル推奨モデルを訓練するためのものであって、被検体を走査する検査の情報と走査プロトコルの情報とを含む訓練データを取得する取得ステップと、前記訓練データに基づいて、前記訓練データに対応する、前記検査と前記走査プロトコルとの間の適合度合いを示す適合度の真値を特定する適合度真値特定ステップと、前記訓練データと前記適合度の真値とを用いて学習を行い、検査の情報及び走査プロトコルの情報を入力として検査と走査プロトコルとの適合度を出力する走査プロトコル推奨モデルを生成する学習ステップと、を含む。
【0016】
本実施形態のモデル訓練装置およびモデル訓練方法によれば、検査とプロトコルとの適合度を評価することで、検査とプロトコルとの適合度を出力することによって走査プロトコルの推奨をより精度よく支援するモデルを訓練することが可能となる。
【0017】
また、実施形態に係る走査プロトコル推奨装置は、被検体を走査する検査の情報と候補走査プロトコルの情報とを取得する情報取得部と、候補走査プロトコル毎に、前記検査の情報と候補走査プロトコルの情報とを、モデル訓練装置により生成された走査プロトコル推奨モデルにそれぞれ入力して、候補走査プロトコルと検査との適合度を出力するスコアリング部と、前記候補走査プロトコルと検査との適合度に基づいて、候補走査プロトコルの中から前記検査に使用することを推奨される推奨走査プロトコルを選択する走査プロトコル選択部と、を備える。
【0018】
本実施形態の走査プロトコル推奨装置によれば、検査と走査プロトコルとの適合度を出力する走査プロトコル推奨モデルを利用することによって、走査プロトコルをより精確に推奨することが可能となる。
【0019】
以下では、図面を参照して、実施形態に係る走査プロトコル推奨装置、モデル訓練装置およびモデル訓練方法の好適な実施形態を詳細に説明する。
【0020】
説明の便宜上、実施形態では、モデルを出力するモデル訓練装置と、このモデルを用いる走査プロトコル推奨装置とを統合した走査プロトコル推奨システムを説明する。しかしながら、モデル訓練装置と走査プロトコル推奨装置とは、互いに独立した装置であってもよく、この場合、例えば、モデル訓練装置によって生成されたモデルは、走査プロトコルの推奨のために用いられるように、商品として走査プロトコル推奨装置に取り込まれる。
【0021】
また、実施形態に係るモデル訓練装置および走査プロトコル推奨装置は、それぞれ、複数の機能モジュールから構成され、ソフトウェアとして独立したコンピュータ等のCPU(Central process unit:中央プロセッサ)及びメモリを備えた設備にインストールされ、あるいは分散して複数の設備にインストールされて、メモリに記憶されたモデル訓練装置の各機能モジュールを、あるプロセッサが実行することにより実現されることができる。または、モデル訓練装置または走査プロトコル推奨装置の各機能を実行可能な回路としてハードウェアの形態で実現されてもよい。モデル訓練装置または走査プロトコル推奨装置を実現する回路は、インターネットなどのネットワークを介してデータの送受信およびデータの収集を行うことができる。また、実施形態に係るモデル訓練装置または走査プロトコル推奨装置は、CT装置やMRI装置などの医用画像診断装置の一部として医用画像診断装置に直接組み込まれてもよい。また、モデル訓練装置と走査プロトコル推奨装置とは、同一の設備に組み込まれてもよいし、異なる形態で異なる設備に組み込まれてもよい。
【0022】
(第1の実施形態)
まず、図1乃至図13を参照して、第1の実施形態について説明する。
【0023】
図1は、第1の実施形態に係るモデル訓練装置および走査プロトコル推奨装置を含む走査プロトコル推奨システムの機能構成の一例を示すブロック図である。図1に示すように、走査プロトコル推奨システムは、走査プロトコル推奨モデルを訓練するモデル訓練装置100と、走査プロトコル推奨モデルを用いる走査プロトコル推奨装置200とを含む。
【0024】
モデル訓練装置100は、取得手段10と、適合度真値特定手段20と、学習手段30とを備える。取得手段10は、病院等の医療施設のデータベースや医用画像診断装置等の外部装置から検査の情報および走査プロトコルの情報を訓練データとして取得する。
【0025】
ここで、検査の情報は、被検体の走査検査に関する情報であり、被検体の性別、年齢、診察時間、診療科、主訴、病歴、臨床病態像または診断過程などの情報を含み、医用画像、検査報告書、臨床診断結果、フォローアップ検査等の情報を含んでもよい。検査の情報は、被検体の走査検査前後の各種情報をカバーすることができ、検査前の情報とは、走査を実行する前に取得可能な情報であり、例えば、被検体の性別、年齢、診察時間、課別、主訴、病歴、臨床病態像等である。また、検査後の情報とは、走査を実行してから取得可能な情報であり、例えば、医用画像、検査報告書、臨床診断結果、フォローアップ検査等の情報である。必要又は収集可能な情報範囲に応じてそのうちのいくつかの種類の情報を選択して訓練データとすることが可能である。
【0026】
プロトコル情報は、被検体の走査検査中に用いられる走査プロトコルに関する情報であり、プロトコルの名称、描述、走査パラメータ(スキャノ走査パラメータ、再構築走査パラメータ例えば予め定義されたSureIQ、線量制御に関するパラメータ例えば予め定義されたSureExposure及びその他の走査パラメータ等)等の情報を含む。必要又は収集可能な情報範囲に応じてそのうちのいくつかの種類の情報を選択して訓練データとすることが可能である。
【0027】
例えば、図2は、検査情報及び走査情報を収集されることが可能な症例の一例を示す模式図である。取得手段は、従来の情報検索・抽出技術を用いて、図2に示す症例の中から、「上腹部の一般撮影、剣状突起基準線、仰臥位の断面撮影、スライス厚もスライス間隔も5.0mm」というプロトコル情報、及び、「放射学所見」並びに「放射学診断結果」に記載の検査後の検査情報を抽出することができる。また、取得手段は、症例から走査プロトコルの名称などの基本識別情報を取得した後、この基本識別情報をキーワードとして医療ガイドラインまたは既存の業界データベースから走査プロトコルの詳細パラメータを検索して取得するようにしてもよい。
【0028】
適合度真値特定手段20は、取得手段10によって取得された訓練データに基づいて、各セットの訓練データにそれぞれ対応する、訓練データにおける検査情報に示される走査検査と検査に用いられる走査プロトコルとの間の適合度合いを示す適合度を、適合度の真値として特定する。
【0029】
ここで、適合度とは、走査検査と走査プロトコルとの間の適合度合いを評価可能なメトリックである。例えば、適合度合いをスコアの高低で表現する場合、走査プロトコルが検査に適している場合には適合度を高く設定し、逆に、走査プロトコルが検査に適しておらず有効な走査結果を得られない場合には適合度を低く設定する。
【0030】
また、適合度は、単一のスコア、例えば、包括的なスコア又は所定の事項に対するスコアであってもよいし、例えば、相関性、画質、被ばく線量等の複数の事項に対してそれぞれスコアリングした複数のスコアの組み合わせであってもよい。例えば、本実施形態では、適合度が、相関性スコア、画質スコア及び被ばく線量スコアを含む場合を例にして説明する。ただし、実施形態はこれに限定されず、さらに他の事項のスコア、例えば、走査設備の占有時間を含んでもよいし、また、相関性スコア、画質スコア及び被ばく線量スコアのうちの少なくとも一つのスコアを含んでもよい。
【0031】
適合度真値特定手段20は、後述するラベリング方法により、訓練データに適合度を真値としてラベリングし、例えば、図3に示すような訓練データを得ることができる。図3は、検査情報、プロトコル情報及び適合度を対応付けて記憶するデータベースの一例を示す模式図であり、モデル訓練装置100は、データベースに、図3に示すように、訓練データを記憶することができる。図3の例では、当該患者の検査前の各種検査情報と胸部高解像度CTのプロトコル情報との適合度は、相関性スコア0.9、画質スコア1.0、被ばく線量スコア0.8である。なお、スコアリングの基準は予め設定されるものである。ただし、実施形態はこれに限定されるものではなく、走査検査後の情報を記憶して、走査検査後の情報を適合度のラベリングに用いることもできる。
【0032】
訓練データに適合度をラベリングする方法について、以下のいくつかの方法を記す。
【0033】
例えば、手動によるラベリングの方法により訓練データに適合度をラベリングすることができる。具体的には、適合度真値特定手段20は、表示された検査情報(検査前の情報及び検査後の情報を含む)及び走査プロトコル情報に対して、医師等のラベリング知識を持っている操作者によって入力された適合度合いを示すスコアを受け付け、このスコアを適合度とするマンマシンインタラクションインタフェースを有する。
【0034】
また、発見的規則の方法を用いて訓練データに適合度をラベリングしてもよい。発見的規則は、予め経験に基づいて設定される一連のスコアリング規則(即ち、発見的規則)であり、適合度真値特定手段20は、この発見的規則に従って訓練データに対してラベリングする。発見的規則の例としては、例えば、以下のものが挙げられ、適合度真値特定手段20は以下の規則をこの順で順番に実行してスコアリングする。
【0035】
・適合度の平均初期値を設定する;
・読影報告書に品質が記述されていない場合には、許容できる品質の画像と見なし、画質スコアを1.0加算する;
・読影報告書に「モーションアーティファクト」等の記述があった場合には、画質スコアを0.2減算する;
・同一の部位に対して、同一の目的で重複走査があった場合には、画質スコアを0.4減算する;
・被ばく線量報告書において被ばく線量の値が専門家の共通認識の基準を超えた場合には、被ばく線量スコアを0.2減算する;
・医師による画像に対する手動スコアリングまたは品質報告書を採用する;
・ある過去検査について、相関していないプロトコルがランダムに抽出された場合(例えば、エラーが生じている場合)には、画質スコアを0.01に設定する;
・他の規則等。
【0036】
また、適合度真値特定手段20が少量の手動でラベリングされたデータを用いて、適合度のラベリングが可能な機械学習ラベリングモデルを訓練し、この機械学習モデルを用いて、残りの機械学習ラベリングモデルの訓練に用いられていない他の訓練データに対してラベリングするようにしてもよい。ラベリングモデルの訓練では、走査検査前後の情報を全面的に考慮してラベリングモデルを学習できるように、走査検査後の情報を訓練データとしてもよい。訓練データに検査後の情報が含まれる場合には、より精確なラベリングモデルを訓練することができる。
【0037】
また、適合度真値特定手段20は、ラベリング済みの適合度に対して行われる手動確認又は修正を受け付けることもできる。
【0038】
本実施形態におけるラベリング方法は、以上の方法に限定されるものではなく、他の方法で適合度のラベリングを行ってもよく、検査と走査プロトコルとの適合度を表現可能な方法であればどのような方法が用いられてもよい。また、2種類以上のラベリング方法を組み合わせてラベリングしてもよい。
【0039】
図4は、訓練データに適合度をラベリングするラベリング処理の一例を示すフローチャートである。図4の例では、発見的規則と手動確認とを組み合わせた方法を用いる場合を示す。訓練データに対してラベリングする場合、まず、適合度真値特定手段20は、発見的規則を読み取り(ステップS401)、発見的規則を用いて訓練データに対し適合度をラベリングする(ステップS402)。次に、ステップS403において、適合度真値特定手段20は、医師等の専門家にラベリングされた適合度を表示することにより、手動による確認及びラベリングに対する修正を受け付ける。1セットの訓練データに対するラベリングが完了した後、ラベリング済みのデータを適合度の真値として記憶する(ステップS504)。
【0040】
図5は、訓練データに適合度をラベリングするラベリング処理の他の例を示すフローチャートである。図5の例では、ラベリングモデルと手動確認とを組み合わせた方法を用いる場合を示す。訓練データに対してラベリングする場合、まず、適合度真値特定手段20は、少量の訓練データに対する手動ラベリングを受け付ける(ステップS501)。次に、ステップS502において、適合度真値特定手段20は、手動ラベリングされた訓練データの特徴を、自然言語処理、キーワードマッチングなどの方法により抽出し、ディープニューラルネットワークやランダムフォレストなどの方法を用いて、ラベリングされたデータの特徴を利用してラベリングモデルを訓練する。なお、ここでのモデル訓練方法は、後述する学習手段30が採用する訓練方法を用いてもよい(ステップS503)。次に、ステップS504において、適合度真値特定手段20は、生成されたラベリングモデルを用いて、ラベリングモデルの訓練に使われていない他の訓練データに対してラベリングする。次に、ステップS505において、適合度真値特定手段20は、医師等の専門家に対して、ラベリングモデルによりラベリングされた適合度を表示することによって、手動による確認及びラベリングに対する修正を受け付ける。1セットの訓練データに対するラベリングが完了した後、ラベリング済みのデータを適合度の真値として記憶する(ステップS506)。
【0041】
学習手段30は、取得手段10に取得された訓練データ、及び、この訓練データに対してラベリングして得られた適合度の真値を用いてモデルの学習を行い、検査の情報と走査プロトコルの情報とを入力として検査と走査プロトコルとの適合度を出力する走査プロトコル推奨モデルを生成する。
【0042】
学習手段30は、ニューラルネットワークや機械学習のアルゴリズムを用いて、検査の情報及び走査プロトコルの情報と、適合度とを関連付ける初期モデルを構築し、訓練データ(適合度の真値も訓練データに含まれる)を用いてこの初期モデルに対して学習を行い、最適化させ、それにより、学習済みの走査プロトコル推奨モデルを得る。ここで、適合度の真値を取得する過程において、走査検査を実行してから取得可能な検査後の情報が既に用いられている。したがって、訓練されたモデルを使用する際にはユーザは検査前の情報しか得られないことが多く、学習手段30の訓練中、検査前の情報のみ用いられる場合でも(即ち、検査後の情報を用いることがなくても)、検査後の情報が反映された走査プロトコル推奨モデルの訓練を行うことができる。
【0043】
なお、モデルの構成は特に限定されるものではなく、既存または将来に出現する可能性のある様々なアルゴリズムや方法を利用してモデルを構築することができる。一例として、第1の実施形態では、学習手段30は、検査情報の特徴と走査プロトコル情報の特徴とを空間マッピングネットワークおよび類似度計算ネットワークに適用することで走査プロトコル推奨モデルを構築する。
【0044】
具体的には、学習手段30は、図1に示すように、検査特徴計算モジュール31と、走査プロトコル特徴計算モジュール32と、訓練モジュール33とを有する。
【0045】
検査特徴計算モジュール31は、訓練データの検査情報から検査特徴を計算する。検査特徴は、検査情報に存在する、検査の特徴を表現できるものである。自然言語処理、キーワードマッチング方法で、検査情報から、例えば、患者氏名、年齢、診察時間、課別、主訴、病歴、診断結果などの特徴を、抽出することができる。検査特徴計算モジュール31は、TF-IDF(Term Frequency-Inverse Document Frequency、単語出現頻度-逆文書頻度)、Word2vec等の単語ベクトル生成ツールを用いて検査特徴を加工し、特徴をベクトル化して検査特徴ベクトルを生成する。
【0046】
例えば、図6の(a)は、検査特徴ベクトルの一例を示す。図6(a)に示すように、検査特徴計算モジュール31は、左側の検査情報から右側に示す検査特徴ベクトルを計算する。ここで、生成された特徴ベクトルにおける数値は、解釈可能なもの(例えば、TF-IDFでベクトル化された数値)であってもよいし、解釈不可能なもの(例えばWord2vecでベクトル化された数値)であってもよく、その規則はベクトル化ツールによって異なる。なお、検査特徴ベクトルは、既存の任意のベクトル化ツールで計算することができる。
【0047】
また、走査プロトコル特徴計算モジュール32は、検査特徴計算モジュール31が用いた単語ベクトル生成ツールと同じ単語ベクトル作成ツールを用いて走査プロトコル特徴を加工し、走査プロトコル特徴ベクトルを生成する。
【0048】
例えば、図6(b)は、走査プロトコル特徴ベクトルの一例を示す。図6(b)に示すように、走査プロトコル特徴計算モジュール32は、左側の走査プロトコル情報から右側に示す走査プロトコル特徴ベクトルを計算する。
【0049】
また、訓練モジュール33は、検査特徴計算モジュール31に生成された検査特徴ベクトルと、走査プロトコル特徴計算モジュール32に生成された走査プロトコル特徴ベクトルとの類似度を計算するモデルを初期モデルとして構築し、モデルが出力した類似度が適合度の真値に近づくように初期モデルを訓練し、訓練済みモデルを取得する。訓練モジュール33は、取得した訓練済みモデルを検査特徴計算モジュール31及び走査プロトコル特徴計算モジュール32と合わせて、訓練済みの走査プロトコル推奨モデルとする。
【0050】
検査特徴ベクトルおよび走査プロトコル特徴ベクトルを同一の空間に空間マッピングすると、検査とプロトコルの適合度が高ければ高いほど、検査特徴ベクトルと走査プロトコル特徴ベクトルが類似すると考えられる。例えば、図7に、検査特徴ベクトルと走査プロトコル特徴ベクトルとを同一の空間にマッピングする一例を示す。ここで、検査a1、検査a2、検査a3のそれぞれの検査特徴ベクトルを検査特徴空間にマッピングし、プロトコルb1、プロトコルb2、プロトコルb3のそれぞれの走査プロトコル特徴ベクトルを走査プロトコル特徴空間にマッピングする。さらに、2つの空間を統一された空間に統合した場合、図7中の最も右側に示す空間が得られ、そのうちの検査a2とプロトコルb2とは、ほぼ同一の点にあるため、検査a2とプロトコルb2との適合度が最も高いと考えられる。このような認識に基づき、訓練モジュール33は、検査特徴ベクトルと走査プロトコル特徴ベクトルを同一の空間にマッピングして検査特徴とプロトコル特徴の類似度を判定する。
【0051】
空間マッピングの方法としては、既存のあるいは将来に出現する可能性のある任意の方法を採用することができる。例えば、全結合層とSigmoid活性化関数からなるTwo-tower Modelタイプのモデルを例とすると、以下の式(1)により空間マッピングを行うことができる。
【0052】
【数1】
【0053】
ここで、式(1)におけるxは入力特徴ベクトル、yは出力ベクトル、W及びbはいずれも訓練すべきパラメータである。
【0054】
なお、検査特徴ベクトルと走査プロトコル特徴ベクトルの次元が異なる場合、次元上昇処理又は次元低減処理により統一的な空間マッピングを行うことができる。
【0055】
訓練モジュール33は、統一された空間の下で、類似度計算ネットワークを用いて検査特徴及びプロトコル特徴の類似度を計算する。類似度計算ネットワークは、従来の又は将来出現する可能性がある任意の方法を用いて構築することができる。例えば、コサイン類似度を例とすると、以下の式(2)により構築することができる。
【0056】
【数2】
【0057】
ここで、式(2)におけるy1、y2はそれぞれ空間マッピング後の検査特徴ベクトル、走査プロトコル特徴ベクトルである。訓練モジュール33は、訓練データから構成される訓練セットを用いて反復訓練を行い、検証セットにおいて式(2)で得られた類似度が適合度の真値に近づくことができなくなるか、所定の目標に達するまで、式(1)と式(2)における各パラメータを調整する。これにより、式(1)と式(2)を訓練し済ませて、検査特徴計算モジュール31および走査プロトコル特徴計算モジュール32の特徴抽出アルゴリズムを合わせ、訓練済みの、検査の情報と走査プロトコルの情報とを入力として検査と走査プロトコルとの適合度を出力する走査プロトコル推奨モデルとして出力する。
【0058】
これにより、モデル訓練装置100は、走査プロトコル推奨モデルを生成して製品として出力する。図8は、第1の実施形態に係る走査プロトコル推奨モデルの構成の一例を説明するための説明図である。図8に示すように、モデル訓練装置100は、特徴抽出と、空間マッピングネットワークと、類似度計算ネットワークとにより主体が構成される走査プロトコル推奨モデルを生成する。このような走査プロトコル推奨モデルに検査情報及び候補の走査プロトコルの情報が入力される場合、この走査プロトコル推奨モデルから、入力された検査情報に対応する走査検査と候補の走査プロトコルとの間の適合度合いを示す適合度を出力することができる。
【0059】
次に、第1の実施形態に係るモデル訓練装置100の全体処理について説明する。図9は、第1の実施形態に係るモデル訓練装置のモデル訓練過程を説明するためのフローチャートである。
【0060】
まず、モデル訓練処理の開始後、取得手段10は、既に実行された走査検査の情報と、この走査検査に使用された走査プロトコルの情報とを訓練データとして外部から取得し(ステップS901)、次に、ステップS902において、適合度真値特定手段20は、取得手段10に取得された訓練データに対して、訓練データの適合度の真値として適合度をラベリングする。
【0061】
次に、ステップS903に進み、検査特徴計算モジュール31が訓練データの検査情報から検査特徴を計算し、走査プロトコル特徴計算モジュール32が、訓練データの走査プロトコル情報から走査プロトコル特徴を計算する(ステップS904)。それにより、訓練モジュール33が、検査特徴と走査プロトコル特徴を用いて類似度ネットワークを構築し、訓練データを用いて学習を行い、訓練済みの走査プロトコル推奨モデルを生成し(ステップS905)、訓練済みの走査プロトコル推奨モデルを記憶する(ステップS906)。
【0062】
また、訓練モジュール33は、訓練データを1つずつ用いて走査プロトコル推奨モデルを訓練してもよい。図10は、第1の実施形態に係る訓練モジュール33におけるモデル訓練処理を説明するためのフローチャートである。
【0063】
図10に示すように、訓練モジュール33が訓練を行う場合、まず、任意の初期係数を用いてモデルを初期化し(ステップS1001)、次に、検査情報と、走査プロトコル情報と、検査と走査プロトコルとの適合度真値とを含む訓練データを少なくとも1セット(1つ)読み取り(ステップS1002)、この訓練データ中の検査情報およびプロトコル情報から、モデルを用いて検査と走査プロトコルとの適合度を予測する(ステップS1003)。
【0064】
次に、ステップS1004において、モデルによって予測される適合度と訓練データの適合度真値とを比較し、モデルによって予測される適合度と訓練データの適合度真値との間の差異を計算し、例えば、予測された適合度と適合度真値との平均二乗偏差等を計算し、この差異に応じてモデルを更新し、例えばランダム勾配降下法でモデル係数を更新する(ステップS1005)。
【0065】
次に、ステップS1006において、更新後のモデルが合格であるか否かを検証セットで検証し、例えば、反復回数が十分に多い場合や、検証セットでの効果が予め設定された閾値を超えた場合には、更新後のモデルが合格であると認めて訓練処理を終了する(ステップS1006:Yes)。一方、更新後のモデルが不合格である場合(ステップS1006:No)には、ステップS1002に戻り、次の訓練データを読み取る。このような反復処理を訓練データに対して行うことによって、ステップS1006でモデルが合格であると判断されるまで、モデルを更新する。
【0066】
一方、走査プロトコル推奨装置200は、訓練済みの走査プロトコル推奨モデルを、製品購入などのルートで取得し、この走査プロトコル推奨モデルを用いて走査プロトコルの推奨を行うことができる。
【0067】
図1の説明に戻り、走査プロトコル推奨装置200は、情報取得手段60と、スコアリング手段70と、走査プロトコル選択手段80とを有する。
【0068】
情報取得手段60は、被検体を走査する検査の情報と候補走査プロトコルの情報を取得する。情報取得手段60に取得された検査情報は、走査検査を行う必要がある患者等の被検体の検査に関する情報であって、一般的には検査を行う前の情報である。また、候補走査プロトコルの情報は、選択可能な走査プロトコルの候補となる走査プロトコルの情報である。例えば、候補走査プロトコルの情報は、病院等の走査検査を行う場所で提供可能な全ての走査プロトコルの情報であってもよい。なお、候補走査プロトコルの情報は、訓練データ中に出現した走査プロトコルの情報に限らず、モデル訓練中に出現していなかった走査プロトコルの情報であってもよい。
【0069】
スコアリング手段70は、候補走査プロトコル毎に、検査の情報と各候補走査プロトコルの情報をそれぞれ走査プロトコル推奨モデルに入力し、候補走査プロトコルと検査との適合度を出力する。
【0070】
また、この走査プロトコル推奨モデルは、未だ検査が行われていない患者に対して適切な走査プロトコルを判断するために用いられることが多いため、一般的には、走査プロトコル推奨モデルに入力される検査情報には、検査後の情報が存在しない。これに対して、走査プロトコル推奨モデル用の訓練データにおいて、検査前の情報のみが使用され、検査後の情報は使用されない。ただし、訓練データに用いられた何らかの検査前の情報が得られない場合もあり、このような場合に、特徴ベクトルにおける、得られていない情報に対応する特徴は未確定の部分として扱われ、例えば、TF-IDFを用いてベクトル化する場合に、未知の検査特徴の数値はゼロとされる。つまり、走査プロトコル推奨モデルを用いた場合の検査情報中の特徴の数は、走査プロトコル推奨モデルを訓練する場合の訓練データとしての検査情報中の特徴の数と異なってもよい。このように、本実施形態の走査プロトコル推奨モデルは、例えば、患者情報(例えば、年齢、性別、病歴など)が不明な場合にも適用可能である。もちろん、走査プロトコル推奨モデルを、検査が完了した患者の走査プロトコルに対する評価作業に用いてもよく、この場合、より多くの検査情報が得られる。
【0071】
図11は、第1の実施形態に係る走査プロトコル推奨装置200が走査プロトコル推奨を行う一例を示す模式図である。同図に示すように、この例では、スコアリング手段70は、同一の検査情報を複数の候補走査プロトコルA~Fのそれぞれと対にして走査プロトコル推奨モデルに入力することで、候補走査プロトコルA~Fのそれぞれに対応する適合度を得る。例えば、スコアリング手段70は、この検査情報と候補走査プロトコルAとを走査プロトコル推奨モデルに入力して包括適合度0.6を得る。
【0072】
走査プロトコル選択手段80は、スコアリング手段70によって得られた複数の候補走査プロトコルと検査との適合度に応じて、対応する候補走査プロトコルの中から、検査に用いることを推奨される推奨走査プロトコルを選択する。推奨の基準は、事前に設定しておくことができる。例えば、最も適合度の高い候補走査プロトコルを推奨走査プロトコルとして推奨したり、あるいは、適合度が所定の閾値を超えた候補走査プロトコルを推奨走査プロトコルとして推奨したりしてもよい。例えば、包括適合度の閾値Tを0.8として、図11に示す候補走査プロトコルA~Fから選択する場合、図11に示すように、候補走査プロトコルEと検査情報との適合度0.85のみが閾値Tを超えていることから、走査プロトコル選択手段80は、候補走査プロトコルEを推奨走査プロトコルとして出力する。
【0073】
なお、推奨走査プロトコルは、1つであってもよいし、複数であってもよい。所定の閾値が設定されている場合、全ての適合度がこの所定の閾値を下回っていれば、推奨走査プロトコルがないとの結果を出力してもよい。
【0074】
図12は、第1の実施形態に係る走査プロトコル推奨装置の走査プロトコル推奨処理を説明するためのフローチャートである。
【0075】
図12に示すように、情報取得手段60は、検査情報と候補走査プロトコル情報とを取得し(ステップS1201)、続いてスコアリング手段70は、訓練済みの走査プロトコル推奨モデルを読み取り(ステップS1202)、このモデルを用いて取得された検査情報に対応する検査と候補走査プロトコルとの適合度を計算する(ステップS1203)。走査プロトコル選択手段80は、候補走査プロトコルと検査との適合度に応じて推奨走査プロトコルを選択し(ステップS1204)、候補走査プロトコルの適合度が所定の閾値より高い場合には、この候補走査プロトコルを推奨走査プロトコルとして推奨走査プロトコルの情報を出力する(ステップS1205)。
【0076】
また、第1の実施形態では、取得手段10が「取得部」に対応し、適合度真値特定手段20が「適合度真値特定部」に対応し、学習手段30が「学習部」に対応し、検査特徴計算モジュール31が「検査特徴計算部」に対応し、走査プロトコル特徴計算モジュール32が「走査プロトコル特徴計算部」に対応し、訓練モジュール33が「訓練部」に対応し、情報取得手段60が「情報取得部」に対応し、スコアリング手段70が「スコアリング部」に対応し、走査プロトコル選択手段80が「走査プロトコル選択部」に対応する。
【0077】
第1の実施形態によれば、推奨段階において、訓練データにない走査プロトコルを推奨することができる。例えば、モデル訓練用の訓練データは通常CTのプロトコルのみを含むが、病院で選択可能なプロトコルにおいて通常CTのプロトコル及び低線量CTのプロトコルがある場合に、従来のグループ化推奨モデルは、訓練データに用いられる通常CTのプロトコルのみを推奨できるのに対して、本実施形態の走査プロトコル推奨モデルは、プロトコルパラメータ、過去画像及び診断報告書等のデータを学習・分析する能力を有し、低線量CTのプロトコルについても候補走査プロトコルとして推奨することができる。したがって、本実施形態は、訓練データにおけるプロトコルに制限されずに、病院で実際に使用可能な候補プロトコルをより精確に適合させることができる。
【0078】
また、第1の実施形態によれば、訓練段階において、適合度真値を取得する際に、走査検査後の情報も考慮されるので、より正確な適合度真値を得ることができ、それによって、より正確なラベリングモデルを訓練することができる。履歴検査報告書、臨床診断結果、フォローアップ検査等の情報を十分に活用することにより、検査とプロトコルとの適合度をより合理的に評価する走査プロトコル推奨モデルを訓練することができる。また、異なる病院の間でも走査プロトコル推奨モデルを共有することができる。したがって、本実施形態は、走査プロトコルの推奨をより精確に支援することができる。
【0079】
(第1の実施形態の変形例)
第1の実施形態では、検査情報から検査特徴ベクトルを、走査プロトコル情報から走査プロトコル特徴ベクトルをそれぞれ計算することにより、同一の空間マッピングネットワーク及び類似度計算ネットワークを介して、検査特徴ベクトルと走査プロトコル特徴ベクトルとの類似度を適合度として得る場合について説明した。しかしながら、走査プロトコル推奨モデルのアルゴリズムは、これに限定されるものではなく、検査情報、走査プロトコル情報と適合度とを関連付けることができる他のいかなるアルゴリズムであってもよい。
【0080】
例えば、検査情報の特徴とプロトコル情報の特徴とを個別に抽出することの代わりに、検査情報とプロトコル情報とを先に組み合わせて、この組み合わせ情報の特徴を抽出するようにしてもよい。図13は、走査プロトコル推奨モデルの構成の他の例を説明するための説明図である。図13に示すように、特徴抽出器に検査情報とプロトコル情報とを組み合わせて入力し、この組み合わせ情報の特徴を抽出し、さらに情報の特徴から適合度を計算する適合度計算ネットワークを用いて適合度を得る。
【0081】
また、例えば、複数の採点ネットワークを重ねた採点ネットワークを用いて異なる角度(相関性、画質、被ばく線量等)から複数のスコアをそれぞれ計算し、それらのスコアの組み合わせを適合度として出力するようにしてもよい。図14は、走査プロトコル推奨モデルの構成の他の例を説明するための説明図である。図14に示すように、検査情報から検査特徴を、走査プロトコル情報から走査プロトコル特徴をそれぞれ抽出し、検査特徴と走査プロトコル特徴を採点ネットワーク1、採点ネットワーク2及び採点ネットワーク3にそれぞれ入力する。これにより、採点ネットワーク1は検査特徴と走査プロトコル特徴とに基づいて検査とプロトコルとの相関性についてスコアリングし、採点ネットワーク2は検査特徴と走査プロトコル特徴とに基づいて当該走査プロトコルを用いて走査検査を行って得られた画質をスコアリングし、採点ネットワーク3は検査特徴及び走査プロトコル特徴に基づいて当該走査プロトコルを用いて走査検査を行う時の被ばく線量をスコアリングする。このように、相関性スコア、画質スコア及び被ばく線量スコアをそれぞれ得て、これらの3つのスコアを組み合わせて検査と走査プロトコルとの適合度とする。
【0082】
(第2の実施形態)
図15乃至図18を参照して第2の実施形態について説明する。第2の実施形態に係る走査プロトコル推奨システムは、第1の実施形態に比べて、走査プロトコル推奨モデルの出力結果をフィードバックしてモデルへの最適化に用いるフィードバックメカニズムを有する点が主に異なる。以下では、主に相違点について説明し、重複する説明を適宜省略する。
【0083】
図15は、第2の実施形態に係るモデル訓練装置および走査プロトコル推奨装置を含む走査プロトコル推奨システムの機能構成の一例を示すブロック図である。図15に示すように、走査プロトコル推奨システムは、走査プロトコル推奨モデルを訓練するモデル訓練装置100aと、走査プロトコル推奨モデルを用いる走査プロトコル推奨装置200aとを含む。
【0084】
走査プロトコル推奨装置200aは、訓練済みの走査プロトコル推奨モデルを用いて走査プロトコルの推奨を行うことができる。走査プロトコル推奨装置200aは、情報取得手段60と、スコアリング手段70と、走査プロトコル選択手段80と、表示手段110と、フィードバック手段120とを有する。
【0085】
情報取得手段60は、被検体を走査する検査の情報と候補走査プロトコルの情報を取得する。スコアリング手段70は、候補走査プロトコル毎に、検査の情報と候補走査プロトコルの情報をそれぞれ走査プロトコル推奨モデルに入力し、それにより、候補走査プロトコルと検査との適合度を出力する。走査プロトコル選択手段80は、候補走査プロトコルと検査との適合度に応じて、候補走査プロトコルの中から、検査に使用することを推奨される推奨走査プロトコルを選択する。
【0086】
第2の実施形態に係る情報取得手段60、スコアリング手段70及び走査プロトコル選択手段80の構成及び動作は、第1の実施形態と同じであるので、ここでは詳細な説明を省略する。
【0087】
表示手段110は、相関する情報をディスプレイに表示させるためのものである。例えば、推奨走査プロトコルを、この走査プロトコルと検査との適合度とともに表示する。
【0088】
図16は、第2の実施形態に係る走査プロトコル推奨装置の表示手段の表示例を示す模式図である。図16の(a)では、候補走査プロトコルと、走査検査に用いられるプロトコルとして選択された、選択済み走査プロトコルの識別子または名称を、それぞれ候補欄と選択済み欄に表示し、関連のプロトコルの横に、このプロトコルと検査との適合度を表示することができる。
【0089】
例えば、図16(a)では、候補欄に複数の候補走査プロトコルが適合度の高い順に並べて記載されているが、その中には選択済み走査プロトコルは含まれておらず、つまり、ある走査プロトコルが走査検査用に選択された場合、候補走査プロトコルからそれが削除される。選択済み欄では、走査検査で実行される走査プロトコルとして選択された走査プロトコルが、実行順に配列される。例えば、選択済み欄では、プロトコルEからプロトコルCの順に配列される。走査プロトコル推奨モデルの計算によって選択された走査プロトコルは、とりあえず選択済み欄に配置される。ユーザは、異なる方向の移動キーを介して、例えば、候補欄におけるプロトコルを選択済み欄に追加したり、選択済み欄における走査プロトコルの順序を変更したりすること等、選択済み欄における走査プロトコルを増加し又は削除することができる。また、候補走査プロトコルの使用頻度の高さや頭文字順などの順次で候補走査プロトコルを配列してもよい。
【0090】
また、図16の(b)には、他の表示例が示されており、図16の(b)に示されるように、候補欄と選択済み欄に、適合度を表示するのではなく、異なるレベルの適合度の走査プロトコルを、文字、記号、アイコン、太さ、前景色背景色、フォント、フォントサイズ等の異なる形式で区別して表示する。例えば、図16の(b)では、適合度の階層範囲を画面下方に表示して、候補欄及び選択済み欄に、対応する階層範囲に応じて対応する走査プロトコル識別子に対して異なる表示を行う。
【0091】
フィードバック手段120は、表示手段110に表示された推奨走査プロトコルおよび適合度に対する選択や修正を受け付けるか、走査プロトコルを実行した検査結果を取得して、フィードバック情報として出力する。
【0092】
推奨走査プロトコルの選択は、予め設定された規則に基づくものであるため、その他の規則に適合した候補プロトコルを選択することができず、推奨できない場合もある。また、推奨の走査プロトコルがあったとしても、推奨される走査プロトコルが放射線科医師などの操作者に承認されていない可能性もある。そこで、表示手段110が推奨走査プロトコル及び適合度を表示することにより、推奨走査プロトコル及び対応する適合度を放射線科医師等の操作者に直観的に提示することができ、放射線科医師等の操作者は、実際に実施する走査プロトコルとして推奨の走査プロトコルを選択したり、最終的な走査プロトコルとして推奨の走査プロトコルを部分的に直接修正したりすることができる。フィードバック手段120は、これらの修正又は選択を受け付けて、最終的な走査プロトコルに関する情報を得る。なお、これらの情報には、医師又は技師に、推奨された走査プロトコルの中から選択又は修正された、検査に用いられる走査プロトコルの情報が含まれる。
【0093】
また、フィードバック手段120は、さらに、走査プロトコルを実行した後に得られる検査に関する情報、例えば、走査した後に得られる医用画像、検査報告書、臨床診断結果、フォローアップ検査等の病院等の医療機関によって検証・修正・評価された情報を取得することもでき、これらの情報はいずれも走査プロトコルの推奨効果の検証に役立つものである。フィードバック手段120はこれらのフィードバック情報を、走査プロトコル推奨モデルを作成するモデル訓練装置100aに送信し、走査プロトコル推奨モデルを最適化するために用いる。
【0094】
図17は、第2の実施形態に係る走査プロトコル推奨装置の走査プロトコル推奨処理を説明するためのフローチャートである。図17に示すように、まず、情報取得手段60は、検査情報と候補走査プロトコル情報とを取得し(ステップS1701)、続いて、スコアリング手段70は、訓練済みの走査プロトコル推奨モデルを読み取り(ステップS1702)、このモデルを用いて取得した検査情報に対応する検査と候補走査プロトコルとの適合度を計算する(ステップS1703)。走査プロトコル選択手段80は、候補走査プロトコルと検査との適合度に応じて推奨走査プロトコルを選択し、表示手段110は推奨走査プロトコル、および、推奨走査プロトコルと検査との適合度を表示する(ステップS1704)。次に、フィードバック手段120は、推奨走査プロトコルに対する選択または修正を受け付け、フィードバック情報として出力する(ステップS1705)。
【0095】
図15の説明に戻り、モデル訓練装置100aは、取得手段10と、適合度真値特定手段20と、学習手段30と、フィードバック情報取得手段40とを有する。
【0096】
取得手段10は、被検体を走査する検査の情報と走査プロトコルの情報とを含む訓練データを取得する。適合度真値特定手段20は、取得手段10に取得された訓練データに基づいて、各セットの訓練データにそれぞれ対応する、走査検査と検査に用いられる走査プロトコルとの間の適合度合いを示す適合度を、適合度の真値とする。学習手段30は、検査特徴計算モジュール31と、走査プロトコル特徴計算モジュール32と、訓練モジュール33とを有し、訓練データと適合度の真値を用いて学習を行い、検査の情報と走査プロトコルの情報とを入力として、検査と走査プロトコルとの適合度を出力する走査プロトコル推奨モデルを生成する。
【0097】
第2の実施形態の取得手段10、適合度真値特定手段20及び学習手段30の構成及び動作は、第1の実施形態と同じであるので、ここでは詳細な説明を省略する。
【0098】
また、モデル訓練装置100aは、モデル訓練装置100aが生成した走査プロトコル推奨モデルの使用結果を検証した検証データとして、走査プロトコル推奨装置200aのフィードバック手段120からフィードバック情報を取得し、前記検証データを新しい訓練データとして取得手段10にフィードバックするフィードバック情報取得手段40を、さらに備える。これにより、学習手段30は、フィードバック情報に含まれる訓練データを用いて走査プロトコル推奨モデルをさらに訓練して、走査プロトコル推奨モデルを最適化することができる。
【0099】
上述したように、フィードバック情報は、走査プロトコル推奨モデルを使用する走査プロトコル推奨装置200aが検査に走査プロトコルを推奨する際に用いられた検査情報、最終的に検査に用いられた走査プロトコルまたは検査後に得られた情報を含む。
【0100】
フィードバック情報取得手段40は、上述したフィードバック情報を取得手段10に送信し、それにより、取得手段10は、その中に含まれる検査情報と走査プロトコル情報とを新しい訓練データとして記憶する。
【0101】
以下では、フィードバック段階におけるモデル訓練装置100aの動作について説明する。
【0102】
図18は、第2の実施形態に係るフィードバック処理を説明するためのフローチャートである。まず、フィードバック情報取得手段40はフィードバック情報を取得し、このフィードバック情報を訓練データとして取得手段10に送信し(ステップS1801)、検査特徴計算モジュールはこの訓練データにおける検査情報から検査特徴を計算し(ステップS1802)、走査プロトコル特徴計算モジュール32はこの訓練データにおける走査プロトコル情報から走査プロトコル特徴を計算する(ステップS1803)。
【0103】
次に、ステップS1804において、適合度真値特定手段20は、フィードバック情報に基づいて、検査とプロトコルとの適合度を評価して、新しい適合度真値を取得する(ステップS1804)。次に、訓練モジュール33は、既存の走査プロトコル推奨モデルに対して、既存の訓練データと新しい訓練データとを用いて走査プロトコル推奨モデルを訓練し、モデルパラメータを更新する(ステップS1805)。これにより、最適化された新しい走査プロトコル推奨モデルが生成され、この走査プロトコル推奨モデルが記憶される(ステップS1806)。
【0104】
また、第2の実施形態では、フィードバック情報取得手段40が「フィードバック情報取得部」に対応し、表示手段110が「表示部」に対応し、フィードバック手段120が「フィードバック部」に対応する。
【0105】
第2の実施形態によれば、毎回走査プロトコル推奨モデルが用いられた後に、医療機関等が検査情報と走査プロトコル情報を検証、修正又は評価することによって、それをフィードバック情報としてモデル訓練装置にフィードバックすることができ、訓練データの数と精度が向上し、より精確なラベリングモデルを訓練することができる。走査プロトコルの推奨をより精確に支援することができる。
【0106】
(第3の実施形態)
図19乃至図23を参照して、第3の実施形態について説明する。第3の実施形態に係る走査プロトコル推奨システムは、第1の実施形態に比べて、主に、モデル訓練装置100bが走査プロトコル生成モジュール作成手段50をさらに備え、走査プロトコル推奨装置200bが走査プロトコル生成手段90および表示手段110をさらに備えるという点が異なる。以下では、主に相違点について説明し、重複する説明は適宜省略する。
【0107】
図19は、第3の実施形態に係るモデル訓練装置および走査プロトコル推奨装置を含む走査プロトコル推奨システムの機能構成の一例を示すブロック図である。図19に示すように、走査プロトコル推奨システムは、走査プロトコル推奨モデルを訓練するモデル訓練装置100bと、走査プロトコル推奨モデルを用いる走査プロトコル推奨装置200bとを含む。
【0108】
モデル訓練装置100bは、取得手段10と、適合度真値特定手段20と、学習手段30と、走査プロトコル生成モデル作成手段50とを備える。
【0109】
取得手段10は、被検体を走査する検査の情報と走査プロトコルの情報とを含む訓練データを取得する。適合度真値特定手段20は、取得手段10に取得された訓練データに基づいて、各訓練データにそれぞれ対応する、走査検査と検査に用いられる走査プロトコルとの間の適合度合いを示す適合度を、適合度の真値とする。学習手段30は、検査特徴計算モジュール31と、走査プロトコル特徴計算モジュール32と、訓練モジュール33とを有し、訓練データと適合度の真値を用いて学習を行い、検査の情報と走査プロトコルの情報とを入力として、検査と走査プロトコルとの適合度を出力する走査プロトコル推奨モデルを生成する。
【0110】
第3の実施形態の取得手段10、適合度真値特定手段20及び学習手段30の構成及び動作は、第1の実施形態と同じであるので、ここでは詳細な説明を省略する。
【0111】
モデル訓練装置100bは、取得手段10に取得された訓練データのうちの、適合度の真値が所定の閾値を超えた訓練データを用いて学習を行い、検査の情報を入力として走査プロトコルを出力する走査プロトコル生成モデルを生成する走査プロトコル生成モデル作成手段50をさらに備える。具体的には、モデル訓練装置100bは、適合度があまりよくないプロトコルに対して、より適切なプロトコルを提案するためのモデル(走査プロトコル生成モデル)を生成する走査プロトコル生成モデル作成手段50を備える。
【0112】
走査プロトコル生成モデル作成手段50は、走査プロトコルの特徴から走査プロトコルを生成するモデルを初期化し、検査情報の特徴と走査プロトコルの特徴とを関連付けることにより、検査情報を用いて対応する走査プロトコルを生成する走査プロトコル生成モデルを構築する。したがって、走査プロトコル生成モデル作成手段50の動作は、学習手段30の訓練動作に関連付けられて、走査プロトコル推奨モデルに適用されたアルゴリズムのデコーダを用いて走査プロトコルを逆生成してもよいし、学習手段30の訓練動作とは独立にモデリングし、走査プロトコル推奨モデルのアルゴリズムとは無関係のアルゴリズムを用いて走査プロトコル生成モデルを独立に訓練してもよい。
【0113】
本実施形態では、計算リソースを節約するために、走査プロトコル生成モデル作成手段50が走査プロトコル推奨モデルに適用されたアルゴリズムのデコーダを利用して走査プロトコルを逆生成することとされる。具体的には、走査プロトコル生成モデル作成手段50は、デコーダを利用して、元々あるプロトコルからパラメータの特徴を抽出して、LSTM(Long Short Term Memory network)、GRU(Gated Recurrent Unit)等を駆使しながら、それらの適合度を調整しつつ、新しいプロトコルを生成する。
【0114】
例えば、走査プロトコル生成モデル作成手段50は、訓練データの検査情報から計算された検査特徴ベクトルを走査プロトコル推奨モデルに用いられる同一のマッピングネットワーク空間にマッピングし、このマッピングネットワーク空間において対応する空間ベクトルを取得するエンコーダ51と、空間ベクトルを走査プロトコル特徴ベクトルに変換してこの走査プロトコル特徴ベクトルに基づいて走査プロトコルを生成するデコーダ52とを含む。
【0115】
デコーダ52は、まず、走査プロトコル特徴計算モジュール32で用いられているアルゴリズム(走査プロトコルの情報から走査プロトコル特徴ベクトルを計算するアルゴリズム)の逆アルゴリズムを初期モデルとして、取得手段10に取得された訓練データのうちの、適合度の真値が高い方の訓練データを用いて訓練を行い、生成される走査プロトコルが訓練データにおける走査プロトコル真値に可能な限り近づくように、デコーダ52における初期モデルの係数を反復調整してもよい。
【0116】
図20は、第3の実施形態に係る走査プロトコル推奨モデルおよび走査プロトコル生成モデルの構成の一例を説明するための説明図である。図20に示すように、走査プロトコル生成モデル作成手段50は、学習手段30のリソースを利用することができる。ここで、走査プロトコル推奨モデルは、図20における図8と重なる部分に対応し、検査特徴と走査プロトコル特徴とから適合度を生成する。また、図20における黒枠部分は走査プロトコル生成モデルに対応し、同一の空間マッピングネットワーク(エンコーダ)を用いて検査特徴のベクトルをマッピングし、またプロトコル生成ネットワーク(デコーダ)をさらに有し、空間マッピングネットワークにおける空間ベクトルを走査プロトコルに変換する。プロトコル生成ネットワークは、LSTM、GRU等のニューラルネットワークであり得る。その入力はエンコーダの出力ベクトルであり、出力は走査プロトコルパラメータを記述するテキストシーケンスである。
【0117】
ここで、走査プロトコル推奨モデルと走査プロトコル生成モデルを全体として同時に訓練することができるし、まず走査プロトコル推奨モデルを訓練し、続いて走査プロトコル推奨モデルの係数を固定して、さらに走査プロトコル生成モデルを訓練することもできる。すなわち、走査プロトコル推奨モデルと走査プロトコル生成モデルを一体にして同時に学習することもでき、或いは、先に走査プロトコル推奨モデルを学習してパラメータを確定した後、走査プロトコル生成モデルを学習することもできる。
【0118】
また、走査プロトコル生成モデル作成手段50は、異なるアルゴリズムを用いて複数の走査プロトコル生成モデルを作成することができ、それにより、同一の検査に対して複数の新しい走査プロトコルを作成することができる。
【0119】
また、本実施形態は同一のマッピングネットワーク空間を使用する場合に限定されず、走査プロトコル推奨モデルと走査プロトコル生成モデルとがそれぞれ異なるネットワークマッピング空間を使用することもあり得る。
【0120】
次に、第3の実施形態のモデル訓練装置100bの全体処理について説明する。図21は、第3の実施形態に係るモデル訓練装置のモデル訓練過程を説明するためのフローチャートである。
【0121】
まず、モデル訓練処理の開始後、取得手段10は、既に実行された走査検査の情報と、この走査検査に使用された走査プロトコルの情報とを訓練データとして外部から取得し(ステップS2101)、次に、ステップS2102において、適合度真値特定手段20は、取得手段10に取得された訓練データに対して、訓練データの適合度の真値として適合度をラベリングする。
【0122】
次に、ステップS2103において、検査特徴計算モジュール31が訓練データの検査情報から検査特徴を計算し、走査プロトコル特徴計算モジュール32が、訓練データの走査プロトコル情報から走査プロトコル特徴を計算する(ステップS2104)する。そして、訓練モジュール33は、走査プロトコル推奨モデルを訓練し、訓練済みの走査プロトコル推奨モデルを生成して(ステップS2105)、走査プロトコル生成モデル作成手段50が、走査プロトコル生成モデルを訓練し、訓練済みの走査プロトコル生成モデルを生成する(ステップS2106)。次に、訓練済みの走査プロトコル推奨モデルと走査プロトコル生成モデルを記憶して(ステップS2107)、処理を終了する。
【0123】
図19の説明に戻り、走査プロトコル推奨装置200bは、訓練済みの走査プロトコル推奨モデル及び走査プロトコル生成モデルを用いて走査プロトコルの推奨を行うことができる。走査プロトコル推奨装置200bは、情報取得手段60と、スコアリング手段70と、走査プロトコル選択手段80と、走査プロトコル生成手段90と、表示手段110とを有する。
【0124】
このうち、情報取得手段60は、被検体を走査する検査の情報と候補走査プロトコルの情報を取得する。スコアリング手段70は、候補走査プロトコル毎に、検査の情報と候補走査プロトコルの情報をそれぞれ走査プロトコル推奨モデルに入力し、候補走査プロトコルと検査との適合度を出力する。走査プロトコル選択手段80は、候補走査プロトコルと検査との適合度に応じて、候補走査プロトコルの中から、検査に使用することを推奨される推奨走査プロトコルを選択する。
【0125】
第3の実施形態に係る情報取得手段60、スコアリング手段70及び走査プロトコル選択手段80の構成及び動作は、第1の実施形態と同じであるので、ここでは詳細な説明を省略する。
【0126】
走査プロトコル生成手段90は、モデル訓練装置100bが訓練済みの走査プロトコル生成モデルを用いて、検査の情報から新しい走査プロトコルを生成し、この新しい走査プロトコルを候補走査プロトコルとする。スコアリング手段70は、この新しい候補走査プロトコルに対しても同様の適合度スコアリングを行ってもよい。また、この新しい走査プロトコルを直接推奨走査プロトコルとして出力してもよい。
【0127】
表示手段110は、相関する情報をディスプレイに表示させるためのものである。例えば、推奨走査プロトコルを、この走査プロトコルと検査との適合度とともに表示する。ここで、推奨される走査プロトコルには、走査プロトコル生成手段90により生成された新しい走査プロトコルが含まれてもよく、表示手段110は、この新しい走査プロトコルを他の推奨走査プロトコルと区別して表示してもよい。
【0128】
図22は、第3の実施形態に係る走査プロトコル推奨装置の表示手段の表示例を示す模式図である。
【0129】
図22(a)に示すように、表示画面には、候補欄、選択済み欄、作成欄が表示されてもよい。例えば、候補欄には、候補走査プロトコルの識別子又は名称が表示され、選択済み欄には、走査検査に用いられる走査プロトコルの識別子又は名称が表示され、作成欄には、走査プロトコル生成手段90により作成された新しい走査プロトコルの識別子又は名称が表示され、該当するプロトコルの横に、このプロトコルと検査との適合度が表示されてもよい。このように、ユーザは、必要に応じて、候補欄及び作成欄における候補プロトコルを選択済み欄に追加したり、選択済み欄から走査プロトコルを削除したりすることができる。
【0130】
また、図22の(a)の例では、ユーザによる修正が可能な走査プロトコルの横に修正可能であることを示すアイコンが表示され、このアイコンまたは走査プロトコルのエントリをクリックすると、さらにプロトコルの編集画面を表示することができる。例えば、図22の(a)に表示されている作成欄における新しいプロトコル2のエントリにおけるペンの図形をクリックすると、図22(b)に示すような画面が表示される。この図22の(b)の画面には、新しいプロトコル2の情報が表示され、プロトコルにおける各情報の名称とパラメータがリストの形で示されており、操作者はスライダを移動することで他のパラメータをスクロール表示できると共に、パラメータを修正することができる。
【0131】
図23は、第3の実施形態に係る走査プロトコル推奨装置の走査プロトコル推奨処理を説明するためのフローチャートである。
【0132】
図23に示すように、情報取得手段60は、検査情報と候補走査プロトコル情報とを取得し(ステップS2301)、次に、走査プロトコル生成手段90は、訓練済みの走査プロトコル生成モデルを読み取り、スコアリング手段70は、訓練済みの走査プロトコル推奨モデルを読み取り(ステップS2302)、走査プロトコル生成手段90は、走査プロトコル生成モデルを用いて新しい走査プロトコルを新しい候補走査プロトコルとして生成し(ステップS2303)、それにより、スコアリング手段70は、走査プロトコル推奨モデルを用いて、受信した検査情報に対応する検査と候補走査プロトコルとの適合度を計算する(ステップS2304)。
【0133】
次に、走査プロトコル選択手段80は、候補走査プロトコルと検査との適合度に応じて推奨走査プロトコルを選択し(ステップS2305)、表示手段110がこれらの推奨の走査プロトコルの情報を表示する(ステップS2306)。
【0134】
なお、第3の実施形態では、走査プロトコル生成モデル作成手段50が「走査プロトコル生成モデル作成部」に対応し、走査プロトコル生成手段90が「走査プロトコル生成部」に対応する。
【0135】
第3の実施形態によれば、より適切な新しい走査プロトコルを生成して走査検査に用いることができるので、既存の走査プロトコルに制限されることなく、走査プロトコルをより検査情報に適して作成することができ、それにより、走査プロトコルの推奨をより精確に支援することができる。
【0136】
上述した実施形態に係る各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的な形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにより解析・実行されるプログラムで実現され、あるいは、ワイヤードロジックに基づくハードウェアとして実現され得る。
【0137】
また、上述した実施形態で説明したモデル訓練装置および走査プロトコル推奨装置は、それぞれ、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、インターネット等のネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク(FD)、CD-ROM、MO、DVDなどのコンピュータで読み取り可能な非一時的な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【0138】
ここで、モデル訓練装置と走査プロトコル推奨装置との間は有線又は無線の形態で接続して通信することができ、それによりモデル及びデータの伝送が行われる。また、モデル訓練装置が訓練済みのモデルを製品として記憶媒体等に記録して伝送して、この製品を走査プロトコル推奨装置にインストールして使用してもよい。
【0139】
以上説明した少なくとも一つの実施形態によれば、走査プロトコルの推奨をより精確に支援可能にすることができる。
【0140】
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0141】
10 取得手段
20 適合度真値特定手段
30 学習手段
31 検査特徴計算モジュール
32 走査プロトコル特徴計算モジュール
33 訓練モジュール
40 フィードバック情報取得手段
50 走査プロトコル生成モデル作成手段
51 エンコーダ
52 デコーダ
60 情報取得手段
70 スコアリング手段
80 走査プロトコル選択手段
90 走査プロトコル生成手段
100、100a、100b モデル訓練装置
110 表示手段
120 フィードバック手段
200、200a、200b 走査プロトコル推薦装置
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23