(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024162834
(43)【公開日】2024-11-21
(54)【発明の名称】画像診断報告書作成システム
(51)【国際特許分類】
G16H 15/00 20180101AFI20241114BHJP
G16H 30/20 20180101ALI20241114BHJP
【FI】
G16H15/00
G16H30/20
【審査請求】未請求
【請求項の数】4
【出願形態】OL
(21)【出願番号】P 2023078759
(22)【出願日】2023-05-11
(71)【出願人】
【識別番号】000173588
【氏名又は名称】公益財団法人がん研究会
(74)【代理人】
【識別番号】100179431
【弁理士】
【氏名又は名称】白形 由美子
(72)【発明者】
【氏名】鈴木 一洋
(72)【発明者】
【氏名】上田 和彦
(72)【発明者】
【氏名】小口 正彦
【テーマコード(参考)】
5L099
【Fターム(参考)】
5L099AA04
5L099AA26
(57)【要約】
【課題】効率的かつ精度の高い画像診断報告書の作成を支援し、画像や類似症例等の検索を容易に行うことのできるシステムを提供することを課題とする。
【解決手段】医用画像を参照するリーディングワークステーションとレポーティングシステムを備え、リーディングワークステーション上で画像診断報告書作成に必要な項目をメタデータとして入力できるようにすることで、視線を移動することなく、画像診断に必要な情報を抽出することができる。抽出された情報をレポーティングシステムに送信すると、レポーティングソフトウエアによって、所定の画像診断報告書の形式に合わせて入力されることから、効率的に画像診断報告書を作成することができる。
【選択図】
図1
【特許請求の範囲】
【請求項1】
画像診断報告書作成システムであって、
医用画像を参照するリーディングワークステーションと画像診断報告書を作成するレポーティングシステムを備え、
認証者により医用画像から抽出された情報は、リーディングワークステーション上においてメタデータとして医用画像に付与されることを特徴とする画像診断報告書作成システム。
【請求項2】
リーディングワークステーション上で入力された項目は、
レポーティングシステムに送信され、
レポーティングシステム内のレポーティングソフトウエアによって画像診断報告書の所定の項目に入力されることを特徴とする請求項1記載の画像診断報告書作成システム。
【請求項3】
前記認証者により医用画像から抽出された情報は、
自由文記入箇所以外は構造化された情報としてメタデータとして入力されていることを特徴とする請求項1又は2記載の画像診断報告書作成システム。
【請求項4】
医用画像から解剖学的構造を検出し、
医用画像が表示している臓器名及び/又は臓器内の領域を提示し、
前記表示している医用画像内の異常状態を検出し、異常状態が検出された場合には、疾患名の候補を提示する診断補助AIが備えられていることを特徴とする請求項3記載の画像診断報告書作成システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、医用画像を観察又は解析する装置等から得られた情報を画像診断報告書に円滑に記録するためのシステムに関する。
【背景技術】
【0002】
人体内部を画像として可視化する医用画像は、疾患の診断と治療に不可欠である。CTやMRIのみならず、単純X線写真、血管造影写真等もデジタル画像として運用されている。医用画像のデジタル化が普及したことにより、撮像デ-タをコンピュータで処理することが容易になった結果、新たな診断技術開発の速度が向上した。
【0003】
画像診断の発達に伴い、画像診断医が作成する画像診断報告書の重要性が急速に増加している。しかし、画像診断医が医用画像から得た所見を記録するシステムは、効率面で十分といえるものが未開発の状況にある。また、被検者の過去画像検索は報告書作成時にほぼ毎回行われることから、効率性と網羅性が重要であるものの、市場にあるシステムは現場の要求を満足しているとは言い難い。そのため、報告書作成の効率性を劇的に向上するシステムが求められている。
【0004】
前記課題への対応として、画像診断報告書を効率的に作成する方法や、画像データの検索方法が開示されている。特許文献1には、レポート(報告書)の少なくとも一部の形式や内容を指定するデータを構成するビルディングブロックを確立するための推論エンジンを備えることにより、効率的にレポートを作成することができるシステムが開示されている。特許文献2には、画像データに関する情報が記載されている読影レポートを構成する文字情報を、画像データの検索用のメタデータとして付与し、キーワード検索により簡便に類似画像や関連情報が検出できるシステムが開示されている。
【0005】
しかしながら、引用文献1に記載の方法は、医師の負担を軽減する可能性はあるものの、本質的に医師の作業効率を高めるものとはなっていない。また、引用文献2に記載のシステムは、医師が入力した情報がそのままメタデータとして使用されることになるため、医師による語の選択や記載の差異がそのまま反映されることになり、精緻な検索をするためには問題が生じていた。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特表2015-528959号公報
【特許文献2】特開2008-052544号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
CTやMRI等の撮像装置と、電子カルテシステムが別々に開発されてきたことから、撮影した画像を見るためのシステムと、画像から読み取った情報を記録するためのシステムは独立している(
図4(B)参照)。医師はリーディングシステムのソフトウエアウインドウ上で画像を観察し、画像から読み取った情報を、別のモニタ上に表示されるレポーティングシステムのソフトウエアウインドウに視線を移動させたのち、このウインドウ内の記述欄に所見を入力している(
図4(A)参照)。そのため、画像観察に戻る際、レポーティングシステムからリーディングシステムソフトウエアの操作対象切替操作と視線移動が必要である。このリーディングシステムのソフトウエアウインドウで医用画像を観察し、情報抽出の都度、レポーティングシステムのソフトウエアウインドウへ視線を移す作業は、一旦観察を中断→視線移動→抽出情報の記録→観察中断地点へ思考と視線の復帰→観察継続といった手順を情報抽出がなされる都度踏む必要がある。この手順の非効率さによる頻回の視線移動と思考中断は医師の疲労蓄積を招き、過誤リスクが増加すると考えられ、安全面で問題がある。また、抽出した情報を画像とともにリーディングシステム上に記録できないため、検索に使用することができず、蓄積された情報の二次利用に繋がりづらい。
【0008】
本発明は、上記課題を解決するために、医用画像を参照又は解析する装置において、情報を診療録、画像診断報告書等に入力可能なシステムを提供することを目的としている。加えて本発明は人工知能モデルまたは同モデルの出力を検証した解析結果など他のシステムで解析した結果もスムーズに記録、活用できるシステムを提供することを目的としている。
【課題を解決するための手段】
【0009】
本発明は画像診断報告書作成システムを構成する2つのサブシステム:1)医用画像を参照するリーディングワークステーションと2)画像診断報告書を作成するレポーティングシステムとの間の情報連携にある。この情報連携により、1)視線移動負荷軽減、2)過去画像検索負荷軽減、3)画像診断報告書情報の二次利用促進、が実現する。
【0010】
本発明は、以下の画像診断報告書作成システムに関する。
(1)画像診断報告書作成システムであって、医用画像を参照するリーディングワークステーションと画像診断報告書を作成するレポーティングシステムを備え、認証者により医用画像から抽出された情報は、リーディングワークステーション上においてメタデータとして医用画像に付与されることを特徴とする画像診断報告書作成システム。
本システムにおいては、医師は、リーディングワークステーション上に表示される医用画像を見ながら、医用画像から抽出された情報をリーディングワークステーション上で記録することができる。そのため、医用画像を観察し、情報抽出の都度、レポーティングシステムのソフトウエアウインドウへ視線を移す必要がなくなるため、医師の負担の軽減につながる。
【0011】
(2)リーディングワークステーション上で入力された項目は、レポーティングシステムに送信され、レポーティングシステム内のレポーティングソフトウエアによって画像診断報告書の所定の項目に入力されることを特徴とする(1)記載の画像診断報告書作成システム。
リーディングステーション上で入力された項目は、そのまま画像診断報告書の所定の項目に入力可能であることから、医師は画像診断報告書の形式に沿って、内容を確認すれば足りる。
【0012】
(3)前記認証者により医用画像から抽出された情報は、自由文記入箇所以外は構造化された情報としてメタデータとして入力されていることを特徴とする(1)又は(2)記載の画像診断報告書作成システム。
情報が構造化されていることから、同一患者における過去の経過、類似症例の検索等を簡単に行うことができる。
【0013】
(4)医用画像から解剖学的構造を検出し、医用画像が表示している臓器名及び/又は臓器内の領域を提示し、前記表示している医用画像内の異常状態を検出し、異常状態が検出された場合には、疾患名の候補を提示する診断補助AIが備えられていることを特徴とする(3)記載の画像診断報告書作成システム。
診断補助AIを搭載することにより、医師とAIとの双方で異常状態を検出することになり、見落としをなくし、診断精度を上げることが可能となる。
【図面の簡単な説明】
【0014】
【
図2】診断補助AIの解析処理の流れを示すフローチャート。
【
図3】レポーティングシステムによる画像診断報告書の作成の流れを示すフローチャート。
【
図4】従来の医用画像の参照と診療録作成を模式的に示す図。
【発明を実施するための形態】
【0015】
本明細書において、医用画像は、単純X線写真、コンピュータ断層画像(CT)、核磁気共鳴画像(MRI)、超音波断層画像(US)や、核医学検査、血管造影検査、内視鏡検査、病理組織学検査等、医療行為によって得られる画像を指す。以下において、これら医用画像を参照するために従来から用いられているシステムをリーディングシステムとし、これと区別するために本実施形態の医用画像参照システムをリーディングワークステーションと称する。また、本明細書では、画像診断の所見を記録する報告書を画像診断報告書と称する。画像診断報告書は、独立した報告書の場合だけではなく、医用画像から抽出した情報を直接診療録(電子カルテ)に記載する場合には、診療録も含むものとする。
【0016】
医用画像データの規格やその保管管理を行うシステムは、通常用いられている規格、及びシステムを用いることができる。医用画像データは、国際標準規格であるDigital Imaging and Communications in Medicine(DICOM)によって、保存、あるいは通信が行われている。その結果、複数メーカーの製品間における情報往還が容易となっている。また、DICOM画像にはこれに付随する患者情報、モダリティ、撮像装置名などがメタデータとして含まれている。本発明においても、医用画像データは特に記載しない限りはDICOM規格に準拠したデ-タを使用する。
【0017】
医用画像を保存しアクセスするシステムとしてPicture Archiving and Communication System(PACS)を使用することができる。PACSは、CTやMRIといった種々のモダリティにより撮影された医用画像データをネットワークを通じて受信し、保管と管理を行うシステムであり、国内外の多数の医療機関で導入されている。本システムは、既存の規格、システムを利用することができる。
【0018】
[実施態様1]
最初に本システムを用いて医用画像を見て画像診断報告書を作成するまでの流れを説明する(
図1)。撮像装置(10)から出力された医用画像は、PACSサーバ(20)に送信され(110)、保存され、報告書作成時に医師の操作(120)によってPACSサーバからリーディングワークステーション(30)に送信され(130)、医師の前にあるモニタに表示される。医師は、リーディングワークステーションのモニタ上で正常または異常を検知する。本システムを用いると医師は画像で検知した情報を個々の画像ファイルにメタデータとして付与できる。付与される情報には、以下に示すような所見の位置情報、所見に対する医師の判断(診断など)情報が含まれる。
【0019】
本実施形態では、これらの情報をリーディングワークステーション上で入力することができることが従来との大きな相違である。入力先を従来のレポーティングシステムからリーディングワークステーションに変更したことによりレポーティングソフトウエアへの操作切替と視線切替に要する医師の負荷を排除できる。
【0020】
リーディングワークステーションでの入力は、いくつかの選択肢の中から選択し入力できるようになっており、データの構造化を図ることが可能となる。また、選択肢やテンプレートになじまない内容は自由記載欄に記入することができる。また、場合によっては、音声入力し音声データからAIを用いて自動的に文字に変換し、記録できるようにしてもよい。以下に、リーディングワークステーション上で入力する項目の例について説明する。
【0021】
[入力項目の例]
(A)出力内容の入力者に関する認証情報
(1)認証の有無、(2)認証日時、(3)認証者、(4)認証歴(改版歴)
認証の有無は、医師がすでに認証、すなわち画像診断を行ったかを示す項目であり、認証者が認証をした時点で、認証日時とともに入力される。認証者(入力医師)の本人確認、入力日及び入力時刻(認証日時)、入力内容改版時刻(認証歴)はレポーティングシステムのログイン情報をリーディングワークステーションシステムへ転送することで被認証者確認を終えたこととする。この場合、認証の主体者はシステムとする。時刻の刻印は入力者が入力完了の操作を行った時刻とする。あるいは、認証した医師がこれらの情報をタブ等により選択し、入力するようにしてもよい。認証歴は、例えば、経過観察を行っている場合、過去の画像を再度参照し、内容を変更した場合に加えられる。この場合は、改変者は同一医師のほか、他の医師の可能性もある。
【0022】
(B)異常陰性情報
本システムでは、医師が異常陽性と判断した範囲を、リーディングワークステーション上で記録することができる(以下の項目C参照)が、医師が異常陰性と判断した範囲や臓器に関しての記録も医療上欠かせない。本システムでは異常陰性情報を構造化して記録する。
【0023】
(C)異常領域の位置情報
本システムでは医師が記録した異常領域の位置情報を保存する。医師が異常と認めた範囲は、画像上で線等により囲みマーキングすることが可能である。それにより、異常領域の輪郭や中心座標がメタデータとして記録される。また、画像自体にも画像のID、例えば検査番号、シリーズ番号、イメージ番号等が、すでにメタデータとして付与されている。異常領域が含まれる臓器名、臓器内区域名または区分名は、医師が該当する臓器名等を選択によって入力することができる。また、医療機器から画像を受信後、画像内の解剖学的部位、例えば、肺、骨、肝臓等を自動的に抽出し、さらに異常を検出する診断補助AIを備えれば、異常領域が含まれる臓器名や、異常領域が含まれる臓器内区域名または区分名を自動的に候補として挙げることができるようになり、医師は異常領域が含まれる臓器名や臓器内区域名、区分名を確認し入力するだけでよい。異常臓器や領域を入力することにより、後に記載する診断の際に疾患候補として選択項目に上がってくる疾患名の順序はソフトウエアにより絞り込みが行われ、各領域で罹患数の多い順に表示される。
【0024】
(D)異常領域を構成する画素が有する画素値情報
医用画像において、異常領域は固有の画素値を有している。本システムでは医師が記録した異常領域に含まれる画素値を保存する。
【0025】
(E)異常領域の経過情報
(1)異なる画像における異常領域の紐づけ情報
1.異常領域の一覧、2.異常領域のメタデータ
(2)変化の情報
1.径、面積、体積、2.画素値
(3)変化の時間情報
医療では“異常”と判断された領域(病変)は医療介入(治療)の有無を問わず観察が継続され、その後の変化とその内容が記録される。本システムでは過去検査で記録された異常領域が報告書作成対象検査上の異常領域と同一であるとの画像解析計算結果が出力された場合、両者が紐づけされる。加えてそれら異常領域が保有する画素と画素値由来の情報の経時変化が出力される。この画素値由来情報は画素値とその配列の統計学的特徴を指す。この統計学的特徴を異常領域に含まれる画素値の代表値として用い、経時変化の解析に活用する。
【0026】
(F)異常領域に対する医師の判断の記録
本システムでは異常領域に対する診断名をはじめとする医師の判断が記録される。その大半は構造化された状態で記録される。構造化になじまないものに関しては自由文入力が許容される。
【0027】
(G)異常領域に対する対処または対処案(精査手段、経過観察手段、経過観察予定日時)
本システムでは異常領域に対する医師の判断に加え、対象または対処案を記録する。その大半は構造化して記録される。構造化になじまない場合は自由文入力も許容される。
【0028】
リーディングワークステーション上で以上の記録が完了した後、医師が付与した情報はメタデータとし、データをDICOMファイルに加えた新たな形式のファイル、あるいはDICOMファイルのヘッダー部分にメタデータが記入された新たなDICOMファイルが産出される。メタデータが付与された新たなファイルはPACSサーバに保存される(140)。医師が後日画像を確認する際には、入力されたデータが付与された画像を呼び出すことができる(150)。
【0029】
画像診断報告書への入力は、医師の送信指令により、上記情報がレポーティングシステムに送信されることによって行われる(160)。送信された情報は、レポーティングソフトウエアによって、画像診断報告書の各記入項目に形式に沿って自動的に入力される。リーディングワークステーション上で入力された情報は、自由記載箇所以外は、選択タブ等によって選択された構造化された情報となっている。一方、画像診断報告書や電子カルテの記入欄も、構造化されていることから、自動的に所定の形式に落とし込まれ、入力される。医師は、レポーティングシステム上で作成された書類を確認し、さらに記入の必要な事項があれば記入したうえで、医療機関内の構造化診療データベースに格納する(170)。構造化診療データベースに格納された画像診断報告書等の書類は、他の医療従事者も端末から確認できるので(180、190)、患者情報を共有することが可能である。
【0030】
[実施態様2]
本システムでは過去検査で記録された異常領域が一覧表示される。またこのリストから異常領域を選択するとリーディングワークステーション上にその異常領域を含有する画像が引き当てられ即時表示される。加えて該当する領域を含む画像が報告書作成対象検査でも表示される。この機能により、医師は過去に記録された異常領域のレビューと報告書作成対象検査までの変化を網羅的かつ迅速に比較できる。さらに領域が保有する画素由来の情報を加味した統計的比較が可能である。
【0031】
[実施態様3]
本システムでは、メタデータに記載されている語を検索することにより、類似症例を検索することが可能である。上述のように、付与されているメタデータは、医師が選択肢やテンプレートによって入力しているので、構造化されたデータとなっている。したがって、類似症例を検索する場合も、キーワードを入力して、検索すれば、検索対象とする症例を漏れなく抽出することができる。また、画像には、異常領域の範囲等、医師が画像診断報告書を作成する際に入力した情報が付与されていることから、必要な情報をすぐに抽出することができる。
【0032】
[実施態様4]
診断補助AIの機能について説明する(
図2)。上述のように、本システムには診断補助AIを備えることにより、リーディングワークステーションでの入力をより効率的に行うことができる。診断補助AIは、リーディングワークステーション内に設けても外部に設けても良い。医師が認証するために画像をリーディングステーションに呼び出すと(S1)、予め種々の領域の画像、及び領域ごとに生じ得る異常状態を学習させた診断補助AIが起動する(S2)。診断補助AIは、対象画像がどの臓器に属しているか、その解剖学的構造を検出し(S3)、解剖学的領域を判定(S4)したのちに、判定した解剖学的領域ごとに異常状態を判定するための適切な診断補助AIを自動選択し、AIの出力結果を表示する。診断補助AIの結果はリーディングステーションのモニタに表示され(S5)、医師は表示された結果を確認し(S6)、表示結果が正しければ承認し、正しくなければ再度判定を行わせる。表示した臓器名・異常状態等が承認された場合には、結果はシステム上の任意の場所に一時保存される。医師がその後リーディングワークステーション上で、検討項目を入力する際、例えば、異常領域の詳細について入力を行う際に、判定した解剖学的領域にしたがって、選択肢が表示される(S7)。例えば、診断補助AIが、画像が示す領域が「肺」であると判定した場合には、選択肢は「肺」に関する疾患名のうち、診断補助AIの結果と特徴量の一致度が高い「肺」で多い疾患名から順に表示されるようにプログラムされている。
【0033】
医師の入力がすべて終了した後は、医師が付与したメタデータに沿って、画像診断報告書を作成することができる(
図3)。医師が付与したメタデータは、レポーティングソフトウエアによって取得される(S11)。画像診断報告書の構造化されている項目は、リーディングワークステーション上で入力したメタデータの項目から、レポーティングソフトウエアによって自動的に入力される(S12)。しかし、自由文で記入されるべき箇所は医師が埋める必要がある。診断補助AIには、予め自由文記載箇所が提示されており、記載するためにどのような項目を抽出し、何を記載するかを学習させている。診断補助AIは自由文記載箇所を抽出し(S13)、入力された項目から報告に必要な項目を抽出し(S14)、診断所見を作成する(S15)。作成された所見は医師によって、加筆修正された後(S16)に、画像診断報告書の所定箇所に出力するようにプログラムされている(S17)。医師は最終的に画像診断報告書を確認し、必要があれば修正のうえ、報告書を完成させることができる。また、診断補助AIは、医師が修正した自由文の箇所を学習することによって、医師の文調に沿った報告書を出力できるように学習していく。したがって、最終的には、医師はリーディングワークステーション上で必要項目を入力すればよく、あとは、レポーティングソフトウエアにより作成された報告書を確認すれば済む。
【0034】
上記方法によれば、医師はリーディングワークステーション上で、画像を参照しながら、画像参照と所見記録の作業を一体で行うことができるので、読影作業を効率的に行うことができる。同一画面上での報告書作成は、時間の短縮につながるだけではなく、報告書作成の際の転記ミス等を防ぐことができる。また、画像とともにメタデータとして、種々の情報を記録することが可能であるので、過去のデータとの比較や、類似症例の検索をメタデータを利用して行うことができる。