特許 7319256 補遺ベースのレポート品質スコアカード作成

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-24

(45)【発行日】2023-08-01

(54)【発明の名称】補遺ベースのレポート品質スコアカード作成

(51)【国際特許分類】

   G06F 40/253 20200101AFI20230725BHJP

   G06F 40/194 20200101ALI20230725BHJP

   G16H 15/00 20180101ALI20230725BHJP

   G16H 30/00 20180101ALI20230725BHJP

【ＦＩ】

G06F40/253

G06F40/194

G16H15/00

G16H30/00

【請求項の数】 15

(21)【出願番号】P 2020519348

(86)(22)【出願日】2018-10-08

(65)【公表番号】

(43)【公表日】2020-12-17

(86)【国際出願番号】 EP2018077285

(87)【国際公開番号】W WO2019068925

(87)【国際公開日】2019-04-11

【審査請求日】2021-10-07

(31)【優先権主張番号】62/568,836

(32)【優先日】2017-10-06

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．

【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ

(74)【代理人】

【識別番号】110001690

【氏名又は名称】弁理士法人Ｍ＆Ｓパートナーズ

(72)【発明者】

【氏名】セブンスター メルライン

【審査官】長 由紀子

(56)【参考文献】

【文献】米国特許出願公開第２０１７／０２０６３１７（ＵＳ，Ａ１）

【文献】特開２０１２－０６３９１９（ＪＰ，Ａ）

【文献】国際公開第２０１２／０３２７３４（ＷＯ，Ａ１）

【文献】特開２０１１－１２５４０２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／００５３０７４（ＵＳ，Ａ１）

【文献】特開２０１７－１０７５５３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ４０／００－５８

Ｇ１６Ｈ １０／００ － ８０／００

(57)【特許請求の範囲】

【請求項1】

１つ以上の電子プロセッサを含み、読影レポートの処理を向上させるシステムであって、
前記１つ以上の電子プロセッサは、
データベースからオリジナルの読影レポートを取得し、
前記データベースから前記オリジナルの読影レポートに対応する補遺付き読影レポートを取得し、
前記オリジナルの読影レポートを前記補遺付き読影レポートと比較して、前記オリジナルの読影レポートと前記補遺付き読影レポートとの１つ以上の相違点を決定し、
前記１つ以上の相違点の各相違点にクラスを割り当てることにより、各相違点を分類し、
各相違点について、当該相違点に割り当てられた前記クラス及びコンテキストパラメータに関連付けられるスコアを割り当て、前記スコアは、前記相違点によって示される前記オリジナルの読影レポートにおけるエラー又は見落としの重大度をランク付けするものであり、
表示デバイスを制御して、前記スコアの少なくとも１つを使用して計算される前記オリジナルの読影レポートの品質評価スコアを表示し、
前記コンテキストパラメータは、
前記オリジナルの読影レポートの完成時間と前記補遺付き読影レポートの完成時間との時間差、
レポートは緊急性が高いものであったかどうか、及び、
前記補遺付き読影レポートは、前記オリジナルの読影レポートの作成者によって作成されたかどうか、
のうちの１つ以上を含む、システム。

【請求項2】

前記１つ以上の電子プロセッサは、前記オリジナルの読影レポート及び前記補遺付き読影レポートを別個の文書として取得する、
請求項１に記載のシステム。

【請求項3】

前記１つ以上の電子プロセッサは、前記オリジナルの読影レポート及び前記補遺付き読影レポートを単一文書として取得し、前記単一文書において、前記オリジナルの読影レポートと前記補遺付き読影レポートとの前記１つ以上の相違点は、前記単一文書への注釈によって示される、
請求項１に記載のシステム。

【請求項4】

前記１つ以上の電子プロセッサは更に、自然言語処理アルゴリズムを適用して、前記オリジナルの読影レポートを前記補遺付き読影レポートから分離する、
請求項３に記載のシステム。

【請求項5】

前記コンテキストパラメータは、
前記オリジナルの読影レポートの前記完成時間と前記補遺付き読影レポートの前記完成時間との前記時間差、
前記レポートは緊急性が高いものであったかどうか、及び、
前記補遺付き読影レポートは、前記オリジナルの読影レポートの前記作成者によって作成されたかどうか、
の全てを含む、
請求項１から４のいずれか一項に記載のシステム。

【請求項6】

前記１つ以上の電子プロセッサは更に、
前記１つ以上の相違点が２つ以上の相違点を含む場合、前記オリジナルの読影レポートにおけるエラー又は見落としの一番高い重大度をつけた前記割り当てられたスコアとして、前記オリジナルの読影レポートの前記品質評価スコアを作成する、
請求項１から５のいずれか一項に記載のシステム。

【請求項7】

前記１つ以上の電子プロセッサは更に、前記表示デバイスを制御して、セクション固有のビューを表示し、
前記セクション固有のビューは、
腹部固有のビュー、
胸部固有のビュー、及び、
神経固有のビューを含み、
前記１つ以上の電子プロセッサは更に、前記表示デバイスを制御して、年功序列固有のビューを表示し、
前記年功序列固有のビューは、
研修医固有のビュー、
フェロー固有のビュー、及び、
シニア専門医固有のビューを含む、
請求項１から６のいずれか一項に記載のシステム。

【請求項8】

前記１つ以上の電子プロセッサは、
検出されたキーワードの数及び検出されたフレーズの数をカウントすることと、
検出されたキーワードの前記数及び検出されたフレーズの前記数に関連付けられるクラスを各相違点に割り当てることと、
によって、各相違点を分類する、
請求項１から７のいずれか一項に記載のシステム。

【請求項9】

前記１つ以上の電子プロセッサは更に、
誤字修正を表す少なくとも１つのクラス、
測定値の追加又は修正を表す少なくとも１つのクラス、及び、
放射線所見の追加又は修正を表す少なくとも１つのクラス、
を含むクラスセットの一要素であるクラスに属するものとして、各相違点を分類する、
請求項１から８のいずれか一項に記載のシステム。

【請求項10】

放射線所見の追加又は修正を表す前記少なくとも１つのクラスは、
良性所見の追加又は修正を表す少なくとも１つのクラス、及び、
悪性の可能性のある所見の追加又は修正を表す少なくとも１つのクラス、
を含み、
悪性の可能性のある所見の追加又は修正を表す前記少なくとも１つのクラスに割り当てられた任意の相違点には、良性所見の追加又は修正を表す前記少なくとも１つのクラスに割り当てられた任意の相違点よりも重大度が高いスコアが割り当てられる、
請求項９に記載のシステム。

【請求項11】

読影レポートの処理を向上させるために、１つ以上の電子プロセッサによって行われる方法であって、前記方法は、
データベースからオリジナルの読影レポートを取得するステップと、
前記データベースから前記オリジナルの読影レポートに対応する補遺付き読影レポートを取得するステップと、
前記オリジナルの読影レポートと前記補遺付き読影レポートとの１つ以上の相違点を決定するように前記オリジナルの読影レポートを前記補遺付き読影レポートと比較するステップと、
前記１つ以上の相違点の各相違点にクラスを割り当てることにより、各相違点を分類するステップと、
各相違点について、当該相違点に割り当てられた前記クラス及びコンテキストパラメータに関連付けられるスコアを割り当てるステップであって、前記スコアは、前記相違点によって示される前記オリジナルの読影レポートにおけるエラー又は見落としの重大度をランク付けする、ステップと、
前記スコアの少なくとも１つを使用して計算される前記オリジナルの読影レポートの品質保証スコアを表示するように表示デバイスを制御するステップと、
を含み、
前記コンテキストパラメータは、
前記オリジナルの読影レポートの完成時間と前記補遺付き読影レポートの完成時間との時間差、
レポートは緊急性が高いものであったかどうか、及び、
前記補遺付き読影レポートは、前記オリジナルの読影レポートの作成者によって作成されたかどうか、
のうちの１つ以上を含む、方法。

【請求項12】

前記オリジナルの読影レポート及び前記補遺付き読影レポートは、別個の文書として取得される、
請求項１１に記載の方法。

【請求項13】

前記オリジナルの読影レポート及び前記補遺付き読影レポートは、単一文書として取得され、前記単一文書において、前記オリジナルの読影レポートと前記補遺付き読影レポートとの前記１つ以上の相違点が、前記単一文書への注釈によって示される、
請求項１１に記載の方法。

【請求項14】

前記オリジナルの読影レポートを前記補遺付き読影レポートから分離するために、自然言語処理アルゴリズムを適用するステップを更に含む、
請求項１３に記載の方法。

【請求項15】

前記コンテキストパラメータは、
前記オリジナルの読影レポートの前記完成時間と前記補遺付き読影レポートの前記完成時間との前記時間差、
前記レポートは緊急性が高いものであったかどうか、及び、
前記補遺付き読影レポートは、前記オリジナルの読影レポートの前記作成者によって作成されたかどうか、
の全てを含む、請求項１１から１４のいずれか一項に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

以下は、医療技術、放射線技術及び関連技術に関し、特に読影レポート技術に関する。

【背景技術】

【0002】

医療機関、臨床部門及び医療ケア機関の他の側面のパフォーマンス評価を提供する様々な商用ツールが存在する。例えばＰｅｒｆｏｒｍａｎｃｅＢｒｉｄｇｅ Ｓｏｌｕｔｉｏｎｓ（オランダのアイントホーフェンにあるコーニンクレッカフィリップス社から入手可能）は、臨床ワークフローを評価及び向上させるために専門サービス、データ分析ツール等を提供する。

【発明の概要】

【発明が解決しようとする課題】

【0003】

この業務用分野では、放射線部門によって発行された読影レポートの品質をより実証的に評価する必要がある。しかし、このような評価は、スループットや定性的なピアレビューといった従来の基準の有用性を制限する放射線読影の高度に専門化された性質のために困難である。それとは反対に、読影レポートの品質評価は、意味のある評価を提供するために必要な高度に専門化された専門知識を持つ放射線科医によって行われることが理想的である。しかし、放射線科医をこのような品質レビュー任務に効果的に採用することは難しい場合がある。１つの問題は、熟練の放射線科医が生産的な放射線読影や他の患者ケアに関連するタスクから品質レビューの補助的な任務に回される場合のコスト及び効率への悪影響である。もう１つの潜在的な問題は、放射線科医が同じ部門で働いている別の放射線科医の仕事を批評したがらない場合があることである。契約放射線科医を外部から雇うことによって、後者の問題を軽減することができるが、それでもより高いコストを伴う。

【課題を解決するための手段】

【0004】

一態様によれば、読影レポートの処理を向上させるシステムは、１つ以上の電子プロセッサを含む。１つ以上の電子プロセッサは、データベースからオリジナルの読影レポートを取得し、データベースからオリジナルの読影レポートに対応する補遺付き読影レポートを取得し、オリジナルの読影レポートを補遺付き読影レポートと比較して、オリジナルの読影レポートと補遺付き読影レポートとの１つ以上の相違点を決定し、１つ以上の相違点の各相違点にクラスを割り当てることにより、各相違点を分類し、相違点に割り当てられたクラスに基づいて、各相違点について、相違点によって示されるオリジナルの読影レポートにおけるエラー又は見落としの重大度をランク付けするスコアを割り当て、表示デバイスを制御して、スコアの少なくとも１つを使用して計算されるオリジナルの読影レポートの品質評価スコアを表示する。

【0005】

前段で説明したシステムにおいて、１つ以上のプロセッサは更に、オリジナルの読影レポート及び補遺付き読影レポートを別個の文書として受信してよい。システムにおいて、１つ以上のプロセッサは更に、オリジナルの読影レポート及び補遺付き読影レポートを単一文書として受信してよい。１つ以上のプロセッサは更に、自然言語処理アルゴリズムを適用して、オリジナルの読影レポートを補遺付き読影レポートから分離してよい。１つ以上のプロセッサは更に、コンテキストパラメータに更に基づいて各相違点のスコアを割り当ててよい。コンテキストパラメータは、オリジナルの読影レポートの完成時間と補遺付き読影レポートの完成時間との時間差、レポートは緊急性が高いものであったかどうか、及び、補遺付き読影レポートがオリジナルのレポートの作成者によって作成されたかどうかのうちの１つ以上を含む。１つ以上のプロセッサは更に、１つ以上の相違点が２つ以上の相違点を含む場合、オリジナルの読影レポートの品質評価スコアを、オリジナルの読影レポートにおけるエラー又は見落としの重大度が最も高い割り当てられたスコアとして作成してよい。１つ以上のプロセッサは更に、表示デバイスを制御して、腹部固有のビュー、胸部固有のビュー及び神経固有のビューを含むセクション固有のビューを表示し、また、表示デバイスを制御して、研修医固有のビュー、フェロー固有のビュー及びシニア専門医固有のビューを含む年功序列固有のビューを表示してよい。１つ以上のプロセッサは更に、検出されたキーワードの数及び検出されたフレーズの数をカウントし、検出されたキーワードの数及び検出されたフレーズの数に基づいて、クラスを各相違点に割り当てることによって、各相違点を分類してよい。

【0006】

別の態様によれば、読影レポートの処理を向上させるために、１つ以上の電子プロセッサによって行われる方法は、データベースからオリジナルの読影レポートを取得するステップと、データベースからオリジナルの読影レポートに対応する補遺付き読影レポートを取得するステップと、オリジナルの読影レポートと補遺付き読影レポートとの１つ以上の相違点を決定するようにオリジナルの読影レポートを補遺付き読影レポートと比較するステップと、１つ以上の相違点の各相違点にクラスを割り当てることにより、各相違点を分類するステップと、相違点に割り当てられたクラスに基づいて、各相違点について、相違点によって示されるオリジナルの読影レポートにおけるエラー又は見落としの重大度をランク付けするスコアを割り当てるステップと、スコアの少なくとも１つを使用して計算されるオリジナルの読影レポートの品質保証スコアを表示するように表示デバイスを制御するステップとを含む。

【0007】

前段で説明した方法は更に、オリジナルの読影レポートと補遺付き読影レポートとを別個の文書として受信されるステップを含んでよい。方法は更に、オリジナルの読影レポート及び補遺付き読影レポートが単一文書として受信されるステップを含んでよく、オリジナルの読影レポートと補遺付き読影レポートとの１つ以上の相違点は、単一文書への注釈によって示される。方法は更に、自然言語処理アルゴリズムを適用して、オリジナルの読影レポートを追加の読影レポートから分離するステップを含んでよい。方法は更に、コンテキストパラメータに更に基づいてスコアが割り当てられるステップを含んでよく、コンテキストパラメータは、オリジナルの読影レポートの完成時間と補遺付き読影レポートの完成時間との時間差、レポートは緊急性が高いものであったかどうか、及び、補遺付き読影レポートは、オリジナルの読影レポートの作成者によって作成されたかどうかを含む。方法は更に、１つ以上の相違点が２つ以上の相違点を含むことに応答して、オリジナルの読影レポート（１００）の品質評価スコアを、オリジナルの読影レポートにおけるエラー又は見落としの重大度が最も高い割り当てられたスコアとして作成する。

【0008】

方法は更に、腹部固有のビュー、胸部固有のビュー及び神経固有のビューを含むセクション固有のビューを表示するように表示デバイスを制御するステップと、研修医固有のビュー、フェロー固有のビュー及びシニア専門医固有のビューを含む年功序列固有のビューを表示するように表示デバイスを制御するステップを含んでよい。方法は更に、検出されたキーワードの数及び検出されたフレーズの数をカウントするステップと、検出されたキーワードの数及び検出されたフレーズの数に基づいて、クラスを各相違点に割り当てるステップとを含んでよい。

【0009】

更に別の態様によれば、読影レポートの処理を向上させるシステムは、オリジナルの読影レポートを受信し、オリジナルの読影レポートに対応する補遺付き読影レポートを受信し、オリジナルの読影レポートを補遺付き読影レポートと比較して、オリジナルの読影レポートと補遺付き読影レポートとの１つ以上の相違点を決定する変更検出エンジンを含む。システムは更に、クラスを１つ以上の相違点の各相違点に割り当てることにより、各相違点を分類する分類エンジンを含む。システムは更に、相違点に割り当てられたクラスに基づいて各相違点にスコアを付ける重大度決定エンジンを含む。システムは更に、表示デバイスを制御して、スコアの少なくとも１つを表示するスコアカード決定エンジンを含む。

【0010】

前段で説明したシステムにおいて、変更検出エンジンは更に、オリジナルの読影レポートと補遺付き読影レポートと別個の文書として受信してよい。システムにおいて、変更検出エンジンは更に、オリジナルの読影レポート及び補遺付き読影レポートを単一文書として受信してよい。システムにおいて、変更検出エンジンは更に、自然言語処理アルゴリズムを適用して、オリジナルの読影レポートを補遺付き読影レポートから分離してよい。

【0011】

本発明は、様々なコンポーネント及びコンポーネントの構成、また、様々なステップ及びステップの構成の形を取ってよい。図面は、好適な実施形態を例示するに過ぎず、本発明を限定するものと解釈されるべきではない。

【図面の簡単な説明】

【0012】

【図1】図１は、オリジナルの読影レポートの一例を示す。

【図2】図２は、補遺付き読影レポートの一例を示す。

【図3】図３は、好適な実施形態を図示する。

【図4】図４は、方法の好適な実施形態を図示する。

【発明を実施するための形態】

【0013】

放射線解釈（放射線読影とも呼ばれる）の最終成果物は、読影レポートであり、これは、通常、完全に又は主に、診察所見及び主な結論を記載したフリーテキストの文書である。実際には、読影レポートには品質の面で非常に大きなばらつきがある。したがって、レポート品質の概念を客観的かつ定量化可能にすることは困難である。本明細書において説明するアプローチは、必然的に生じるレポートのエラー及び見落としが１つ以上の補遺を使用して訂正されるという洞察を活用する。例えば説明するアプローチには、補遺の変更を捕捉し、それらを分類し、その分析に基づいてスコアカードを作成することが含まれる。

【0014】

最初に発行された読影レポートが後日修正されることは比較的一般的である。これは、誤字訂正や、所見の見落としといった深刻な問題又は所見の間違いといったより深刻な問題の修正のために行われる。別のシナリオでは、読影レポートは、最初の読影時には利用可能ではなかった追加情報を盛り込むために後で修正される場合もある。例えば生検結果が利用可能になった時点で追加されて、より充実した読影レポートが提供される。したがって、オリジナルのレポートに修正があること自体は、オリジナルの読影レポートにエラーがあったことを示すものではない。これを考慮するために、本明細書において開示する品質評価の実施形態では、補遺が追加されたレポートとオリジナルのレポートとの相違点（即ち、補遺）が、クラスセットのうちのクラスに分類される。クラスには、例えば誤字訂正や補助材料の追加（これらはレポートの実質的な問題を示すものではない相違点である）を表すクラスや、見落とした又は誤った良性所見（腫瘍学の設定では、これらはより深刻な相違点ではあるが、レポートの臨床的価値に強く影響しない）を表すクラスや、見落とした又は誤った悪性所見（これらは、誤診又は同様の臨床エラーを引き起こす可能性があるため、腫瘍学の設定では最も深刻な相違点である）を表すクラスが含まれる。次に、品質評価は、各相違点に、そのクラスに基づいて（また、幾つかの実施形態では、他の情報に基づいて）スコアを付けて、当該相違点によって示されるオリジナルの読影レポートにおけるエラー又は見落としの重大度をランク付けする。（なお、オリジナルの読影レポートが作成された時点では利用できなかった補助材料を追加する補遺といった一部の場合では、スコアによって重大度は「ゼロ」、つまり、エラー又は見落としを表すものではないとランク付けされる）。

【0015】

既存の慣例では、修正は、補遺によって実施されている。より具体的には、補遺を通じて医療記録管理の完全性を維持するために、オリジナルの読影レポートが放射線情報システム（ＲＩＳ）又は画像保管通信システム（ＰＡＣＳ）に保存され、修正を含む新しい文書（又は文書バージョン）は、「ＡＤＤＥＮＤＵＭ ＳＴＡＲＴＳ ＨＥＲＥ（補遺はここから開始）」、「ＡＤＤＥＮＤＵＭ ＥＮＤＳ ＨＥＲＥ（補遺はここで終了）」といった標準的な注記でフラグ付けされて作成されることが好適である。オリジナルの読影レポートを保持することによって、放射線検査履歴を監査可能にすること、場合によっては、医療記録保持ポリシー及び／又は政府規制の順守といった様々な目的に役立つ。

【0016】

より一般的には、現行の医療業務では、重きが量から価値に置かれるようになってきており、このため、ケア提供者の付加価値を定量化するための新しいメトリックが開発されている。この転換は、放射線科医や放射線部門には特に混乱を生じさせる。なぜなら、これらの放射線科医又は放射線部門は基本的に別の放射線科医又は別の放射線部門によって提供される可能性のあるサービスを委託医師に提供するからである。

【0017】

本明細書において説明するアプローチは、レポート品質の概念を客観的かつ定量化可能にすることの難しさを含む多くの問題を解決する。考えられるアプローチの１つは、曖昧で決定的でないフレーズの意図的ではあるが不適切な使用であるヘッジ言語（hedging language）の使用に注目するか、又は、推奨事項の完全性を評価しようとする場合がある。しかし、曖昧で決定的でない言葉が適切で、不完全な推奨事項が完全な推奨事項と同じくらい役立つ場合もある。つまり、レポートの品質は、個々のレポートの品質を評価するために形式化することが不可能ではないにしても難しい、より大きなコンテキストに大きく依存する。

【0018】

本明細書において説明するアプローチは、必然的に生じるレポートのエラー及び見落としが補遺を使用して修正されるという洞察を活用する。これらの補遺は、放射線科医の通常の生産的な放射線読影又はその他の患者ケア関連のタスクの過程で放射線科医によって入力されるため、放射線部門の放射線科医に追加のワークロードを課すことなく利用することができる。開示するアプローチは、これらの補遺を活用することにより、放射線科医からの品質評価を、そのような評価を行うことで放射線科医に積極的に負担をかけることなく提供することができる。補遺の変更を捕捉し、それらを分類し、この分析に基づいてスコアカードを作成する方法が開示される。

【0019】

レポートに補遺が追加されると、補遺ヘッダー及び補遺フッターによって分けられるオリジナルのレポートの２つの逐語的コピーを含む新しいレポートが作成される。放射線科医は、１つのコピーの言葉を調整し、もう１つのコピーは委託医師が参照できるようにそのままにしておく。例えば図１は、オリジナルのレポート１００を示す。「ＣＣＣ」の行を「ＸＸＸ」に変えることによってオリジナルのレポート１００に補遺が追加されると、図２に示すように、補遺付き読影レポート２００が作成される。図２の例では、補遺付きレポート２００は、補遺２１０とオリジナルの文書２２０との両方を含む。

【0020】

概して、本明細書において開示されるアプローチは、品質管理評価のために補遺を活用する。各補遺が検出され、オリジナルの読影レポートと補遺付き読影レポートとが比較されて、修正（通常、追加された材料、編集された材料、削除された材料又はこれらの一部の組み合わせ）が特定される。修正は、キーワード、修正のタイプ（例えば追加、削除、文法編集、単語レベルの編集等）又は修正の他の特徴に基づいてそのタイプに関して分類される。例として、所与の修正は、「誤字訂正」、「測定値の見落とし」、「補助臨床データの追加」、「良性の所見の見落とし」、「悪性の可能性のある所見の見落とし」、「病理結果との相関の見落とし」等に分類される。各修正には、その分類に基づいて重大度スコアが割り当てられる。任意選択的に、修正を加える人のアイデンティティといった他の情報を使用して、クラスベースのスコアを上下に調整することができる。例えば放射線部門の責任者が修正を行った場合、責任者であれば深刻な間違いを補正するためにしか修正を行わないであろうという根拠に基づいて、重大度スコアは上方に調整される。補遺レポートに２つ以上の修正が含まれている場合、補遺レポートのスコアは、複数の修正の最も重要な（例えば最も高い）重大度スコアと見なされる。このようにして、全体的なスコアは、レポートの中で最も重大なエラーを示す。結果の重大度スコアは、放射線科医によって、勤務シフトによって又は他の基準に基づいて集計されて、放射線科職員の評価、トレーニング等といった目的に実用的なデータ分析が生成される。

【0021】

図３を参照すると、放射線情報システム（ＲＩＳ）３００は、オリジナルのレポートと補遺付きレポートとの両方を含む読影レポート３１０を保存する。ＲＩＳ３００は、ネットワークベースのデータベース等として具体化されてよい。「ＲＩＳ」は、読影レポート及び他の放射線関連データを保存するデータベースの一般的に使用される用語であるが、放射線データベースは、他の用語で呼ばれてもよく、例えば画像保管通信サービス（ＰＡＣＳ）又は他の用語で呼ばれてよい。変更検出エンジン３２０は、補遺付きレポートを取得し、オリジナルのレポートに対する変更を検出するエンジンである。より具体的には、変更検出エンジン３２０は、補遺付きレポート及びそのオリジナルのレポートを取得する。一例（シナリオＡ）では、変更検出エンジン３２０は、図２の例のように補遺とオリジナルのレポートとの両方を含む単一の文書で動作する。別の例（シナリオＢ）では、補遺とオリジナルのレポートとは、２つの物理的に異なる文書であり、例えば読影レポートの異なるバージョンとして保存される。

【0022】

シナリオＡでは、自然言語処理エンジン（ＮＬＰ）３２５を使用して、補遺付きバージョンをオリジナルの文書から分離することができる。ＮＬＰ３２５は、デフォルトの補遺ヘッダー及び補遺フッターの検出に基づいていてよい。これにより、シナリオＡはシナリオＢになる。このため、この開示では、補遺をオリジナルから物理的に分離されたものとして言及する場合がある。

【0023】

文字列照合技術を使用して、オリジナルのレポートと補遺との間の変更を見つけることができる。特にレーベンシュタイン（Levenshtein）差分アルゴリズムが、この点で有利であることが分かった。レーベンシュタイン差分アルゴリズムを使用すると、一連の統語的操作を使用して１つのレポートを別のレポートに変換することができる。文書が変換される際に、レポートのどの部分が変更され、どの部分がそのままであるかが追跡される。例えば図１及び図２の例では、入力文字列は次のとおりである。
ＡＡＡ＼ｎＢＢＢ＼ｎＣＣＣ＼ｎ＼ＤＤＤ＼ｎＥＥＥ
ＡＡＡ＼ｎＢＢＢ＼ｎＸＸＸ＼ｎＤＤＤ＼ｎＥＥＥ

【0024】

この例では、文字列ＣＣＣ及びＸＸＸは、レポートの変更された部分として抽出される。なお、オリジナルのレポートにテキストのみが追加又は削除された場合、ＣＣＣ又はＸＸＸのいずれかが空である場合もある。より一般的には、他のタイプの「変更追跡」アルゴリズムを使用して、補遺付きレポートとオリジナルのレポートとの相違点を検出することができる。

【0025】

高度な実施形態では、レポートセグメンテーションツールを使用して、レポートセクション及び文の終わりが認識される。この実施形態では、レポートの変更を含むセンテンスを、修正されたテキスト要素（センテンス全体ではない場合がある）の代わりに取得し、それらが由来するセクションタイプ（例えば所見、結論）でラベル付けすることができる。

【0026】

図３に戻ると、分類エンジン３３０は、変更検出エンジン３２０によって見つけられた変更を２つ以上のカテゴリに分類することができるエンジンである。分類エンジン３３０は、変更検出エンジン３２０から変更されたテキストフラグメント（又はそれらを含むセンテンス）を受け取り、そのうちに１つ以上の変更（例えばＣＣＣからＸＸＸ及びＤＤＤからＹＹＹ等）がある。

【0027】

例えば「良性所見の見落とし」、「悪性の可能性がある所見の見落とし」、「病理結果との相関」、「誤字」、「測定値の見落とし」等の２つ以上の所定の変更カテゴリを使用することができる。

【0028】

分類エンジン３３０は、一実施形態では、各訂正（例えばＣＣＣからＸＸＸ）を所定の訂正カテゴリ（即ち、クラスのセット）の1つにマッピングすることができる。一実施態様では、各カテゴリに関連付けられるキーワード又は一般的なフレーズのリストが使用される。意味論的手法を使用して、このリストは、バックグラウンドオントロジ、標準辞書又は教師なし学習手法（例えば「ｗｏｒｄ２ｖｅｃ」等）を使用して既知の同義語を追加することで拡張することができる。一般的な語彙のバリエーションを考慮したマッチング手法（例えばステミング）を使用して、テキストフラグメントからキーワードと一般的なフレーズのリストを検索することができる。検出されたキーワード及びフレーズを使用して、クラスを割り当てることができる。例えば分類エンジン３３０は、カテゴリ毎に検出されたキーワード及びフレーズの数をカウントし、ヒット数が最も多いカテゴリを割り当てることができる。別の例として、数値、長さ又は体積の標準単位（例えば「ｃｍ」）といった定量値表示を、測定値の追加又は修正として相違点を分類する際に使用することができる。別の実施態様では、分類は、抽出されたキーワード及びフレーズを特徴として使用し、最終カテゴリを最適に予測する機械学習に基づいている。この実施態様は、より正確である可能性が高いが、（手動でキュレーションされた）グラウンドトゥルースを必要とする。

【0029】

任意選択的に、他の情報を使用して相違点を分類することができる。例えば読影レポートの半分が、様々なタイプの情報について異なる定義されたセクション（患者データセクション、所見セクション、結論セクション等）で構造化されている場合、相違点は、それがレポートのどのセクションで生じているのかに基づいて部分的に分類することができる。

【0030】

分類エンジン３３０はまた、次の読影レポートに進む前に、読影レポートの各文字列又はセグメントが分類されるまで、当該読影レポートの各文字列又はセグメントを繰り返し処理することができる。

【0031】

重大度決定エンジン３４０は、変更された言葉に基づいて、また、任意選択的に、コンテキストパラメータに更に基づいて、変更の重大度を決定することができるエンジンである。一般に、スコアは、相違点に割り当てられたクラスに基づいて（及び、任意選択的に、更なる情報に基づいて）各相違点に割り当てられる。スコアは、相違点によって示されるオリジナルの読影レポートにおけるエラー又は見落としの重大度をランク付けする。例えば１つの可能なランク付けスキームでは、悪性の可能性がある所見の追加又は修正を表すクラスに割り当てられた任意の相違点には、良性所見の追加又は修正を表すクラスに割り当てられた任意の相違点よりも重大度の高いスコアが割り当てられる。更に、所見の追加又は修正を表すクラスに割り当てられた任意の相違点には、誤字訂正を表すクラスに割り当てられた任意の相違点よりも高いスコアが割り当てられる。更に別の可能なスコアリングルールとして、誤字訂正を表すクラスに割り当てられた任意の相違点は、オリジナルのレポートが作成されたときに利用可能ではなかった臨床データの追加を表すクラスに割り当てられた任意の相違点よりも高いスコアになる（つまり、この最後の変更は、オリジナルの読影レポートにおけるエラーを反映するものではないからである）。これらは単なる例であり、クラス及びスコアリングは、品質保証評価の所望される特性に応じて、様々なレベルの粒度及び臨床分野の特殊性でデザインすることができる。例えば所見に関連するクラスは、所見のタイプ（例えば悪性腫瘍、骨折、心臓異常等）によって更に精緻化されてよく、誤字訂正は、エラーのタイプに基づいて精緻化されてよい（例えば患者名の間違いは、スペルミスした単語よりも深刻であるとスコア付けされる）。一実施態様では、重大度決定エンジン３４０は、変更の重大度を標準化スケールで分析する。一例では、重大度決定エンジン３４０は、分類エンジン３３０によって予測されたカテゴリ及びコンテキストパラメータ（例えばオリジナルのレポートの完成と補遺付きレポートの完成との時間、レポートは緊急性が高いものであったかどうか、補遺はオリジナルのレポートの作成者によって作成されたかどうか等）を利用する重み付けスキームを使用する。各コンテキストパラメータは、特定の重大度の重みに関連付けられてよく、これらを合計して、重大度の合計を取得することができる。例えば「良性所見の見落とし」には、重大度の重み１があるが、「測定値の見落とし」には、重大度の重み３がある。補遺がオリジナルのレポートの完成から１時間以内に発行された場合、重大度の重み１が追加され、これ以外の場合は５が追加される。合計の重大度は、そのまま使用してもよいし、又は、軽度／中程度／重度等の標準化されたリッカート（Likert）尺度にマッピングすることもできる。補遺に２つ以上の変更がある場合、重大度決定エンジン３４０は、重大度の最も高い変更を取ることができる。

【0032】

スコアカード生成エンジン３５０は、補遺分析に基づいて品質スコアカードを生成することができるエンジンである。一般に、オリジナルの読影レポート（１００）の品質評価スコアは、補遺付きレポートとオリジナルのレポートとの相違点に割り当てられたスコアの少なくとも１つを使用して計算される。相違点が１つしかない場合、その相違点のスコアが、通常、オリジナルのレポートの品質評価スコアとして機能する。複数の相違点（つまり、複数の補遺）がある場合、オリジナルの読影レポートにおけるエラー又は見落としの重大度が最も高い割り当てられたスコアが、品質評価スコアとして設定される。一方で、レポートに補遺がない場合は、オリジナルの（そして、この場合では、唯一の）読影レポートの品質評価スコアは「最良」となる。一実施態様では、スコアカード生成エンジン３５０は、すべての変更の重大度スコアを累積し、これらを様々なレベルの粒度でスコアカードとして提示する。例えば放射線部門全体のスコアカードを作成して、様々な重大度カテゴリの分布を評価することができる。同様に、セクション固有（例えば腹部、胸部、神経）のビュー、年功序列固有（例えば研修医、フェロー、ジュニア専門医、シニア専門医）のビュー及び個別のビューを生成することができる。ビューは、個々の補遺の事例をレビューすることができるようにするものであってよい。スコアカードは、レポート品質の向上を追跡するメカニズムとして使用することができる。

【0033】

相違点のクラスはまた、例えば特定の放射線科医によって作成されたすべての読影レポートについて表にされて、その特定の放射線科医がしやすいエラー又は見落としのタイプに関する情報を提供することも有益である。これは、放射線科医がその後のレポート作成実務を向上させるための有用なフィードバックとなる。セクションレベル、勤務シフトレベル、部門レベル等で相違点のクラスの同様の表を作成することによって、組織レベルのレポート作成の不備を特定して修正することもできる。

【0034】

スコアカード生成エンジン３５０は、コンピューティングデバイス３６０の表示デバイス３７０を制御して、ビュー及びスコアを表示することができる。

【0035】

図４は、第１の方法の好適な実施形態を示す。図４を参照すると、ステップ４００において、オリジナルの読影レポートが受信される。ステップ４１０において、オリジナルの読影レポートに対応する補遺付き読影レポートが受信される。ステップ４２０において、オリジナルの読影レポート及び補遺付き読影レポートが単一文書の一部である場合、自然言語処理アルゴリズムを適用して、オリジナルの読影レポートを補遺付き読影レポートから分離する。ステップ４３０において、オリジナルの読影レポートは補遺付き読影レポートと比較され、オリジナルの読影レポートと補遺付き読影レポートとの１つ以上の相違点が決定される。ステップ４４０において、１つ以上の相違点の各相違点は、各相違点にクラスを割り当てることにより分類される。ステップ４５０において、各相違点は、相違点に割り当てられたクラスに基づいてスコアが与えられる。ステップ４６０において、表示デバイスを制御して、スコアの少なくとも１つが表示される。

【0036】

図１に戻って参照すると、開示したデータ処理コンポーネント、例えば変更検出エンジン３２０、分類エンジン３３０、重大度決定エンジン３４０及びスコアカード決定エンジン３５０は、ハードドライブ若しくは他の磁気記憶媒体、光ディスク若しくは他の光学記憶媒体、ＲＡＩＤディスクアレイといったクラウドベースの記憶媒体、フラッシュメモリ若しくは他の不揮発性電子記憶媒体等といった非一時的記憶媒体から読み取られた命令を実行する１つ以上の電子プロセッサ３６０の形で適切に実現される。例示的な１つ以上の電子プロセッサは、例示的なコンピュータ３６０を含むが、より一般的には、上記１つ以上の電子プロセッサは、独立型デスクトップコンピュータ、ネットワークベースのサーバコンピュータ、又は、パラレルコンピューティングリソース、アドホッククラウドコンピューティングリソース等を形成するように電子ネットワーク（例えばＷｉ－Ｆｉ、イーサネット（登録商標）、インターネット、これらの様々な組み合わせ等）を介して接続された複数のコンピュータであってよい。

【0037】

本明細書に開示されるデータ処理コンポーネント、例えば変更検出エンジン３２０、分類エンジン３３０、重大度決定エンジン３４０及びスコアカード決定エンジン３５０は、開示された技術を行うように電子データ処理デバイス（例えば例示するコンピュータ３６０、コンピュータサーバ、クラウドコンピューティングリソース等）によって読み取り可能かつ実行可能である命令を格納する非一時的記憶媒体によって具現化されてもよいことを更に理解されたい。このような非一時的記憶媒体は、ハードドライブ若しくは他の磁気記憶媒体、光ディスク若しくは他の光学記憶媒体、ＲＡＩＤディスクアレイといったクラウドベースの記憶媒体、フラッシュメモリ若しくは他の不揮発性電子記憶媒体等を含んでよい。

【0038】

当然ながら、前述の説明を読んで理解すると、他の人が修正態様及び変更態様を想到することができるであろう。本発明は、添付の特許請求の範囲又はその均等物の範囲内にある限り、このようなすべての修正態様及び変更態様を含むと解釈されることが意図されている。

【図1】

【図2】

【図3】

【図4】