特許 7033249 診断支援サーバ装置、端末装置、診断支援システム、診断支援方法、診断支援装置および診断支援プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-03-02

(45)【発行日】2022-03-10

(54)【発明の名称】診断支援サーバ装置、端末装置、診断支援システム、診断支援方法、診断支援装置および診断支援プログラム

(51)【国際特許分類】

   G16H 80/00 20180101AFI20220303BHJP

   G16H 30/00 20180101ALI20220303BHJP

   H04L 51/04 20220101ALI20220303BHJP

   H04L 67/00 20220101ALI20220303BHJP

   A61B 5/00 20060101ALI20220303BHJP

【ＦＩ】

G16H80/00

G16H30/00

H04L51/04

H04L67/00

A61B5/00 D

【請求項の数】 13

(21)【出願番号】P 2019556133

(86)(22)【出願日】2018-10-16

(86)【国際出願番号】 JP2018038550

(87)【国際公開番号】W WO2019102749

(87)【国際公開日】2019-05-31

【審査請求日】2020-03-23

(31)【優先権主張番号】P 2017226149

(32)【優先日】2017-11-24

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(73)【特許権者】

【識別番号】502034198

【氏名又は名称】フジフィルム ヘルスケア アメリカズ コーポレーション

(74)【代理人】

【識別番号】110001519

【氏名又は名称】特許業務法人太陽国際特許事務所

(72)【発明者】

【氏名】一ノ瀬 晶路

(72)【発明者】

【氏名】中村 佳児

(72)【発明者】

【氏名】位田 憲昭

(72)【発明者】

【氏名】杉原 佳次

【審査官】貝塚 涼

(56)【参考文献】

【文献】特開２００４－６２７０９（ＪＰ，Ａ）

【文献】特開２０１２－１４１９７９（ＪＰ，Ａ）

【文献】特開２０１１－３１５８（ＪＰ，Ａ）

【文献】特開２００２－３４２３４６（ＪＰ，Ａ）

【文献】特開２００２－３４４６３６（ＪＰ，Ａ）

【文献】特開２００７－１４１２４５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１６Ｈ １０／００ ー ８０／００

Ｇ０６Ｑ １０／００ － ９９／００

Ｈ０４Ｌ ５１／００

Ｈ０４Ｌ ６７／００

Ａ６１Ｂ ５／００

(57)【特許請求の範囲】

【請求項1】

診断対象データに対して生成された仮想カンファレンスに参加するユーザの端末装置から前記仮想カンファレンスに投稿されたメッセージを受信し、前記投稿されたメッセージを前記端末装置以外の他の端末装置に送信するメッセージ送受信部と、
前記投稿されたメッセージを自然言語解析により解析した解析結果が前記診断対象データに対する処理を表している場合には、前記解析結果に応じて前記診断対象データに対する処理を実行して得られた結果を、前記診断対象データに関連する情報として生成する情報生成部と、
前記診断対象データに関連する情報を前記仮想カンファレンスに投稿して前記端末装置および前記他の端末装置に送信する関連情報送信部と
前記仮想カンファレンスに投稿されたメッセージに含まれる文のうち、文中に診断情報に関する単語を含む文から要約を生成する要約生成部と、
を備え、
前記診断対象データに関連する情報が、前記診断対象データの画像に画像処理を施した画像、前記診断対象データの画像の注目位置を特定する情報、前記診断対象データの画像上の注目位置にマークを付した画像、前記診断対象データの画像上の注目位置を拡大した画像、前記診断対象データに関連する検索された画像、前記診断対象データの断面画像の断面位置を特定する情報、前記診断対象データの画像の濃度階調を調整した画像、および、前記投稿されたメッセージが対象としている画像と対応づける情報のうち少なくとも１つである診断支援サーバ装置。

【請求項2】

前記要約生成部が、前記仮想カンファレンスに投稿及されたメッセージに含まれる文のうち、前記文中に前記診断情報に関する単語を含む文には前記診断情報に関する単語を含まない文より高いスコアを付けて、または、前記文中に前記診断情報に関する単語の数が多く出てくる文には前記診断情報に関する単語の数が少ない文より高いスコアを付けて、前記仮想カンファレンスに投稿されたメッセージの中からスコアが高い文から前記要約を生成する請求項１に記載の診断支援サーバ装置。

【請求項3】

前記要約には前記診断対象データの診断情報が含まれる請求項１記載の診断支援サーバ装置。

【請求項4】

前記要約生成部が、前記仮想カンファレンスにおいて前記診断対象データの診断の終了を検出した場合に、前記要約を生成する請求項１または２に記載の診断支援サーバ装置。

【請求項5】

前記診断の終了を検出した場合とは、前記投稿されたメッセージが前記診断の終了を示す場合、または、前記仮想カンファレンスに対してメッセージが投稿されない時間が所定の時間経過した場合である請求項４記載の診断支援サーバ装置。

【請求項6】

前記要約生成部が、前記要約と前記診断対象データとを対応づけて記憶部に記憶する請求項１～５のいずれか１項に記載の診断支援サーバ装置。

【請求項7】

前記情報生成部は、前記診断対象データが複数の画像である場合に、前記投稿されたメッセージの解析結果に基づいて、前記複数の画像から診断結果に対するキー画像を特定し、
前記要約生成部が、前記キー画像と前記生成された要約とを対応づけて記憶部に記憶する請求項１に記載の診断支援サーバ装置。

【請求項8】

診断支援サーバ装置と複数の端末装置を備えた診断支援システムであって、
前記診断支援サーバ装置が、
診断対象データに対して生成された仮想カンファレンスに参加するユーザの端末装置から前記仮想カンファレンスに投稿されたメッセージを受信し、前記投稿されたメッセージを前記端末装置以外の他の端末装置に送信するメッセージ送受信部と、
前記投稿されたメッセージを自然言語解析により解析した解析結果が前記診断対象データに対する処理を表している場合には、前記解析結果に応じて前記診断対象データに対する処理を実行して得られた結果を、前記診断対象データに関連する情報として生成する情報生成部と、
前記診断対象データに関連する情報を前記仮想カンファレンスに投稿して前記端末装置および他の端末装置に送信する関連情報送信部と、
前記仮想カンファレンスに投稿されたメッセージに含まれる文のうち、文中に診断情報に関する単語を含む文から要約を生成する要約生成部と
を備え、
前記端末装置が、
前記診断対象データを表示する診断対象データ表示部と、
前記仮想カンファレンスに投稿するメッセージを前記診断支援サーバ装置に送信する投稿メッセージ送信部と、
前記投稿されたメッセージを前記仮想カンファレンスに投稿された順に並べて表示する仮想カンファレンス表示部と、
前記診断対象データに関連する情報を表示する関連情報表示部と
を備え、
前記診断対象データに関連する情報が、前記診断対象データの画像に画像処理を施した画像、前記診断対象データの画像の注目位置を特定する情報、前記診断対象データの画像上の注目位置にマークを付した画像、前記診断対象データの画像上の注目位置を拡大した画像、前記診断対象データに関連する検索された画像、前記診断対象データの断面画像の断面位置を特定する情報、前記診断対象データの画像の濃度階調を調整した画像、および、前記投稿されたメッセージが対象としている画像と対応づける情報のうち少なくとも１つである診断支援システム。

【請求項9】

診断支援サーバ装置と端末装置を備えた診断支援システムにおける診断支援方法であって、
前記診断支援サーバ装置が、
診断対象データに対して生成された仮想カンファレンスに参加するユーザの端末装置から前記仮想カンファレンスに投稿されたメッセージを受信し、前記投稿されたメッセージを前記端末装置以外の他の端末装置に送信するメッセージ送受信ステップと、
前記投稿されたメッセージを自然言語解析により解析した解析結果が前記診断対象データに対する処理を表している場合には、前記解析結果に応じて前記診断対象データに対する処理を実行して得られた結果を、前記診断対象データに関連する情報として生成する情報生成ステップと、
前記診断対象データに関連する情報を前記仮想カンファレンスに投稿して前記端末装置と前記他の端末装置に送信する関連情報送信ステップと、
前記仮想カンファレンスに投稿されたメッセージに含まれる文のうち、文中に診断情報に関する単語を含む文から要約を生成する要約生成ステップと
を備え、
前記端末装置が、
前記診断対象データを表示する診断対象データ表示ステップと、
前記仮想カンファレンスに投稿するメッセージを前記診断支援サーバ装置に送信する投稿メッセージ送信ステップと、
前記投稿されたメッセージを前記仮想カンファレンスに投稿された順に並べて表示する仮想カンファレンス表示ステップと、
前記診断対象データに関連する情報を表示する関連情報表示ステップと
を備え、
前記診断対象データに関連する情報が、前記診断対象データの画像に画像処理を施した画像、前記診断対象データの画像の注目位置を特定する情報、前記診断対象データの画像上の注目位置にマークを付した画像、前記診断対象データの画像上の注目位置を拡大した画像、前記診断対象データに関連する検索された画像、前記診断対象データの断面画像の断面位置を特定する情報、前記診断対象データの画像の濃度階調を調整した画像、および、前記投稿されたメッセージが対象としている画像と対応づける情報のうち少なくとも１つである診断支援方法。

【請求項10】

コンピュータに、
診断対象データに対して生成された仮想カンファレンスに参加するユーザの端末装置から前記仮想カンファレンスに投稿されたメッセージを受信し、前記投稿されたメッセージを前記端末装置以外の他の端末装置に送信するメッセージ送受信ステップと、
前記投稿されたメッセージを自然言語解析により解析した解析結果が前記診断対象データに対する処理を表している場合には、前記解析結果に応じて前記診断対象データに対する処理を実行して得られた結果を、前記診断対象データに関連する情報として生成する情報生成ステップと、
前記診断対象データに関連する情報を前記端末装置および前記他の端末装置に送信する関連情報送信ステップと、
前記仮想カンファレンスに投稿されたメッセージに含まれる文のうち、文中に診断情報に関する単語を含む文から要約を生成する要約生成ステップと
を実行させるための診断支援プログラムであって、
前記診断対象データに関連する情報が、前記診断対象データの画像に画像処理を施した画像、前記診断対象データの画像の注目位置を特定する情報、前記診断対象データの画像上の注目位置にマークを付した画像、前記診断対象データの画像上の注目位置を拡大した画像、前記診断対象データに関連する検索された画像、前記診断対象データの断面画像の断面位置を特定する情報、前記診断対象データの画像の濃度階調を調整した画像、および、前記投稿されたメッセージが対象としている画像と対応づける情報のうち少なくとも１つである診断支援プログラム。

【請求項11】

診断対象データを表示する診断対象データ表示部と、
前記診断対象データに対して生成された仮想カンファレンスに投稿するメッセージの入力を受け付ける投稿メッセージ受付部と、
前記投稿されたメッセージを前記仮想カンファレンスに投稿された順に並べて表示する仮想カンファレンス表示部と、
前記投稿されたメッセージを自然言語解析により解析した解析結果が前記診断対象データに対する処理を表している場合には、前記解析結果に応じて前記診断対象データに対する処理を実行して得られた結果を、前記診断対象データに関連する情報として生成する情報生成部と、
前記診断対象データに関連する情報を表示する関連情報表示部と、
前記仮想カンファレンスに投稿されたメッセージに含まれる文のうち、文中に診断情報に関する単語を含む文から要約を生成する要約生成部と、
を備え、
前記診断対象データに関連する情報が、前記診断対象データの画像に画像処理を施した画像、前記診断対象データの画像の注目位置を特定する情報、前記診断対象データの画像上の注目位置にマークを付した画像、前記診断対象データの画像上の注目位置を拡大した画像、前記診断対象データに関連する検索された画像、前記診断対象データの断面画像の断面位置を特定する情報、前記診断対象データの画像の濃度階調を調整した画像、および、前記投稿されたメッセージが対象としている画像と対応づける情報のうち少なくとも１つである診断支援装置。

【請求項12】

診断支援装置が、
診断対象データを表示する診断対象データ表示ステップと、
前記診断対象データに対して生成された仮想カンファレンスに投稿するメッセージの入力を受け付ける投稿メッセージ受付ステップと、
前記投稿されたメッセージを前記仮想カンファレンスに投稿された順に並べて表示する仮想カンファレンス表示ステップと、
前記投稿されたメッセージを自然言語解析により解析した解析結果が前記診断対象データに対する処理を表している場合には、前記解析結果に応じて前記診断対象データに対する処理を実行して得られた結果を、前記診断対象データに関連する情報として生成する情報生成ステップと、
前記診断対象データに関連する情報を表示する関連情報表示ステップと、
前記仮想カンファレンスに投稿されたメッセージに含まれる文のうち、文中に診断情報に関する単語を含む文から要約を生成する要約生成ステップと
を備え、
前記診断対象データに関連する情報が、前記診断対象データの画像に画像処理を施した画像、前記診断対象データの画像の注目位置を特定する情報、前記診断対象データの画像上の注目位置にマークを付した画像、前記診断対象データの画像上の注目位置を拡大した画像、前記診断対象データに関連する検索された画像、前記診断対象データの断面画像の断面位置を特定する情報、前記診断対象データの画像の濃度階調を調整した画像、および、前記投稿されたメッセージが対象としている画像と対応づける情報のうち少なくとも１つである診断支援方法。

【請求項13】

コンピュータに、
診断対象データを表示する診断対象データ表示ステップと、
前記診断対象データに対して生成された仮想カンファレンスに投稿するメッセージの入力を受け付ける投稿メッセージ受付ステップと、
前記投稿されたメッセージを前記仮想カンファレンスに投稿された順に並べて表示する仮想カンファレンス表示ステップと、
前記投稿されたメッセージを自然言語解析により解析した解析結果が前記診断対象データに対する処理を表している場合には、前記解析結果に応じて前記診断対象データに対する処理を実行して得られた結果を、前記診断対象データに関連する情報として生成する情報生成ステップと
前記診断対象データに関連する情報を表示する関連情報表示ステップと、
前記仮想カンファレンスに投稿されたメッセージに含まれる文のうち、文中に診断情報に関する単語を含む文から要約を生成する要約生成ステップと
を実行させるための診断支援プログラムであって、
前記診断対象データに関連する情報が、前記診断対象データの画像に画像処理を施した画像、前記診断対象データの画像の注目位置を特定する情報、前記診断対象データの画像上の注目位置にマークを付した画像、前記診断対象データの画像上の注目位置を拡大した画像、前記診断対象データに関連する検索された画像、前記診断対象データの断面画像の断面位置を特定する情報、前記診断対象データの画像の濃度階調を調整した画像、および、前記投稿されたメッセージが対象としている画像と対応づける情報のうち少なくとも１つである診断支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、医療における診断を支援するための診断支援サーバ装置、端末装置、診断支援システム、診断支援方法、診断支援装置および診断支援プログラムに関する。

【背景技術】

【0002】

ＣＴ（Computed Tomography：コンピュータ断層撮影装置）、または、ＭＲＩ（Magnetic Resonance Imaging：磁気共鳴画像撮影装置）等のモダリティの普及が進み、多くの病院で正確な診断を行うために検査画像が撮影されるようになってきた。また、近年、医用画像管理システム（ＰＡＣＳ： Picture Archiving and Communication System）の導入が進み、各モダリティから受信した画像データを、ＤＩＣＯＭ（Digital Imaging and COmmunication in Medicine）規格を用いて保管することで、様々な種類の画像データの一元管理が行われるようになってきた。さらに、電子カルテが導入され、患者の検査情報の一覧の作成と同時に、各患者の診療情報を準備しておくことも可能になってきた。

【0003】

通信技術の進歩に伴い、通信技術を利用して離れた場所で、診断を行う遠隔画像診断支援サービスが提供されるようになってきた。また、離れた場所からモダリティの操作のトレーニングを行うことも可能になってきた。特に、ＣＴまたはＭＲＩで適切な撮影条件で被検者の撮影を行うためには、操作者のトレーニングが必要である。しかし、トレーニングをするには、実際のモダリティを用いなければならないため、操作者がモダリティを設置してある専用の部屋へ移動しなければならない。また、実機を用いて操作またはテストを行うのに、例えば病院の通常の診療時間を利用することは難しい。さらに、実機の数には限りがあり、操作またはテストをいつでも直ぐに行うというわけにはいかなかった。そこで、特開２００３－３１０５９２号公報では、チャットのようなコミュニケーションツールを用いて、操作者とアドバイザーがリアルタイムでコミュニケーションを取りながら操作技術を習得する手法が開示されている。

【0004】

一方で、撮影された画像に対して正確な診断を行うために、複数の医師で症例検討を交えながら診断レポートを作成する仕組みが求められている。特に、各診断医の専門分野の知識をより広く活用しながら質の高い診断レポートを作成することが治療上有効である。

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、複数の専門分野の医師は、たとえ同じ病院内であっても複数の診療科にわたる場合には診断医が離れた場所にいる場合が多く、すぐに招集するのは困難である。また、医用画像管理システムから様々な情報を取得しながら、診断を行うことが望ましい。さらに、症例検討の結果を踏まえた読影レポートを作成することが望まれるが、症例検討を行った時間以外に、別途読影レポートを作成用の時間を要することになる。

【0006】

そこで、本発明では、上述のような問題を解決するために、離れた場所にいる複数の医師間で症例のカンファレンスを行なうことが可能な診断支援装置、端末装置、診断支援システム、診断支援方法および診断支援プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の診断支援サーバ装置は、診断対象データに対して生成された仮想カンファレンスに参加するユーザの端末装置から仮想カンファレンスに投稿されたメッセージを受信し、投稿されたメッセージを端末装置以外の他の端末装置に送信するメッセージ送受信部と、投稿されたメッセージを解析した解析結果に応じて得られた診断対象データに関連する情報を生成する情報生成部と、診断対象データに関連する情報を端末装置および他の端末装置に送信する関連情報送信部とを備える。

【0008】

本発明の診断支援プログラムは、コンピュータに、診断対象データに対して生成された仮想カンファレンスに参加するユーザの端末装置から仮想カンファレンスに投稿されたメッセージを受信し、投稿されたメッセージを端末装置以外の他の端末装置に送信するメッセージ送受信ステップと、投稿されたメッセージを解析した解析結果に応じて得られた診断対象データに関連する情報を生成する情報生成ステップと、診断対象データに関連する情報を端末装置および他の端末装置に送信する関連情報送信ステップとを実行させるプログラムである。

【0009】

「仮想カンファレンス」とは、メッセージ等をやり取りして電子的に複数のユーザ間またはユーザと装置間でカンファレンスが行われるものを指し、例えば、チャット、電子会議、または、電子掲示板などの仕組みを用いて行ってもよい。

【0010】

また、「診断対象データに関連する情報」は、診断対象データに関連する画像であっても、診断対象データの患者に関連する情報であっても、診断対象データに処理を施して得られたデータであってもよい。

【0011】

また、診断支援サーバ装置が、仮想カンファレンスに投稿されたメッセージの要約を生成する要約生成部をさらに備えるようにしてもよい。

【0012】

また、要約には診断対象データの診断情報が含まれるように生成するのが望ましい。

【0013】

また、要約生成部が、仮想カンファレンスにおいて診断対象データの診断の終了を検出した場合に、要約を生成してもよい。

【0014】

また、前記診断の終了を検出した場合とは、前記投稿されたメッセージが前記診断の終了を示す場合、または、前記仮想カンファレンスに対してメッセージが投稿されない時間が所定の時間経過した場合であってもよい。

【0015】

また、要約生成部が、要約と診断対象データとを対応づけて記憶部に記憶するのが望ましい。

【0016】

また、前記診断対象データに関連する情報が、前記診断対象データの画像に画像処理を施した画像、前記診断対象データの画像の注目位置を特定する情報、前記診断対象データの画像上の注目位置にマークを付した画像、前記診断対象データの画像上の注目位置を拡大した画像、前記診断対象データに関連する検索された画像、前記診断対象データの断面画像の断面位置を特定する情報、前記診断対象データの画像の濃度階調を調整した画像、および、前記投稿されたメッセージが対象としている画像と対応づける情報のうち少なくとも１つであることが望ましい。

【0017】

また、診断対象データに関連する情報が、診断対象データの診断に用いられたキー画像であってもよい。

【0018】

また、要約生成部が、キー画像と要約とを対応づけて記憶部に記憶するのが望ましい。

【0019】

本発明の診断支援システムは、診断支援サーバ装置と複数の端末装置を備え、診断支援サーバ装置が、診断対象データに対して生成された仮想カンファレンスに参加するユーザの端末装置から仮想カンファレンスに投稿されたメッセージを受信し、投稿されたメッセージを端末装置以外の他の端末装置に送信するメッセージ送受信部と、投稿されたメッセージを解析した解析結果に応じて得られた診断対象データに関連する情報を生成する情報生成部と、診断対象データに関連する情報を端末装置および他の端末装置に送信する関連情報送信部とを備え、端末装置が、診断対象データを表示する診断対象データ表示部と、仮想カンファレンスに投稿するメッセージを診断支援サーバ装置に送信する投稿メッセージ送信部と、投稿されたメッセージを仮想カンファレンスに投稿された順に並べて表示する仮想カンファレンス表示部と、診断対象データに関連する情報を表示する関連情報表示部とを備える。

【0020】

本発明の診断支援方法は、診断支援サーバ装置と端末装置を備えた診断支援システムにおける診断支援方法であって、診断支援サーバ装置が、診断対象データに対して生成された仮想カンファレンスに参加するユーザの端末装置から仮想カンファレンスに投稿されたメッセージを受信し、投稿されたメッセージを端末装置以外の他の端末装置に送信するメッセージ送受信ステップと、投稿されたメッセージを解析した解析結果に応じて得られた診断対象データに関連する情報を生成する情報生成ステップと、診断対象データに関連する情報を端末装置と他の端末装置に送信する関連情報送信ステップとを備え、端末装置が、診断対象データを表示する診断対象データ表示ステップと、仮想カンファレンスに投稿するメッセージを診断支援サーバ装置に送信する投稿メッセージ送信ステップと、投稿されたメッセージを仮想カンファレンスに投稿された順に並べて表示する仮想カンファレンス表示ステップと、診断対象データに関連する情報を表示する関連情報表示ステップとを備える。

【0021】

本発明の診断支援装置は、診断対象データを表示する診断対象データ表示部と、診断対象データに対して生成された仮想カンファレンスに投稿するメッセージの入力を受け付ける投稿メッセージ受付部と、投稿されたメッセージを仮想カンファレンスに投稿された順に並べて表示する仮想カンファレンス表示部と、投稿されたメッセージを解析した解析結果に応じて得られた診断対象データに関連する情報を生成する情報生成部と、診断対象データに関連する情報を表示する関連情報表示部とを備える。

【0022】

本発明の他の診断支援方法は、診断支援装置が、診断対象データを表示する診断対象データ表示ステップと、診断対象データに対して生成された仮想カンファレンスに投稿するメッセージの入力を受け付ける投稿メッセージ受付ステップと、投稿されたメッセージを仮想カンファレンスに投稿された順に並べて表示する仮想カンファレンス表示ステップと、投稿されたメッセージを解析した解析結果に応じて得られた診断対象データに関連する情報を生成する情報生成ステップと診断対象データに関連する情報を表示する関連情報表示ステップとを備える。

【0023】

本発明の他の診断支援プログラムは、コンピュータに、診断対象データを表示する診断対象データ表示ステップと、診断対象データに対して生成された仮想カンファレンスに投稿するメッセージの入力を受け付ける投稿メッセージ受付ステップと、投稿されたメッセージを仮想カンファレンスに投稿された順に並べて表示する仮想カンファレンス表示ステップと、投稿されたメッセージを解析した解析結果に応じて得られた診断対象データに関連する情報を生成する情報生成ステップと 診断対象データに関連する情報を表示する関連情報表示ステップとを実行させるためのプログラムである。

【0024】

本発明の他の診断支援サーバ装置は、コンピュータに実行させるための命令を記憶するメモリと、記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、診断対象データに対して生成された仮想カンファレンスに参加するユーザの端末装置から仮想カンファレンスに投稿されたメッセージを受信し、投稿されたメッセージを端末装置以外の他の端末装置に送信するメッセージ送受信ステップと、投稿されたメッセージを解析した解析結果に応じて得られた診断対象データに関連する情報を生成する情報生成ステップと、診断対象データに関連する情報を端末装置および他の端末装置に送信する関連情報送信ステップとを実行する。

【0025】

本発明の他の診断支援装置は、コンピュータに実行させるための命令を記憶するメモリと、記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、診断対象データを表示する診断対象データ表示ステップと、診断対象データに対して生成された仮想カンファレンスに投稿するメッセージの入力を受け付ける受付ステップと、投稿されたメッセージを仮想カンファレンスに投稿された順に並べて表示する仮想カンファレンス表示ステップと、投稿されたメッセージを解析した解析結果に応じて得られた診断対象データに関連する情報を生成する情報生成ステップと診断対象データに関連する情報を表示する関連情報表示ステップを実行する。

【発明の効果】

【0026】

本発明によれば、診断対象データに対して生成された仮想カンファレンスに参加するユーザの端末装置から仮想カンファレンスに投稿したメッセージを解析した解析結果に応じて、診断対象データに関連する情報を生成して端末装置に送信するようにしたので、仮想カンファレンスに投稿されたメッセージとメッセージに応じた診断対象データに関連する情報を自動で生成して、ネットワークで接続された端末装置間で確認することが可能になり、離れた場所にいる医師と症例についてカンファレンスを行うことが可能になる。

【図面の簡単な説明】

【0027】

【図1】医療情報システムの概略構成を表す図

【図2】本発明の第１の実施の形態の診断新サーバ装置の概略構成を表す図

【図3】本発明の第１の実施の形態の端末装置の概略構成を表す図

【図4A】本発明の第１の実施の仮想カンファレンスの処理の流れを示すフローチャート（その１）

【図4B】本発明の第１の実施の仮想カンファレンスの処理の流れを示すフローチャート（その２）

【図4C】本発明の第１の実施の仮想カンファレンスの処理の流れを示すフローチャート（その３）

【図5】仮想カンファレンスの開始時の表示画面の一例

【図6】第１の実施の形態の仮想カンファレンスでのメッセージのやりとりの一例

【図7】本発明の第２の実施の形態の診断支援装置の概略構成を表す図

【図8】本発明の第２の実施の仮想カンファレンスの処理の流れを示すフローチャート

【図9】第２の実施の形態の仮想カンファレンスでのメッセージのやりとりの一例

【発明を実施するための形態】

【0028】

以下、図面を参照して本発明の第１の実施の形態の医療支援システムについて説明する。図１は、本実施の形態の診断支援システムを設けた医療情報システムの概略構成を示すブロック図である。

【0029】

図１に示す医療情報システム１は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダーに基づいて、被写体の検査対象部位の撮影、撮影により取得された医用画像の保管、読影医による医用画像の読影と読影レポートの作成、および依頼元の診療科の医師による読影レポートの閲覧と読影対象の医用画像の詳細観察とを行うためのシステムである。図１に示すように、医療情報システム１は、複数のモダリティ（撮影装置）２、読影端末である複数の読影ワークステーション３（以下、読影ＷＳ３という）、診療科ワークステーション４（以下、診療科ＷＳ４という）、画像サーバ５、画像データベース６、読影レポートサーバ７、読影レポートデータベース８、および本実施の形態による診断支援サーバ装置１０が、ネットワーク９を介して互いに通信可能な状態で接続されて構成されている。

【0030】

各機器は、医療情報システム１の構成要素として機能させるためのアプリケーションプログラムがインストールされたコンピュータである。アプリケーションプログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。

【0031】

モダリティ２は、被写体の診断対象となる部位を撮影することにより、診断対象部位を表す医用画像を生成する装置である。具体的には、ＣＴ装置、ＭＲＩ装置、ＣＲ（Computed Radiography）装置および超音波装置等であり、撮影された３次元のボリュームデータは、ＤＩＣＯＭ（Digital Imaging and COmmunicationin Medicine）規格に準拠した格納フォーマットおよび通信規格に従って、ネットワーク９を介して画像サーバ５に送信されて保存される。

【0032】

読影ＷＳ３は、医用画像の読影医が、医用画像の読影および読影レポートの作成に使用するコンピュータであり、処理装置、高精細ディスプレイ、並びにキーボードおよびマウス等の入力装置により構成される。読影ＷＳ３では、画像サーバ５に対する医用画像の閲覧要求、画像サーバ５から受信した医用画像に対する各種画像処理、医用画像の表示、読影レポートの作成の支援、読影レポートサーバ７に対する読影レポートの登録要求と閲覧要求、並びに読影レポートサーバ７から受信した読影レポートの表示等の各処理が、各処理のためのソフトウェアプログラムを実行することにより行われる。なお、各種画像処理を読影ＷＳ３において行わず、別途画像処理サーバをネットワーク９に接続しておき、読影ＷＳ３からの処理の要求に応じて、画像処理サーバが行うようにしてもよい。

【0033】

診療科ＷＳ４は、診療科の医師が画像の詳細観察、読影レポートの閲覧、および電子カルテの作成等に使用するコンピュータであり、処理装置、高精細ディスプレイ、並びにキーボードおよびマウス等の入力装置により構成される。診療科ＷＳ４では、画像サーバ５に対する画像の閲覧要求、画像サーバ５から受信した画像の表示、画像中の病変らしき部分の自動検出または強調表示、読影レポートサーバ７に対する読影レポートの閲覧要求、および読影レポートサーバ７から受信した読影レポートの表示等の各処理が、各処理のためのソフトウェアプログラムを実行することにより行われる。

【0034】

画像サーバ５は、汎用の比較的処理能力の高いコンピュータにデータベース管理システム（DataBase Management System: DBMS）の機能を提供するソフトウェアプログラムがインストールされたものである。また、画像サーバ５は画像データベース６が構成される大容量ストレージを備えている。このストレージは、画像サーバ５とデータバスによって接続された大容量のハードディスク装置であってもよいし、ネットワーク９に接続されているＮＡＳ（Network Attached Storage）およびＳＡＮ（Storage Area Network）に接続されたディスク装置であってもよい。また、画像サーバ５は、モダリティ２からの医用画像の登録要求を受け付けると、その医用画像をデータベース用のフォーマットに整えて画像データベース６に登録する。

【0035】

画像データベース６には、モダリティ２において取得された医用画像の画像データと付帯情報とが登録される。付帯情報には、例えば、個々の医用画像を識別するための画像ＩＤ、被写体を識別するための患者ＩＤ(identification)、検査を識別するための検査ＩＤ、医用画像毎に割り振られるユニークなＩＤ（ＵＩＤ：unique identification）、その医用画像が生成された検査日、検査時刻、その医用画像を取得するための検査で使用されたモダリティの種類、患者氏名、年齢、性別等の患者情報、検査部位（撮影部位）、撮影情報（撮影プロトコル、撮影シーケンス、撮像手法、撮影条件、造影剤の使用等）、１回の検査で複数の医用画像を取得したときのシリーズ番号あるいは採取番号等の情報が含まれうる。

【0036】

また、画像サーバ５は、読影ＷＳ３からの閲覧要求をネットワーク９経由で受信すると、画像データベース６に登録されている医用画像を検索し、抽出された医用画像を要求元の読影ＷＳ３に送信する。

【0037】

読影レポートサーバ７は、汎用のコンピュータにデータベース管理システム（DBMS）の機能を提供するソフトウェアプログラムが組み込まれる。読影レポートサーバ７は、読影ＷＳ３からの読影レポートの登録要求を受け付けると、その読影レポートをデータベース用のフォーマットに整えて読影レポートデータベース８に登録する。

【0038】

読影レポートデータベース８には、例えば、読影対象の医用画像を識別する画像ＩＤ、読影を行った画像診断医を識別するための読影医ＩＤ、病変名、病変の位置情報、所見、所見の確信度等の情報が記録された読影レポートが登録される。

【0039】

ネットワーク９は、病院内の各種機器を接続する有線または無線のローカルエリアネットワークである。読影ＷＳ３が他の病院あるいは診療所に設置されている場合には、ネットワーク９は、各病院のローカルエリアネットワーク同士をインターネットまたは専用回線で接続した構成としてもよい。いずれの場合にも、ネットワーク９は光ネットワーク等の医用画像の高速転送が実現可能な構成にすることが好ましい。

【0040】

本発明の診断支援システムは、診断支援サーバ装置（以下、診断支援サーバという）１０と端末装置で構成される。

【0041】

診断支援サーバ１０は、汎用のコンピュータであり、ＣＰＵ（Central Processing Unit）１１、メモリ（主記憶装置）１２、ストレージ（補助記憶装置）１３、入出力インターフェース（不図示）、通信インターフェース１４、および、データバス（不図示）等の周知のハードウェア構成を備え、周知のオペレーションシステムに加え、サーバ用のソフトウェア等がインストールされている。ストレージ１３は、ハードディスクまたはＳＳＤ(Solid State Drive)等で構成される。なお、必要に応じてコンピュータにＧＰＵ（Graphics Processing Unit）を設けるようにしてもよい。

【0042】

診断支援プログラムは、ネットワークに接続されたコンピュータの記憶装置もしくはネットワークストレージに対して、外部からアクセス可能な状態で記憶され、外部からの要求に応じてコンピュータにダウンロードされた後に、インストールされるようにしてもよい。または、診断支援プログラムは、ＤＶＤまたはＣＤ－ＲＯＭ等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。

【0043】

このコンピュータの実行時に、メモリ１２には、診断支援プログラムが記憶され、ＣＰＵ１１がメモリ１２に記憶されたプログラムに従いこれらの処理を実行することで、コンピュータは、診断支援サーバとして機能する。なお、本実施の形態においては、ＣＰＵ１１が診断支援プログラムによって、診断支援サーバの各部の機能を実行するようにしたが、ソフトウェアを実行して各種の処理部として機能する汎用的なプロセッサとしてはＣＰＵ１１の他、ＦＰＧＡ (Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）を用いることができる。また、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等により、各部の処理を実行するようにしてもよい。

【0044】

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡ、またはＣＰＵとＦＰＧＡの組み合わせ等）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上を用いて構成される。

【0045】

また、本実施の形態では、診療科ＷＳ４または読影ＷＳ３に、本発明の診断支援システムの端末用プログラムをインストールすることによって端末装置として機能する。

【0046】

次に、第１の実施の形態の診断支援サーバ１０の機能について説明する。図２に示すように、第１の実施の形態の診断支援サーバ１０は、仮想カンファレンス生成部１５、招待部１６、メッセージ送受信部１７、ログ記録部１８、診断対象データ解析部１９、メッセージ解析部２０、情報生成部２１、関連情報送信部２２、および要約生成部２３として機能する。

【0047】

仮想カンファレンス生成部１５は、診断対象データを受信すると自動的に仮想カンファレンスを生成する。仮想カンファレンスは、複数のユーザがメッセージの交換を行うことが可能なものであればよく、例えば、仮想カンファレンスは、チャット、電子会議、または、掲示板等の機能を用いて行われる。以下、本実施の形態では、チャット機能を用いた仮想カンファレンスを例に説明する。

【0048】

診断対象データは、各モダリティ２で撮影された医用画像、あるいは、心電図、血液検査の結果等であってもよい。以下、本実施の形態では、患者の疾患を検査するための医用画像（以下、検査画像という）である場合を例に説明する。

【0049】

ログ記録部１８は、１つの仮想カンファレンスに対して割り当てられたストレージ１３内の領域であり、仮想カンファレンスに投稿されたメッセージが投稿された順に記録される。

【0050】

招待部１６は、仮想カンファレスに参加するユーザを招待するメッセージを端末装置に送信する。仮想カンファレンスがチャットのスレッドとして生成されると、診断対象データの診断に適した医師（診断医、読影専門医等）を招待するためのメッセージを生成し、各ユーザのアカウントに対応する端末装置にメッセージを送信する。招待するユーザは、診断対象データを登録したユーザが手動で登録した医師であってもよいし、症例に応じて医師を予め登録しておき自動的に招待するようにしてもよい。例えば、ユーザが診断医であれば端末装置は各診療科の診療科ＷＳ４であり、読影医であれば端末装置は読影ＷＳ３である。端末装置から、招待されたメッセージに対してユーザが承認した旨の通知を受信すると仮想カンファレンス上でメッセージの送受信が開始される。

【0051】

メッセージ送受信部１７は、ユーザの端末装置から仮想カンファレンスに投稿されたメッセージを受信すると、メッセージを投稿したユーザ以外の端末装置に、投稿されたメッセージを送信する。なお、メッセージは文字に限らず、投稿された画像もメッセージとして送受信することが可能である。

【0052】

診断対象データ解析部１９は、検査画像に対して仮想カンファレンスが生成されると、撮影された部位に対応した臓器抽出および病変抽出等の画像解析を自動的に実行して、その解析結果を仮想カンファレンスに投稿する。例えば、検査画像が脳画像である場合には、例えば、「左小脳に３５ｍｌの出血を認めます」というような脳の出血部位と出血量等の解析結果を表すメッセージを仮想カンファレンスに投稿する。また、仮想カンファレンスの診断対象である検査画像を投稿するようにしてもよい。さらに、解析結果に応じて、検査画像上に出血位置等にマークを付した画像を仮想カンファレンスに投稿してもよい。

【0053】

メッセージ解析部２０は、各端末装置から投稿されたメッセージ単位で自然言語解析等の解析処理を行う。メッセージの解析結果は、メッセージに応じてどのような処理を行えばよいかが分かる情報が取得できればよい。例えば、診断支援サーバ１０が投稿されたメッセージに対して提供するべき情報、投稿されたメッセージが仮想カンファレンスに参加している他のユーザに対するメッセージであることを示す情報、または、投稿されたメッセージが仮想カンファレンスの終了を示す情報等が解析結果として得られる。

【0054】

例えば、カンファレンスの対象になっている診断対象の検査画像が脳画像のＣＴ画像であり脳内に出血が認められる場合に、投稿されたメッセージが、例えば、「最大径は？」であるときには、自然言語解析によって出血部位の最大径を取得するために画像解析が必要であることが解析結果として得られる。一方、投稿されたメッセージが、例えば、「Ｊｅｆｆどう思う？」である場合には、仮想カンファレンスに参加しているユーザに「Ｊｅｆｆ」がいるので、他のユーザに対するメッセージであることが解析結果として得られる。

【0055】

なお、メッセージ解析部２０は、投稿されたメッセージ単位でそれぞれを解析するのではなく、ログ記録部１８に記録されているメッセージのログに従って前のメッセージを加味して解析するのがより好ましい。

【0056】

情報生成部２１は、メッセージ解析部２０の解析結果に応じて、検査画像に関連する情報を生成する。検査画像に関連する情報は、検査画像に関連する画像であっても、検査画像の患者に関連する情報であっても、検査画像に処理を施して得られた画像またはデータであってもよい。

【0057】

上述の脳画像の例では、例えば、「最大径は？」というメッセージが投稿されたときは、検査画像のＣＴ画像に対して出血部位の最大径を取得するために画像解析を施して得られた結果（例えば、最大径「３．８ｃｍ」）を検査画像に関連する情報として生成する。

【0058】

また、検査画像に関連する情報が、検査画像の注目位置を特定する情報であってもよい。例えば、検査画像が脳画像であれば、情報生成部２１は、検査画像の画像解析を行って出血領域または梗塞領域等の異常領域を抽出して異常領域の検査画像の座標位置を取得する。あるいは、注目領域が存在する位置である、例えば、「左小脳」「右小脳」等の脳の領域を注目位置として取得してもよい。また、検査画像が胸部画像であれば、心臓の虚血領域を異常領域として抽出して異常領域の位置を注目位置として取得する。

【0059】

また、検査画像に関連する情報が、検査画像上の注目位置にマークを付した画像であってもよい。上述で説明したように、検査画像が脳画像であれば、情報生成部２１は、出血領域または梗塞領域等の異常領域を抽出し、異常領域が分かるようにマークを付した画像を生成してもよい。例えば、矢印で異常領域を指すようにしてもよいし、異常領域を線で囲んでもよい。あるいは、検査画像が腹部または胸部である場合には、臓器抽出を行なって、各臓器領域を注目領域として、臓器領域が分かるようにマークを付した画像を生成してもよい。

【0060】

また、検査画像に関連する情報が、検査画像上の注目位置を拡大した画像であってもよい。例えば、「拡大して」というメッセージが投稿されると、メッセージ解析部２０で解析した解析結果に従って、情報生成部２１は、上述のように異常領域または臓器領域を注目領域として抽出し、この抽出した領域を注目位置として拡大した画像を生成する。

【0061】

また、検査画像に関連する情報が、検査画像に関連する画像を画像サーバ５から検索した画像であってもよい。検査画像には、ＤＩＣＯＭのフォーマットに従って患者ＩＤが付与されている。そこで、情報生成部２１は、患者ＩＤを用いて、同じ患者を撮影した他の検査画像を検索してもよい。例えば、脳疾患を診断する場合には、ＣＴ画像だけでなくＭＲＩ画像を撮影することが多い。ＣＴ画像について、仮想カンファレンスで議論を行っている時に、例えば、「他の画像を見せて」というメッセージが投稿されると、メッセージ解析部２０で解析した解析結果に応じて、ＭＲＩ画像を検索してもよい。

【0062】

また、検査画像に関連する情報が、検査画像がＣＴ画像またはＭＲＩ画像の場合には、断面画像の断面位置を特定する情報であってもよい。情報生成部２１は、メッセージに応じた断面位置を取得してもよい。仮想カンファレンスの開始時に表示された断面画像とは、異なる位置の断面画像に切り替えてながらカンファレンスを行うことが可能になる。

【0063】

検査画像に関連する情報が、検査画像に画像処理を施して濃度階調を調整した画像であってもよい。モダリティの撮影条件によっては、同じ被写体を撮影した場合であっても濃淡の見え方が異なる。また、疾患によっては濃度階調を調整することによって診断が行い易くなる場合もある。そこで、例えば、「見易い画像にして」というメッセージが投稿されると、メッセージ解析部２０で解析した解析結果に応じて、情報生成部２１は、撮影条件または疾患に応じて適正な濃度階調に調整した画像を生成してもよい。

【0064】

また、検査画像に関連する情報が、仮想カンファレンスに投稿されたメッセージが対象としている画像と対応づける情報であってもよい。例えば、「最初の画像を出して」というメッセージが投稿されると、メッセージ解析部２０で解析した解析結果に応じて、情報生成部２１は、診断対象のオリジナルの検査画像を画像サーバ５から検索してメッセージに検査画像の格納場所をリンクしたメッセージを生成するようにしてもよい。

【0065】

また、診断対象データに関連する情報が、検査画像の診断に用いられたキー画像であってもよい。情報生成部２１は、仮想カンファレンスで検討された画像の中から診断に決め手になった画像を、仮想カンファレンスに投稿されたメッセージの解析結果に基づいてキー画像として特定する。検査画像がＣＴ画像またはＭＲＩ画像である場合には、複数の断面画像が含まれているが、その中の１枚の断面画像をキー画像として特定してもよい。

【0066】

関連情報送信部２２は、検査画像に関連する情報を仮想カンファレンスに参加しているユーザの端末装置に送信する。具体的には、検査画像に関連する情報を仮想カンファレンスに投稿して端末装置に送信する。あるいは、検査画像に関連する情報が画像であるときは、仮想カンファレンスとは別に端末装置のビューワにその画像に送信するようにしてもよい。

【0067】

要約生成部２３は、仮想カンファレンスに投稿されたメッセージの要約を生成する。メッセージを一文ごとに区切って分析し、各文にスコアを割り当てて、要点を判別する。特に、メッセージの中で使われる診断情報に関する単語を含む文、または、多く出てくる単語を含む文にはより高いスコアを付けてスコアが高い文から要約を作成する等、周知の要約を作成する手法を用いることができる（例えば、特開２０１１－００３１５８号公報を参照）。特に、診断情報に関する単語を含む文に高いスコアを与え、さらに、それらの単語のうち出現回数が単語にはより高いスコアを与えることによって、検査画像の診断情報が含まれるように要約を自動で生成することが可能である。

【0068】

また、要約生成部２３は、仮想カンファレンスにおいて診断対象データの診断の終了を検出した場合に要約の生成を行う。具体的には、メッセージ解析部２０で投稿されたメッセージを解析した解析結果が、診断の終了を表す場合に要約を生成する。あるいは、仮想カンファレンスにメッセージが投稿されない時間が所定の時間経過した場合に要約を生成する。さらに、生成した要約をメッセージ送受信部１７から仮想カンファレンスに投稿することによって、要約を各端末装置に送信する。

【0069】

また、要約生成部２３は、生成した要約と検査画像の情報を読影レポートサーバ７に送信し、要約と検査画像をレポートのフォーマットに整えて読影レポートデータベース８（記憶部）に記憶する。これにより、仮想カンファレスに投稿したメッセージから自動的に読影レポートを生成することができる。あるいは、生成した要約と検査画像を電子カルテに対応付けて記憶するようにしてもよい。

【0070】

さらに、要約生成部２３は、前述の診断に決め手になったキー画像と要約とを対応付けて読影レポートデータベース８に記憶することがより望ましい。これにより、いずれの画像が診断の決め手になったかを確認することが可能になり適切な処置につながる。

【0071】

なお、診断支援サーバ１０には、検査画像の画像解析を行うため、深層学習（ディープラーニング）の手法を用いて学習がなされた畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を設け、診断対象データ解析部１９および情報生成部２１では、ＣＮＮを用いて画像解析を行うようにしてもよい。本実施の形態のＣＮＮは、検査画像を入力することによって検査画像上の臓器領域または病変領域を出力するように構成したものが望ましい。あるいは、検査画像を入力することによって疾患名を出力するＣＮＮ、または、画像の各画素が複数の疾患のうちのいずれの疾患であるかを表す確率を出力するＣＮＮを設けてもよい。さらに、これらの複数の異なる結果が得られるＣＮＮ を設けるようにすれば、様々な画像解析を行うことが可能になる。

【0072】

診断支援サーバ１０ではなく、別途設けられた画像処理用の画像処理サーバに画像解析を行うＣＮＮを設けて、ネットワークを介して検査画像の解析を依頼し、その解析結果のみをうけとるようにしてもよい。

【0073】

次に、第１の実施の形態の端末装置３０の構成について説明する。図３に示すように、端末装置３０は、ＣＰＵ３１、メモリ３２、ストレージ（不図示）、入出力インターフェース３３、通信インターフェース３４、およびデータバス（不図示）等の周知のハードウェア構成を備えたコンピュータであり、ディスプレイ３５、並びにキーボードおよびマウス等の入力装置３６が接続されている。このコンピュータの実行時に、メモリ３２には、端末装置用プログラムが記憶され、ＣＰＵ３１がメモリ３２に記憶されたプログラムに従いこれらの処理を実行することで、コンピュータは、端末装置３０として機能する。

【0074】

図３に示すように、端末装置３０は、参加部３７、診断対象データ表示部３８、投稿メッセージ送信部３９、仮想カンファレンス表示部４０、および関連情報表示部４１して機能する。

【0075】

参加部３７は、診断支援サーバ１０からの招待メッセージを受信した後、診断支援サーバ１０に承認の通知を送信する。この承認を通知した後に仮想カンファレンスへのメッセージの投稿が可能になる。

【0076】

投稿メッセージ送信部３９は、入力装置３６を用いて入力された投稿メッセージを診断支援サーバ１０に送信する。

【0077】

仮想カンファレンス表示部４０は、仮想カンファレンスのスレッドに投稿されたメッセージを投稿された順に並べてディスプレイ３５に表示する。仮想カンファレンスに参加している他のユーザが投稿したメッセージと、診断支援サーバ１０が投稿したメッセージを診断支援サーバ１０から受信し、この受信したメッセージと、この端末装置から投稿メッセージ送信部３９で診断支援サーバ１０に送信したメッセージとを、仮想カンファレンスに投稿された順に並べて表示する。

【0078】

診断対象データ表示部３８は、診断支援サーバ装置１０から仮想カンファレンスに投稿された検査画像をディスプレイ３５に表示させる。あるいは、仮想カンファレンスのスレッドの画面とは異なるビューワ用のソフトウェアを用いて検査画像をディスプレイ３５に表示させてもよい。

【0079】

関連情報表示部４１は、診断支援サーバ装置１０から仮想カンファレンスに投稿された検査画像に関連する情報を表示する。検査画像に関連する情報が仮想カンファレンスのスレッドに投稿された場合には、仮想カンファレンスのスレッドの画面上に表示する。あるいは、検査画像に関連する情報が画像である場合は、ビューワを用いて、その画像を表示するようにしてもよい。

【0080】

次に、図４Ａ～図４Ｃのフローチャートと図５～図６の端末装置３０の表示画面の例を参照して、仮想カンファレンスの処理の流れについて説明する。以下、診断医からのメッセージの投稿と読影医からのメッセージの投稿を区別するため、端末装置３０を診療科ＷＳ４と読影ＷＳ３とに分けて説明する。また、診断支援サーバ装置１０の情報生成部２１で生成した情報は「ＡＩ先生」からのメッセージとして説明する。また、情報生成部２１を実行する必要がある場合をＡＩ先生の問いかけとして説明する。また、メッセージには文字だけでなく画像を含むものとして説明する。

【0081】

モダリティ２で患者の検査画像が撮影され、診断医が診療科ＷＳ４から検査画像を診断支援サーバ１０に送信すると（ステップST1)、仮想カンファレンス生成部１５が仮想カンファレンスを生成してスレッドを立ち上げる（ステップST10）。診断医は、仮想カンファレンスに招待するために、例えば、図６に示す読影医、例えば、「Ｊｅｆｆ」と「Ｔｏｍ」を仮想カンファレンスの参加者に加入する操作を行うと、招待部１６から招待メッセージが読影ＷＳ３に送信される（ステップST11）。診断支援サーバ１０は、診断対象データ解析部１９で検査画像の解析を実行する（ステップST12）。

【0082】

各読影医は、読影ＷＳ３の参加部３７で受信した招待メッセージを確認して承認すると（ステップST40）、参加部３７から承認の通知が診断支援サーバ１０に送信される（ステップST4１）。招待部１６で、各読影ＷＳ３から承認の通知を受信すると、仮想カンファレンス上でメッセージの送受信を開始する（ステップST13）。仮想カンファレンスに投稿されたメッセージは、ログ記録部１８に順に記録される。

【0083】

また、診断対象データ解析部１９は、図５に示すように、仮想カンファレンスに投稿された診断対象の検査画像と、検査画像上に画像解析して得られた出血領域を囲む線を重ねた画像と、画像解析によって得られた文字情報、例えば、「左小脳に３５ｍｌの出血を認めます」のメッセージを、ＡＩ先生のメッセージとして仮想カンファレンスに投稿する（ステップST14）。読影医ＷＳ３および診療科ＷＳ４は、仮想カンファレンスに投稿されたメッセージを診断対象データ表示部３８で表示する（ステップST2、ステップST42）。

【0084】

続いて、診断医と読影医間でカンファレンスが行われる。例えば、図６に示すように、診療科ＷＳ４から、投稿メッセージ送信部３９でメッセージ１、例えば、「最大径は？」が投稿されると(ステップST3）、診断支援サーバ１０のメッセージ送受信部１７は診療科ＷＳ４からメッセージ１を受信し（ステップST15）、受信したメッセージを読影医「Ｊｅｆｆ」と「Ｔｏｍ」の読影ＷＳ３にそれぞれ送信する（ステップST16）。読影ＷＳ３は、仮想カンファレンス表示部４０で受信したメッセージ１を表示する（ステップST43）。また、診断支援サーバ１０では、メッセージ解析部２０でメッセージ１を解析する（ステップST17）。メッセージ１の解析結果から、診断の終了ではないと判定される（ステップST18）。ステップST18の判定は否定（No）され、検査画像の計測であるのでＡＩ先生に対する問いかけであると判定する（ステップST19）。ステップST19の判定は肯定（Yes）され、情報生成部２１で画像解析を施して得られた結果から出血部位の計測結果を表すメッセージ２、例えば、「３．８ｃｍです。」を生成する（ステップST20）。さらに、関連情報送信部２２でメッセージ２を仮想カンファレンスに投稿する。投稿されたメッセージ２は、メッセージ送受信部１７から診療科ＷＳ４と読影ＷＳ３に送信される（ステップST21）。読影ＷＳ３および診療科ＷＳ４は、受信したメッセージ２を関連情報表示部４１で表示する（ステップST5、ステップST44）。これらの処理が終わると、診断支援サーバ１０は次の投稿メッセージを受け取るまでＷａｉｔ状態（待ち状態）になる（ステップST22）。

【0085】

次に、診療科ＷＳ４から、投稿メッセージ送信部３９でメッセージ３、例えば、「Ｊｅｆｆどう思う？」が仮想カンファレンスに投稿されると（ステップST3）、診断支援サーバ１０はＷａｉｔ状態からステップST15に戻り、メッセージ送受信部１７で診療科ＷＳ４からメッセージ１を受信し（ステップST15）、受信したメッセージを読影ＷＳ３に送信する（ステップST 16）。読影医「Ｊｅｆｆ」および「Ｔｏｍ」の読影ＷＳ３では、仮想カンファレンス表示部４０で投稿されたメッセージ３を表示する（ステップST43）。また、診断支援サーバ１０のメッセージ解析部２０でメッセージ３を解析し（ステップST17）、メッセージ３の解析結果が診断の終了ではないと判定される（ステップST18）。ステップST18の判定は否定（No）され、メッセージ２には参加者である「Ｊｅｆｆ」の名前が入っていることからメッセージ２は仮想カンファレンスの参加者に対するメッセージであると判定される（ステップST18）。ステップST18の判定は否定（No）され、情報生成部２１で情報を生成する処理は実行しないで、診断支援サーバ１０は次の投稿メッセージを受け取るまでＷａｉｔ状態になる（ステップST22）。

【0086】

次に、図４Ｂのフローチャートに従って、読影ＷＳ３からメッセージが投稿される場合について説明する。読影医Ｊｅｆｆの読影ＷＳ３から、投稿メッセージ送信部３９でメッセージ４、例えば、「脳幹を圧迫している可能性が高いでしょう。」が投稿されると（ステップST45）、診断支援サーバ１０はＷａｉｔ状態からステップST23に戻り、メッセージ送受信部１７は読影医Ｊｅｆｆの読影ＷＳ３からメッセージ４を受信し（ステップST23）、受信したメッセージ４を読影医Ｔｏｍの読影ＷＳ３と診断医の診療科ＷＳ４にそれぞれ送信する（ステップST24）。図４Ｂでは、診療科ＷＳ４にのみ投稿されたメッセージを送信しているが、メッセージを投稿した読影ＷＳ３以外の読影ＷＳ３にも投稿されたメッセージは送信されるが、診療科ＷＳ４と同じ流れになるので図４Ｂでは便宜上省略する。診断支援サーバ１０のメッセージ解析部２０でメッセージ４を解析する。メッセージの解析結果から、メッセージ４は診断の終了ではないと判定される（ステップST25）。ステップST25は否定（No）され、メッセージ４は仮想カンファレンスの参加者に対するメッセージであると判定される（ステップST26）。ステップST26は否定（No）され、情報生成部２１で情報を生成する処理は実行しない。このまま診断支援サーバ１０は次の投稿メッセージを受け取るまでＷａｉｔ状態になる（ステップST29）。ステップST27、ステップST28は、投稿されたメッセージがＡＩ先生の問いかけであると判定された場合にのみ実行される（ステップST26が肯定された場合）、生成した情報（ステップST27）が読影医ＷＳ３および診療科ＷＳ４に送信される（ステップST27）。さらに、送信された情報は、読影医ＷＳ３および診療科ＷＳ４で表示される（ステップST17、ステップST47）。

【0087】

以上のように、仮想カンファレンスに参加する医師が投稿したメッセージの送受信を繰り返し、メッセージ解析部２０で、投稿されたメッセージが参加者間のメッセージであるか、ＡＩ先生に対する問いかけであるかを判断して、ＡＩ先生に対する問いかけである場合には、情報生成部２１で検査画像に関連する情報を生成して仮想カンファレンスに投稿する。

【0088】

最後に、図４Ｂと図４Ｃのフローチャートに従って、レポートを生成する場合について説明する。図６に示すように、読影医Ｔｏｍのからの読影ＷＳ３から、投稿メッセージ送信部３９でメッセージ５、例えば、「まとめて」が投稿されると（ステップST45）、診断支援サーバ１０のメッセージ送受信部１７は読影医Ｊｅｆｆの読影ＷＳ３から受信したメッセージを読影医Ｊｅｆｆの読影ＷＳ３と診断医の診療科ＷＳ４にそれぞれ送信する（ステップST 24）。診断支援サーバ１０のメッセージ解析部２０は、メッセージ５を診断の終了を表すメッセージであると判定する（ステップST25）。ステップST25が肯定（Yes）されると、このメッセージ５の解析結果に従って、図４Ｃのフローチャートに示すように、要約生成部２３でログ記録部１８に記録されたメッセージから要約を生成する（ステップST30）。さらに、要約と検査画像をレポートのフォーマットに整えて読影レポートデータベース８に記憶する（ステップST31）。さらに、要約を仮想カンファレンスに投稿して、投稿された要約は、メッセージ送受信部１７から診療科ＷＳ４と読影ＷＳ３に送信される（ステップST32）。図６の右上に示すように、ＡＩ先生のメッセージとして要約が診療科ＷＳ４と読影ＷＳ３に表示される（ステップST6、ステップST46）。

【0089】

以上、詳細に説明したように、第１の実施の形態では、複数の医師が、診断支援装置を用いて検査画像に関する様々情報を取得しながら、仮想カンファレンスを行うことができる。診断支援装置に、ＡＩ機能を持たせることにより、医師の情報にＡＩ機能を用いて得られた情報を加えて正確な診断を行うことが可能になる。さらに、仮想カンファレンスに投稿されたメッセージを要約する機能を持たせることによって、読影レポートを自動的に作成することが可能になる。

【0090】

上述では、招待メッセージを送信して、仮想カンファレンスに参加するユーザとメッセージの送受信を開始する場合について説明したが、仮想カンファレンスが生成されると、登録されているユーザとメッセージの送受信を開始できるようにしてもよい。

【0091】

次に、本発明の第２の実施の形態について説明する。本実施の形態では、１つのコンピュータで、仮想カンファレンスが行われる点が第１の実施の形態とは異なる。第１の実施の形態と同一の構成については同一符号を付して詳細な説明は省略する。

【0092】

図７に示すように、第２の実施の形態の診断支援装置５０は、ＣＰＵ５１、メモリ５２、ストレージ５３、入出力インターフェース５４、通信インターフェース（不図示）、および、データバス（不図示）等の周知のハードウェア構成を備えたコンピュータであり、ディスプレイ５６、並びにキーボードおよびマウス等の入力装置５７が接続されている。このコンピュータの実行時に、メモリ５２には、診断支援プログラムが記憶され、ＣＰＵ５１がメモリ５２に記憶されたプログラムに従いこれらの処理を実行することで、コンピュータは、診断支援装置５０として機能する。なお、必要に応じてコンピュータにＧＰＵを設けるようにしてもよい。

【0093】

また、本実施の形態では、診療科ＷＳ４または読影ＷＳ３に、本発明の診断支援プログラムをインストールすることによって、本実施の形態の診断支援装置５０として機能する。

【0094】

ＣＰＵ１１が診断支援プログラムによって、診断支援装置の各部の機能を実行するようにしたが、ソフトウェアを実行して各種の処理部として機能する汎用的なプロセッサとしてはＣＰＵ１１の他、ＦＰＧＡ等のプログラマブルロジックデバイスを用いることができる。また、ＡＳＩＣ等の専用電気回路等により、各部の処理を実行するようにしてもよい。各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せで構成されてもよい。

【0095】

図７に示すように、診断支援装置５０は、仮想カンファレンス生成部１５ａ、診断対象データ解析部１９、診断対象データ表示部５８、投稿メッセージ受付部５９、仮想カンファレンス表示部６０、ログ記録部６１、メッセージ解析部２０、情報生成部２１、関連情報表示部６２、および要約生成部２３として機能する。

【0096】

仮想カンファレンス生成部１５ａは、診断対象データを受取ると自動的に仮想カンファレンスを生成する。また、仮想カンファレンスにおいて投稿されるメッセージのログを記憶するログ記録部６１が設けられる。

【0097】

ログ記録部６１は、各仮想カンファレンスに対して割り当てられたストレージ５３内の領域であり、各仮想カンファレンスに投稿されたメッセージが投稿された順に記録される。

【0098】

診断対象データ表示部５８は、仮想カンファレンスに診断対象データを投稿して、仮想カンファレンスの画面に表示してもよいが、診断対象データが画像である場合は、ビューワを用いて診断対象の画像を表示してもよい。患者の疾患を検査するための医用画像（以下、検査画像という）である場合を例に説明する。

【0099】

投稿メッセージ受付部５９は、入力装置５７を用いて入力された仮想カンファレンスに投稿するメッセージを受け付ける。

【0100】

仮想カンファレンス表示部６０は、仮想カンファレンスに投稿されたメッセージを、投稿された順に並べてディスプレイ５６上に表示させる。また、投稿されたメッセージをログ記録部６１に記録する。

【0101】

関連情報表示部６２は、情報生成部２１で生成された検査画像に関連する情報をディスプレイ５６上に表示させる。検査画像に関連する情報を仮想カンファレンスに投稿して、仮想カンファレンスのスレッドの画面上に情報を表示させてもよい。あるいは、検査画像に関連する情報が画像である場合には、仮想カンファレンスとは別のビューワで画像をディスプレイ５６に表示させてもよい。

【0102】

診断対象データ解析部１９、メッセージ解析部２０、情報生成部２１は、第１の実施の形態と同様であるので詳細な説明は省略する。

【0103】

また、診断支援装置５０には、検査画像の画像解析を行うため、深層学習（ディープラーニング）の手法を用いて学習がなされたＣＮＮを設け、診断対象データ解析部１９および情報生成部２１では、ＣＮＮを用いて画像解析を行うようにしてもよい。あるいは、画像解析を別途設けられた画像処理サーバで行う構成にして、画像処理サーバにＣＮＮを設けてもよい。

【0104】

次に、図８のフローチャートと図５および図９の表示画面の例を参照して、仮想カンファレンスの処理の流れについて説明する。また、診断支援装置５０が提供する情報は「ＡＩ先生」からのメッセージとして説明する。また、情報生成部２１を実行する必要がある場合は、ＡＩ先生の問いかけであるとして説明する。また、メッセージには文字だけでなく画像を含むものとして説明する。

【0105】

モダリティ２で患者の検査画像が撮影され、診療科ＷＳ４（または、読影ＷＳ３）で検査画像を受信すると、仮想カンファレンス生成部１５が仮想カンファレンスを生成する（ステップST50）。診断対象データ解析部１９は、検査画像の解析を実行する（ステップST51）。

【0106】

診断対象データ解析部１９は、図５に示すように、仮想カンファレンスに投稿された診断対象の検査画像と、検査画像上に画像解析して得られた出血領域を囲む線を重ねた画像と、画像解析によって得られた文字情報、例えば、「左小脳に３５ｍｌの出血を認めます」のメッセージを、ＡＩ先生のメッセージとして仮想カンファレンスに投稿する（ステップST52）。仮想カンファレンスに投稿されたメッセージは、ログ記録部１８に順に記録される。診断対象データ表示部５８で仮想カンファレンスに投稿されたメッセージを表示する（ステップST53）。

【0107】

続いて、医師によるカンファレンスが行われる。例えば、図９に示すように、投稿メッセージ受付部５９でメッセージ１、例えば、「最大径は？」の投稿を受け付けると(ステップST54）、仮想カンファレンス表示部６０でメッセージ１を表示する（ステップST55）。メッセージ解析部２０で、投稿されたメッセージ１を解析する（ステップST56）。メッセージ１の解析結果から、メッセージ１は診断の終了ではないと判定される（ステップST57－No）。さらに、メッセージ１は検査画像の計測であるのでＡＩ先生に対する問いかけであると判定される（ステップST58）。ステップST58は肯定（Yes）され、情報生成部２１で画像解析を施して得られた結果から出血部位の計測結果を表すメッセージ２、例えば、「３．８ｃｍです。」を生成する（ステップST59）。さらに、生成したメッセージ２を関連情報表示部６２で仮想カンファレンスに投稿し、投稿されたメッセージ２は仮想カンファレンス表示部６０で表示される（ステップST60）。診断支援装置５０は、次の投稿メッセージを受け取るまでＷａｉｔ状態になる（ステップST61）。次のメッセージを受け取るとステップST54に戻る。

【0108】

次に、投稿メッセージ受付部５９でメッセージ６、例えば、「脳幹を圧迫している可能性が高いでしょう。」の投稿を受け付けると(ステップST54）、仮想カンファレンス表示部６０でメッセージ６を表示する（ステップST55）。メッセージ解析部２０で、投稿されたメッセージ６を解析する（ステップST56）。メッセージ６の解析結果から、メッセージ６は診断の終了ではないと判定される（ステップST57）。ステップST57の判定が否定（No）されると、さらに、ＡＩ先生に対する問いかけでないか判定する（ステップST58）。ステップST57の判定が否定（No）されると、診断支援装置５０は、次の投稿メッセージを受け取るまでＷａｉｔ状態になる（ステップST61）。

【0109】

以上のように、医師が投稿した仮想カンファレンスにメッセージを、メッセージ解析部２０で投稿されたメッセージがＡＩ先生に対する問いかけであるかを判断して、ＡＩ先生に対する問いかけである場合には、情報生成部２１で検査画像に関連する情報を生成して仮想カンファレンスに投稿する。これを繰り返すことで、医師とＡＩ先生との間でカンファレンスが行なわれる。

【0110】

最後に、投稿メッセージ受付部５９でメッセージ５、例えば、「まとめて」が投稿されると（ステップST54）、メッセージ解析部２０は、診断の終了を表すメッセージであると判定する（ステップST57）。ステップST57が肯定（Yes）されると、このメッセージ５の解析結果に従って、要約生成部２３でログ記録部６１に記録されたメッセージから要約を生成する（ステップST62）。続いて、要約と検査画像をレポートのフォーマットに整えて読影レポートデータベース８に記憶する（ステップST63）。さらに、要約を仮想カンファレンスに投稿して、投稿された要約は、仮想カンファレンス表示部６０で表示される（ステップST64）。

【0111】

以上、詳細に説明したように、第２の実施の形態では、一人の医師が、診断支援装置を用いて検査画像に関する様々情報を取得して仮想カンファレンスを行うことが可能になる。診断支援装置に、ＡＩ機能を持たせることにより、一人の医師の考えだけでなくＡＩの情報を加えて正確な診断を行うことが可能になる。さらに、仮想カンファレンスに投稿されたメッセージを要約する機能を持たせることによって、読影レポートを自動的に作成することが可能になる。

【符号の説明】

【0112】

１ 医療情報システム
２ モダリティ
３ 読影ワークステーション
４ 診療科ワークステーション
５ 画像サーバ
６ 画像データベース
７ 読影レポートサーバ
８ 読影レポートデータベース
９ ネットワーク
１０ 診断支援サーバ装置
１１，３１，５１ ＣＰＵ
１２ メモリ
１３ ストレージ
１４ 通信インターフェース
１５、１５ａ 仮想カンファレンス生成部
１６ 招待部
１７ メッセージ送受信部
１８ ログ記録部
１９ 診断対象データ解析部
２０ メッセージ解析部
２１ 情報生成部
２２ 関連情報送信部
２３ 要約生成部
３０ 端末装置
３２ メモリ
３３ 入出力インターフェース
３４ 通信インターフェース
３５ ディスプレイ
３６ 入力装置
３７ 参加部
３８ 診断対象データ表示部
３９ 投稿メッセージ送信部
４０ 仮想カンファレンス表示部
４１ 関連情報表示部
５０ 診断支援装置
５２ メモリ
５３ ストレージ
５４ 入出力インターフェース
５６ ディスプレイ
５７ 入力装置
５８ 診断対象データ表示部
５９ 投稿メッセージ受付部
６０ 仮想カンファレンス表示部
６０ ログ記録部
６１ ログ記録部
６２ 関連情報表示部

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図5】

【図6】

【図7】

【図8】

【図9】