(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-06
(45)【発行日】2024-09-17
(54)【発明の名称】医用画像処理システム、医用画像処理方法、情報処理装置およびプログラム
(51)【国際特許分類】
G16H 30/40 20180101AFI20240909BHJP
【FI】
G16H30/40
(21)【出願番号】P 2022547432
(86)(22)【出願日】2021-07-28
(86)【国際出願番号】 JP2021027899
(87)【国際公開番号】W WO2022054439
(87)【国際公開日】2022-03-17
【審査請求日】2023-04-12
(31)【優先権主張番号】P 2020150287
(32)【優先日】2020-09-08
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】100083116
【氏名又は名称】松浦 憲三
(74)【代理人】
【識別番号】100170069
【氏名又は名称】大原 一樹
(74)【代理人】
【識別番号】100128635
【氏名又は名称】松村 潔
(74)【代理人】
【識別番号】100140992
【氏名又は名称】松浦 憲政
(74)【代理人】
【識別番号】100153822
【氏名又は名称】増田 重之
(72)【発明者】
【氏名】上原 大暉
【審査官】鹿谷 真紀
(56)【参考文献】
【文献】国際公開第2020/066132(WO,A1)
【文献】特開2020-121049(JP,A)
【文献】特開2013-214295(JP,A)
【文献】特開2009-176173(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G16H 10/00-80/00
(57)【特許請求の範囲】
【請求項1】
医用画像の画像処理を行う画像処理サーバと、前記画像処理サーバにネットワークを介して接続される情報処理装置とを含む医用画像処理システムであって、
前記画像処理サーバは、1つ以上の第1のプロセッサを備え、
前記第1のプロセッサは、複数の画像処理を行うための複数の処理モジュールを実行し、
前記情報処理装置から処理対象の画像と処理要求とを受け取り、前記処理要求に対応した画像処理を実施して処理結果を要求元に返し、
前記情報処理装置は、1つ以上の第2のプロセッサを備え、
前記第2のプロセッサは、
前記情報処理装置が接続される医療機関内ネットワーク上で利用者が前記画像処理の処理結果を閲覧する際に用いられる画像ビューワの操作ログを収集し、
前記収集した前記操作ログを基に、前記複数の画像処理のそれぞれの優先度を計算し、
前記計算によって得られた前記優先度の情報を記録し、前記複数の画像処理のそれぞれの優先度情報の更新および管理を行い、
前記医療機関内ネットワークに接続された1つ以上のモダリティによって撮影された新たな画像を取得し、
前記取得された前記新たな画像に対して、前記複数の画像処理のうち何の画像処理を実行できるかを判別し、
前記画像処理サーバの負荷状況を把握し、
前記判別された実行可能な1つ以上の画像処理のそれぞれの優先度と、前記把握された前記画像処理サーバの負荷状況とに基づき、前記画像処理サーバに対して前記優先度の基準に従い、前記実行可能な1つ以上の画像処理の処理要求を送信する、
医用画像処理システム。
【請求項2】
前記画像処理サーバは、複数の医療機関のそれぞれの前記情報処理装置からアクセスできる前記ネットワーク上に設置される、
請求項1に記載の医用画像処理システム。
【請求項3】
前記ネットワークを介して前記画像処理サーバに接続される複数の前記情報処理装置を含み、
前記複数の前記情報処理装置のそれぞれは、互いに異なる医療機関の医療機関内ネットワークに接続される端末を含む、
請求項1または2に記載の医用画像処理システム。
【請求項4】
前記医療機関内ネットワーク上には、前記1つ以上の前記モダリティによって撮影された画像を保存する画像保存サーバが設置される、
請求項1から3のいずれか一項に記載の医用画像処理システム。
【請求項5】
前記情報処理装置は、
前記操作ログから前記画像処理の処理結果の参照回数および参照順序の情報を取得し、前記参照回数および前記参照順序の情報を用いて各画像処理の優先度を計算する、
請求項1から4のいずれか一項に記載の医用画像処理システム。
【請求項6】
前記情報処理装置は、
前記画像ビューワを兼ねる、
請求項1から5のいずれか一項に記載の医用画像処理システム。
【請求項7】
前記医療機関内ネットワークには、複数の前記画像ビューワが接続され、
前記情報処理装置は、
複数の前記画像ビューワのそれぞれの前記操作ログを収集し、
収集した複数の前記操作ログに記録された情報を統計処理することにより、前記優先度を計算する、
請求項1から6のいずれか一項に記載の医用画像処理システム。
【請求項8】
前記情報処理装置は、
前記取得された前記新たな画像に写っている臓器を抽出する臓器抽出処理を行い、
前記抽出された前記臓器の情報に基づき、前記複数の画像処理の中から前記臓器に関連する前記画像処理を前記実行可能な画像処理として判別する、
請求項1から7のいずれか一項に記載の医用画像処理システム。
【請求項9】
前記情報処理装置は、
前記取得された前記新たな画像に付されているタグ情報に基づき、前記複数の画像処理の中から前記実行可能な画像処理を判別する、
請求項1から8のいずれか一項に記載の医用画像処理システム。
【請求項10】
前記画像処理サーバは、
前記情報処理装置からの負荷状況の問い合わせを受けて、現在の負荷状況を応答するエンドポイントを備え、
前記情報処理装置は、前記エンドポイントを使用し、前記エンドポイントから前記画像処理サーバの負荷状況を示す情報を取得する、
請求項1から9のいずれか一項に記載の医用画像処理システム。
【請求項11】
前記情報処理装置は、
前記画像処理サーバに対して処理要求を送信してから処理結果が得られるまでの応答時間を前記処理要求ごとに記録し、前記応答時間の増加率を計算することにより、前記画像処理サーバの負荷状況を把握する、
請求項1から9のいずれか一項に記載の医用画像処理システム。
【請求項12】
前記情報処理装置は、
前記把握された前記画像処理サーバの負荷状況を示す数値を閾値と照らし合わせ、
閾値に応じた前記優先度の処理の処理要求を前記画像処理サーバに送信する、
請求項1から11のいずれか一項に記載の医用画像処理システム。
【請求項13】
前記優先度は、最も低い優先度のレベルから最も高い優先度のレベルまでが50段階以上にレベル分けされている、
請求項1から12のいずれか一項に記載の医用画像処理システム。
【請求項14】
前記複数の画像処理は、
コンピュータ検出支援(Computer Aided Detection:CADe)の処理およびコンピュータ診断支援(Computer Aided Diagnosis:CADx)の処理のうち少なくとも1つの処理を含む、
請求項1から13のいずれか一項に記載の医用画像処理システム。
【請求項15】
前記複数の処理モジュールは、
CADeの処理を行うCADeモジュールと、
CADxの処理を行うCADxモジュールと、を含む、
請求項14に記載の医用画像処理システム。
【請求項16】
デフォルトの設定において、
前記CADeの処理の優先度は、前記CADxの処理の優先度よりも高い優先度に設定される、
請求項15に記載の医用画像処理システム。
【請求項17】
前記複数の処理モジュールは、
所見文の候補を生成する処理を含むレポート作成支援処理を行う処理モジュールを含む、
請求項14から16のいずれか一項に記載の医用画像処理システム。
【請求項18】
デフォルトの設定において、
前記レポート作成支援処理の優先度は、前記CADeの処理の優先度および前記CADxの処理の優先度よりも低い優先度に設定される、
請求項17に記載の医用画像処理システム。
【請求項19】
前記複数の画像処理は、
骨折の位置を検出する骨折検出処理と、
骨番号のラベリングを行う骨ラベリング処理と、
肺結節の位置を検出する肺結節検出処理と、
前記肺結節の性状を鑑別する性状鑑別処理と、
肺区域のラベリングを肺区域ラベリング処理と、
のうち少なくとも1つの処理を含む、
請求項1から18のいずれか一項に記載の医用画像処理システム。
【請求項20】
複数の画像処理を行うことができる画像処理サーバにネットワークを介して接続された情報処理装置から処理対象の画像と処理要求とを前記画像処理サーバに送り、前記画像処理サーバにて前記処理要求に対応した画像処理を実施して処理結果を要求元に返す医用画像処理方法であって、
前記情報処理装置が接続される医療機関内ネットワーク上において利用者が前記画像処理の処理結果を閲覧する際に用いられる画像ビューワの操作ログを収集することと、
前記収集した前記操作ログを基に、前記複数の画像処理のそれぞれの優先度を計算することと、
前記計算によって得られた前記優先度の情報を記録し、前記複数の画像処理のそれぞれの優先度情報の更新および管理を行うことと、
前記医療機関内ネットワークに接続された1つ以上のモダリティによって撮影された新たな画像を取得することと、
前記取得された前記新たな画像に対して、前記複数の画像処理のうち何の画像処理を実行できるかを判別することと、
前記画像処理サーバの負荷状況を把握することと、
前記判別された実行可能な1つ以上の画像処理のそれぞれの優先度と、前記把握された前記画像処理サーバの負荷状況とに基づき、前記画像処理サーバに対して前記優先度の基準に従い、前記実行可能な1つ以上の画像処理の処理要求を行うことと、を含む、
コンピュータが行う医用画像処理方法。
【請求項21】
複数の画像処理を行うことができる画像処理サーバにネットワークを介して接続される情報処理装置であって、
1つ以上のプロセッサを備え、
前記プロセッサは、
前記情報処理装置が接続される医療機関内ネットワーク上で利用者が前記画像処理の処理結果を閲覧する際に用いられる画像ビューワの操作ログを収集し、
前記収集した前記操作ログを基に、前記複数の画像処理のそれぞれの優先度を計算し、
前記計算によって得られた前記優先度の情報を記録し、前記複数の画像処理のそれぞれの優先度情報の更新および管理を行い、
前記医療機関内ネットワークに接続された1つ以上のモダリティによって撮影された新たな画像を取得し、
前記取得された前記新たな画像に対して、前記複数の画像処理のうち何の画像処理を実行できるかを判別し、
前記画像処理サーバの負荷状況を把握し、
前記判別された実行可能な1つ以上の画像処理のそれぞれの優先度と、前記把握された前記画像処理サーバの負荷状況とに基づき、前記画像処理サーバに対して前記優先度の基準に従い、前記実行可能な1つ以上の画像処理の処理要求を送信する、
情報処理装置。
【請求項22】
複数の画像処理を行うことができる画像処理サーバにネットワークを介して接続される情報処理装置としてコンピュータを機能させるためのプログラムであって、
コンピュータに、
前記情報処理装置が接続される医療機関内ネットワーク上で利用者が前記画像処理の処理結果を閲覧する際に用いられる画像ビューワの操作ログを収集する機能と、
前記収集した前記操作ログを基に、前記複数の画像処理のそれぞれの優先度を計算する機能と、
前記計算によって得られた前記優先度の情報を記録し、前記複数の画像処理のそれぞれの優先度情報の更新および管理を行う機能と、
前記医療機関内ネットワークに接続された1つ以上のモダリティによって撮影された新たな画像を取得する機能と、
前記取得された前記新たな画像に対して、前記複数の画像処理のうち何の画像処理を実行できるかを判別する機能と、
前記画像処理サーバの負荷状況を把握する機能と、
前記判別された実行可能な1つ以上の画像処理のそれぞれの優先度と、前記把握された前記画像処理サーバの負荷状況とに基づき、前記画像処理サーバに対して前記優先度の基準に従い、前記実行可能な1つ以上の画像処理の処理要求を送信する機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は医用画像処理システム、医用画像処理方法、情報処理装置およびプログラムに係り、特に画像処理サーバが処理対象の画像と処理要求とを受け取り、処理要求に応じた処理を実行して処理結果を要求元に返す医用画像処理サービスの提供に好適な医用画像処理技術に関する。
【背景技術】
【0002】
医療分野においては、CT(Computed Tomography)装置およびMRI(Magnetic Resonance Imaging)装置等の画像診断装置の進歩により、質の高い高解像度の医用画像を用いての画像診断が可能となってきている。特に、近年は深層学習により学習がなされたニューラルネットワークを利用した人工知能(Artificial Intelligence:AI)を用いることにより、画像から病変領域などを認識したり、病名などの分類を特定したりするための解析処理の精度が向上している。
【0003】
このようなコンピュータ支援診断(Computer Aided Diagnosis, Computer Aided Detection:CAD)等の解析処理は、例えば、肺、心臓、肝臓および脳等の部位毎に、さらには検出可能な病変毎に用意されることが多い。また、CADに留まらず、読影レポートなどにおける所見文の候補を自動生成するレポート作成支援処理を行うAI処理モジュールも開発されている。
【0004】
特許文献1には、各種の医用画像解析を行う画像処理プログラムにおいて、割り当てられた計算資源内で各種解析処理に対してCPU(Central Processing Unit)およびメモリ等の計算資源の割当を最適化する仕組みが提案されている。
【0005】
また、特許文献2には、医用画像の画像保管通信システム(Picture Archiving and Communication System:PACS)において、画像診断装置を用いて撮影された医用画像を保管および/または通信する処理を最適化する方法が提案されている。
【先行技術文献】
【特許文献】
【0006】
【文献】国際公開第2020/158100号
【文献】特開2005-218847号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
医用画像に対する各種の解析処理は、各医療機関の医療機関内ネットワークに存在するサーバまたは端末において実施する構成を採用することも可能であるが、近年、画像処理API(Application Programming Interface)サーバを用いて、複数の医療機関からそれぞれの医療機関内に保存された医用画像と処理要求とを受け取り、処理結果を要求元に返す医用画像処理サービスが提供されている。例えば、肺CADなど各種医用画像処理機能を画像処理APIサーバから提供することが行われている。肺CADは、例えば、肺のCT画像を入力データに用い、肺疾患領域の検出および/または疾患名(病名)の認識結果などを出力する学習済みのAIモデルを利用したAI処理モジュールを含む。
【0008】
このような医用画像処理サービスを利用する各医療機関において、様々な種類の医用画像の処理結果を読影業務等の診断ワークフローにできるだけ早く利用していくためには、CT装置等のモダリティによる検査の撮影から医用画像処理結果の出力までの時間をできるだけ短縮することが求められている。
【0009】
かかる要求に対応するためには、モダリティにて画像が撮影され次第、自動的に画像がDICOM(Digital Imaging and Communication in Medicine)サーバ等から取得され、その画像に対して可能な処理を自動的に実行する機能が必要である。この際、自動的に取得された画像が、画像処理の自動実行条件に当てはまるもの全てに対して処理要求が行われるようになっていると、以下のような問題を生む。
【0010】
[課題1]例えば、オンプレミスまたはクラウド上に展開した画像処理APIなど、処理要求を投げる先(処理要求先)に対して、医療機関側の端末から処理要求を投げることになるが、処理要求先の計算資源(リソース)が逼迫しているにも関わらず、自動実行条件に当てはまるもの全ての処理要求を投げていくと、優先度の低い処理結果を得るための計算に処理要求先のリソースが圧迫され、優先度の高い処理がなかなか実行されない可能性がある。ここでいう優先度の低い処理結果とは、例えば、実際の診断ワークフローにおいて余り使われない画像処理結果などをいう。
【0011】
[課題2]課題1に対して、例えば、処理要求を投げる側で処理要求を投げる際に、高/中/低などの優先度を設定して処理要求を投げることにより、処理要求先にて優先度の高いものから処理させていくということも考えられる。しかしながら、利用者側で自身の診断ワークフローがスムーズに終わるよう最適な優先度を決めることは困難である。また、柔軟な優先度設定のためには優先度の粒度が3段階より多く必要となることも想定され、利用者による優先度決めはさらに困難になる。このため、システム的に優先度を最適化する仕組みが望まれる。
【0012】
[課題3]システム障害等で処理要求を受け付ける側のオンプレミスサーバまたはクラウドサーバのリソースが通常よりも少なくなっている場合は、通常よりもさらに処理要求側から投げる処理要求を通常時と比較して少なくするなどの調整を行わないと、必要としている処理結果が長時間経っても返ってこないなど、ユーザビリティを著しく損なう可能性がある。画像処理API側のリソース保護のために、APIのレイトリミット(rate limit)を設定しているような場合も、上記と同じ様な調整を行う必要性が生じる。
【0013】
つまり、画像処理を行うサーバ側の負荷状況を無視してクライアント端末側から処理要求を投げ続けてしまうことで、サーバ側の動作が不安定になったり、クライアント端末側で最低限必要な処理結果の取得にも長時間の待ち時間が発生してしまったりする。
【0014】
本開示はこのような事情に鑑みてなされたものであり、上記の複数の課題の少なくとも1つを解決し、システムの安定性およびユーザビリティを確保することができる医用画像処理システム、医用画像処理方法、情報処理装置およびプログラムを提供することを目的とする。本開示は、モダリティで撮影された新たな画像に対して自動的に処理要求を行うクライアント端末側において、処理要求を投げる際に、要求する処理の優先順位を動的に決定することによって処理要求数自体を有効的に絞り、クライアント端末側において最低限必要とされている処理結果(優先度の高い処理結果)ができるだけ早く返ってくるようにするための仕組みを提案する。
【課題を解決するための手段】
【0015】
本開示の一態様に係る医用画像処理システムは、医用画像の画像処理を行う画像処理サーバと、画像処理サーバにネットワークを介して接続される情報処理装置とを含む医用画像処理システムであって、画像処理サーバは、1つ以上の第1のプロセッサを備え、第1のプロセッサは、複数の画像処理を行うための複数の処理モジュールを実行し、情報処理装置から処理対象の画像と処理要求とを受け取り、処理要求に対応した画像処理を実施して処理結果を要求元に返し、情報処理装置は、1つ以上の第2のプロセッサを備え、第2のプロセッサは、情報処理装置が接続される医療機関内ネットワーク上で利用者が画像処理の処理結果を閲覧する際に用いられる画像ビューワの操作ログを収集し、収集した操作ログを基に、複数の画像処理のそれぞれの優先度を計算し、計算によって得られた優先度の情報を記録し、複数の画像処理のそれぞれの優先度情報の更新および管理を行い、医療機関内ネットワークに接続された1つ以上のモダリティによって撮影された新たな画像を取得し、取得された新たな画像に対して、複数の画像処理のうち何の画像処理を実行できるかを判別し、画像処理サーバの負荷状況を把握し、判別された実行可能な1つ以上の画像処理のそれぞれの優先度と、把握された画像処理サーバの負荷状況とに基づき、画像処理サーバに対して優先度の基準に従い、実行可能な1つ以上の画像処理の処理要求を送信する。
【0016】
本態様の医用画像処理システムによれば、処理要求を出す側の情報処理装置において、取得された画像に対する画像処理の処理要求を送る際に、画像処理サーバの負荷状況を把握させ、対象の画像について実行可能な画像処理ごとの優先度と、画像処理サーバの負荷状況とを勘案して、画像処理サーバに対して実際に要求する処理を決定することで、画像処理サーバへ送信する処理要求の数(処理要求の送信数)を制御する。
【0017】
これにより、負荷状況に合わせて優先度の高い処理の処理要求が優先的に行われ、画像処理サーバのリソースが逼迫している状況の場合には、優先度の低い処理の処理要求が抑制される。各画像処理の優先度は、利用者が画像ビューワを用いて処理結果等を参照した際の操作ログを基に計算されるため、利用者にとって必要性の高い処理結果あるいは優先順位の高い処理結果を適切に決定することができる。本態様によれば、画像処理サーバのリソースが逼迫している状況であっても、優先度の高い処理結果を比較的早期に取得することができ、システム全体としての安定性および/または応答性を確保できる。
【0018】
本開示の他の態様に係る医用画像処理システムにおいて、画像処理サーバは、複数の医療機関のそれぞれの情報処理装置からアクセスできるネットワーク上に設置される構成であってよい。
【0019】
本開示の他の態様に係る医用画像処理システムにおいて、ネットワークを介して画像処理サーバに接続される複数の情報処理装置を含み、複数の情報処理装置のそれぞれは、互いに異なる医療機関の医療機関内ネットワークに接続される端末を含む構成であってよい。
【0020】
本開示の他の態様に係る医用画像処理システムにおいて、医療機関内ネットワーク上には、1つ以上のモダリティによって撮影された画像を保存する画像保存サーバが設置される構成であってよい。
【0021】
本開示の他の態様に係る医用画像処理システムにおいて、情報処理装置は、操作ログから画像処理の処理結果の参照回数および参照順序の情報を取得し、参照回数および参照順序の情報を用いて各画像処理の優先度を計算する構成であってよい。
【0022】
本開示の他の態様に係る医用画像処理システムにおいて、情報処理装置は、画像ビューワを兼ねる構成であってよい。
【0023】
本開示の他の態様に係る医用画像処理システムにおいて、医療機関内ネットワークには、複数の画像ビューワが接続され、情報処理装置は、複数の画像ビューワのそれぞれの操作ログを収集し、収集した複数の操作ログに記録された情報を統計処理することにより、優先度を計算する構成であってよい。
【0024】
本開示の他の態様に係る医用画像処理システムにおいて、情報処理装置は、取得された新たな画像に写っている臓器を抽出する臓器抽出処理を行い、抽出された臓器の情報に基づき、複数の画像処理の中から臓器に関連する画像処理を実行可能な画像処理として判別する構成であってよい。
【0025】
本開示の他の態様に係る医用画像処理システムにおいて、情報処理装置は、取得された新たな画像に付されているタグ情報に基づき、複数の画像処理の中から実行可能な画像処理を判別する構成であってよい。
【0026】
本開示の他の態様に係る医用画像処理システムにおいて、画像処理サーバは、情報処理装置からの負荷状況の問い合わせを受けて、現在の負荷状況を応答するエンドポイントを備え、情報処理装置は、エンドポイントを使用し、エンドポイントから画像処理サーバの負荷状況を示す情報を取得する構成であってよい。
【0027】
本開示の他の態様に係る医用画像処理システムにおいて、情報処理装置は、画像処理サーバに対して処理要求を送信してから処理結果が得られるまでの応答時間を処理要求ごとに記録し、応答時間の増加率を計算することにより、画像処理サーバの負荷状況を把握する構成であってよい。
【0028】
本開示の他の態様に係る医用画像処理システムにおいて、情報処理装置は、把握された画像処理サーバの負荷状況を示す数値を閾値と照らし合わせ、閾値に応じた優先度の処理の処理要求を画像処理サーバに送信する構成であってよい。
【0029】
本開示の他の態様に係る医用画像処理システムにおいて、優先度は、最も低い優先度のレベルから最も高い優先度のレベルまでが50段階以上にレベル分けされている構成であってよい。
【0030】
本開示の他の態様に係る医用画像処理システムにおいて、複数の画像処理は、コンピュータ検出支援(Computer Aided Detection:CADe)の処理およびコンピュータ診断支援(Computer Aided Diagnosis:CADx)の処理のうち少なくとも1つの処理を含む構成であってよい。
【0031】
本開示の他の態様に係る医用画像処理システムにおいて、複数の処理モジュールは、CADeの処理を行うCADeモジュールと、CADxの処理を行うCADxモジュールと、を含む構成であってよい。
【0032】
本開示の他の態様に係る医用画像処理システムにおいて、デフォルトの設定において、CADeの処理の優先度は、CADxの処理の優先度よりも高い優先度に設定される構成であってよい。
【0033】
本開示の他の態様に係る医用画像処理システムにおいて、複数の処理モジュールは、所見文の候補を生成する処理を含むレポート作成支援処理を行う処理モジュールを含む構成であってよい。
【0034】
本開示の他の態様に係る医用画像処理システムにおいて、デフォルトの設定において、レポート作成支援処理の優先度は、CADeの処理の優先度およびCADxの処理の優先度よりも低い優先度に設定される構成であってよい。
【0035】
本開示の他の態様に係る医用画像処理システムにおいて、複数の画像処理は、骨折の位置を検出する骨折検出処理と、骨番号のラベリングを行う骨ラベリング処理と、肺結節の位置を検出する肺結節検出処理と、肺結節の性状を鑑別する性状鑑別処理と、肺区域のラベリングを肺区域ラベリング処理と、のうち少なくとも1つの処理を含む構成であってよい。
【0036】
本開示の他の態様に係る医用画像処理方法は、複数の画像処理を行うことができる画像処理サーバにネットワークを介して接続された情報処理装置から処理対象の画像と処理要求とを画像処理サーバに送り、画像処理サーバにて処理要求に対応した画像処理を実施して処理結果を要求元に返す医用画像処理方法であって、情報処理装置が接続される医療機関内ネットワーク上において利用者が画像処理の処理結果を閲覧する際に用いられる画像ビューワの操作ログを収集することと、収集した操作ログを基に、複数の画像処理のそれぞれの優先度を計算することと、計算によって得られた優先度の情報を記録し、複数の画像処理のそれぞれの優先度情報の更新および管理を行うことと、医療機関内ネットワークに接続された1つ以上のモダリティによって撮影された新たな画像を取得することと、取得された新たな画像に対して、複数の画像処理のうち何の画像処理を実行できるかを判別することと、画像処理サーバの負荷状況を把握することと、判別された実行可能な1つ以上の画像処理のそれぞれの優先度と、把握された画像処理サーバの負荷状況とに基づき、画像処理サーバに対して優先度の基準に従い、実行可能な1つ以上の画像処理の処理要求を行うことと、を含む。
【0037】
本開示の他の態様に係る情報処理装置は、複数の画像処理を行うことができる画像処理サーバにネットワークを介して接続される情報処理装置であって、1つ以上のプロセッサを備え、プロセッサは、情報処理装置が接続される医療機関内ネットワーク上で利用者が画像処理の処理結果を閲覧する際に用いられる画像ビューワの操作ログを収集し、収集した操作ログを基に、複数の画像処理のそれぞれの優先度を計算し、計算によって得られた優先度の情報を記録し、複数の画像処理のそれぞれの優先度情報の更新および管理を行い、医療機関内ネットワークに接続された1つ以上のモダリティによって撮影された新たな画像を取得し、取得された新たな画像に対して、複数の画像処理のうち何の画像処理を実行できるかを判別し、画像処理サーバの負荷状況を把握し、判別された実行可能な1つ以上の画像処理のそれぞれの優先度と、把握された画像処理サーバの負荷状況とに基づき、画像処理サーバに対して優先度の基準に従い、実行可能な1つ以上の画像処理の処理要求を送信する。
【0038】
本開示の他の態様に係るプログラムは、複数の画像処理を行うことができる画像処理サーバにネットワークを介して接続される情報処理装置としてコンピュータを機能させるためのプログラムであって、コンピュータに、情報処理装置が接続される医療機関内ネットワーク上で利用者が画像処理の処理結果を閲覧する際に用いられる画像ビューワの操作ログを収集する機能と、収集した操作ログを基に、複数の画像処理のそれぞれの優先度を計算する機能と、計算によって得られた優先度の情報を記録し、複数の画像処理のそれぞれの優先度情報の更新および管理を行う機能と、医療機関内ネットワークに接続された1つ以上のモダリティによって撮影された新たな画像を取得する機能と、取得された新たな画像に対して、複数の画像処理のうち何の画像処理を実行できるかを判別する機能と、画像処理サーバの負荷状況を把握する機能と、判別された実行可能な1つ以上の画像処理のそれぞれの優先度と、把握された画像処理サーバの負荷状況とに基づき、画像処理サーバに対して優先度の基準に従い、実行可能な1つ以上の画像処理の処理要求を送信する機能と、を実現させるためのプログラムである。
【発明の効果】
【0039】
本発明によれば、画像処理の処理要求を行う側の情報処理装置において、画像処理サーバの負荷状況と、各画像処理の優先度とに基づき、画像処理サーバに送る処理要求の数を有効的に絞り込むことができる。本発明によれば、処理要求に応じた画像処理の処理結果を提供する画像処理サーバの動作の安定性を確保できる。また、本発明に係る情報処理装置は、利用者にとって必要性の高い処理結果を早めに取得することが可能であり、ユーザビリティが確保される。
【図面の簡単な説明】
【0040】
【
図1】
図1は、本発明の実施形態に係る医用画像処理システムの構成および動作を概略的に示すブロック図である。
【
図2】
図2は、
図1に示す医用画像処理システムの動作の流れを示すフローチャートである。
【
図3】
図3は、優先度計算に関する動作の例を示すフローチャートである。
【
図4】
図4は、医用画像処理システムのシステム構成例を概略的に示す図である。
【
図5】
図5は、画像処理APIサーバの構成例を示すブロック図である。
【
図6】
図6は、医療機関内ネットワーク上の画像処理管理端末の構成例を示すブロック図である。
【
図7】
図7は、ビューワ端末の構成例を示すブロック図である。
【
図8】
図8は、コンピュータのハードウェア構成の例を示すブロック図である。
【発明を実施するための形態】
【0041】
以下、添付図面に従って本発明の好ましい実施形態について説明する。
【0042】
《医用画像処理システムの概要》
図1は、本発明の実施形態に係る医用画像処理システム10の構成および動作を概略的に示すブロック図である。医用画像処理システム10は、複数の医療機関のそれぞれの医療機関内ネットワーク上に設置される端末20と、各医療機関の端末20からアクセス可能なネットワーク上に設置される画像処理APIサーバ30とを含む。
【0043】
ここで端末20とは、安全に医療機関内のデータにアクセスできるネットワーク内に存在する計算資源を指しており、その端末20は物理的に医療機関内に存在しなくてもよい。各医療機関の端末20は、物理マシンであってもよいし、仮想マシンであってもよく、具体的な形態は限定されない。医療機関の代表的な例は「病院」である。
図1に示す「病院1」、「病院2」・・・「病院N」の表示は、N個の医療機関が存在していることを表している。1つの医療機関について少なくとも1つの端末20が医療機関内ネットワーク上に設けられる。端末20は本開示における「情報処理装置」の一例である。
【0044】
画像処理APIサーバ30は、N個の医療機関のそれぞれの端末20から画像処理要求を受け取り、要求された画像処理を実行して処理結果を要求元に返す中央画像処理サーバである。
【0045】
各医療機関の医療機関内ネットワークには、1つ以上のモダリティ40と、DICOMサーバ50とが接続されている。モダリティ40は、検査画像を撮影する装置である。モダリティ40には、被写体の検査対象部位を撮影することにより、その部位を表す検査画像を生成し、その画像にDICOM規格で規定された付帯情報を付加して出力する装置が含まれる。モダリティ40の具体例としては、CT装置(Computed Tomography:コンピュータ断層撮影装置)、MRI装置(magnetic resonance imaging:磁気共鳴画像撮影装置)、血管造影X線診断装置、PET装置(Positron Emission Tomography:陽電子放射断層撮影装置)、超音波装置、平面X線検出器(Flat Panel Detector:FPD)を用いたCR装置(Computed Radiography:コンピュータX線撮影装置)、マンモグラフィ装置、および内視鏡装置等が挙げられる。
【0046】
DICOMサーバ50は、DICOMの仕様にて動作するサーバである。DICOMサーバ50は、モダリティ40を用いて撮影された画像を含む各種データを保存および管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用プログラムを備えている。DICOMサーバ50は本開示における「画像保存サーバ」の一例である。
【0047】
各医療機関において1つ以上の端末20上に、ビューワ202、操作ログ収集部204、優先度情報更新管理部206および画像処理自動要求部208のそれぞれが構築される。ビューワ202は、医師による画像診断の診断ワークフローを支援する読影ビューワプログラムを含む。ビューワ202は、検査画像や画像処理結果等を表示装置に表示させる。ビューワ202は専用の閲覧ソフトであってもよいし、Webブラウザなどであってもよい。ビューワ202は本開示における「画像ビューワ」の一例である。
【0048】
操作ログ収集部204は、利用者60がビューワ202を使用した際の操作ログを収集するプログラムである。操作ログ収集部204は、利用者60に操作ログの収集作業を意識させることなく、適宜のタイミングで操作ログを自動的に収集する。収集された操作ログのデータは操作ログデータベース(Data Base:DB)205に格納される。
【0049】
利用者60は、主に医師などであり、ビューワ202を利用して画像処理結果を参照する者である。
【0050】
優先度情報更新管理部206は、操作ログ収集部204によって収集された操作ログに基づいて、各種医用画像処理の優先順位を計算するプログラムである。優先度情報更新管理部206は、利用者60の個人ごとに取得された操作ログに基づいて個人別に優先順位を計算してもよいし、複数の利用者60の操作ログを統計処理して医療機関内における平均的な利用想定の優先順位を計算してもよい。
【0051】
画像処理自動要求部208は、DICOMサーバ50に保存される画像を取得し、取得された画像に適用する画像処理を選択し、優先度情報更新管理部206が定めた優先度情報に従い画像処理APIサーバ30に対して画像処理の要求を行うプログラムである。
【0052】
画像処理APIサーバ30と各医療機関の医療機関内ネットワーク上に存在する画像処理自動要求部208との接続を確立することにより、相互の通信が可能になる。
【0053】
画像処理APIサーバ30は、複数の医療機関のそれぞれの医療機関内ネットワーク上の画像処理自動要求部208から安全にアクセスできるネットワーク上に存在すればよく、物理マシン、仮想マシン等の形態は問わない。画像処理APIサーバ30は、クラウドサーバであってもよいし、オンプレミスサーバであってもよい。画像処理APIサーバ30は本開示における「画像処理サーバ」の一例である。
【0054】
なお、
図1では、ビューワ202、操作ログ収集部204、優先度情報更新管理部206および画像処理自動要求部208が1つの端末20上に構築されている例が示されているが、これらのプログラムは、医療機関内ネットワーク上に存在する2以上の端末に分散して構築されてもよい。例えば、ビューワ202は第1の端末上に構築され、操作ログ収集部204、優先度情報更新管理部206および画像処理自動要求部208は、第1の端末とは異なる第2の端末上に構築されてもよい。あるいはまた、ビューワ202、操作ログ収集部204、優先度情報更新管理部206および画像処理自動要求部208のそれぞれが別々の端末上に構築されてもよい。
【0055】
図1中の手順[a]~[d]の流れは、モダリティ40にて検査画像が撮影されてから、画像処理APIサーバ30に対して処理要求が行われるまでの流れを示している。
図1中の手順[0]~[4]の流れは、利用者60がビューワ202を使用した操作ログから各種画像処理の優先度を計算する流れを示している。手順[a]~[d]の流れと、手順[0]~[4]の流れは同時並行的に行われていてもよい。
【0056】
《医用画像処理方法の説明》
図1中の手順[0]および手順[a]~[d]の流れを例に取り、利用者60が医用画像処理システム10をどのように利用するかの具体例を以下に説明する。
【0057】
図2は、医用画像処理システム10の動作の流れを示すフローチャートである。まず、モダリティ40にて検査画像の撮影が行われる(ステップS11)。モダリティ40によって撮影された検査画像は、DICOMサーバ50に保存される(ステップS12、
図1の手順[a])。
【0058】
続いて画像処理自動要求部208がDICOMサーバ50に新たに保存された画像を自動的に取得し(ステップS13、
図1の手順[b])、画像処理自動要求部208が取得した画像に対してどのような処理を行えばよいか処理内容を判断する(ステップS14、
図1の手順[c])。ここでの「自動的に」とは、利用者60からの都度の操作による指示の入力を必要とせずに、という意味を含んでおり、モダリティ40によって撮影された画像がDICOMサーバ50に保存される動作に連動してバックグラウンドで自動的に行われることを意味している。
【0059】
ここで画像処理自動要求部208が取得した画像に対して何の処理を行えばよいか判断する仕組みとして、例えば、画像処理自動要求部208は、取得した画像に対して臓器抽出処理を行って、どの臓器が写っているかという情報を抽出し、例えば肺が写っている場合には肺結節検出を実行する、というような判断でもよい。臓器ごとに実行可能な1つ以上の画像処理が紐付けられており、抽出した臓器に応じて実行可能な1つ以上の画像処理が判別される。1つの画像に対して実行可能な画像処理が複数あってもよい。
【0060】
また、画像処理自動要求部208は、画像に付されたDICOMタグから得られる情報を処理適用可否判断基準に用いてもよい。DICOMタグから得られる情報として、例えば、CTスライス厚等の条件を用いてもよい。CTスライス厚が分厚いと、実施できない処理があり得る。したがって、CTスライス厚が所定の基準値以下である場合に処理を実施できる、という条件を定めておき、CTスライス厚の情報を基に、処理の適用の可否を判断してもよい。もちろん、臓器抽出の結果とCTスライス厚の条件との組み合わせによって処理の適用の可否を判断してもよい。
【0061】
また、DICOMタグだけからでも処理適用の可否判断を実行できるものもある。例えば、DICOMタグから造影剤を使った撮影であると分かれば、血管造影や血管の病変および/または異常を抽出する処理を実施する、というような判断が可能である。DICOMタグの情報は本開示における「タグ情報」の一例である。
【0062】
次いで、画像処理自動要求部208は、取得された画像に対して適用可と判断された処理の要求を画像処理APIサーバ30に対して送信する前に、画像処理APIサーバ30の負荷状況を把握するための動作を行う(ステップS15)。
【0063】
ここで負荷状況の把握方法は、例えば、現在の画像処理APIサーバ30で待ち状態になっている処理個数を返すようなAPIエンドポイント(Endpoint)など、画像処理APIサーバ30側の負荷状況を応答するAPIエンドポイントを画像処理APIサーバ30側に備えておき、そのAPIエンドポイントを画像処理自動要求部208が使用し、その応答内容から画像処理APIサーバ30の負荷状況を取得してもよい。APIエンドポイントは本開示における「エンドポイント」の一例である。
【0064】
また、負荷状況の把握方法の他の例として、画像処理自動要求部208が、今まで画像処理APIサーバ30に対して処理要求を送ってから、処理結果が得られるまでの応答時間を、処理要求毎に画像処理自動要求部208の内部に記録し、応答が返ってくるまでの時間の増加傾向を計算するなどして、負荷状況を把握するというような方法でもよい。
【0065】
次いで、画像処理自動要求部208は、必要に応じて各処理の最新の優先度情報を優先度情報更新管理部206から取得する(ステップS16、
図1の手順[4])。
【0066】
そして、画像処理自動要求部208はステップS15で把握した負荷状況を示す数値を閾値と照らし合わせ、閾値に応じた優先度の処理を画像処理APIサーバ30に対して要求する(ステップS17、
図1の手順[d])。
【0067】
例えば、優先度は、最も低いレベルを示す「1」から最も高いレベルを示す「100」までの100段階にレベル分けされており、優先度情報更新管理部206によって処理ごとに優先度が決定される。この場合、画像処理自動要求部208は、例えば、画像処理APIサーバ30の応答時間の増加率が、直近10リクエストで30%である場合は、優先度が30~100の処理の処理要求を送信するなどの態様があり得る。
【0068】
なお、ここでは優先度の粒度の一例として優先度1~100の例を示したが、優先度の定義はこの例に限らない。複数の画像処理に関して柔軟に優先順位を設定するためには、優先度の粒度を細かくすることが望ましい。例えば、優先度は、最も低い優先度のレベルから最も高い優先度のレベルまでが50段階以上にレベル分けされていることが好ましく、100段階以上にレベル分けされていることがさらに好ましい。例えば、優先度のレベルを256段階に定義したり、1024段階に定義したりしてもよい。
【0069】
画像処理自動要求部208から処理要求を受け取った画像処理APIサーバ30は、要求された処理を実行する(ステップS18)。
【0070】
その後、画像処理自動要求部208は、適当なタイミングで画像処理APIサーバ30から処理結果を取得する(ステップS20)。
【0071】
ここで処理結果の取得の際に、処理結果が作成されたことを画像処理APIサーバ30から画像処理自動要求部208へ通知してもよいし、画像処理自動要求部208が定期的に画像処理APIサーバ30へ処理結果の有無を問い合わせて、処理結果ができている場合に取得するというような流れでもよい。
【0072】
画像処理APIサーバ30から処理結果を取得した画像処理自動要求部208は、その処理結果をビューワ202で参照できる形式にて保存する(ステップS21)。なお、処理結果の情報は、画像と関連付けされてDICOMサーバ50に保存されてもよい。
【0073】
その後、利用者60はビューワ202を通じて処理結果を参照することができる(ステップS22)。
【0074】
ここで画像処理自動要求部208からの処理要求に対して、画像処理APIサーバ30の計算資源が潤沢にある場合は、上記の手順にて利用者60が処理結果を参照する際に、ステップS13およびステップS14にて画像処理自動要求部208がDICOMサーバ50から取得した画像に対して適用可と判断された全ての処理結果がビューワ202にて参照可能となるという想定であるが、ステップS15にて画像処理APIサーバ30の負荷状況を勘案した結果、画像処理自動要求部208から送信する処理要求を絞った場合は、利用者60が処理結果を参照する時に一部結果が用意できていないことが想定される。
そのような場合の具体例について以下に述べる。
【0075】
〈具体例1〉
例えば、画像から骨折検出を行う骨折CADと、骨番号のラベリングを行う骨ラベリングという二つの処理を考える。骨折CADは骨折を見つけるために診断ワークフローの最初に行われることが多いため、結果がビューワ202にて参照される回数も多く、骨折CADの処理結果が早い段階で利用者60側にて参照可能になることが望ましい。
【0076】
一方、骨ラベリングは、例えば、脊椎の第何番目かを自動認識する処理であり、骨ラベリングの結果として得られる骨番号のラベリングは、骨折CADにより骨折が検出された場合にはレポートにて骨折箇所の特定のために重要な役割を果たす一方、骨折が検出されなかった場合は骨番号をレポートに書く必要が無く、骨ラベリングは処理自体が行われていなくとも問題ない。また、骨折が検出されているが骨ラベリングの結果が無いという場合でも、利用者60側としては多少不便とはなるが、レポートの作成自体は自分で骨番号を特定することで可能である。このような理由から、本例に関しては画像処理の優先度として、「骨折CAD>骨ラベリング」というような判断を行うことができる。
【0077】
このような優先度の相対的な大小関係は、デフォルトの優先度の設定(出荷時設定)において定められていてもよいし、ビューワ202の操作ログの解析結果から決定されてもよい。例えば、デフォルトの優先度の設定があり、その後、それぞれの医療機関における利用者60の好み等を操作ログの解析から優先度に反映してもよい。
【0078】
あるいはまた、何も優先度をつけずに最初はそれぞれの処理要求を画像処理APIサーバ30に送ることも考えられる。この場合、医師などの利用者60は、最初は処理結果が参照可能となるまでに時間がかかり不便を感じることも想定されるが、処理が終わるまで待ったものは優先度が高い処理、待たずに処理をキャンセルしたものは優先度が低い処理として、それぞれの処理に優先度を定めることができ、以後、その優先度が反映された処理が可能となる。
【0079】
優先度について「骨折CAD>骨ラベリング」の関係がある場合、画像処理自動要求部208は、骨ラベリングの処理よりも骨折CADの処理要求を優先して行う。
【0080】
〈具体例2〉
他の例として、肺結節検出と、肺区域ラベリングと、それら二つの処理結果を使用したレポート候補文生成処理との三つの処理がある。肺結節はなんらかの疾患を示している可能性があり、その肺結節の位置を検出する肺結節検出の結果は診断ワークフローの初期段階でよく参照される。
【0081】
一方、肺区域ラベリングは、肺の領域を区別しやすいように領域分けする機能であり、肺結節検出の結果よりは後に参照されることが多く、肺野画像に異常所見が見られない場合は、レポートに詳しい肺領域の名前を記載する必要がない場合もあり、肺区域ラベリングの結果が参照されないこともあり得る。
【0082】
このため、肺結節検出と肺区域ラベリングとのそれぞれの優先度の関係は、「肺結節検出>肺区域ラベリング」と言える。レポート候補文生成処理は、レポートに記載する所見文の候補を生成する処理である。レポート候補文生成処理は、肺結節検出の結果と肺区域ラベリングの結果を入力として所見文の候補を生成するが、所見文候補が無くても肺結節検出の結果や肺区域ラベリングの結果があれば、利用者60としては多少不便であるが、レポート作成は行える。このような観点から、三つの処理のそれぞれの優先度の関係は、「肺結節検出>肺区域ラベリング>レポート候補文生成」というような判断を行うことができる。この場合、画像処理自動要求部208は、肺結節検出の処理要求を優先して行うなどの処理が可能となる。レポート候補文生成処理は本開示における「レポート作成支援処理」の一例である。
【0083】
〈処理要求の送信判断の例〉
上記の「具体例1」および「具体例2」において、各種医用画像処理の優先度の考えを具体的な例を示して説明した。画像処理APIサーバ30のリソースが逼迫している場合、例えば「具体例1」の例だと、骨折CAD→骨ラベリングの順で画像処理自動要求部208から画像処理APIサーバ30に対して要求が送信される。ここで、骨折CADの後に骨ラベリングの処理要求を送るかどうかの判断は、以下のような基準で、画像処理自動要求部208によって行われる。
【0084】
[規則1]画像処理自動要求部208は、定期的にステップS15にて行っている画像処理APIサーバ30の負荷状況把握を行う。
【0085】
[規則2]画像処理自動要求部208は、処理要求を送らなければいけないが、優先度が低いためにまだ送ることができていない処理要求(例えば、骨ラベリングの処理要求)を内部的に保持している。
【0086】
[規則3]ステップS15にて把握した画像処理APIサーバ30の負荷状況の閾値が、保留中の処理要求(例:骨ラベリング)の優先度と照らし合わせたときに、保留中の処理要求を送信してもよい負荷状況となっていれば、保留中の画像処理要求を画像処理APIサーバ30に対して送信する。
【0087】
ここで、一定時間経過しても画像処理APIサーバ30の負荷状況が改善せず、保留中の画像処理要求の送信がなかなかできないような場合に関して、一定時間経過後は保留中の画像処理要求の送信を取りやめるというようなタイムアウト時間を設けてもよい。なお、このタイムアウト時間の値は、設定ファイル等として固定値で与えられてもよいし、例えば画像処理自動要求部208が操作ログ収集部204にて収集された操作ログから読影ワークフローにかかる平均的な時間を割り出し、算出された時間に基づいてタイムアウト時間を動的に設定してもよい。例えば、その読影ワークフローが通常(平均的には)1回30分で終わるのであれば、その平均的な時間の2倍の60分経過しても保留中の画像処理要求が送れない場合は、その結果はもう必要とされないとして、60分をタイムアウト時間と設定するような動的設定を行ってもよい。
【0088】
〈優先度の計算方法の例〉
これまで、各処理の優先度の考え方について述べてきた。ここでは
図1中の手順[0]~[4]の流れを説明し、優先度計算に関する具体例を示す。
図3は、優先度計算に関する動作の例を示すフローチャートである。
【0089】
図1の手順[0]にて、まず、利用者60はビューワ202を用いて各種画像処理結果を参照し、診断ワークフローを行う(
図3のステップS51)。
【0090】
次いで、手順[1]にて、操作ログ収集部204は利用者60によるビューワ202の操作の操作ログを収集する(ステップS52)。
【0091】
次いで、手順「2」にて、優先度情報更新管理部206は操作ログの中から処理要求の優先度計算に必要な情報を取得する(ステップS53)。優先度情報更新管理部206は、優先度計算に必要な情報として、例えば、処理結果の参照回数に関するログ、およびどの処理結果を参照した後にどの処理結果を参照したか、という参照順序の情報を取得する。
【0092】
必要な情報を取得した優先度情報更新管理部206は、手順[3]にて、それら情報を用いて各処理の優先度を計算する(ステップS54)。ここでの処理とは、例えば肺結節検出など、各医療機関内にある画像処理自動要求部208から画像処理APIサーバ30へ要求する処理のことである。優先度の計算においては、例えば、次のような優先度基準が適用される。
【0093】
[優先度基準]数々の診断ワークフローにおいて、最初に参照され、かつ参照回数が多いものに高い優先度をつける。
【0094】
これは、診断ワークフローにおいて最初に参照されることから、早めに処理結果を返す必要があるとの考え方に基づく基準である。具体例については既述の「具体例1」および「具体例2」で説明したとおりである。
【0095】
なお、以降の優先度の計算方法は、優先度情報更新管理部206が構築された情報処理装置への設定ファイルとして渡せるようになっていてもよいし、ソースコードとして直接実装されていてもよい。
【0096】
上記の「優先度基準」によって、結果が参照される回数の多い処理の優先度を高くしているが、参照回数以外の優先度基準として、次のような基準も考慮することも好ましい。すなわち、CADx系の処理の前段の処理にあたるCADe系の処理など、他の処理の前段として必要とされる処理の優先度も高くする必要があることが考えられる。CADx系の処理とは、性状分析を行う処理であり、例えば、ガンか、肺炎かなどを判別(鑑別)する処理がこれに該当する。一方、CADe系の処理とは、画像内から特定の領域や対象を検出する検出系の処理であり、例えば、異常な領域が画像上にあるかを検出し、異常領域を抽出する処理がこれに該当する。CADe系の処理によって異常領域が検出された場合に、CADx系の処理によって性状分析を行うという段階的な処理態様が考えられる。
【0097】
このような状況に対応するために、例えば各種処理の優先度の値には、結果参照回数という値以外に、各処理に対してデフォルトの優先度値を属性として付与しておき、結果の参照回数はそのデフォルト値への加算値として与えてもよい。
【0098】
例えば、CADe系の処理にはデフォルトの優先度値として優先度200を、CADx系の処理には優先度100をそれぞれ属性として与えておき、操作ログから特定される結果の参照回数は、そのデフォルト値への加算値として与えることにより、デフォルトの優先度値と実際の参照回数とが考慮された優先度の値が動的に設定されることになる。
【0099】
また、例えば優先度200のあるCADe系の処理Aが、後段の優先度100の3種類のCADx系の処理B、処理Cおよび処理Dのそれぞれによって必要とされている場合、処理Aの優先度を200+100×3=500とするなど、他の処理からその処理結果を必要とされている処理ほど、その優先度を高くするというような優先度の計算ルールを設けてもよい。処理Aは例えば、肺内の異常領域抽出処理であり、処理Bは例えば、肺がんAI判断処理、処理Cは例えば、肺炎AI判断処理、処理Dは例えば、気管支炎AI判断処理などであってよい。肺内の異常領域抽出処理は本開示における「CADeの処理」の一例であり、肺がんAI判断処理、肺炎AI判断処理、および気管支炎AI判断処理のそれぞれは本開示における「CADxの処理」の一例である。
【0100】
ステップS54(
図1の手順[3])にて計算された優先度情報は、優先度情報更新管理部206に保存される(ステップS55)。画像処理自動要求部208は、
図2で説明したステップS16およびステップS17のようなタイミングで画像処理の処理要求を送る前に、各処理の最新の優先度情報を取得する。
【0101】
《システム構成例》
次に、医用画像処理システム10の具体的な構成の例について説明する。
図4は、医用画像処理システム10のシステム構成例を概略的に示す図である。まず、医療機関内ネットワーク100の例を説明する。
図4では、図示を簡単にするために、複数の医療機関のそれぞれに同じシステム構成の医療機関内ネットワーク100が構築されている例を示すが、医療機関ごとに異なるシステム構成の医療機関内ネットワークが構築されてもよい。
【0102】
医療機関内ネットワーク100は、モダリティ40と、DICOMサーバ50と、画像処理管理端末20Aと、ビューワ端末22と、電子カルテシステム24と、構内通信回線26とを含むコンピュータネットワークである。
【0103】
なお、医療機関内ネットワーク100には、複数種類のモダリティ40が含まれてもよい。医療機関内ネットワーク100に接続されるモダリティ40の種類は、医療機関ごとに様々な組み合わせがありうる。
【0104】
DICOMサーバ50は、構内通信回線26を介して他の装置と通信を行い、画像データを含む各種データを送受信する。DICOMサーバ50は、モダリティ40によって生成された画像データその他の含む各種データを構内通信回線26経由で受信し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式および構内通信回線26経由での各装置間の通信は、DICOMのプロトコルに基づいている。
【0105】
画像処理管理端末20Aは、
図1で説明した端末20に相当する情報処理装置である。画像処理管理端末20Aの形態は特に限定されず、パーソナルコンピュータであってもよいし、ワークステーションであってもよく、また、タブレット端末などであってもよい。画像処理管理端末20Aは、画像処理APIサーバ30と通信するための通信機能を有し、広域通信回線120を介して画像処理APIサーバ30と接続される。画像処理管理端末20Aは、構内通信回線26を介してDICOMサーバ50等からデータを取得することができる。また、画像処理管理端末20Aは、画像処理APIサーバ30から取得した処理結果をDICOMサーバ50およびビューワ端末22に送ることができる。画像処理管理端末20Aは、ビューワ端末22と兼用されてもよい。
【0106】
DICOMサーバ50のデータベースに保存された各種データ、並びに画像処理管理端末20Aが取得した処理結果を含む様々な情報は、ビューワ端末22に表示させることができる。
【0107】
ビューワ端末22は、PACSビューワ、あるいはDICOMビューワと呼ばれる画像閲覧用の端末である。医療機関内ネットワーク100には複数のビューワ端末22が接続され得る。ビューワ端末22の形態は特に限定されず、パーソナルコンピュータであってもよいし、ワークステーションであってもよく、また、タブレット端末などであってもよい。
【0108】
図4に示すように、複数の医療機関のそれぞれに、同様のシステム構成を持つ医療機関内ネットワークが構築されている。
【0109】
画像処理APIサーバ30は、広域通信回線120を介して、各医療機関の画像処理管理端末20Aと通信を行う。広域通信回線120は本開示における「ネットワーク」の一例である。画像処理APIサーバ30は、複数の画像処理を行うことができ、画像処理管理端末20Aからの処理要求に応じて各種の画像処理サービスを提供する。
【0110】
画像処理APIサーバ30によって提供される画像処理には、例えば、骨折の位置を検出する骨折検出処理、骨番号のラベリングを行う骨ラベリング処理、肺結節の位置を検出する肺結節検出処理、肺結節の性状を鑑別する肺結節性状鑑別処理、肺区域のラベリングを肺区域ラベリング処理のうち少なくとも1つの処理が含まれてよい。画像処理APIサーバ30によって提供される画像処理には、他にも、臓器セグメンテーション処理、血管領域抽出処理、脳CAD処理、乳腺CAD処理、肝臓CAD処理、大腸CAD処理およびレポート作成支援処理などがありうる。
【0111】
《画像処理APIサーバ30の構成例》
図5は、画像処理APIサーバ30の構成例を示すブロック図である。画像処理APIサーバ30は、1台または複数台のコンピュータを用いて構成されるコンピュータシステムによって実現することができる。コンピュータにプログラムをインストールすることにより画像処理APIサーバ30の各種の機能が実現される。
【0112】
画像処理APIサーバ30は、プロセッサ302、非一時的な有体物であるコンピュータ可読媒体304、通信インターフェース306、入出力インターフェース308、バス310、入力装置314および表示装置316を備える。プロセッサ302は本開示における「第1のプロセッサ」の一例である。コンピュータ可読媒体304は本開示における「第1の記憶装置」の一例である。
【0113】
プロセッサ302はCPU(Central Processing Unit)を含む。プロセッサ302はGPU(Graphics Processing Unit)を含んでもよい。プロセッサ302は、バス310を介してコンピュータ可読媒体304、通信インターフェース306および入出力インターフェース308と接続される。入力装置314および表示装置316は入出力インターフェース308を介してバス310に接続される。
【0114】
コンピュータ可読媒体304は、主記憶装置であるメモリおよび補助記憶装置であるストレージを含む。コンピュータ可読媒体304は、例えば、半導体メモリ、ハードディスク(HDD:Hard Disk Drive)装置、もしくはソリッドステートドライブ(SSD:Solid State Drive)装置またはこれらの複数の組み合わせであってよい。
【0115】
画像処理APIサーバ30は通信インターフェース306を介して広域通信回線120(
図4参照)に接続される。
【0116】
コンピュータ可読媒体304には、複数の画像処理を含む各種の処理を行うための複数のプログラムおよびデータ等が格納される。コンピュータ可読媒体304には、例えば、臓器セグメンテーションプログラム320、血管領域抽出プログラム322、骨折CADプログラム324、骨ラベリングプログラム326、肺結節検出プログラム330、肺結節性状分析プログラム332、肺炎CADプログラム334、肺区域ラベリングプログラム336、乳腺CADプログラム340、肝臓CADプログラム342、脳CADプログラム344、大腸CADプログラム346、およびレポート作成支援プログラム348などのうち1つ以上のプログラムが格納されてよい。レポート作成支援プログラム348は、所見文候補生成プログラム349を含む。これらの各種の処理プログラムは、深層学習などの機械学習を適用して目的のタスクの出力が得られるように学習された学習済みモデルを含むAI処理モジュールであってよい。
【0117】
CAD用のAIモデルは、例えば、畳み込み層を有する各種の畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)を用いて構成することができる。AIモデルに対する入力データは、例えば、2次元画像、3次元画像または動画像など医用画像を含み、AIモデルからの出力は例えば、画像内における疾病領域(病変部位)などの位置を示す情報、もしくは病名などのクラス分類を示す情報、またはこれらの組み合わせであってよい。
【0118】
時系列データや文書データなどを扱うAIモデルは、例えば、各種の再帰型ニューラルネットワーク(RNN:Recurrent Neural Network)を用いて構成することができる。時系列データには、例えば心電図の波形データなどが含まれる。文書データには、例えば、医師によって作成される所見文などが含まれる。
【0119】
図5に例示した処理プログラムのそれぞれは本開示における「処理モジュール」の一例である。骨折CADプログラム324および肺結節検出プログラム330のそれぞれは本開示における「CADeモジュール」の一例である。肺結節性状分析プログラム332および肺炎CADプログラム334のそれぞれは本開示における「CADxモジュール」の一例である。画像処理APIサーバ30に実装される処理プログラムの種類および組み合わせは様々な形態があり得る。コンピュータ可読媒体304に記憶されている各種処理プログラムを含むサーバプログラムは本開示における「第1のプログラム」の一例である。
【0120】
プロセッサ302が、これらの処理プログラムの命令を実行することにより、画像処理APIサーバ30のコンピュータは、処理プログラムに対応した処理部として機能する。例えば、プロセッサ302が臓器セグメンテーションプログラム320の命令を実行することにより、画像処理APIサーバ30のコンピュータは、臓器セグメンテーション処理を行う臓器セグメンテーション処理部として機能する。他のプログラムについても同様である。
【0121】
プロセッサ302は、コンピュータ可読媒体304に記憶されているプログラムの命令を実行することにより、各医療機関の画像処理管理端末20Aから処理対象の画像と処理要求とを受け取り、処理要求に対応した画像処理を実施して処理結果を要求元に返す動作を行う。この画像処理APIサーバ30が実行する動作は本開示における「第1の動作」の一例である。
【0122】
また、コンピュータ可読媒体304には、表示制御プログラム350が格納される。表示制御プログラム350は、表示装置316への表示出力に必要な表示用信号を生成し、表示装置316の表示制御を行う。
【0123】
表示装置316は、例えば、液晶ディスプレイ、有機EL(organic electro-luminescence:OEL)ディスプレイ、もしくは、プロジェクタ、またはこれらの適宜の組み合わせによって構成される。入力装置314は、例えば、キーボード、マウス、タッチパネル、もしくはその他のポインティングデバイス、もしくは、音声入力装置、またはこれらの適宜の組み合わせによって構成される。入力装置314は、オペレータによる種々の入力を受け付ける。なお、タッチパネルを用いることによって表示装置316と入力装置314とを一体に構成してもよい。
【0124】
《画像処理管理端末20Aの構成例》
図6は、医療機関内ネットワーク100上の画像処理管理端末20Aの構成例を示すブロック図である。画像処理管理端末20Aは、1台または複数台のコンピュータを用いて構成されるコンピュータシステムによって実現することができる。
【0125】
画像処理管理端末20Aは、プロセッサ212、非一時的な有体物であるコンピュータ可読媒体214、通信インターフェース216、入出力インターフェース218、バス220、入力装置224および表示装置226を備える。画像処理管理端末20Aのハードウェア構成は、
図5で説明した画像処理APIサーバ30のハードウェア構成と同様であってよい。すなわち、
図6に示すプロセッサ212、コンピュータ可読媒体214、通信インターフェース216、入出力インターフェース218、バス220、入力装置224および表示装置226のそれぞれのハードウェア構成は、
図5に示す対応する要素と同様であってよい。
【0126】
プロセッサ212は本開示における「第2のプロセッサ」および「プロセッサ」の一例である。コンピュータ可読媒体214は本開示における「第2の記憶装置」および「記憶装置」の一例である。
【0127】
画像処理管理端末20Aは、通信インターフェース216を介してビューワ端末22、DICOMサーバ50および画像処理APIサーバ30と接続される。
【0128】
コンピュータ可読媒体214には、医用画像処理要求最適化プログラム200と表示制御プログラム260とを含む各種プログラムおよびデータが記憶される。医用画像処理要求最適化プログラム200は、操作ログ収集部204、優先度情報更新管理部206および画像処理自動要求部208を含む。また、コンピュータ可読媒体214は、操作ログ収集部204によって収集された操作ログのデータを保存および管理する操作ログデータベース205と、画像処理自動要求部208が画像処理APIサーバ30から取得した画像処理結果を保存する処理結果保存部264とを含む。表示制御プログラム260は、表示装置226への表示出力に必要な表示用信号を生成し、表示装置226の表示制御を行う。
【0129】
プロセッサ212は、コンピュータ可読媒体214に記憶されている医用画像処理要求最適化プログラム200の命令を実行することにより、ビューワ端末22の操作ログを収集することと、収集した操作ログを基に、各画像処理の優先度を計算することと、計算によって得られた優先度の情報を記録し、各画像処理の優先度情報の更新および管理を行うことと、モダリティ40によって撮影された新たな画像を取得することと、取得された新たな画像に対して何の画像処理を実行できるかを判別することと、画像処理APIサーバ30の負荷状況を把握することと、判別された実行可能な画像処理のそれぞれの優先度と画像処理APIサーバ30の負荷状況とに基づき、画像処理APIサーバ30に対して優先度の基準に従い、処理要求を送信することとを含む動作を行う。この画像処理管理端末20Aが実行する動作は本開示における「第2の動作」の一例である。
【0130】
医用画像処理要求最適化プログラム200は本開示における「第2のプログラム」および「プログラム」の一例である。なお、ここでは、1つの画像処理管理端末20Aに、操作ログ収集部204、優先度情報更新管理部206および画像処理自動要求部208を構築する例を示しているが、医用画像処理要求最適化プログラム200の処理機能は、2以上の複数台のコンピュータで処理の機能を分担して実現してもよい。
【0131】
《ビューワ端末22の構成例》
図7は、ビューワ端末22の構成例を示すブロック図である。ビューワ端末22のハードウェア構成は、
図6で説明した画像処理管理端末20Aのハードウェア構成と同様であってよい。ビューワ端末22は、プロセッサ232、コンピュータ可読媒体234、通信インターフェース236、入出力インターフェース238、バス240、入力装置244および表示装置246を備える。それぞれのハードウェア構成は、
図6に示した構成の対応する要素と同様であってよい。
【0132】
コンピュータ可読媒体234は、医用画像閲覧用プログラムであるビューワ202と、ビューワ202の操作ログを保存する操作ログ保存部203と、表示制御プログラム262とを含む。
【0133】
ビューワ202は、通信インターフェース236を介して接続されたDICOMサーバ50から読み出した画像および画像処理の処理結果を含む各種の情報を表示装置246に表示させる。また、ビューワ202は利用者60が入力装置244を操作した履歴(操作ログ)を操作ログ保存部203に保存する。操作ログ保存部203に保存された操作ログのデータは、画像処理管理端末20Aの操作ログ収集部204に送られる。表示制御プログラム262は、表示装置246への表示出力に必要な表示用信号を生成し、表示装置246の表示制御を行う。
【0134】
《コンピュータのハードウェア構成の例》
図8は、コンピュータのハードウェア構成の例を示すブロック図である。コンピュータ800は、パーソナルコンピュータであってもよいし、ワークステーションであってもよく、また、サーバコンピュータであってもよい。コンピュータ800は、既に説明した端末20、画像処理APIサーバ30、DICOMサーバ50、電子カルテシステム24、画像処理管理端末20A、ビューワ端末22のいずれかの一部または全部、あるいはこれらの複数の機能を備えた装置として用いることができる。
【0135】
コンピュータ800は、CPU802、RAM(Random Access Memory)804、ROM(Read Only Memory)806、GPU808、ストレージ810、通信部812、入力装置814、表示装置816およびバス818を備える。なお、GPU808は、必要に応じて設ければよい。
【0136】
CPU802は、ROM806またはストレージ810等に記憶された各種のプログラムを読み出し、各種の処理を実行する。RAM804は、CPU802の作業領域として使用される。また、RAM804は、読み出されたプログラムおよび各種のデータを一時的に記憶する記憶部として用いられる。
【0137】
ストレージ810は、例えば、ハードディスク装置、光ディスク、光磁気ディスク、もしくは半導体メモリ、またはこれらの適宜の組み合わせを用いて構成される記憶装置を含んで構成される。ストレージ810には、各種プログラムやデータ等が記憶される。ストレージ810に記憶されているプログラムがRAM804にロードされ、これをCPU802が実行することにより、コンピュータ800は、プログラムで規定される各種の処理を行う手段として機能する。
【0138】
通信部812は、有線または無線により外部装置との通信処理を行い、外部装置との間で情報のやり取りを行うインターフェースである。通信部812は、画像等の入力を受け付ける情報取得部の役割を担うことができる。
【0139】
入力装置814は、コンピュータ800に対する各種の操作入力を受け付ける入力インターフェースである。入力装置814は、例えば、キーボード、マウス、タッチパネル、もしくはその他のポインティングデバイス、もしくは、音声入力装置、またはこれらの適宜の組み合わせであってよい。
【0140】
表示装置816は、各種の情報が表示される出力インターフェースである。表示装置816は、例えば、液晶ディスプレイ、有機EL(organic electro-luminescence:OEL)ディスプレイ、もしくは、プロジェクタ、またはこれらの適宜の組み合わせであってよい。
【0141】
《コンピュータを動作させるプログラムについて》
上記の実施形態で説明した端末20および画像処理管理端末20Aにおける操作ログ収集機能、優先度情報更新管理機能、および画像処理自動要求機能、ならびに画像処理APIサーバ30における各種の画像処理機能などの各種の処理機能のうち少なくとも1つの処理機能の一部または全部をコンピュータに実現させるプログラムを、光ディスク、磁気ディスク、もしくは、半導体メモリその他の有体物たる非一時的な情報記憶媒体であるコンピュータ可読媒体に記録し、この情報記憶媒体を通じてプログラムを提供することが可能である。
【0142】
またこのような有体物たる非一時的なコンピュータ可読媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの電気通信回線を利用してプログラム信号をダウンロードサービスとして提供することも可能である。
【0143】
《各処理部のハードウェア構成について》
端末20および画像処理管理端末20Aにおける操作ログ収集部204、優先度情報更新管理部206、画像処理自動要求部208などの各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、例えば、次に示すような各種のプロセッサ(processor)である。
【0144】
各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるCPU、画像処理に特化したプロセッサであるGPU、FPGA(Field Programmable Gate Array)などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、ASIC(Application Specific Integrated Circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
【0145】
1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種または異種の2つ以上のプロセッサで構成されてもよい。例えば、1つの処理部は、複数のFPGA、あるいは、CPUとFPGAの組み合わせ、またはCPUとGPUの組み合わせによって構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第一に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第二に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
【0146】
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路(circuitry)である。
【0147】
《本実施形態による利点》
本発明の実施形態に係る医用画像処理システム10によれば、次のような利点がある。
【0148】
[1]モダリティ40によって新たな画像が撮影されると、その新たな画像が自動的に画像処理自動要求部208に取得され、画像処理APIサーバ30の負荷状況に合わせて必要な画像処理の処理要求が自動的に行われる。画像処理APIサーバ30のリソースが逼迫している状況の場合には、優先度の低い処理の処理要求が抑制され、利用者60にとって必要性が高い(優先度の高い)処理に絞って処理要求が送られるため、ユーザビリティを確保しつつ、システム全体の安定性を確保できる。
【0149】
[2]利用者がビューワ202を用いて処理結果等を参照した際の操作ログを基に、各画像処理の優先度が計算されるため、利用者にとって必要性の高い処理結果あるいは優先順位の高い処理結果を適切に決定することができる。また、優先度情報更新管理部206にて、適宜のタイミングで優先度が計算され、優先度情報が更新されるため、利用者60等による優先度の設定作業など複雑な作業が不要である。
【0150】
[3]本実施形態に係る医用画像処理システム10によれば、モダリティ40による画像の撮影後、短時間で利用者60にとって必要性の高い画像処理結果を閲覧できる状態となるため診断業務の効率化を図ることができる。
【0151】
《その他》
以上説明した本発明の実施形態は、本発明の趣旨を逸脱しない範囲で、適宜構成を変更、追加、または削除することが可能である。本発明は以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で当該分野の通常の知識を有する者により、多くの変形が可能である。
【符号の説明】
【0152】
10 医用画像処理システム
20 端末
20A 画像処理管理端末
22 ビューワ端末
24 電子カルテシステム
26 構内通信回線
30 画像処理APIサーバ
40 モダリティ
50 DICOMサーバ
60 利用者
100 医療機関内ネットワーク
120 広域通信回線
200 医用画像処理要求最適化プログラム
202 ビューワ
203 操作ログ保存部
204 操作ログ収集部
205 操作ログデータベース
206 優先度情報更新管理部
208 画像処理自動要求部
212 プロセッサ
214 コンピュータ可読媒体
216 通信インターフェース
218 入出力インターフェース
220 バス
224 入力装置
226 表示装置
232 プロセッサ
234 コンピュータ可読媒体
236 通信インターフェース
238 入出力インターフェース
240 バス
244 入力装置
246 表示装置
260 表示制御プログラム
262 表示制御プログラム
264 処理結果保存部
302 プロセッサ
304 コンピュータ可読媒体
306 通信インターフェース
308 入出力インターフェース
310 バス
314 入力装置
316 表示装置
320 臓器セグメンテーションプログラム
322 血管領域抽出プログラム
324 骨折CADプログラム
326 骨ラベリングプログラム
330 肺結節検出プログラム
332 肺結節性状分析プログラム
334 肺炎CADプログラム
336 肺区域ラベリングプログラム
340 乳腺CADプログラム
342 肝臓CADプログラム
344 脳CADプログラム
346 大腸CADプログラム
348 レポート作成支援プログラム
349 所見文候補生成プログラム
350 表示制御プログラム
800 コンピュータ
802 CPU
804 RAM
806 ROM
808 GPU
810 ストレージ
812 通信部
814 入力装置
816 表示装置
818 バス
S11~S22 医用画像処理システムの動作を示すステップ
S51~S55 優先度の計算処理のステップ