IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士フイルム株式会社の特許一覧

特開2024-110159情報処理装置、情報処理装置の作動方法及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024110159
(43)【公開日】2024-08-15
(54)【発明の名称】情報処理装置、情報処理装置の作動方法及びプログラム
(51)【国際特許分類】
   G16H 30/00 20180101AFI20240807BHJP
【FI】
G16H30/00
【審査請求】未請求
【請求項の数】16
【出願形態】OL
(21)【出願番号】P 2023014563
(22)【出願日】2023-02-02
(71)【出願人】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】100083116
【弁理士】
【氏名又は名称】松浦 憲三
(74)【代理人】
【識別番号】100170069
【弁理士】
【氏名又は名称】大原 一樹
(74)【代理人】
【識別番号】100128635
【弁理士】
【氏名又は名称】松村 潔
(74)【代理人】
【識別番号】100140992
【弁理士】
【氏名又は名称】松浦 憲政
(74)【代理人】
【識別番号】100153822
【弁理士】
【氏名又は名称】増田 重之
(72)【発明者】
【氏名】小笠原 彩
【テーマコード(参考)】
5L099
【Fターム(参考)】
5L099AA03
5L099AA26
(57)【要約】
【課題】読影レポートの作成状況に応じた医用画像の表示制御が実現される、情報処理装置、情報処理装置の作動方法及びプログラムを提供する。
【解決手段】情報処理装置(22)は、表示装置へ表示される1つ以上の医用画像に対する閉じる指示を受け付け(40)、第1医用画像に対する、最新の読影レポートの作成状況に応じたステータスであり、読影レポート作成済みを表す第1ステータス、読影レポートの未完成を表す第2ステータス又は第1ステータス及び第2ステータスのいずれにも該当しない第3ステータスのいずれかを表すステータス情報を収集し(44)、第1医用画像についてステータス情報に応じた処理を決定する(46)。
【選択図】図2
【特許請求の範囲】
【請求項1】
1つ以上のプロセッサと、
前記1つ以上のプロセッサに実行させる命令が記憶される1つ以上のメモリと、
を備え、
前記1つ以上のプロセッサは、
表示装置へ表示される1つ以上の医用画像を閉じる指示を受け付け、
前記指示の対象となる第1医用画像に対する、最新の読影レポートの作成状況に応じたステータスであり、前記最新の読影レポート作成済みを表す第1ステータス、前記最新の読影レポートの未完成を表す第2ステータス又は前記第1ステータス及び前記第2ステータスのいずれにも該当しない第3ステータスのいずれかを表すステータス情報を収集し、
前記第1医用画像について、前記ステータス情報に応じた処理を決定する情報処理装置。
【請求項2】
前記1つ以上のプロセッサは、前記第1医用画像の前記ステータス情報が、前記第1ステータス又は前記第2ステータスを表す場合、前記ステータス情報に応じた処理として、閉じるかどうかの確認を報知する処理を実行する請求項1に記載の情報処理装置。
【請求項3】
前記1つ以上のプロセッサは、前記第1医用画像のステータス情報が、前記第1ステータス又は前記第2ステータスを表す場合、前記ステータス情報に応じた処理として、開かれた状態を継続する処理を実行する請求項1に記載の情報処理装置。
【請求項4】
前記1つ以上のプロセッサは、前記第1医用画像の前記ステータス情報が、前記第3ステータスを表す場合、前記ステータス情報に応じた処理として、閉じるかどうかの確認を報知する処理を実施せずに閉じる処理を実行する請求項1に記載の情報処理装置。
【請求項5】
前記1つ以上のプロセッサは、前記表示装置へ表示される1つ以上の医用画像を閉じる指示として、前記1つ以上の医用画像が含まれる検査画像群を閉じる処理を受け付ける請求項1に記載の情報処理装置。
【請求項6】
前記1つ以上のプロセッサは、
前記検査画像群に対する閉じる指示を受け付け、かつ、前記検査画像群に含まれる前記第1医用画像のステータス情報が前記第1ステータス又は前記第2ステータスを表す場合、前記検査画像群に含まれる全ての医用画像に対して、前記ステータス情報に応じた処理として、閉じるかどうかの確認を報知する処理を実行し、
前記検査画像群に対する閉じる指示を受け付け、かつ、前記検査画像群に含まれる前記第1医用画像のステータス情報が前記第3ステータスを表す場合、前記検査画像群に含まれる全ての医用画像に対して、前記ステータス情報に応じた処理として、閉じるかどうかの確認を報知する処理を実施せずに閉じる処理を実行する請求項5に記載の情報処理装置。
【請求項7】
前記1つ以上のプロセッサは、
前記検査画像群に対する閉じる指示を受け付け、かつ、前記検査画像群に含まれる前記第1医用画像のステータス情報が前記第1ステータス又は前記第2ステータスを表す場合、前記検査画像群に含まれる全ての医用画像に対して、前記ステータス情報に応じた処理として、開かれた状態を継続する処理を実行し、
前記検査画像群に対する閉じる指示を受け付け、かつ、前記検査画像群に含まれる前記第1医用画像のステータス情報が前記第3ステータスを表す場合、前記検査画像群に含まれる全ての医用画像に対して、前記ステータス情報に応じた処理として、閉じるかどうかの確認を報知する処理を実施せずに閉じる処理を実行する請求項5に記載の情報処理装置。
【請求項8】
前記1つ以上のプロセッサは、前記最新の読影レポートを作成する際に入力される文字列が表す情報に基づき、前記第1医用画像の前記ステータスを判断する請求項1に記載の情報処理装置。
【請求項9】
前記1つ以上のプロセッサは、
前記最新の読影レポートと、前記第1医用画像と、前記第1医用画像の前記ステータス情報とを学習データとして、前記第1医用画像に対する読影レポート及び前記第1医用画像を入力として、前記第1医用画像の前記ステータス情報を出力とするように学習された学習済の学習モデルを適用して、前記第1医用画像に対する前記ステータスを判断する請求項7に記載の情報処理装置。
【請求項10】
前記1つ以上のプロセッサは、
前記第1医用画像に対応する読影レポートが存在するか否かを判定し、
前記第1医用画像に対応する読影レポートが存在する場合は、前記第1医用画像に対する前記ステータス情報を前記第1ステータスと判定し、
前記第1医用画像に対応する読影レポートが存在しない場合は、前記第1医用画像に対する前記ステータス情報を前記第2ステータスと判断する請求項1に記載の情報処理装置。
【請求項11】
前記1つ以上のプロセッサは、
前記第1医用画像に含まれる解剖構造について、読影レポートに文字列が存在するか否かを判定し、
前記第1医用画像に含まれる解剖構造について、読影レポートに文字列が存在する場合は、前記第1医用画像に対する前記ステータス情報を前記第1ステータスと判定し、
前記第1医用画像に含まれる解剖構造について、読影レポートに文字列が存在しない場合は、前記第1医用画像に対する前記ステータス情報を前記第2ステータスと判断する請求項1に記載の情報処理装置。
【請求項12】
前記1つ以上のプロセッサは、
読影レポート作成の完了を表す入力を受け付け、
前記第1医用画像に対応する読影レポートについて、完成を表す入力を受け付けた場合に、前記第1医用画像に対する前記ステータス情報を前記第3ステータスと判断する請求項1に記載の情報処理装置。
【請求項13】
前記1つ以上のプロセッサは、前記第1医用画像に対する前記ステータス情報が前記第3ステータスを表すと判断される場合に、前記ステータス情報に応じた処理として、閉じるかどうかの確認を報知する処理を実施せずに閉じる処理を実行する請求項11に記載の情報処理装置。
【請求項14】
前記1つ以上のプロセッサは、前記第1医用画像が生成された検査日時に基づき、前記第1医用画像の前記ステータスを判断する請求項1に記載の情報処理装置。
【請求項15】
コンピュータが適用される医用画像に対する情報処理を実施する情報処理装置の作動方法であって、
前記情報処理装置は、
表示装置へ表示される1つ以上の医用画像に対する閉じる指示を受け付け、
前記指示の対象となる第1医用画像に対する、最新の読影レポートの作成状況に応じたステータスであり、読影レポート作成済みを表す第1ステータス、読影レポートの未完成を表す第2ステータス又は前記第1ステータス及び前記第2ステータスのいずれにも該当しない第3ステータスのいずれかを表すステータス情報を収集し、
前記第1医用画像について、前記ステータス情報に応じた処理を決定する情報処理装置の作動方法。
【請求項16】
コンピュータが、
表示装置へ表示される1つ以上の医用画像に対する閉じる指示を受け付ける機能、
前記指示の対象となる第1医用画像に対する読影レポートの作成状況に応じたステータスであり、読影レポート作成済みを表す第1ステータス、読影レポートの未完成を表す第2ステータス又は前記第1ステータス及び前記第2ステータスのいずれにも該当しない第3ステータスのいずれかを表すステータス情報を収集する機能、及び
前記第1医用画像について、前記ステータス情報に応じた処理を決定する機能を実現するプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は情報処理装置、情報処理装置の作動方法及びプログラムに関する。
【背景技術】
【0002】
画像診断医は、対象の画像を読影する際、又は対象の画像を診断する際に、対象の画
像だけでなく、被験者の過去画像及び他のフェーズの画像などの複数の画像を画面上に
表示させる場合がある。
【0003】
特許文献1は、現在画像に対して過去の病変情報を重畳表示させる医用画像表示シス
テムが記載される。特許文献2は、医用画像に対応付けして記憶されるCAD情報を取
得し、取得したCAD情報を段階的に表示させる画像表示システムが記載される。なお
、CADは、Computer Aided Diagnosisの省略語である。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2016-202722号公報
【特許文献2】特開2011-097983号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、多数の画像を表示させた場合、レポートの作成が完成した画像がいずれであるか、又はこれからレポートを作成すべき画像がいずれであるかの判断が困難になる場合があり得る。画像ごとにマーク及び色等を用いて画像を区別するユーザインターフェースは、マークが小さくて見えにくいといった欠点、及びマーク及び色等の意味をユーザが覚える必要があるといった欠点が存在する。上記の欠点の存在は、ユーザである医師等に負荷がかかり、かつ、ユーザインターフェースの機能の点において不十分である。
【0006】
また、最新の画像を閉じる際に、閉じるかどうかを確認する旨のポップアップが表示されるユーザインターフェースが存在するが、このようなユーザインターフェースは、複数の画像を比較し、レポートを作成する場合に対応していない。
【0007】
特許文献1に記載のシステムは、読影を補助するものであるが、読影レポートの作成状況が考慮されていない。特許文献2に記載のシステムについても、同様である。
【0008】
本発明はこのような事情に鑑みてなされたもので、読影レポートの作成状況に応じた医用画像の表示制御が実現される、情報処理装置、情報処理装置の作動方法及びプログラムの提供を目的とする。
【課題を解決するための手段】
【0009】
本開示の第1態様に係る情報処理装置は、1つ以上のプロセッサと、1つ以上のプロセッサに実行させる命令が記憶される1つ以上のメモリと、を備え、1つ以上のプロセッサは、表示装置へ表示される1つ以上の医用画像を閉じる指示を受け付け、指示の対象となる第1医用画像に対する、最新の読影レポートの作成状況に応じたステータスであり、最新の読影レポート作成済みを表す第1ステータス、最新の読影レポートの未完成を表す第2ステータス又は第1ステータス及び第2ステータスのいずれにも該当しない第3ステータスのいずれかを表すステータス情報を収集し、第1医用画像について、ステータス情報に応じた処理を決定する情報処理装置である。
【0010】
本開示の第1態様に係る情報処理装置によれば、閉じる指示の対象となる指示対象医用画像について、読影レポートの作成状況に応じたステータスを表すステータス情報が収集され、収集されたステータス情報に応じて処理が決定される。これにより、読影レポートの作成状況に応じた第1医用画像に対する処理が実施され得る。
【0011】
表示装置へ表示される医用画像には、最新の読影レポートの作成対象の医用画像よりも過去に撮影され、生成された過去の医用画像が含まれ得る。また、表示装置へ表示される医用画像には、最新の読影レポートの作成において参照されている医用画像などが含まれ得る。
【0012】
表示装置へ表示される医用画像は、2次元の再構成画像であってもよいし、3次元の再構成画像であってもよい。2次元の再構成画像は、複数の2次元の再構成画像が含まれる再構成画像群であってもよい。
【0013】
読影レポートの未完成には、作成すべき最新の読影レポートの作成前が含まれ得る。
【0014】
第2態様に係る情報処理装置は、第1態様に係る情報処理装置において、1つ以上のプロセッサは、第1医用画像のステータス情報が、第1ステータス又は第2ステータスを表す場合、ステータス情報に応じた処理として、閉じるかどうかの確認を報知する処理を実行してもよい。
【0015】
かかる態様によれば、最新の読影レポートの作成中に、読影レポート作成済み及び読影レポート未完成に該当する第1医用画像を誤って閉じてしまう処理の実施が抑制される。
【0016】
閉じるかどうかの確認の報知は、文字情報が適用されてもよいし、音又は音声が適用されてもよい。
【0017】
第3態様に係る情報処理装置は、第1態様又は第2態様に係る情報処理装置において、1つ以上のプロセッサは、第1医用画像のステータス情報が、第1ステータス又は第2ステータスを表す場合、ステータス情報に応じた処理として、開かれた状態を継続する処理を実行してもよい。
【0018】
かかる態様によれば、最新の読影レポートの作成中に、読影レポート作成済み及び読影レポート未完成に該当する第1医用画像を誤って閉じてしまう処理の実施が抑制される。
【0019】
第4態様に係る情報処理装置は、第1態様から第3態様のいずれか一態様に係る情報処理装置において、1つ以上のプロセッサは、第1医用画像のステータス情報が、第3ステータスを表す場合、ステータス情報に応じた処理として、閉じるかどうかの確認を報知する処理を実施せずに閉じる処理を実行してもよい。
【0020】
かかる態様によれば、最新の読影レポートの作成に対して直接的に関与しない参照画像等は、閉じる指示に応じて直ちに閉じられる。
【0021】
第5態様に係る情報処理装置は、第1態様から第4態様のいずれか一態様に係る情報処理装置において、1つ以上のプロセッサは、表示装置へ表示される1つ以上の医用画像を閉じる指示として、1つ以上の医用画像が含まれる検査画像群を閉じる処理を受け付けてもよい。
【0022】
かかる態様によれば、1つ以上の医用画像が含まれる検査画像群が閉じられる指示についても、医用画像が閉じられる指示と同様の処理が実行され得る。
【0023】
第6態様に係る情報処理装置は、第5態様に係る情報処理装置において、1つ以上のプロセッサは、検査画像群に対する閉じる指示を受け付け、かつ、検査画像群に含まれる第1医用画像のステータス情報が第1ステータス又は第2ステータスを表す場合、検査画像群に含まれる全ての医用画像に対して、ステータス情報に応じた処理として、閉じるかどうかの確認を報知する処理を実行し、検査画像群に対する閉じる指示を受け付け、かつ、検査画像群に含まれる第1医用画像のステータス情報が第3ステータスを表す場合、検査画像群に含まれる全ての医用画像に対して、ステータス情報に応じた処理として、閉じるかどうかの確認を報知する処理を実施せずに閉じる処理を実行してもよい。
【0024】
かかる態様によれば、閉じる処理の対象の検査画像群に含まれる全ての医用画像に対して、同じ処理が実施される。
【0025】
第7態様に係る情報処理装置は、第5態様又は第6態様に係る情報処理装置において、1つ以上のプロセッサは、検査画像群に対する閉じる指示を受け付け、かつ、検査画像群に含まれる第1医用画像のステータス情報が第1ステータス又は第2ステータスを表す場合、検査画像群に含まれる全ての医用画像に対して、ステータス情報に応じた処理として、開かれた状態を継続する処理を実行し、検査画像群に対する閉じる指示を受け付け、かつ、検査画像群に含まれる指示対象医用画像のステータス情報が第3ステータスを表す場合、検査画像群に含まれる全ての医用画像に対して、ステータス情報に応じた処理として、閉じるかどうかの確認を報知する処理を実施せずに閉じる処理を実行してもよい。
【0026】
かかる態様によれば、閉じる処理の対象の検査に含まれる全ての医用画像に対して、同じ処理が実施される。
【0027】
第8態様に係る情報処理装置は、第1態様から第7態様のいずれか一態様に係る情報処理装置において、1つ以上のプロセッサは、最新の読影レポートを作成する際に入力される文字列が表す情報に基づき、第1医用画像のステータスを判断してもよい。
【0028】
かかる態様によれば、最新の読影レポートの内容に応じて、第1医用画像のステータスが判断される。
【0029】
文字列は、1つ以上の数字が含まれていてもよい。
【0030】
第9態様に係る情報処理装置は、第8態様に係る情報処理装置において、最新の読影レポートと、第1医用画像と、第1医用画像のステータス情報とを学習データとして、第1医用画像に対する読影レポート及び第1医用画像を入力として、第1医用画像のステータス情報を出力とするように学習された学習済の学習モデルを適用して、第1医用画像に対するステータスを判断してもよい。
【0031】
かかる態様によれば、ステータスの判断における処理時間の短縮化が見込まれ、かつ、精度の向上が見込まれる。
【0032】
第10態様に係る情報処理装置は、第1態様から第9態様のいずれか一態様に係る情報処理装置において、1つ以上のプロセッサは、第1医用画像に対応する読影レポートが存在するか否かを判定し、第1医用画像に対応する読影レポートが存在する場合は、第1医用画像に対するステータス情報を第1ステータスと判定し、第1医用画像に対応する読影レポートが存在しない場合は、第1医用画像に対するステータス情報を第2ステータスと判断してもよい。
【0033】
かかる態様によれば、第1医用画像における読影レポートの存在の有無に応じて、第1医用画像のステータスの判断を実施し得る。
【0034】
第11態様に係る情報処理装置は、第1態様から第10態様のいずれか一態様に係る情報処理装置において、1つ以上のプロセッサは、第1医用画像に含まれる解剖構造について、読影レポートに文字列が存在するか否かを判定し、第1医用画像に含まれる解剖構造について、読影レポートに文字列が存在する場合は、第1医用画像に対するステータス情報を第1ステータスと判定し、第1医用画像に含まれる解剖構造について、読影レポートに文字列が存在しない場合は、第1医用画像に対するステータス情報を第2ステータスと判断してもよい。
【0035】
かかる態様によれば、読影レポートにおける解剖構造ごとの文章の存在の有無に応じて、第1医用画像のステータスの判断を実施し得る。
【0036】
第12態様に係る情報処理装置は、第1態様から第11態様のいずれか一態様に係る情報処理装置において、レポート作成の完了を表す入力を受け付け、第1医用画像に対応する読影レポートについて、完成を表す入力を受け付けた場合に、第1医用画像に対するステータス情報を第3ステータスと判断してもよい。
【0037】
かかる態様によれば、読影レポートの完成を表す入力の受け付けの有無に応じて、第1医用画像のステータスの判断を実施し得る。
【0038】
第13態様に係る情報処理装置は、第12態様に係る情報処理装置において、1つ以上のプロセッサは、第1医用画像に対するステータス情報が第3ステータスを表すと判断される場合に、ステータス情報に応じた処理として、閉じるかどうかの確認を報知する処理を実施せずに閉じる処理を実行してもよい。
【0039】
かかる態様によれば、読影レポートが完成している第1医用画像について、閉じる処理の受け付けに応じた処理を簡略化し得る。
【0040】
第14態様に係る情報処理装置は、第1態様から第13態様のいずれか一態様に係る情報処理装置において、1つ以上のプロセッサは、第1医用画像が生成された検査日時に基づき、第1医用画像のステータスを判断してもよい。
【0041】
かかる態様によれば、第1医用画像が生成された検査日時が最新の場合には、第1医用画像のステータスを第1ステータス又は第2ステータスと判断し得る。また、第1医用画像が生成された検査日時が最新の検査日時よりも過去の場合には、第1医用画像のステータス情報を第3ステータスと判断し得る。
【0042】
本開示の第15態様に係る情報処理装置の作動方法は、コンピュータが適用される医用画像に対する情報処理を実施する情報処理装置の作動方法であって、情報処理装置は、表示装置へ表示される1つ以上の医用画像に対する閉じる指示を受け付け、指示の対象となる第1医用画像に対する、最新の読影レポートの作成状況に応じたステータスであり、読影レポート作成済みを表す第1ステータス、読影レポートの未完成を表す第2ステータス又は第1ステータス及び第2ステータスのいずれにも該当しない第3ステータスのいずれかを表すステータス情報を収集し、第1医用画像について、ステータス情報に応じた処理を決定する情報処理装置の作動方法である。
【0043】
本開示の第15態様に係る情報処理装置の作動方法によれば、本開示の第1態様に係る情報処理装置と同様の作用効果を得ることが可能である。
【0044】
第15態様に係る情報処理装置の作動方法おいて、第2態様から第14態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、情報処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担う情報処理装置の作動方法の構成要素として把握することができる。
【0045】
本開示の第16態様に係るプログラムは、コンピュータが、表示装置へ表示される1つ以上の医用画像に対する閉じる指示を受け付ける機能、指示の対象となる第1医用画像に対する読影レポートの作成状況に応じたステータスであり、読影レポート作成済みを表す第1ステータス、読影レポートの未完成を表す第2ステータス又は第1ステータス及び第2ステータスのいずれにも該当しない第3ステータスのいずれかを表すステータス情報を収集する機能、及び第1医用画像について、ステータス情報に応じた処理を決定する機能を実現するプログラムである。
【0046】
本開示の第16態様に係るプログラムによれば、本開示の第1態様に係る情報処理装置と同様の作用効果を得ることが可能である。
【0047】
第16態様に係るプログラムおいて、第2態様から第14態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、情報処理装置において特定される処理や機能を担う構成要素は、これに対応する処理や機能を担うプログラムの構成要素として把握することができる。
【発明の効果】
【0048】
本発明によれば、閉じる指示の対象となる第1医用画像について、読影レポートの作成状況に応じたステータスを表すステータス情報が収集され、収集されたステータス情報に応じて処理が決定される。これにより、読影レポートの作成状況に応じた第1医用画像に対する処理が実施され得る。
【図面の簡単な説明】
【0049】
図1図1は病院情報システムの全体構成図である。
図2図2図1に示すサーバ装置の電気的構成を示す機能ブロック図である。
図3図3図2に示すサーバ装置のハードウェア構成の例を概略的に示すブロック図である。
図4図4は実施形態に係る情報処理方法の手順を示すフローチャートである。
図5図5は医用画像の表示に適用される表示画面の一例を示す図である。
図6図6は検査画像群の構成例を示す模式図である。
図7図7は複数の医用画像の第1表示例を示す模式図である。
図8図8は複数の医用画像の第2表示例を示す模式図である。
図9図9は複数の医用画像の第3表示例を示す模式図である。
図10図10は複数の医用画像が表示される表示画面の他の例を示す図である。
図11図11は読影レポートの一例を示す図である。
図12図12はポップアップの一例を示す模式図である。
図13図13は読影レポートの作成状況の第1例を示す模式図である。
図14図14は読影レポートの作成状況の第2例を示す模式図である。
図15図15は読影レポートの作成状況の第3例を示す模式図である。
図16図16は読影レポートの作成状況の第4例を示す模式図である。
図17図17はステータス情報収集方法の手順を示すフローチャートである。
図18図18はステータス情報収集の変形例を示す模式図である。
図19図19はステータス情報収集を実施する学習モデルの模式図である。
図20図20は閉じる指示に対する処理の決定の第1例を示す模式図である。
図21図21はポップアップの一例を示す模式図である。
図22図22はポップアップの他の例を示す模式図である。
図23図23は閉じる指示に対する処理の決定の第2例を示す模式図である。
図24図24は閉じる指示に対する処理の決定の第3例を示す模式図である。
【発明を実施するための形態】
【0050】
以下、添付図面に従って本発明の好ましい実施形態について詳説する。本明細書では、同一の構成要素には同一の参照符号を付して、重複する説明は適宜省略する。
【0051】
[病院情報システムの構成例]
図1は病院情報システムの全体構成図である。同図に示す病院システム10を構成する各種のシステムは、1つ以上のコンピュータが具備され、1つ以上のコンピュータが有体物であるコンピュータ可読媒体に記憶される各種のプログラムを実行して、各種のシステムにおける1つ以上の機能を実現する。
【0052】
病院システム10は、各種の検査装置12を備える。検査装置12は、被検体である検査対象者を撮影し、医用画像を生成する。同図には、検査装置12として、CT装置12A、MRI装置12B及びPETCT装置12Cが例示される。検査装置12の他の例として、X線撮影装置、超音波装置及び平面X線検出器を用いたCR装置などが挙げられる。
【0053】
なお、CTはComputed Tomographyの省略語である。MRIはMagnetic Resonance Imagingの省略語である。PETはPositron Emission Tomographyの省略語である。CRはComputed Radiographyの省略語である。また、検査装置12はモダリティと称され得る。
【0054】
病院システム10は、放射線科情報システム14を備える。放射線科情報システム14は、主として、放射線機器が用いられる検査及び治療の予約から検査結果までの管理を実施する。放射線科情報システム14は、検査において生成される医用画像、過去の読影レポート及び今回の検査において作成される現在の読影レポートなどが保存される。なお、放射線科情報システム14は、Radiology Information Systemsの省略語であるRISを用いて表され得る。
【0055】
病院システム10は、病院情報システム16を備える。病院情報システム16は、病院内の各種の情報システムの総称である。一般に、病院情報システム16は、自動受付システム16A、電子カルテシステム16B、入退院管理システム16C、医事会計システム16D、薬局管理システム16E及び診療予約システム16F等が含まれ得る。
【0056】
病院情報システム16は、病院に関する全ての情報が保存される。例えば、電子カルテシステム16Bには、患者ごとの手術歴及び治療歴などが電子カルテとして保存される。なお、病院情報システム16はHospital Information Systemsの省略語HISを用いて表され得る。
【0057】
病院システム10は、画像保存通信システム18を備える。画像保存通信システム18は、サーバ装置22及び表示端末24を備える。サーバ装置22はデータベース23が具備される。表示端末24は表示装置26が具備される。
【0058】
画像保存通信システム18は、検査装置12から送信される医用画像を受信する。受信された医用画像は、データベース23に保存される。画像保存通信システム18は、データベース23に保存される医用画像を読み出す。読み出された医用画像は、表示端末24の表示装置26へ表示される。サーバ装置22、データベース23及び表示端末24を用いて管理される医用画像の記憶及び通信の規格は、DICOMが適用される。なお、DICOMは、Digital Imaging and COmmunications in Medicineの省略語である。サーバ装置22は、DICOMサーバと称され得る。
【0059】
放射線科医は、表示端末24を用いて診断対象の医用画像を視認し得る。また、放射線科医は、表示端末24を用いて各種の診療科から送信されるオーダーの内容を確認し得る。更に、放射線科医は、各種の診療科から送信されるオーダーに基づき、検査目的を把握し得る。なお、画像保存通信システム18は、Picture Archiving and Communication Systemsの省略語であるPACSを用いて表され得る。
【0060】
病院システム10は、レポート作成システム20を備える。レポート作成システム20は、放射線科医が操作して読影レポートを作成するレポート作成端末装置21を備える。レポート作成端末装置21は、読影レポートの作成を支援するプログラムが保存され、読影レポートの作成を支援するプログラムを実行してもよい。
【0061】
病院システム10を構成する検査装置12等は、病院内ネットワークを介して、通信自在に電気接続される。病院内ネットワークLANを適用可能である。病院内ネットワークは、有線でもよいし、無線でもよい。
【0062】
病院内ネットワークは不図示のルータを介してインターネット等の公衆回線網と接続されてもよい。すなわち、病院システム10は、病院内ネットワーク及び公衆回線網を介してクラウドサーバ等の外部装置と通信自在に電気接続されてもよい。なお、LANはLocal Area Networkの省略語である。
【0063】
[画像保存通信システムに具備されるサーバ装置の構成例]
図2図1に示すサーバ装置の電気的構成を示す機能ブロック図である。サーバ装置22は、コンピュータが適用される。サーバ装置22は、規定のプログラムを実行して各種の機能を実現する。サーバ装置22は、物理サーバであってもよいし、仮想サーバであってもよい。
【0064】
サーバ装置22は、画像取得部30を備える。画像取得部30は、データベース23に記憶される医用画像を取得する。画像取得部30は、1つ以上の医用画像を含む検査画像群を取得してもよい。検査画像群は、符号130等を用いて図6に図示される。
【0065】
サーバ装置22は、画像処理部32を備える。画像処理部32は、画像取得部30を用いて取得された医用画像に対して各種の画像処理を施す。各種の画像処理の例として、解像度変換処理及びサイズ変換処理など、表示装置26の表示条件に対応する処理が挙げられる。サーバ装置22は、表示信号出力部34を備える。表示信号出力部34は、画像処理部32を用いて画像処理が施された医用画像を表す表示信号を表示端末24の表示装置26へ送信する。
【0066】
サーバ装置22は、入力情報受付部40を備える。入力情報受付部40は、表示端末24の入力装置27の操作に応じた入力情報を表す入力信号を受け付ける。入力装置27は、キーボード、マウス及びタッチパネル方式の表示装置26などを適用し得る。入力情報の例として、表示端末24の表示装置26へ表示される医用画像を閉じる指示がされたことを表す入力情報が挙げられる。
【0067】
サーバ装置22は、画像解析部41を備える。画像解析部41は、画像取得部30を用いて取得された医用画像を解析する。医用画像の解析の例として、検査日時の解析、検査装置の解析及び解析対象の医用画像に含まれる臓器の解析などが挙げられる。
【0068】
検査日時の解析及び検査装置の解析は、解析対象の医用画像に付帯する付帯情報に基づき実施し得る。解析対象の医用画像に含まれる臓器の解析は、関心領域の抽出処理を適用して実施し得る。なお、解析対象の医用画像に複数の臓器が含まれる場合は、複数の臓器のそれぞれが抽出される。
【0069】
画像解析部41は、学習済みの学習モデルを適用し得る。画像解析部41に適用される学習モデルは、1枚の医用画像から1つ以上の解剖構造を認識する認識モデルであり、医用画像と解剖構造の認識結果との組を学習データとして、医用画像が入力されると解剖構造の認識結果を出力する学習モデルを適用し得る。画像解析部41に適用される学習モデルの学習は深層学習を適用し得る。
【0070】
サーバ装置22は、読影レポート解析部42を備える。読影レポート解析部42は、画像取得部30を用いて取得された医用画像について、レポート作成システム20を参照して、読影対象の医用画像に対する読影レポートの作成状況を解析する。読影レポートの解析の例として、日時、検査装置名、臓器名及び比較などの予め設定される用語などのキーワードを抽出するキーワード抽出が挙げられる。
【0071】
読影レポート解析部42は、例えば、腹部の読影レポートを解析する場合に、肝臓、胆のう、膵臓及び脾臓など腹部に含まれる臓器の全てについて、記載されているか否かを解析する。
【0072】
読影レポート解析部42は、読影レポートを作成する対象の医用画像のCADの結果と、読影レポートに記載されている内容との対応関係を解析してもよい。例えば、CADの結果に肺結節と記載されている場合に、読影レポートに肺に関する記載が存在するか否かを解析してもよい。
【0073】
読影レポート解析部42は、学習済みの学習モデルを適用し得る。読影レポート解析部42に適用される学習モデルは、読影レポートの1つ以上の文章が入力されると、検査日時、臓器等の解剖構造及び比較等の特定の用語等を抽出する抽出モデルを適用し得る。読影レポート解析部42に適用される学習モデルは、読影レポートに含まれる文章と抽出すべき検査日時等との組を学習データとして、読影レポートに含まれる文章が入力されると、検査日時等の予め決められた文字列が出力される学習モデルを適用し得る。画像解析部41に適用される学習モデルの学習は深層学習を適用し得る。
【0074】
サーバ装置22は、ステータス情報収集部44を備える。ステータス情報収集部44は、医用画像の解析結果及び読影レポートの解析結果に基づき、画像取得部30を用いて取得された医用画像について、読影レポートの作成状況に応じたステータスを表すステータス情報を収集する。なお、医用画像ごとのステータスの詳細は後述する。
【0075】
サーバ装置22は、処理決定部46及び処理実行部48を備える。処理決定部46は、医用画像ごとのステータス情報に基づき、閉じる指示がされた指示対象医用画像に対する処理を決定する。処理実行部48は、処理決定部46が決定した指示対象医用画像に対する処理を実行する。処理実行部48は、表示信号出力部34を介して表示装置26へ表示される医用画像へ処理を反映させる。なお、実施形態に記載の指示対象医用画像は、第1医用画像の一例である。
【0076】
図3図2に示すサーバ装置のハードウェア構成の例を概略的に示すブロック図である。サーバ装置22は、1つ以上のプロセッサ52及び1つ以上のメモリ62を備える。サーバ装置22は、通信インターフェース56及び入出力インターフェース58を備える。
【0077】
プロセッサ52は、コンピュータ可読媒体54のメモリ62に記憶される各種のプログラムを実行して、サーバ装置22の各種の機能を実現する。プロセッサ52はCPU(Central Processing Unit)を含む。プロセッサ52はGPU(Graphics Processing Unit)を含んでもよい。プロセッサ52は、バス60を介してコンピュータ可読媒体54、通信インターフェース56及び入出力インターフェース58と接続される。
【0078】
コンピュータ可読媒体54は、主記憶装置であるメモリ62及び補助記憶装置であるストレージ64を含む。コンピュータ可読媒体54は、半導体メモリ、ハードディスク装置及びソリッドステートドライブ装置等を適用し得る。コンピュータ可読媒体54は、複数のデバイスの任意の組み合わせを適用し得る。
【0079】
なお、ハードディスク装置は、英語表記のHard Disk Driveの省略語であるHDDと称され得る。ソリッドステートドライブ装置は、英語表記のSolid State Driveの省略語であるSSDと称され得る。
【0080】
コンピュータ可読媒体54のメモリ62は、画像取得プログラム70、画像処理プログラム72及び表示信号出力プログラム74が記憶される。また、メモリ62は、入力情報受付プログラム80、読影レポート解析プログラム82、画像解析プログラム83、ステータス情報収集プログラム84、処理決定プログラム86及び処理実行プログラム88が記憶される。
【0081】
画像取得プログラム70は、図2に示す画像取得部30に適用され、画像取得機能を実現する。画像処理プログラム72は、画像処理部32に適用され、画像取得プログラム70の処理結果を用いて画像処理機能を実現する。表示信号出力プログラム74は、表示信号出力部34に適用され、画像処理プログラム72の処理結果を用いて表示信号出力機能を実現する。
【0082】
入力情報受付プログラム80は、入力情報受付部40に適用され、入力情報受付機能を実現する。読影レポート解析プログラム82は、読影レポート解析部42に適用され、読影レポート解析機能を実現する。画像解析プログラム83は、画像解析部41に適用され、画像解析機能を実現する。
【0083】
ステータス情報収集プログラム84は、ステータス情報収集部44に適用され、読影レポート解析プログラム82の処理結果及び画像解析プログラム83の処理結果を用いて、ステータス情報収集機能を実現する。処理決定プログラム86は、処理決定部46に適用され、入力情報受付プログラム80の処理結果及びステータス情報収集プログラム84の処理結果を用いて、処理決定機能を実現する。処理実行プログラム88は、処理実行部48に適用され、処理決定プログラム86の処理結果を用いて処理実行機能を実現する。
【0084】
コンピュータ可読媒体54へ記憶される各種のプログラムは、1つ以上の命令が含まれる。コンピュータ可読媒体54は、各種のデータ及び各種のパラメータ等が記憶される。なお、プログラムという用語はソフトウェアという用語と同義である。
【0085】
プロセッサ52のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウェア(プログラム)を実行して各種の機能部として作用する汎用的なプロセッサであるCPU(Central Processing Unit)、画像処理に特化したプロセッサであるGPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるPLD(Programmable Logic Device)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
【0086】
1つの処理部は、これら各種のプロセッサのうちの1つで構成されていてもよいし、同種又は異種の2つ以上のプロセッサ(例えば、複数のFPGA、又はCPUとFPGAの組み合わせ、あるいはCPUとGPUの組み合わせ)で構成されてもよい。また、複数の機能部を1つのプロセッサで構成してもよい。複数の機能部を1つのプロセッサで構成する例としては、第1に、クライアント又はサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組合せで1つのプロセッサを構成し、このプロセッサが複数の機能部として作用させる形態がある。第2に、SoC(System On Chip)等に代表されるように、複数の機能部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の機能部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
【0087】
更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)である。
【0088】
メモリ62は、プロセッサ52に実行させるための命令を記憶する。メモリ62は、不図示のRAM(Random Access Memory)、及びROM(Read Only Memory)を含む。プロセッサ52は、RAMを作業領域とし、ROMに記憶された画像取得プログラム70等を含む画像処理プログラムを含む各種のプログラム及びパラメータを使用してソフトウェアを実行し、かつROM等に記憶されたパラメータを使用することで、サーバ装置22の各種の処理を実行する。
【0089】
図1に示す表示端末24は、サーバ装置22における情報処理機能を実現してもよい。すなわち、表示端末24は、図3に示す画像取得部30等の各種の処理部を備え、各種の処理部における機能を実現してもよい。また、図1に示す病院システム10は、サーバ装置22及び表示端末24とは別に、図3に示す画像取得部30等の各種の処理部を備える情報処理装置が具備されてもよい。
【0090】
[実施形態に係る情報処理方法の手順]
図4は実施形態に係る情報処理方法の手順を示すフローチャートである。以下に示す情報処理方法は、1つ以上のプロセッサを含むコンピュータが適用される情報処理装置の作動方法として把握される。
【0091】
画像取得工程S10では、図2に示す画像取得部30はデータベース23から1つ以上の医用画像を取得する。画像取得工程S10では、表示端末24の操作者の操作に応じて、データベース23から所望の医用画像を取得し得る。
【0092】
画像取得工程S10において取得された医用画像は、図1に示す表示装置26の表示条件に対応する処理などの画像処理が施され、表示信号に変換され表示装置26へ送信される。表示装置26は、受信した表示信号に対応する医用画像を表示させる。画像取得工程S10の後に読影レポート解析工程S12へ進む。
【0093】
読影レポート解析工程S12では、読影レポート解析部42は、レポート作成システム20を参照して、画像取得工程S10において取得された医用画像における読影レポートの作成状況を解析する。読影レポート解析工程S12において、読影レポートの解析結果を記憶してもよい。読影レポート解析工程S12の後に画像解析工程S13へ進む。
【0094】
画像解析工程S13では、画像解析部41は、画像取得工程S10において取得された医用画像を解析する。画像解析工程S13において、医用画像の解析結果を記憶してもよい。画像解析工程S13の後にステータス情報収集工程S14へ進む。なお、読影レポート解析工程S12と画像解析工程S13とは並行して実行されてもよいし、順番が入れ替えられてもよい。
【0095】
ステータス情報収集工程S14では、ステータス情報収集部44は、医用画像ごとの読影レポートの作成状況及び医用画像の解析結果に基づき、画像取得工程S10において取得された医用画像ごとのステータスを表すステータス情報を収集する。ステータス情報収集工程S14の後に入力情報受付判定工程S16へ進む。
【0096】
入力情報受付判定工程S16では、入力情報受付部40は、表示装置26へ表示される医用画像が閉じられる処理に対応する入力情報を受け付けたか否かを判定する。入力情報受付部40が入力情報を受け付けていないと判定する場合はNo判定となる。No判定の場合は、終了判定工程S24へ進む。No判定の場合に、入力情報の受け付け待ちを実施し、一定の期間が経過しても入力情報が受け付けられない場合に、終了判定工程S24へ進んでもよい。
【0097】
一方、入力情報受付判定工程S16において、入力情報受付部40が入力情報を受け付けていると判定する場合はYes判定となる。Yes判定の場合は、処理決定工程S18へ進む。
【0098】
入力情報受付判定工程S16において、入力情報の受け付け待ちの期間において、新たに画像取得工程S10、読影レポート解析工程S12及びステータス情報収集工程S14が実行されてもよい。
【0099】
処理決定工程S18では、処理決定部46は、ステータス情報収集工程S14において収集された医用画像のステータスに基づき、閉じる処理の指示の入力情報が受け付けられた医用画像に対する処理を決定する。処理決定工程S18の後に処理実行工程S20へ進む。
【0100】
処理実行工程S20では、処理実行部48は閉じる処理の指示の入力情報が受け付けられた医用画像に対する処理を実行する。処理実行工程S20の後に表示信号出力工程S22へ進む。
【0101】
表示信号出力工程S22では、表示信号出力部34は、表示装置26へ表示される医用画像に対する処理に応じた表示信号を出力する。表示装置26では、医用画像に対する処理に応じた表示が実行される。医用画像に対する処理に応じた表示の一例として、閉じてよいかを確認する旨を表すポップアップの表示が挙げられる。表示信号出力工程S22の後に終了判定工程S24へ進む。
【0102】
終了判定工程S24では、サーバ装置22は情報処理方法の終了判定を実施する。すなわち、終了判定工程S24において、サーバ装置22は、情報処理方法の終了条件を満たすか否かを判定する。
【0103】
終了判定工程S24において、サーバ装置22が情報処理方法の終了条件を満たしていないと判定する場合はNo判定となる。No判定の場合は入力情報受付判定工程S16へ進み、終了判定工程S24においてYes判定となるまで、入力情報受付判定工程S16から終了判定工程S24までの各工程を繰り返し実行する。
【0104】
一方、終了判定工程S24において、サーバ装置22が情報処理方法の終了条件を満たしていると判定する場合はYes判定となる。Yes判定の場合は規定の終了処理が実行され、サーバ装置22は情報処理方法を終了させる。情報処理方法の終了条件は、表示端末24の表示装置26へ表示される医用画像に対する読影レポートの作成終了などが挙げられる。
【0105】
[医用画像の表示画面の具体例]
図5は医用画像の表示に適用される表示画面の一例を示す図である。同図には4つの医用画像が表示される表示画面100を図示する。なお、表示画面100は、図1に示す表示装置26に表示されるウィンドウとして構成されてもよい。なお、図5には、文字の例として任意の文字が図示される。また、文字列として複数の任意の文字を含む文字列を図示する。
【0106】
表示画面100は、画面のタイトルが表示されるタイトルバー102、各種の情報が表示される情報バー104、各種のツールに対応するアイコンが表示されるツールバー106及び医用画像が表示される画像表示領域108が含まれる。
【0107】
情報バー104は、画像表示領域108へ表示される医用画像が含まれる検査画像群一覧110が表示される。検査画像群一覧110に表示される検査画像群は、画像表示領域108へ表示される医用画像を含む検査画像群に対応する。
【0108】
また、情報バー104は、任意の1つの検査画像群に含まれる医用画像のサムネイル画像112が表示される。情報バー104へ表示されるサムネイルは、検査画像群一覧110において選択される医用画像群に含まれる医用画像に対応する。
【0109】
画像表示領域108は、1つ以上の医用画像が表示される。図5には、第1検査画像群に含まれる2つの医用画像120及び医用画像122が表示され、かつ、第2検査画像群に含まれる2つの医用画像126及び医用画像128が表示される例を図示する。なお、図5には、画像表示領域108が4分割される例を示すが、画像表示領域108の分割数は、表示させる医用画像の数に応じて規定し得る。
【0110】
第1検査と第2検査とは、同一の検査対象者に対して異なる日時に実施された検査である。例えば、第1検査は最新の検査であり、第1検査の例として現在の検査が挙げられる。第1検査画像群は、第1検査を実施して生成される1つ以上の医用画像が含まれる。
【0111】
第2検査は第1検査の以前に実施された過去の検査であり、第2検査の例とし前回の検査が挙げられる。第2検査画像群は、第2検査を実施して生成される1つ以上の医用画像が含まれる。
【0112】
図5には2つの検査画像群が表示される場合を例示するが、表示される検査画像群の数は1つ以上であればよく、表示される検査画像群は3つ以上であってもよい。複数の検査画像群が表示される場合、最新の検査と1つ以上の過去の検査の組み合わせであってよい。
【0113】
[医用画像の管理の具体例]
図6は検査画像群の構成例を示す模式図である。同図には、任意の患者Aのフォルダの構成例が模式的に図示される。同図に示すように、患者ごとにフォルダ130Aが生成される。フォルダ130Aは、1つ以上の検査画像群が含まれる。同図には、検査画像群130、検査画像群132、検査画像群134及び検査画像群136という4つの検査画像群がフォルダ130Aへ記憶される例を示す。
【0114】
同図には、検査画像群130、検査画像群132、検査画像群134及び検査画像群136のそれぞれの検査日時が異なる例を示す。検査画像群130等は、1つ以上の医用画像が含まれる。例えば、検査画像群130は、医用画像140、医用画像142、医用画像144、医用画像146、医用画像148及び医用画像150が含まれる。
【0115】
図7は複数の医用画像の第1表示例を示す模式図である。同図には、図5に示す画像表示領域108へ表示される複数の医用画像のレイアウトを模式的に図示する。なお、図8及び図9についても同様である。
【0116】
図7に示す複数の医用画像のレイアウトの例では、検査画像群130が表示され、かつ、検査画像群130に含まれる医用画像140、医用画像142、医用画像144、医用画像146、医用画像148及び医用画像150が表示される。すなわち、図5に示す画像表示領域108へ表示される1つ以上の医用画像は、同一の検査画像群における複数の医用画像が含まれ得る。
【0117】
図8は複数の医用画像の第2表示例を示す模式図である。同図に示す複数の医用画像のレイアウトの例では、検査画像群130に含まれる医用画像140、検査画像群130に含まれる医用画像146、検査画像群132に含まれる医用画像160及び検査画像群134に含まれる医用画像180が表示される。すなわち、図5に示す画像表示領域108へ表示される1つ以上の医用画像は、異なる複数の検査画像群に含まれる医用画像であってよく、1つの検査画像群おける複数の医用画像であってもよい。図8に示す例において、異なる医用画像群のそれぞれに対して、背景色等が異なる表示態様が適用されてもよい。
【0118】
図9は複数の医用画像の第3表示例を示す模式図である。同図に示す複数の医用画像のレイアウトの例では、検査画像群130に含まれる医用画像140が表示され、かつ、検査画像群132及び検査画像群134が保存されている場合を示す。例えば、複数の検査画像群が存在し、本来、表示させるべき医用画像が表示されず、過去の検査画像群に含まれる医用画像が表示されている場合等が、図9に対応している。
【0119】
図7から図9までに示す1つ以上の医用画像が表示される場合、どの画像を閉じてよいか、又はどの検査画像群を閉じてよいかの把握が困難となり得る。そこで、医用画像が閉じられる指示が受け付けられた場合、又は検査画像群が閉じられる指示が受け付けられた場合に、医用画像ごとの読影レポートの作成状況に応じた閉じる指示に対する処理が決められる。
【0120】
[情報処理方法の具体例]
図10は複数の医用画像が表示される表示画面の他の例を示す図である。同図には、9つの医用画像が表示される例を示す。同図には、医用画像200、医用画像202、医用画像204、医用画像206、医用画像208及び医用画像210として、アキシャル断面を表す2次元の再構成画像が図示される。また、同図には、医用画像212及び医用画像214として、コロナル断面を表す2次元の再構成画像が図示される。更に、同図には、医用画像216としてサジタル断面を表す2次元の再構成画像が図示される。
【0121】
図10に示す医用画像200は、最新の検査において生成された最新画像である。最新画像は、現在の検査において生成される現在画像であってよい。医用画像202から医用画像216までのそれぞれは、過去の検査において生成された過去画像である。
【0122】
図11は読影レポートの一例を示す図である。同図には、図10に示す医用画像200が読影対象とされる場合に作成される読影レポート300の一部を図示する。読影レポート300は、最新画像である医用画像200と、過去画像とを比較する旨の記載が含まれる。また、読影レポート300は、過去画像が生成された過去の検査の日付として、20ab年cd月ef日が記載される。なお、aからfは任意の数字を表す。
【0123】
このような場合に、読影対象の医用画像200は、最新の読影レポート作成済みを表す第1ステータスに該当するか、又は最新の読影レポートの未完成を表す第2ステータスに該当する。
【0124】
上記した過去の検査の日付に対応する過去画像を医用画像208とする。過去画像である医用画像208は、最新の検査における読影対象ではないが、図11に示す読影レポート300における比較対象の医用画像である。そうすると、医用画像208は医用画像200と同様に、第1ステータスに該当するか、又は第2ステータスに該当する。
【0125】
一方、最新の検査における読影レポート300における比較対象に該当しない医用画像202等の過去医用は、第1ステータス及び第2ステータスのいずれにも該当しないことを表す第3ステータスに該当する。
【0126】
第3ステータスに該当する医用画像の例として、単に参考として表示される過去画像、過去の検査において正常と判断された過去画像、過去の検査においてCADの検出結果が何も出なかった過去画像等が挙げられる。
【0127】
第3ステータスに該当する医用画像の他の例として、最新の読影レポートにおいてレポートすべき部位と異なる部位が撮影され生成された過去画像が挙げられる。例えば、最新の読影レポートにおいて腹部のレポートを作成する際に、頭部の最新画像及び頭部の過去画像を閉じても問題が生じないと考えられる。
【0128】
図12はポップアップの一例を示す模式図である。図10に示す医用画像200に対して閉じる指示が受け付けられた場合、閉じられる処理が実行される前に、閉じるかどうかを確認するポップアップ320が表示される処理が実行される。医用画像208についても同様である。
【0129】
図1に示す表示装置26へ図12に示すポップアップ320が表示されると、操作者である医師等は、閉じてよい場合はYesを選択することができ、閉じない場合はNoを選択することができる。すなわち、最新の読影レポートの作成に関連する重要な画像を閉じてしまいそうな場合に、閉じるかどうかを確認するポップアップ320が表示されることに起因して、読影レポートの記載漏れ及び記載ミスの発生が抑制される。
【0130】
一方、第3ステータスに該当する医用画像202等に対して閉じる指示が受け付けられた場合は、閉じるかどうかを確認するポップアップ320が表示されずに、医用画像202等に対して閉じる処理が実行される。第3ステータス情報を取得した医用画像202等は、最新の読影レポートの作成への関与が低い重要でない画像として、閉じる指示に応じて速やかに閉じる処理が実行される。
【0131】
図12には、閉じるかどうかを確認する際の報知の態様として、文字情報を用いて報知を実施するポップアップ320を例示したが、閉じるかどうかを確認する際の報知は、ビープ音などの音を用いてもよいし、閉じるかどうかを確認する旨を表す音声を用いてもよい。
【0132】
[読影レポートの作成状況とステータスとの対応関係]
図13は読影レポートの作成状況の第1例を示す模式図である。同図には、第1ステータスに対応する読影レポート作成済みの読影レポートの例を示す。最新の読影レポートを作成すべき検査日時の医用画像について、検査に用いられた検査装置に関する文章、規定の全ての部位に関する文章、及び部位ごとの全ての臓器に関する文章が読影レポートに存在するという解析結果が得られる場合に、読影レポートの作成状況が読影レポート作成済みと判断される。読影レポート作成済みとは、読影レポートの全ての部位について、全ての臓器に対する文章が存在することを意味する。
【0133】
一方、読影レポート作成済みには、文章の変更及び文章載の追加の可能性がある場合が含まれ得る。読影レポート作成済みは、文章の変更及び追加が発生しない読影レポート完成済みと区別される。読影レポート完成済みについては後述する。ここでいう臓器は、血管、神経、骨及び腱等の解剖構造が適用されてもよい。
【0134】
最新の読影レポートの作成状況が、読影レポート作成済みと判断される場合は、最新の読影対象の医用画像が含まれる検査画像群の全ての医用画像は、読影レポート作成済みを表す第1ステータスに該当する。
【0135】
最新の読影レポートを作成すべき検査日時の医用画像とは、最新の検査において生成された医用画像であり、読影対象の医用画像、及び最新の検査において生成された医用画像の比較対象とされる過去の医用画像が含まれ得る。
【0136】
図13に示す、頭部CTの読影レポート360は、CT装置を用いて頭部が撮影され、生成された医用画像に関して、頭部に含まれる全ての臓器に対する文章が存在する。同様に、胸部CTの読影レポート362は、CT装置を用いて胸部が撮影され、生成された医用画像に関して、胸部に含まれる全ての臓器に対する文章が存在する。腹部CTの読影レポート364は、CT装置を用いて腹部が撮影され、生成された医用画像に関して、腹部に含まれる全ての臓器に対する文章が存在する。
【0137】
なお、頭部CTの読影レポート360における文字n、胸部CTの読影レポート362における文字m、及び腹部CTの読影レポート364における文字lは、日付に適用される1以上の任意の整数である。文字n、文字m及び文字lは、同一の値であってもよいし、それぞれが異なる値であってもよい。図14に示す文字n並びに図15に示す文字n及び文字lについても同様である。
【0138】
また、頭部CTの読影レポート360、胸部CTの読影レポート362及び腹部CTの読影レポート364におけるaaaaa等は、臓器H1等に対する文章を表す文字列が模式的に表されるものである。図14及び図15に示すaaaaa等ついても同様である。
【0139】
図14は読影レポートの作成状況の第2例を示す模式図である。同図には、読影レポート作成済みと判定される場合の読影レポートの変形例を示す。図14に示す頭部CTの読影レポート370は、全ての臓器に対する記載が存在する。一方、胸部CTの読影レポート372及び腹部CTの読影レポート374は未記入である。
【0140】
かかる場合において、胸部CTの読影レポート372及び腹部CTの読影レポート374が未完成であり、読影レポート全体としては未完成であるが、頭部CTの全ての医用画像は、読影レポート作成済みを表す第1ステータスが取得されてもよい。例えば、図14に示す読影レポートは、最新の検査においてCT装置を用いて頭部のみが検査される場合に作成され得る。
【0141】
図15は読影レポートの作成状況の第3例を示す模式図である。同図には、読影レポートの未完成に該当する読影レポートの例を示す。最新の読影レポートを作成すべき検査日時の医用画像について、検査装置、部位及び臓器の少なくともいずれかに未記入の項目が存在する場合、読影レポートの作成状況が読影レポート未完成と判断される。
【0142】
図15に示す頭部CTの読影レポート380は、臓器H2に関する項目の空欄が存在する。また、胸部CTの読影レポート382は、臓器C1に関する文章が完結していない。一方、腹部CTの読影レポート384は、全ての臓器に対する文章が存在する。かかる場合において、読影レポートは全体としては未完成であり、検査に含まれる全ての医用画像に対して読影レポートの未完成を表す第2ステータスが取得される。
【0143】
図16は読影レポートの作成状況の第4例を示す模式図である。同図には、読影レポート完成済み及び読影レポートの未完成のいずれにも該当しない場合の読影レポートの例を示す。
【0144】
過去画像のうち、正常と判定された医用画像、比較読影の対象とならない医用画像及び最新の読影レポートに記載すべき部位と異なる部位の医用画像は、読影レポート作成済み及び読影レポート未完成のいずれにも該当しない。
【0145】
正常と判定された医用画像は、判断の主体が医師であってもよいし、CADであってもよい。なお、CADは、Computer Aided Diagnosisの省略語である。比較読影の対象とならない医用画像の例として、比較読影の対象とされる医用画像の検査日時と異なる日時の検査において生成された医用画像が挙げられる。読影レポートに記載すべき部位と異なる部位の医用画像の例として、最新の検査において生成される医用画像が頭部CTのみを対象とする場合の過去の検査において生成された胸部CT又は腹部CTの医用画像が挙げられる。
【0146】
図16に示す最新の頭部CTの読影レポート390には、過去の検査日である20gh年kl月mn日に生成された頭部のCT画像と比較することが記載されている。そうすると、20gh年kl月mn日の検査において生成された頭部のCT画像は、読影レポートに記載すべき医用画像に該当する。
【0147】
一方、20gh年kl月mn日の過去の検査において生成された胸部のCT画像及び腹部のCT画像は、参照している医用画像であり、読影レポート完成済み及び読影レポートの未完成のいずれにも該当しない。なお、図16に示すg、h、k、l、m及びnは、日付に適用される以上の任意の整数である。g等は、同一の値であってもよいし、それぞれが異なる値であってもよい。
【0148】
[ステータス情報取得方法の手順]
図17はステータス情報収集方法の手順を示すフローチャートである。表示装置26に表示される医用画像のステータス情報は以下の手順に従い収集される。最新検査判定工程S100では、図2に示すステータス情報収集部44は、画像取得部30を用いて取得される1つ以上の医用画像のそれぞれが最新の検査の検査画像群に含まれるか否かを判定する。すなわち、最新検査判定工程S100では、取得された医用画像のそれぞれの撮影日時が、最新の検査の日時と一致するか否かを判定する。
【0149】
最新の検査の日時と一致しない撮影日時の医用画像はNo判定とされ、読影対象判定工程S102へ進む。一方、最新検査判定工程S100において、最新の検査の日時と一致する医用画像はYes判定とされ、読影レポート比較判定工程S104へ進む。
【0150】
読影対象判定工程S102では、ステータス情報収集部44は、読影レポート解析部42から出力される読影レポートの解析結果を参照して、ステータス情報の収集対象の医用画像が読影対象の医用画像であるか否かを判定する。すなわち、読影対象判定工程S102では、参照される読影レポートの中に、日時などの比較画像に関する記載があるか否かが判定される。
【0151】
読影対象判定工程S102において、読影対象の医用画像でないと判定される場合はNo判定となり、No判定に該当する医用画像は、読影レポート作成済み及び読影レポート未完成のいずれにも該当しないその他に該当する第3ステータスに該当する。一方、読影対象判定工程S102において、読影対象の医用画像である場合はYes判定となり、読影レポート比較判定工程S104へ進む。ここでいう読影対象とは、現在画像と比較される過去画像が含まれる。
【0152】
読影レポート比較判定工程S104では、ステータス情報収集部44は、読影レポート解析部42から出力される読影レポートの解析結果を参照して、検査装置に対する記載が存在するか、レポート作成の対象である全ての部位についての記載が存在するか、及び部位ごとに全ての臓器についての記載が存在するかを判定する。
【0153】
読影レポート比較判定工程S104において、検査装置に対する記載が存在しない場合、レポート作成の対象である一部の部位についての記載が存在しない場合、又は部位ごとの一部の臓器についての記載が存在しない場合にはNo判定となる。No判定の場合は、読影レポート未完成を表す第2ステータスに該当する。
【0154】
一方、検査装置に対する記載が存在する場合、レポート作成の対象である全ての部位についての記載が存在し、かつ、部位ごとに全ての臓器についての記載が存在する場合はYes判定となる。Yes判定の場合は、読影レポート完成済みを表す第1ステータスに該当する。
【0155】
図17では、取得された医用画像の全てについて、ステータス情報が収集される態様を例示したが、取得された医用画像の一部について、ステータス情報が収集されてもよい。例えば、閉じる指示が受け付けられた医用画像について、ステータス情報が収集され、閉じる指示が受け付けられていない医用画像について、ステータス情報が非収集であってもよい。ここでいう閉じる指示が受け付けられた医用画像とは、閉じる指示が受け付けられた検査画像群に含まれる医用画像であってもよい。
【0156】
[ステータス情報取得の変形例]
図18はステータス情報収集の変形例を示す模式図である。同図に示すステータス情報収集部44は、読影レポートの完成を表す入力信号を受け付けて、読影レポートの完成を表す入力信号に基づき医用画像のステータス情報を収集してもよい。例えば、図5に示す表示画面100にレポート作成完了ボタン45が表示され、レポート作成完了ボタン45が操作された場合に、ステータス情報収集部44に対して読影レポート作成完了を表す入力信号が送信される。読影レポート作成完了とは、最新の読影レポートにおいて、全ての部位における全ての臓器についての文章が存在し、かつ、完成済みの読影レポートとして記憶されることを表す。読影レポート作成完了とは、最新の読影レポートに対する修正及び追加等の処理が禁止されてもよい。
【0157】
ステータス情報収集部44は、読影レポート作成完了を表す入力信号を受け付けた場合、図4に示すステータス情報収集工程S14において第3ステータスを表すステータス情報を収集し、処理決定工程S18において、閉じるかどうかを確認する処理を実行せずに閉じる処理が決定される。
【0158】
一方、ステータス情報収集部44がレポートの完成を表す入力信号を受け付けていない場合は、図17に示す手順に従い、閉じる指示が受け付けられた医用画像に対するステータス情報が収集される。
【0159】
ステータス情報収集の変形例によれば、ステータス情報の取集における工程を削減することができ、ステータス情報の収集の処理時間の短縮化、処理負荷の軽減化が実現される。
【0160】
[学習モデルを用いるステータス情報の取得]
図19はステータス情報の取得を実施する学習モデルの模式図である。同図に示す学習モデル400は、図13及び図14に示す第1ステータスの定義、図15に示す第2ステータスの定義及び図16に示す第3スタータスの定義に従ってステータス情報が取得されるように学習された学習済みの分類モデルである。学習モデル400の学習の手法には深層学習等が適用される。
【0161】
すなわち、学習モデル400は、医用画像及び読影レポートを入力データとし、ステータス情報を正解データとする学習データを用いて、医用画像及び読影レポートが入力された際にステータス情報が出力されるように学習がされた学習済みの学習モデルである。
【0162】
学習モデル400の学習モデルは、医用画像の解析結果及び最新の読影レポートの解析結果を入力データとし、ステータス情報を出力とする学習データが用いられる学習を実施して生成されてもよい。
【0163】
図2に示すステータス情報収集部44は、図19に示す学習済みの学習モデル400を適用し得る。図2に示すステータス情報収集部44は、ステータス情報収集部44へ入力される医用画像及び読影レポートと、出力されるステータス情報とを学習データとして、再学習が実施されてもよい。
【0164】
[閉じる指示が受け付けられた場合に決定される処理の具体例]
図20は閉じる指示に対する処理の決定の第1例を示す模式図である。同図に示す第1表示例407は、図7に示す1つの検査画像群130が表示され、かつ、検査画像群130に含まれる複数の医用画像140等が表示される態様である。
【0165】
第2表示例408は、図8に示す複数の検査画像群130等が表示され、かつ、各検査画像群における1つ以上の医用画像140等が表示される態様である。第3表示例409は、図9に示す1つの検査画像群130に含まれる1つ以上の医用画像140等が表示され、かつ、他の検査画像群134等が表示されずに保存される態様である。
【0166】
医用画像のいずれかを閉じる指示が実施され、閉じる指示が受け付けられた医用画像が第1ステータス又は第2ステータスに該当する場合は、閉じるかどうかの確認を報知する処理が決定され、決定された処理が実行される。
【0167】
一方、閉じる指示が受け付けられた医用画像が第3ステータスに該当する場合は、閉じるかどうかの確認を報知する処理を実施せずに閉じる処理が決定され、決定された処理が実施される。
【0168】
図21はポップアップの一例を示す模式図である。図21に示すポップアップ410は、レポート作成済みを表す第1ステータスに該当する医用画像に対する閉じる指示が受け付けられた場合に表示される。ユーザは、Yesをクリックして閉じる指示を実行してもよいし、Noをクリックして閉じる指示を中止してもよい。
【0169】
図22はポップアップの他の例を示す模式図である。図22に示すポップアップ420は、第2ステータスに該当する医用画像に対する閉じる指示が受け付けられた場合に表示される。図21に示すポップアップ410が表示される場合と同様に、ユーザは閉じる処理の実行又は閉じる処理の中止を選択し得る。第2ステータスに該当する医用画像に対する閉じる指示が受け付けられた場合は、図12に示すポップアップ320が表示されてもよい。
【0170】
図23は閉じる指示に対する処理の決定の第2例を示す模式図である。同図には、検査画像群に対する閉じる指示が受け付けられた場合の処理の例を示す。検査画像群に対する閉じる指示が受け付けられた場合は、検査画像群に含まれる全ての医用画像に対して同一の処理が決定され、実行される。
【0171】
閉じる処理が受け付けられた検査画像群に含まれる医用画像のいずれかが第1ステータス又は第2ステータスに該当する場合は、閉じるかどうかの確認を報知する処理が決定され、決定された処理が実行される。一方、閉じる処理が受け付けられた検査画像群に含まれる医用画像のいずれかが第3ステータスに該当する場合は、閉じるかどうかの確認を報知する処理を実施せずに閉じる処理が決定され、決定された処理が実行される。
【0172】
同一の検査画像群に含まれる複数の医用画像について、第1ステータスに該当する医用画像及び第2ステータスに該当する医用画像の少なくともいずれかと、第3ステータスに該当する医用画像とが存在する場合は、第1ステータス又は第2ステータスが優先される。
【0173】
例えば、閉じる処理が受け付けられた検査画像群に第1ステータスに該当する医用画像と第3ステータスに該当する医用画像が存在する場合は、第1ステータスが優先され、検査画像群に含まれる全ての医用画像について閉じるかどうかの確認を報知する処理が決定され、実行される。
【0174】
また、閉じる処理が受け付けられた検査画像群に第2ステータスに該当医用画像と第3ステータスに該当する医用画像が存在する場合及びは、上記の場合と同様に、検査画像群に含まれる全ての医用画像について閉じるかどうかの確認を報知する処理が決定され、実行される。
【0175】
更に、閉じる処理が受け付けられた検査画像群に第1ステータスに該当する医用画像、第2ステータスに該当する医用画像及び第3ステータスに該当する医用画像が存在する場合は、上記の場合と同様に、検査画像群に含まれる全ての医用画像について閉じるかどうかの確認を報知する処理が決定され、実行される。
【0176】
図24は閉じる指示に対する処理の決定の第3例を示す模式図である。同図には、検査画像群に対する閉じる指示が受け付けられた場合の処理の他の例を示す。同図に示す処理では、閉じる処理が受け付けられた検査画像群に含まれる医用画像のいずれかのステータスが第1ステータス又は第2ステータスの場合は、閉じない処理が決定され、決定された処理が実行される。かかる場合は、閉じない処理が決定される旨が記載されたポップアップが表示されてもよい。また、図21に示すポップアップ410のように、ポップアップに対して報知される処理を実行するか否かを選択するボタンが追加されてもよい。
【0177】
一方、閉じる処理が受け付けられた検査画像群に含まれる医用画像のいずれかのステータスが第3ステータスの場合は、図23等に示す場合と同様に、閉じるかどうかの確認を報知する処理を実施せずに閉じる処理が決定され、決定された処理が実行される。なお、実施形態に記載の閉じない処理は、開かれた状態を継続する処理の一例である。
【0178】
[表示装置へ表示される医用画像のバリエーション]
上記した実施形態では、表示装置26へ表示される医用画像として、3次元のローデータから再構成される2次元のスライス画像を例示したが、3次元の再構成画像を表示させてもよい。
【0179】
[実施形態の作用効果]
実施形態に係る情報処理装置及び情報処理方法は、以下の作用効果を得ることが可能である。
【0180】
〔1〕
閉じる指示が受け付けられた医用画像に対して、最新の検査における読影レポートの作成状況を表すステータス情報が収集される。ステータス情報は、読影レポート作成済みを表す第1ステータス、読影レポート未完成を表す第2ステータス又は第1ステータス及び第2ステータスのいずれにも該当しない第3ステータスのいずれかが含まれる。閉じる指示が受け付けられた医用画像が第1ステータスに該当する場合又は第2ステータスに該当する場合、閉じるかどうかの確認を報知する処理が決定され、実施される。これにより、最新の検査における読影レポートが作成される対象の医用画像について、誤って閉じられる処理の実行が抑制される。
【0181】
〔2〕
閉じる指示が受け付けられた医用画像が第3ステータスに該当する場合、閉じるかどうかの確認を報知する処理をせずに閉じる指示が実施される。これにより、最新の検査における読影レポートの作成において重要でない医用画像が速やかに閉じられる。
【0182】
〔3〕
1つ以上の医用画像を含む検査画像群に対して閉じる処理が受け付けられ、かつ、検査画像群に含まれる医用画像のいずれかが、第1ステータス又は第2ステータスに該当する場合、閉じるかどうかの確認を報知する処理が決定され、実施される。これにより、最新の検査における読影レポートが作成される対象の医用画像について、誤って閉じられる処理の実行が抑制される。
【0183】
〔4〕
1つ以上の医用画像を含む検査画像群に対して閉じる処理が受け付けられ、かつ、検査画像群に含まれる医用画像のいずれかが第1ステータス又は第2ステータスに該当する場合に、閉じない処理が決定され、実行される。これにより、最新の検査における読影レポートが作成される対象の医用画像について、誤って閉じられる処理の実行が抑制される。
【0184】
〔5〕
検査画像群に含まれる医用画像のいずれかが第3スタータスに該当する場合、閉じるかどうかの確認を報知する処理をせずに閉じる指示が決定され、実施される。これにより、最新の検査における読影レポートの作成において重要でない医用画像が速やかに閉じられる。
【0185】
〔6〕
最新の検査において生成される医用画像である最新画像は、第1ステータスを又は第2ステータスに該当する。これにより、最新画像について、誤って閉じられる処理の実行が抑制される。
【0186】
〔7〕
過去の検査において生成される医用画像である過去画像のうち、最新画像との比較対象とされる過去画像は、第1ステータス又は第2ステータスに該当する。これにより、過去画像のうち、最新画像との比較対象とされる医用画像について、誤って閉じられる処理の実行が抑制される。
【0187】
〔8〕
最新の検査における読影レポートが解析され、最新の検査における読影レポートに含まれる検査日時、部位及び臓器に基づき、閉じる指示が受け付けられる医用画像のステータスが判断される。これにより、最新の検査における読影レポートの作成状況が反映されたステータス情報が取得される。
【0188】
〔9〕
最新の検査における読影レポートの完成を表す指示が受け付けられる場合、読影レポートの完成を表す指示が受け付けられる医用画像は、第3ステータスに該当する。これにより、ステータス情報の収集における工程を削減することができ、ステータス情報の収集の処理時間の短縮化、処理負荷の軽減化が実現される。
【0189】
〔10〕
第1ステータスの定義、第2ステータスの定義及び第3ステータスの定義に従ってステータス情報が収集されるように学習された学習済みの学習モデル400を用いて、閉じる指示が受け付けられる医用画像のステータス情報が収集される.。これにより、ステータス情報の取得における処理の高精度化が実現される。
【0190】
発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態の間で適宜組み合わせることができる。
【符号の説明】
【0191】
10 病院システム
12 検査装置
12A CT装置
12B MRI装置
12C PETCT装置
14 放射線科情報システム
16 病院情報システム
16A 自動受付システム
16B 電子カルテシステム
16C 入退院管理システム
16D 医事会計システム
16E 薬局管理システム
16F 診療予約システム
18 画像保存通信システム
20 レポート作成システム
21 レポート作成端末装置
22 サーバ装置
23 データベース
24 表示端末
26 表示装置
27 入力装置
30 画像取得部
32 画像処理部
34 表示信号出力部
40 入力情報受付部
41 画像解析部
42 読影レポート解析部
44 ステータス情報収集部
45 レポート作成完了ボタン
46 処理決定部
48 処理実行部
52 プロセッサ
54 コンピュータ可読媒体
56 通信インターフェース
58 入出力インターフェース
60 バス
62 メモリ
64 ストレージ
70 画像取得プログラム
72 画像処理プログラム72
74 表示信号出力プログラム
80 入力情報受付プログラム80
82 読影レポート解析プログラム
83 画像解析プログラム
84 ステータス情報収集プログラム
86 処理決定プログラム
88 処理実行プログラム88
100 表示画面
102 タイトルバー
104 情報バー
106 ツールバー
108 画像表示領域
110 検査画像群一覧
112 サムネイル画像
120 医用画像
122 医用画像
124 医用画像
126 医用画像
130 検査画像群
130A フォルダ
132 検査画像群
134 検査画像群
136 検査画像群
140 医用画像
142 医用画像
144 医用画像
146 医用画像
148 医用画像
150 医用画像
200 医用画像
202 医用画像
204 医用画像
206 医用画像
208 医用画像
210 医用画像
212 医用画像
214 医用画像
216 医用画像
300 読影レポート
320 ポップアップ
360 頭部CTの読影レポート
362 胸部CTの読影レポート
364 腹部CTの読影レポート
370 頭部CTの読影レポート
372 胸部CTの読影レポート
374 腹部CTの読影レポート
380 頭部CTの読影レポート
382 胸部CTの読影レポート
384 腹部CTの読影レポート
390 頭部CTの読影レポート
400 学習モデル
407 第1表示例
408 第2表示例
409 第3表示例
410 ポップアップ
420 ポップアップ
S10からS24 情報処理方法の各工程
S100からS104 スタータス情報収集方法の各工程
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24