(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024089977
(43)【公開日】2024-07-04
(54)【発明の名称】プログラム、サーバ装置、クライアント装置、システム、サーバ装置により実施される方法、クライアント装置により実施される方法
(51)【国際特許分類】
G06F 16/58 20190101AFI20240627BHJP
G16H 30/20 20180101ALI20240627BHJP
H04L 67/02 20220101ALI20240627BHJP
【FI】
G06F16/58
G16H30/20
H04L67/02
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2022205568
(22)【出願日】2022-12-22
(71)【出願人】
【識別番号】000001443
【氏名又は名称】カシオ計算機株式会社
(74)【代理人】
【識別番号】110004185
【氏名又は名称】インフォート弁理士法人
(74)【代理人】
【識別番号】100121083
【弁理士】
【氏名又は名称】青木 宏義
(74)【代理人】
【識別番号】100138391
【弁理士】
【氏名又は名称】天田 昌行
(74)【代理人】
【識別番号】100074099
【弁理士】
【氏名又は名称】大菅 義之
(74)【代理人】
【識別番号】100182936
【弁理士】
【氏名又は名称】矢野 直樹
(72)【発明者】
【氏名】青木 信裕
(72)【発明者】
【氏名】大木 健史
【テーマコード(参考)】
5B175
5L099
【Fターム(参考)】
5B175DA02
5B175FA03
5B175FB02
5B175GA01
5B175JA02
5L099AA26
(57)【要約】
【課題】ダウンロードした画像解析結果の管理を容易にする。
【解決手段】Webアプリケーション21のプログラムは、コンピュータに、クライアント装置10からアップロードされた画像ファイルF1の画像データを解析し、画像データを解析した結果を表す画像データと、画像ファイルF1のメタデータに含まれる被写体の識別子を含むメタデータと、を含む、第2の画像ファイルを作成し、クライアント装置10からの要求に応じて、クライアント装置10へ第2の画像ファイルを出力する処理を実行させる。
【選択図】
図4
【特許請求の範囲】
【請求項1】
コンピュータに、
クライアント装置からアップロードされた第1の画像ファイルの画像データを解析し、
前記画像データを解析した結果を表す画像データと、前記第1の画像ファイルのメタデータに含まれる被写体の識別子を含むメタデータと、を含む、第2の画像ファイルを作成し、
前記クライアント装置からの要求に応じて、前記クライアント装置へ前記第2の画像ファイルを出力する
処理を実行させるプログラム。
【請求項2】
請求項1に記載のプログラムにおいて、
前記プログラムは、Webアプリケーションのプログラムであり、
前記コンピュータに、さらに、
前記WebアプリケーションのURLに対する前記クライアント装置からのリクエストであって、認証情報と前記第1の画像ファイルの情報とを含むリクエストに応じて、前記認証情報を用いて認証処理を行い、
前記認証処理の結果に応じてレスポンスを出力して、前記第1の画像ファイルの前記画像データを前記クライアント装置の表示部へ表示させる
処理を実行させるプログラム。
【請求項3】
請求項2に記載のプログラムにおいて、
前記レスポンスは、前記第1の画像ファイルの前記画像データを含む
プログラム。
【請求項4】
請求項2に記載のプログラムにおいて、
前記レスポンスは、前記クライアント装置上における前記第1の画像ファイルのパスを含む
プログラム。
【請求項5】
請求項1に記載のプログラムが動作するサーバ装置へ画像ファイルをアップロードし、かつ、前記サーバ装置から画像ファイルをダウンロードするクライアント装置で動作するビューアアプリケーションのプログラムであって、
コンピュータに、
前記サーバ装置へアップロードした1つ以上の第1の画像ファイルと前記サーバ装置からダウンロードした1つ以上の第2の画像ファイルを、各画像ファイルのメタデータに含まれる被写体の識別子で分類し、
分類された前記1つ以上の第1の画像ファイルの画像データと前記1つ以上の第2の画像ファイルの画像データを、前記識別子毎にクライアント装置の表示部へ表示させる
処理を実行させるプログラム。
【請求項6】
請求項1に記載のプログラムにおいて
前記第2の画像ファイルは、前記解析した結果と医療機関に関する情報を含むプログラム。
【請求項7】
請求項5に記載のプログラムにおいて、
前記コンピュータに、さらに、
前記表示部に表示された画像データの画像ファイルの中から利用者が選択した画像ファイルを前記サーバ装置へアップロードする
処理を実行させるプログラム。
【請求項8】
画像解析機能を提供するアプリケーションが動作するサーバ装置であって、
クライアント装置からアップロードされた第1の画像ファイルの画像データを解析する解析部と、
前記解析部による解析結果を表す画像データと、前記第1の画像ファイルのメタデータに含まれる被写体の識別子を含むメタデータと、を含む、第2の画像ファイルを作成するファイル作成部と、
前記クライアント装置からの要求に応じて、前記クライアント装置へ前記第2の画像ファイルを出力する出力部と、を備える
サーバ装置。
【請求項9】
ビューアアプリケーションが動作するクライアント装置であって、
請求項7に記載のサーバ装置へアップロードした1つ以上の第1の画像ファイルと前記サーバ装置からダウンロードした1つ以上の第2の画像ファイルを、各画像ファイルのメタデータに含まれる被写体の識別子で分類する分類部と、
分類された前記1つ以上の第1の画像ファイルの画像データと前記1つ以上の第2の画像ファイルの画像データを、前記識別子毎にクライアント装置の表示部へ表示させる表示制御部と、を備える
クライアント装置。
【請求項10】
請求項8に記載のサーバ装置と、
請求項9に記載のクライアント装置と、を備える
システム。
【請求項11】
コンピュータに、
クライアント装置からアップロードされた第1の医用画像ファイルの医用画像データを解析し、
前記医用画像データを解析した結果を表す画像データと、前記第1の医用画像ファイルのメタデータに含まれる患者の識別子を含むメタデータと、を含む、第2の画像ファイルを作成し、
前記クライアント装置からの要求に応じて、前記クライアント装置へ前記第2の画像ファイルを出力する
処理を実行させるプログラム。
【請求項12】
画像解析機能を提供するアプリケーションが動作するサーバ装置により実施される方法であって、
クライアント装置からアップロードされた第1の画像ファイルの画像データを解析するステップと、
前記画像データを解析した結果を表す画像データと、前記第1の画像ファイルのメタデータに含まれる被写体の識別子を含むメタデータと、を含む、第2の画像ファイルを作成するステップと、
前記クライアント装置からの要求に応じて、前記クライアント装置へ前記第2の画像ファイルを出力するステップと、を備える
方法。
【請求項13】
ビューアアプリケーションが動作するクライアント装置により実施される方法であって、
請求項8に記載の方法を実施するサーバ装置へアップロードした1つ以上の第1の画像ファイルと前記サーバ装置からダウンロードした1つ以上の第2の画像ファイルを、各画像ファイルのメタデータに含まれる被写体の識別子で分類するステップと、
分類された前記1つ以上の第1の画像ファイルの画像データと前記1つ以上の第2の画像ファイルの画像データを、前記識別子毎に前記クライアント装置の表示部へ表示させるステップと、を備える
方法。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書の開示は、プログラム、サーバ装置、クライアント装置、システム、サーバ装置により実施される方法、クライアント装置により実施される方法に関する。
【背景技術】
【0002】
クライアント装置からサーバ装置へアップロードした画像に対して画像解析処理を実行してその結果をクライアント装置へ提供するWebアプリケーションが知られている。このようなWebアプリケーションは、例えば、特許文献1、特許文献2などに記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2013-146414号公報
【特許文献2】特開2009-020820号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記のようなWebアプリケーションが画像解析結果をダウンロードさせる機能を提供している場合、クライアント装置側での画像解析結果の管理が課題となる。
【0005】
以上のような実情を踏まえ、本発明の一側面に係る目的は、ダウンロードした画像解析結果の管理を容易にする技術を提供することである。
【課題を解決するための手段】
【0006】
本発明の一態様に係るプログラムは、コンピュータに、クライアント装置からアップロードされた第1の画像ファイルの画像データを解析し、前記画像データを解析した結果を表す画像データと、前記第1の画像ファイルのメタデータに含まれる被写体の識別子を含むメタデータと、を含む、第2の画像ファイルを作成し、前記クライアント装置からの要求に応じて、前記クライアント装置へ前記第2の画像ファイルを出力する処理を実行させる。
【発明の効果】
【0007】
本発明によれば、ダウンロードした画像解析結果の管理を容易にすることができる。
【図面の簡単な説明】
【0008】
【
図1】一実施形態に係るシステムの構成例を示した図である。
【
図2】一実施形態に係るシステムで動作するアプリケーションの構成例を示した図である。
【
図3】一実施形態に係るサーバ装置で動作するWebアプリケーションの画面遷移例を示した図である。
【
図4】一実施形態に係るシステムで動作するアプリケーションの機能的構成例を示した図である。
【
図5】一実施形態に係るシステムで動作するアプリケーション間のやり取りを示すシーケンス図の一例である。
【
図6】ビューア経由でWebブラウザを起動する方法を説明するための図である。
【
図7】常駐アプリケーション経由でWebブラウザを起動する方法を説明するための図である。
【
図10】ビューア上での画像ファイルの表示例を示した図である。
【
図11】一実施形態に係るシステムで動作するアプリケーション間のシーケンス図の変形例である。
【
図12】一実施形態に係るシステムで動作するアプリケーション間のシーケンス図の別の変形例である。
【
図13】一実施形態に係るシステムで動作するアプリケーション間のシーケンス図のさらに別の変形例である。
【
図14】一実施形態に係るコンピュータのハードウェア構成の一例を説明するブロック図である。
【発明を実施するための形態】
【0009】
図1は、本実施形態に係るシステムの構成例を示した図である。
図2は、本実施形態に係るシステムで動作するアプリケーションの構成例を示した図である。
図1及び
図2に示すシステム1は、利用者に画像解析機能を提供するWebアプリケーションシステムである。以下、
図1及び
図2を参照しながら、システム1の構成について説明する。
【0010】
システム1は、
図1に示すように、ネットワーク30を介して通信可能に接続された、1つ以上のクライアント装置10(クライアント装置10a、クライアント装置10b)と、サーバ装置20と、を備えている。ネットワーク30は、例えばインターネットであるが、インターネットに限らず、専用線などを介して接続されてもよい。
【0011】
サーバ装置20は、
図2に示すように、画像解析機能を提供するWebアプリケーション21が動作する装置である。Webアプリケーション21は、認証処理に成功した利用者にのみ画像解析機能を提供する。
【0012】
Webアプリケーション21では、クライアント装置10からアップロードされた画像ファイルの画像データを解析する処理、解析結果をクライアント装置10のWebブラウザ13上へ表示させる処理、解析結果を画像ファイルとしてクライアント装置10へ出力する処理などが行われる。
【0013】
クライアント装置10は、利用者が直接操作する端末であり、
図2に示すように、Webブラウザ13を用いてサーバ装置20上で動作するWebアプリケーション21へアクセスする。クライアント装置10には、少なくともWebブラウザ13がインストールされている。クライアント装置10には、さらに、画像管理アプリケーション11と、常駐アプリケーション12と、の少なくとも一方がインストールされている。
【0014】
画像管理アプリケーション11は、画像ファイルを管理するアプリケーションであり、管理対象の画像ファイルを閲覧するためのビューアアプリケーションとしても動作する。クライアント装置10では、画像管理アプリケーション11が提供する複数の機能のうちの一つとして、後述するWebアプリケーション21へのアクセスを支援する機能が提供される。画像管理アプリケーション11には、Webアプリケーション21へログインするための認証情報が登録されてもよい。認証情報は、例えば、利用者IDとパスワードである。
【0015】
画像管理アプリケーション11は、管理対象の画像ファイルを画像ファイルのメタデータに基づいて分類する。画像管理アプリケーション11は、例えば、画像ファイルのメタデータに含まれている撮影日時に基づいて画像ファイルを分類してもよく、画像ファイルのメタデータに含まれている被写体を識別する識別子に基づいて画像ファイルを分類してもよい。画像管理アプリケーション11は、例えば、同じグループに分類された画像ファイルの画像データを一覧でクライアント装置10の表示部に表示させてもよい。
【0016】
常駐アプリケーション12は、後述するWebアプリケーション21へのアクセスを支援する機能を提供するアプリケーションである。常駐アプリケーション12にも、画像管理アプリケーション11と同様に、Webアプリケーション21へログインするための認証情報が登録されてもよい。
【0017】
画像管理アプリケーション11と常駐アプリケーション12のいずれかのアプリケーション経由でWebブラウザ13を起動し制御することで、クライアント装置10は、利用者の所定の操作(例えば、数回のクリック操作など)に応答して、クライアント装置10に保存されている利用者が選択した画像ファイルFを、画像解析の対象としてWebアプリケーション21へ通知することができる。これにより、Webブラウザ13に後述する画像確認ページP5(
図3参照)を表示させることが可能であり、利用者は、さらに画像確認ページP5上で画像解析を指示することで、画像ファイルFを面倒な操作を行うことなくWebアプリケーション21に解析させることが可能である。この点の詳細については、後述する。
【0018】
図3は、本実施形態に係るサーバ装置で動作するWebアプリケーションの画面遷移例を示した図である。
図3に示すように、Webアプリケーション21には、少なくとも7つのページが用意されている。以下、Webアプリケーション21の各ページの役割について簡単に説明する。
【0019】
以降では、Webアプリケーション21が医師による皮膚の疾患の有無等の診断を支援するためのアプリケーションであり、利用者である医師がダーモスコープで得られるダーモスコピー画像のデータを含む画像ファイルをWebアプリケーション21へアップロードする場合を例に説明する。
【0020】
なお、ダーモスコープは、皮膚表面からの反射光を低減しつつ皮膚に生じた病変と疑われる箇所を拡大して非侵襲的に観察可能な拡大鏡である。このため、ダーモスコープで得られるダーモスコピー画像は皮膚の疾患の識別に好適である。ただし、入力される画像データは、ダーモスコピー画像の画像データに限らず、医療画像の画像データにも限られない。また、Webアプリケーション21の用途は、医師向けの診断支援に限らない。
【0021】
トップページP1には、認証情報を入力するための入力フォームが含まれている。利用者が入力フォームに認証情報を入力して「ログイン」ボタンをクリック操作により選択することで、Webアプリケーション21で認証処理が行われる。認証に成功すると、会員ページP3へ画面が遷移する。
【0022】
また、トップページP1には、会員登録ページP2へのリンクが貼られている。利用者がリンクをクリック操作により選択することで、会員登録ページP2へ画面が遷移する。
【0023】
会員登録ページP2では、会員登録と画像解析に伴う課金の設定を行う。会員登録ページP2で会員登録等を行うことで、画面は会員ページP3へ遷移する。はじめてWebアプリケーション21のサイトへ訪問した利用者は、会員登録ページP2で会員登録を行う。これにより、次回以降、トップページP1で認証情報を入力することで、会員登録ページP2を経ることなく会員ページP3へアクセスすることができる。
【0024】
会員ページP3には、各種リンク(トップページP1へのリンク、お問い合わせページへのリンク、会員情報変更ページへのリンク、設定変更ページへのリンク)とともに、「AI画像解析」と記載されたリンクが設けられている。利用者が「AI画像解析」をクリック操作により選択することで、画面が画像選択ページP4へ遷移する。
【0025】
画像選択ページP4では、クライアント装置10上の任意の画像ファイルを選択可能である。解析すべき画像データを含む画像ファイルを選択し、「開く」ボタンをクリック操作により選択することで、画面が画像確認ページP5へ遷移する。一方、クリック操作により「キャンセル」ボタンを選択することで、画面が再び会員ページP3へ遷移する。なお、画像選択ページP4は、標準的なファイル選択ダイアログで代用されてもよい。
【0026】
画像確認ページP5には、画像選択ページP4で選択した画像ファイルの情報(画像、患者ID、撮影日時)を表示する領域と、画像解析に当たっての各種注意事項(画像確認事項、料金発生確認)を表示する領域が含まれている。なお、患者ID、撮影日時は画像ファイルに含まれるメタデータである。
【0027】
画像確認事項は、例えば、画像がダーモスコピー画像であるかどうか、画像に写っている病変と疑われる領域が画像領域の一定以上の割合を占めているか、などの確認を利用者に促すものである。料金発生確認は、画像解析を行うことで利用料金が発生し利用者に課金されることを事前に通知するものである。
【0028】
画像確認ページP5で画像ファイルの情報と注意事項とをよく確認した利用者が「解析開始」ボタンをクリック操作により選択することで、画像解析が開始され、画面が画像解析ページP6へ遷移する。なお、クリック操作により「戻る」ボタンが選択されると、画面は会員ページP3へ遷移する。
【0029】
画像解析ページP6では、解析対象の画像ファイルの情報とともに画像解析の進行状況が表示され、画像解析が終了すると、画面が解析結果ページP7へ遷移する。
【0030】
解析結果ページP7には、画像ファイルの情報(画像、患者ID、撮影日時)を表示する領域と、解析結果や紹介情報などを表示する領域が含まれている。
【0031】
解析結果は、例えば、解析によって判定された疾患の有無について確信度合いを示す情報である。確信度合いは、数値やグラフなどを用いて定量的に表現されてもよく、文章や絵などを用いて定性的に表現されてもよい。紹介情報は、より高度なまたは専門的な診断が可能な医療機関を紹介すべきか否かを示す情報である。
【0032】
解析結果ページP7に表示される情報は、解析結果ページP7に設けられた「印刷」ボタンをクリック操作により選択することで印刷装置へ出力して印刷することができる。また、解析結果ページP7に表示される情報は、解析結果ページP7に設けられた「保存」ボタンをクリック操作により選択することで画像ファイル(解析結果ファイルともいう)としてクライアント装置10へ出力して保存することができる。なお、解析結果ページP7に表示される情報は、画像ファイルの代わりに画像データを含むその他のフォーマットのファイル(例えば、PDFファイル)として保存されてもよい。
【0033】
以上のように、上述したWebアプリケーション21では、利用者が選択した画像ファイルの画像データを解析して、その解析結果をWebページ(解析結果ページP7)、印刷物、画像ファイルに代表される電子ファイルなどの様々な形式で利用者に提供することができる。従って、利用者である医師は、Webアプリケーション21を利用することで、疾患の有無について客観的な助言を得ることが可能であり、得られた情報を参考にして最終的な診断を下すことができる。
【0034】
図4は、本実施形態に係るシステムで動作するアプリケーションの機能的構成例を示した図である。以下、
図4を参照しながら、上述したシステム1によって実現される、Webアプリケーション21の画像解析機能へのアクセスを改善し、利用者が手間を掛けずに画像解析機能を利用可能とする仕組みについて説明する。また、サーバ装置20からダウンロードした画像解析結果の管理を容易にする仕組みについても説明する。
【0035】
前者の仕組みは、クライアント装置10がWebブラウザ制御部(Webブラウザ制御部111、Webブラウザ制御部121)を備えることで実現される。また、サーバ装置20が認証部211と出力部212を備えることで実現される。
【0036】
また、後者の仕組みは、クライアント装置10が分類部113と表示制御部114を備えることで実現される。また、サーバ装置20が解析部213とファイル作成部214と出力部212を備えることで実現される。
【0037】
Webブラウザ制御部(Webブラウザ制御部111、Webブラウザ制御部121)は、Webブラウザ13を制御する機能を実現する構成であり、クライアント装置10において、画像管理アプリケーション11と常駐アプリケーション12に実装されている。具体的には、
図4に示すように、画像管理アプリケーション11は、Webブラウザ制御部111を備え、常駐アプリケーション12は、Webブラウザ制御部121を備えている。
【0038】
Webブラウザ制御部(Webブラウザ制御部111、Webブラウザ制御部121)は、画像ファイルFを選択した状態で行われる利用者の所定の操作に応答してWebブラウザ13を起動して、Webブラウザ13に、Webアプリケーション21のURL(Universal Resource Locator)に対するリクエストを、サーバ装置20へ向けて送信させる。このリクエストには、予めクライアント装置10に保存されている認証情報と、画像ファイルFの情報とが含まれている。
【0039】
リクエストに含まれる認証情報は、例えば、画像管理アプリケーション11や常駐アプリケーション12にあらかじめ登録された情報である。また、リクエストに含まれる認証情報は、Webブラウザ13にWebアプリケーション21のURLと関連付けて登録されている情報であってもよい。Webブラウザ13に登録されている認証情報は、例えば、Webブラウザ13のオートコンプリート機能に利用される認証情報である。認証情報は、永続的に記憶されているものであっても、クッキーに期限付きで記憶されているものであってもよい。
【0040】
認証部211と出力部212は、トップページP1、会員ページP3、画像選択ページP4をショートカットして画像確認ページP5へ直接アクセスする機能を実現する構成であり、サーバ装置20において、Webアプリケーション21に実装されている。
【0041】
認証部211は、上述したWebブラウザ制御部がWebブラウザ13を起動することでサーバ装置20へ送信させたリクエストを処理する。具体的には、認証部211は、Webアプリケーション21のURLに対するクライアント装置10からのリクエストであって、認証情報と画像ファイルの情報とを含むリクエストに応じて、認証情報を用いて認証処理を行う。
【0042】
このリクエストのURLは、例えば、トップページP1のURLであっても、画像確認ページP5のURLであってもよい。また、Webアプリケーション21のURLであれば、上述したトップページP1から解析結果ページP7のURLとは異なるURLであってもよい。
【0043】
認証部211は、予め決められたURLに対する、認証情報と画像ファイルの情報を含むリクエストを受信すると、リクエストに含まれる認証情報を用いて認証処理を行う。
【0044】
出力部212は、認証部211での認証結果に応じてレスポンスを出力して、画像ファイルFの画像データをWebアプリケーション21の画像解析機能が解析対象とする画像データとしてクライアント装置10の表示部へ表示させる。
【0045】
具体的には、出力部212は、認証結果が成功の場合に、画像確認ページP5を含むレスポンスをクライアント装置10へ送信する。なお、リクエストのURLが画像確認ページP5とは異なる場合には、出力部212は、画像確認ページP5にリダイレクトしてレスポンスを出力すればよい。これにより、Webブラウザ13上に画像ファイルFの情報を表示した画像確認ページP5が表示される。
【0046】
このように、システム1では、利用者がクライアント装置10で画像ファイルFを選択した状態で所定の操作を行うだけで、Webブラウザ13がWebブラウザ制御部経由で起動され、Webアプリケーション21にアクセスする。さらに、サーバ装置20では、Webブラウザ13からのリクエストに対して自動的にログイン処理(認証処理)が行われ、利用者が選択した画像ファイルFの画像データを解析対象とする画像確認ページP5を含むレスポンスが出力される。その結果、Webブラウザ13には画像確認ページP5が表示される。従って、利用者は、画像確認ページP5を確認し解析指示を入力するだけで、Webアプリケーション21の画像解析機能を利用することができる。
【0047】
解析部213は、利用者からの解析指示に従って画像データを解析する機能を実現する構成であり、サーバ装置20において、Webアプリケーション21に実装されている。
【0048】
解析部213は、クライアント装置10からサーバ装置20へアップロードされた画像ファイル(以降、第1の画像ファイルと記す。)の画像データを解析する。具体的には、解析部213は、利用者の所定の操作(例えば、上述した画像確認ページP5の「解析開始」ボタンのクリック操作による選択)である解析指示に応答して、画像確認ページP5に画像解析対象として表示されている画像の画像データを解析する。
【0049】
なお、画像データを含む画像ファイルがクライアント装置10からサーバ装置20へアップロードされるタイミングは、特に限定しない。画像ファイルは、解析指示が入力されて画像データが解析されるその直前にアップロードされてもよく、解析指示よりも以前にサーバ装置20へアップロードされてもよい。
【0050】
解析部213が解析した解析結果を含む解析結果ページP7は、出力部212によってクライアント装置10へ出力される。例えば、出力部212は、解析処理が終了すると、解析結果ページP7を含むレスポンスをクライアント装置10へ送信する。
【0051】
ファイル作成部214は、解析部213による解析結果を含む、管理に適したファイルを作成する機能を実現する構成であり、サーバ装置20において、Webアプリケーション21に実装されている。
【0052】
ファイル作成部214は、解析部213による解析結果を表す画像データと、第1の画像ファイルのメタデータに含まれる被写体の識別子を含むメタデータと、を含む、新たな画像ファイル(以降、第2の画像ファイルと記す。)を作成する。
【0053】
なお、第2の画像ファイルが作成されるタイミングは、特に限定しない。解析部213が行う解析処理に続いてファイル作成部214により第2の画像ファイルが作成されてもよく、利用者の所定の操作(例えば、上述した解析結果ページP7の「保存」ボタンのクリック操作による選択)に応答して、ファイル作成部214により第2の画像ファイルが作成されてもよい。
【0054】
出力部212は、上述した各種のページを含むレスポンスを出力する他に、クライアント装置10からの解析結果のダウンロード要求に応じて、クライアント装置10へ第2の画像ファイルを出力する。具体的には、出力部212は、例えば、利用者の所定の操作(例えば、上述した解析結果ページP7の「保存」ボタンのクリック操作による選択)に応答して、第2の画像ファイルを出力してもよい。
【0055】
分類部113と表示制御部114は、画像ファイルを分類して管理する機能を実現する構成であり、クライアント装置10において、画像管理アプリケーション11に実装されている。
【0056】
分類部113は、サーバ装置20へアップロードした1つ以上の第1の画像ファイルとサーバ装置20からダウンロードした1つ以上の第2の画像ファイルを、各画像ファイルのメタデータに含まれる被写体の識別子で分類する。
【0057】
表示制御部114は、分類部113で分類された1つ以上の第1の画像ファイルの画像データと1つ以上の第2の画像ファイルの画像データを、識別子毎にクライアント装置10の表示部へ表示させる。具体的には、表示制御部114は、ビューアアプリケーションである画像管理アプリケーション11の表示領域に、画像データを識別子毎に表示する。
【0058】
なお、分類部113は、さらに、サーバ装置20へアップロードしていない画像ファイルを分類してもよい。また、分類部113は、少なくとも、被写体の識別子に基づいて画像ファイルを分類できればよく、被写体の識別子に加えてまたは代わりにその他のメタデータを用いて画像ファイルを分類してもよい。また、表示制御部114は、画像データを識別子毎に表示させることができればよく、画像データをその他のメタデータ毎に表示させてもよい。
【0059】
このように、システム1では、サーバ装置20によって、被写体の識別子をメタデータとして含むように、解析結果を画像データとして含む第2の画像ファイルが作成され、利用者が解析結果のダウンロードを要求すると、その第2の画像ファイルがサーバ装置20からクライアント装置10へ出力される。クライアント装置10では、画像管理アプリケーション11が、サーバ装置20からダウンロードされた第2の画像ファイルを、サーバ装置20へアップロードされた第1の画像ファイルとまとめて管理する。特に、画像管理アプリケーション11によって、画像解析前後の画像ファイル間で引き継がれた被写体の識別子に基づいて画像ファイル(画像データ)が分類されるため、アップロードした画像ファイルとダウンロードした画像ファイルが自動的に関連付けられて管理される。従って、利用者は、画像管理アプリケーション11を利用することで、ダウンロードした画像解析結果を解析元の画像データと関連付けて容易に管理することができる。
【0060】
図5は、本実施形態に係るシステムで動作するアプリケーション間のやり取りを示すシーケンス図の一例である。
図6は、ビューア経由でWebブラウザを起動する方法を説明するための図である。
図7は、常駐アプリケーション経由でWebブラウザを起動する方法を説明するための図である。
図8は、画像確認ページの一例を示した図である。
図9は、解析結果ページの一例を示した図である。
図10は、ビューア上での画像ファイルの表示例を示した図である。以下、
図5から
図10を参照しながら、システム1で行われる処理の具体例について説明する。
【0061】
クライアント装置10から画像ファイルをサーバ装置20へアップロードし、サーバ装置20で解析し、解析結果をダウンロードする処理の一例について説明する。
【0062】
まず、画像管理アプリケーション11は、選択した画像ファイルをWebアプリケーション21へ送るための利用者の操作を検出する(ステップS1)。ここでは、画像管理アプリケーション11は、例えば、
図6に示すように、画像ファイルF1が選択された状態でボタンB11がクリック操作により選択されたことを検出する。
【0063】
なお、
図6に示す画像管理アプリケーション11において、領域R111は、画像管理アプリケーション11が管理している画像ファイルを絞り込むためのメタデータを選択する領域である。
図6には、画像ファイルに含まれる被写体の識別子である患者ID(ここでは“00123”)で、画像ファイルを絞り込んだ例が示されている。また、領域R112は、領域R111で指定されたメタデータに対応する画像ファイルの画像データを一覧表示する領域である。
図6には、一覧表示されている患者ID“00123”のメタデータを有する画像ファイルの画像データが一覧表示され、かつ、画像ファイルF1が選択されている様子が示されている。
【0064】
次に、画像管理アプリケーション11は、クライアント装置10に保存されている認証情報を取得する(ステップS2)。ここでは、画像管理アプリケーション11は、例えば、画像管理アプリケーション11のインストール時に登録した認証情報を、画像管理アプリケーション11のコンフォグレーションファイルから読み出して取得する。
【0065】
その後、画像管理アプリケーション11は、Webアプリケーション21のURLと、画像ファイルF1のパスと、認証情報をWebブラウザ13へ送信する(ステップS3)。Webアプリケーション21のURLは、予め決められたURLであり、画像管理アプリケーション11に登録されている。また、画像ファイルF1のパスは、ステップS1で操作を検出したときに取得した情報である。また、認証情報は、ステップS2で取得した認証情報である。
【0066】
なお、ステップS1からステップS3は、常駐アプリケーション12で行われてもよい。常駐アプリケーション12は、ステップS1において、
図7に示すように、画像ファイルF1を選択した状態で表示されたコンテキストメニュー40から“Webアプリに送る”のメニューボタン41がクリック操作により選択されたことを検出してもよい。
【0067】
そして、常駐アプリケーション12は、クリック操作によるメニューボタン41の選択を検出すると、ステップS2において、常駐アプリケーション12に登録されている認証情報を取得し、ステップS3において、Webアプリケーション21のURLと、選択されている画像ファイルF1のパスと、ステップS2で取得した認証情報をWebブラウザ13へ送信してもよい。
【0068】
画像管理アプリケーション11または常駐アプリケーション12からのデータの送信を契機にしてWebブラウザ13が起動する(ステップS4)。さらに、Webブラウザ13は、Webアプリケーション21へ、画像管理アプリケーション11または常駐アプリケーション12から受信した画像ファイルF1のパスと認証情報とを含む、Webアプリケーション21のURLに対するリクエストを送信する(ステップS5)。
【0069】
なお、ステップS5におけるリクエストパラメータ(この場合、画像ファイルのパスと認証情報)の送信方法は特に限定しない。例えば、HTTPのGETメソッドで、画像ファイルのパスや認証情報をURL内のクエリ文字列としてWebアプリケーション21へ送ってもよい。また、HTTPのPOSTメソッドで、画像ファイルのパスや認証情報をリクエストのボディ部に埋め込んでWebアプリケーション21へ送ってもよい。
【0070】
ただし、一般にセキュリティ面を重視する場合は、POSTメソッドで送信することが望ましい。特に、POSTメソッドでHTTPSなどの暗号化された通信を使用することで、画像ファイルのパスや認証情報が盗み見られる、または、悪用されるリスクを十分に抑えることができる。
【0071】
リクエストを受信したWebアプリケーション21は、リクエストに含まれる認証情報を用いて認証処理を行い(ステップS6)、その後、Webブラウザ13へレスポンスを送信する(ステップS7)。ステップS6で認証処理が成功した場合には、Webアプリケーション21は、ステップS7において、画像確認ページP5を含むレスポンスを送信する。Webアプリケーション21からWebブラウザ13へ送信される画像確認ページP5には、画像ファイルF1のパスが含まれている。
【0072】
レスポンスを受信したWebブラウザ13は、画像確認ページP5に含まれている画像ファイルF1のパスから画像ファイルF1をロードする(ステップS8)。これにより、Webブラウザ13には、
図8に示すように、画像確認ページP5内に画像ファイルF1の画像データが表示される。従って、後述するように、画像解析直前まで画像ファイルF1のアップロードを遅らせることができるため、画像解析を行わない場合に生じうる無駄なアップロードを回避することができる。
【0073】
なお、
図8に示す画像確認ページP5において、領域R51は、画像ファイルF1の情報を表示する領域である。
図8には、画像ファイルF1に含まれる患者ID(“00123”)と撮影日時の情報を、ステップS8においてクライアント装置10からロードした画像ファイルF1の画像データとともに表示した様子が示されている。また、領域R52は、画像解析に当たって利用者が事前に確認すべき事項を表示する領域である。なお、領域R52に設けられたチェックボックスへチェックが入力されることで、解析開始ボタン(ボタンB51)が有効化されて、選択可能となってもよい。
【0074】
画像確認ページP5を確認した利用者が解析開始ボタン(ボタンB51)をクリック操作により選択すると、Webブラウザ13は、解析実行指示を検出して(ステップS9)、画像解析の実行を要求するリクエストであって画像ファイルF1を含むリクエストを、Webアプリケーション21へ送信する(ステップS10)。すなわち、ステップS10では、Webブラウザ13は、例えば、画像ファイルF1をPOSTメソッドで送信することで、Webアプリケーション21へアップロードする。
【0075】
リクエストを受信したWebアプリケーション21は、リクエストに含まれる画像ファイルF1の画像データを解析し(ステップS11)、解析結果を含むレスポンスをWebブラウザ13へ送信する(ステップS12)。具体的には、Webアプリケーション21は、ステップS12において、
図9に示す解析結果ページP7を含むレスポンスを送信する。
【0076】
なお、
図9に示す解析結果ページP7において、領域R71は、画像ファイルF1の情報を表示する領域である。領域R71は、
図8に示す画像確認ページP5の領域R51と同様である。また、領域R72は、紹介情報を表示する領域であり、領域R73は、解析結果を表示する領域である。この例では、領域R73は、画像に写っている病変部が高い確率で悪性であることを示していて、領域R72は、患者に医療機関を紹介する必要があるとの判断を示している。
【0077】
解析結果ページP7を確認した利用者が保存ボタン(ボタンB72)をクリック操作により選択すると、Webブラウザ13は、解析結果のダウンロードを要求するリクエストを、Webアプリケーション21へ送信する(ステップS14)。
【0078】
リクエストを受信したWebアプリケーション21は、解析結果ファイルA1を作成し(ステップS15)、解析結果ファイルA1を含むレスポンスをWebブラウザ13へ送信する(ステップS16)。なお、解析結果ファイルA1は、例えば、解析結果ページP7の内容を画像データとして含む画像ファイルであり、解析結果ファイルA1のメタデータには、画像ファイルF1のメタデータに含まれる被写体の識別子が含まれている。
【0079】
Webブラウザ13は、レスポンスに含まれている解析結果ファイルA1をクライアント装置10に保存する(ステップS17)。なお、解析結果ファイルA1を保存する場所は特に限定しない。利用者が指定する任意のフォルダに保存可能である。
【0080】
ただし、画像管理アプリケーション11が特定のフォルダ内の画像ファイルを管理する場合には、そのフォルダ内に保存することが望ましい。これにより、ダウンロード直後から解析結果ファイルA1を画像管理アプリケーション11で管理することができる。
【0081】
以上のように、システム1では、利用者が、
図6及び
図7に示すように、画像ファイルを選択した状態で所定の操作を行うだけで、Webブラウザ13に
図8に示すWebアプリケーション21の画像確認ページP5を表示させることができる。そのため、利用者は、従来よりも少ない操作で、Webアプリケーション21の画像解析機能を利用することが可能であり、所望の画像データを解析し、その解析結果ファイルをクライアント装置10へダウンロードするまでの利用者の作業を簡素化することができる。
【0082】
サーバ装置20からクライアント装置10へダウンロードされた画像ファイル(解析結果ファイルA1)をクライアント装置10からサーバ装置20へアップロードされた画像ファイルF1をまとめて表示する処理の一例について説明する。
【0083】
利用者が画像管理アプリケーション11を起動すると、
図10に示す画像管理アプリケーション11のウィンドウが表示される。画像管理アプリケーション11は、例えば、起動時に、予め設定されたフォルダ内の画像ファイルを読み込んで、それらの画像ファイルのメタデータから患者IDや撮影日時を領域R111にリスト表示する。予め設定されたフォルダには、例えば、1つ以上の第1の画像ファイルと1つ以上の第2の画像ファイルが置かれている。
【0084】
さらに、画像管理アプリケーション11は、領域R111において患者IDタブが選択された場合には、画像ファイルに含まれる患者IDで画像ファイルを分類し、グループ分けする。また、画像管理アプリケーション11は、領域R111において撮影日時タブが選択された場合には、画像ファイルに含まれる撮影日時で画像ファイルを分類し、グループ分けする。
【0085】
領域R112には、領域R111において選択された特定のメタデータ(患者ID、撮影日時)を有する画像ファイルの画像データが一覧で表示される。例えば、領域R112において患者ID“00123”が選択されると、画像管理アプリケーション11は、
図10に示すように、患者ID“00123”を有する画像ファイルの画像データを領域R112に一覧で表示する。
【0086】
患者ID“00123”を有する画像ファイルF1がサーバ装置20へアップロードされ、その画像データが解析され、解析結果ファイルA1がサーバ装置20からダウンロードされた場合であれば、画像管理アプリケーション11によって、画像ファイルF1と解析結果ファイルA1は、
図10に示すように、領域R112にまとめて表示される。
【0087】
以上のように、システム1では、解析結果ファイルが解析前の画像ファイルに含まれるメタデータの少なくとも一部を有している。このため、クライアント装置10は、サーバ装置20からダウンロードした解析結果ファイルをメタデータに基づいて分類し、分類に従って表示することができる。特に、解析結果ファイルが解析前の画像データのメタデータに基づいて自動的に整理されるため、利用者は、ダウンロードした画像解析結果の管理を容易に行うことができる。
【0088】
例えば、ダーモスコープで撮影した際に入力した患者IDなどの被写体の識別子で分類されることで、例えば、同じ患者の解析結果の履歴を一覧で表示することができる。このため、例えば、各患者の病気の進行や治療の成果などを容易に確認することができる。
【0089】
また、システム1では、解析前後の画像ファイル(画像ファイルF1、解析結果ファイルA1)で同じメタデータが引き継がれ、画像管理アプリケーション11によって同じグループに分類される。このため、解析前後の画像ファイルを比較して種々の検討を容易に行うことができる。また、解析前後の画像ファイルが対となって表示されるため、解析が行われていない画像データの特定も容易に行うことができる。
【0090】
上述した実施形態は、発明の理解を容易にするために具体例を示したものであり、本発明は上述した実施形態に限定されるものではなく、上述の実施形態の各種変形形態および代替形態を包含するものとして理解されるべきである。例えば、上述した実施形態は、その趣旨および範囲を逸脱しない範囲で構成要素を変形して具体化できることが理解されよう。また、上述した実施形態に開示されている複数の構成要素を適宜組み合わせることにより、種々の実施形態が実施され得ることが理解されよう。更には、実施形態に示される全構成要素からいくつかの構成要素を削除して、または実施形態に示される構成要素にいくつかの構成要素を追加して種々の実施形態が実施され得ることが当業者には理解されよう。即ち、プログラム、サーバ装置、クライアント装置、システム、サーバ装置により実施される方法、クライアント装置により実施される方法は、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。
【0091】
図11は、上述した実施形態に係るシステムで動作するアプリケーション間のシーケンス図の変形例である。例えば、
図5に示すシーケンス図の領域M1内の処理(ステップS2からステップS5)の代わりに、
図11に示す処理(ステップS21からステップS24)が行われてもよい。
【0092】
図11に示すように、画像管理アプリケーション11または常駐アプリケーション12で認証情報を取得する代わりに、Webブラウザ13の設定がそれを許す場合には、Webブラウザ13が起動後にWebアプリケーション21のURLと関連付けてWebブラウザ13に登録されている認証情報を読み出すことで、認証情報を取得してもよい。
【0093】
図12は、上述した実施形態に係るシステムで動作するアプリケーション間のシーケンス図の別の変形例である。例えば、
図5に示すシーケンス図の領域M2内の処理(ステップS4からステップS10)の代わりに、
図12に示す処理(ステップS31からステップS38)が行われてもよい。
【0094】
図12に示すように、Webブラウザ13が画像ファイルをアップロードする代わりに、画像管理アプリケーション11または常駐アプリケーション12が任意のファイル転送プロトコルで画像ファイルをアップロードしてもよい。また、画像ファイルをWebブラウザ13に画像確認ページP5が表示される前にアップロードしてもよく、画像確認ページP5が表示される前にアップロードされた画像ファイルを画像解析に利用してもよい。この場合、画像確認ページP5を含むレスポンスに画像ファイルそのものが含まれてもよい。
【0095】
これにより、たとえ画像確認ページP5で確認した画像データがその後クライアント装置10上で編集されてしまった場合であっても、画像確認ページP5で確認した画像データを画像解析することができる。
【0096】
図13は、上述した実施形態に係るシステムで動作するアプリケーション間のシーケンス図のさらに別の変形例である。例えば、
図5に示すシーケンス図の領域M3内の処理(ステップS5からステップS10)の代わりに、
図13に示す処理(ステップS41からステップS46)が行われてもよい。
【0097】
図13に示すように、Webブラウザ13が画像解析実行指示の入力後に画像ファイルをアップロードする代わりに、Webブラウザ13が画像解析実行指示の入力前に画像ファイルをアップロードしてもよい。より具体的には、利用者が画像ファイルを画像管理アプリケーション11上で選択して画像管理アプリケーション11経由でWebブラウザ13を起動した際に、画像確認ページP5を表示する前にWebブラウザ13が画像ファイルをアップロードしてもよい。
【0098】
この場合も
図12に示す処理を行った場合と同様に、画像確認ページP5で確認した画像データを確実に画像解析することができる。
【0099】
クライアント装置10とサーバ装置20のハードウェア構成は特に限定しない。サーバ装置20は、
図2では単一の装置として図示されているが、複数の装置から構成されてもよい。クライアント装置10とサーバ装置20は、それぞれプロセッサとメモリを備えたコンピュータであればよく、例えば、
図14に示す構成を有してもよい。クライアント装置10、サーバ装置20が有する上述した機能的構成は、
図14に示すコンピュータ100のプロセッサ101がメモリ102上のプログラム102aを実行することで実現されてもよい。
【0100】
プロセッサ101は、特に限定しないが、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)などであってもよい。また、プロセッサは、FPGA(Field-Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)などのハードウェア回路を含んでもよい。
【0101】
メモリ102は、特に限定しないが、RAM(Random Access Memory)、ROM(Read Only Memory)、SSD(Solid State Drive)などの半導体メモリであってもよく、HDD(Hard Disk Drive)などの磁気記憶装置であってもよく、光記憶装置であってもよい。メモリ102には、上述した処理を実行するためのプログラム102aや各種データ102bが記憶されている。
【0102】
入力インタフェース103は、タッチパネルやキーボードなどに接続されている。また、入力インタフェース103は、マイクなどの音声入力装置に接続されてもよい。出力インタフェース104は、表示装置などに接続されている。表示装置は、コンピュータ100が有する表示装置であってもよい。通信インタフェース105は、例えば、ネットワーク30を介してコンピュータとデータをやり取りする。
【0103】
上述した実施形態では、画像ファイル、ボタン、リンクを選択する操作として、表示画面内のポインタを所定の位置に移動させてマウスをクリックする操作を例示したが、これらの選択操作は、特定の操作に限定されない。クライアント装置10がタッチパネルディスプレイを備える場合、これらの操作は、表示画面をタップする操作であってもよい。
【符号の説明】
【0104】
1 :システム
10、10a、10b :クライアント装置
11 :画像管理アプリケーション
12 :常駐アプリケーション
13 :Webブラウザ
20 :サーバ装置
21 :Webアプリケーション
30 :ネットワーク
40 :コンテキストメニュー
41 :メニューボタン
111、121 :Webブラウザ制御部
113 :分類部
114 :表示制御部
211 :認証部
212 :出力部
213 :解析部
214 :ファイル作成部
A1 :解析結果ファイル
F、F1 :画像ファイル
P1 :トップページ
P2 :会員登録ページ
P3 :会員ページ
P4 :画像選択ページ
P5 :画像確認ページ
P6 :画像解析ページ
P7 :解析結果ページ