【実施例】
【0023】
<遠隔病理診断システムの概要>
まず、本実施例に係る遠隔病理診断システムの概要について説明する。
図1は、本実施例に係る遠隔病理診断システムの概要を説明するための説明図である。
【0024】
図1に示すように、この遠隔病理診断システムは、病理室100内の転送元病理画像送受信装置20と、病理医室200内の転送先病理画像送受信装置30とがネットワークNに接続される。また、病理室100内の病理画像生成装置10は、転送元病理画像送受信装置20に接続される。ここでは、手術室300及び病理室100は同じ病院施設内に配置され、病理医室200は、かかる病院施設から離れた遠隔地に所在するものとする。
【0025】
手術室300内では、例えば外科医M1が癌の摘出手術を行っており、外科医M1は、癌細胞が残っているか否かを診断するために、生体からの断端を病理検体101として採取し(ステップS1)、この病理検体101を病理室100に移送する(ステップS2)。
【0026】
病理室100内に移送された病理検体101は、術中迅速病理診断の対象となる。迅速な病理診断を行うために、パラフィン包埋は行わず、例えば「−30℃」程度に凍らせた後、スライスした切片が作成される。この切片の作成は、臨床検査技師M2が行う。臨床検査技師M2は、さらにこの切片をスライドガラスに貼った病理標本102を作成する。通常、病理標本102の作成は、病理検体101を一晩かけてパラフィン漬けし、細胞の中や周囲の組織間隙を満たしている水分を全てパラフィンで置換するため、時間がかかる。術中迅速病理診断では、上記のように病理検体を凍らせて迅速に病理標本102を作成する。その後、臨床検査技師M2は、病理標本102を病理画像生成装置10にセットする。
【0027】
病理画像生成装置10は、セットされた病理標本102のデジタル病理画像の生成を行う(ステップS3)。病理画像生成装置10は、デジタル病理画像を生成する場合に、撮像対象の全体画像を所定のタイル配列パターンで複数の分割領域に分割し、該所定のタイル配列パターンに対応して各分割領域を順次連続撮像する。転送元病理画像送受信装置20は、各分割領域の分割領域画像の撮像後に前回の分割領域画像を転送先病理画像送受信装置30に転送する(ステップS4)。なお、病理画像生成装置10による分割領域画像の撮像と転送元病理画像送受信装置20による分割領域画像の転送とは並列して行なわれる。この結果、デジタル病理画像の撮像開始から転送終了までの時間は、分割領域画像の全撮像時間に、1つの分割領域画像の転送時間を加えたものとなり、短時間でデジタル病理画像の生成及び転送が完了する。なお、病理標本の撮像時間は、病理標本の物理面積によって変動するが、一般的に、物理面積が小さい場合には数十秒程度であり、物理面積が大きい場合には数分程度となる。
【0028】
転送先病理画像送受信装置30は、転送された各分割領域画像を所定のタイル配列パターンに基づいて全体画像を合成して表示する(ステップS5)。病理医室200内の病理医M3は、合成された全体画像を観察して病理診断を行い、病理診断結果通知を病理室100の転送元病理画像送受信装置20に通知する(ステップS6)。なお、病理医M3は、病理診断に際して、転送元病理画像送受信装置20から、さらに必要となる病理標本102の作成や病理画像の撮像及び転送を転送元病理画像送受信装置20側に要求することができる。
【0029】
転送元病理画像送受信装置20は、通知された病理診断結果を出力する(ステップS7)。そして、臨床検査技師M2は、出力された病理診断結果を手術室300内の外科医M1に通知する(ステップS8)。これにより、手術室300内の外科医M1は、癌細胞が残っているか否かを知ることができ、この結果をもとにその後の手術処置方針の決定の参考にする。
【0030】
このように、本実施例に係る遠隔病理診断システムでは、病理画像生成装置10が病理画像の撮像を行う場合に、撮像対象の全体画像を所定のタイル配列パターンで複数の分割領域に分割し、該所定のタイル配列パターンに対応して各分割領域を順次連続撮像し、転送元病理画像送受信装置20が各分割領域の分割領域画像の撮像後に前回の分割領域画像を転送先病理画像送受信装置30に転送し、分割領域画像の撮像と転送とを並列して行うようにしているので、デジタル病理画像の撮像及び転送を短時間で行うことができ、結果的に遠隔病理診断を迅速に行うことができる。
【0031】
<病理画像生成装置の構成>
次に、
図1に示した病理画像生成装置10の構成について説明する。
図2は、
図1に示した病理画像生成装置10及び転送元病理画像送受信装置20の構成を示す機能ブロック図である。病理画像生成装置10は、ステージ103上に載置された病理標本102を観察する光学顕微鏡105と、光学顕微鏡105により観察される病理画像を撮像する撮像部106とを有する。
【0032】
撮像部106は、光学顕微鏡105を介して1画素単位でスキャンしてデジタル病理画像を撮像する。ステージ駆動部104は、所定のタイル配列パターンに対応して、光学顕微鏡105の観察方向に垂直な平面内にステージ103を移動させる。病理画像生成装置10は、さらに入力部110、出力部111、記憶部113及び制御部114を有する。
【0033】
入力部110は、キーボード又はマウス等の入力デバイスであり、出力部111は、液晶パネル等の表示デバイスである。なお、入力部110は、音声入力及び映像入力も可能であり、マイクロフォンやWEBカメラも備えている。また、出力部111は、音声出力及び映像出力も可能であり、スピーカーも備えている。
【0034】
記憶部113は、ハードディスク装置や不揮発性メモリ等からなる記憶デバイスであり、タイルパターン情報D1を記憶する。
【0035】
制御部114は、病理画像生成装置10の全体を制御する制御部であり、タイルパターン設定制御部121、ステージ制御部122及び撮像制御部123を有する。制御部114は、これらの機能部に対応するプログラムを不揮発性メモリや磁気ディスク装置などの記憶装置に記憶しておき、これらのプログラムをメモリにロードして、CPUで実行することで、対応するプロセスを実行させることになる。
【0036】
タイルパターン設定制御部121は、所定のタイル配列パターンを設定し、タイルパターン情報D1として記憶する処理を行う。タイル配列パターンは、例えば、
図3の上部に示すように、撮像すべき病理画像全体を複数の矩形のタイル(視野ブロック)P1〜P4を所定の順序で配列したタイル配列パターンPである。
図3の上部では、説明の便宜上、大きなタイルP1〜P4としており、病理画像全体を4つの矩形のタイルP1〜P4で4分割している。このタイル配列パターンPは、2×2行列であり、各タイルP1〜P4に対するスキャンによって分割領域画像DA1〜DA4が得られる。各タイルP1〜P4に対するスキャン順序は、P1、P2、P3、P4の順である。
【0037】
ステージ制御部122は、ステージ駆動部104を制御して、設定されたタイルパターン情報D1に応じて、順次各タイルP1〜P4の中央に位置するようにステージ103の位置決めと移動とを繰り返す。
【0038】
撮像制御部123は、ステージ103が位置決めされた状態でスキャンして各タイルP1〜P4に対応する分割領域画像DA1〜DA4を順次取得する。撮像制御部123は、スキャン中の分割領域画像DA1〜DA4を転送元病理画像送受信装置20側に送信する。
【0039】
<転送元病理画像送受信装置の構成>
次に、
図1に示した転送元病理画像送受信装置20の構成について説明する。
図2は、
図1に示した病理画像生成装置10及び転送元病理画像送受信装置20の構成を示す機能ブロック図である。転送元病理画像送受信装置20は、入力部210、出力部211、通信部212、記憶部213及び制御部214を有する。
【0040】
入力部210は、キーボード又はマウス等の入力デバイスであり、出力部211は、液晶パネル等の表示デバイスであり、通信部212は、ネットワークNに接続するための通信インタフェース部である。なお、入力部210は、音声入力及び映像入力も可能であり、マイクロフォンやWEBカメラも備えている。また、出力部211は、音声出力及び映像出力も可能であり、スピーカーも備えている。
【0041】
記憶部213は、ハードディスク装置や不揮発性メモリ等からなる記憶デバイスであり、デジタル病理画像D2、病理診断情報D3及び分割領域画像D2´を記憶する。
【0042】
制御部214は、転送元病理画像送受信装置20の全体を制御する制御部であり、転送制御部221、ファイル形式変換部222及び病理診断結果出力処理部223を有する。制御部214は、これらの機能部に対応するプログラムを不揮発性メモリや磁気ディスク装置などの記憶装置に記憶しておき、これらのプログラムをメモリにロードして、CPUで実行することで、対応するプロセスを実行させることになる。
【0043】
転送制御部221は、各タイルP1〜P4に対応する分割領域画像DA1〜DA4を受け付けて分割領域画像D2´として記憶する。そして、転送制御部221は、各分割領域画像DA1〜DA4の撮像後に前回の分割領域画像を転送先病理画像送受信装置30に転送する。なお、この前回の分割領域画像の転送時に、病理画像生成装置10は、次の分割領域画像の撮像を行っている。すなわち、分割領域画像DA1〜DA4の転送と分割領域画像DA1〜DA4の撮像とが並列処理される。
【0044】
ファイル形式変換部222は、撮像されたデジタル病理画像のファイル形式を所定の形式に変換する処理を行う。例えば、ファイル形式変換部222は、取得されたデジタル病理画像をDICOM(Digital Imaging and Communications in Medicine)形式に変換する。
【0045】
病理診断結果出力処理部223は、転送先病理画像送受信装置30から病理診断結果を受信した場合、この受信した病理診断結果を出力部211から出力させる処理を行う。
【0046】
<分割領域画像の撮像及び転送の並列処理>
図3の下部に示すように、各タイルP1〜P4に対するスキャンは順次行われる。そして、各タイルP1〜P4のスキャンが完了する毎に、撮像された分割領域画像DA1〜DA4が順次転送される。このため、例えばタイルP2に対するスキャン時に分割領域画像DA1を転送するという、並列処理が行われる。この結果、スキャンの開始から病理画像の転送完了までは、各タイルP1〜P4のスキャン時間TSに、1つ(最後)の分割領域画像DA4の転送時間Tαを加えるのみの短い時間TTとなる。
【0047】
ところで、一般的に、分割領域画像の撮像時間は分割領域画像の転送時間よりも大きい。したがって、各分割領域画像の転送間に、分割領域画像を転送しない隙間時間が発生する。例えば、
図4(a)に示すように、タイル配列パターンPが16個のタイルP11〜P26から形成される場合であって、各タイルP11〜P26の撮像時間が各分割領域画像DA11〜DA26の転送時間よりも大きい場合、各分割領域画像DA11〜DA26間に隙間時間が発生する。
【0048】
このような場合に、タイルパターン設定制御部121は、
図4(b)に示すように、各タイルP11〜P26の4個分の大きさをもつ4つのタイルP31〜P34からなるタイル配列パターンに変更することができる。各タイルP31〜P34のスキャン時間は、各タイルP11〜P26の4倍のスキャン時間となるが、各タイルP11〜P26間の位置決め時間及び移動時間が不要となるため、例えば各タイルP11〜P26の3個分程度のスキャン時間に短縮することができる。
図4(b)に示すように、タイルP31〜P34をもつタイル配列パターンの場合の転送完了は時刻tBであり、
図4(a)に示したタイルP11〜P26をもつタイル配列パターンの場合の転送完了の時刻tAとなり、タイルP31〜P34をもつタイル配列パターンの場合は、転送時間がΔt分短くなる。
【0049】
すなわち、タイルパターン設定制御部121は、転送元病理画像送受信装置20側から取得したネットワークNの帯域条件などを考慮して、タイル配列パターンを設定変更することによって、タイルのスキャン時間を任意に変更することができる。すなわち、タイルパターン設定制御部121は、タイル間の相対的移動時間を含めたタイルのスキャン時間と各タイルの分割領域画像の転送時間との大小関係に基づいて、所定のタイル配列パターンのタイルの大きさを変更設定する調整が可能である。この変更設定は、入力部110を介して任意に変更設定してもよいし、自動設定であってもよい。
【0050】
<病理画像生成装置及び転送元病理画像送受信装置の連携によるデジタル病理画像の撮像及び転送の制御処理>
次に、病理画像生成装置10及び転送元病理画像送受信装置20によるデジタル病理画像の撮像及び転送の制御処理手順について説明する。
図5は、病理画像生成装置10及び転送元病理画像送受信装置20によるデジタル病理画像の撮像及び転送の制御処理手順を示すシーケンス図である。
【0051】
図5に示すように、病理画像生成装置10は、病理標本102がステージ103上に載置されたか否かを判定する(ステップS101)。この判定は、図示しないステージ上のセンサの検出結果に基づいて行う。病理標本102がステージ103上に載置されていない場合には(ステップS101;No)、この判定処理を繰り返す。一方、病理標本102がステージ103上に載置されている場合には(ステップS101;Yes)、タイルパターン情報D1から、現在設定されているタイル配列パターンを取得する(ステップS102)。
【0052】
その後、病理画像生成装置10は、ステージ制御部122によるステージ移動を行い、撮像制御部123の制御の下に、撮像部106が最初の分割領域画像を撮像する(ステップS103)。その後、撮像制御部123は、最初の分割領域画像の撮像が終了したか否かを判定する(ステップS104)。最初の分割領域画像の撮像が終了していない場合には(ステップS104;No)、ステップS103に戻って最初の分割領域画像の撮像を継続して行う。一方、最初の分割領域画像の撮像の撮像が終了した場合には(ステップS104;Yes)、最初の分割領域画像の撮像終了通知を転送元病理画像送受信装置20に送信する(ステップS105)。
【0053】
その後、撮像制御部123は、次の分割領域画像を撮像する(ステップS106)。その後、撮像制御部123は、次の分割領域画像の撮像が終了したか否かを判定する(ステップS107)。次の分割領域画像の撮像が終了していない場合には(ステップS107;No)、ステップS106に戻って現在撮像処理中の次の分割領域画像の撮像を継続して行う。一方、次の分割領域画像の撮像の撮像が終了した場合には(ステップS107;Yes)、次の分割領域画像の撮像終了通知を転送元病理画像送受信装置20に送信する(ステップS108)。
【0054】
その後、撮像制御部123は、全分割領域画像の撮像が終了したか否かを判定する(ステップS109)。全分割領域画像の撮像が終了していない場合には(ステップS109;No)、ステップS106に戻って、さらに次の分割領域画像の撮像を行う。一方、全分割領域画像の撮像が終了した場合には(ステップS109;Yes)、全分割領域画像の撮像終了通知(最後の撮像終了通知)を転送元病理画像送受信装置20に送信し(ステップS110)、本処理を終了する。
【0055】
一方、転送元病理画像送受信装置20は、まず、最初の分割領域画像の撮像終了通知が有ったか否かを判定する(ステップS111)。最初の分割領域画像の撮像終了通知が無い場合には(ステップS111;No)、ステップS111の判定処理を繰り返す。これに対し、最初の分割領域画像の撮像終了通知が有った場合には(ステップS111;Yes)、転送制御部221が最初の分割領域画像を転送先病理画像送受信装置30に転送する(ステップS112)。その後、転送元病理画像送受信装置20は、さらに、次の分割領域画像の撮像終了通知が有ったか否かを判定する(ステップS113)。次の分割領域画像の撮像終了通知が無い場合には(ステップS113;No)、ステップS113の判定処理を繰り返す。これに対し、次の分割領域画像の撮像終了通知が有った場合には(ステップS113;Yes)、転送制御部221が次の分割領域画像を転送先病理画像送受信装置30に転送する(ステップS114)。
【0056】
その後、転送元病理画像送受信装置20は、病理画像生成装置10から、最後の撮像終了通知が有ったか否かを判定する(ステップS115)。最後の撮像終了通知が無い場合には(ステップS115;No)、ステップS113に戻り、さらに次の撮像終了通知が有ったか否かを判定する。一方、最後の撮像終了通知が有った場合には(ステップS115;Yes)、本処理を終了する。
【0057】
<転送元病理画像送受信装置による病理診断結果出力処理の制御処理>
次に、転送元病理画像送受信装置20による病理診断結果出力処理の制御処理手順について説明する。
図6は、転送元病理画像送受信装置20による病理診断結果出力処理の制御処理の一例を示すフローチャートである。
【0058】
図6に示すように、転送元病理画像送受信装置20は、病理診断結果の受信であるか否かを判定する(ステップS201)。病理診断結果の受信でない場合には(ステップS201;No)、ステップS201の判定処理を繰り返す。
【0059】
一方、病理診断結果の受信である場合には(ステップS201;Yes)、病理診断結果出力処理部223は、まず、病理診断結果受信の報知出力を行う(ステップS202)。この報知出力を行うのは、外科医M1は手術中であり、外科医M1に病理診断結果通知を迅速に通知するためである。
【0060】
その後、病理診断結果出力処理部223は、通知された病理診断結果を出力部211に表示出力し(ステップS203)、あるいは印刷出力を行って本処理を終了する。
【0061】
<転送先病理画像送受信装置の構成>
次に、
図1に示した転送先病理画像送受信装置30の構成について説明する。
図7は、
図1に示した転送先病理画像送受信装置30の構成を示す機能ブロック図である。転送先病理画像送受信装置30は、入力部310、出力部311、通信部312、記憶部313及び制御部314を有する。
【0062】
入力部310は、キーボード又はマウス等の入力デバイスであり、出力部311は、液晶パネル等の表示デバイスであり、通信部312は、ネットワークNに接続するための通信インタフェース部である。なお、入力部310は、音声入力及び映像入力も可能であり、マイクロフォンやWEBカメラも備えている。また、出力部311は、音声出力及び映像出力も可能であり、スピーカーも備えている。
【0063】
記憶部313は、ハードディスク装置や不揮発性メモリ等からなる記憶デバイスであり、デジタル病理画像D2及び病理診断情報D3を記憶する。
【0064】
制御部314は、転送先病理画像送受信装置30の全体を制御する制御部であり、画像合成部321、表示出力処理部322、遠隔制御接続処理部323、アノテーション付加処理部324及び病理診断結果通知部325を有する。制御部314は、これらの機能部に対応するプログラムを不揮発性メモリや磁気ディスク装置などの記憶装置に記憶しておき、これらのプログラムをメモリにロードして、CPUで実行することで、対応するプロセスを実行させることになる。
【0065】
画像合成部321は、転送された各分割領域画像を所定のタイル配列パターンに基づいて全体画像を合成してデジタル病理画像D2として記憶するとともに出力部311に出力する。病理医M3は、出力部311に表示されたデジタル病理画像D2を観察することによって病理診断を行う。
【0066】
表示出力処理部322は、受信したデジタル病理画像D2のファイル形式を解釈し、解釈結果に基づいて、デジタル病理画像D2が出力部311で出力できるようにデジタル病理画像D2を変換して表示出力する処理を行う。すなわち、表示出力処理部322は、異なるファイル形式のデジタル病理画像D2を受信した場合であっても、全てのデジタル病理画像D2を出力部311で表示出力させる変換処理を行う統一的なビューア機能をもつ。
【0067】
遠隔制御接続処理部323は、病理画像生成装置10を遠隔制御するための接続処理を行う。すなわち、遠隔制御接続処理部323は、病理画像生成装置10に接続し、病理標本102内の所望領域の病理画像を直接撮像して観察する遠隔制御の接続処理を行う。病理医M3は、転送されたデジタル病理画像D2を観察して病理診断を行うが、自ら病理画像生成装置10を遠隔制御して病理画像を直接観察してもよい。いわゆるライブモード観察と呼ばれるものであり、このライブモード観察を併用することによって、病理医M3が診断したい部位を迅速に観察することができる。
【0068】
アノテーション付加処理部324は、デジタル病理画像D2にアノテーションを付加する処理を行う。
【0069】
病理診断結果通知部325は、病理医M3が診断した結果を含む病理診断情報D3を転送元病理画像送受信装置20に通知する。この病理診断情報D3には、デジタル病理画像D2及び病理診断結果が含まれる。この場合、アノテーション付加処理部324によってデジタル病理画像D2にアノテーションを付加することができる。
【0070】
なお、転送先病理画像送受信装置30内に、デジタル病理画像に対する観察画像操作履歴、例えば観察注目点の移動、拡大率の変更などを記録しておき、観察終了後、観察画像操作を再現できる機能を備えるようにしてもよい。
【0071】
<転送先病理画像送受信装置による病理画像受信及び病理診断結果通知の制御処理>
次に、転送先病理画像送受信装置30によるデジタル病理画像受信及び病理診断結果通知の制御処理手順について説明する。
図8は、転送先病理画像送受信装置30によるデジタル病理画像受信及び病理診断結果通知の制御処理手順を示すフローチャートである。
【0072】
図8に示すように、まず、制御部314は、病理画像生成装置10からのデジタル病理画像の受信であるか否かを判定する(ステップS301)。デジタル病理画像の受信である場合には(ステップS301;Yes)、転送された分割領域画像を受信する(ステップS302)。さらに、すべての分割領域画像を受信したか否かを判定する(ステップS303)。すべての分割領域画像を受信していない場合には(ステップS303;No)、次の分割領域画像を受信すべく、ステップS302に移行する。
【0073】
すべての分割領域画像を受信した場合には(ステップS303;Yes)、画像合成部321は、受信した全ての分割領域画像を重複も含めて合成してデジタル病理画像を生成する(ステップS304)。その後、生成したデジタル病理画像を記憶部313にデジタル病理画像D2として記憶し(ステップS305)、本処理を終了する。記憶されたデジタル病理画像D2は、必要に応じて記憶部313から読み出されて表示出力される。病理医M3は、表示出力されたデジタル病理画像を用いて病理診断を行う。
【0074】
一方、デジタル病理画像の受信でない場合には(ステップS301;No)、さらに、病理診断結果の通知であるか否かを判定する(ステップS306)。病理診断結果の通知でない場合には(ステップS306;No)、そのまま本処理を終了する。病理診断結果の通知である場合には(ステップS306;Yes)、病理診断結果通知部325は、病理診断情報D3を転送元病理画像送受信装置20に通知し(ステップS307)、本処理を終了する。
【0075】
なお、上記の実施例において、病理画像生成装置10、転送元病理画像送受信装置20及び転送先病理画像送受信装置30は、すべて音声通信機能及び映像入出力機能を有する。これにより、例えば臨床検査技師M2と病理医M3との間では相互に細かい要求、例えば、病理検体の切り出しや特殊染色の指示などが可能となり、迅速な病理診断に資することになる。
【0076】
また、転送元病理画像送受信装置20と転送先病理画像送受信装置30との間をVPN(Virtual Private Network)で接続してもよい。
【0077】
なお、上記の実施例では、顕微鏡画像を病理画像として説明したが、これに限定されず、内視鏡画像や放射線画像であってもよい。
【0078】
本実施例では、病理画像生成装置10が、病理画像を生成する場合、撮像対象の全体画像を所定のタイル配列パターンで複数の分割領域に分割し、該所定のタイル配列パターンに対応して各分割領域を順次連続撮像し、転送元病理画像送受信装置20が各分割領域の分割領域画像の撮像後に前回の分割領域画像を転送先病理画像送受信装置30に転送する並列処理を行っているので、デジタル病理画像の撮像開始から転送完了までの時間が短くなり、病理診断の迅速化を促進することができる。
【0079】
また、本実施例では、病理画像生成装置10が、転送元病理画像送受信装置20と連携して、分割領域間の相対的移動時間を含めた分割領域の撮像時間と分割領域画像の転送時間との大小関係に基づいて所定のタイル配列パターンの分割領域の大きさを調整するようにしているので、一層、病理画像の撮像開始から転送完了までの時間を短くすることができる。
【0080】
さらに、本実施例では、転送先病理画像送受信装置30が病理画像生成装置10を遠隔制御できるようにしているので、この遠隔制御を併用することによって、さらに病理診断の迅速化を図ることができる。
【0081】
また、病理画像生成装置10及び転送元病理画像送受信装置20と、転送先病理画像送受信装置30との間は、相互に音声及び映像の入出力機能を有するので、相互に意思の疎通が容易になり、病理診断の迅速化を促進するとともに、病理診断結果に対する認識を深めることができる。
【0082】
なお、上記の実施例で図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部又は一部を各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。