(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025021418
(43)【公開日】2025-02-13
(54)【発明の名称】遠隔医療支援システム及びプログラム
(51)【国際特許分類】
G16H 40/67 20180101AFI20250205BHJP
H04N 7/18 20060101ALI20250205BHJP
G16H 20/40 20180101ALI20250205BHJP
G16H 30/20 20180101ALI20250205BHJP
G16H 80/00 20180101ALI20250205BHJP
【FI】
G16H40/67
H04N7/18 U
G16H20/40
G16H30/20
G16H80/00
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2024085373
(22)【出願日】2024-05-27
(31)【優先権主張番号】P 2023124139
(32)【優先日】2023-07-31
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】397059962
【氏名又は名称】株式会社ベーシック
(74)【代理人】
【識別番号】100093104
【弁理士】
【氏名又は名称】船津 暢宏
(72)【発明者】
【氏名】小林 裕作
(72)【発明者】
【氏名】名倉 航太郎
【テーマコード(参考)】
5C054
5L099
【Fターム(参考)】
5C054CA04
5C054CC02
5C054GB02
5C054GD05
5C054GD06
5C054HA12
5L099AA04
5L099AA26
(57)【要約】
【課題】 施術中の患者の映像をタイムリーに録画してクラウド上にアップロードして作業を効率化し、離れた場所にいる熟練医師が録画された映像を参照し易くする遠隔医療支援システム及びプログラムを提供する。
【解決手段】 送信装置1が、撮影開始を発生音又は表示されるアイコンの変化、若しくはその両方で検出すると、特定時間録画を行い、録画した映像データを映像処理サーバ7に送信し、映像処理サーバ7がアップロードされた映像データをストレージ3に記憶し、熟練医師用端末4にアップロードされた映像データをサムネイル表示させ、選択された映像データを表示して指示を入力可能とし、執刀医師用端末5に熟練医師用端末4で選択された映像データと指示を表示させる遠隔医療支援システム及びプログラムである。
【選択図】
図1
【特許請求の範囲】
【請求項1】
撮影された映像を録画してクラウドに映像データをアップロードする送信装置と、
前記録画された映像データを表示して指示を入力する遠隔地の熟練医師用端末と、
前記熟練医師用端末からの指示を表示する執刀医師用端末と、を有する遠隔医療支援システムであって、
前記アップロードされた録画の映像データをストレージに記憶する映像処理サーバを備え、
前記送信装置は、撮影開始を検出すると、特定時間録画を行い、録画した映像データをクラウドにアップロードし、
前記映像処理サーバは、前記熟練医師用端末で、アップロードされた映像データがサムネイル表示され、選択された映像データがダウンロードされて表示され、指示が入力されると、前記選択された映像データと前記指示を執刀医師用端末に表示させることを特徴とする遠隔医療支援システム。
【請求項2】
前記映像処理サーバは、前記熟練医師用端末で選択された映像データが再生、停止及びコマ送り表示され、指示が入力装置で入力されると、当該映像データと当該指示を前記執刀医師用端末に送信して表示させることを特徴とする請求項1記載の遠隔医療支援システム。
【請求項3】
前記送信装置は、撮影開始を撮影装置が発生する音により撮影開始を検出することを特徴とする請求項1又は2記載の遠隔医療支援システム。
【請求項4】
前記送信装置は、撮影開始を撮影装置の表示部に表示されるアイコンの変化により撮影開始を検出することを特徴とする請求項1又は2記載の遠隔医療支援システム。
【請求項5】
遠隔医療支援システムの映像処理サーバで動作するプログラムであって、
前記映像処理サーバを、
撮影開始を検出して特定時間録画を行い、録画した映像データがクラウドにアップロードされると、前記映像データをストレージに記憶させ、
前記熟練医師用端末で、アップロードされた映像データがサムネイル表示され、選択された映像データがダウンロードされて表示され、指示が入力されると、前記選択された映像データと前記指示を執刀医師用端末に表示させるよう機能させることを特徴とするプログラム。
【請求項6】
前記映像処理サーバを、前記熟練医師用端末で選択された映像データを再生、停止及びコマ送り表示され、指示が入力装置で入力されると、当該映像データと当該指示を前記執刀医師用端末に送信して表示させるよう機能させることを特徴とする請求項5記載のプログラム。
【請求項7】
前記映像処理サーバを、前記送信装置で、撮影開始を撮影装置が発生する音により撮影開始を検出してアップロードされた映像データをストレージに記憶させるよう機能させることを特徴とする請求項5又は6記載のプログラム。
【請求項8】
前記映像処理サーバを、前記送信装置で、撮影開始を撮影装置の表示部に表示されるアイコンの変化により撮影開始を検出してアップロードされた映像データをストレージに記憶させるよう機能させることを特徴とする請求項5又は6記載のプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、遠隔医療支援システムに係り、特に、映像の録画とアップロードを自動化し、離れた場所にいる熟練医師の利便性を向上させる遠隔医療支援システム及びプログラムに関する。
【背景技術】
【0002】
[従来の技術]
従来の遠隔医療支援システムには、施術室の映像を遠隔地の熟練医師の端末にリアルタイムで配信して、熟練医師からのアドバイスを受けるものがあった。
【0003】
[関連技術]
尚、関連する先行技術文献には、特表2016-502881号公報「洗浄によってトリガされる撮像のためのシステムおよび方法」(特許文献1)、特許第4881767号公報「放射線透視撮影装置及びその作動方法」(特許文献2)、特許第6948043号公報「医療映像システム及び医療映像処理装置」(特許文献3)がある。
【0004】
特許文献1には、透明な生理食塩水又は放射線不透過性染料の流入等の洗浄を映像撮影のトリガとすることが示されている。
【0005】
特許文献2には、被写体内に挿入された処理用器具の位置に基づき、設定された放射線照射条件に従い、設定された照射範囲で放射線画像の撮影を行うことが示されている。
【0006】
特許文献3には、医療映像の解像度が変化したことをトリガに様々の処理を行い、解像度の変化によって医療映像を録画することが示されている。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特表2016-502881号公報
【特許文献2】特許第4881767号公報
【特許文献3】特許第6948043号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、上記従来の遠隔医療支援システムでは、短時間録画した施術中の患者の映像をクラウド上にアップロードする作業は、操作担当者の手作業で行う必要があり、その作業が煩雑であって、リモート支援に関する作業を行う余裕がないため、その機能を利用できず、また、熟練医師が、録画した映像をリモートで利便性よく操作できるものとはなっていないという問題点があった。
【0009】
尚、特許文献1~3には、施術中の患者の映像を短時間録画してクラウド上に自動的にアップロードして作業を簡略化して、アップロードされた画像を離れた場所にいる熟練医師が利用し易くして熟練医師の利便性を向上させる構成についての記載がない。
【0010】
本発明は上記実状に鑑みて為されたもので、施術中の患者の映像をタイムリーに短時間録画してクラウド上にアップロードして作業を効率化し、離れた場所にいる熟練医師が録画された映像を利用し易くする遠隔医療支援システム及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0011】
上記従来例の問題点を解決するための本発明は、撮影された映像を録画してクラウドに映像データをアップロードする送信装置と、録画された映像データを表示して指示を入力する遠隔地の熟練医師用端末と、熟練医師用端末からの指示を表示する執刀医師用端末と、を有する遠隔医療支援システムであって、アップロードされた録画の映像データをストレージに記憶する映像処理サーバを備え、送信装置が、撮影開始を検出すると、特定時間録画を行い、録画した映像データをクラウドにアップロードし、映像処理サーバが、熟練医師用端末で、アップロードされた映像データがサムネイル表示され、選択された映像データがダウンロードされて表示され、指示が入力されると、選択された映像データと指示を執刀医師用端末に表示させることを特徴とする。
【0012】
本発明は、上記遠隔医療支援システムにおいて、映像処理サーバが、熟練医師用端末で選択された映像データを再生、停止及びコマ送り表示され、指示が入力装置で入力されると、当該映像データと当該指示を執刀医師用端末に送信して表示させることを特徴とする。
【0013】
本発明は、上記遠隔医療支援システムにおいて、送信装置が、撮影開始を撮影装置が発生する音により撮影開始を検出することを特徴とする。
【0014】
本発明は、上記遠隔医療支援システムにおいて、送信装置が、撮影開始を撮影装置の表示部に表示されるアイコンの変化により撮影開始を検出することを特徴とする。
【0015】
本発明は、遠隔医療支援システムの映像処理サーバで動作するプログラムであって、映像処理サーバを、撮影開始を検出して特定時間録画を行い、録画した映像データがクラウドにアップロードされると、映像データをストレージに記憶させ、熟練医師用端末で、アップロードされた映像データがサムネイル表示され、選択された映像データがダウンロードされて表示され、指示が入力されると、選択された映像データと指示を執刀医師用端末に表示させるよう機能させることを特徴とする。
【0016】
本発明は、上記プログラムにおいて、映像処理サーバを、熟練医師用端末で選択された映像データが再生、停止及びコマ送り表示させ、指示が入力装置で入力されると、当該映像データと当該指示を執刀医師用端末に送信して表示させるよう機能させることを特徴とする。
【0017】
本発明は、上記プログラムにおいて、映像処理サーバを、送信装置で、撮影開始を撮影装置が発生する音により撮影開始を検出してアップロードされた映像データをストレージに記憶させるよう機能させることを特徴とする。
【0018】
本発明は、上記プログラムにおいて、映像処理サーバを、送信装置で、撮影開始を撮影装置の表示部に表示されるアイコンの変化により撮影開始を検出してアップロードされた映像データをストレージに記憶させるよう機能させることを特徴とする。
【発明の効果】
【0019】
本発明によれば、アップロードされた録画の映像データをストレージに記憶する映像処理サーバを備え、送信装置が、撮影開始を検出すると、特定時間録画を行い、録画した映像データをクラウドにアップロードし、映像処理サーバが、熟練医師用端末で、アップロードされた映像データがサムネイル表示され、選択された映像データがダウンロードされて表示され、指示が入力されると、選択された映像データと指示を執刀医師用端末に表示させる遠隔医療支援システムとしているので、撮影された映像が自動で録画されて映像処理サーバによりクラウドのストレージにアップロードされ、作業効率を向上させると共に、熟練医師用端末でアップロードされた映像データを利便性よく表示して指示を入力でき、執刀医師とのコミュニケーションを向上させることができる効果がある。
【0020】
本発明によれば、映像処理サーバを、撮影開始を検出して特定時間録画を行い、録画した映像データがクラウドにアップロードされると、映像データをストレージに記憶させ、熟練医師用端末で、アップロードされた映像データがサムネイル表示され、選択された映像データがダウンロードされて表示され、指示が入力されると、選択された映像データと指示を執刀医師用端末に表示させるよう機能させるプログラムとしているので、撮影された映像が自動で録画されて映像処理サーバによりクラウドのストレージにアップロードされ、作業効率を向上させると共に、熟練医師用端末でアップロードされた映像データを利便性よく表示して指示を入力でき、執刀医師とのコミュニケーションを向上させることができる効果がある。
【図面の簡単な説明】
【0021】
【
図3】熟練医師用端末で表示されるログイン後の表示画面例の概略図である。
【
図4】熟練医師用端末で表示されるサムネイル画像の表示画面例の概略図である。
【発明を実施するための形態】
【0022】
本発明の実施の形態について図面を参照しながら説明する。
[実施の形態の概要]
本発明の実施の形態に係る遠隔医療支援システム(本システム)は、撮影された映像を録画してクラウドにアップロードする送信装置と、アップロードされた映像データをストレージに記憶する映像処理サーバと、撮影場所から離れた場所にあって録画された映像データを表示する熟練医師用端末と、熟練医師用端末からの指示を表示する執刀医師用端末とを有し、送信装置が、撮影開始を発生音又は表示されるアイコンの変化、若しくはその両方で検出すると、特定時間録画を行い、録画した映像データを映像処理サーバに送信し、熟練医師用端末が、アップロードされた映像データをサムネイル表示し、選択された映像データを表示して指示を入力可能とし、映像処理サーバが、執刀医師用端末に熟練医師用端末で選択された映像データと指示を表示させるものであり、撮影された映像が自動で録画されて映像処理サーバによりクラウドのストレージにアップロードされ、作業効率を向上させると共に、熟練医師用端末でアップロードされた映像データを利便性よく表示して指示を入力でき、執刀医師用端末と容易にコミュニケーションできるものである。
【0023】
[本システム:
図1]
本システムについて
図1を参照しながら説明する。
図1は、本システムの構成概略図である。
本システムは、
図1に示すように、送信装置1と、ネットワーク(クラウド)2と、ストレージ3と、熟練医師用端末4と、執刀医師用端末5と、映像処理サーバ7とを有している。
配信装置1,ストレージ3、熟練医師用端末4、執刀医師用端末5及び映像処理サーバ7は、ネットワーク2に接続し、送信装置1は、後述する撮影装置6の近くに設置されている。
【0024】
[本システムの各部]
本システムの各部について具体的に説明する。
[送信装置1]
送信装置1は、制御部11と、記憶部12と、インタフェース部13と、カメラ14と、マイク15とを備え、記憶部12に記憶された処理プログラムを制御部11で実行することで、撮影装置6の表示部61に表示された映像をカメラ14で撮影して自動録画し、クラウド2に映像データをアップロードする。
【0025】
具体的には、送信装置1は、撮影装置6のスピーカ62が発生する音をマイク15で検出し、それをトリガに特定時間録画を行う。例えば、血管造影時に録画を行う場合、音は、撮影装置6が放射線を照射する警告音で、音量が特定のしきい値を超え、周波数が特定の範囲内である場合に、警告音を検出するものである。
【0026】
また、送信装置1は、撮影装置6の表示部61に放射線が照射されていることを示すアイコンが変化するため、そのアイコンの変化をカメラ14で撮影し、アイコンの変化をトリガに特定時間録画を行う。
尚、アイコンの変化については、人工知能(Artificial Intelligence:AI)に学習させて、アイコン変化の精度を向上させるようにしてもよい。
【0027】
尚、送信装置1での録画の開始は、発生音の検出又はアイコンの変化のいずれか一方で行ってもよいし、発生音とアイコンの変化の両方を検出して行うようにしてもよい。
また、警告音又はアイコンの変化を検出して録画を開始して特定時間録画を行うようにしているが、警告音が発生している間だけ、または、アイコンの変化している間だけ、若しくは、警告音及びアイコン変化の両方の発生している間だけ録画を行うようにしてもよい。
【0028】
また、上記送信装置1は、マイク15で撮影装置6のスピーカ62から音を収集していたが、撮影装置6の音出力の端子とライン接続して音データを入力してもよく、また、カメラ14で撮影装置6の表示部61に表示される映像を録画していたが、撮影装置6の映像出力端子とライン接続して映像データを入力するようにしてもよい。
更に、撮影装置6の映像出力端子と表示部61に映像入力端子とを接続するラインの途中に分配器を設置し、当該分配器から映像データを分岐させて取得するようにしてもよい。
【0029】
[ネットワーク(クラウド)2]
ネットワーク(クラウド)2は、インターネットを想定しており、録画された映像データは暗号化されてやり取りされる。
【0030】
[映像処理サーバ7]
映像処理サーバ7は、ネットワーク2に接続するWebサーバで、制御部71と、記憶部72と、インタフェース部73とを備え、記憶部72に記憶された処理プログラムを制御部71で実行することにより、以下の動作を実行するものである。
実行される機能の実現手段としては、アップロードされた映像データをストレージ3に記憶する記憶手段と、熟練医師用端末4にサムネイル画像を提供する提供手段と、選択されたサムネイル画像のダウンロードを行うダウンロード手段と、熟練医師用端末4に表示された映像データと指示を執刀医用端末5に送信して共有表示させる共有手段と、録画中のライブ映像のデータを熟練試使用端末4と執刀医師用端末5に配信する配信手段とを備えている。
【0031】
映像処理サーバ7は、記憶手段により、送信装置1からアップロードされた映像データをストレージ3に格納する。
また、映像処理サーバ7は、提供手段により、熟練医師用端末4からログインされると、アクセス可能な録画データのサムネイル画像を提供し、サムネイル画像が選択されると、ダウンロード手段により、当該画像の映像データをダウンロードさせる。
【0032】
そして、映像処理サーバ7は、共有手段により、熟練医師用端末4で表示されている映像データを執刀医師用端末5に送信し、熟練医師用端末4からのタッチペン等による指示も当該映像データ上に表示されるように執刀医師用端末5に送信する。
更に、映像処理サーバ7は、配信手段により、ライブ映像のデータを熟練試使用端末4と執刀医師用端末5に配信し、両者で共有できるようになっている。
【0033】
[ストレージ3]
ストレージ3は、ネットワーク2に接続されており、映像処理サーバ7によって、送信装置1からアップロードされた映像データを記憶する記憶装置である。
【0034】
[熟練医師用端末4]
熟練医師用端末4は、遠隔地にいる熟練医師が映像処理サーバ7にアクセスし、アップロードされた映像データを表示して、施術現場の執刀医師用端末5に指示を入力する。
尚、熟練医師用端末4は、タブレット又はパーソナルコンピュータ(PC)を想定しており、タブレットの場合は、タッチパネルに指又はタッチペンで指示を入力し、PCの場合は、表示部の表示画面にマウス等で指示を入力するものである。
【0035】
具体的には、熟練医師用端末4は、映像処理サーバ7にアクセスしてログインし、熟練医師がアクセス可能な映像のタイトルが表示され、それを選択すると表示部にサムネイル画像が表示される。
【0036】
そして、熟練医師用端末4は、サムネイル画像を選択すると、その画像に対応する映像データをダウンロードして表示部に表示する。表示された映像データは、再生、停止、コマ送りの表示でき、ズーム、パンニング等の操作を行うことができ、更に、タッチペン又はマウス等の入力装置で指示を入力でき、またマイクで音声による指示も入力できるようになっている。
尚、ズーム(zoom)は、撮影対象物の画像を拡大、縮小することであり、パンニング(panning)は、カメラの位置を変えないでカメラの向きを左右に振り広い場面を写すことである。
【0037】
[執刀医師用端末5]
執刀医師用端末5は、施術現場に設置され、ネットワーク2に接続し、映像処理サーバ7によって、熟練医師用端末4に表示された映像データと指示を表示し、熟練医師用端末4からの音声を出力する。
また、執刀医師用端末5は、熟練医師用端末4で録画中のライブ映像のデータを表示している場合には、熟練医師用端末4の表示画面と同様に録画中のライブ映像のデータも表示して共有するようにしている。
【0038】
[撮影装置6]
撮影装置6は、血管造影時の血管の映像を撮影して録画し、表示部61に撮影映像を表示するもので、その表示された映像が送信装置1のカメラ14で撮影され、撮影画像として送信装置1に取り込まれる。
また、撮影装置6は、撮影時に放射線を照射する際に、警告音をスピーカ62から発生し、表示部61に非撮影のアイコンから撮影中のアイコンに変化させるものである。
【0039】
撮影装置6は、本システムの構成の一部ではなく、基本的には本システムは撮影装置6に影響を及ぼすことがなく、その表示画像及び出力音を利用するものであるから、本システムは、特定の撮影装置6に拘束されることなく、様々な撮影装置に適用でき、汎用性があるものである。
【0040】
[本システムの処理:
図2~4]
次に、本システムの処理について
図2~4を参照しながら説明する。
図2は、本システムの処理のフロー図であり、
図3は、熟練医師用端末で表示されるログイン後の表示画面例の概略図であり、
図4は、熟練医師用端末で表示されるサムネイル画像の表示画面例の概略図である。
【0041】
本システムでは、
図2に示すように、送信装置1は、撮影装置6が発生させる警告音又はアイコンの変化を検出すると(S1)、撮影装置6が表示部61に表示する撮影映像の録画を開始してクラウド2にアップロードする(S2)。
【0042】
アップロードされた映像データは、映像処理サーバ7が、ストレージ3に記憶する(S3)。これにより、映像データのアップロードの作業を自動化して効率化できるものである。
【0043】
そして、映像処理サーバ7は、離れた場所にいる熟練医師用端末4からログインが為されると、
図3に示すように、表示可能な映像のタイトルを表示させ、タイトルが選択されると、
図4に示すように、関連する録画された映像データのサムネイル画像が表示部に表示される(S4)。
尚、
図3のタイトル表示は、当日の施術に関するものが表示され、指定された時間になると、映像データが表示可能となるものである。
【0044】
熟練医師用端末4で、サムネイル画像が選択されると、映像処理サーバ7は、選択された映像データを熟練医師用端末4にダウンロードする(S5)。
そして、熟練医師用端末4に表示され、コマ送り等の操作がなされた映像データを、映像処理サーバ7が、執刀医師用端末5に送信して、執刀医師用端末5の表示部に表示させる(S6)。
【0045】
そして、熟練医師用端末4によりタッチペン等で指示が入力されると、映像処理サーバ7は、当該指示の画像又は音声を執刀医師用端末5に送信し、指示の画像の場合は、執刀医師用端末5の表示部に表示された映像に重ねて表示し、音声は執刀医師用端末5から音声出力させる(S7)。
【0046】
映像処理サーバ7は、熟練医師用端末4に表示された映像データと指示を執刀医師用端末5に表示させるようにしているので、熟練医師と執刀医師とはそれぞれの端末を参照しながらコミュニケーションを効果的に図ることができるものである。
【0047】
また、熟練医師用端末4では、短時間に録画された映像データをサムネイル画像で認識して選択でき、その映像データをダウンロードすることで、映像データの再生、停止、コマ送り、ズーム等が可能となり、タッチペン等で指示の図を入力でき、音声入力も可能としているので、熟練医師用端末4での操作性及び利便性を向上させることができる。
【0048】
[実施の形態の効果]
本システムによれば、撮影された映像を録画してクラウド2にアップロードする送信装置1と、アップロードされた映像データをストレージ3に記憶する映像処理サーバ7と、撮影場所から離れた場所にあって録画された映像データを表示する熟練医師用端末4と、熟練医師用端末4からの指示を表示する執刀医師用端末5とを有し、送信装置1が、撮影開始を発生音又は表示されるアイコンの変化、若しくはその両方で検出すると、特定時間録画を行い、録画した映像データを映像処理サーバ7に送信し、熟練医師用端末4が、アップロードされた映像データをサムネイル表示し、選択された映像データを表示して指示を入力可能とし、映像処理サーバ7が、執刀医師用端末5に熟練医師用端末4で選択された映像データと指示を表示させるものであり、撮影された映像が自動で録画されて映像処理サーバ7によりクラウド2にアップロードされ、作業効率を向上させることができると共に、熟練医師用端末4で映像データを利便性よく表示して指示を入力でき、執刀医師と容易にコミュニケーションを図ることができる効果がある。
【産業上の利用可能性】
【0049】
本発明は、施術中の患者の映像をタイムリーに録画してクラウド上にアップロードして作業を効率化し、離れた場所にいる熟練医師が録画された映像を参照し易くする遠隔医療支援システム及びプログラムに好適である。
【符号の説明】
【0050】
1…送信装置、 2…ネットワーク(クラウド)、 3…ストレージ、 4…熟練医師用端末、 5…執刀医師用端末、 6…撮影装置、 7…映像処理サーバ、 11…制御部、 12…記憶部、 13…インタフェース部、 14…カメラ、 15…マイク、 61…表示部、 62…スピーカ