【解決手段】指導支援システムは、被写体を撮影する撮影手段を有するウェアラブル端末を含む。指導支援システムは、取得手段と、表示手段と、処理手段と、を備える。取得手段は、被写体に対応する医療情報を取得する。表示手段は、取得手段によって取得された医療情報を表示する。処理手段は、撮影手段によって撮影された画像と、表示手段によって表示された被写体の医療情報とを対応付ける。したがって、指導支援システムにおいては、医療情報の伝達の支援を行うことができる。
前記処理手段は、前記撮影手段によって撮影された画像と、前記表示手段によって表示された前記被写体の医療情報とを対応付けた処理結果を特定のユーザが閲覧可能な記憶手段に記憶することを特徴とする請求項1に記載の指導支援システム。
前記処理手段は、前記撮影手段によって撮影された画像に対して、撮影中に前記表示手段に前記医療情報が表示されたタイミングで、当該医療情報が画像内に表示されるように、前記画像と前記医療情報とを対応付ける、
ことを特徴とする請求項1から5のいずれか1項に記載の指導支援システム。
【発明を実施するための形態】
【0010】
以下、本発明の実施形態について、図面を用いて説明する。
【0011】
[第1実施形態]
[服薬指導支援システムの概要]
図1は、本発明の一実施形態に係る服薬指導支援システムの概要を示す模式図である。
図1において、服薬指導支援システムSは、本発明の指導支援システムを薬局における服薬指導に適用した場合の一例を示すものである。ただし、本発明の指導支援システムは、服薬指導に限られず、医師と患者とにおける診察や診断等、医療情報の伝達支援全般に適用することが可能である。
【0012】
服薬指導支援システムSは、患者に対して処方箋に基づく薬剤を処方する際の情報提供(以下、「服薬指導」という。)を支援するシステムであり、
図1に示すように、情報の提供等を行う薬局端末1と、薬剤師が装着して薬局端末1からの情報の提供等を受ける携帯端末2と、を備える。
【0013】
服薬指導支援システムSでは、携帯端末2において、服薬指導時に、少なくとも患者の薬歴を表示する機能と、薬剤が適切に処方されていない場合(例えば、重複投薬や禁忌の薬剤の処方等)にアラートを表示する機能を有する。
また、服薬指導支援システムSでは、携帯端末2によって服薬指導の状況が動画として記録される機能を有する。
さらに、服薬指導支援システムSでは、服薬指導時に携帯端末2に表示された内容や薬剤師と患者とのやり取り等が表示される動画を生成して、患者等の閲覧に供する機能を有する。
【0014】
本実施形態の薬局端末1は、例えば、据え置き型のPC(Personal Computer)で構成されている。
【0015】
薬局端末1では、患者から受け取った処方箋をスキャンして電子データ化し、電子データ化した処方箋の内容から患者の情報(氏名、性別、年齢及び連絡先等)と、処方される薬剤の情報(添付文書等)とを取得する。
また、薬局端末1では、取得した患者の情報に基づいて、患者の既往歴や薬歴等の情報(以下、「医療情報」という。)を医療情報管理サーバSV1から取得する。
また、薬局端末1では、取得した医療情報のうち、薬歴を携帯端末2に表示させる。
また、薬局端末1では、取得した患者の医療情報から、今回処方する薬剤が適切であるか否かを判定する。判定の結果、薬剤が適切でないと判定された場合には、薬局端末1では、携帯端末2にアラートを表示させる。
また、薬局端末1では、携帯端末2で撮影された動画内に、携帯端末2に表示させた情報を、その情報が表示されたタイミングで表示されるように合成(対応付け)する。薬局端末1は、合成した動画データを公開用サーバSV2にアップロードする。公開用サーバSV2にアップロードされた動画は、患者や薬剤師が閲覧可能な状態となり、患者に事後的に服薬指導を確認させて誤認防止に役立てたり、薬剤師の服薬指導の適否の確認等に利用されたりする。
【0016】
これに対して、本実施形態の携帯端末2は、例えば、メガネ型のウェアラブル端末で構成される。
携帯端末2は、服薬指導時の状況を動画で撮影したり、服薬指導に参考にする情報(患者の薬歴や処方される薬剤へのアラート)を表示したりする。
これにより、携帯端末2によって服薬指導の状況が記録され、薬剤師に対して服薬指導を支援する情報が提供されることになる。
【0017】
図2は、服薬指導における支援形態の具体例を示す模式図である。
服薬指導では、主に、薬剤師が患者と正対して、処方箋等を参照しながら説明等を行う。このため、薬剤師の目線からは、
図2(a)の例に示すように、患者全体が視野に入る状態となっている。服薬指導中に、薬局端末1から情報の提示があった場合には、視界の一部(本実施形態においては、右上部)の表示領域R1に情報が表示されることになる。薬剤師は、表示領域R1に表示された情報を参照しながら、服薬指導を行うことになる。また、表示領域R1は、視界の一部を占めるのみであり、さらに透過的に情報が表示されるために、患者との対話を妨げることなく、薬剤師は表示された情報を参照することがでる。また、表示される情報は、処方箋を電子データ化した後に服薬指導に合わせて自動的に薬局端末1から提示されるために、薬剤師側では、情報を取得する等の操作を必要とすることなく、また、別途表示装置等を参照することがないため、薬剤師は患者と正対した状態で、作業を中断することなく、服薬指導を行うことができる。
【0018】
また、服薬指導を撮影した動画は、
図2(b)に示すように、動画のフレームが撮影されたタイミングと対応付けて、そのタイミングで携帯端末2に表示された情報や、薬剤師の説明や患者とのやり取り等の音声が文字認識された結果が、文字情報として合成される。当該文字情報が合成された動画を閲覧することで、服薬指導時の内容が容易に把握でき、また、薬剤師がどのような情報に基づいて、説明等を行っていたかが明瞭となる。
このため、適切な服薬指導が行われていたかのセルフチェックや第3者チェックが容易になり、また、患者においては服薬指導時の認識漏れ等を確認でき、誤認が防止されて、トラブル等を未然に防ぐことができる。
即ち、服薬指導支援システムSによれば、医療情報の伝達をより適切に支援することが可能となる。
なお、
図2(b)に示す文字情報の表示領域は、
図2(a)と同様に画面の右上に配置したり、あるいは、ユーザが任意に位置を指定したりすることが可能である。
【0019】
[携帯端末の外観構成]
図3は、本発明の一実施形態に係る携帯端末2の外観構成を説明するための模式図で、
図3(a)は、携帯端末2の構成を示す模式図であり、
図3(b)は装着状態を示す模式図である。
【0020】
携帯端末2は、
図3(a)に示すように、眼鏡部2Aと、撮像部16と、入力部17と、出力部18と、を備える。
【0021】
眼鏡部2Aは、フロントフレーム2aと、テンプル2bと、レンズLとから構成される。
【0022】
撮像部16は、装着者の視線と略同一の方向を撮影可能な位置(ここではフロントフレーム2aの右眼側の端部)に設けられており、装着者の視界の画像を撮影する。
入力部17は、装着者と対話者との会話が入力されるマイクを備えている。
【0023】
出力部18は、装着者に対して情報を表示するディスプレイを備えている。出力部18のディスプレイは、レンズLの一方側(ここでは右眼側)に配置され、レンズLと重畳するように、フロントフレーム2aから張り出した位置に配置される。また、出力部18のディスプレイは、透過的な表示体によって構成され、透明な表示領域に情報を画像として表示可能になっている。出力部18のディスプレイに情報を表示すると、携帯端末2の装着者には、ディスプレイを透過して見える景色に、ディスプレイに表示された情報が重なって視認される。即ち、装着者は、視界を妨げることなく、出力部18のディスプレイに表示される情報を確認することができる。
なお、出力部18には、必要な場合に警報音等を発するためのスピーカが備えられている。
【0024】
図3(b)に示すように、携帯端末2では、装着状態においては、装着者(本実施形態においては、薬剤師)の視界を妨げることなく出力部18に情報が表示されると共に、また、装着者の視線方向を撮影することができる。
したがって、装着者である薬剤師は、服薬指導を妨げることなく、患者に関する情報を確認することができる。また、服薬指導の状況を薬剤師からの視点で撮影することができる。出力部18に表示した情報を、情報を表示したタイミングで動画内に表示させるようにすることで、服薬指導時の説明や対応の適否の判断を行ったり、調剤の過誤を確認したりすることができる。また、患者においても、薬剤師からの説明に対する認識違いや薬剤の取り違い等の確認を行うことができる。
【0025】
[ハードウェア構成]
図4は、本発明の一実施形態に係る薬局端末1及び携帯端末2のハードウェアの構成を示すブロック図である。
薬局端末1は、例えば、据え置き型のPC(Personal Computer)として構成される。
【0026】
薬局端末1は、
図4に示すように、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、撮像部16と、入力部17と、出力部18と、記憶部19と、通信部20と、ドライブ21と、を備えている。
【0027】
CPU11は、ROM12に記録されているプログラム、または、記憶部19からRAM13にロードされたプログラムに従って各種の処理を実行する。
【0028】
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【0029】
CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、撮像部16、入力部17、出力部18、記憶部19、通信部20及びドライブ21が接続されている。
【0030】
撮像部16は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
【0031】
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【0032】
イメージセンサは、光電変換素子や、AFE(Analog Front End)等から構成される。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部16の出力信号として出力され、撮像画像のデータとして、CPU11や図示しない画像処理部等に適宜供給される。
【0033】
入力部17は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。入力部17は、マイク、スキャナで構成され、音声、文字や図形等を電子データとして入力する。
【0034】
出力部18は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
【0035】
記憶部19は、ハードディスクあるいはDRAM(Dynamic Random Access Memory)等で構成され、各種画像のデータを記憶する。
【0036】
通信部20は、インターネットを含むネットワークを介して他の装置(図示せず)との間で行う通信を制御する。
【0037】
ドライブ21には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア31が適宜装着される。ドライブ21によってリムーバブルメディア31から読み出されたプログラムは、必要に応じて記憶部19にインストールされる。また、リムーバブルメディア31は、記憶部19に記憶されている画像のデータ等の各種データも、記憶部19と同様に記憶することができる。
【0038】
携帯端末2は、上述した薬局端末1とハードウェア構成が同一であるため、説明を省略する。なお、以下において、薬局端末1と携帯端末2との個別の説明を行う場合には、薬局端末1のときには、符号の後に「−1」を付し、携帯端末2のときには、符号の後に「−2」を付す。即ち、薬局端末1のときには、CPU11−1乃至リムーバブルメディア31−1とし、携帯端末2のときには、CPU11−2乃至リムーバブルメディア31−2とする。
【0039】
ここで、外部サーバである医療情報管理サーバSV1及び公開用サーバSV2について説明する。
医療情報管理サーバSV1は、レセプト用コンピュータと、電子薬歴管理用コンピュータとが一体型となったサーバとして構成される。医療情報管理サーバSV1には、薬局端末1から薬剤師の個別IDとパスワードを使ってログインすることで管理データにアクセス可能であり、対象となる患者の薬歴や既往歴等の情報を含む医療情報を取得することができる。
【0040】
また、公開用サーバSV2は、薬剤師や患者がインターネット等を介して外部からアクセスしてデータを閲覧可能なサーバとして構成される。本実施形態の公開用サーバSV2は、薬局端末1から動画がアップロードされて、薬剤師や患者に視聴可能に一部公開されるように構成される。
【0041】
[機能構成]
(薬局端末の機能構成)
図5は、
図4の薬局端末1の機能的構成のうち、薬局端末1側の服薬指導支援処理を実行するための機能的構成を示す機能ブロック図である。
【0042】
薬局端末1側の服薬指導支援処理とは、薬局において薬剤師が行う服薬指導を支援する処理のうち、薬局端末1側で行われる一連の処理をいう。
【0043】
薬局端末1側の服薬指導支援処理を実行する場合には、
図5に示すように、CPU11−1において、読み込み部51と、出力制御部52と、通信制御部53と、情報判定部54と、音声認識部55と、画像合成部56と、が機能する。
また、記憶部19−1の一領域には、医療情報記憶部71と、音声認識情報記憶部72と、画像記憶部73と、が設定される。
医療情報記憶部71には、医療情報管理サーバSV1から取得した薬歴や既往歴等の患者の医療情報が記憶される。
音声認識情報記憶部72には、音声認識辞書等、音声認識の処理を行うための情報(以下、「音声認識処理情報」という。)が記憶される。
画像記憶部73には、撮影した動画や合成した動画等の画像のデータが記憶される。
【0044】
読み込み部51は、患者から受け取った紙媒体の処方箋をスキャナ等の入力部17−1を介して読み込み、電子データを取得する。
【0045】
出力制御部52は、画像を表示出力するように出力部18−1を制御する。
具体的には、出力制御部52は、読み込まれた処方箋の電子データをレセプトの管理画面として表示(以下、「レセコン表示」という。)するように出力部18−1を制御する。
【0046】
通信制御部53は、携帯端末2、医療情報管理サーバSV1、公開用サーバSV2との間で通信を行うように通信部20−1を制御する。
【0047】
具体的には、通信制御部53は、携帯端末2に対して、医療情報管理サーバSV1から処方箋に対応する患者の既往歴や薬歴の情報を含む医療情報を取得するように通信部20−1を制御する。また、通信制御部53は、携帯端末2に対して、医療情報管理サーバSV1から取得した薬歴情報を表示する指示(以下、「薬歴表示指示」という。)を行うように通信部20−1を制御する。また、通信制御部53は、アラート情報を表示する指示(以下、「アラート情報表示指示」という。)を行うように通信部20−1を制御する。また、通信制御部53は、合成動画データを公開用サーバSV2にアップロードするように通信部20−1を制御する。
【0048】
情報判定部54は、患者の医療情報(薬歴や既往歴の情報)と、処方箋の薬剤情報とを比較して、今回処方される薬剤が適切なものであるかを判定する。
処方が適切であるか適否は、処方する薬剤[A]やアレルギー等の患者[B]に起因する情報から判定される。
具体的には、
1)薬歴に示される薬剤と今回処方される薬剤とで処方上注意すべき事項(誘発される副作用等)があるか[A]
2)アレルギーの対象薬剤でないか[B]
3)今回処方される薬剤と相反する作用の成分の薬剤が現在処方されていないか[A]
4)同種の薬剤が現在処方されており重複投薬とならないか[A]
等から処方の適否が判定される。即ち、上記1)から4)のいずれかに該当する場合に、処方が適切でないと判定される。
処方が適切でないと判定された場合には、携帯端末2で薬剤師に警告を報知するアラートを表示することとなる。
【0049】
具体的には、情報判定部54は、処方箋に記載されている処方を予定する薬剤と、医療情報(患者の薬歴及び既往歴)とからアラート判定を行う。また、情報判定部54は、アラート判定の結果、アラートすべき情報(以下、単に「アラート」という。)を特定する。
【0050】
音声認識部55は、取得した音声データや動画データから抽出した音声データを、音声認識情報記憶部72に記憶される音声認識処理情報を用いて、音声認識処理を行う。音声認識処理の結果、音声データのテキスト化が図られて、テキストデータを取得する。
【0051】
画像合成部56は、薬局端末1側から携帯端末2で情報を表示させた時刻に対応する動画のフレームに、表示させた情報が表示されるようにデータを合成(対応付け)する。本実施形態においては、薬局端末1側から携帯端末2で情報を表示させた時刻としては、薬歴表示指示/アラート表示指示を送信した時刻とする。
その結果、携帯端末2において実際に薬局端末1側から送信された情報が表示された時刻の動画のフレームに、薬剤師が視認した情報と同一の情報が表示される動画が生成される。即ち、薬剤師が携帯端末2を介して見ていた情報が動画内に表示されることになる(
図3(b)参照)。
また、画像合成部56は、音声データにおいて音声が発せられた時刻に対応する動画のフレームに音声認識処理の結果、取得したテキストが表示されるようにデータを合成することもできる。その結果、合成された動画(以下、「合成動画」という。)においては、音声でのやり取りが文字として表示されることとなる。
【0052】
具体的には、画像合成部56は、受信した動画データに、テキスト化した音声と、携帯端末2で表示した薬歴情報とアラート情報を該当するフレームに合成して、合成動画データを生成する。また、画像合成部56は、合成動画データを画像記憶部73に記憶させる。
【0053】
(携帯端末の機能構成)
図6は、
図4の携帯端末2の機能的構成のうち、携帯端末2側の服薬指導支援処理を実行するための機能的構成を示す機能ブロック図である。
携帯端末2側の服薬指導支援処理とは、薬局において薬剤師が行う服薬指導を支援する処理のうち、携帯端末2側で行われる一連の処理をいう。
【0054】
携帯端末2側の服薬指導支援処理を実行する場合には、
図6に示すように、CPU11−2において、入力検出部91と、撮影制御部92と、出力制御部93と、通信制御部94と、が機能する。
【0055】
入力検出部91は、ユーザ(薬剤師)による入力部17−2への入力操作を検出する。
具体的には、入力検出部91は、入力部17−2に対して、ユーザが服薬指導の開始の操作を行うことにより、服薬指導が開始されたか否かを判定する。
【0056】
撮影制御部92は、動画の撮影を行うように撮像部16−2を制御する。
具体的には、撮影制御部92は、動画の撮影を開始するように撮像部16−2を制御する。また、撮影制御部92は、動画の撮影を終了するように撮像部16−2を制御する。
【0057】
出力制御部93は、画像を表示出力するように出力部18−2を制御する。
具体的には、出力制御部93は、薬局端末1からの薬歴表示指示に基づいて、薬歴情報を表示するように出力部18−2を制御する。また、出力制御部93は、薬局端末1からのアラート表示指示に基づいて、アラートを表示するように出力部18−2を制御する。
【0058】
通信制御部94は、薬局端末1との間で通信を行うように通信部20−2を制御する。
具体的には、通信制御部94は、動画データを薬局端末1に送信するように通信部20−2を制御する。
【0059】
[服薬指導支援処理の流れ]
図7は、
図5及び
図6の機能的構成を有する
図4の薬局端末1及び携帯端末2が実行する服薬指導支援処理の流れを説明するフローチャートである。
【0060】
(薬局端末側の服薬指導支援処理の流れ)
薬局端末1側の服薬指導支援処理は、ユーザによる入力部17−1への服薬指導支援処理開始の操作により開始される。
【0061】
ステップS11−1において、読み込み部51は、スキャナ等の入力部17−1を介して、処方箋を読み込む。読み込みの結果、処方箋を電子化したデータが取得される。
【0062】
ステップS12−1において、出力制御部52は、処方箋を電子化したデータに基づいて、レセコン表示するように出力部18−1を制御する。
【0063】
ステップS13−1において、通信制御部53は、医療情報管理サーバSV1から処方箋に対応する患者の既往歴や薬歴の情報を含む医療情報を取得するように通信部20−1を制御する。その結果、医療情報管理サーバSV1から医療情報が取得される。
【0064】
ステップS14−1において、情報判定部54は、ステップS11−1で取得した処方箋の内容及びステップS13−1で取得した医療情報の内容を参照し、処方箋に記載されている処方を予定する薬剤(処方箋の薬剤情報)と、患者の医療情報(薬歴や既往歴の情報)とからアラート判定を行う。
【0065】
ステップS15−1において、通信制御部53は、携帯端末2に対して、薬歴表示指示を行うように通信部20−1を制御する。その結果、携帯端末2に通信部20−1から薬歴表示指示が送信される。
【0066】
ステップS16−1において、情報判定部54は、アラート判定の結果、アラートがあるか否かを判定する。
アラートありの場合には、ステップS16−1においてYESと判定されて、処理はステップS17−1に進む。
これに対して、アラートなしの場合には、ステップS16−1においてNOと判定されて、処理はステップS18−1に進む。
【0067】
ステップS17−1において、通信制御部53は、携帯端末2に対して、アラート表示指示を行うように通信部20−1を制御する。その結果、携帯端末2に通信部20−1からアラート表示指示が送信される。
【0068】
ステップS18−1において、通信部20−1は、携帯端末2から動画データを受信する。
【0069】
ステップS19−1において、音声認識部55は、受信した動画データから音声を抽出して、音声認識情報記憶部72に記憶される音声認識情報を用いて音声認識処理を行って、音声をテキスト化する。なお、音声認識部55は、薬剤師と患者の他、患者に同伴している者等の複数の話者をそれぞれ識別するように音声認識処理を行って、テキスト化する。話者をそれぞれ区別することで、服薬指導中に得た新たな情報を話者に対応させて記録することができる。例えば、患者本人の発言か、患者に同伴した者の発言かを別途記録することができ、事後的に情報の信頼性や発言者等を確認する上で役立てることができる。
【0070】
ステップS20−1において、画像合成部56は、受信した動画データに、テキスト化した音声と、携帯端末2で表示した薬歴情報及びアラート情報とを該当するフレームに合成して、合成動画データを生成する。
【0071】
ステップS21−1において、画像合成部56は、合成動画データを画像記憶部73に記憶させる。
【0072】
ステップS22−1において、通信制御部53は、合成動画データを公開用サーバSV2にアップロードするように通信部20−1を制御する。その結果、公開用サーバSV2に合成動画データがアップロードされる。
その後、薬局端末1側の服薬指導支援処理は終了する。
【0073】
(携帯端末側の服薬指導支援処理の流れ)
携帯端末2側の服薬指導支援処理は、ユーザによる入力部17−2への服薬指導支援処理開始の操作により開始される。
【0074】
ステップS11−2において、入力検出部91は、入力部17−2に対して、ユーザが服薬指導の開始の操作を行うことにより、服薬指導が開始されたか否かを判定する。
服薬指導が開始された場合には、ステップS11−2においてYESと判定されて、処理はステップS12−2に進む。
これに対して、服薬指導が開始されていない場合には、ステップS11−2においてNOと判定されて、処理はステップS11−2において待機状態となる。
【0075】
ステップS12−2において、撮影制御部92は、動画の撮影を開始するように撮像部16−2を制御する。
【0076】
ステップS13−2において、出力制御部93は、薬局端末1からの薬歴表示指示に基づいて、薬歴情報を表示するように出力部18−2を制御する。
【0077】
ステップS14−2において、出力制御部93は、薬局端末1からのアラート表示指示に基づいて、アラート情報を表示するように出力部18−2を制御する。
【0078】
ステップS15−2において、入力検出部91は、入力部17−2に対して、ユーザが服薬指導の終了の操作を行うことにより、服薬指導が終了されたか否かを判定する。
服薬指導が終了された場合には、ステップS15−2においてYESと判定されて、処理はステップS16−2に進む。
これに対して、服薬指導が終了されていない場合には、ステップS15−2においてNOと判定されて、処理はステップS13−2に戻る。
【0079】
ステップS16−2において、撮影制御部92は、動画の撮影を終了するように撮像部16−2を制御する。
【0080】
ステップS17−2において、通信制御部94は、動画データを薬局端末1に送信するように通信部20−2を制御する。その結果、薬局端末1に通信部20−2から動画データが送信される。
その後、携帯端末2側の服薬指導支援処理は終了する。
【0081】
[第2実施形態]
次に、本発明の第2実施形態について説明する。
本実施形態における服薬指導支援システムSは、服薬指導中の薬剤師と患者とのやり取りをリアルタイムで音声認識して、その際の話題に適した情報を携帯端末2で表示させるように構成される。
【0082】
具体的には、携帯端末2において服薬指導中の音声データを逐次薬局端末1に送信する。薬局端末1では、音声認識部55によって、携帯端末2から送信されてきた音声データの音声認識を行う。この際、薬局端末1では、話者を区別してテキスト化する。
【0083】
例えば、患者が「○○○[薬剤名]」という対象の発話し、その周辺で「飲んでいる」という状態の発話をした場合には、情報判定部54が、[薬剤:○○○]を服用していると判定して、薬歴として扱い、処方される薬剤との比較を行う。比較の結果、今回の処方が適切でないと判定された場合には、携帯端末2においてアラート表示またはアラートの対象である可能性の表示を行わせる。このように一連の文章全体の発話を判断せずに部分的な発話で判断することで、発話毎のアラート判定を行うことができると共に、必要な音声認識処理の性能や処理負担を抑えることができる。
また、単に[薬剤名]が発話された場合に、[薬剤名]と[薬剤名]に対応する情報とを携帯端末2に表示させるように構成してもよい。
【0084】
また、例えば、薬剤師が「○○○[薬剤名]を飲んでいますか?/今薬を飲んでいますか?」という質問の発話をし、患者が「はい/○○○[薬剤名]です。」という質問に対する回答を発話した場合にも、服薬対象が特定できるために、情報判定部54が薬歴として扱い、処方が適切であるか否かの判定を行って、結果を出力する。
【0085】
上述したような服薬指導中の薬剤師と患者とのやり取りに関しても、音声認識部55によってテキスト化して、動画内にやり取りの情報を表示するように、画像合成部56がデータを合成するように構成する。
また、服薬指導中の薬剤師と患者とのやり取りにおいて、上述したような薬歴と推定される情報が表れた場合には、医療情報管理サーバSV1の薬歴情報に追加する。
【0086】
また、薬剤師と患者の音声は、音声認識部55がそれぞれ識別してテキスト化するように構成する。また、例えば、音声認識部55が、薬剤師、患者、家族等の患者に同伴している者等の複数の人の音声を取得した場合には、発話者を区別して、音声認識結果をテキスト化する。
音声の中に薬歴となる情報が含まれていた場合には、例えば、患者に同伴していた者が発話した患者の薬歴として、発話者を付加情報として付して患者の薬歴情報に追加される。
【0087】
[服薬指導支援処理の流れ]
図8は、第2実施形態において薬局端末1及び携帯端末2が実行する服薬指導支援処理の流れを説明するフローチャートである。
【0088】
(薬局端末側の服薬指導支援処理の流れ)
薬局端末1側の服薬指導支援処理は、ユーザによる入力部17−1への服薬指導支援処理開始の操作により開始される。
【0089】
ステップS31−1において、読み込み部51は、スキャナ等の入力部17−1を介して、処方箋を読み込む。読み込みの結果、処方箋を電子化したデータが取得される。
【0090】
ステップS32−1において、出力制御部52は、処方箋を電子化したデータに基づいて、レセコン表示するように出力部18−1を制御する。
【0091】
ステップS33−1において、通信制御部53は、医療情報管理サーバSV1から処方箋に対応する患者の既往歴や薬歴の情報を含む医療情報を取得するように通信部20−1を制御する。その結果、医療情報管理サーバSV1から医療情報が取得される。
【0092】
ステップS34−1において、情報判定部54は、ステップS11−1で取得した処方箋の内容及びステップS33−1で取得した医療情報の内容を参照し、処方箋に記載されている処方を予定する薬剤(処方箋の薬剤情報)と、患者の医療情報(薬歴や既往歴の情報)とからアラート判定を行う。
【0093】
ステップS35−1において、通信制御部53は、携帯端末2に対して、薬歴表示指示を行うように通信部20−1を制御する。その結果、携帯端末2に通信部20−1から薬歴表示指示が送信される。
【0094】
ステップS36−1において、通信部20−1は、携帯端末2から動画データを受信する。このとき、携帯端末2から送信される動画データは、例えば、発話区間毎の動画データ等、服薬指導の一部を表す動画データである。
【0095】
ステップS37−1において、音声認識部55は、受信した動画データから音声を抽出して、音声認識情報記憶部72に記憶される音声認識情報を用いて音声認識処理を行って、音声をテキスト化する。なお、音声認識部55は、薬剤師と患者の他、患者に同伴している者等の複数の話者をそれぞれ識別するように音声認識処理を行って、テキスト化する。話者をそれぞれ区別することで、服薬指導中に得た新たな情報を話者に対応させて記録することができる。例えば、患者本人の発言か、患者に同伴した者の発言かを別途記録することができ、事後的に情報の信頼性や発言者等を確認する上で役立てることができる。
【0096】
ステップS38−1において、情報判定部54は、ステップS11−1で取得した処方箋の内容、ステップS33−1で取得した医療情報の内容及びステップS37−1で認識された音声のテキストを参照し、処方箋に記載されている処方を予定する薬剤(処方箋の薬剤情報)と、患者の医療情報(薬歴や既往歴の情報)と、患者及び同伴者の会話の内容からアラート判定を行う。
【0097】
ステップS39−1において、情報判定部54は、ステップS34−1及びステップS38−1におけるアラート判定の結果、アラートがあるか否かを判定する。
アラートありの場合には、ステップS39−1においてYESと判定されて、処理はステップS40−1に進む。
これに対して、アラートなしの場合には、ステップS39−1においてNOと判定されて、処理はステップS41−1に進む。
【0098】
ステップS40−1において、通信制御部53は、携帯端末2に対して、アラート表示指示を行うように通信部20−1を制御する。その結果、携帯端末2に通信部20−1からアラート表示指示が送信される。
【0099】
ステップS41−1において、画像合成部56は、ステップS36−1において受信した動画データに、テキスト化した音声と、携帯端末2で表示した薬歴情報及びアラート情報とを該当するフレームに合成して、合成動画データを生成する。このとき生成される合成動画データは、服薬指導の一部を表す合成動画データである。
【0100】
ステップS42−1において、画像合成部56は、携帯端末2が動画の撮影を終了したか否かを判定する。
携帯端末2が動画の撮影を終了した場合には、ステップS42−1においてYESと判定されて、処理はステップS43−1に進む。
これに対して、携帯端末2が動画の撮影を終了していない場合には、ステップS42−1においてNOと判定されて、処理はステップS36−1に戻る。
【0101】
ステップS43−1において、画像合成部56は、ステップS41−1において生成した合成動画データを結合して、服薬指導の全体を表す合成動画データを生成する。
【0102】
ステップS44−1において、画像合成部56は、合成動画データを画像記憶部73に記憶させる。
ステップS45−1において、通信制御部53は、ステップS43−1において生成した合成動画データを公開用サーバSV2にアップロードするように通信部20−1を制御する。その結果、公開用サーバSV2に合成動画データがアップロードされる。
その後、薬局端末1側の服薬指導支援処理は終了する。
【0103】
(携帯端末側の服薬指導支援処理の流れ)
携帯端末2側の服薬指導支援処理は、ユーザによる入力部17−2への服薬指導支援処理開始の操作により開始される。
【0104】
ステップS31−2において、入力検出部91は、入力部17−2に対して、ユーザが服薬指導の開始の操作を行うことにより、服薬指導が開始されたか否かを判定する。
服薬指導が開始された場合には、ステップS31−2においてYESと判定されて、処理はステップS32−2に進む。
これに対して、服薬指導が開始されていない場合には、ステップS31−2においてNOと判定されて、処理はステップS31−2において待機状態となる。
【0105】
ステップS32−2において、撮影制御部92は、動画の撮影を開始するように撮像部16−2を制御する。
【0106】
ステップS33−2において、出力制御部93は、薬局端末1からの薬歴表示指示に基づいて、薬歴情報を表示するように出力部18−2を制御する。
【0107】
ステップS34−2において、通信制御部94は、動画データを薬局端末1に送信するように通信部20−2を制御する。このと送信される動画データは、例えば、発話区間毎の動画データ等、服薬指導の一部を表す動画データである。これにより、薬局端末1に通信部20−2からリアルタイムに動画データが送信される。
【0108】
ステップS35−2において、出力制御部93は、薬局端末1からのアラート表示指示に基づいて、アラート情報を表示するように出力部18−2を制御する。
【0109】
ステップS36−2において、入力検出部91は、入力部17−2に対して、ユーザが服薬指導の終了の操作を行うことにより、服薬指導が終了されたか否かを判定する。
服薬指導が終了された場合には、ステップS36−2においてYESと判定されて、処理はステップS37−2に進む。
これに対して、服薬指導が終了されていない場合には、ステップS36−2においてNOと判定されて、処理はステップS33−2に戻る。
【0110】
ステップS37−2において、撮影制御部92は、動画の撮影を終了するように撮像部16−2を制御する。なお、このとき、動画の撮影が終了されたことが薬局端末1に通知される。
その後、携帯端末2側の服薬指導支援処理は終了する。
【0111】
このように、第2実施形態に係る服薬指導支援システムSによれば、服薬指導中の薬剤師と患者等との会話をリアルタイムで音声認識し、会話に含まれるアラートの対象となる内容についても、携帯端末2に表示することができる。
したがって、医療情報の伝達をより適切に支援することができる。
【0112】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【0113】
上述の実施形態では、携帯端末2の処理負担等を考慮して、音声認識や情報判定を薬局端末1で行うように構成したがこれに限られない。少なくとも、携帯端末2には、装着者である薬剤師にアラートを表示する表示機能と、服薬指導を撮影する撮影機能を有していればよい。また、携帯端末2は、薬剤指導支援にかかる全ての機能を携帯端末2に搭載して一元的に処理可能に構成してもよい。なお、音声認識処理等の外部装置に委譲できる処理を外部で行うようにして、薬局端末1及び携帯端末2の処理負担の軽減を図るように構成してもよい。
【0114】
また、上述の実施形態では、携帯端末2は、服薬指導の状況を動画で撮影して、服薬指導の内容を記録するものとしたが、例えば、携帯端末2にGPS(Global Positioning System)センサ等の各種センサを搭載して、取得した位置情報を動画に紐付けることで服薬指導が行われた位置を記録するように構成してもよい。
【0115】
また、上述の実施形態では、服薬指導時の動画の撮影において、顔を含む患者全体を撮影するようにしたが、服薬指導の内容が記録できればよく、プライバシー保護等の観点から手元だけを撮影するように構成してもよい。
【0116】
また、上述の実施形態では、アラート判定によりアラートがある場合に、携帯端末2において表示を行うように構成したが、アラートがない場合でも、適切な処方であった確認結果を携帯端末2に表示させるように構成してもよい。
【0117】
また、上述の実施形態では、動画内に文字情報が表示されるように構成したが、画像の付加情報として添付したり、画像に文字情報を対応付けるように構成したりしてもよい。
【0118】
また、上述の実施形態では、動画を撮影するように構成したが、静止画であってもよい。この場合、携帯端末2での情報の表示や服薬指導の音声内容を契機に撮影を行ってもよい。また、撮影した画像には、服薬指導を保証する説明ややり取りの内容や携帯端末2で表示した情報をテキスト化して添付する。
【0119】
また、上述の実施形態では、薬局における服薬指導の支援を例として説明したが、例えば、各種医療機関において患者と医師との間で行われる診察や診断の場面等の医療全般における指導(医療情報の伝達支援全般)に適用することができる。この場合、取扱いの対象となる医療情報として、診療録であるカルテ等が該当することになる。具体的には、カルテに記録される主訴、問診内容、診察結果、処方内容、患者のバイタルデータあるいは関連文書(紹介状)の内容等を、本発明を適用したシステムによって管理することにより、医師から患者への医療情報の伝達支援を行うことが可能となる。
【0120】
また、上述の実施形態では、動画の撮影の開始/終了をユーザによる入力部17−2への入力部操作によって行うように構成したが、服薬指導が開始/終了されたことをもって動画の撮影の開始/終了がされればよく、例えば、音声をもって、服薬指導の開始を判断して、動画の撮影を行うように構成してもよい。音声は、単に服薬指導の開始/終了の旨をもって判断してもよいし、音声の内容をもって判断するように構成してもよい。
【0121】
また、上述の実施形態では、処方箋から患者を特定したが、撮影した画像において顔認識の結果、特定した患者の情報から、患者に対応する医療情報を取得するように構成してもよい。
【0122】
また、上述の実施形態では、本発明が適用される薬局端末1及び携帯端末2は、据え置き型のPC及びメガネ型のウェアラブル端末を例として説明したが、特にこれに限定されない。
例えば、本発明は、服薬指導支援処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
【0123】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、
図5及び
図6の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が薬局端末1及び携帯端末2に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に
図5及び
図6の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【0124】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【0125】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される
図4のリムーバブルメディア31により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア31は、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、CD−ROM(Compact Disk−Read Only Memory),DVD(Digital Versatile Disk),Blu−ray(登録商標) Disc(ブルーレイディスク)等により構成される。光磁気ディスクは、MD(Mini−Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている
図4のROM12や、
図4の記憶部19に含まれるハードディスク等で構成される。
【0126】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
【0127】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。