(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024066438
(43)【公開日】2024-05-15
(54)【発明の名称】情報処理方法、情報処理装置、及びプログラム
(51)【国際特許分類】
G16H 80/00 20180101AFI20240508BHJP
【FI】
G16H80/00
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2023136482
(22)【出願日】2023-08-24
(31)【優先権主張番号】63/421,230
(32)【優先日】2022-11-01
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】000003562
【氏名又は名称】東芝テック株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】佐々木 崇裕
【テーマコード(参考)】
5L099
【Fターム(参考)】
5L099AA00
(57)【要約】
【課題】重要な部分を抽出した会話ログを作成することができる情報処理方法、情報処理装置、及びプログラムを提供する。
【解決手段】複数の端末間の通話を処理する情報処理装置が実行する情報処理方法は、端末からユーザの通話情報を取得することと、前記通話情報に基づいて、会話ログを作成することと、前記ユーザの操作に基づいて、前記会話ログに含まれる会話文に設定されるブックマークを取得することと、前記ブックマークに基づいて、ブックマークが設定されたブックマークログを作成することと、前記ブックマークログを出力することと、を備える。
【選択図】
図2
【特許請求の範囲】
【請求項1】
複数の端末間の通話を処理する情報処理装置が実行する情報処理方法であって、
端末からユーザの通話情報を取得することと、
前記通話情報に基づいて、会話ログを作成することと、
前記ユーザの操作に基づいて、前記会話ログに含まれる会話文に設定されるブックマークを取得することと、
前記ブックマークに基づいて、ブックマークが設定されたブックマークログを作成することと、
前記ブックマークログを出力することと、
を備える情報処理方法。
【請求項2】
前記ユーザの操作に基づいて、前記ブックマークログを編集する編集指示を取得することと、
前記編集指示に基づいて前記ブックマークログを編集することと、
編集されたブックマークログを出力することと、
をさらに備える、請求項1に記載の情報処理方法。
【請求項3】
前記ユーザの操作に基づいて、前記ブックマークログに含まれる会話文の前後の会話文を表示するための情報を出力することをさらに備える、
請求項1に記載の情報処理方法。
【請求項4】
前記ユーザの操作に基づいて、前記ブックマークログに含まれる会話文と前記編集されたブックマークログに含まれる会話文を比較表示するための情報を出力することをさらに備える、
請求項2に記載の情報処理方法。
【請求項5】
複数の端末間の通話を処理する情報処理装置であって、
端末からユーザの通話情報を取得する通話情報取得部と、
前記通話情報に基づいて、会話ログを作成するログ作成部と、
前記ユーザの操作に基づいて、前記会話ログに含まれる会話文に設定されるブックマークを取得し、前記ブックマークに基づいて、ブックマークが設定されたブックマークログを作成するブックマーク処理部と、
前記ブックマークログを出力する出力部と、
を備える情報処理装置。
【請求項6】
複数の端末間の通話を処理する情報処理装置のコンピュータに、
端末からユーザの通話情報を取得する機能と、
前記通話情報に基づいて、会話ログを作成する機能と、
前記ユーザの操作に基づいて、前記会話ログに含まれる会話文に設定されるブックマークを取得し、前記ブックマークに基づいて、ブックマークが設定されたブックマークログを作成する機能と、
前記ブックマークログを出力する機能と、
を実行させることが可能なプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、情報処理方法、情報処理装置、及びプログラムに関する。
【背景技術】
【0002】
近年、病院での診療方法として、患者が病院に出向き医師と対面で実施する「対面治療」だけではなく医師と患者が通信デバイスを用いることで、患者が医療機関に直接出向かず診察を受ける「遠隔診療」が行われるようになっている。遠隔診療においては、患者宅、又は所定の場所に医療機器を設置し、医療機器で得たバイタルデータを通信で遠隔地の医師に送り、医師はデータに基づいて診断を行う。
【0003】
遠隔診療の一つとして、所定の場所において、医療機器と通話が可能な機器を備えた、リアルタイムで患者と医師とのビデオ通話等による診療が可能な遠隔診療ブース、遠隔診療ボックス、遠隔診療キオスク等と呼ばれる、情報処理システムがある。これにより、通信デバイスによる対話での診療だけでなく、血圧計や聴診器等の医療機器を用いた診療が遠隔診療で実現でき、より詳細に症状の検査が可能となる。
【0004】
遠隔診療では、通信デバイスを介した対話をテキストデータ化し、医師や患者、患者の家族等が対話終了後に見直せる会話ログを利用することがある。
【0005】
しかしながら、通常の会話ログでは、発話文が多い場合、重要な部分を探し出すのが困難である。
【0006】
そこで、重要な部分を抽出した会話ログを作成することができる通話処理システムが求められている。
【先行技術文献】
【特許文献】
【0007】
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明の実施形態が解決しようとする課題は、重要な部分を抽出した会話ログを作成することができる情報処理方法、情報処理装置、及びプログラムを提供しようとするものである。
【課題を解決するための手段】
【0009】
一実施形態において、複数の端末間の通話を処理する情報処理装置が実行する情報処理方法は、端末からユーザの通話情報を取得することと、前記通話情報に基づいて、会話ログを作成することと、前記ユーザの操作に基づいて、前記会話ログに含まれる会話文に設定されるブックマークを取得することと、前記ブックマークに基づいて、ブックマークが設定されたブックマークログを作成することと、前記ブックマークログを出力することと、を備える。
【図面の簡単な説明】
【0010】
【
図1】
図1は、実施形態に係る情報処理システムに含まれる遠隔診療ブースを例示する外観図である。
【
図2】
図2は、実施形態に係る情報処理システムを例示するブロック図である。
【
図3】
図3は、実施形態に係る会話ログ情報のデータ構造の一例を例示する図である。
【
図4】
図4は、実施形態に係る会話ログ画像の一例を例示する模式図である。
【
図5】
図5は、実施形態に係る会話ログ画像の別の例を例示する模式図である。
【
図6】
図6は、実施形態に係るブックマークログ画像の一例を例示する模式図である。
【
図7】
図7は、実施形態に係るブックマークログ画像の別の例を例示する模式図である。
【
図8】
図8は、実施形態に係るサーバによる情報処理の手順の一例を示すフローチャートである。
【
図9】
図9は、実施形態に係るサーバによる情報処理の手順の一例を示すフローチャートである。
【
図10】
図10は、実施形態に係るサーバによる情報処理の手順の一例を示すフローチャートである。
【
図11】
図11は、実施形態に係るサーバによる情報処理の手順の一例を示すフローチャートである。
【発明を実施するための形態】
【0011】
(実施形態)
(構成例)
以下、図面を用いて実施形態について説明する。
【0012】
各図面において同一の構成要素に対しては可能な限り同一の符号を付し、重複する説明は省略する。
図1は、実施形態に係る情報処理システム100に含まれる遠隔診療ブースを例示する外観図である。
遠隔診療ブースは、四方を壁に囲まれ、会話などが外部に漏れにくく、診察中のプライバシーが守られるような設備である。遠隔診療ブースは、診療ブース、又は単にブースともいう。ブース内には椅子、机等が設置され、測定を行うための医療機器、及びブース外の医師とコミュニケーションをとるための通信装置が設置されている。例えば、各市区町村等のエリア毎に複数の診療ブースが設置されている。患者は、予め診療ブースで遠隔診療を受けるための予約を行い、予約時間に予約した診療ブースに入る。患者は、診療ブース内の通信装置を介して医師とビデオ通話等で対話を行い、医師の指示等に基づいて医療機器を使用し、生体データ等の測定を行う。医療機器による測定データは、リアルタイムで医師が使用する医者用機器等で参照することができる。医師は、測定データに基づいて診察を行うことができる。各診療ブースは、病院毎に設けられてもよいし、複数の病院の複数の医師により使用されるものでもよい。
【0013】
図2は、実施形態に係る情報処理システム100を例示するブロック図である。
情報処理システム100は、サーバ1、第2の通信機器4、及び少なくとも1つの遠隔診療ブースを含む。遠隔診療ブースは、遠隔診療支援装置2、及び第1の通信機器3を含む。サーバ1、遠隔診療支援装置2、第1の通信機器3、及び第2の通信機器4は、ネットワークを介して互いに通信自在に接続する。例えば、ネットワークは、インターネット、携帯通信網及びLAN(Local Area Network)等の種々のネットワークのうちの1以上のネットワークで構成される。1以上のネットワークは、無線ネットワークを含んでもよいし、有線ネットワークを含んでもよい。遠隔診療支援装置2、及び第1の通信機器3は、ネットワークを介して互いに通信可能に接続されている。ネットワークは、LAN等である。LANは、無線LANでもよいし、有線LANでもよい。遠隔診療支援装置2は、少なくとも1つの医療機器と互いに通信自在に接続する。遠隔診療支援装置2と少なくとも1つの医療機器251-1~251-mは、有線又は無線で直接的に通信可能に接続されている。遠隔診療支援装置2と少なくとも1つの医療機器251-1~251-mは、例えば、LAN、Bluetooth(登録商標)、Wi-Fi(登録商標)等により接続されてもよい。なお、情報処理システム100は、サーバ1、遠隔診療支援装置2、第1の通信機器3、第2の通信機器4、及び医療機器251-1~251-mのうちの少なくとも2つの機器を含むシステムを指すこともある。
【0014】
サーバ1は、データを収集し、収集したデータを処理する電子機器である。電子機器は、コンピュータを含む。サーバ1は、ネットワークを介して、遠隔診療支援装置2、第1の通信機器3、及び第2の通信機器4と通信自在に接続する。サーバ1は、遠隔診療支援装置2、第1の通信機器3、及び第2の通信機器4から種々のデータを受け取り、遠隔診療支援装置2、第1の通信機器3、及び第2の通信機器4に種々のデータを出力する。サーバ1は、クラウドサービスで用いられるサーバであってもよい。
【0015】
サーバ1は、第1の通信機器3と第2の通信機器4との間でビデオ通信等を行う通話サービスを実現し得る。なお、通話サービスは、音声による通信に基づく通話サービスでもよい。通話サービスは、ビデオ映像による通信を伴わないものでもよい。サーバ1は、遠隔診療支援装置2、第1の通信機器3、及び第2の通信機器4との間で遠隔診療サービスを実現し得る。サーバ1の構成例については後述する。
【0016】
遠隔診療支援装置2は、他の電子機器と通信可能な電子機器である。遠隔診療支援装置2は、診療ブースに設置される機器である。例えば、遠隔診療支援装置2は、PC(Personal Computer)、スマートフォン、又は、タブレット端末等である。参加者は、ユーザ又は人と読み替えてもよい。遠隔診療支援装置2の構成例については後述する。
【0017】
第1の通信機器3は、他の電子機器と通信可能な電子機器である。第1の通信機器3は、診療ブースに設置される機器である。第1の通信機器3は、例えば、遠隔診療を受ける患者が使用する機器である。例えば、第1の通信機器3は、PC、スマートフォン、又は、タブレット端末等である。患者は、ユーザ又は人と読み替えてもよい。第1の通信機器3の構成例については後述する。第1の通信機器3は、端末の一例である。
【0018】
第2の通信機器4は、他の電子機器と通信可能な電子機器である。第2の通信機器4は、例えば、遠隔診療を行う医師が使用する機器である。例えば、第2の通信機器4は、PC、スマートフォン、又は、タブレット端末等である。医師は、医療従事者、ユーザ又は人と読み替えてもよい。第2の通信機器4は、例えば、診療ブースとは異なる場所に設置される。診療ブースが設置される場所は、第1の拠点の一例である。第2の通信機器4が設置される場所は、第2の拠点の一例である。第2の拠点は、例えば、病院等の医療機関である。第2の通信機器4の構成例については後述する。第2の通信機器4は、端末の一例である。
【0019】
サーバ1の構成例について説明する。
サーバ1は、プロセッサ11、メインメモリ12、補助記憶デバイス13及び通信インタフェース14を含む電子機器である。サーバ1を構成する各部は、互いに信号を入出力可能に接続されている。
図1では、インタフェースは、「I/F」と記載されている。
【0020】
プロセッサ11は、サーバ1の中枢部分に相当する。プロセッサ11は、サーバ1のコンピュータを構成する要素である。例えば、プロセッサ11は、CPU(Central Processing Unit)であるが、これに限定されない。プロセッサ11は、種々の回路で構成されていてもよい。プロセッサ11は、メインメモリ12又は補助記憶デバイス13に予め記憶されているプログラムをメインメモリ12に展開する。プログラムは、サーバ1のプロセッサ11に後述する各部を実現又は実行させるプログラムである。プロセッサ11は、メインメモリ12に展開されるプログラムを実行することで、種々の動作を実行する。
【0021】
メインメモリ12は、サーバ1の主記憶部分に相当する。メインメモリ12は、サーバ1のコンピュータを構成する要素である。メインメモリ12は、不揮発性のメモリ領域と揮発性のメモリ領域とを含む。メインメモリ12は、不揮発性のメモリ領域ではオペレーティングシステム又はプログラムを記憶する。メインメモリ12は、揮発性のメモリ領域を、プロセッサ11によってデータが適宜書き換えられるワークエリアとして使用する。例えば、メインメモリ12は、不揮発性のメモリ領域としてROM(Read Only Memory)を含む。例えば、メインメモリ12は、揮発性のメモリ領域としてRAM(Random Access Memory)を含む。メインメモリ12は、プログラムを記憶する。
【0022】
補助記憶デバイス13は、サーバ1の補助記憶部分に相当する。補助記憶デバイス13は、サーバ1のコンピュータを構成する要素である。補助記憶デバイス13は、EEPROM(登録商標)(Electric Erasable Programmable Read-Only Memory)、HDD(Hard Disc Drive)又はSSD(Solid State Drive)等である。補助記憶デバイス13は、上述のプログラム、プロセッサ11が各種の処理を行う上で使用するデータ及びプロセッサ11での処理によって生成されるデータを記憶する。補助記憶デバイス13は、上述のプログラムを記憶する。補助記憶デバイス13は、記憶部の一例である。
【0023】
補助記憶デバイス13は、会話ログ情報を記憶する。会話ログ情報は、第1の通信機器のユーザと第2の通信機器のユーザによる会話を記録した情報である。会話ログ情報は、発話者の情報、及び会話情報を少なくとも含む。発話者の情報は、例えば、発話者を識別可能な発話者識別情報である。発話者は、第1の通信機器のユーザ、及び第2の通信機器のユーザを含む。発話者識別情報は、ユーザID、発話者名等を含む。ユーザIDは、各発話者を個々に識別可能な情報である。発話者名は、発話者の氏名、又はユーザ名等であってもよい。発話者識別情報は、「医師」、「患者」等の発話者の属性を示す情報でもよい。会話情報は、発話者識別情報に関連付けられる。会話情報は、発話者により発話された発話内容を示す。会話情報は、発話に関する音声情報に基づいて音声認識処理を行った情報である。音声認識は、例えば、公知の技術を使用して、発話に関する音声情報をテキストデータに変換すること、セグメント化することを含む。会話情報は、少なくとも1つの発話文を含む。発話文は、例えば、ユーザの発話の区切りに基づいてセグメント化されたものである。発話文は、各発話文を識別する識別情報を含み得る。発話文は、少なくとも1つの単語を含む。単語は、意味を持つ最小の言語単位である。単語は、名詞、動詞、感嘆詞等の品詞を含む。
【0024】
会話ログ情報について
図3を参照して説明する。
図3は、実施形態に係る会話ログ情報のデータ構造
の一例を例示する図である。
図3は、医師と患者による会話が行われる場合の会話ログ情報を示す。会話ログ情報は、会話ログID、発話者識別情報、日時、ブックマークフラグ、会話情報等が紐づけられたレコードを有する。会話ログIDは、各発話文を個々に識別可能な情報である。発話文は、会話文ともいう。会話ログIDは、各セグメントを個々に識別可能な情報であってもよい。発話者識別情報は、ユーザID、及び発話者名を含み得る。
図3の例では、発話者名は、「医師」又は「患者」である。発話者識別情報は、各発話文に紐づけられる。発話者識別情報は、音声情報が出力された通信機器を識別可能な情報に基づく情報であってもよい。発話者識別情報は、音声情報が出力された通信機器のユーザを識別可能な情報に基づく情報であってもよい。日時は、発話時間情報を示す。発話時間情報は、発話が行われた時刻を示す時刻情報又は、会話が開始された時点からの経過時間を示す経過時間情報等を含み得る。
図3の例では、日時は、発話が行われた時刻を示す時刻情報を示す。発話が行われた時刻は、サーバ1が第1の通信機器3、又は第2の通信機器4から通話情報を取得した時刻に対応し得る。
【0025】
ブックマークフラグは、ユーザの操作に基づいて、ブックマークが設定されたか否かを示す情報である。ブックマークは、ユーザが会話ログから任意の発話文を選択し、選択された発話文を記録するための情報である。例えば、ブックマークは、ユーザにより重要な発話文として選択された発話文に設定され得る。ブックマークは、会話ログから重要な発話文を抽出したログを作成するための情報である。ブックマークフラグは、発話文毎に設定され得る。ブックマークフラグは、ブックマークが設定されたことを示す「YES」、及び設定されていないことを示す「NO」を含む。ブックマークフラグは、1ビット情報であってもよい。ブックマークフラグは、ユーザにより発話文を選択することにより設定され得る。ユーザは、重要な発話文を選択してブックマークを設定する。ブックマークフラグを設定することは、ブックマークを設定することと読み替えてもよい。
【0026】
会話情報は、例えば、発話内容を示すテキスト情報である。会話情報は、各発話文に紐づけられる。会話情報は、本文、及び編集文を含み得る。本文は、発話に関する音声情報に基づいて音声認識処理を行って得られた情報を示す。編集文は、ユーザの操作に基づいて、本文を編集した情報を示す。ユーザの操作は、会話ログ、又はブックマークログ上で発話文を編集する操作を含む。編集する操作は、会話ログ、又はブックマークログが表示された画面上で、発話文を選択する操作、テキスト情報を入力する操作、発話文の一部又は全部を削除する操作、発話文の一部を書き換える操作、発話文の一部又は全部を複製する操作、発話文の一部又は全部を移動する操作等を含む。会話ログは、発話文を時系列に並べたデータを示す。ブックマークログは、ユーザの操作に基づいてブックマークが設定された発話文を時系列に並べたデータを示す。ブックマークログは、ブックマークが設定された発話文を時系列で一覧表示するためのデータを示す。ブックマークログは、会話ログに含まれる会話文の一部を含む。
【0027】
図3の例では、会話ログID「1001」は、ユーザIDが「A」である医師により発話された発話文である。会話ログID「1001」の発話文が発話された時刻は、「17:00:35」である。会話ログID「1001」のブックマークフラグは、会話ログID「1001」の発話文にはブックマークが設定されていることを示す。会話ログID「1001」の発話文の会話内容は、「今日の体調はどうですか」である。会話ログID「1001」の発話文がユーザにより編集された場合、編集後の会話内容が編集文の項目に保存される。例えば、
図3の例では、会話ログID「1002」の発話文は、ユーザにより「熱も下がって熱は大分良くなってきました」と編集されたことを示す。
【0028】
発話文を編集するユーザは、第1の通信機器3のユーザ、及び第2の通信機器4のユーザを含み得る。発話文を編集するユーザは、予め設定されたユーザであってもよい。例えば、発話文を編集するユーザは、第2の通信機器4のユーザのみであってもよい。発話文を編集するユーザは、遠隔診療における医師であってもよい。発話文を編集するユーザは、発話者、管理者、設定者等により適宜設定されてもよい。
【0029】
会話ログ情報は、少なくとも会話ログID、発話者識別情報、日時、ブックマークフラグ、及び会話情報が紐づけられた情報である。
【0030】
補助記憶デバイス13は、診療ブースに関する情報を記憶し得る。診療ブースに関する情報は、診療ブースを識別可能な情報を含む。診療ブースに関する情報は、診療ブースに設置される医療機器の情報を含んでもよい。
【0031】
補助記憶デバイス13は、ユーザ情報を記憶し得る。ユーザ情報は、診療ブースを使用するユーザ(患者)に関する情報である。ユーザ情報は、ユーザ識別情報を含む。ユーザ識別情報は、ユーザを個々に識別するためにユーザ毎に割り当てられた固有の識別情報である。ユーザ情報は、ユーザの位置情報、診療履歴情報等の情報を含み得る。ユーザ情報は、医療機器の測定データを含み得る。
【0032】
通信インタフェース14は、所定の通信プロトコルに従い、ネットワークを介して、サーバ1を他の電子機器と通信可能に接続する種々のインタフェースを含む。
【0033】
なお、サーバ1のハードウェア構成は、上述の構成に限定されるものではない。サーバ1は、適宜、上述の構成要素の省略及び変更並びに新たな構成要素の追加を可能とする。
【0034】
上述のプロセッサ11に実現される各部について説明する。
プロセッサ11は、通話情報取得部110、ログ作成部111、記憶制御部112、ブックマーク処理部113、及び出力部114を実現する。プロセッサ11に実現される各部は、各機能ということもできる。プロセッサ11に実現される各部は、プロセッサ11及びメインメモリ12を含む制御部に実現されるということもできる。プロセッサ11は、処理回路の一例である。
【0035】
通話情報取得部110は、通信インタフェース14を介して、第1の通信機器3、及び第2の通信機器4から通話情報を取得する。通話情報は、音声情報を含む。音声情報は、ユーザの発話に関する音声情報を含む。音声情報は、音声の特徴を示す情報を含んでもよい。音声の特徴は、声の高さ、音色等を含み得る。通話情報は、発話者の情報、及び発話時間情報を含む。なお、通話情報取得部110は、第1の通信機器3、及び第2の通信機器4からユーザの生体データを取得してもよい。生体データは、医療機器251-1~251-mによる測定データでもよい。生体データは、第1の通信機器3、及び第2の通信機器4に接続されたセンサー等により測定されるデータでもよい。
【0036】
ログ作成部111は、通話情報に基づいて会話ログを作成する。ログ作成部111は、ユーザの発話に関する音声情報、発話者の情報、及び発話時間情報に基づいて、時系列で会話ログを作成する。ログ作成部111により作成される会話ログに関する情報は、会話ログ情報ともいう。会話ログ情報は、単に会話ログともいう。
【0037】
記憶制御部112は、通話情報取得部110により取得された情報を補助記憶デバイス13に保存する。記憶制御部112は、会話ログ情報を保存する。記憶制御部112は、会話ログ情報を更新する。記憶制御部112は、後述のブックマーク処理部113により設定されるブックマークフラグに基づいて、ブックマークフラグを設定、又は更新する。記憶制御部112は、ブックマーク処理部113により作成されるブックマークログに関するブックマークログ情報を補助記憶デバイス13に保存する。記憶制御部112は、ブックマークログ情報を更新する。記憶制御部112は、ブックマーク処理部113によるブックマークログの編集処理に基づいて、編集されたブックマークログ情報を保存する。
【0038】
ブックマーク処理部113は、ユーザの操作に基づいて、会話ログに含まれる会話文に設定されるブックマークを取得する。ユーザの操作は、会話ログが表示される会話ログ画面上で、発話文をタッチ操作等により選択する操作を含む。ユーザの操作は、会話ログ画面上に表示されるブックマーク設定ボタンをタッチ操作等により選択する操作を含む。ブックマークを取得することは、ブックマークフラグの設定指示を取得することに対応する。ブックマーク処理部113は、ブックマークフラグの設定指示を取得したことに基づいて、ブックマークフラグを設定する。ブックマーク処理部113は、ブックマークフラグに基づいて、ブックマークが設定されたブックマークログを作成する。ブックマーク処理部113は、ユーザの操作に基づいて、ブックマークログを編集する編集指示を取得する。ユーザの操作は、会話ログが表示される会話ログ画面上で、発話文をタッチ操作等により選択する操作を含む。ユーザの操作は、会話ログ画面上に表示される編集ボタンをタッチ操作等により選択する操作を含む。ユーザの操作は、テキスト情報の追加、削除、書換、複製、移動等を行う操作を含む。ユーザの操作は、テキスト入力を含む。編集は、発話文の追加、削除、書換、複製、移動等を含む。編集は、発話文に注釈を付けることを含んでもよい。ブックマーク処理部113は、編集指示に基づいてブックマークログ情報を編集する。ブックマークログ情報は、単にブックマークログともいう。ブックマークログ情報は、会話ログ情報の一部であってもよい。ブックマークログ情報は、会話ログ情報からブックマークフラグが設定されたレコードを抽出した情報であってもよい。
【0039】
出力部114は、通信インタフェース14を介して、第1の通信機器3、及び第2の通信機器4に会話ログ情報を出力する。出力部114は、会話ログ情報が作成される毎に会話ログ情報を出力してもよい。出力部114は、第1の通信機器3、及び第2の通信機器4からの会話ログ表示要求に基づいて、会話ログ情報を出力してもよい。出力部114は、通信インタフェース14を介して、第1の通信機器3、及び第2の通信機器4にブックマークログ情報を出力する。出力部114は、ブックマークログ情報が作成される毎にブックマークログ情報を出力してもよい。出力部114は、第1の通信機器3、及び第2の通信機器4からのブックマークログ表示要求に基づいて、ブックマークログ情報を出力してもよい。
【0040】
出力部114は、通信インタフェース14を介して、第1の通信機器3、及び第2の通信機器4に編集されたブックマークログ情報を出力する。出力部114は、ブックマークログ情報が編集される毎にブックマークログ情報を出力してもよい。出力部114は、第1の通信機器3、及び第2の通信機器4からのブックマークログ表示要求に基づいて、ブックマークログ情報を出力してもよい。出力部114は、ユーザの操作に基づいて、ブックマークログに含まれる会話文の前後の会話文を表示するための情報を第1の通信機器3、及び第2の通信機器4に出力してもよい。出力部114は、ユーザの操作に基づいて、ブックマークログに含まれる会話文と編集されたブックマークログに含まれる会話文を比較表示するための情報を第1の通信機器3、及び第2の通信機器4に出力してもよい。比較表示するための情報は、本文、及び編集文を含み得る。
【0041】
遠隔診療支援装置2の構成例について説明する。
遠隔診療支援装置2は、プロセッサ21、メインメモリ22、補助記憶デバイス23、通信インタフェース24、入出力インタフェース25、表示デバイス26、スピーカ27、及び入力デバイス28を含む電子機器である。遠隔診療支援装置2を構成する各部は、互いに信号を入出力可能に接続されている。
【0042】
プロセッサ21は、遠隔診療支援装置2の中枢部分に相当する。プロセッサ21は、遠隔診療支援装置2のコンピュータを構成する要素である。例えば、プロセッサ21は、上述のプロセッサ11と同様のハードウェア構成である。プロセッサ21は、メインメモリ22に展開されるプログラムを実行することで、種々の動作を実行する。プロセッサ21は、処理回路の一例である。
【0043】
メインメモリ22は、遠隔診療支援装置2の主記憶部分に相当する。メインメモリ22は、遠隔診療支援装置2のコンピュータを構成する要素である。メインメモリ22は、上述のメインメモリ12と同様のハードウェア構成である。メインメモリ22は、プログラムを記憶する。
【0044】
補助記憶デバイス23は、遠隔診療支援装置2の補助記憶部分に相当する。補助記憶デバイス23は、遠隔診療支援装置2のコンピュータを構成する要素である。補助記憶デバイス23は、上述の補助記憶デバイス13と同様のハードウェア構成である。補助記憶デバイス23は、上述のプログラムを記憶する。
【0045】
通信インタフェース24は、所定の通信プロトコルに従い、ネットワークを介して、遠隔診療支援装置2を他の機器と通信可能に接続する種々のインタフェースを含む。
【0046】
入出力インタフェース25は、遠隔診療支援装置2と外部機器とを接続するためのインタフェースである。外部機器は、少なくとも1つ医療機器251-1~251-m(mは1以上の整数)を含む。医療機器251-1~251-mは、例えば、心電計、血圧計、デジタル聴診器、パルスオキシメーター、細隙灯、外耳鏡等の医療機器を含む。医療機器251-1~251-mは、通信機能を持ち、測定データを遠隔診療支援装置2に出力する。
【0047】
表示デバイス26は、プロセッサ21の制御により種々の画面を表示可能なデバイスである。例えば、表示デバイス26は、液晶ディスプレイ又はELディスプレイ等である。
【0048】
スピーカ27は、プロセッサ21の制御により音声を出力可能なデバイスである。スピーカ27は、出力デバイスの一例である。
【0049】
入力デバイス28は、遠隔診療支援装置2へデータ又は指示を入力可能なデバイスである。例えば、入力デバイス28は、音声を入力可能な内蔵型のマイク、及び撮影範囲の撮影データを取得可能な内蔵型のカメラを含む。入力デバイス28は、キーボード又はタッチパネル等を含んでもよい。
【0050】
なお、遠隔診療支援装置2のハードウェア構成は、上述の構成に限定されるものではない。遠隔診療支援装置2は、適宜、上述の構成要素の省略及び変更並びに新たな構成要素の追加を可能とする。
【0051】
第1の通信機器3の構成例について説明する。
第1の通信機器3は、プロセッサ31、メインメモリ32、補助記憶デバイス33、通信インタフェース34、入出力インタフェース35、及び入力デバイス38を含む電子機器である。第1の通信機器3を構成する各部は、互いに信号を入出力可能に接続されている。
【0052】
プロセッサ31は、第1の通信機器3の中枢部分に相当する。プロセッサ31は、第1の通信機器3のコンピュータを構成する要素である。プロセッサ31は、上述のプロセッサ11と同様のハードウェア構成である。プロセッサ31は、メインメモリ32又は補助記憶デバイス33に予め記憶されているプログラムを実行することで、種々の動作を実行する。プロセッサ31は、処理回路の一例である。
【0053】
メインメモリ32は、第1の通信機器3の主記憶部分に相当する。メインメモリ32は、第1の通信機器3のコンピュータを構成する要素である。メインメモリ32は、上述のメインメモリ12と同様のハードウェア構成である。メインメモリ32は、プログラムを記憶する。
【0054】
補助記憶デバイス33は、第1の通信機器3の補助記憶部分に相当する。補助記憶デバイス33は、第1の通信機器3のコンピュータを構成する要素である。補助記憶デバイス33は、上述の補助記憶デバイス13と同様のハードウェア構成である。補助記憶デバイス33は、上述のプログラムを記憶する。
【0055】
通信インタフェース34は、所定の通信プロトコルに従い、ネットワークを介して、第1の通信機器3を他の機器と通信可能に接続する種々のインタフェースを含む。
【0056】
入出力インタフェース35は、第1の通信機器3と外部機器とを接続するためのインタフェースである。外部機器は、表示デバイス351-1、カメラ351-2、マイク351-3、及びスピーカ351-4を含む。表示デバイス351-1は、プロセッサ31の制御により種々の画面を表示可能なデバイスである。例えば、表示デバイス351-1は、液晶ディスプレイ又はELディスプレイ等である。カメラ351-2は、プロセッサ31の制御により撮影範囲の撮影データを取得可能なデバイスである。マイク351-3は、プロセッサ31の制御により音声を入力可能なデバイスである。スピーカ351-4は、プロセッサ31の制御により音声を出力可能なデバイスである。
【0057】
入力デバイス38は、第1の通信機器3へデータ又は指示を入力可能なデバイスである。例えば、入力デバイス38は、キーボード又はタッチパネル等を含む。
【0058】
なお、第1の通信機器3のハードウェア構成は、上述の構成に限定されるものではない。第1の通信機器3は、適宜、上述の構成要素の省略及び変更並びに新たな構成要素の追加を可能とする。
【0059】
第2の通信機器4の構成例について説明する。
第2の通信機器4は、プロセッサ41、メインメモリ42、補助記憶デバイス43、通信インタフェース44、入出力インタフェース45、及び入力デバイス48を含む電子機器である。第2の通信機器4を構成する各部は、互いに信号を入出力可能に接続されている。
【0060】
プロセッサ41は、第2の通信機器4の中枢部分に相当する。プロセッサ41は、第2の通信機器4のコンピュータを構成する要素である。プロセッサ41は、上述のプロセッサ11と同様のハードウェア構成である。プロセッサ41は、メインメモリ42又は補助記憶デバイス43に予め記憶されているプログラムを実行することで、種々の動作を実行する。プロセッサ41は、処理回路の一例である。
【0061】
メインメモリ42は、第2の通信機器4の主記憶部分に相当する。メインメモリ42は、第2の通信機器4のコンピュータを構成する要素である。メインメモリ42は、上述のメインメモリ12と同様のハードウェア構成である。メインメモリ42は、プログラムを記憶する。
【0062】
補助記憶デバイス43は、第2の通信機器4の補助記憶部分に相当する。補助記憶デバイス43は、第2の通信機器4のコンピュータを構成する要素である。補助記憶デバイス43は、上述の補助記憶デバイス13と同様のハードウェア構成である。補助記憶デバイス43は、上述のプログラムを記憶する。
【0063】
通信インタフェース44は、所定の通信プロトコルに従い、ネットワークを介して、第2の通信機器4を他の機器と通信可能に接続する種々のインタフェースを含む。
【0064】
入出力インタフェース45は、第2の通信機器4と外部機器とを接続するためのインタフェースである。外部機器は、表示デバイス451-1、カメラ451-2、マイク451-3、及びスピーカ451-4を含む。表示デバイス451-1は、プロセッサ41の制御により種々の画面を表示可能なデバイスである。例えば、表示デバイス451-1は、液晶ディスプレイ又はELディスプレイ等である。カメラ451-2は、プロセッサ41の制御により撮影範囲の撮影データを取得可能なデバイスである。マイク451-3は、プロセッサ41の制御により音声を入力可能なデバイスである。スピーカ451-4は、プロセッサ41の制御により音声を出力可能なデバイスである。
【0065】
入力デバイス48は、第2の通信機器4へデータ又は指示を入力可能なデバイスである。例えば、入力デバイス48は、キーボード又はタッチパネル等を含む。
【0066】
なお、第2の通信機器4のハードウェア構成は、上述の構成に限定されるものではない。第2の通信機器4は、適宜、上述の構成要素の省略及び変更並びに新たな構成要素の追加を可能とする。
【0067】
(表示例)
会話ログ、及びブックマークログの表示例について説明する。
図4は、実施形態に係る会話ログ画像の一例を例示する模式図である。
【0068】
図4は、会話ログ画像Imaを示す。会話ログ画像Imaは、第1の通信機器3の表示デバイス351-1、及び第2の通信機器4の表示デバイス451-1に表示され得る。会話ログ画像Imaは、会話ログが作成される毎にリアルタイムで表示されてもよい。会話ログ画像Imaは、第1の通信機器3のユーザ、又は第2の通信機器4のユーザからの会話ログ表示要求に基づいて表示されてもよい。
【0069】
会話ログ画像Imaは、発話者識別マークMa、発話文La、及びブックマークボタンBaを少なくとも含む。発話者識別マークMaは、発話者を識別可能なマークを示す。発話者識別マークMaは、発話者名を含み得る。
図4の例では、発話者識別マークMaは、「医師」、又は「患者」を示す。発話者識別マークMaは、発話者毎に異なる形状、色、大きさであってもよい。発話文Laは、発話内容を示すテキスト情報である。発話文Laは、例えば、吹き出し形状の枠を含んでもよい。発話文Laは、発話時間情報に基づいて、時系列に並べられる。ブックマークボタンBaは、ユーザによりタッチ入力等により選択されるボタンである。ブックマークボタンBaは、例えば、ブックマークを設定するブックマーク設定指示を入力可能なボタンである。ユーザによりブックマークボタンBaが選択されたことに応答して、ブックマーク処理部113は、ブックマークを設定する。ブックマークボタンBaは、
図4に示すように、各発話文に対して設けられてもよい。ユーザは、発話文に関連付けられたブックマークボタンBaを選択することにより、対応する発話文にブックマークを設定することができる。ブックマークボタンBaは、会話ログ画像において少なくとも1つも受けられ得る。ユーザは、ブックマークを設定する発話文をタッチ操作等により選択し、ブックマークボタンをタッチ入力することにより、選択した発話文にブックマークを設定してもよい。
【0070】
図5は、実施形態に係る会話ログ画像の別の例を例示する模式図である。
【0071】
図5は、会話ログ画像Imbを示す。会話ログ画像Imbは、第1の通信機器3の表示デバイス351-1、及び第2の通信機器4の表示デバイス451-1に表示され得る。会話ログ画像Imbは、会話ログが作成される毎にリアルタイムで表示されてもよい。会話ログ画像Imbは、第1の通信機器3のユーザ、又は第2の通信機器4のユーザからの会話ログ表示要求に基づいて表示されてもよい。
【0072】
会話ログ画像Imbは、発話者識別マークMb、発話文Lb、及びブックマークボタンBbを少なくとも含む。発話者識別マークMbは、発話者識別マークMaと同様に、発話者を識別可能なマークを示す。発話文Lbは、発話文Laと同様に、発話内容を示すテキスト情報である。ブックマークボタンBbは、ユーザによりタッチ入力等により選択されるボタンである。ブックマークボタンBbは、例えば、ブックマークを設定するブックマーク設定指示を入力可能なボタンである。ユーザによりブックマークボタンBbが選択されたことに応答して、ブックマーク処理部113は、ブックマークを設定する。ブックマークボタンBbは、
図5に示すように、各発話文に対して設けられてもよい。ブックマークボタンBbは、ユーザにより発話文がタッチ操作等により選択されたことに基づいて、選択された発話文に対して表示されてもよい。ユーザは、発話文に関連付けられたブックマークボタンBbを選択することにより、対応する発話文にブックマークを設定することができる。
【0073】
図6は、実施形態に係るブックマークログ画像の一例を例示する模式図である。
図6は、ブックマークログ画像Imcを示す。ブックマークログ画像Imcは、第1の通信機器3の表示デバイス351-1、及び第2の通信機器4の表示デバイス451-1に表示され得る。ブックマークログ画像Imcは、ブックマークログが作成される毎にリアルタイムで表示されてもよい。ブックマークログ画像Imcは、第1の通信機器3のユーザ、又は第2の通信機器4のユーザからのブックマークログ表示要求に基づいて表示されてもよい。
【0074】
ブックマークログ画像Imcは、発話者識別マークMc、発話文Lc、発話文Ld、及び省略マークMdを少なくとも含む。発話者識別マークMcは、発話者識別マークMaと同様に、発話者を識別可能なマークを示す。発話文Lc、及び発話文Ldは、発話文Laと同様に、発話内容を示すテキスト情報である。省略マークMdは、ブックマークログにおいて、前後の発話文が省略されていることを示すマークである。
図6の例では、ブックマークログにおいて、発話文Ldの前の発話文が省略されている。省略されている発話文は、ブックマークが設定されていない発話文を示す。
【0075】
ブックマークログは、ブックマークが設定された発話文のみを時系列に並べて表示することができるため、会話ログに含まれる発話文の中から重要な会話文を抜き出して表示することができる。ユーザは、ブックマークログを閲覧することで、会話の重要なポイントを確認することができる。
【0076】
図7は、実施形態に係るブックマークログ画像の別の例を例示する模式図である。
【0077】
図7は、ブックマークログ画像Imdを示す。ブックマークログ画像Imdは、第1の通信機器3の表示デバイス351-1、及び第2の通信機器4の表示デバイス451-1に表示され得る。ブックマークログ画像Imdは、ブックマークログが作成される毎にリアルタイムで表示されてもよい。ブックマークログ画像Imdは、第1の通信機器3のユーザ、又は第2の通信機器4のユーザからのブックマークログ表示要求に基づいて表示されてもよい。
【0078】
ブックマークログ画像Imdは、発話者識別マークMe、発話文Le、編集ボタンBc、及び前後会話文表示ボタンBdを少なくとも含む。発話者識別マークMeは、発話者識別マークMaと同様に、発話者を識別可能なマークを示す。発話文Leは、発話文Laと同様に、発話内容を示すテキスト情報である。編集ボタンBcは、ユーザによりタッチ入力等により選択されるボタンである。編集ボタンBcは、例えば、発話文を編集する編集指示を入力可能なボタンである。ユーザにより編集ボタンBcが選択されたことに応答して、ブックマーク処理部113は、発話文を編集する。編集ボタンBcは、
図7に示すように、各発話文に対して設けられてもよい。編集ボタンBcは、ユーザにより発話文がタッチ操作等により選択されたことに基づいて、選択された発話文に対して表示されてもよい。ユーザは、発話文に関連付けられた編集ボタンBcを選択することにより、対応する発話文を編集することができる。例えば、発話文の意味があいまいな場合等に、ユーザは発話文の意味を明確にするように発話文を編集することができる。具体的には、発話文「熱も下がって大分良くなってきました」では、熱の症状が良くなってきたのか、熱以外の症状も良くなってきたのか明確でないことがある。このような場合に、ユーザは、発話文を「熱も下がって熱は大分良くなってきました」と編集することで、発話文の意味を明確にすることができる。
【0079】
前後会話文表示ボタンBdは、ユーザによりタッチ入力等により選択されるボタンである。前後会話文表示ボタンBdは、例えば、発話文の前後の発話文を表示する表示指示を入力可能なボタンである。ユーザにより前後会話文表示ボタンBdが選択されたことに応答して、出力部114は、選択された発話文の前後の発話文を表示するための情報を出力する。出力部114は、例えば、選択された発話文の前後の発話文を会話ログ情報から取得し、取得した発話文の情報を出力してもよい。この例によれば、ユーザは、ブックマークログを見直しながら、ブックマークされた発話文だけだと会話の流れが分かりづらい時等に、前後の発話文を確認することで、ブックマークログからも会話の流れを容易に把握することができる。
【0080】
なお、ユーザは、表示された前後の発話文に対してブックマークを設定してもよい。この場合、ユーザは、表示された発話文を選択し、ブックマークボタンをタッチ入力等により選択する。ブックマーク処理部113は、ユーザによるブックマーク設定指示に基づいて、ブックマークを設定する。出力部114は、更新されたブックマーク情報を第1の通信機器3、及び第2の通信機器4に出力してもよい。この例によれば、ユーザは、ブックマークログを見直しながら、ブックマークを追加することができる。これにより、ユーザは、ブックマークログを編集し、より分かりやすいブックマークを作成することができる。
【0081】
なお、ブックマークログ画像Imdは、編集前の発話文と編集後の発話文を比較表示するための比較表示指示を入力可能な比較ボタンを含んでもよい。比較ボタンは、各発話文に設けられてもよいし、ユーザにより発話文が選択されたことに基づいて選択された発話文に対して設けられてもよい。ユーザにより比較ボタンがタッチ入力等により選択されたことに基づいて、出力部114は、会話ログ情報を参照し、本文と編集文の情報を含む比較表示情報を第1の通信機器3、及び第2の通信機器4に出力してもよい。第1の通信機器3の表示デバイス351-1、及び第2の通信機器4の表示デバイス451-1は、比較表示情報に基づいて、本文と編集文を比較表示するための比較表示画像を表示する。比較表示画像は、本文と編集文を左右に並べた画像を含み得る。比較表示画像は、本文と編集文とで異なる部分を強調表示した画像を含んでもよい。この例によれば、ユーザは、編集前の発話文と編集後の発話文を比較することができる。これにより、ユーザは、ブックマークログを後から見直す場合などに、発話時の記憶喚起をすることができる。
【0082】
(動作例)
情報処理システム100による処理の手順について説明する。
なお、以下のサーバ1を主体とする説明では、サーバ1をプロセッサ11と読み替えてもよい。第1の通信機器3を主体とする説明では、第1の通信機器3をプロセッサ31と読み替えてもよい。第2の通信機器4を主体とする説明では、第2の通信機器4をプロセッサ41と読み替えてもよい。
なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
【0083】
図8は、実施形態に係るサーバ1による情報処理の手順の一例を示すフローチャートである。
【0084】
以下の処理は、第1の通信機器3と第2の通信機器4との通話が開始されたことに基づいて開始されるものとする。
【0085】
通話情報取得部110は、第1の通信機器3、及び第2の通信機器4から通話情報を取得する(ACT1)。ACT1では、例えば、通話情報取得部110は、第1の通信機器3、及び第2の通信機器4から音声情報を取得する。音声情報は、第1の通信機器3、又は第2の通信機器4のユーザを識別するための発話者識別情報を含んでもよい。記憶制御部112は、取得した通話情報を補助記憶デバイス13に記憶してもよい。
【0086】
ログ作成部111は、通話情報に基づいて会話ログ情報を作成する(ACT2)。ACT2では、例えば、ログ作成部111は、ユーザの発話に関する音声情報に基づいて、音声認識処理を行う。ログ作成部111は、ユーザの発話に関する音声情報に基づくテキスト情報を発話文単位でセグメント化する。ログ作成部111は、セグメント化されたテキスト情報を発話者識別情報に紐づける。ログ作成部111は、発話者識別情報と紐づけられた発話文を含む会話ログ情報を作成する。ログ作成部111は、各発話文に関する発話時間情報を含む会話ログ情報を作成してもよい。
【0087】
記憶制御部112は、会話ログ情報を補助記憶デバイス13に保存する(ACT3)。
【0088】
出力部114は、会話ログ情報を第1の通信機器3、及び第2の通信機器4の少なくとも一方に出力する(ACT4)。会話ログ情報を取得した第1の通信機器3、及び第2の通信機器4の少なくとも一方は、会話ログ情報に基づいて、会話ログを表示デバイスに表示する。
【0089】
プロセッサ11は、第1の通信機器3と第2の通信機器4との通話が終了したか否かを判定する(ACT5)。プロセッサ11により通話が終了したと判定された場合(ACT5:YES)、処理は、終了する。プロセッサ11により通話が終了していないと判定された場合(ACT5:NO)、処理は、ACT5からACT1へ遷移する。プロセッサ11は、第1の通信機器3と第2の通信機器4との通話が終了するまで、ACT1~ACT4の処理を繰り返す。
【0090】
なお、プロセッサ11は、ACT2からACT3の処理を、第1の通信機器3と第2の通信機器4との通話が終了した後に行ってもよい。例えば、通話情報取得部110は、第1の通信機器3と第2の通信機器4との通話が行われている間に、通話情報を取得してもよい。ログ作成部111は、第1の通信機器3と第2の通信機器4との通話が終了した後に会話ログ情報を作成してもよい。
【0091】
なお、出力部114は、会話ログ表示要求に基づいて、第1の通信機器3、及び第2の通信機器4の少なくとも一方に会話ログ情報を出力してもよい。この例では、プロセッサ11は、第1の通信機器3、及び第2の通信機器4の少なくとも一方から会話ログ表示要求を取得する。例えば、プロセッサ11は、第1の通信機器3、又は第2の通信機器4のユーザのユーザ操作に基づいて、会話ログ表示要求を取得する。ユーザ操作は、例えば、表示デバイスに表示された会話ログを表示するための表示ボタンのクリック操作、又はタッチ操作を含み得る。出力部114は、会話ログ表示要求に基づいて、会話ログ情報を会話ログ表示要求の出力元である第1の通信機器3、及び第2の通信機器4の少なくとも一方に出力してもよい。
【0092】
なお、会話ログ表示要求は、第1の通信機器3及び第2の通信機器4とは異なる他の電子機器から出力されてもよい。例えば、図示しないユーザ端末により会話ログ表示要求が出力されてもよい。この場合、出力部114は、会話ログ表示要求の出力元であるユーザ端末に会話ログ情報を出力してもよい。
【0093】
図9は、実施形態に係るサーバ1による情報処理の手順の一例を示すフローチャートである。
【0094】
以下の処理は、第1の通信機器3と第2の通信機器4との通話が開始されたことに基づいて開始されるものとする。
【0095】
ブックマーク処理部113は、第1の通信機器3、及び第2の通信機器4の少なくとも一方からブックマーク設定指示を取得する(ACT11)。ACT11では、例えば、ブックマーク処理部113は、ブックマーク設定権限のあるユーザからのブックマーク設定指示を取得する。ブックマーク設定権限は、例えば、管理者、通信機器間での通話のホスト、設定者等により予め設定され得る。ブックマーク設定権限は、管理者、通信機器間での通話のホスト、設定者等により適宜更新され得る。ブックマーク設定権限は、例えば、発話者のうち少なくとも1人に付与され得る。ブックマーク設定権限は、発話者の全員に付与されてもよい。以下の説明では、ブックマーク設定権限は、第1の通信機器3のユーザ、及び第2の通信機器4のユーザに付与されているものとする。第1の通信機器3のユーザは、例えば、患者である。第2の通信機器4のユーザは、例えば、医師である。医師、又は患者は、表示デバイスに表示される会話ログに基づいて、ブックマークを設定したい発話文に対してブックマーク設定指示を入力する。ブックマーク処理部113は、ブックマーク設定指示が入力された第1の通信機器3、及び第2の通信機器4の少なくとも一方からブックマーク設定指示を取得する。記憶制御部112は、ブックマーク処理部113によりブックマーク設定指示が取得されたことに基づいて、会話ログ情報の対応する発話文にブックマークを設定する。
【0096】
ブックマーク処理部113は、ブックマークフラグに基づいて、ブックマークログ情報を作成する(ACT12)。ACT12では、例えば、ブックマーク処理部113は、会話ログ情報を参照し、ブックマークフラグが設定されている発話文を抽出する。ブックマーク処理部113は、抽出した発話文を時系列に並べて表示するためのブックマークログ情報を作成する。ブックマークログ情報は、ブックマークが設定された発話文に関する情報、ブックマークが設定された発話文の発話時間情報を含む。ブックマークが設定された発話文に関する情報は、発話者の情報を含む。
【0097】
記憶制御部112は、ブックマークログ情報を補助記憶デバイス13に保存する(ACT13)。
【0098】
出力部114は、ブックマークログ情報を第1の通信機器3、及び第2の通信機器4の少なくとも一方に出力する(ACT14)。ブックマークログ情報を取得した第1の通信機器3、及び第2の通信機器4の少なくとも一方は、ブックマークログ情報に基づいて、ブックマークログを表示デバイスに表示する。
【0099】
プロセッサ11は、第1の通信機器3と第2の通信機器4との通話が終了したか否かを判定する(ACT15)。プロセッサ11により通話が終了したと判定された場合(ACT15:YES)、処理は、終了する。プロセッサ11により通話が終了していないと判定された場合(ACT15:NO)、処理は、ACT15からACT11へ遷移する。プロセッサ11は、第1の通信機器3と第2の通信機器4との通話が終了するまで、ACT11~ACT14の処理を繰り返す。
【0100】
なお、プロセッサ11は、ACT11からACT14の処理を、第1の通信機器3と第2の通信機器4との通話が終了した後に行ってもよい。例えば、ブックマーク処理部113は、第1の通信機器3、及び第2の通信機器4の少なくとも一方の表示デバイスに会話ログが表示されている間に、ブックマーク設定指示を取得してもよい。ブックマーク処理部113は、ブックマーク設定指示を取得したことに基づいて、ブックマークログ情報を作成してもよい。
【0101】
なお、出力部114は、ブックマークログ表示要求に基づいて、第1の通信機器3、及び第2の通信機器4の少なくとも一方にブックマークログ情報を出力してもよい。この例では、プロセッサ11は、第1の通信機器3、及び第2の通信機器4の少なくとも一方からブックマークログ表示要求を取得する。例えば、プロセッサ11は、第1の通信機器3、又は第2の通信機器4のユーザのユーザ操作に基づいて、ブックマークログ表示要求を取得する。ユーザ操作は、例えば、表示デバイスに表示されたブックマークログを表示するための表示ボタンのクリック操作、又はタッチ操作を含み得る。出力部114は、ブックマークログ表示要求に基づいて、ブックマークログ情報をブックマークログ表示要求の出力元である第1の通信機器3、及び第2の通信機器4の少なくとも一方に出力してもよい。
【0102】
なお、出力部114は、ブックマークログ閲覧権限のあるユーザからブックマークログ表示要求を取得してもよい。ブックマークログ閲覧権限は、例えば、管理者、通信機器間での通話のホスト、設定者等により予め設定され得る。ブックマークログ閲覧権限は、管理者、通信機器間での通話のホスト、設定者等により適宜更新され得る。ブックマークログ閲覧権限は、例えば、発話者のうち少なくとも1人に付与され得る。ブックマークログ閲覧権限は、発話者の全員に付与されてもよい。ブックマークログ閲覧権限は、ブックマーク設定権限が付与されたユーザに対して付与されてもよい。ブックマークログ閲覧権限は、ブックマーク設定権限が付与されたユーザの一部に対して付与されてもよい。
【0103】
なお、ブックマークログ表示要求は、第1の通信機器3及び第2の通信機器4とは異なる他の電子機器から出力されてもよい。例えば、図示しないユーザ端末によりブックマークログ表示要求が出力されてもよい。この場合、出力部114は、ブックマークログ表示要求の出力元であるユーザ端末にブックマークログ情報を出力してもよい。
【0104】
この例によれば、サーバ1は、ユーザにより設定されたブックマークに基づいて、ブックマークログを第1の通信機器3、及び第2の通信機器4の少なくとも一方に出力することができる。そのため、第1の通信機器3、及び第2の通信機器4のユーザは、ブックマークが設定された発話を含むブックマークログを閲覧することができる。ユーザは、ブックマークログに基づいて会話の重要なポイントを容易に理解することができる。サーバ1は、ブックマークに基づいて、会話ログから重要な発話を容易に抽出することができる。
【0105】
図10は、実施形態に係るサーバ1による情報処理の手順の一例を示すフローチャートである。
【0106】
以下の処理は、第1の通信機器3、及び第2の通信機器4の少なくとも一方にブックマークログが表示されている場合に開始されるものとする。
【0107】
ブックマーク処理部113は、第1の通信機器3、及び第2の通信機器4の少なくとも一方からブックマーク編集指示を取得する(ACT21)。ブックマーク編集指示は、ユーザによる編集操作に基づく編集を行うための指示を示す。ACT21では、例えば、ブックマーク処理部113は、ブックマーク編集権限のあるユーザからのブックマーク編集指示を取得する。ブックマーク編集権限は、例えば、管理者、通信機器間での通話のホスト、設定者等により予め設定され得る。ブックマーク編集権限は、管理者、通信機器間での通話のホスト、設定者等により適宜更新され得る。ブックマーク編集権限は、例えば、発話者のうち少なくとも1人に付与され得る。ブックマーク編集権限は、発話者の全員に付与されてもよい。ブックマーク編集権限は、ブックマーク設定権限が付与されたユーザに対して付与されてもよい。ブックマーク編集権限は、ブックマーク設定権限が付与されたユーザの一部に対して付与されてもよい。以下の説明では、ブックマーク設定権限は、第2の通信機器4のユーザに付与されているものとする。医師は、表示デバイスに表示されるブックマークログに基づいて、編集したい発話文に対してブックマーク編集指示を入力する。この例では、ブックマーク処理部113は、第2の通信機器4からブックマーク編集指示を取得する。
【0108】
ブックマーク処理部113は、第1の通信機器3、及び第2の通信機器4の少なくとも一方からブックマーク編集情報を取得する(ACT22)。ACT22では、例えば、ブックマーク処理部113は、ブックマーク編集指示を出力したユーザからのブックマーク編集情報を取得する。この例では、ブックマーク処理部113は、第2の通信機器4からブックマーク編集情報を取得する。ブックマーク編集情報は、ユーザによる編集操作に基づく編集に関する情報を示す。ブックマーク編集情報は、編集文の情報を含む。ブックマーク編集情報は、ユーザにより編集操作がされた時刻を示す時間情報を含んでもよい。
【0109】
記憶制御部112は、ブックマーク編集情報を補助記憶デバイス13に保存する(ACT23)。記憶制御部112は、ブックマーク編集情報に基づいてブックマークログ情報を更新してもよい。
【0110】
出力部114は、編集後のブックマークログ情報を第1の通信機器3、及び第2の通信機器4の少なくとも一方に出力する(ACT24)。ブックマークログ情報を取得した第1の通信機器3、及び第2の通信機器4の少なくとも一方は、ブックマークログ情報に基づいて、ブックマークログを表示デバイスに表示する。
【0111】
なお、上述の処理は、第1の通信機器3と第2の通信機器4との通話が行われている間に実行されてもよい。
【0112】
なお、ブックマーク編集指示は、第1の通信機器3及び第2の通信機器4とは異なる他の電子機器から出力されてもよい。例えば、図示しないユーザ端末によりブックマーク編集指示が出力されてもよい。この場合、出力部114は、ブックマーク編集指示の出力元であるユーザ端末にブックマークログ情報を出力してもよい。
【0113】
この例によれば、サーバ1は、ユーザの操作に基づいて、ブックマークログを編集することができる。ユーザは、ブックマークログを閲覧している間に、ブックマークログを編集することができる。ユーザは、ブックマークログを後から見直した場合により分かりやすくなるように編集することができる。
【0114】
図11は、実施形態に係るサーバ1による情報処理の手順の一例を示すフローチャートである。
【0115】
以下の処理は、第1の通信機器3、及び第2の通信機器4の少なくとも一方にブックマークログが表示されている場合に開始されるものとする。
【0116】
ブックマーク処理部113は、第1の通信機器3、及び第2の通信機器4の少なくとも一方から前後会話文表示指示を取得する(ACT31)。前後会話文表示指示は、ユーザによる操作に基づくブックマークログに含まれる発話文の前後の発話文を表示するための指示を示す。ACT31では、例えば、ブックマーク処理部113は、ユーザにより前後会話文表示ボタンの選択操作に基づいて前後会話文表示指示を取得する。ブックマーク処理部113は、ブックマーク編集権限のあるユーザからの前後会話文表示指示を取得してもよい。以下の説明では、ブックマーク設定権限は、第2の通信機器4のユーザに付与されているものとする。医師は、表示デバイスに表示されるブックマークログに基づいて、前後の発話文を表示したい発話文に対して前後会話文表示指示を入力する。この例では、ブックマーク処理部113は、第2の通信機器4からブックマーク編集指示を取得する。
【0117】
なお、ブックマーク処理部113は、ブックマーク編集権限のないユーザから前後会話文表示指示を取得してもよい。ブックマーク処理部113は、ブックマークログ閲覧権限のあるユーザから前後会話文表示指示を取得してもよい。
【0118】
ブックマーク処理部113は、前後会話文表示指示に基づいて、選択された発話文の前後の発話文を会話ログ情報から取得する(ACT32)。選択された発話文は、前後会話文表示指示に関連付けられた発話文を示す。選択された発話文は、選択発話文ともいう。ACT32では、例えば、ブックマーク処理部113は、前後会話文表示指示に関連付けられた発話文の発話時間情報に基づいて、選択発話文の発話時間情報より前の発話文、及び選択発話文の発話時間情報より後の発話文を取得する。選択発話文の発話時間情報より前の発話文、及び選択発話文の発話時間情報より後の発話文の数は、予め設定された数でもよく、ユーザにより指定された数でもよい。この例では、ブックマーク処理部113は、選択発話文の発話時間情報より1つ前の発話文を1つ、及び選択発話文の発話時間情報より1つ後の発話文を1つ取得するものとする。例えば、ブックマーク処理部113は、選択発話文が会話ログID「1003」の発話文である場合について説明する。ブックマーク処理部113は、会話ログID「1003」の発話文の1つ前の発話文である会話ログID「1002」の発話文を取得する。ブックマーク処理部113は、会話ログID「1003」の発話文の1つ後の発話文である会話ログID「1004」の発話文を取得する。
【0119】
出力部114は、取得した前後会話文に関する情報を第1の通信機器3、及び第2の通信機器4の少なくとも一方に出力する(ACT33)。ACT33では、例えば、出力部114は、取得した前後会話文の発話内容を含む情報を前後会話文表示指示の出力元の通信機器に出力する。この例では、出力部114は、取得した前後会話文の発話内容を含む情報を第2の通信機器4に出力する。第2の通信機器4は、前後会話文に関する情報を取得する。第2の通信機器4は、ブックマークログ画像に前後会話文を含む画像を表示デバイスに表示する。第2の通信機器4は、例えば、ブックマークログ画像に前後会話文を含む画像を合成又は重畳して表示してもよい。
【0120】
なお、第2の通信機器4のユーザは、前後会話文に対してブックマークを設定してもよい。この場合、ブックマーク処理部113は、前後会話文に対するブックマーク設定指示を取得する。記憶制御部112は、ブックマークフラグを更新する。ブックマーク処理部113は、ブックマーク情報を更新する。出力部114は、更新されたブックマーク情報を第1の通信機器3、及び第2の通信機器4の少なくとも一方に出力してもよい。
【0121】
なお、上述の処理は、第1の通信機器3と第2の通信機器4との通話が行われている間に実行されてもよい。
【0122】
なお、前後会話文表示指示は、第1の通信機器3及び第2の通信機器4とは異なる他の電子機器から出力されてもよい。例えば、図示しないユーザ端末によりブックマーク編集指示が出力されてもよい。この場合、出力部114は、前後会話文表示指示の出力元であるユーザ端末に前後会話文に関する情報を出力してもよい。
【0123】
この例によれば、サーバ1は、ユーザの操作に基づいて、ブックマークログに含まれる発話文の前後の発話文に関する情報を出力することができる。ユーザは、ブックマークログを閲覧している間に、ブックマークログに含まれる発話文の前後の発話文を閲覧することができる。ユーザは、ブックマークログを後から見直した場合に、ブックマークログだけでは把握できない会話の流れを前後の発話文を閲覧することにより、容易に確認することができる。
【0124】
(他の実施形態)
上述の実施形態では、診療ブースは、遠隔診療支援装置2、及び第1の通信機器3を含む例について説明したが、これに限られない。診療ブースは、遠隔診療支援装置2、及び第1の通信機器3の一方を含んでもよい。診療ブースが第1の通信機器3を含まず、遠隔診療支援装置2を含む場合、遠隔診療支援装置2は、第1の通信機器3の機能を実現してもよい。診療ブースが遠隔診療支援装置2を含まず、第1の通信機器3を含む場合、第1の通信機器3は、遠隔診療支援装置2の機能を実現してもよい。
【0125】
上述の実施形態では、遠隔診療における医師と患者による通話を例に説明したが、これに限られない。上述の実施形態では、WEB会議、テレビ会議、遠隔教育等の複数の通信機器のユーザによる通話が行われる場合に適用可能である。
【0126】
情報処理装置は、サーバ1のような1つの装置で実現されてもよいし、機能を分散させた複数の装置で実現されてもよい。
【0127】
上述の実施形態は、装置だけでなく、装置が実行する方法に適用されてもよい。上述の実施形態は、装置のコンピュータに各機能を実行させることが可能なプログラムに適用されてもよい。上述の実施形態は、プログラムを記憶する記録媒体に適用されてもよい。上述の実施形態は、システムだけでなく、システムに含まれる複数の要素が実行する方法に適用されてもよい。
【0128】
処理回路は、複数の機能による複数の処理を実現する1つ以上の回路を含む。例えば、回路は、プロセッサ、ASIC(Application Specific Integrated Circuit)又はFPGA(field-Programmable Gate Array)であるが、これらに限定されない。
【0129】
処理回路を構成する1つ以上の回路のそれぞれは、複数の処理のうちの1つ以上の処理を実行する。処理回路が単一の回路で構成される場合、単一の回路は、複数の処理の全部を実行する。処理回路が複数の回路で構成される場合、複数の回路のそれぞれは、複数の処理のうちの一部を実行する。複数の処理のうちの一部は、複数の処理のうちの1つでもよいし、複数の処理のうちの2つ以上でもよい。処理回路が複数の回路で構成される場合、複数の回路は、1つの装置に含まれていてもよいし、複数の装置に分散していてもよい。
【0130】
プログラムは、装置に記憶された状態で譲渡されてよいし、装置に記憶されていない状態で譲渡されてもよい。後者の場合は、プログラムは、ネットワークを介して譲渡されてよいし、記録媒体に記録された状態で譲渡されてもよい。記録媒体は、非一時的な有形の媒体である。記録媒体は、コンピュータ可読媒体である。記録媒体は、CD-ROM、メモリカード等のプログラムを記憶可能かつコンピュータで読取可能な媒体であればよく、その形態は問わない。
【0131】
以上、本発明の実施形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。
【0132】
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【0133】
(付記)
上述の実施形態は、以下のように表されてもよい。
(1) 複数の端末間の通話を処理する情報処理装置が実行する情報処理方法であって、
端末からユーザの通話情報を取得することと、
前記通話情報に基づいて、会話ログを作成することと、
前記ユーザの操作に基づいて、前記会話ログに含まれる会話文に設定されるブックマークを取得することと、
前記ブックマークに基づいて、ブックマークが設定されたブックマークログを作成することと、
前記ブックマークログを出力することと、
を備える情報処理方法。
(2) 前記ユーザの操作に基づいて、前記ブックマークログを編集する編集指示を取得することと、
前記編集指示に基づいて前記ブックマークログを編集することと、
編集されたブックマークログを出力することと、
をさらに備える、(1)に記載の情報処理方法。
(3) 前記ユーザの操作に基づいて、前記ブックマークログに含まれる会話文の前後の会話文を表示するための情報を出力することをさらに備える、
(1)に記載の情報処理方法。
(4) 前記ユーザの操作に基づいて、前記ブックマークログに含まれる会話文と前記編集されたブックマークログに含まれる会話文を比較表示するための情報を出力することをさらに備える、
(2)に記載の情報処理方法。
(5) 複数の端末間の通話を処理する情報処理装置であって、
端末からユーザの通話情報を取得する通話情報取得部と、
前記通話情報に基づいて、会話ログを作成するログ作成部と、
前記ユーザの操作に基づいて、前記会話ログに含まれる会話文に設定されるブックマークを取得し、前記ブックマークに基づいて、ブックマークが設定されたブックマークログを作成するブックマーク処理部と、
前記ブックマークログを出力する出力部と、
を備える情報処理装置。
(6) 複数の端末間の通話を処理する情報処理装置のコンピュータに、
端末からユーザの通話情報を取得する機能と、
前記通話情報に基づいて、会話ログを作成する機能と、
前記ユーザの操作に基づいて、前記会話ログに含まれる会話文に設定されるブックマークを取得し、前記ブックマークに基づいて、ブックマークが設定されたブックマークログを作成する機能と、
前記ブックマークログを出力する機能と、
を実行させることが可能なプログラム。
【符号の説明】
【0134】
1…サーバ、2…遠隔診療支援装置、3…第1の通信機器、4…第2の通信機器、11…プロセッサ、12…メインメモリ、13…補助記憶デバイス、14…通信インタフェース、21…プロセッサ、22…メインメモリ、23…補助記憶デバイス、24…通信インタフェース、25…入出力インタフェース、26…表示デバイス、27…スピーカ、28…入力デバイス、31…プロセッサ、32…メインメモリ、33…補助記憶デバイス、34…通信インタフェース、35…入出力インタフェース、38…入力デバイス、41…プロセッサ、42…メインメモリ、43…補助記憶デバイス、44…通信インタフェース、45…入出力インタフェース、48…入力デバイス、100…情報処理システム、110…通話情報取得部、111…ログ作成部、112…記憶制御部、113…ブックマーク処理部、114…出力部、251-1~251-m…医療機器、351-1…表示デバイス、351-2…カメラ、351-3…マイク、351-4…スピーカ、451-1…表示デバイス、451-2…カメラ、451-3…マイク、451-4…スピーカ、Ba~Bb…ブックマークボタン、Bc…編集ボタン、Bd…前後会話文表示ボタン、Ima~Imb…会話ログ画像、Imc~Imd…ブックマークログ画像、La~Le…発話文、Ma~Mc、Me…発話者識別マーク、Md…省略マーク。