(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024066439
(43)【公開日】2024-05-15
(54)【発明の名称】プログラム、及び情報処理方法
(51)【国際特許分類】
G06Q 50/10 20120101AFI20240508BHJP
G16H 80/00 20180101ALI20240508BHJP
【FI】
G06Q50/10
G16H80/00
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2023136486
(22)【出願日】2023-08-24
(31)【優先権主張番号】63/421,227
(32)【優先日】2022-11-01
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】000003562
【氏名又は名称】東芝テック株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】鎌田 陣
【テーマコード(参考)】
5L049
5L050
5L099
【Fターム(参考)】
5L049CC12
5L050CC12
5L099AA01
(57)【要約】 (修正有)
【課題】注釈を挿入した会話ログを作成することができるプログラム及び情報処理方法を提供する。
【解決手段】サーバ、遠隔診療支援装置、第1の通信機器及び第2の通信機器が、ネットワークを介して互いに通信自在に接続する情報処理システムにおいて、プログラムを実行するサーバは、第1の通信機器、及び第2の通信機器から通話情報を取得し、通話情報に基づいて会話ログ情報を作成して保存し、第1の通信機器及び第2の通信機器4の少なくとも一方に会話ログ情報を出力し、第2の通信機器から注釈設定指示を取得したか否かを判定し、取得された場合は、第2の通信機器から注釈に関する情報を取得し、取得した注釈に関する情報に基づいて、会話ログ情報を更新し、更新された会話ログ情報を第1の通信機器、第2の通信機器に出力する。
【選択図】
図13
【特許請求の範囲】
【請求項1】
コンピュータに、
複数の端末間の通話に基づく会話ログを表示する機能と、
ユーザの操作に基づいて、前記会話ログに含まれる発話文に設定する注釈に関する情報を取得する機能と、
前記注釈に関する情報に基づいて更新された会話ログを表示する機能と、
を実行させることが可能なプログラム。
【請求項2】
コンピュータに、
前記ユーザの操作に基づいて、前記会話ログの記録を停止するための停止要求を出力する機能をさらに実行させることが可能な請求項1に記載のプログラム。
【請求項3】
コンピュータに、
前記ユーザの操作に基づいて、前記会話ログの記録を再開するための再開要求を出力する機能をさらに実行させることが可能な請求項1に記載のプログラム。
【請求項4】
他の端末から前記注釈についての承諾に関する情報を取得したことに基づいて、前記注釈を反映することを確認するための確認要求を出力する機能をさらに実行させることが可能な請求項1に記載のプログラム。
【請求項5】
前記更新された会話ログを表示する機能は、前記注釈を認識可能な態様で表示する機能を含む、請求項1に記載のプログラム。
【請求項6】
複数の端末間の通話に基づく会話ログを表示することと、
ユーザの操作に基づいて、前記会話ログに含まれる発話文に設定する注釈に関する情報を取得することと、
前記注釈に関する情報に基づいて更新された会話ログを表示することと、
を備える情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、プログラム、及び情報処理方法に関する。
【背景技術】
【0002】
近年、病院での診療方法として、患者が病院に出向き医師と対面で実施する「対面治療」だけではなく医師と患者が通信デバイスを用いることで、患者が医療機関に直接出向かず診察を受ける「遠隔診療」が行われるようになっている。遠隔診療においては、患者宅、又は所定の場所に医療機器を設置し、医療機器で得たバイタルデータを通信で遠隔地の医師に送り、医師はデータに基づいて診断を行う。
【0003】
遠隔診療の一つとして、所定の場所において、医療機器と通話が可能な機器を備えた、リアルタイムで患者と医師とのビデオ通話等による診療が可能な遠隔診療ブース、遠隔診療ボックス、遠隔診療キオスク等と呼ばれる、情報処理システムがある。これにより、通信デバイスによる対話での診療だけでなく、血圧計や聴診器等の医療機器を用いた診療が遠隔診療で実現でき、より詳細に症状の検査が可能となる。
【0004】
遠隔診療では、通信デバイスを介した対話をテキストデータ化し、医師や患者、患者の家族等が対話終了後に見直せる会話ログを利用することがある。
【0005】
しかしながら、通常の会話ログでは、通信トラブル等の主題に関係のない内容の会話もそのまま記録されるため、後日、本人、又は家族等が会話ログを確認する際に誤解が生じることがある。
【0006】
そこで、注釈等を挿入することで誤解を生じさせないような会話ログを作成することができる通話処理システムが求められている。
【先行技術文献】
【特許文献】
【0007】
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明の実施形態が解決しようとする課題は、注釈を挿入した会話ログを作成することができるプログラム、及び情報処理方法を提供しようとするものである。
【課題を解決するための手段】
【0009】
一実施形態において、プログラムは、コンピュータに、複数の端末間の通話に基づく会話ログを表示する機能と、ユーザの操作に基づいて、前記会話ログに含まれる発話文に設定する注釈に関する情報を取得する機能と、前記注釈に関する情報に基づいて更新された会話ログを表示する機能と、を実行させることが可能である。
【図面の簡単な説明】
【0010】
【
図1】
図1は、実施形態に係る情報処理システムに含まれる遠隔診療ブースを例示する外観図である。
【
図2】
図2は、実施形態に係る情報処理システムを例示するブロック図である。
【
図3】
図3は、実施形態に係る会話ログ情報のデータ構造の一例を例示する図である。
【
図4】
図4は、実施形態に係る会話ログ画像の一例を例示する模式図である。
【
図5】
図5は、実施形態に係る編集指示画像の一例を例示する模式図である。
【
図6】
図6は、実施形態に係る通知画像の一例を例示する模式図である。
【
図7】
図7は、実施形態に係る会話ログ画像の一例を例示する模式図である。
【
図8】
図8は、実施形態に係る編集入力画像の一例を例示する模式図である。
【
図9】
図9は、実施形態に係る通知画像の一例を例示する模式図である。
【
図10】
図10は、実施形態に係る通知画像の一例を例示する模式図である。
【
図11】
図11は、実施形態に係る会話ログ画像の一例を例示する模式図である。
【
図12】
図12は、実施形態に係る情報処理システムによる情報処理の手順の一例を示すシーケンス図である。
【
図13】
図13は、実施形態に係るサーバによる情報処理の手順の一例を示すフローチャートである。
【
図14】
図14は、実施形態に係る第2の通信機器による情報処理の手順の一例を示すフローチャートである。
【
図15】
図15は、実施形態に係る第2の通信機器による情報処理の手順の別の例を示すフローチャートである。
【
図16】
図16は、実施形態に係る第1の通信機器による情報処理の手順の一例を示すフローチャートである。
【発明を実施するための形態】
【0011】
(実施形態)
(構成例)
以下、図面を用いて実施形態について説明する。
【0012】
各図面において同一の構成要素に対しては可能な限り同一の符号を付し、重複する説明は省略する。
図1は、実施形態に係る情報処理システム100に含まれる遠隔診療ブースを例示する外観図である。
遠隔診療ブースは、四方を壁に囲まれ、会話などが外部に漏れにくく、診察中のプライバシーが守られるような設備である。遠隔診療ブースは、診療ブース、又は単にブースともいう。ブース内には椅子、机等が設置され、測定を行うための医療機器、及びブース外の医師とコミュニケーションをとるための通信装置が設置されている。例えば、各市区町村等のエリア毎に複数の診療ブースが設置されている。患者は、予め診療ブースで遠隔診療を受けるための予約を行い、予約時間に予約した診療ブースに入る。患者は、診療ブース内の通信装置を介して医師とビデオ通話等で対話を行い、医師の指示等に基づいて医療機器を使用し、生体データ等の測定を行う。医療機器による測定データは、リアルタイムで医師が使用する医者用機器等で参照することができる。医師は、測定データに基づいて診察を行うことができる。各診療ブースは、病院毎に設けられてもよいし、複数の病院の複数の医師により使用されるものでもよい。
【0013】
図2は、実施形態に係る情報処理システム100を例示するブロック図である。
情報処理システム100は、サーバ1、第2の通信機器4、及び少なくとも1つの遠隔診療ブースを含む。遠隔診療ブースは、遠隔診療支援装置2、及び第1の通信機器3を含む。サーバ1、遠隔診療支援装置2、第1の通信機器3、及び第2の通信機器4は、ネットワークを介して互いに通信自在に接続する。例えば、ネットワークは、インターネット、携帯通信網及びLAN(Local Area Network)等の種々のネットワークのうちの1以上のネットワークで構成される。1以上のネットワークは、無線ネットワークを含んでもよいし、有線ネットワークを含んでもよい。遠隔診療支援装置2、及び第1の通信機器3は、ネットワークを介して互いに通信可能に接続されている。ネットワークは、LAN等である。LANは、無線LANでもよいし、有線LANでもよい。遠隔診療支援装置2は、少なくとも1つの医療機器と互いに通信自在に接続する。遠隔診療支援装置2と少なくとも1つの医療機器251-1~251-mは、有線又は無線で直接的に通信可能に接続されている。遠隔診療支援装置2と少なくとも1つの医療機器251-1~251-mは、例えば、LAN、Bluetooth(登録商標)、Wi-Fi(登録商標)等により接続されてもよい。なお、情報処理システム100は、サーバ1、遠隔診療支援装置2、第1の通信機器3、第2の通信機器4、及び医療機器251-1~251-mのうちの少なくとも2つの機器を含むシステムを指すこともある。
【0014】
サーバ1は、データを収集し、収集したデータを処理する電子機器である。電子機器は、コンピュータを含む。サーバ1は、ネットワークを介して、遠隔診療支援装置2、第1の通信機器3、及び第2の通信機器4と通信自在に接続する。サーバ1は、遠隔診療支援装置2、第1の通信機器3、及び第2の通信機器4から種々のデータを受け取り、遠隔診療支援装置2、第1の通信機器3、及び第2の通信機器4に種々のデータを出力する。サーバ1は、クラウドサービスで用いられるサーバであってもよい。
【0015】
サーバ1は、第1の通信機器3と第2の通信機器4との間でビデオ通信等を行う通話サービスを実現し得る。なお、通話サービスは、音声による通信に基づく通話サービスでもよい。通話サービスは、ビデオ映像による通信を伴わないものでもよい。サーバ1は、遠隔診療支援装置2、第1の通信機器3、及び第2の通信機器4との間で遠隔診療サービスを実現し得る。サーバ1の構成例については後述する。
【0016】
遠隔診療支援装置2は、他の電子機器と通信可能な電子機器である。遠隔診療支援装置2は、診療ブースに設置される機器である。例えば、遠隔診療支援装置2は、PC(Personal Computer)、スマートフォン、又は、タブレット端末等である。参加者は、ユーザ又は人と読み替えてもよい。遠隔診療支援装置2の構成例については後述する。
【0017】
第1の通信機器3は、他の電子機器と通信可能な電子機器である。第1の通信機器3は、診療ブースに設置される機器である。第1の通信機器3は、例えば、遠隔診療を受ける患者が使用する機器である。例えば、第1の通信機器3は、PC、スマートフォン、又は、タブレット端末等である。患者は、ユーザ又は人と読み替えてもよい。第1の通信機器3の構成例については後述する。第1の通信機器3は、端末の一例である。
【0018】
第2の通信機器4は、他の電子機器と通信可能な電子機器である。第2の通信機器4は、例えば、遠隔診療を行う医師が使用する機器である。例えば、第2の通信機器4は、PC、スマートフォン、又は、タブレット端末等である。医師は、医療従事者、ユーザ又は人と読み替えてもよい。第2の通信機器4は、例えば、診療ブースとは異なる場所に設置される。診療ブースが設置される場所は、第1の拠点の一例である。第2の通信機器4が設置される場所は、第2の拠点の一例である。第2の拠点は、例えば、病院等の医療機関である。第2の通信機器4の構成例については後述する。第2の通信機器4は、端末の一例である。
【0019】
サーバ1の構成例について説明する。
サーバ1は、プロセッサ11、メインメモリ12、補助記憶デバイス13及び通信インタフェース14を含む電子機器である。サーバ1を構成する各部は、互いに信号を入出力可能に接続されている。
図1では、インタフェースは、「I/F」と記載されている。
【0020】
プロセッサ11は、サーバ1の中枢部分に相当する。プロセッサ11は、サーバ1のコンピュータを構成する要素である。例えば、プロセッサ11は、CPU(Central Processing Unit)であるが、これに限定されない。プロセッサ11は、種々の回路で構成されていてもよい。プロセッサ11は、メインメモリ12又は補助記憶デバイス13に予め記憶されているプログラムをメインメモリ12に展開する。プログラムは、サーバ1のプロセッサ11に後述する各部を実現又は実行させるプログラムである。プロセッサ11は、メインメモリ12に展開されるプログラムを実行することで、種々の動作を実行する。
【0021】
メインメモリ12は、サーバ1の主記憶部分に相当する。メインメモリ12は、サーバ1のコンピュータを構成する要素である。メインメモリ12は、不揮発性のメモリ領域と揮発性のメモリ領域とを含む。メインメモリ12は、不揮発性のメモリ領域ではオペレーティングシステム又はプログラムを記憶する。メインメモリ12は、揮発性のメモリ領域を、プロセッサ11によってデータが適宜書き換えられるワークエリアとして使用する。例えば、メインメモリ12は、不揮発性のメモリ領域としてROM(Read Only Memory)を含む。例えば、メインメモリ12は、揮発性のメモリ領域としてRAM(Random Access Memory)を含む。メインメモリ12は、プログラムを記憶する。
【0022】
補助記憶デバイス13は、サーバ1の補助記憶部分に相当する。補助記憶デバイス13は、サーバ1のコンピュータを構成する要素である。補助記憶デバイス13は、EEPROM(登録商標)(Electric Erasable Programmable Read-Only Memory)、HDD(Hard Disc Drive)又はSSD(Solid State Drive)等である。補助記憶デバイス13は、上述のプログラム、プロセッサ11が各種の処理を行う上で使用するデータ及びプロセッサ11での処理によって生成されるデータを記憶する。補助記憶デバイス13は、上述のプログラムを記憶する。補助記憶デバイス13は、記憶部の一例である。
【0023】
補助記憶デバイス13は、会話ログ情報を記憶する。会話ログ情報は、第1の通信機器のユーザと第2の通信機器のユーザによる会話を記録した情報である。会話ログ情報は、発話者の情報、及び会話情報を少なくとも含む。発話者の情報は、例えば、発話者を識別可能な発話者識別情報である。発話者は、第1の通信機器のユーザ、及び第2の通信機器のユーザを含む。発話者識別情報は、ユーザID、発話者名等を含む。ユーザIDは、各発話者を個々に識別可能な情報である。発話者名は、発話者の氏名、又はユーザ名等であってもよい。発話者識別情報は、「医師」、「患者」等の発話者の属性を示す情報でもよい。会話情報は、発話者識別情報に関連付けられる。会話情報は、発話者により発話された発話内容を示す。会話情報は、発話に関する音声情報に基づいて音声認識処理を行った情報である。音声認識は、例えば、公知の技術を使用して、発話に関する音声情報をテキストデータに変換すること、セグメント化することを含む。会話情報は、少なくとも1つの発話文を含む。発話文は、例えば、ユーザの発話の区切りに基づいてセグメント化されたものである。発話文は、各発話文を識別する識別情報を含み得る。発話文は、少なくとも1つの単語を含む。単語は、意味を持つ最小の言語単位である。単語は、名詞、動詞、感嘆詞等の品詞を含む。
【0024】
会話ログ情報について
図3を参照して説明する。
図3は、実施形態に係る会話ログ情報のデータ構造
の一例を例示する図である。
図3は、医師と患者による会話が行われる場合の会話ログ情報を示す。会話ログ情報は、会話ログID、発話者識別情報、日時、注釈フラグ、会話情報等が紐づけられたレコードを有する。会話ログは、発話文を時系列に並べたデータを示す。会話ログIDは、各発話文を個々に識別可能な情報である。発話文は、会話文ともいう。会話ログIDは、各セグメントを個々に識別可能な情報であってもよい。発話者識別情報は、ユーザID、及び発話者名を含み得る。
図3の例では、発話者名は、「医師」又は「患者」である。発話者識別情報は、各発話文に紐づけられる。発話者識別情報は、音声情報が出力された通信機器を識別可能な情報に基づく情報であってもよい。発話者識別情報は、音声情報が出力された通信機器のユーザを識別可能な情報に基づく情報であってもよい。日時は、発話時間情報を示す。発話時間情報は、発話が行われた時刻を示す時刻情報又は、会話が開始された時点からの経過時間を示す経過時間情報等を含み得る。
図3の例では、日時は、発話が行われた時刻を示す時刻情報を示す。発話が行われた時刻は、サーバ1が第1の通信機器3、又は第2の通信機器4から通話情報を取得した時刻に対応し得る。会話ログ情報は、単にログ情報ともいう。
【0025】
注釈フラグは、ユーザの操作に基づいて、注釈が設定されたか否かを示す情報である。注釈は、ユーザが会話ログから任意の発話文、又は発話文の範囲を選択し、選択された発話文、又は発話文の範囲に対して記録するための追加情報を示す。発話文の範囲は、複数の発話文を含み得る。発話文の範囲は、1つの発話文の一部であってもよい。追加情報は、ユーザの操作に基づいて入力されるテキスト情報を含む。追加情報は、画像、音声、動画等の情報を含んでもよい。注釈は、発話文に関する情報を含む。発話文に関する情報は、発話文に追加する記述、参照、説明等の情報を含む。発話文に関する情報は、発話文の内容等を説明する情報を含む。発話文に関する情報は、発話文の状況等を説明する情報を含む。注釈は、例えば、会話の主題とは異なる主題についての会話が行われた場合に、異なる主題を説明する情報である。例えば、注釈は、ユーザにより選択された発話文、又は発話文の範囲に設定され得る。
【0026】
第1の通信機器3のユーザと第2の通信機器4のユーザとの会話の主題が「治療について」である場合について説明する。会話の主題「治療について」とは異なる主題は、例えば、「主題と別の会話について」、「通信トラブルについて」、「異なる症状について」等を含む。例えば、第1の通信機器3のユーザと第2の通信機器4のユーザとの会話中に、通信トラブルが生じたことを想定する。この場合、通信トラブルについての会話は、異なる主題の会話である。異なる主題は、「主題と別の会話について」、又は「通信トラブルについて」等である。通信トラブルについての会話が、会話の主題と異なる主題の会話であることを示すため、ユーザにより注釈が設定されることが想定され得る。
【0027】
注釈は、会話の理由を含んでもよい。会話の理由は、「通信トラブルのため」、「異なる症状の会話のため」等を含む。会話の理由は、会話の主題と同一であってもよいし、異なってもよい。
【0028】
注釈フラグは、発話文毎、又は発話文の範囲毎に設定され得る。注釈フラグは、注釈が設定されたことを示す「YES」、及び設定されていないことを示す「NO」を含む。注釈フラグは、1ビット情報であってもよい。注釈フラグは、ユーザにより発話文、又は発話文の範囲を選択することにより設定され得る。ユーザは、発話文、又は発話文の範囲を選択して注釈を設定する。注釈フラグを設定することは、注釈を入れることと読み替えてもよい。
【0029】
会話情報は、例えば、発話内容を示すテキスト情報である。会話情報は、各発話文に紐づけられる。会話情報は、本文、及び注釈情報を含み得る。本文は、発話に関する音声情報に基づいて音声認識処理を行って得られた情報を示す。注釈情報は、ユーザの操作に基づいて入力された注釈に関する情報である。注釈に関する情報は、注釈の内容を示す情報、及び注釈の理由を示す情報の少なくとも一方を含む。ユーザの操作は、会話ログが表示される会話ログ画面上で発話文を編集する操作を含む。編集する操作は、会話ログが表示された画面上で、編集ボタン等をタッチ入力等により選択する操作を含む。編集ボタンは、ユーザにより操作されるボタンである。編集ボタンは、ソフトウェアキーである。編集ボタンは、編集を指示するための操作子である。編集ボタンは、注釈設定ボタン、及び注釈削除ボタンを含み得る。編集する操作は、注釈を設定する操作、及び注釈を削除する操作を含む。注釈を設定する操作は、発話文、又は発話文の範囲を選択する操作、テキスト情報を入力する操作、注釈の一部を書き換える操作、注釈の一部又は全部を複製する操作、注釈の一部又は全部を移動する操作等を含む。注釈を削除する操作は、発話文、又は発話文の範囲を選択する操作、テキスト情報を削除する操作、注釈の一部又は全部を削除する操作等を含む。
【0030】
図3の例では、会話ログID「1001」は、ユーザIDが「A」である医師により発話された発話文である。会話ログID「1001」の発話文が発話された時刻は、「17:00:35」である。会話ログID「1001」の注釈フラグは、会話ログID「1001」の発話文には注釈が設定されていることを示す。会話ログID「1001」の発話文の会話内容は、「大丈夫ですか」である。会話ログID「1001」の発話文についてユーザにより注釈が設定された場合、注釈に関する情報が注釈情報の項目に保存される。例えば、
図3の例では、会話ログID「1001」、及び会話ログID「1002」の発話文はについて、ユーザにより注釈に関する情報として「内容:主題と別の会話、理由:通信トラブル」が設定されたことを示す。注釈に関する情報は、上述の例に限られず、ユーザにより任意に入力され得る。
【0031】
注釈を設定するユーザは、第1の通信機器3のユーザ、及び第2の通信機器4のユーザを含み得る。注釈を設定するユーザは、予め設定されたユーザであってもよい。例えば、注釈を設定するユーザは、第2の通信機器4のユーザのみであってもよい。注釈を設定するユーザは、遠隔診療における医師であってもよい。注釈を設定するユーザは、発話者、管理者、設定者等により適宜設定されてもよい。以下の例では、注釈を設定するユーザは、第2の通信機器4のユーザ(医師)であるものとして説明する。
【0032】
会話ログ情報は、少なくとも会話ログID、発話者識別情報、日時、注釈フラグ、及び会話情報が紐づけられた情報である。
【0033】
補助記憶デバイス13は、診療ブースに関する情報を記憶し得る。診療ブースに関する情報は、診療ブースを識別可能な情報を含む。診療ブースに関する情報は、診療ブースに設置される医療機器の情報を含んでもよい。
【0034】
補助記憶デバイス13は、ユーザ情報を記憶し得る。ユーザ情報は、診療ブースを使用するユーザ(患者)に関する情報である。ユーザ情報は、ユーザ識別情報を含む。ユーザ識別情報は、ユーザを個々に識別するためにユーザ毎に割り当てられた固有の識別情報である。ユーザ情報は、ユーザの位置情報、診療履歴情報等の情報を含み得る。ユーザ情報は、医療機器の測定データを含み得る。
【0035】
通信インタフェース14は、所定の通信プロトコルに従い、ネットワークを介して、サーバ1を他の電子機器と通信可能に接続する種々のインタフェースを含む。
【0036】
なお、サーバ1のハードウェア構成は、上述の構成に限定されるものではない。サーバ1は、適宜、上述の構成要素の省略及び変更並びに新たな構成要素の追加を可能とする。
【0037】
上述のプロセッサ11に実現される各部について説明する。
プロセッサ11は、通話情報取得部110、ログ作成部111、記憶制御部112、ログ更新部113、及び出力部114を実現する。プロセッサ11に実現される各部は、各機能ということもできる。プロセッサ11に実現される各部は、プロセッサ11及びメインメモリ12を含む制御部に実現されるということもできる。プロセッサ11は、処理回路の一例である。
【0038】
通話情報取得部110は、通信インタフェース14を介して、第1の通信機器3、及び第2の通信機器4から通話情報を取得する。通話情報は、音声情報を含む。音声情報は、ユーザの発話に関する音声情報を含む。音声情報は、音声の特徴を示す情報を含んでもよい。音声の特徴は、声の高さ、音色等を含み得る。通話情報は、発話者の情報、及び発話時間情報を含む。なお、通話情報取得部110は、第1の通信機器3、及び第2の通信機器4からユーザの生体データを取得してもよい。生体データは、医療機器251-1~251-mによる測定データでもよい。生体データは、第1の通信機器3、及び第2の通信機器4に接続されたセンサー等により測定されるデータでもよい。
【0039】
ログ作成部111は、通話情報に基づいて会話ログを作成する。ログ作成部111は、ユーザの発話に関する音声情報、発話者の情報、及び発話時間情報に基づいて、時系列で会話ログを作成する。ログ作成部111により作成される会話ログに関する情報は、会話ログ情報ともいう。会話ログ情報は、単に会話ログともいう。ログ作成部111は、注釈を設置するための注釈設定指示に基づいて、会話ログの作成を停止してもよい。ログ作成部111は、注釈を確定するための注釈確定指示に基づいて、会話ログの作成を再開してもよい。
【0040】
記憶制御部112は、通話情報取得部110により取得された情報を補助記憶デバイス13に保存する。記憶制御部112は、会話ログ情報を保存する。記憶制御部112は、会話ログ情報を更新する。記憶制御部112は、後述のログ更新部113により設定される注釈フラグに基づいて、注釈フラグを設定、又は更新する。記憶制御部112は、ログ更新部113により更新される会話ログ情報を補助記憶デバイス13に保存する。記憶制御部112は、会話ログ情報を更新する。
【0041】
ログ更新部113は、通信インタフェース14を介して、第2の通信機器4から注釈設定指示を取得する。注釈設定指示は、会話ログに含まれる発話文、又は発話文の範囲に注釈を設定するため指示、及び発話文に設定された注釈を削除するため指示を含む。注釈を設定することは、注釈を入れることともいう。ログ更新部113は、通信インタフェース14を介して、第2の通信機器4から注釈に関する情報を取得する。注釈に関する情報は、注釈を設定する範囲を示す情報を含む。注釈を設定する範囲は、発話文、又は発話文の範囲を含む。注釈を設定する範囲は、注釈対象ともいう。注釈に関する情報は、注釈の内容を示す情報を含む。注釈の内容は、注釈対象の発話文についての主題を含み得る。注釈に関する情報は、注釈の理由を含み得る。注釈に関する情報は、注釈が設定された時刻に関する情報を含んでもよい。注釈に関する情報は、注釈を設定したユーザに関する情報を含んでもよい。ログ更新部113は、注釈設定指示を取得したことに基づいて、注釈フラグを設定、又は更新する。ログ更新部113は、通信インタフェース14を介して、第2の通信機器4から注釈を編集する編集指示を取得してもよい。ログ更新部113は、注釈に関する情報に基づいて会話ログ情報を更新する。ログ更新部113は、注釈確定指示に基づいて、会話ログ情報を更新してもよい。
【0042】
出力部114は、通信インタフェース14を介して、第1の通信機器3、及び第2の通信機器4に会話ログ情報を出力する。出力部114は、会話ログ情報が作成される毎に会話ログ情報を出力してもよい。出力部114は、第1の通信機器3、及び第2の通信機器4からの会話ログ表示要求に基づいて、会話ログ情報を出力してもよい。出力部114は、通信インタフェース14を介して、第1の通信機器3、及び第2の通信機器4に更新された会話ログ情報を出力する。出力部114は、会話ログ情報が更新される毎に更新された会話ログ情報を出力してもよい。出力部114は、第1の通信機器3、及び第2の通信機器4からの更新された会話ログの表示要求に基づいて、更新された会話ログ情報を出力してもよい。
【0043】
出力部114は、通信インタフェース14を介して、第1の通信機器3、及び第2の通信機器4に各種通知を示す情報を出力する。出力部114は、通信インタフェース14を介して、第1の通信機器3、及び第2の通信機器4に各種要求を出力する。出力部114は、通信インタフェース14を介して、第1の通信機器3に注釈に関する情報を出力する。
【0044】
遠隔診療支援装置2の構成例について説明する。
遠隔診療支援装置2は、プロセッサ21、メインメモリ22、補助記憶デバイス23、通信インタフェース24、入出力インタフェース25、表示デバイス26、スピーカ27、及び入力デバイス28を含む電子機器である。遠隔診療支援装置2を構成する各部は、互いに信号を入出力可能に接続されている。
【0045】
プロセッサ21は、遠隔診療支援装置2の中枢部分に相当する。プロセッサ21は、遠隔診療支援装置2のコンピュータを構成する要素である。例えば、プロセッサ21は、上述のプロセッサ11と同様のハードウェア構成である。プロセッサ21は、メインメモリ22に展開されるプログラムを実行することで、種々の動作を実行する。プロセッサ21は、処理回路の一例である。
【0046】
メインメモリ22は、遠隔診療支援装置2の主記憶部分に相当する。メインメモリ22は、遠隔診療支援装置2のコンピュータを構成する要素である。メインメモリ22は、上述のメインメモリ12と同様のハードウェア構成である。メインメモリ22は、プログラムを記憶する。
【0047】
補助記憶デバイス23は、遠隔診療支援装置2の補助記憶部分に相当する。補助記憶デバイス23は、遠隔診療支援装置2のコンピュータを構成する要素である。補助記憶デバイス23は、上述の補助記憶デバイス13と同様のハードウェア構成である。補助記憶デバイス23は、上述のプログラムを記憶する。
【0048】
通信インタフェース24は、所定の通信プロトコルに従い、ネットワークを介して、遠隔診療支援装置2を他の機器と通信可能に接続する種々のインタフェースを含む。
【0049】
入出力インタフェース25は、遠隔診療支援装置2と外部機器とを接続するためのインタフェースである。外部機器は、少なくとも1つ医療機器251-1~251-m(mは1以上の整数)を含む。医療機器251-1~251-mは、例えば、心電計、血圧計、デジタル聴診器、パルスオキシメーター、細隙灯、外耳鏡等の医療機器を含む。医療機器251-1~251-mは、通信機能を持ち、測定データを遠隔診療支援装置2に出力する。
【0050】
表示デバイス26は、プロセッサ21の制御により種々の画面を表示可能なデバイスである。例えば、表示デバイス26は、液晶ディスプレイ又はELディスプレイ等である。
【0051】
スピーカ27は、プロセッサ21の制御により音声を出力可能なデバイスである。スピーカ27は、出力デバイスの一例である。
【0052】
入力デバイス28は、遠隔診療支援装置2へデータ又は指示を入力可能なデバイスである。例えば、入力デバイス28は、音声を入力可能な内蔵型のマイク、及び撮影範囲の撮影データを取得可能な内蔵型のカメラを含む。入力デバイス28は、キーボード又はタッチパネル等を含んでもよい。
【0053】
なお、遠隔診療支援装置2のハードウェア構成は、上述の構成に限定されるものではない。遠隔診療支援装置2は、適宜、上述の構成要素の省略及び変更並びに新たな構成要素の追加を可能とする。
【0054】
第1の通信機器3の構成例について説明する。
第1の通信機器3は、プロセッサ31、メインメモリ32、補助記憶デバイス33、通信インタフェース34、入出力インタフェース35、及び入力デバイス38を含む電子機器である。第1の通信機器3を構成する各部は、互いに信号を入出力可能に接続されている。
【0055】
プロセッサ31は、第1の通信機器3の中枢部分に相当する。プロセッサ31は、第1の通信機器3のコンピュータを構成する要素である。プロセッサ31は、上述のプロセッサ11と同様のハードウェア構成である。プロセッサ31は、メインメモリ32又は補助記憶デバイス33に予め記憶されているプログラムを実行することで、種々の動作を実行する。プロセッサ31は、処理回路の一例である。
【0056】
メインメモリ32は、第1の通信機器3の主記憶部分に相当する。メインメモリ32は、第1の通信機器3のコンピュータを構成する要素である。メインメモリ32は、上述のメインメモリ12と同様のハードウェア構成である。メインメモリ32は、プログラムを記憶する。
【0057】
補助記憶デバイス33は、第1の通信機器3の補助記憶部分に相当する。補助記憶デバイス33は、第1の通信機器3のコンピュータを構成する要素である。補助記憶デバイス33は、上述の補助記憶デバイス13と同様のハードウェア構成である。補助記憶デバイス33は、上述のプログラムを記憶する。
【0058】
通信インタフェース34は、所定の通信プロトコルに従い、ネットワークを介して、第1の通信機器3を他の機器と通信可能に接続する種々のインタフェースを含む。
【0059】
入出力インタフェース35は、第1の通信機器3と外部機器とを接続するためのインタフェースである。外部機器は、表示デバイス351-1、カメラ351-2、マイク351-3、及びスピーカ351-4を含む。表示デバイス351-1は、プロセッサ31の制御により種々の画面を表示可能なデバイスである。例えば、表示デバイス351-1は、液晶ディスプレイ又はELディスプレイ等である。カメラ351-2は、プロセッサ31の制御により撮影範囲の撮影データを取得可能なデバイスである。マイク351-3は、プロセッサ31の制御により音声を入力可能なデバイスである。スピーカ351-4は、プロセッサ31の制御により音声を出力可能なデバイスである。
【0060】
入力デバイス38は、第1の通信機器3へデータ又は指示を入力可能なデバイスである。例えば、入力デバイス38は、キーボード又はタッチパネル等を含む。
【0061】
なお、第1の通信機器3のハードウェア構成は、上述の構成に限定されるものではない。第1の通信機器3は、適宜、上述の構成要素の省略及び変更並びに新たな構成要素の追加を可能とする。
【0062】
第2の通信機器4の構成例について説明する。
第2の通信機器4は、プロセッサ41、メインメモリ42、補助記憶デバイス43、通信インタフェース44、入出力インタフェース45、及び入力デバイス48を含む電子機器である。第2の通信機器4を構成する各部は、互いに信号を入出力可能に接続されている。
【0063】
プロセッサ41は、第2の通信機器4の中枢部分に相当する。プロセッサ41は、第2の通信機器4のコンピュータを構成する要素である。プロセッサ41は、上述のプロセッサ11と同様のハードウェア構成である。プロセッサ41は、メインメモリ42又は補助記憶デバイス43に予め記憶されているプログラムを実行することで、種々の動作を実行する。プロセッサ41は、処理回路の一例である。
【0064】
メインメモリ42は、第2の通信機器4の主記憶部分に相当する。メインメモリ42は、第2の通信機器4のコンピュータを構成する要素である。メインメモリ42は、上述のメインメモリ12と同様のハードウェア構成である。メインメモリ42は、プログラムを記憶する。
【0065】
補助記憶デバイス43は、第2の通信機器4の補助記憶部分に相当する。補助記憶デバイス43は、第2の通信機器4のコンピュータを構成する要素である。補助記憶デバイス43は、上述の補助記憶デバイス13と同様のハードウェア構成である。補助記憶デバイス43は、上述のプログラムを記憶する。
【0066】
通信インタフェース44は、所定の通信プロトコルに従い、ネットワークを介して、第2の通信機器4を他の機器と通信可能に接続する種々のインタフェースを含む。
【0067】
入出力インタフェース45は、第2の通信機器4と外部機器とを接続するためのインタフェースである。外部機器は、表示デバイス451-1、カメラ451-2、マイク451-3、及びスピーカ451-4を含む。表示デバイス451-1は、プロセッサ41の制御により種々の画面を表示可能なデバイスである。例えば、表示デバイス451-1は、液晶ディスプレイ又はELディスプレイ等である。カメラ451-2は、プロセッサ41の制御により撮影範囲の撮影データを取得可能なデバイスである。マイク451-3は、プロセッサ41の制御により音声を入力可能なデバイスである。スピーカ451-4は、プロセッサ41の制御により音声を出力可能なデバイスである。
【0068】
入力デバイス48は、第2の通信機器4へデータ又は指示を入力可能なデバイスである。例えば、入力デバイス48は、キーボード又はタッチパネル等を含む。
【0069】
なお、第2の通信機器4のハードウェア構成は、上述の構成に限定されるものではない。第2の通信機器4は、適宜、上述の構成要素の省略及び変更並びに新たな構成要素の追加を可能とする。
【0070】
上述のプロセッサ41に実現される各部について説明する。
プロセッサ41は、ログ処理部410、及び表示処理部411を実現する。プロセッサ41に実現される各部は、各機能ということもできる。プロセッサ41に実現される各部は、プロセッサ41及びメインメモリ42を含む制御部に実現されるということもできる。
【0071】
ログ処理部410は、通信インタフェース44を介して、サーバ1に通話情報を出力する。ログ処理部410は、通信インタフェース44を介して、サーバ1から会話ログ情報を取得する。ログ処理部410は、通信インタフェース44を介して、サーバ1から更新された会話ログ情報を取得する。
【0072】
ログ処理部410は、会話ログの編集に関する処理を行う。ログ処理部410は、ユーザの操作に基づいて注釈設定指示を取得する。ユーザの操作は、編集ボタン等のタッチ入力操作を含む。ログ処理部410は、通信インタフェース44を介して、サーバ1に注釈設定指示を出力する。ログ処理部410は、ユーザの操作に基づいて、注釈に関する情報を取得する。注釈に関する情報は、注釈を設定する範囲を示す情報を含む。注釈を設定する範囲は、会話ログが表示される会話ログ画面上における、ユーザによるタッチ操作等による発話文の選択操作、スライド操作、又はスワイプ操作等による発話文の範囲の選択操作により指定され得る。注釈に関する情報は、ユーザの操作により任意に入力され得る。ユーザの操作は、注釈に関する情報をテキスト入力等により入力する操作を含む。ログ処理部410は、通信インタフェース44を介して、サーバ1に注釈に関する情報を出力する。ログ処理部410は、通信インタフェース44を介して、注釈を確定するための注釈確定指示を出力する。
【0073】
ログ処理部410は、通信インタフェース44を介して、サーバ1に各種要求を出力する。要求は、再開するための再開要求するための停止要求を含む。要求は、会話ログの記録を再開するための再開要求を含む。
【0074】
ログ処理部410は、通信インタフェース44を介して、サーバ1から各種通知に関する情報を取得する。通知は、会話ログの記録に関する通知を含む。ログ処理部410は、通信インタフェース44を介して、サーバ1から各種要求を取得する。要求は、注釈を反映することを確認するための確認要求を含む。
【0075】
(表示例)
会話ログ、及び注釈ログの表示例について説明する。
図4は、実施形態に係る会話ログ画像の一例を例示する模式図である。
【0076】
図4は、会話ログ画像Imaを示す。会話ログ画像Imaは、第1の通信機器3の表示デバイス351-1、及び第2の通信機器4の表示デバイス451-1に表示され得る。会話ログ画像Imaは、会話ログに注釈を設定可能なユーザにより使用される通信機器に表示される会話ログ画像である。注釈を設定可能なユーザは、注釈設定権限のあるユーザを示す。注釈設定権限は、例えば、管理者、通信機器間での通話のホスト、設定者等により予め設定され得る。注釈設定権限は、管理者、通信機器間での通話のホスト、設定者等により適宜更新され得る。注釈設定権限は、例えば、発話者のうち少なくとも1人に付与され得る。注釈設定権限は、発話者の全員に付与されてもよい。以下の例では、注釈設定権限は、第2の通信機器4のユーザに付与されるものとする。
【0077】
会話ログ画像Imaは、会話ログが作成される毎にリアルタイムで表示される。なお、会話ログ画像Imaは、第2の通信機器4のユーザからの会話ログ表示要求に基づいて表示されてもよい。
【0078】
会話ログ画像Imaは、発話者識別マークMa、Mb、発話文La、及び編集ボタンBaを少なくとも含む。発話者識別マークMa、Mbは、発話者を識別可能なマークを示す。発話者識別マークMa、Mbは、発話者名を含み得る。
図4の例では、発話者識別マークMaは、「医師」、又は「患者」を示す。発話者識別マークMaは、発話者毎に異なる形状、色、大きさであってもよい。発話文Laは、発話内容を示すテキスト情報である。発話文Laは、例えば、
図4に示すように、吹き出し形状の枠を含んでもよい。発話文Laは、発話時間情報に基づいて、時系列に並べられる。編集ボタンBaは、ユーザによりタッチ入力等により選択されるボタンである。編集ボタンBaは、例えば、注釈設定指示を入力可能な操作子である。ユーザにより編集ボタンBaが選択されたことに応答して、表示処理部411は、
図5に示す編集指示画像を表示デバイス451-1に表示する。ログ処理部410は、ユーザにより編集ボタンBaが選択されたことに応答して、注釈設定指示をサーバ1に出力してもよい。プロセッサ41は、ユーザにより編集ボタンBaが選択されたことに応答して、編集モードに遷移してもよい。
【0079】
なお、会話ログ画像Imaのうち編集ボタンBaを除く会話ログ画像が、第1の通信機器3に表示されてもよい。会話ログ画像は、会話ログが作成される毎にリアルタイムで第1の通信機器3に表示されてもよい。会話ログ画像は、第1の通信機器3のユーザからの会話ログ表示要求に基づいて表示されてもよい。
【0080】
図5は、実施形態に係る編集指示画像の一例を例示する模式図である。
【0081】
図5は、編集指示画像Imbを示す。編集指示画像Imbは、第2の通信機器4の表示デバイス451-1に表示される。編集指示画像Imbは、会話ログ画像Imaにおいて、ユーザにより編集ボタンBaが選択されたことに応答して、表示デバイス451-1に表示される。編集指示画像Imbは、会話ログ画像Imaに重畳又は合成されてもよい。編集指示画像Imbは、ポップアップ表示として表示デバイス451-1に表示されてもよい。以下の説明において、「応答して」は、「基づいて」と読み替えてもよい。
【0082】
編集指示画像Imbは、注釈設定ボタンBb、及び注釈削除ボタンBcを含む。注釈設定ボタンBbは、注釈の設定指示を入力可能な操作子である。注釈削除ボタンBcは、注釈の削除指示を入力可能な操作子である。ユーザは、注釈を設定するために、注釈設定ボタンBbをタッチ入力等により選択する。ユーザは、注釈を削除するために、注釈削除ボタンBcをタッチ入力等により選択する。
【0083】
図6は、実施形態に係る通知画像の一例を例示する模式図である。
図6は、通知画像Imcを示す。通知画像Imcは、第2の通信機器4の表示デバイス451-1に表示される。通知画像Imcは、例えば、編集指示画像Imbにおいて、ユーザにより注釈設定ボタンBb、又は注釈削除ボタンBcが選択されたことに応答して、表示デバイス451-1に表示される。通知画像Imcは、会話ログ画像Imaにおいて、ユーザにより編集ボタンBaが選択されたことに応答して、表示デバイス451-1に表示されてもよい。通知画像Imcは、会話ログ画像Imaに重畳又は合成されてもよい。通知画像Imcは、ポップアップ表示として表示デバイス451-1に表示されてもよい。
【0084】
通知画像Imcは、注釈処理が行われる間、会話ログの記録が停止されることを示すテキスト情報を含む。テキスト情報は、例えば、「この間の会話は記録されません」等の情報を含む。注釈処理は、例えば、ユーザにより注釈設定指示が入力されてから注釈に関する情報が会話ログ情報に記録、又は更新されるまでの処理を含む。注釈処理は、編集モードにおける処理を含む。通知画像Imcは、第1の通信機器3の表示デバイス351-1、及び第2の通信機器4の表示デバイス451-1に表示され得る。
【0085】
これにより、第1の通信機器3のユーザ、及び第2の通信機器4のユーザは、注釈処理の間の会話が記録されないことを認識することができる。
【0086】
図7は、実施形態に係る会話ログ画像の一例を例示する模式図である。
図7は、会話ログ画像Imdを示す。会話ログ画像Imdは、第2の通信機器4の表示デバイス451-1に表示される。会話ログ画像Imdは、注釈設定権限のあるユーザにより使用される通信機器に表示され得る。
【0087】
会話ログ画像Imdは、会話ログ画像Imaと同様に、発話者識別マーク、発話文を少なくとも含む。会話ログ画像Imdは、注釈対象エリアAraを含む。注釈対象エリアAraは、ユーザにより選択される注釈を設定する発話文、又は発話文の範囲を示す。この例では、ユーザのスライド操作により、複数の発話文が注釈対象として選択される。注釈対象の範囲は、スライド操作による選択に限られず、タッチ操作等により発話文毎に選択されてもよい。注釈対象の範囲は、他の発話文と認識可能な態様で表示されてもよい。表示処理部411は、注釈対象の範囲を他の発話文と異なる表示態様で表示してもよい。表示態様は、文字色、サイズ、フォント、明度若しくは輝度等の文字装飾、背景色、背景の明度若しくは輝度、背景パターン、フレーム色、又は点滅表示等を含む。この例では、表示処理部411は、注釈対象の範囲を破線で囲むように表示する。注釈対象の範囲は、注釈を設定する範囲を示す情報に対応する。
【0088】
図8は、実施形態に係る編集入力画像の一例を例示する模式図である。
図8は、編集入力画像Imeを示す。編集入力画像Imeは、第2の通信機器4の表示デバイス451-1に表示される。編集入力画像Imeは、注釈設定権限のあるユーザにより使用される通信機器に表示され得る。編集入力画像Imeは、ユーザにより、注釈対象の範囲が選択されたことに応答して、表示デバイス451-1に表示され得る。
【0089】
編集入力画像Imeは、注釈に関する情報を入力可能なエリアを含む。注釈に関する情報を入力可能なエリアは、注釈内容を入力可能な注釈内容入力エリアArb、及び注釈目的を入力可能な注釈目的入力エリアArcを含み得る。注釈内容入力エリアArbは、注釈の内容を任意に入力可能なエリアである。注釈目的入力エリアArcは、注釈の目的を任意に入力可能なエリアである。この例では、編集入力画像Imeは、ユーザにより、注釈の内容として「主題と別の会話」が注釈内容入力エリアArbに入力され、注釈の目的として「通信トラブル」が注釈目的入力エリアArcに入力されたことを示す。
【0090】
編集入力画像Imeは、OKボタンBd、及びキャンセルボタンBeを含む。OKボタンBdは、ユーザが入力内容を確認したことを示す情報を入力可能な操作子である。キャンセルボタンBeは、ユーザが入力内容をキャンセルすることを示す情報を入力可能な操作子である。ユーザにより、OKボタンBdがタッチ入力等により選択されたことに応答して、ログ処理部410は、注釈に関する情報をサーバ1に出力する。ユーザにより、キャンセルボタンBeがタッチ入力等により選択されたことに応答して、表示処理部411は、表示画像を編集入力画像Imeから会話ログ画像Imdに遷移してもよい。なお、ユーザにより、キャンセルボタンBeがタッチ入力等により選択されたことに応答して、表示処理部411は、表示画像を会話ログ画像Ima、又は編集指示画像Imbに遷移してもよい。
【0091】
図9は、実施形態に係る通知画像の一例を例示する模式図である。
図9は、通知画像Imfを示す。通知画像Imfは、第1の通信機器3の表示デバイス351-1に表示される。通知画像Imfは、注釈設定権限のあるユーザ以外のユーザにより使用される通信機器に表示され得る。注釈設定権限のあるユーザ以外のユーザは、例えば、注釈について承諾可能なユーザである。注釈について承諾可能なユーザは、注釈承諾権限のあるユーザを示す。注釈承諾権限は、管理者、通信機器間での通話のホスト、設定者等により適宜更新され得る。注釈承諾権限は、例えば、発話者のうち少なくとも1人に付与され得る。注釈承諾権限は、発話者以外のユーザに付与されてもよい。以下の例では、注釈承諾権限は、第1の通信機器3のユーザに付与されるものとする。
【0092】
通知画像Imfは、サーバ1が注釈に関する情報を取得したことを通知する情報を含む。通知画像Imfは、会話ログ画像に重畳又は合成されてもよい。通知画像Imfは、ポップアップ表示として表示デバイス351-1に表示されてもよい。
【0093】
通知画像Imfは、通知エリアArd、注釈エリアAre、OKボタンBf、及び拒否ボタンBgを含む。通知エリアArdは、注釈が設定されたことを示す情報を含む。通知エリアArdは、注釈に関する情報を含んでもよい。通知エリアArdは、例えば、「以下の会話記録に注釈が入りました。内容:主題と別の会話、理由:通信トラブル」等のテキスト情報を含む。注釈エリアAreは、注釈対象の範囲を示す情報を含む。注釈エリアAreは、会話ログのうち、注釈対象の範囲を認識可能な態様で示す。この例では、注釈対象の範囲に含まれる発話文が破線の吹き出しにより示される。
【0094】
OKボタンBfは、ユーザが注釈を承諾することを示す承諾指示を入力可能な操作子である。注釈を承諾することは、注釈を設定することを承諾すること、及び注釈の内容を承諾することの少なくとも一方を含む。拒否ボタンBgは、ユーザが注釈を拒否することを示す拒否指示を入力可能な操作子である。注釈を拒否することは、注釈を設定することを拒否すること、及び注釈の内容を拒否することの少なくとも一方を含む。承諾指示、及び拒否指示は、承諾に関する情報の一例である。ユーザにより、OKボタンBfがタッチ入力等により選択されたことに応答して、プロセッサ31は、注釈を承諾することを示す情報をサーバ1に出力する。注釈に関する情報をサーバ1に出力する。ユーザにより、拒否ボタンBgがタッチ入力等により選択されたことに応答して、プロセッサ31は、注釈を拒否することを示す情報をサーバ1に出力する。
【0095】
この例によれば、情報処理システム100は、注釈を設定したユーザ以外のユーザに注釈を設定すること、及び注釈の内容ついての許否を確認することができる。注釈を設定したユーザ以外のユーザは、注釈を設定すること、及び注釈の内容ついての許否の意思表示をすることができる。これにより、情報処理システム100は、注釈設定者とその他のユーザ間で注釈に関して合意を取ることができる。このように、情報処理システム100は、ユーザ間の意思に基づいて注釈を挿入した会話ログを作成することができる。
【0096】
図10は、実施形態に係る通知画像の一例を例示する模式図である。
図10は、通知画像Imgを示す。通知画像Imgは、第2の通信機器4の表示デバイス451-1に表示される。通知画像Imgは、注釈設定権限のあるユーザにより使用される通信機器に表示され得る。通知画像Imgは、サーバ1が注釈を承諾することを示す情報を取得したことを通知する情報を含む。通知画像Imgは、会話ログ画像に重畳又は合成されてもよい。通知画像Imgは、ポップアップ表示として表示デバイス451-1に表示されてもよい。
【0097】
通知画像Imgは、通知エリアArf、及びOKボタンBhを含む。通知エリアArfは、注釈が承諾されたことを示す情報を含む。通知エリアArfは、例えば、「注釈内容が承諾されました。注釈内容を反映します。」等のテキスト情報を含む。OKボタンBhは、ユーザが注釈内容の反映を確定することを示す確定指示を入力可能な操作子である。ユーザにより、OKボタンBhがタッチ入力等により選択されたことに応答して、ログ処理部410は、注釈内容の反映を確定することを示す情報をサーバ1に出力する。通知画像Imgは、確認要求の一例である。
【0098】
この例によれば、ユーザは、注釈を設定したユーザ以外のユーザによる注釈を設定すること、及び注釈の内容ついての承諾を確認することができる。ユーザは、注釈を設定したユーザ以外のユーザによる承諾に基づいて、注釈の確定指示を入力することができる。これにより、情報処理システム100は、ユーザ間の意思に基づいて注釈を挿入した会話ログを作成することができる。
【0099】
図11は、実施形態に係る会話ログ画像の一例を例示する模式図である。
図11は、会話ログ画像Imhを示す。会話ログ画像Imhは、第1の通信機器3の表示デバイス351-1、及び第2の通信機器4の表示デバイス451-1に表示され得る。会話ログ画像Imhは、注釈エリアArg、及び注釈対象エリアArhを含む。注釈エリアArgは、注釈に関する情報を含み得る。例えば、注釈エリアArgは、「主題と別の会話(理由:通信トラブル)」等のテキスト情報を含む。テキスト情報は、
図11の表示形式に限られない。注釈対象エリアArhは、注釈対象の範囲を認識可能な態様で示す。この例では、注釈対象の範囲に含まれる発話文が破線の吹き出しにより示される。
【0100】
表示処理部411は、注釈エリアArg、及び注釈対象エリアArhに基づいて、注釈を認識可能な態様で表示する。注釈を認識可能な態様で表示することは、注釈を設定する範囲、及び注釈の内容の少なくとも一方を認識可能な態様で表示することを含む。
【0101】
この例によれば、情報処理システム100は、会話ログの表示画面上で、注釈の有無、及び注釈の内容を認識可能な態様で表示することができる。これにより、ユーザは、注釈の有無、及び注釈の内容を容易に認識することができる。
【0102】
(動作例)
情報処理システム100による処理の手順について説明する。
なお、以下のサーバ1を主体とする説明では、サーバ1をプロセッサ11と読み替えてもよい。第1の通信機器3を主体とする説明では、第1の通信機器3をプロセッサ31と読み替えてもよい。第2の通信機器4を主体とする説明では、第2の通信機器4をプロセッサ41と読み替えてもよい。
なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
【0103】
図12は、実施形態に係る情報処理システム100による情報処理の手順の一例を示すシーケンス図である。
【0104】
以下の処理は、第1の通信機器3と第2の通信機器4との通話が開始されたことに基づいて開始されるものとする。以下の例では、第2の通信機器4のユーザに対して、注釈設定権限が設定されているものとする。第1の通信機器3のユーザに対して、注釈承諾権限が設定されているものとする。
【0105】
第1の通信機器3、及び第2の通信機器4は、通話情報をサーバ1に出力する。
サーバ1は、通話情報を取得する。サーバ1は、通話情報に基づいて会話ログ情報を作成する。サーバ1は、会話ログ情報を第1の通信機器3、及び第2の通信機器4に出力する。
【0106】
第2の通信機器4は、ユーザの操作に基づいて、注釈設定指示をサーバ1に出力する。第2の通信機器4は、会話ログの記録を停止するための停止要求をサーバ1に出力する。
【0107】
サーバ1は、第2の通信機器4から注釈設定指示を取得する。サーバ1は、第2の通信機器4から停止要求を取得する。サーバ1は、停止要求を取得したことに基づいて、通知に関する情報を第1の通信機器3、及び第2の通信機器4に出力する。通知は、会話ログの記録が停止されることを示す通知である。サーバ1は、会話ログの記録を停止する。サーバ1は、会話ログ情報の作成を停止してもよい。
【0108】
第1の通信機器3、及び第2の通信機器4は、サーバ1から通知に関する情報を取得する。第1の通信機器3、及び第2の通信機器4は、通知に関する情報に基づいて、通知画像を表示デバイスに表示する。
【0109】
第2の通信機器4は、ユーザの操作に基づいて、サーバ1に注釈に関する情報を出力する。なお、第2の通信機器4は、サーバ1に注釈に関する情報を出力した後に停止要求を出力してもよい。サーバ1は、停止要求を取得したことに基づいて、通知に関する情報を第1の通信機器3、及び第2の通信機器4に出力してもよい。
【0110】
サーバ1は、第2の通信機器4から、注釈に関する情報を取得する。サーバ1は、第1の通信機器3に注釈に関する情報を出力する。第1の通信機器3は、サーバ1から注釈に関する情報を取得する。第1の通信機器3は、注釈に関する情報に基づいて、通知画像を表示デバイス351-1に表示する。通知画像は、注釈が設定されたことを示す情報を含む。
【0111】
第1の通信機器3は、ユーザの操作に基づいて、サーバ1に注釈の内容を承諾することを示す承諾指示を出力する。なお、第1の通信機器3は、ユーザの操作に基づいて、サーバ1に注釈の内容を拒否することを示す拒否指示を出力してもよい。
【0112】
サーバ1は、第1の通信機器3から承諾指示を取得する。サーバ1は、承諾指示に基づいて、第2の通信機器4に確認要求を出力する。確認要求は、注釈を反映することを確認するための要求である。なお、サーバ1は、第1の通信機器3から拒否指示を取得した場合、拒否指示に基づいて、第2の通信機器4に確認要求を出力してもよい。この場合、確認要求は、例えば、注釈内容を反映しないことを確認するための要求である。確認要求は、例えば、「注釈内容が拒否されました。注釈内容を反映しません。」等のテキスト情報を含み得る。
【0113】
第2の通信機器4は、ユーザの操作に基づいて、サーバ1に確定指示を出力する。第2の通信機器4は、サーバ1に会話ログの記録を再開するための再開要求を出力する。
【0114】
サーバ1は、第2の通信機器4から注釈の設定を確定するための確定指示を取得する。サーバ1は、確定指示に基づいて、会話ログ情報を更新する。サーバ1は、注釈に関する情報を会話ログ情報に追加する。サーバ1は、再開要求に基づいて、会話ログの記録を再開する。サーバ1は、会話ログ情報の作成を再開してもよい。
【0115】
サーバ1は、更新された会話ログ情報を第1の通信機器3、及び第2の通信機器4に出力する。第1の通信機器3、及び第2の通信機器4は、更新された会話ログ情報に基づいて、会話ログ画像を表示デバイスに表示する。
【0116】
上述の処理は、第1の通信機器3と第2の通信機器4との通話が終了するまで、繰り返され得る。
【0117】
この例によれば、情報処理システム100は、ユーザの操作に基づいて、会話ログに含まれる発話文に対して、注釈を設定することができる。ユーザは、発話文のみでは認識できないような情報を会話ログに追加することができる。このように、情報処理システム100は、注釈を挿入した会話ログを作成することができる。情報処理システム100は、会話終了後に会話ログを閲覧する際等において、会話ログの閲覧者に誤解を生じさせないような会話ログを作成することを支援することができる。
また、情報処理システム100は、会話ログの表示画面上で、注釈の有無、及び注釈の内容を認識可能な態様で表示することができる。これにより、ユーザは、注釈の有無、及び注釈の内容を容易に認識することができる。さらに、情報処理システム100は、注釈を設定について、注釈を設定したユーザ以外の他のユーザから承諾指示を取得した場合に注釈の設定を会話ログ情報に反映することができる。そのため、情報処理システム100は、他のユーザの合意に基づいて会話ログに注釈の設定を行うことができる。
【0118】
図13は、実施形態に係るサーバ1による情報処理の手順の一例を示すフローチャートである。
【0119】
以下の処理は、第1の通信機器3と第2の通信機器4との通話が開始されたことに基づいて開始されるものとする。
【0120】
通話情報取得部110は、第1の通信機器3、及び第2の通信機器4から通話情報を取得する。(ACT1)。ACT1では、例えば、通話情報取得部110は、第1の通信機器3、及び第2の通信機器4から音声情報を取得する。音声情報は、第1の通信機器3、又は第2の通信機器4のユーザを識別するための発話者識別情報を含んでもよい。記憶制御部112は、取得した通話情報を補助記憶デバイス13に記憶してもよい。
【0121】
ログ作成部111は、通話情報に基づいて会話ログ情報を作成する(ACT2)。ACT2では、例えば、ログ作成部111は、ユーザの発話に関する音声情報に基づいて、音声認識処理を行う。ログ作成部111は、ユーザの発話に関する音声情報に基づくテキスト情報を発話文単位でセグメント化する。ログ作成部111は、セグメント化されたテキスト情報を発話者識別情報に紐づける。ログ作成部111は、発話者識別情報と紐づけられた発話文を含む会話ログ情報を作成する。ログ作成部111は、各発話文に関する発話時間情報を含む会話ログ情報を作成してもよい。
【0122】
記憶制御部112は、会話ログ情報を補助記憶デバイス13に保存する(ACT3)。
【0123】
出力部114は、会話ログ情報を第1の通信機器3、及び第2の通信機器4の少なくとも一方に出力する(ACT4)。会話ログ情報を取得した第1の通信機器3、及び第2の通信機器4の少なくとも一方は、会話ログ情報に基づいて、会話ログを表示デバイスに表示する。
【0124】
ログ更新部113は、第2の通信機器4から注釈設定指示を取得したか否かを判定する(ACT5)。ログ更新部113により注釈設定指示が取得された場合(ACT5:YES)、処理は、ACT5からACT6へ遷移する。ログ更新部113により注釈設定指示が取得されていない場合(ACT5:NO)、処理は、ACT5からACT9へ遷移する。
【0125】
ログ更新部113は、第2の通信機器4から注釈に関する情報を取得する(ACT6)。ACT6では、例えば、ログ更新部113は、注釈を設定する範囲を示す情報、及び注釈の内容を示す情報を取得する。ログ更新部113は、注釈に関する情報を保存する。出力部114は、注釈に関する情報を第1の通信機器3に出力する。なお、ログ作成部111は、第2の通信機器4から会話ログの記録を停止するための停止要求を取得したことに基づいて、会話ログ情報の作成を停止する。
【0126】
ログ更新部113は、注釈に関する情報に基づいて、会話ログ情報を更新する(ACT7)。この例では、第1の通信機器3から注釈に関する情報について承諾することを示す承諾指示が出力されたものとする。ACT7では、例えば、ログ更新部113は、第1の通信機器3から承諾指示を取得する。出力部114は、承諾指示を取得したことに基づいて、第2の通信機器4に確認要求を出力する。ログ更新部113は、第2の通信機器4から確定指示を取得する。ログ更新部113は、確定指示に基づいて、注釈に関する情報を会話ログ情報に追加する。
【0127】
出力部114は、更新された会話ログ情報を第1の通信機器3、及び第2の通信機器4に出力する(ACT8)。なお、ログ作成部111は、第2の通信機器4から会話ログの記録を再開するための再開要求を取得したことに基づいて、会話ログ情報の作成を再開する。
【0128】
プロセッサ11は、第1の通信機器3と第2の通信機器4との通話が終了したか否かを判定する(ACT9)。プロセッサ11により通話が終了したと判定された場合(ACT9:YES)、処理は、終了する。プロセッサ11により通話が終了していないと判定された場合(ACT9:NO)、処理は、ACT9からACT1へ遷移する。プロセッサ11は、第1の通信機器3と第2の通信機器4との通話が終了するまで、ACT1~ACT8の処理を繰り返す。
【0129】
なお、プロセッサ11は、ACT2からACT8の処理を、第1の通信機器3と第2の通信機器4との通話が終了した後に行ってもよい。例えば、通話情報取得部110は、第1の通信機器3と第2の通信機器4との通話が行われている間に、通話情報を取得してもよい。ログ作成部111は、第1の通信機器3と第2の通信機器4との通話が終了した後に会話ログ情報を作成してもよい。
【0130】
なお、出力部114は、会話ログ表示要求に基づいて、第1の通信機器3、及び第2の通信機器4の少なくとも一方に会話ログ情報を出力してもよい。この例では、プロセッサ11は、第1の通信機器3、及び第2の通信機器4の少なくとも一方から会話ログ表示要求を取得する。例えば、プロセッサ11は、第1の通信機器3、又は第2の通信機器4のユーザのユーザ操作に基づいて、会話ログ表示要求を取得する。ユーザ操作は、例えば、表示デバイスに表示された会話ログを表示するための表示ボタンのクリック操作、又はタッチ操作を含み得る。出力部114は、会話ログ表示要求に基づいて、会話ログ情報を会話ログ表示要求の出力元である第1の通信機器3、及び第2の通信機器4の少なくとも一方に出力してもよい。
【0131】
なお、会話ログ表示要求は、第1の通信機器3及び第2の通信機器4とは異なる他の電子機器から出力されてもよい。例えば、図示しないユーザ端末により会話ログ表示要求が出力されてもよい。この場合、出力部114は、会話ログ表示要求の出力元であるユーザ端末に会話ログ情報を出力してもよい。
【0132】
図14は、実施形態に係る第2の通信機器4による情報処理の手順の一例を示すフローチャートである。
【0133】
以下の処理は、第1の通信機器3と第2の通信機器4との通話が開始されたことに基づいて開始されるものとする。以下の処理は、第1の通信機器3、及び第2の通信機器4の少なくとも一方に会話ログが表示されている場合に開始されてもよい。以下の例では、第2の通信機器4のユーザに対して、注釈設定権限が設定されているものとする。以下の処理は、第2の通信機器4のユーザにより注釈が設定される場合の処理を示す。
【0134】
表示処理部411は、第1の通信機器3、及び第2の通信機器4間の通話に基づく会話ログを表示デバイス451-1に表示する。
【0135】
ログ処理部410は、ユーザの操作に基づいて、注釈設定指示を取得する(ACT101)。ACT101では、例えば、ログ処理部410は、ユーザの操作に基づいて、注釈を設定するため指示を取得する。
【0136】
ログ処理部410は、サーバ1に、注釈を設定するため指示を出力する(ACT102)。ログ処理部410は、サーバ1に、停止要求を出力する。
【0137】
表示処理部411は、通知を表示デバイス451-1に表示する(ACT103)。ACT103では、例えば、ログ処理部410は、サーバ1から会話ログの記録が停止されることを示す通知に関する情報を取得する。表示処理部411は、通知に関する情報に基づいて、会話ログの記録が停止されることを示す情報を含む通知画像を表示デバイス451-1に表示する。
【0138】
ログ処理部410は、ユーザの操作に基づいて、会話ログに含まれる発話文、又は発話文の範囲に設定する注釈に関する情報を取得する(ACT104)。ACT104では、例えば、ログ処理部410は、ユーザの操作に基づいて、注釈を設定する範囲を示す情報を取得する。ログ処理部410は、ユーザの操作に基づいて、注釈の内容を示す情報を取得する。
【0139】
ログ処理部410は、サーバ1に、注釈に関する情報を出力する(ACT105)。なお、ログ処理部410は、ACT105において、サーバ1に、停止要求を出力してもよい。この場合、ACT105の後に表示処理部411は、通知に関する情報に基づいて通知画像を表示デバイス451-1に表示してもよい。
【0140】
ログ処理部410は、サーバ1から注釈内容を反映することを確認するための確認要求を取得したか否かを判定する(ACT106)。ログ処理部410により確認要求を取得したと判定された場合(ACT106:YES)、処理は、ACT106からACT107へ遷移する。ログ処理部410により確認要求を取得していないと判定された場合(ACT106:NO)、処理は、終了する。なお、この場合、ログ処理部410は、注釈内容を反映しないことを確認するための確認要求を取得してもよい。
【0141】
表示処理部411は、注釈内容の反映の確定についての確認要求に基づいて、通知を表示デバイス451-1に表示する(ACT107)。ACT107では、例えば、表示処理部411は、確認要求に基づいて通知画像を表示デバイス451-1に表示する。通知画像は、注釈内容を反映することを確認する情報を含む。なお、ログ処理部410により、注釈内容を反映しないことを確認するための確認要求が取得された場合、表示処理部411は、注釈内容を反映しないことを確認する情報を含む通知画像を表示デバイス451-1に表示してもよい。
【0142】
ログ処理部410は、サーバ1に確定指示を出力する(ACT108)。ACT108では、例えば、ログ処理部410は、ユーザの操作に基づいて、会話ログ情報に注釈内容を反映することを確定するための確定指示を取得する。ログ処理部410は、確定指示をサーバ1に出力する。ログ処理部410は、サーバ1に会話ログの記録を再開するための再開要求を出力する。サーバ1は、会話ログの記録を再開する。サーバ1は、会話ログの記録を再開することを示す情報を第2の通信機器4に出力してもよい。この場合、表示処理部411は、会話ログの記録を再開することを示す情報を含む通知画像を表示デバイス451-1に表示してもよい。
【0143】
ログ処理部410は、サーバ1から、注釈に関する情報に基づいて更新された会話ログ情報を取得する(ACT109)。
【0144】
表示処理部411は、更新された会話ログ情報に基づいて、更新された会話ログを表示デバイス451-1に表示する(ACT110)。表示処理部411は、注釈を認識可能な態様で表示デバイス451-1に表示する。注釈を認識可能な態様で表示することは、注釈を設定する範囲、及び注釈の内容の少なくとも一方を認識可能な態様で表示することを含む。
【0145】
なお、プロセッサ41は、上述の処理を、第1の通信機器3と第2の通信機器4との通話が終了した後に行ってもよい。
【0146】
この例によれば、第2の通信機器4は、ユーザの操作に基づいて、会話ログに含まれる発話文に対して、注釈を設定することができる。ユーザは、発話文のみでは認識できないような情報を会話ログに追加することができる。このように、第2の通信機器4は、注釈を挿入した会話ログを作成することができる。第2の通信機器4は、会話終了後に会話ログを閲覧する際等において、会話ログの閲覧者に誤解を生じさせないような会話ログを作成することを支援することができる。
また、第2の通信機器4は、会話ログの表示画面上で、注釈の有無、及び注釈の内容を認識可能な態様で表示することができる。これにより、第2の通信機器4のユーザは、注釈の有無、及び注釈の内容を容易に認識することができる。さらに、第2の通信機器4は、注釈を設定について、他のユーザから承諾指示を取得した場合に注釈の設定を会話ログ情報に反映することができる。そのため、第2の通信機器4のユーザは、注釈の設定に関して他のユーザの合意を得ることができる。
【0147】
図15は、実施形態に係る第2の通信機器4による情報処理の手順の別の例を示すフローチャートである。
【0148】
以下の処理は、第1の通信機器3と第2の通信機器4との通話が開始されたことに基づいて開始されるものとする。以下の処理は、第1の通信機器3、及び第2の通信機器4の少なくとも一方に会話ログが表示されている場合に開始されてもよい。以下の例では、第2の通信機器4のユーザに対して、注釈設定権限が設定されているものとする。以下の処理は、第2の通信機器4のユーザにより注釈が削除される場合の処理を示す。
【0149】
表示処理部411は、第1の通信機器3、及び第2の通信機器4間の通話に基づく会話ログを表示デバイス451-1に表示する。
【0150】
ログ処理部410は、ユーザの操作に基づいて、注釈設定指示を取得する(ACT201)。ACT201では、例えば、ログ処理部410は、ユーザの操作に基づいて、注釈を削除するため指示を取得する。
【0151】
ログ処理部410は、サーバ1に、注釈設定指示を出力する(ACT202)。ログ処理部410は、サーバ1に、停止要求を出力してもよい。なお、ログ処理部410が停止要求を出力した場合、ACT103と同様に、表示処理部411は、通知を表示デバイス451-1に表示してもよい。
【0152】
ログ処理部410は、ユーザの操作に基づいて、会話ログに含まれる発話文、又は発話文の範囲に設定された注釈の削除に関する情報を取得する(ACT203)。ACT203では、例えば、ログ処理部410は、ユーザの操作に基づいて、注釈を削除する範囲を示す情報を取得する。ログ処理部410は、ユーザの操作に基づいて、削除の内容を示す情報を取得する。削除の内容は、注釈の一部又は全部を削除することを示す情報を含み得る。
【0153】
ログ処理部410は、サーバ1に、削除に関する情報を出力する(ACT204)。なお、サーバ1は、削除に関する情報を第1の通信機器3に出力してもよい。サーバ1は、第1の通信機器3から削除に関する情報についての承諾指示を取得してもよい。
【0154】
表示処理部411は、削除内容を反映することを確認するための通知を表示デバイス451-1に表示する。(ACT205)。ACT205では、例えば、ログ処理部410は、サーバ1から確認要求を取得する。表示処理部411は、確認要求に基づいて、通知を表示デバイス451-1に表示する。
【0155】
ログ処理部410は、サーバ1に確定指示を出力する(ACT206)。ACT206では、例えば、ログ処理部410は、ユーザの操作に基づいて、会話ログ情報に注釈の削除を反映することを確定するための確定指示を取得する。ログ処理部410は、確定指示をサーバ1に出力する。ログ処理部410は、サーバ1に会話ログの記録を再開するための再開要求を出力してもよい。サーバ1は、会話ログの記録を再開する。サーバ1は、会話ログの記録を再開することを示す情報を第2の通信機器4に出力してもよい。この場合、表示処理部411は、会話ログの記録を再開することを示す情報を含む通知画像を表示デバイス451-1に表示してもよい。
【0156】
ログ処理部410は、サーバ1から、注釈の削除に関する情報に基づいて更新された会話ログ情報を取得する(ACT207)。
【0157】
表示処理部411は、更新された会話ログ情報に基づいて、更新された会話ログを表示デバイス451-1に表示する(ACT208)。
【0158】
なお、プロセッサ41は、上述の処理を、第1の通信機器3と第2の通信機器4との通話が終了した後に行ってもよい。
【0159】
図16は、実施形態に係る第1の通信機器3による情報処理の手順の一例を示すフローチャートである。
【0160】
以下の例では、第2の通信機器4のユーザに対して、注釈設定権限が設定されているものとする。第1の通信機器3のユーザに対して、注釈承諾権限が設定されているものとする。以下の処理は、第2の通信機器4からサーバ1に、注釈を設定するため指示が出力されたことに基づいて開始されるものとする。プロセッサ31は、第1の通信機器3、及び第2の通信機器4間の通話に基づく会話ログを表示デバイス351-1に表示しているものとする。
【0161】
以下の処理は、第2の通信機器4のユーザにより注釈が設定される場合の処理を示す。なお、以下の処理は、第2の通信機器4のユーザにより注釈が削除される場合にも適用され得る。
【0162】
プロセッサ31は、通知を表示する(ACT301)。ACT301では、例えば、プロセッサ31は、サーバ1から、通知に関する情報を取得する。プロセッサ31は、サーバ1から、会話ログの記録が停止されることを示す通知に関する情報を取得する。プロセッサ31は、通知に関する情報に基づいて、会話ログの記録が停止されることを示す情報を含む通知画像を表示デバイス351-1に表示する。
【0163】
プロセッサ31は、サーバ1から注釈に関する情報を取得する(ACT302)。ACT302では、例えば、プロセッサ31は、サーバ1から、注釈を設定する範囲を示す情報、及び注釈の内容を示す情報を取得する。
【0164】
プロセッサ31は、通知を表示する(ACT303)。ACT303では、例えば、プロセッサ31は、注釈に関する情報に基づいて、注釈が設定されたことを示す情報を含む通知画像を表示デバイス351-1に表示する。通知画像は、注釈内容を承諾するか否かを指示可能なボタン等を含み得る。
【0165】
プロセッサ31は、ユーザの操作に基づいて、注釈内容を承諾する承諾指示を取得したか否かを判定する(ACT304)。プロセッサ31により承諾指示を取得したと判定された場合(ACT304:YES)、処理は、ACT304からACT305へ遷移する。プロセッサ31により承諾指示を取得していないと判定された場合(ACT304:NO)、処理は、ACT304からACT308へ遷移する。承諾指示を取得していないことは、注釈の内容を拒否することを示す拒否指示を取得したことと読み替えてもよい。
【0166】
プロセッサ31は、サーバ1に承諾指示を出力する(ACT305)。サーバ1は、承諾指示に基づいて、第2の通信機器4に確認要求を出力する。サーバ1は、第2の通信機器4から注釈の設定を確定するための確定指示を取得する。サーバ1は、確定指示に基づいて、会話ログ情報を更新する。
【0167】
プロセッサ31は、サーバ1から更新された会話ログ情報を取得する(ACT306)。
【0168】
プロセッサ31は、更新された会話ログ情報に基づいて、更新された会話ログを表示デバイス351-1に表示する(ACT307)。プロセッサ31は、注釈を認識可能な態様で表示デバイス351-1に表示する。注釈を認識可能な態様で表示することは、注釈を設定する範囲、及び注釈の内容の少なくとも一方を認識可能な態様で表示することを含む。
【0169】
なお、サーバ1は、会話ログの記録を再開することを示す情報を第1の通信機器3に出力してもよい。この場合、プロセッサ31は、会話ログの記録を再開することを示す情報を含む通知画像を表示デバイス351-1に表示してもよい。
【0170】
なお、プロセッサ31は、上述の処理を、第1の通信機器3と第2の通信機器4との通話が終了した後に行ってもよい。
【0171】
この例によれば、第1の通信機器3は、会話ログの表示画面上で、注釈の有無、及び注釈の内容を認識可能な態様で表示することができる。これにより、第1の通信機器3のユーザは、注釈の有無、及び注釈の内容を容易に認識することができる。また、第1の通信機器3は、ユーザの操作に基づいて、他のユーザにより設定された注釈に対して、承諾指示をサーバ1に出力することができる。ユーザは、注釈に対して、承諾可否の意思表示を行うことができる。
【0172】
(他の実施形態)
上述の実施形態では、診療ブースは、遠隔診療支援装置2、及び第1の通信機器3を含む例について説明したが、これに限られない。診療ブースは、遠隔診療支援装置2、及び第1の通信機器3の一方を含んでもよい。診療ブースが第1の通信機器3を含まず、遠隔診療支援装置2を含む場合、遠隔診療支援装置2は、第1の通信機器3の機能を実現してもよい。診療ブースが遠隔診療支援装置2を含まず、第1の通信機器3を含む場合、第1の通信機器3は、遠隔診療支援装置2の機能を実現してもよい。
【0173】
上述の実施形態では、遠隔診療における医師と患者による通話を例に説明したが、これに限られない。上述の実施形態では、WEB会議、テレビ会議、遠隔教育等の複数の通信機器のユーザによる通話が行われる場合に適用可能である。
【0174】
情報処理装置は、サーバ1のような1つの装置で実現されてもよいし、機能を分散させた複数の装置で実現されてもよい。
【0175】
上述の実施形態は、装置だけでなく、装置が実行する方法に適用されてもよい。上述の実施形態は、装置のコンピュータに各機能を実行させることが可能なプログラムに適用されてもよい。上述の実施形態は、プログラムを記憶する記録媒体に適用されてもよい。上述の実施形態は、システムだけでなく、システムに含まれる複数の要素が実行する方法に適用されてもよい。
【0176】
処理回路は、複数の機能による複数の処理を実現する1つ以上の回路を含む。例えば、回路は、プロセッサ、ASIC(Application Specific Integrated Circuit)又はFPGA(field-Programmable Gate Array)であるが、これらに限定されない。
【0177】
処理回路を構成する1つ以上の回路のそれぞれは、複数の処理のうちの1つ以上の処理を実行する。処理回路が単一の回路で構成される場合、単一の回路は、複数の処理の全部を実行する。処理回路が複数の回路で構成される場合、複数の回路のそれぞれは、複数の処理のうちの一部を実行する。複数の処理のうちの一部は、複数の処理のうちの1つでもよいし、複数の処理のうちの2つ以上でもよい。処理回路が複数の回路で構成される場合、複数の回路は、1つの装置に含まれていてもよいし、複数の装置に分散していてもよい。
【0178】
プログラムは、装置に記憶された状態で譲渡されてよいし、装置に記憶されていない状態で譲渡されてもよい。後者の場合は、プログラムは、ネットワークを介して譲渡されてよいし、記録媒体に記録された状態で譲渡されてもよい。記録媒体は、非一時的な有形の媒体である。記録媒体は、コンピュータ可読媒体である。記録媒体は、CD-ROM、メモリカード等のプログラムを記憶可能かつコンピュータで読取可能な媒体であればよく、その形態は問わない。
【0179】
以上、本発明の実施形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。
【0180】
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【0181】
(付記)
上述の実施形態は、以下のように表されてもよい。
(1) コンピュータに、
複数の端末間の通話に基づく会話ログを表示する機能と、
ユーザの操作に基づいて、前記会話ログに含まれる発話文に設定する注釈に関する情報を取得する機能と、
前記注釈に関する情報に基づいて更新された会話ログを表示する機能と、
を実行させることが可能なプログラム。
(2) コンピュータに、
前記ユーザの操作に基づいて、前記会話ログの記録を停止するための停止要求を出力する機能をさらに実行させることが可能な(1)に記載のプログラム。
(3) コンピュータに、
前記ユーザの操作に基づいて、前記会話ログの記録を再開するための再開要求を出力する機能をさらに実行させることが可能な(1)に記載のプログラム。
(4) 他の端末から前記注釈についての承諾の情報を取得したことに基づいて、前記注釈を反映することを確認するための確認要求を出力する機能をさらに実行させることが可能な(1)に記載のプログラム。
(5) 前記更新された会話ログを表示する機能は、前記注釈を認識可能な態様で表示する機能を含む、(1)に記載のプログラム。
(6) 複数の端末間の通話に基づく会話ログを表示することと、
ユーザの操作に基づいて、前記会話ログに含まれる発話文に設定する注釈に関する情報を取得することと、
前記注釈に関する情報に基づいて更新された会話ログを表示することと、
を備える情報処理方法。
【符号の説明】
【0182】
1…サーバ、2…遠隔診療支援装置、3…第1の通信機器、4…第2の通信機器、11…プロセッサ、12…メインメモリ、13…補助記憶デバイス、14…通信インタフェース、21…プロセッサ、22…メインメモリ、23…補助記憶デバイス、24…通信インタフェース、25…入出力インタフェース、26…表示デバイス、27…スピーカ、28…入力デバイス、31…プロセッサ、32…メインメモリ、33…補助記憶デバイス、34…通信インタフェース、35…入出力インタフェース、38…入力デバイス、41…プロセッサ、42…メインメモリ、43…補助記憶デバイス、44…通信インタフェース、45…入出力インタフェース、48…入力デバイス、100…情報処理システム、110…通話情報取得部、111…ログ作成部、112…記憶制御部、113…ログ更新部、114…出力部、251-1~251-m…医療機器、351-1…表示デバイス、351-2…カメラ、351-3…マイク、351-4…スピーカ、410…ログ処理部、411…表示処理部、451-1…表示デバイス、451-2…カメラ、451-3…マイク、451-4…スピーカ、Ara…注釈対象エリア、Arb…注釈内容入力エリア、Arc…注釈目的入力エリア、Ard…通知エリア、Are…注釈エリア、Arf…通知エリア、Arg…注釈エリア、Arh…注釈対象エリア、Ba…編集ボタン、Bb…注釈設定ボタン、Bc…注釈削除ボタン、Bd…OKボタン、Be…キャンセルボタン、Bf…OKボタン、Bg…拒否ボタン、Bh…OKボタン、Ima…会話ログ画像、Imb…編集指示画像、Imc…通知画像、Imd…会話ログ画像、Ime…編集入力画像、Imf…通知画像、Img…通知画像、Imh…会話ログ画像、La…発話文、Ma…発話者識別マーク、Mb…発話者識別マーク。