特開 2022-180186 情報処理方法、情報処理装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022180186

(43)【公開日】2022-12-06

(54)【発明の名称】情報処理方法、情報処理装置及びプログラム

(51)【国際特許分類】

   G06Q 30/02 20120101AFI20221129BHJP

   G06Q 10/00 20120101ALI20221129BHJP

【ＦＩ】

G06Q30/02 470

G06Q10/00

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021087144

(22)【出願日】2021-05-24

(71)【出願人】

【識別番号】000002934

【氏名又は名称】武田薬品工業株式会社

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】常次 喜貴

(72)【発明者】

【氏名】松下 裕亮

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049AA02

5L049BB05

(57)【要約】      （修正有）

【課題】Ｍｅｄｉｃａｌ Ｒｅｐｒｅｓｅｎｔａｔｉｖｅ（ＭＲ）を好適に支援することができる情報処理方法、情報処理装置およびプログラムを提供する。
【解決手段】情報処理装置、ＭＲ端末及び医療従事者端末が、インターネット等のネットワークに接続されているＭＲ支援システムにおいて、サーバ（情報処理装置）による情報処理方法は、ＭＲと医療従事者との間の対話を支援するための支援情報を表示する画面を出力し、ＭＲと医療従事者との間の対話メッセージを逐次取得し、対話メッセージからキーワードを逐次抽出し、抽出したキーワードに基づき、支援情報を検索し、検索した支援情報を画面に表示させる処理を実行する。
【選択図】図１１

【特許請求の範囲】

【請求項1】

ＭＲ（Medical Representative）と医療従事者との間の対話を支援するための支援情報を表示する画面を出力し、
前記ＭＲと前記医療従事者との間の対話メッセージを逐次取得し、
前記対話メッセージからキーワードを逐次抽出し、
抽出した前記キーワードに基づき、前記支援情報を検索し、
検索した前記支援情報を前記画面に表示させる
処理をコンピュータが実行する情報処理方法。

【請求項2】

前記ＭＲと前記医療従事者とのオンラインミーティングにおける入出力音声を前記対話メッセージとして逐次取得し、
前記入出力音声をテキストに逐次変換し、
前記テキストから前記キーワードを逐次抽出する
請求項１に記載の情報処理方法。

【請求項3】

前記対話メッセージが入力音声であるか出力音声であるかに応じて、前記医療従事者からの対話メッセージと、前記ＭＲからの対話メッセージとを識別し、
前記医療従事者からの対話メッセージから前記キーワードを抽出する
請求項２に記載の情報処理方法。

【請求項4】

逐次抽出する前記キーワードに基づき、前記支援情報を逐次検索し、
逐次検索した前記支援情報を前記画面に順次表示させる
請求項１～３のいずれか１項に記載の情報処理方法。

【請求項5】

逐次抽出する前記キーワードを、前記画面に配置された検索窓に追加し、
前記ＭＲからの操作入力に応じて、前記検索窓に追加した前記キーワードに基づき前記支援情報を検索し、
検索した前記支援情報を前記画面に表示させる
請求項１～４のいずれか１項に記載の情報処理方法。

【請求項6】

前記対話メッセージに相当するテキストであって、前記キーワードを強調した前記テキストを前記画面に逐次表示させ、
前記テキスト中の前記キーワードに対する操作入力を受け付けることで、前記キーワードを前記検索窓に追加する
請求項５に記載の情報処理方法。

【請求項7】

前記支援情報を自動的に検索する自動検索モードと、前記ＭＲの手動操作に応じて前記支援情報を検索する手動検索モードとを切り換えるオブジェクトを前記画面に表示させ、
前記オブジェクトへの操作入力により前記自動検索モードが選択されている場合、逐次抽出する前記キーワードに基づいて逐次検索した前記支援情報を前記画面に順次表示させ、
前記手動検索モードが選択されている場合、前記ＭＲからの操作入力に応じて、前記検索窓に追加した前記キーワードに基づき前記支援情報を検索する
請求項５又は６に記載の情報処理方法。

【請求項8】

前記対話メッセージから抽出した前記キーワードに関連する関連語を推定し、
複数の前記関連語を、前記キーワードとの関連度合いに応じて互いに異なる表示態様で前記画面に表示させ、
前記関連語への指定入力を受け付けた場合、指定された前記関連語に基づき前記支援情報を検索し、
検索した前記支援情報を前記画面に表示させる
請求項１～７のいずれか１項に記載の情報処理方法。

【請求項9】

前記対話メッセージから、医薬品名と、該医薬品名の前後に出現する単語とを前記キーワードとして抽出し、
前記医薬品名及び単語に基づき、医薬品に関する質問文及び回答文のテンプレートを記憶するデータベースから、前記テンプレートを検索する
請求項１～８のいずれか１項に記載の情報処理方法。

【請求項10】

ＭＲと医療従事者との間の対話を支援するための支援情報を表示する画面を出力する出力部と、
前記ＭＲと前記医療従事者との間の対話メッセージを逐次取得する取得部と、
前記対話メッセージからキーワードを逐次抽出する抽出部と、
抽出した前記キーワードに基づき、前記支援情報を検索する検索部とを備え、
前記出力部は、検索した前記支援情報を前記画面に表示させる
情報処理装置。

【請求項11】

ＭＲと医療従事者との間の対話を支援するための支援情報を表示する画面を表示部に表示し、
前記ＭＲと前記医療従事者との間の対話メッセージを逐次取得し、
前記対話メッセージを、前記支援情報を検索する情報処理装置に逐次送信し、
前記対話メッセージから抽出されたキーワードに基づいて検索された前記支援情報を前記情報処理装置から取得し、
前記支援情報を前記画面に表示する
処理をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理方法、情報処理装置及びプログラムに関する。

【背景技術】

【0002】

医師等の医療従事者と、ＭＲ（Medical Representative；医薬情報担当者）との間のコミュニケーションを支援する技術がある。例えば特許文献１では、医師、ＭＲ等の医療関係者の間で医療情報のファイルを共有すると共に、医療関係者同士のオンライン会議（オンラインミーティング）を実施する医療情報交換システムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４－２２８９７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に係る発明は、ファイル共有、オンラインミーティング等の各機能を別々に動作させるシステムに過ぎず、医療従事者とＭＲとの対話中に医療情報を提供するに至っていない。

【0005】

一つの側面では、ＭＲを好適に支援することができる情報処理装置等を提供することを目的とする。

【課題を解決するための手段】

【0006】

一つの側面に係る情報処理方法は、ＭＲと医療従事者との間の対話を支援するための支援情報を表示する画面を出力し、前記ＭＲと前記医療従事者との間の対話メッセージを逐次取得し、前記対話メッセージからキーワードを逐次抽出し、抽出した前記キーワードに基づき、前記支援情報を検索し、検索した前記支援情報を前記画面に表示させる処理をコンピュータが実行する。

【0007】

一つの側面に係る情報処理方法は、前記ＭＲと前記医療従事者とのオンラインミーティングにおける入出力音声を前記対話メッセージとして逐次取得し、前記入出力音声をテキストに逐次変換し、前記テキストから前記キーワードを逐次抽出する。

【0008】

一つの側面に係る情報処理方法は、前記対話メッセージが入力音声であるか出力音声であるかに応じて、前記医療従事者からの対話メッセージと、前記ＭＲからの対話メッセージとを識別し、前記医療従事者からの対話メッセージから前記キーワードを抽出する。

【0009】

一つの側面に係る情報処理方法は、逐次抽出する前記キーワードに基づき、前記支援情報を逐次検索し、逐次検索した前記支援情報を前記画面に順次表示させる。

【0010】

一つの側面に係る情報処理方法は、逐次抽出する前記キーワードを、前記画面に配置された検索窓に追加し、前記ＭＲからの操作入力に応じて、前記検索窓に追加した前記キーワードに基づき前記支援情報を検索し、検索した前記支援情報を前記画面に表示させる。

【0011】

一つの側面に係る情報処理方法は、前記対話メッセージに相当するテキストであって、前記キーワードを強調した前記テキストを前記画面に逐次表示させ、前記テキスト中の前記キーワードに対する操作入力を受け付けることで、前記キーワードを前記検索窓に追加する。

【0012】

一つの側面に係る情報処理方法は、前記支援情報を自動的に検索する自動検索モードと、前記ＭＲの手動操作に応じて前記支援情報を検索する手動検索モードとを切り換えるオブジェクトを前記画面に表示させ、前記オブジェクトへの操作入力により前記自動検索モードが選択されている場合、逐次抽出する前記キーワードに基づいて逐次検索した前記支援情報を前記画面に順次表示させ、前記手動検索モードが選択されている場合、前記ＭＲからの操作入力に応じて、前記検索窓に追加した前記キーワードに基づき前記支援情報を検索する。

【0013】

一つの側面に係る情報処理方法は、前記対話メッセージから抽出した前記キーワードに関連する関連語を推定し、複数の前記関連語を、前記キーワードとの関連度合いに応じて互いに異なる表示態様で前記画面に表示させ、前記関連語への指定入力を受け付けた場合、指定された前記関連語に基づき前記支援情報を検索し、検索した前記支援情報を前記画面に表示させる。

【0014】

一つの側面に係る情報処理方法は、前記対話メッセージから、医薬品名と、該医薬品名の前後に出現する単語とを前記キーワードとして抽出し、前記医薬品名及び単語に基づき、医薬品に関する質問文及び回答文のテンプレートを記憶するデータベースから、前記テンプレートを検索する。

【0015】

一つの側面に係る情報処理装置は、ＭＲと医療従事者との間の対話を支援するための支援情報を表示する画面を出力する出力部と、前記ＭＲと前記医療従事者との間の対話メッセージを逐次取得する取得部と、前記対話メッセージからキーワードを逐次抽出する抽出部と、抽出した前記キーワードに基づき、前記支援情報を検索する検索部とを備え、前記出力部は、検索した前記支援情報を前記画面に表示させる。

【0016】

一つの側面に係るプログラムは、ＭＲと医療従事者との間の対話を支援するための支援情報を表示する画面を表示部に表示し、前記ＭＲと前記医療従事者との間の対話メッセージを逐次取得し、前記対話メッセージを、前記支援情報を検索する情報処理装置に逐次送信し、前記対話メッセージから抽出されたキーワードに基づいて検索された前記支援情報を前記情報処理装置から取得し、前記支援情報を前記画面に表示する処理をコンピュータに実行させる。

【発明の効果】

【0017】

一つの側面では、ＭＲを好適に支援することができる。

【図面の簡単な説明】

【0018】

【図1】ＭＲ支援システムの構成例を示す説明図である。

【図2】サーバの構成例を示すブロック図である。

【図3】ＭＲ端末の構成例を示すブロック図である。

【図4】ＭＲＤＢ、コンテンツＤＢ、医薬品ＤＢ、及び対話ログＤＢのレコードレイアウトの一例を示す説明図である。

【図5】ＭＲ端末の表示画面の一例を示す説明図である。

【図6】自動検索時の支援ブラウザの表示例を示す説明図である。

【図7】支援情報の検索処理に関する説明図である。

【図8】Ｑ＆Ａ検索処理に関する説明図である。

【図9】手動検索時の支援ブラウザの表示例を示す説明図である。

【図10】手動検索時の表示画面の他例を示す説明図である。

【図11】サーバが実行する処理手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0019】

以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
図１は、ＭＲ支援システムの構成例を示す説明図である。本実施の形態では、ＭＲが医療従事者（顧客）とのミーティングを実施中に、ＭＲと医療従事者との間の対話内容に関連する情報（支援情報）を検索及び表示するＭＲ支援システムについて説明する。ＭＲ支援システムは、情報処理装置１、ＭＲ端末２、医療従事者端末３を含む。各装置は、インターネット等のネットワークＮに接続されている。

【0020】

情報処理装置１は、種々の情報処理、情報の送受信が可能な情報処理装置であり、例えばサーバコンピュータ、パーソナルコンピュータ等である。本実施の形態では情報処理装置１がサーバコンピュータであるものとし、以下では簡潔のためサーバ１と読み替える。サーバ１は、ＭＲと医療従事者との間の対話メッセージからキーワードを抽出し、抽出したキーワードに基づき、医療従事者との対話を支援するための支援情報を検索する。サーバ１は、検索した支援情報をＭＲ端末２に出力し、表示させる。

【0021】

医療従事者は、ＭＲの対話相手となる医療関係者であり、例えば医師である。なお、医療従事者は医師に限定されず、その他の医療従事者（例えば薬剤師等）であってもよい。

【0022】

支援情報は、主にＭＲから医療従事者への対話（情報提供）を支援するためのコンテンツであり、医療に関連するコンテンツである。詳しくは後述するように、支援情報は、医薬品に関する情報、医学論文、ＭＲの営業資材（プレゼンテーション資料等）、講演会の案内等を含み得る。なお、支援情報は医療に直接関連するものでなくともよく、ＭＲと医療従事者との間の対話を促進するものであればよい。

【0023】

ＭＲ端末２及び医療従事者端末３はそれぞれ、ＭＲ及び医療従事者が使用する情報処理端末であり、例えばパーソナルコンピュータ、タブレット端末、スマートフォン等である。なお、図１では便宜上、ＭＲ端末２及び医療従事者端末３をそれぞれ一台のみ図示しているが、実際には複数のＭＲ端末２及び医療従事者端末３がネットワークＮに接続されている。

【0024】

後述するように、ＭＲ端末２及び医療従事者端末３は、Ｗｅｂ会議等のオンラインミーティングに係る処理を実行し、ＭＲと医療従事者との間の対話メッセージ（音声）を送受信する。本実施の形態においてサーバ１は、オンラインミーティングにおける入出力音声を対話メッセージとして取得し、当該対話メッセージからキーワードを抽出して、支援情報を検索する。

【0025】

なお、オンラインミーティングはＷｅｂブラウザを介したＷｅｂ会議に限定されず、専用機器を使ったテレビ会議、音声のみの電話会議等であってもよい。また、オンラインミーティングは音声をベースにしたミーティングに限定されず、テキストをベースにしたチャット等であってもよい。すなわち、オンラインミーティングは、通信回線を介してメッセージを交換可能な手段であればよく、そのミーティング形式はＷｅｂ会議に限定されず、対話メッセージは音声に限定されない。

【0026】

また、ＭＲと医療従事者との間のミーティングは通信回線を介したミーティングに限定されず、対面でのミーティングであってもよい。この場合、例えばＭＲ端末２が対話音声を集音してサーバ１に送信し、サーバ１は当該音声からキーワードを抽出して支援情報を検索し、ＭＲ端末２に出力する。このように、ミーティングは通信回線を介したものに限定されない。

【0027】

また、本実施の形態ではオンラインミーティングに係る処理を実行する装置と支援情報を表示する装置とが同一であるものとして説明するが、本実施の形態はこれに限定されるものではなく、両者は別々の装置であってもよい。例えば、一のコンピュータ（パーソナルコンピュータ等）がオンラインミーティングに係る処理を行い、他のコンピュータ（パーソナルコンピュータの傍に置いたタブレット端末等）が当該一のコンピュータから対話メッセージを取得して医療情報を表示するようにしてもよい。

【0028】

図２は、サーバ１の構成例を示すブロック図である。サーバ１は、制御部１１、主記憶部１２、通信部１３、及び補助記憶部１４を備える。
制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等のプロセッサを有し、補助記憶部１４に記憶されたプログラムＰ１を読み出して実行することにより、種々の情報処理を行う。主記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。

【0029】

補助記憶部１４は、大容量メモリ、ハードディスク等の不揮発性記憶領域であり、制御部１１が処理を実行するために必要なプログラムＰ１、その他のデータを記憶している。また、補助記憶部１４は、ＭＲＤＢ１４１、コンテンツＤＢ１４２、医薬品ＤＢ１４３、対話ログＤＢ１４４を記憶している。

【0030】

ＭＲＤＢ１４１は、ＭＲの情報を格納するデータベースである。コンテンツＤＢ１４２は、医療従事者向けのコンテンツ（ＭＲの営業資材、講演会の情報等）を記憶するデータベースである。医薬品ＤＢ１４３は、医薬品の情報を格納するデータベースである。後述するように、医薬品ＤＢ１４３には、医薬品に関する製品知識（Ｑ＆Ａ）が記憶されている。対話ログＤＢ１４４は、ＭＲと医師との間の対話ログを記憶するデータベースである。

【0031】

なお、補助記憶部１４はサーバ１に接続された外部記憶装置であってもよい。また、サーバ１は複数のコンピュータからなるマルチコンピュータであっても良く、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。

【0032】

また、本実施の形態においてサーバ１は上記の構成に限られず、例えば操作入力を受け付ける入力部、画像を表示する表示部等を含んでもよい。また、サーバ１は、非一時的なコンピュータ読取可能な記録媒体１ａを読み取る読取部を備え、記録媒体１ａからプログラムＰ１を読み込んでもよい。また、プログラムＰ１は単一のコンピュータ上で実行されてもよく、ネットワークＮを介して相互接続された複数のコンピュータ上で実行されてもよい。

【0033】

図３は、ＭＲ端末２の構成例を示すブロック図である。ＭＲ端末２は、制御部２１、主記憶部２２、通信部２３、表示部２４、入力部２５、撮像部２６、音声入力部２７、音声出力部２８、及び補助記憶部２９を備える。
制御部２１は、一又は複数のＣＰＵ等のプロセッサを有し、補助記憶部２９に記憶されたプログラムＰ２を読み出して実行することにより、種々の情報処理を行う。主記憶部２２は、ＲＡＭ等の一時記憶領域であり、制御部２１が演算処理を実行するために必要なデータを一時的に記憶する。通信部２３は、通信に関する処理を行うための通信モジュールであり、外部と情報の送受信を行う。表示部２４は、液晶ディスプレイ等の表示画面であり、画像を表示する。入力部２５は、キーボード、マウス等の操作インターフェイスであり、ユーザから操作入力を受け付ける。

【0034】

撮像部２６は、ＣＭＯＳ（Complementary MOS）等の撮像素子を備えるカメラである。音声入力部２７は、音声を集音するマイクである。音声出力部２８は、音声を出力するスピーカである。補助記憶部２９は、ハードディスク、大容量メモリ等の不揮発性記憶領域であり、制御部２１が処理を実行するために必要なプログラムＰ２、その他のデータを記憶している。

【0035】

なお、ＭＲ端末２は、非一時的なコンピュータ読取可能な記録媒体２ａを読み取る読取部を備え、記録媒体２ａからプログラムＰ２を読み込んでもよい。また、プログラムＰ２は単一のコンピュータ上で実行されてもよく、ネットワークＮを介して相互接続された複数のコンピュータ上で実行されてもよい。

【0036】

図４は、ＭＲＤＢ１４１、コンテンツＤＢ１４２、医薬品ＤＢ１４３、及び対話ログＤＢ１４４のレコードレイアウトの一例を示す説明図である。
ＭＲＤＢ１４１は、ＭＲＩＤ列、ＭＲ名列、担当医師列を含む。ＭＲＩＤ列は、各ＭＲを識別するためのＭＲＩＤを記憶している。ＭＲ名列、及び担当医師列はそれぞれ、ＭＲＩＤと対応付けて、ＭＲの氏名、及びＭＲが担当する医師（医療従事者）を記憶している。

【0037】

コンテンツＤＢ１４２は、コンテンツＩＤ列、キーワード列、コンテンツ列を含む。コンテンツＩＤ列は、各コンテンツを識別するためのコンテンツＩＤを記憶している。キーワード列、及びコンテンツ列はそれぞれ、コンテンツＩＤと対応付けて、コンテンツの検索キーワード、及びコンテンツのデータ（コンテンツ名、コンテンツを呼び出すためのＵＲＬ（Uniform Resource Locator）等）を記憶している。

【0038】

医薬品ＤＢ１４３は、医薬品ＩＤ列、医薬品名列、Ｑ＆Ａ列を含む。医薬品ＩＤ列は、各医薬品を識別するための医薬品ＩＤを記憶している。医薬品名列、及びＱ＆Ａ列はそれぞれ、医薬品ＩＤと対応付けて、医薬品名、及び医薬品に関する質問及び回答のテンプレート（定型文）を記憶している。

【0039】

対話ログＤＢ１４４は、日時列、ＭＲ列、医師列、対話ログ列を含む。日時列は、ＭＲ及び医師が行ったミーティング（対話）の日時を記憶している。ＭＲ列、医師列、及び対話ログ列はそれぞれ、日時と対応付けて、ミーティングに参加したＭＲ、医師、及び対話ログ（ＭＲ及び医師の対話メッセージ）を記憶している。

【0040】

図５は、ＭＲ端末２の表示画面の一例を示す説明図である。図５では、オンラインミーティングを実施中に、画面右側に支援情報を表示するブラウザが表示させる様子を図示している。以下では、支援情報を表示するブラウザを「支援ブラウザ」と呼ぶ。図５に基づき、本実施の形態の概要を説明する。

【0041】

サーバ１は、ＭＲ端末２からのアクセスに応じて支援ブラウザを出力し、ＭＲ端末２に表示させる。支援ブラウザは、ＭＲと医療従事者（医師）との間の対話内容に関連する支援情報を表示する表示画面であり、対話メッセージから抽出されたキーワードに基づく支援情報の検索結果を表示する画面である。医療従事者との間のオンラインミーティング（Ｗｅｂ会議等）を実施する場合に、ＭＲは支援ブラウザを起動し、支援情報の提示を受ける。

【0042】

なお、本実施の形態ではオンラインミーティングツールと支援情報の検索及び表示ツールが別であるものとして説明するが、支援情報の検索及び表示機能をオンラインミーティングツールの一機能として実装してもよい。

【0043】

ＭＲ端末２は、医療従事者端末３との間で送受信されるオンラインミーティングの入出力音声を、ＭＲと医療従事者との間の対話メッセージとして取得する。なお、ＭＲ端末２は、音声入力部２７（マイク）に入力される音声をＭＲの発話音声、音声出力部２８（スピーカ）から出力される音声を医療従事者の発話音声として識別する。ＭＲ端末２は、取得した対話メッセージをサーバ１に逐次送信する。

【0044】

サーバ１は、ＭＲ端末２から逐次取得する対話メッセージをテキストに変換する。なお、テキスト変換はサーバ１以外の装置（例えば音声解析用の別サーバ）で実行してもよい。サーバ１は、変換したテキストから所定のキーワードを抽出し、当該キーワードに基づいて支援情報を検索する。支援情報の検索処理については後述する。

【0045】

例えばサーバ１は、対話メッセージの解析を所定時間（例えば３０秒間）毎に行う。後述するように、サーバ１は自動的に、又はＭＲの手動操作に応じて支援情報を検索し、検索結果をＭＲ端末２に出力する。ＭＲ端末２は、サーバ１が検索した支援情報を支援ブラウザに表示する。サーバ１は、ＭＲ端末２においてオンラインミーティングが完了するまで処理を逐次実行し、支援情報を支援ブラウザに表示させる。

【0046】

図６は、自動検索時の支援ブラウザの表示例を示す説明図である。本実施の形態においてサーバ１は、支援情報の検索機能として、支援情報を自動的に検索する自動検索モードと、ＭＲの手動操作に応じて支援情報を検索する手動検索モードとを提供する。図６では、自動検索モード時の支援ブラウザを図示している。

【0047】

支援ブラウザは、タブ６１、検索表示欄６２、関連語表示欄６３を含む。タブ６１は、自動検索モード及び手動検索モードを切り換えるための操作ボタン（オブジェクト）である。「レコメンド」のタブ６１が選択された場合、ＭＲ端末２は自動検索モードに切り換える。「検索」のタブ６１が選択された場合、ＭＲ端末２は手動検索モードに切り換える。

【0048】

検索表示欄６２は、キーワードに基づき検索された支援情報の表示欄である。関連語表示欄６３は、キーワードに関連する関連語（関連トピック）の表示欄である。自動検索モードの場合、サーバ１は、対話メッセージからキーワードを抽出して支援情報を逐次検索し、検索された支援情報を検索表示欄６２にタイムライン形式で順次表示させる。また、サーバ１は、キーワードの関連語を推定し、ワードクラウド形式で関連語表示欄６３に表示させる。

【0049】

図７は、支援情報の検索処理に関する説明図である。図７では、キーワード抽出から関連語推定に至る処理を概念的に図示している。図７に基づき、支援情報の検索処理について説明する。

【0050】

上述の如く、サーバ１は対話メッセージをテキストに変換し、変換したテキストからキーワードを抽出する。キーワードは、例えば医薬品名、病名、患者の属性を表す単語等であるが、特に限定されるものではない。例えばサーバ１は、抽出対象とするキーワードを定めた辞書（不図示）を参照して、医療従事者の発話メッセージに相当するテキスト部分から一又は複数のキーワードを抽出する。なお、サーバ１は、ＭＲの発話メッセージからもキーワードを抽出してもよい。

【0051】

本実施の形態においてサーバ１は、対話メッセージから直接抽出した単語だけでなく、当該単語と同じ意味の単語もキーワードに加える。具体的には、サーバ１は、対話メッセージから抽出した単語の同義語をキーワードに加える。また、サーバ１は、対話メッセージから抽出した単語を、対話言語とは異なる言語（例えば対話言語が日本語である場合は英語）に翻訳し、翻訳語をキーワードに加える。例えばサーバ１は、所定の単語辞書（日本語辞書、日英辞書等）を参照して同義語及び翻訳語を特定し、キーワードに加える。

【0052】

サーバ１は、上記で抽出したキーワードに基づき、ＭＲと医療従事者との間の対話を支援するための支援情報を検索する。支援情報は、医薬品に関する情報、医学論文、ＭＲの営業資材、講演会の案内等であるが、これらに限定されるものではない。サーバ１は、本システムで用意してあるデータベース（コンテンツＤＢ１４２、医薬品ＤＢ１４３等）、又は外部のデータベース（論文検索サイト等）から、対話メッセージのキーワードを検索クエリに用いて支援情報を検索する。

【0053】

例えばサーバ１は、コンテンツＤＢ１４２から支援情報に相当するコンテンツを検索する。コンテンツＤＢ１４２に格納されているコンテンツは、例えば医薬品に関する営業資材（プレゼンテーション資料）、講演会の案内等であるが、特に限定されるものではない。例えばコンテンツＤＢ１４２には、キーワードと対応付けてコンテンツのデータが格納されている（図４参照）。サーバ１は、コンテンツに対応付けられたキーワードと、対話メッセージから抽出したキーワードとを比較し、対話内容に関連するコンテンツを検索する。サーバ１は、検索されたコンテンツを支援ブラウザの検索表示欄６２に表示させる。

【0054】

図６の表示例では、講演会の案内及び営業資材が１番目及び２番目のコンテンツとして検索表示欄６２に表示されている様子を図示している。図６に示すように、ＭＲ端末２は、検索クエリとなったキーワード、コンテンツ名、及びコンテンツを呼び出すためのＵＲＬリンクを表示する。ＵＲＬリンクへの操作入力を受け付けた場合、ＭＲ端末２はコンテンツを表示する。当該コンテンツは、オンラインミーティングツールを介して医療従事者端末３と共有することができる。

【0055】

また、サーバ１は支援情報として、医薬品に関する質問及び回答のテンプレートを医薬品ＤＢ１４３から検索する。具体的には、サーバ１は、キーワードとして医薬品名（製品名）が抽出された場合、当該医薬品名と、対話メッセージにおいて医薬品名の前後に出現した別の単語とに基づき、質問及び回答のテンプレートを検索する。

【0056】

図８は、Ｑ＆Ａ検索処理に関する説明図である。図８では、ＭＲ及び医療従事者の対話例と、医薬品に関する質問及び回答の文例を図示している。

【0057】

サーバ１は、キーワードの一つとして、医薬品名を対話メッセージから抽出する。この場合にサーバ１は、医薬品名に加えて、当該医薬品名の前後に出現する単語をキーワードとして抽出する。図８の例では、医薬品名である「Ａ剤」及び「Ｂ剤」が対話メッセージから抽出された場合を図示している。この場合にサーバ１は、「Ｂ剤」の後に出現する「副作用」、及び「Ａ剤」の後に出現する「切替」をキーワードとして抽出する。サーバ１は、「Ｂ剤」及び「副作用」、並びに「Ａ剤」及び「切替」を検索クエリのセットとする。

【0058】

サーバ１は、上述の検索クエリのセットに基づき、質問及び回答のテンプレートを医薬品ＤＢ１４３から検索する。具体的には、サーバ１は、医薬品名、及び当該医薬品名の前後から抽出した単語が含まれる質問文を検索する。サーバ１は、当該質問文と、質問文に対する回答文とを医薬品ＤＢ１４３から抽出し、支援ブラウザの検索表示欄６２に表示させる。

【0059】

図６では、医薬品に関する質問及び回答のテンプレートが３番目のコンテンツとして検索表示欄６２に表示される様子を図示している。例えば図６に示すように、ＭＲ端末２は、検索クエリのセットとなった医薬品名及び前後の単語を表示すると共に、検索された質問文を表示する。質問文への操作入力を受け付けた場合、ＭＲ端末２は、当該質問文に対する回答文を表示する。

【0060】

なお、図６では質問文が一つのみ表示されているが、サーバ１は、複数の質問及び回答のテンプレートを医薬品ＤＢ１４３から検索し、複数の質問及び回答を支援ブラウザに表示させてもよい。例えばサーバ１は、キーワード（医薬品名及び前後の単語）に基づいて複数の質問文が検索された場合、キーワードとの類似性が高い質問文（例えばキーワードの出現回数が多い質問文）から順に、各質問文を支援ブラウザに表示させる。これにより、複数のテンプレートをＭＲに提示することができる。

【0061】

上記のように、サーバ１は、本システムで用意してあるデータベース（コンテンツＤＢ１４２、医薬品ＤＢ１４３）から支援情報を検索し、支援ブラウザに自動的に表示する。本実施の形態では更に、外部のデータベースから支援情報（医学論文等）を検索可能となっている。外部データベースからの検索については後述する（図１０参照）。

【0062】

図７に戻って説明を続ける。本実施の形態においてサーバ１は、対話メッセージから抽出したキーワードだけでなく、当該キーワードに関連する複数の関連語をＭＲに提示し、当該関連語を検索クエリに用いて支援情報を検索可能となっている。

【0063】

関連語は、対話メッセージから抽出したキーワードと関連性の高い単語であり、ＭＲ及び医療従事者の対話内容と類似する情報を検索するための単語である。本実施の形態においてサーバ１は、対話メッセージから抽出したキーワードを含む文書（医学論文等）の特徴語、及びキーワードの類似語を関連語として推定する。

【0064】

例えばサーバ１は、対話メッセージから抽出したキーワードに基づき、外部のデータベースからキーワードが出現する文書を検索する。具体的には、サーバ１は、外部の論文検索サイトから医学論文を検索する。なお、サーバ１は文書をデータベース化して保持しておくことで、外部のデータベースではなく内部のデータベースから文書を検索可能としてもよい。また、検索対象とする文書は医学論文に限定されず、医学記事等の他の文書であってもよい。

【0065】

サーバ１は、検索した文書から、当該文書の特徴語を推定する。特徴語の推定方法は特に限定されないが、例えばサーバ１はｔｆ－ｉｄｆ（Term Frequency-Inverse Document Frequency）等の方法で特徴語を推定する。

【0066】

また、サーバ１は、対話メッセージから抽出したキーワードの類似語を関連語として推定する。類似語の推定方法は特に限定されないが、例えばサーバ１は、キーワードの特徴量ベクトルに変換する機械学習モデル（例えばｗｏｒｄ２ｖｅｃ）を用いて、キーワードの類似語を推定する。すなわち、サーバ１は、訓練用の文章群を学習済みのモデルを用いてキーワードを特徴量ベクトルに変換し、予め各種単語をベクトル化したデータセットと比較して、キーワードと類似する単語を推定する。

【0067】

上述の如く、サーバ１はキーワードの関連語（特徴語、類似語）を推定する。なお、関連語は特徴語及び類似語に限定されず、キーワードと関連性の高い単語であればよい。また、上記の推定方法は一例であって、例えばサーバ１は、キーワード及び関連語を相互に関連付けた辞書（コーパス）を予め用意しておき、当該辞書を参照して関連語を推定する等してもよい。

【0068】

ＭＲ端末２は、対話メッセージ中のキーワードと関連する関連語を、支援ブラウザ下部の関連語表示欄６３に表示する。この場合にＭＲ端末２は、キーワードと関連語との関連度合い（例えば特徴語であればｔｆ－ｉｄｆの値、類似語であれば特徴量ベクトルの類似度等）に応じて、各関連語を互いに異なる態様で表示する。

【0069】

具体的には、ＭＲ端末２はワードクラウド形式で各関連語を表示する。すなわち、ＭＲ端末２は、関連度合いの高い関連語のフォントサイズを大きくし、関連度合いの低い関連語のフォントサイズを小さくする。また、ＭＲ端末２は、関連度合いに応じて各関連語の文字色を変更する。なお、図６等では便宜上、全ての関連語を単色で図示している。

【0070】

上述の如く、ＭＲ端末２は関連語を関連語表示欄６３に表示することで、ＭＲと医療従事者との対話内容に関連すると思われるトピックをＭＲに提示する。後述するように、本実施の形態では手動検索モードにおいて当該関連語を検索クエリに加えて支援情報を検索可能となっている（図９参照）。

【0071】

なお、本実施の形態では手動検索時のみ関連語を検索クエリとすることが可能となっているが、自動検索時も関連語を検索クエリに加えて支援情報を検索してもよい。

【0072】

また、上述の如く自動検索モードでは支援情報が自動的に検索表示欄６２に表示されるが、検索表示欄６２に表示された支援情報をＭＲの操作（例えばスワイプ操作）に応じて削除可能としてもよい。これにより、ＭＲが不要と判断した情報を検索結果から除くことができる。

【0073】

図９は、手動検索時の支援ブラウザの表示例を示す説明図である。図９では、手動検索モードにおける支援ブラウザの表示例を図示している。具体的には、図９左側には支援情報を検索前の、図９右側には支援情報を検索後の支援ブラウザを図示している。

【0074】

手動検索モードにおいてＭＲ端末２は、タブ６１及び関連語表示欄６３に加えて、対話表示欄９１、検索表示欄９２、検索窓９３、第１検索ボタン９４、第２検索ボタン９５を支援ブラウザに表示する。対話表示欄９１は、ＭＲ及び医療従事者それぞれの対話メッセージ（テキスト）を表示する表示欄である。検索表示欄９２は、キーワードに基づき検索された支援情報の表示欄である。なお、図９左側に示すように、支援情報の検索前には、検索表示欄９２は閉じられている。検索窓９３は、検索クエリとする単語（キーワード）を表示する表示欄である。第１検索ボタン９４は、本システムに用意されている各データベース（コンテンツＤＢ１４２、医薬品ＤＢ１４３）から支援情報を検索するためのボタンである。第２検索ボタン９５は、外部のデータベースから支援情報（医学論文）を検索するためのボタンである。

【0075】

ＭＲ端末２は、対話メッセージ（音声）を変換したテキストを、ＭＲ及び医療従事者を表すアイコンと対応付けて対話表示欄９１に逐次表示する。ここでＭＲ端末２は、医療従事者の対話メッセージについて、キーワードに相当する文字列を強調表示する。具体的には図９に示すように、ＭＲ端末２は、キーワードに下線を付して、太字で表示する。当該キーワードに対する操作入力を受け付けた場合、ＭＲ端末２は、キーワードを検索窓９３に追加する。

【0076】

同様にＭＲ端末２は、関連語表示欄６３（図９では不図示）に表示されている関連語への操作入力を受け付けた場合、操作（指定）された関連語を検索窓９３に追加する。その他、ＭＲ端末２は検索窓９３に対し、任意のテキスト（単語）の入力を受け付ける。これにより、ＭＲは対話メッセージ中のキーワードだけでなく、関連語を含む他の単語に基づいて支援情報を検索することができる。

【0077】

第１検索ボタン９４への操作入力を受け付けた場合、サーバ１は、検索窓９３に追加された単語に基づいて支援情報を検索する。具体的には自動検索モードと同様に、サーバ１は、営業資材、講演会の案内、医薬品に関する質問及び回答のテンプレートなどを検索する。支援情報が検索された場合、ＭＲ端末２は検索表示欄９２を拡大し、支援情報を表示する。

【0078】

第２検索ボタン９５への操作入力を受け付けた場合、サーバ１は、検索窓９３に追加された単語に基づき、外部のデータベースから支援情報を検索する。例えばサーバ１は、外部の論文検索サイトを用いて医学論文を検索し、検索結果をＭＲ端末２に表示させる。

【0079】

図１０は、手動検索時の表示画面の他例を示す説明図である。例えば図１０に示すように、ＭＲ端末２は支援ブラウザと異なる別ブラウザを起動し、当該ブラウザに論文検索サイトでの検索結果を表示する。なお、ＭＲ端末２は支援ブラウザに検索結果を表示してもよい。ＭＲ端末２は、論文検索サイトの画面を表示し、検索された医学論文の一覧をＭＲに提示する。

【0080】

なお、本実施の形態では外部データベースから検索する支援情報として医学論文を挙げたが、その他のコンテンツ（例えば医学記事等）であってもよい。

【0081】

このように、自動検索モードでは支援情報を自動的に検索して表示すると共に、手動検索モードではＭＲが検索クエリを任意に入れ換えて、所望の支援情報を検索することができる。

【0082】

図１１は、サーバ１が実行する処理手順の一例を示すフローチャートである。図１１に基づき、サーバ１が実行する処理手順について説明する。なお、図１１のフローチャートの処理時において、ＭＲ端末２はオンラインミーティングに係る処理を同時に実行しているものとする。

【0083】

サーバ１の制御部１１は、ＭＲからの操作入力に応じて、支援ブラウザをＭＲ端末２に表示させる（ステップＳ１１）。制御部１１は、支援ブラウザのタブ６１への操作入力を受け付けることで、検索モードの選択入力を受け付ける（ステップＳ１２）。

【0084】

制御部１１は、ＭＲ端末２からＭＲと医療従事者との間の対話メッセージ（音声）を逐次取得する（ステップＳ１３）。制御部１１は、取得した対話メッセージをテキストに変換する（ステップＳ１４）。

【0085】

制御部１１は、当該テキストからキーワードを抽出する（ステップＳ１５）。例えば制御部１１は、医療従事者の発話メッセージに相当するテキスト部分からキーワードを抽出する。また、制御部１１は、対話メッセージから抽出した単語だけでなく、当該単語の同義語及び翻訳語をキーワードに加える。

【0086】

制御部１１は、抽出されたキーワードの関連語を推定し、支援ブラウザの関連語表示欄６３に表示させる（ステップＳ１６）。例えば制御部１１は、キーワードに基づき検索される文書の特徴語、キーワードの類似語等を関連語として推定する。制御部１１は、キーワードと関連語との関連度合いに応じて、例えばワードクラウド形式で、各関連語を互いに異なる表示態様で表示させる。

【0087】

制御部１１は、自動検索モードが選択されているか否か判定する（ステップＳ１７）。自動検索モードが選択されていると判定した場合（Ｓ１７：ＹＥＳ）、制御部１１は、ステップＳ１５で抽出したキーワードに基づき、ＭＲを支援するための支援情報を検索する（ステップＳ１８）。制御部１１は、検索された支援情報を検索表示欄６２に表示させる（ステップＳ１９）。

【0088】

自動検索モードが選択されていないと判定した場合（Ｓ１７：ＮＯ）、すなわち手動検索モードが選択されている場合、制御部１１は、ステップＳ１４でテキストに変換した対話メッセージと、ステップＳ１５で抽出したキーワードとを支援ブラウザに表示させる（ステップＳ２０）。具体的には、制御部１１は、ＭＲ及び医療従者のメッセージを別々に対話表示欄９１に表示させると共に、キーワードを検索窓９３に表示させる。制御部１１は、第１検索ボタン９４又は第２検索ボタン９５への操作入力に応じて、支援情報を検索する（ステップＳ２１）。なお、制御部１１は、ステップＳ１６で表示した関連語の指定入力をＭＲから受け付けた場合、当該関連語をキーワードに加えて支援情報を検索する。制御部１１は、検索された支援情報を表示させる（ステップＳ２２）。

【0089】

ステップＳ１９又はＳ２２の処理を実行後、制御部１１は、対話（オンラインミーティング）が完了したか否か判定する（ステップＳ２３）。対話が完了していないと判定した場合（Ｓ２３：ＮＯ）、制御部１１は処理をステップＳ１２に戻す。対話が完了したと判定した場合（Ｓ２３：ＹＥＳ）、制御部１１は一連の処理を終了する。

【0090】

以上より、本実施の形態１によれば、支援情報の検索を行うことで、ＭＲを好適に支援することができる。

【0091】

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0092】

１ サーバ（情報処理装置）
１１ 制御部
１２ 主記憶部
１３ 通信部
１４ 補助記憶部
Ｐ１ プログラム
１４１ ＭＲＤＢ
１４２ コンテンツＤＢ
１４３ 医薬品ＤＢ
１４４ 対話ログＤＢ
２ ＭＲ端末
２１ 制御部
２２ 主記憶部
２３ 通信部
２４ 表示部
２５ 入力部
２６ 撮像部
２７ 音声入力部
２８ 音声出力部
２９ 補助記憶部
Ｐ２ プログラム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】