ホーム > 特許ランキング > 株式会社オンラインマスター
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024003313
(43)【公開日】2024-01-15
(54)【発明の名称】情報処理装置、情報処理方法及びプログラム
(51)【国際特許分類】
G16H 80/00 20180101AFI20240105BHJP
G16H 20/00 20180101ALI20240105BHJP
【ＦＩ】
G16H80/00
G16H20/00
【審査請求】未請求
【請求項の数】11
【出願形態】ＯＬ
(21)【出願番号】P 2022102362
(22)【出願日】2022-06-27
(71)【出願人】
【識別番号】521424264
【氏名又は名称】株式会社オンラインマスター
(74)【代理人】
【識別番号】100126000
【弁理士】
【氏名又は名称】岩池 満
(74)【代理人】
【識別番号】100154748
【弁理士】
【氏名又は名称】菅沼 和弘
(72)【発明者】
【氏名】千葉 敏雄
【テーマコード（参考）】
5L099
【Ｆターム（参考）】
5L099AA04
(57)【要約】
【課題】オンライン診療の際、患者と医師との信頼関係を構築した上で、患部の診断に必要な高画質の画像を医師に送信すること。
【解決手段】サーバ１は、医師と患者の間のオンライン診療を支援するものであり、ユーザ画像送信部１０１、ユーザ許可受付部１０２、特定部位画像送信部１０３を備える。ユーザ画像送信部１０１はユーザ端末２から患者の顔面を含む画像の送信要求を受け付けたことに応じて、当該画像を専門家端末３に送信する。ユーザ許可受付部１０２は患者の患部（例えば目等）の８Ｋ映像を専門家端末３に送信するための許可の指示をユーザ端末２から受け付ける。特定部位画像送信部１０３は許可の指示を受け付けたことに応じて、伝送品質を高画質に切り替えて患者の患部（例えば目等）の８Ｋ映像を専門家端末３に送信する。
【選択図】図９
【解決手段】サーバ１は、医師と患者の間のオンライン診療を支援するものであり、ユーザ画像送信部１０１、ユーザ許可受付部１０２、特定部位画像送信部１０３を備える。ユーザ画像送信部１０１はユーザ端末２から患者の顔面を含む画像の送信要求を受け付けたことに応じて、当該画像を専門家端末３に送信する。ユーザ許可受付部１０２は患者の患部（例えば目等）の８Ｋ映像を専門家端末３に送信するための許可の指示をユーザ端末２から受け付ける。特定部位画像送信部１０３は許可の指示を受け付けたことに応じて、伝送品質を高画質に切り替えて患者の患部（例えば目等）の８Ｋ映像を専門家端末３に送信する。
【選択図】図９
【特許請求の範囲】
【請求項1】
通信ネットワークを介してユーザと専門家との対話を支援する情報処理装置であって、
前記ユーザの端末から前記ユーザの顔面を含む画像の送信を受け付けたことに応じて、前記専門家の端末に前記画像を送信するユーザ画像送信手段と、
前記専門家の端末から前記専門家の顔面を含む画像の送信を受け付けたことに応じて、前記ユーザの端末に前記画像を送信する専門家画像送信手段と、
前記ユーザの体の特定部位の画像であって所定の品質を伴う画像を前記専門家の端末に送信するための許可を前記ユーザの端末から受け付けるユーザ許可受付手段と、
前記許可を受け付けたことに応じて、前記特定部位の画像を前記専門家の端末に送信する特定部位画像送信手段と、
を備える情報処理装置。
前記ユーザの端末から前記ユーザの顔面を含む画像の送信を受け付けたことに応じて、前記専門家の端末に前記画像を送信するユーザ画像送信手段と、
前記専門家の端末から前記専門家の顔面を含む画像の送信を受け付けたことに応じて、前記ユーザの端末に前記画像を送信する専門家画像送信手段と、
前記ユーザの体の特定部位の画像であって所定の品質を伴う画像を前記専門家の端末に送信するための許可を前記ユーザの端末から受け付けるユーザ許可受付手段と、
前記許可を受け付けたことに応じて、前記特定部位の画像を前記専門家の端末に送信する特定部位画像送信手段と、
を備える情報処理装置。
【請求項2】
前記特定部位画像送信手段は、所定の条件を満たしたことに応じて前記ユーザの前記特定部位の画像を送信する、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項3】
前記特定部位画像送信手段は、所定の条件を満たしたことに応じて前記ユーザの視線の動きの軌跡に関する画像を送信する、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項4】
所定の条件を満たしたことに応じて前記ユーザのバイタル情報を送信するバイタル情報送信手段、
をさらに備える請求項１に記載の情報処理装置。
をさらに備える請求項１に記載の情報処理装置。
【請求項5】
前記ユーザ及び前記専門家の発話情報を受け付けたことに応じて、前記ユーザ及び前記専門家の端末に当該発話情報をテキスト情報として出力する対話内容表示手段、
をさらに備える請求項１に記載の情報処理装置。
をさらに備える請求項１に記載の情報処理装置。
【請求項6】
前記対話内容表示手段は、前記テキスト情報のうち所定のキーワードを抽出して強調して出力する、
請求項５に記載の情報処理装置。
請求項５に記載の情報処理装置。
【請求項7】
前記対話内容表示手段により抽出された前記所定のキーワードに基づいて、所定の専門家文書（例えばカルテ等）を生成する専門家文書生成手段、
をさらに備える請求項６に記載の情報処理装置。
をさらに備える請求項６に記載の情報処理装置。
【請求項8】
前記ユーザ又は前記専門家の対話情報に基づいて、前記専門家が発するべき発話内容に関する情報を前記専門家の端末に送信する発話支援手段、
をさらに備える請求項１に記載の情報処理装置。
をさらに備える請求項１に記載の情報処理装置。
【請求項9】
前記ユーザ又は前記専門家の対話情報に基づいて、前記ユーザに関する判断情報を前記専門家の端末に送信する判断支援手段、
をさらに備える請求項１に記載の情報処理装置。
をさらに備える請求項１に記載の情報処理装置。
【請求項10】
通信ネットワークを介してユーザと専門家との対話を支援する情報処理装置が実行する情報処理方法であって、
前記ユーザの端末から前記ユーザの顔面を含む画像の送信を受け付けたことに応じて、前記専門家の端末に前記画像を送信するユーザ画像送信ステップと、
前記専門家の端末から前記専門家の顔面を含む画像の送信を受け付けたことに応じて、前記ユーザの端末に前記画像を送信する専門家画像送信ステップと、
前記ユーザの体の特定部位の画像であって所定の品質を伴う画像を前記専門家の端末に送信するための許可を前記ユーザの端末から受け付けるユーザ許可受付ステップと、
前記許可を受け付けたことに応じて、前記特定部位の画像を前記専門家の端末に送信する特定部位画像送信ステップと、
を含む情報処理方法。
前記ユーザの端末から前記ユーザの顔面を含む画像の送信を受け付けたことに応じて、前記専門家の端末に前記画像を送信するユーザ画像送信ステップと、
前記専門家の端末から前記専門家の顔面を含む画像の送信を受け付けたことに応じて、前記ユーザの端末に前記画像を送信する専門家画像送信ステップと、
前記ユーザの体の特定部位の画像であって所定の品質を伴う画像を前記専門家の端末に送信するための許可を前記ユーザの端末から受け付けるユーザ許可受付ステップと、
前記許可を受け付けたことに応じて、前記特定部位の画像を前記専門家の端末に送信する特定部位画像送信ステップと、
を含む情報処理方法。
【請求項11】
通信ネットワークを介してユーザと専門家との対話を支援する情報処理装置を制御するコンピュータに、
前記ユーザの端末から前記ユーザの顔面を含む画像の送信を受け付けたことに応じて、前記専門家の端末に前記画像を送信するユーザ画像送信ステップと、
前記専門家の端末から前記専門家の顔面を含む画像の送信を受け付けたことに応じて、前記ユーザの端末に前記画像を送信する専門家画像送信ステップと、
前記ユーザの体の特定部位の画像であって所定の品質を伴う画像を前記専門家の端末に送信するための許可を前記ユーザの端末から受け付けるユーザ許可受付ステップと、
前記許可を受け付けたことに応じて、前記特定部位の画像を前記専門家の端末に送信する特定部位画像送信ステップと、
を含む制御処理を実行させるプログラム。
前記ユーザの端末から前記ユーザの顔面を含む画像の送信を受け付けたことに応じて、前記専門家の端末に前記画像を送信するユーザ画像送信ステップと、
前記専門家の端末から前記専門家の顔面を含む画像の送信を受け付けたことに応じて、前記ユーザの端末に前記画像を送信する専門家画像送信ステップと、
前記ユーザの体の特定部位の画像であって所定の品質を伴う画像を前記専門家の端末に送信するための許可を前記ユーザの端末から受け付けるユーザ許可受付ステップと、
前記許可を受け付けたことに応じて、前記特定部位の画像を前記専門家の端末に送信する特定部位画像送信ステップと、
を含む制御処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
従来、対話装置のための画像処理装置において、対話者の視線が一致するように補正し、「オクルージョン」の問題を同時に解決しかつ顔美化も行うシステムが存在する（特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第６３２９１２１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、ユーザと専門家との信頼関係を構築したうえで、専門家の判断が必要な画像を専門家に送信する仕組みは提案されていない。
【0005】
本発明は、このような状況に鑑みてなされたものであり、ユーザと専門家との信頼関係を構築したうえで、専門家の判断が必要な画像を専門家に送信することができるようにすることを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本発明の一態様の情報処理装置は、
通信ネットワークを介してユーザと専門家との対話を支援する対話支援装置であって、
前記ユーザの端末から前記ユーザの顔面を含む画像の送信を受け付けたことに応じて、前記専門家の端末に前記画像を送信するユーザ画像送信手段と、
前記専門家の端末から前記専門家の顔面を含む画像の送信を受け付けたことに応じて、前記ユーザの端末に前記画像を送信する専門家画像送信手段と、
前記ユーザの体の特定部位の画像であって所定の品質を伴う画像を前記専門家の端末に送信するための許可を前記ユーザの端末から受け付けるユーザ許可受付手段と、
前記許可を受け付けたことに応じて、前記特定部位の画像を前記専門家の端末に送信する特定部位画像送信手段と、
を備える。
本発明の一態様の上記情報処理装置に対応する情報処理方法及びプログラムも、本発明の一態様の情報処理方法及びプログラムとして提供される。
通信ネットワークを介してユーザと専門家との対話を支援する対話支援装置であって、
前記ユーザの端末から前記ユーザの顔面を含む画像の送信を受け付けたことに応じて、前記専門家の端末に前記画像を送信するユーザ画像送信手段と、
前記専門家の端末から前記専門家の顔面を含む画像の送信を受け付けたことに応じて、前記ユーザの端末に前記画像を送信する専門家画像送信手段と、
前記ユーザの体の特定部位の画像であって所定の品質を伴う画像を前記専門家の端末に送信するための許可を前記ユーザの端末から受け付けるユーザ許可受付手段と、
前記許可を受け付けたことに応じて、前記特定部位の画像を前記専門家の端末に送信する特定部位画像送信手段と、
を備える。
本発明の一態様の上記情報処理装置に対応する情報処理方法及びプログラムも、本発明の一態様の情報処理方法及びプログラムとして提供される。
【発明の効果】
【0007】
本発明によれば、ユーザと専門家との信頼関係を構築したうえで、専門家の判断が必要な画像を専門家に送信することができる。
【図面の簡単な説明】
【0008】
【図1】本発明の情報処理装置の一実施形態に係るサーバを含む、情報処理システムにより実現可能な本サービスの概要を示す図である。
【図2】リモート医療機器と医療診断ＡＩによる遠隔医療診断を説明するための図である。
【図7】本発明の情報処理装置の一実施形態に係るサーバを含む、情報処理システムの構成の一例を示す図である。
【図11】本発明の実施形態による会話内容表示機能により表示される表示画面の一例を示す図である。
【図12】本発明の実施形態によるキーワード特定機能により表示される表示画面の一例を示す図である。
【図13】本発明の実施形態によるカルテ記述生成機能により表示される表示画面の一例を示す図である。
【図14】本発明の実施形態による参考情報提示機能により表示される表示画面の一例を示す図である。
【図15】本発明の実施形態による誤認識語句誤り訂正機能により表示される表示画面の一例を示す図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施形態について、図面を用いて説明する。
まず、図１乃至図４を適宜参照して、本発明の一実施形態に係る情報処理装置が適用される情報処理システム（後述する図５参照）の適用対象となるサービス（以下、「本サービス」と呼ぶ）の概要について説明する。
まず、図１乃至図４を適宜参照して、本発明の一実施形態に係る情報処理装置が適用される情報処理システム（後述する図５参照）の適用対象となるサービス（以下、「本サービス」と呼ぶ）の概要について説明する。
【0010】
図１は、本発明の情報処理装置の一実施形態に係るサーバを含む、情報処理システムにより実現可能な本サービスの概要を示す図である。
【0011】
従来から、患者と医師とが夫々の端末をネットワークに接続してオンライン診療が行われているが、図１（ａ）に示すように、医師の話は対面でも伝わり難く、患者の表情や幹部の状態が不明瞭である、患者の脈をとるにも医療スタッフが患者側に居る必要がある、等の問題を抱えている。
具体的には、聴診の際に患者が聴診器を操作することになるが、医師から患者への聴診器の操作指示が難しい。問診の際に、患者に言いたいことが伝わらない。視診の際に患者の様子がよくわからない。
具体的には、聴診の際に患者が聴診器を操作することになるが、医師から患者への聴診器の操作指示が難しい。問診の際に、患者に言いたいことが伝わらない。視診の際に患者の様子がよくわからない。
【0012】
そこで、本サービスは、図１（ｂ）に示すように、高画質な撮影機材（カメラやマイク等）や操作が簡単なリモート聴診器（しゃべる、ひかる）等のリモート医療機器と、８Ｋ画質の映像（８Ｋ映像）、５Ｇ通信等の高画質及び高速通信等のリモート環境を整備することでリッチな生体情報を収集し、医療診断用のＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）が患者と医師との会話をモニタリングし診断の支援情報を医師に提示する。
医療診断用のＡＩによる診断の支援情報としては、例えば「ＸＸ病の疑いがあり、拡張期雑音の有無を確認してください」等のメッセージが提示される。
また、リモート医療機器は、８Ｋの目（視力４．２７相当）で、患者を観察できるので、患者の表情や患部の状態が鮮明に見ることができる。
これにより、本サービスによれば、オンライン診療において、対面診療と同等以上に聴診、視診、及び問診を可能にすることができる。
医療診断用のＡＩによる診断の支援情報としては、例えば「ＸＸ病の疑いがあり、拡張期雑音の有無を確認してください」等のメッセージが提示される。
また、リモート医療機器は、８Ｋの目（視力４．２７相当）で、患者を観察できるので、患者の表情や患部の状態が鮮明に見ることができる。
これにより、本サービスによれば、オンライン診療において、対面診療と同等以上に聴診、視診、及び問診を可能にすることができる。
【0013】
【0014】
図２に示すように、患者からの「先週から胸が苦しくて…」、「降圧剤を飲んでいます」等の発話があると、カメラ及びマイクにより問診の内容が収集される。また、発話に伴いリモート医療機器により患者の生体情報が収集される。
ここで、患者の生体情報は、例えば８Ｋ映像、心拍音、血流音、脈波、血圧、体温、血中酸素濃度等が収集される。
ここで、患者の生体情報は、例えば８Ｋ映像、心拍音、血流音、脈波、血圧、体温、血中酸素濃度等が収集される。
【0015】
なお、８Ｋ映像とは、横×縦の解像度が７６８０×４３２０画素を持つ映像のことをいう。１０００を１キロ（Ｋ）と数える。８Ｋ映像は、横方向の解像度が約８０００である。４Ｋは３８４０×２１６０で４Ｋ、フルハイビジョン（フルＨＤ）は１９２０×１０８０で２Ｋと表す。縦×横の画素数で比較すれば、８Ｋは４Ｋの４倍、２Ｋの１６倍にあたる。同じ画素密度なら、８Ｋは２Ｋの１６倍も広い面積の映像を表現できる。逆に面積が同じなら１６倍緻密な表現ができる。
【0016】
医療診断ＡＩは、収集された問診の内容（症状等）と生体情報（数値データ）と、データベースに予め記憶されている患者の情報（既往症、生活状況等）に基づいて、例えば「大動脈狭窄症、大動脈逆流症、僧帽弁狭窄症等の疑いがあります」等のメッセージを医師の端末に掲示する。
具体的には、医療診断ＡＩは、会話中の診療キーワードを自動認識し、診療キーワードと生体情報から疾病（大動脈狭窄症）を推定し、推定した疾病をレコメント（大動脈狭窄症の疑いあり）、その根拠（胸が苦しい、降圧剤服用、心突拍動等）、レコメントされた次のアクション（例えば「上腕ギョウ骨遅延を確認してください」等）が医師の端末の画面に表示される。
具体的には、医療診断ＡＩは、会話中の診療キーワードを自動認識し、診療キーワードと生体情報から疾病（大動脈狭窄症）を推定し、推定した疾病をレコメント（大動脈狭窄症の疑いあり）、その根拠（胸が苦しい、降圧剤服用、心突拍動等）、レコメントされた次のアクション（例えば「上腕ギョウ骨遅延を確認してください」等）が医師の端末の画面に表示される。
【0017】
これにより、医師は、自身では気が付かなかった疾病、例えば「大動脈逆流症は気づかなかった」や、レアな疾病（例えばＯｓｌｅｒ結節、Ｊａｎｅｗａｙ病変等）の見落とし等を防止することができる。
また、疑義のある疾病を効率的に絞り込むことができる。
このように、本サービスを利用したオンライン診療によれば、対面診断よりもリッチな診断情報を得ることができる。
また、疑義のある疾病を効率的に絞り込むことができる。
このように、本サービスを利用したオンライン診療によれば、対面診断よりもリッチな診断情報を得ることができる。
【0018】
ここで、図３を参照してオンライン診療の通信ビジネスモデルについて説明する。
図３は、図１の本サービスが適用されるオンライン診療の通信ビジネスモデルの一例を示す図である。
図３に示すように、本サービスにおけるオンライン診療の通信ビジネスモデルは、医師側の機器（聴診器やバイタル計、Ｂｌｕｅｔｏｏｔｈ等の近距離無線通信網）、ＡＩサーバセンタ、４Ｇ／５Ｇ／ＩＰ等の広域無線通信網、みまもり電球、独自照明型リモート診断機器、激甚災害用ルータ、患者側の機器（Ｂｌｕｅｔｏｏｔｈ等の近距離無線通信網、リモート医療機器、スマートウォッチ、ＩｏＴ医療機器）等から構成される。Ｂｌｕｅｔｏｏｔｈは登録商標である。
この通信ビジネスモデルでは、患者と医師とを高品質で高速大容量通信により接続し、オンライン診療に関わるサービスを提供することができる。
図３は、図１の本サービスが適用されるオンライン診療の通信ビジネスモデルの一例を示す図である。
図３に示すように、本サービスにおけるオンライン診療の通信ビジネスモデルは、医師側の機器（聴診器やバイタル計、Ｂｌｕｅｔｏｏｔｈ等の近距離無線通信網）、ＡＩサーバセンタ、４Ｇ／５Ｇ／ＩＰ等の広域無線通信網、みまもり電球、独自照明型リモート診断機器、激甚災害用ルータ、患者側の機器（Ｂｌｕｅｔｏｏｔｈ等の近距離無線通信網、リモート医療機器、スマートウォッチ、ＩｏＴ医療機器）等から構成される。Ｂｌｕｅｔｏｏｔｈは登録商標である。
この通信ビジネスモデルでは、患者と医師とを高品質で高速大容量通信により接続し、オンライン診療に関わるサービスを提供することができる。
【0019】
【0020】
図４に示すように、遠隔医療診断イノベーションは、将来、スマートフォン、スマートウォッチ等のリモート通信機器及びバイタル情報機器から患者の情報を収集し、その収集した情報をＡＩがライフログバンクにて一括管理すると共に、ＡＩは、収集された情報から患者の異変を検出し、患者の異変に適した医療機関（かかりつけ医、高度医療機関、緊急医療機関等）に通報する。
【0021】
例えば患者に取り付け２４時間補聴型デバイスにより患者（Ａさん）の健康状態のデータを記録し、またコミュニケーションロボットと患者（Ａさん）の会話を記録し、みまもり電球や監視デバイス等でそれらのデバイスを監視し、ライフログバンクがその監視デバイスを介してデータを収集する。
また、災害時には、スマートウォッチが被害者（Ｂさん）の状態のデータを記録しライフログバンクに送信する。
さらに、緊急医療機関（救急隊等）が現地に赴いて患者（Ｃさん）に処置を行っている中で、例えばＡＥＤからスマートフォンを介してライフログバンクが取得する。
また、災害時には、スマートウォッチが被害者（Ｂさん）の状態のデータを記録しライフログバンクに送信する。
さらに、緊急医療機関（救急隊等）が現地に赴いて患者（Ｃさん）に処置を行っている中で、例えばＡＥＤからスマートフォンを介してライフログバンクが取得する。
【0022】
将来像におけるＡＩは、ライフログバンクに収集又は取得される夫々の患者（Ａさん、Ｂさん、Ｃさん）のデータを分析し、夫々の状況に応じて通報を行う。具体的には、ＡＩは、ライフログバンクに収集又は取得される夫々の患者（Ａさん、Ｂさん、Ｃさん）のデータを入力として、夫々の患者の状況に応じて通報を出力する。
例えば患者（Ａさん）の場合、ＡＩは、「軽度の心疾患の予兆あり。かかりつけ医に通知します」等と連絡する。
また、例えば「患者（Ｂさん）の場合、ＡＩは、「血圧低下、ショック状態です。すぐに治療が必要です。」等と緊急医療チームに連絡する。
さらに、例えば「患者（Ｃさん）の場合、ＡＩは、「現在、心拍数４０．血圧５０－９０、人工心肺が必要です。」等と高度医療機関に連絡する。
例えば患者（Ａさん）の場合、ＡＩは、「軽度の心疾患の予兆あり。かかりつけ医に通知します」等と連絡する。
また、例えば「患者（Ｂさん）の場合、ＡＩは、「血圧低下、ショック状態です。すぐに治療が必要です。」等と緊急医療チームに連絡する。
さらに、例えば「患者（Ｃさん）の場合、ＡＩは、「現在、心拍数４０．血圧５０－９０、人工心肺が必要です。」等と高度医療機関に連絡する。
【0023】
このように、遠隔医療診断イノベーションの将来像によれば、いつでもどこでもウェアラブル医療機器が患者の生体情報を記録し、ウェアラブル医療機器に記録された情報をＡＩが分析し、生体データとＡＩによる分析結果を医療機関に提供することで、早期治療の実現、診断の精度向上、治療の迅速化等に貢献することができる。
【0024】
ここで、図５を参照してＩｏＴ聴診システムについて説明する。
図５は、図１の本サービスが適用される情報処理システムの一例のＩｏＴ聴診システムを示す図である。
図５に示すように、ＩｏＴ聴診システムは、聴診グラフ端末５１と、聴診医師側機器（聴診用ヘッドセット（マイク付き）５２及びジョイスティック装置５３）と、リモート患者側機器（マイク付きの聴診器５４）と、これら聴診医師側機器とリモート患者側機器とを接続する通信網（４Ｇ／５Ｇ／ＩＰ網）と、無線ルータ５５（近距離無線通信／広域無線通信用ルータ）とから構成される。
図５は、図１の本サービスが適用される情報処理システムの一例のＩｏＴ聴診システムを示す図である。
図５に示すように、ＩｏＴ聴診システムは、聴診グラフ端末５１と、聴診医師側機器（聴診用ヘッドセット（マイク付き）５２及びジョイスティック装置５３）と、リモート患者側機器（マイク付きの聴診器５４）と、これら聴診医師側機器とリモート患者側機器とを接続する通信網（４Ｇ／５Ｇ／ＩＰ網）と、無線ルータ５５（近距離無線通信／広域無線通信用ルータ）とから構成される。
【0025】
聴診グラフ端末５１は、スマートフォンやパーソナルコンピュータ等にインストールしたアプリケーションプログラムと連携動作させることで、聴診グラフを解析することが可能である。
【0026】
聴診医師側機器（聴診用ヘッドセット（マイク付き）５２及びジョイスティック装置５３）と、リモート患者側機器（マイク付きの聴診器５４）とでリモート聴診器が構成される。
【0027】
聴診医師側機器のジョイスティック装置５３は、上部から見ると円形状の部位を有し、その円形の部位の中央部にジョイスティックを配置し、ジョイスティックの周囲８方向（放射状）に三角形状のＬＥＤを配置したものである。ジョイスティック装置５３本体の側面には、ＵＳＢ－Ｃ規格のコネクタが配置されている。コネクタは医師側のＰＣ等に接続される。
【0028】
聴診医師側機器のジョイスティック装置５３は、医師がジョイスティックを操作すると、操作指示受信を意味する全てのＬＥＤが点滅する。そして、医師がジョイスティックを傾ける操作をすると、医師がジョイスティックを傾けた方向のＬＥＤが点滅する。
【0029】
医師がジョイスティックを８方向のうちのいずれかの方向に傾ける操作を行うと、対応するリモート患者側機器のジョイスティック装置の移動方向指示ＬＥＤが点灯し患者に移動方向を指示することができる。医師がジョイスティックを回転させると、音量が調整される。
医師がジョイスティックをプッシュすると、低音域（心臓音等）、高音域（肺呼吸音等）の切り替えができる。
医師がジョイスティックをプッシュすると、低音域（心臓音等）、高音域（肺呼吸音等）の切り替えができる。
【0030】
リモート患者側機器であるマイク付きの聴診器５４は、上部から見ると円形の部位を有し、その円形の部位の中央部にスピーカを配置し、スピーカの周囲８方向（放射状）に三角形状のＬＥＤを配置したものである。聴診器５４本体の側面には、応答用のマイクが配置されている。
【0031】
通常、リモート聴診器等を遠隔医療で使用する場合、医師からの会話による指示で聴診器の操作を患者にしてもらうが、会話の操作指示では医師の意図する聴診位置を正確に支持することが難しく、聴診診断を円滑に行うのが難しいという課題があった。
【0032】
このＩｏＴ聴診システムの機能は、以下の「１」乃至「８」の機能を有する。
具体的には、「１」リアルタイムバイタル波形データ送信機能、「２」装置の移動を検知するモーションセンサ、「３」方向を指示するリモート操作できる矢印ＬＥＤ、「４」医師の指示等の音声を出力するスピーカ、応答用マイク、「５」近距離無線通信を用いてスマートフォン、ルータに接続する機能、「６」近距離無線通信網と広域無線通信のＩＰ接続機能により２つのジョイスティック装置間で遠距離リモート通信を可能とする機能、「７」非接触充電器での充電機能（機器に触らずに済むので衛生的）、「８」バイタル波形解析用ソフトウェアでの聴診補助及びデータ記録機能である。
具体的には、「１」リアルタイムバイタル波形データ送信機能、「２」装置の移動を検知するモーションセンサ、「３」方向を指示するリモート操作できる矢印ＬＥＤ、「４」医師の指示等の音声を出力するスピーカ、応答用マイク、「５」近距離無線通信を用いてスマートフォン、ルータに接続する機能、「６」近距離無線通信網と広域無線通信のＩＰ接続機能により２つのジョイスティック装置間で遠距離リモート通信を可能とする機能、「７」非接触充電器での充電機能（機器に触らずに済むので衛生的）、「８」バイタル波形解析用ソフトウェアでの聴診補助及びデータ記録機能である。
【0033】
本実施形態のＩｏＴ聴診システムでは、聴診医師側機器のジョイスティック装置５３のジョイスティックで、患者側の聴診器の移動方向の指示操作を行う。
医師は、例えば聴診したい部位の移動方向にジョイスティックを傾ける。すると、患者側に配置されている聴診器５４のＬＥＤが方向を知らせる。
患者は、ＬＥＤの点灯方向に、聴診器を移動させる。
医師は、会話機能を使用して「強く押す」、「もう少し右」等の会話で細かい指示を出すことができる。
また、医師は、ジョイスティック装置５３をプッシュすることにより、低音域（心臓音等）と、高音域（肺呼吸音等）との切り替えを行うことができる。これは、通常の聴診器の表と裏での聴診と同じである。
医師は、ジョイスティック装置５３のジョイスティックの軸を回転させるようにジョイスティックを回すことにより、聴診器の音量のボリュームを調整できる。
医師は、例えば聴診したい部位の移動方向にジョイスティックを傾ける。すると、患者側に配置されている聴診器５４のＬＥＤが方向を知らせる。
患者は、ＬＥＤの点灯方向に、聴診器を移動させる。
医師は、会話機能を使用して「強く押す」、「もう少し右」等の会話で細かい指示を出すことができる。
また、医師は、ジョイスティック装置５３をプッシュすることにより、低音域（心臓音等）と、高音域（肺呼吸音等）との切り替えを行うことができる。これは、通常の聴診器の表と裏での聴診と同じである。
医師は、ジョイスティック装置５３のジョイスティックの軸を回転させるようにジョイスティックを回すことにより、聴診器の音量のボリュームを調整できる。
【0034】
ここで、図６を参照してＩｏＴ聴診システムの各機器の動作を説明する。
図６は、図５のＩｏＴ聴診システムの各機器の動作を示す図である。
ＩｏＴ聴診システムにおいて、図６に示すように、リモート患者側機器であるマイク付きの聴診器５４は、スマートフォン６１とＢｌｕｅｔｏｏｔｈ通信（例えばＢＬＥ等）により接続される。
聴診音は、Ｂｌｕｅｔｏｏｔｈ Ａｕｄｉｏを使用して当該聴診器５４からスマートフォン６１へ伝送される。スマートフォン６１は、インストールされた録音及び波形解析アプリ（汎用）により波形を解析することができる。
図６は、図５のＩｏＴ聴診システムの各機器の動作を示す図である。
ＩｏＴ聴診システムにおいて、図６に示すように、リモート患者側機器であるマイク付きの聴診器５４は、スマートフォン６１とＢｌｕｅｔｏｏｔｈ通信（例えばＢＬＥ等）により接続される。
聴診音は、Ｂｌｕｅｔｏｏｔｈ Ａｕｄｉｏを使用して当該聴診器５４からスマートフォン６１へ伝送される。スマートフォン６１は、インストールされた録音及び波形解析アプリ（汎用）により波形を解析することができる。
【0035】
このように実施形態のＩｏＴ聴診システムによれば、オンライン診療において、医師側にジョイスティック装置５３を配置し、このジョイスティック装置５３の操作に従動するマイク付きの聴診器５４を患者側に配置することで、医師による聴診器５４の移動指示を患者に的確に伝達できるようにしたことで、遠隔による聴診を実現することができる。
【0036】
次に、図７を参照して、上述した本サービスの提供を実現化させる情報処理システム、即ち本発明の情報処理装置の一実施形態に係るサーバを含む、情報処理システムの構成について説明する。
図７は、本発明の情報処理装置の一実施形態に係るサーバを含む、情報処理システムの構成の一例を示す図である。
図７は、本発明の情報処理装置の一実施形態に係るサーバを含む、情報処理システムの構成の一例を示す図である。
【0037】
図７に示す情報処理システムは、サーバ１と、ユーザ端末２と、専門家端末３とを含むように構成されている。
サーバ１、ユーザ端末２、及び専門家端末３の夫々は、インターネット等の所定のネットワークＮを介して相互に通信可能に接続されている。
サーバ１、ユーザ端末２、及び専門家端末３の夫々は、インターネット等の所定のネットワークＮを介して相互に通信可能に接続されている。
【0038】
サーバ１は、サービス提供者Ｇにより管理される情報処理装置である。サーバ１は、ユーザ端末２、及び専門家端末３の夫々と適宜通信をしながら、本サービスを実現するための各種処理を実行する。
【0039】
ユーザ端末２は、患者１により操作される情報処理装置である。ユーザ端末２は、例えばパーソナルコンピュータ、スマートフォン、タブレット等で構成される。
【0040】
専門家端末３は、医師により操作される情報処理装置である。専門家端末３は、例えばパーソナルコンピュータ、スマートフォン、タブレット等で構成される。
【0041】
ユーザ端末２、及び専門家端末３の夫々には、本サービスの利用者向けの専用のアプリケーションソフトウェア（以下、「専用アプリ」と呼ぶ）をインストールすることができる。これにより、患者、及び医師の夫々は、専用アプリがインストールされたユーザ端末２、及び専門家端末３の夫々を用いて本サービスを利用することができる。
また、患者、及び医師の夫々は、ユーザ端末２、及び専門家端末３の夫々のブラウザ機能により表示される、専用サイトにアクセスすることで本サービスを利用することもできる。
また、患者、及び医師の夫々は、ユーザ端末２、及び専門家端末３の夫々のブラウザ機能により表示される、専用サイトにアクセスすることで本サービスを利用することもできる。
【0042】
なお、以下、断りのない限り、「患者がユーザ端末２を操作する」と表現している場合、それは、次のいずれかを意味している。即ち、患者が、ユーザ端末２にインストールされた専用アプリを起動して各種操作を行うこと、又はユーザ端末２のブラウザ機能により表示される専用サイトにアクセスして本サービスを利用することを意味している。
また、「医師が専門家端末３を操作する」と表現している場合、それは、次のいずれかを意味している。即ち、医師が、専門家端末３にインストールされた専用アプリを起動して各種操作を行うこと、又は専門家端末３のブラウザ機能により表示される専用サイトにアクセスして本サービスを利用することを意味している。
また、「医師が専門家端末３を操作する」と表現している場合、それは、次のいずれかを意味している。即ち、医師が、専門家端末３にインストールされた専用アプリを起動して各種操作を行うこと、又は専門家端末３のブラウザ機能により表示される専用サイトにアクセスして本サービスを利用することを意味している。
【0043】
【0044】
サーバ１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、入力部１６と、出力部１７と、記憶部１８と、通信部１９と、ドライブ２０とを備えている。
【0045】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１８からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【0046】
ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、入力部１６、出力部１７、記憶部１８、通信部１９及びドライブ２０が接続されている。
【0047】
入力部１６は、例えばキーボード等により構成され、各種情報を入力する。
出力部１７は、液晶等のディスプレイやスピーカ等により構成され、各種情報を画像や音声として出力する。
記憶部１８は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種データを記憶する。
通信部１９は、インターネットを含むネットワークＮを介して他の装置（例えば図４のユーザ端末２、及び専門家端末３等）との間で通信を行う。
出力部１７は、液晶等のディスプレイやスピーカ等により構成され、各種情報を画像や音声として出力する。
記憶部１８は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種データを記憶する。
通信部１９は、インターネットを含むネットワークＮを介して他の装置（例えば図４のユーザ端末２、及び専門家端末３等）との間で通信を行う。
【0048】
ドライブ２０には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３０が適宜装着される。ドライブ２０によってリムーバブルメディア３０から読み出されたプログラムは、必要に応じて記憶部１８にインストールされる。
また、リムーバブルメディア３０は、記憶部１８に記憶されている各種データも、記憶部１８と同様に記憶することができる。
また、リムーバブルメディア３０は、記憶部１８に記憶されている各種データも、記憶部１８と同様に記憶することができる。
【0049】
なお、図示はしないが、図７のユーザ端末２及び専門家端末３も、図８に示すハードウェア構成と基本的に同様の構成を有することができる。従って、ユーザ端末２及び専門家端末３のハードウェア構成の説明については省略する。
なお、ユーザ端末２及び専門家端末３には、リモート会議を実施するためのハードウェアや機能が搭載されているものとする。
具体的には、ユーザ端末２には、例えばフルＨＤから８Ｋ画質への切替機能やズーム機能等のように、撮像する画像を高画質化する機能をサポートするカメラ（撮像装置）とマイクが搭載又は外部接続されているものとする。専門家端末３には、一般的な画質のカメラ（撮像装置）とマイクが搭載又は外部接続されているものとする。
なお、ユーザ端末２及び専門家端末３には、リモート会議を実施するためのハードウェアや機能が搭載されているものとする。
具体的には、ユーザ端末２には、例えばフルＨＤから８Ｋ画質への切替機能やズーム機能等のように、撮像する画像を高画質化する機能をサポートするカメラ（撮像装置）とマイクが搭載又は外部接続されているものとする。専門家端末３には、一般的な画質のカメラ（撮像装置）とマイクが搭載又は外部接続されているものとする。
【0050】
このような図８のサーバ１の各種ハードウェアと、サーバ１にインストールされた各種ソフトウェアとの協働により、サーバ１におけるオンライン診療に関する処理を含む各種処理の実行が可能になる。その結果、サービス提供者Ｇは、医師及び患者に対して上述の本サービスを提供することができる。
ここで、オンライン診療に関する処理とは、上述の本サービスを提供するために実行される処理であって、例えば医師により患者に対するオンライン診療がなされる一連の処理をいう。
ここで、オンライン診療に関する処理とは、上述の本サービスを提供するために実行される処理であって、例えば医師により患者に対するオンライン診療がなされる一連の処理をいう。
【0051】
以下、図９を参照して、本実施形態に係るサーバ１において実行される、オンライン診療に関する処理を実行するための機能的構成について説明する。
図９は、図７のサーバを含む情報処理システムの機能的構成のうちオンライン診療に関する処理を実行するための機能的構成の一例を示すブロック図である。
図９は、図７のサーバを含む情報処理システムの機能的構成のうちオンライン診療に関する処理を実行するための機能的構成の一例を示すブロック図である。
【0052】
図９に示すように、サーバ１のＣＰＵ１１においては、オンライン診療に関する処理が実行される場合、ユーザ画像送信部１０１と、ユーザ許可受付部１０２と、特定部位画像送信部１０３と、バイタル情報送信部１０４と、専門家画像送信部１０５と、対話内容表示部１０６と、専門家文書生成部１０７と、発話支援部１０８と、判断支援部１０９と、オンライン診療機能部１１０とが機能する。
【0053】
また、サーバ１の記憶部１８の一領域には、対話ＤＢ１８１が設けられている。
対話ＤＢ１８１には、ユーザ情報と、専門家情報と、患者のカルテの情報（患者ＩＤに対応付けられた診療情報）、オンライン診療で夫々の端末から取得される動画の音声から抽出されるテキスト情報と、患者や医師のジェスチャーに対応するシステム動作のリストと、キーワードに対する医療用語の辞書と、音声をテキストへ変換するための音声テキスト変換テーブルと、所定のキーワード（例えば目、胃、胸、痛い、ＸＸ時間前、ＹＹ日前等）と、問診した患者に対して医師が発するべき発話内容に関する情報が登録された辞書と、医師と患者の対話情報（例えば医師と患者双方の発話内容や画像情報等）、ユーザ端末２から得られる患者のバイタル情報（聴診器５４から得られる心拍数や心音、呼吸音、視線の動き等）、専門家文書（患者夫々のカルテ等）が記憶されており、必要に応じて読み出し可能である。
対話ＤＢ１８１には、ユーザ情報と、専門家情報と、患者のカルテの情報（患者ＩＤに対応付けられた診療情報）、オンライン診療で夫々の端末から取得される動画の音声から抽出されるテキスト情報と、患者や医師のジェスチャーに対応するシステム動作のリストと、キーワードに対する医療用語の辞書と、音声をテキストへ変換するための音声テキスト変換テーブルと、所定のキーワード（例えば目、胃、胸、痛い、ＸＸ時間前、ＹＹ日前等）と、問診した患者に対して医師が発するべき発話内容に関する情報が登録された辞書と、医師と患者の対話情報（例えば医師と患者双方の発話内容や画像情報等）、ユーザ端末２から得られる患者のバイタル情報（聴診器５４から得られる心拍数や心音、呼吸音、視線の動き等）、専門家文書（患者夫々のカルテ等）が記憶されており、必要に応じて読み出し可能である。
【0054】
ユーザ情報は、例えば患者に関する情報であり、患者の氏名、住所、連絡先等と患者固有の識別情報（患者ＩＤ）とが対応付けられた情報である。
専門家情報は、例えば医師に関する情報であり、医師の氏名と医師固有の識別情報（医師ＩＤ）とが対応付けられた情報である。
専門家情報は、例えば医師に関する情報であり、医師の氏名と医師固有の識別情報（医師ＩＤ）とが対応付けられた情報である。
【0055】
システム動作のリストには、医師からの画像切替依頼（問い合わせ）に対して患者が８Ｋ映像の送信を許可する文言やジェスチャーと、これらの文言やジェスチャーに対応するシステム動作としてカメラ映像を２Ｋ（又は４Ｋ）から８Ｋへ切り替える動作等がユーザ許可情報として設定されている。
【0056】
システム動作のリストには、例えば右手を上げるジェスチャーに対して、システムの動作として、１つ前の挙動を許可する、右手を下げるジェスチャーに対して、システムの動作として、１つ前の挙動を中止する等が登録されている。
例えば患者の画像を高品質の８Ｋ映像に切り替えて送信することが事前に準備されていた場合は、右手を上げるジェスチャーにより８Ｋ映像の送信が許可されたことになり、特定部位画像送信部１０３により８Ｋ映像が送信される。
例えば患者の画像を高品質の８Ｋ映像に切り替えて送信することが事前に準備されていた場合は、右手を上げるジェスチャーにより８Ｋ映像の送信が許可されたことになり、特定部位画像送信部１０３により８Ｋ映像が送信される。
【0057】
また、システム動作のリストに、所定の条件（８Ｋ映像切替中に軌跡送信等の文言や右手を横にするジェスチャー等）を満たしたことに応じて、患者の患部（目の瞳孔の画像）を追尾し、その部位（視線）の動きの軌跡（画像）を送信する、というシステム動作が設定されている。この場合、医師が上記文言を発した場合や上記ジェスチャーをした場合に、視線の動きの軌跡（画像）が専門家端末３に送信される。
【0058】
ユーザ画像送信部１０１は、ユーザ端末２から患者の顔面を含む画像（例えば胸像画像等）の送信要求を受け付けたことに応じて、当該画像を専門家端末３に送信する。
具体的には、患者と医者が夫々の端末にオンライン診療の画面を表示させてログインし、オンライン診療が開始されると、ユーザ画像送信部１０１は、ユーザ端末２から送信されてきた患者の画像を受信し、受信された画像を送信先の専門家端末３に送信する。
具体的には、患者と医者が夫々の端末にオンライン診療の画面を表示させてログインし、オンライン診療が開始されると、ユーザ画像送信部１０１は、ユーザ端末２から送信されてきた患者の画像を受信し、受信された画像を送信先の専門家端末３に送信する。
【0059】
ユーザ許可受付部１０２は、患者の患部（例えば目等）の８Ｋ映像を専門家端末３に送信するための許可の指示をユーザ端末２から受け付ける。
具体的には、専門家端末３の画面の８Ｋ画像送信許可ボタン（８Ｋボタン等）が患者により操作されると、そのボタン操作を、高画質化の許可を示す指示として受け付ける。
具体的には、専門家端末３の画面の８Ｋ画像送信許可ボタン（８Ｋボタン等）が患者により操作されると、そのボタン操作を、高画質化の許可を示す指示として受け付ける。
【0060】
特定部位画像送信部１０３は、許可の指示を受け付けたことに応じて、患者の目の８Ｋ映像を専門家端末３に送信する。
具体的には、特定部位画像送信部１０３は、例えば８Ｋボタンの操作を受け付けたこと等の所定の条件を満たしたことに応じて、例えば患者の目の８Ｋ映像等の特定部位の画像を送信する。所定の条件を満たしたことには、トリガの発生も含まれる。
この他、許可の指示としては、例えば専門家端末３から所定の発話を受け付けたこと、所定のジェスチャーを検知したこと、所定のボタン（８Ｋボタン等）の操作を受け付けたこと等がある。
また、特定部位画像送信部１０３は、所定の条件を満たしたこと又はトリガの発生に応じて患者の視線の動きの軌跡に関する画像を送信する。ここでの所定の条件とは、例えばユーザ端末２の画面の視線トラッキングボタンが患者によって操作されたこと等である。
具体的には、特定部位画像送信部１０３は、例えば８Ｋボタンの操作を受け付けたこと等の所定の条件を満たしたことに応じて、例えば患者の目の８Ｋ映像等の特定部位の画像を送信する。所定の条件を満たしたことには、トリガの発生も含まれる。
この他、許可の指示としては、例えば専門家端末３から所定の発話を受け付けたこと、所定のジェスチャーを検知したこと、所定のボタン（８Ｋボタン等）の操作を受け付けたこと等がある。
また、特定部位画像送信部１０３は、所定の条件を満たしたこと又はトリガの発生に応じて患者の視線の動きの軌跡に関する画像を送信する。ここでの所定の条件とは、例えばユーザ端末２の画面の視線トラッキングボタンが患者によって操作されたこと等である。
【0061】
バイタル情報送信部１０４は、例えば、所定の条件を満たしたことに応じて患者のバイタル情報（例えば患者の心拍数や呼吸数、体温等）を専門家端末３へ送信する。
ここで、所定の条件は、例えば専門家端末３から所定の発話（例えば呼吸数を計るので、８Ｋ映像に切り替えていただいて宜しいですか？等）を受け付けたこと、所定のジェスチャー（例えば手を上げる等）を検知したこと、所定のボタン操作（例えば８Ｋボタンの操作）を受け付けたこと等のうちいずれか１以上である。
ここで、所定の条件は、例えば専門家端末３から所定の発話（例えば呼吸数を計るので、８Ｋ映像に切り替えていただいて宜しいですか？等）を受け付けたこと、所定のジェスチャー（例えば手を上げる等）を検知したこと、所定のボタン操作（例えば８Ｋボタンの操作）を受け付けたこと等のうちいずれか１以上である。
【0062】
専門家画像送信部１０５は、専門家端末３から医師の顔面を含む画像の送信要求を受け付けたことに応じて、当該画像をユーザ端末２に送信する。
具体的には、患者と医者が夫々の端末にオンライン診療の画面を表示させてログインし、オンライン診療が開始されると、専門家画像送信部１０５は、専門家端末３から送信されてきた医師の画像を受信し、受信された画像を送信先のユーザ端末２に送信する。
具体的には、患者と医者が夫々の端末にオンライン診療の画面を表示させてログインし、オンライン診療が開始されると、専門家画像送信部１０５は、専門家端末３から送信されてきた医師の画像を受信し、受信された画像を送信先のユーザ端末２に送信する。
【0063】
対話内容表示部１０６は、患者及び医師の発話情報を受け付けたことに応じて、当該発話情報をテキスト情報として、患者のユーザ端末２及び専門家端末３に出力する。
具体的には、対話内容表示部１０６は、対話ＤＢ１８１の音声テキスト変換テーブルを参照して、受け付けた音声データを対応するテキストデータに変換して、患者のユーザ端末２及び医師の専門家端末３に夫々チャット形式で（画面の左右にテキストを分けて表示（図１１参照））出力する。
また、対話内容表示部１０６は、テキスト情報のうち所定のキーワード（例えば目の奥が痛い等）を抽出して専門家端末３の画面に出力、又はそのキーワードの部分を強調したテキスト情報を専門家端末３の画面に出力する。
これにより、医師は、患者が目の奥が痛い等の所定のキーワードを見逃すことなく、発話内容から問診を進め、患部に対する処置や薬の投与等を検討し提示することができる。
具体的には、対話内容表示部１０６は、対話ＤＢ１８１の音声テキスト変換テーブルを参照して、受け付けた音声データを対応するテキストデータに変換して、患者のユーザ端末２及び医師の専門家端末３に夫々チャット形式で（画面の左右にテキストを分けて表示（図１１参照））出力する。
また、対話内容表示部１０６は、テキスト情報のうち所定のキーワード（例えば目の奥が痛い等）を抽出して専門家端末３の画面に出力、又はそのキーワードの部分を強調したテキスト情報を専門家端末３の画面に出力する。
これにより、医師は、患者が目の奥が痛い等の所定のキーワードを見逃すことなく、発話内容から問診を進め、患部に対する処置や薬の投与等を検討し提示することができる。
【0064】
専門家文書生成部１０７は、対話内容表示部１０６により抽出された所定のキーワード（例えば目、胃、胸、痛い、ＸＸ時間前、ＹＹ日前等）に基づいて、カルテ等の所定の専門家文書を生成する。
具体的には、専門家文書生成部１０７は、対話内容表示部１０６により抽出された所定のキーワード（例えば目、胃、胸、痛い、ＸＸ時間前、ＹＹ日前等）と診察中の患者のユーザＩＤに基づいて、対話ＤＢ１８１を検索し、患者の診察情報を読み出して患者のカルテ等の所定の専門家文書を生成する。患者が初診であれば患者との対話で取得された患者の情報から患者のカルテを新規作成する。
このように、抽出された目、胃、胸、痛い、ＸＸ時間前、ＹＹ日前等の所定のキーワードに基づいて、医師は、患者に対してカルテを提示しながら対話を進めることができる。
具体的には、専門家文書生成部１０７は、対話内容表示部１０６により抽出された所定のキーワード（例えば目、胃、胸、痛い、ＸＸ時間前、ＹＹ日前等）と診察中の患者のユーザＩＤに基づいて、対話ＤＢ１８１を検索し、患者の診察情報を読み出して患者のカルテ等の所定の専門家文書を生成する。患者が初診であれば患者との対話で取得された患者の情報から患者のカルテを新規作成する。
このように、抽出された目、胃、胸、痛い、ＸＸ時間前、ＹＹ日前等の所定のキーワードに基づいて、医師は、患者に対してカルテを提示しながら対話を進めることができる。
【0065】
発話支援部１０８は、患者又は医師の対話情報（例えば発話内容、画像情報、バイタル情報等）に基づいて、医師が発するべき発話内容に関する情報（問診のためのメッセージ等）を専門家端末３に送信する。
具体的には、発話支援部１０８は、患者又は医師の対話情報（例えば発話内容、画像情報、バイタル情報等）からキーワード（胸、苦しい等）を抽出して、キーワードに対応する疾患、疾病等に関する情報（例えば問診のためのメッセージ（聴診器で心拍や心音を確認する等の定型文等）を対話ＤＢ１８１の医学辞書より読み出し、医師が発するべき発話内容に関する情報として専門家端末３に送信することで、専門家端末３の画面に、問診のためのメッセージ（例えば「以下の疑いあり、大動脈弁狭窄症…等」、図２参照）を表示する。
これにより、経験の浅い医師が患者からの信頼関係が得られ難い場合に、問診のためのメッセージ等を参考にして、オンライン遠隔診療をすることで、経験の浅さを表に出すことなくオンライン遠隔診療を効率的に行うことができる。
具体的には、発話支援部１０８は、患者又は医師の対話情報（例えば発話内容、画像情報、バイタル情報等）からキーワード（胸、苦しい等）を抽出して、キーワードに対応する疾患、疾病等に関する情報（例えば問診のためのメッセージ（聴診器で心拍や心音を確認する等の定型文等）を対話ＤＢ１８１の医学辞書より読み出し、医師が発するべき発話内容に関する情報として専門家端末３に送信することで、専門家端末３の画面に、問診のためのメッセージ（例えば「以下の疑いあり、大動脈弁狭窄症…等」、図２参照）を表示する。
これにより、経験の浅い医師が患者からの信頼関係が得られ難い場合に、問診のためのメッセージ等を参考にして、オンライン遠隔診療をすることで、経験の浅さを表に出すことなくオンライン遠隔診療を効率的に行うことができる。
【0066】
判断支援部１０９は、患者又は医師の対話情報に基づいて、例えば患部の部位を特定する情報等、患者に関する判断情報を専門家端末３に送信する。
具体的には、判断支援部１０９は、患者又は医師の対話情報（例えば発話内容、画像情報、バイタル情報等）に基づいて、例えば患部の部位を特定する情報（心臓の画像等）、患者に関する判断情報（例えば病名や患部を特定した診断情報（「以下の疑いあり、大動脈弁狭窄症…等」）を専門家端末３に送信する。
これにより、経験の浅い医師が患者の患部の部位を特定する情報（心臓の画像等）を参考にして、遠隔でのオンライン遠隔診療をより効率的に行うことができる。
具体的には、判断支援部１０９は、患者又は医師の対話情報（例えば発話内容、画像情報、バイタル情報等）に基づいて、例えば患部の部位を特定する情報（心臓の画像等）、患者に関する判断情報（例えば病名や患部を特定した診断情報（「以下の疑いあり、大動脈弁狭窄症…等」）を専門家端末３に送信する。
これにより、経験の浅い医師が患者の患部の部位を特定する情報（心臓の画像等）を参考にして、遠隔でのオンライン遠隔診療をより効率的に行うことができる。
【0067】
オンライン診療機能部１１０は、オンライン診療に関する各種機能の処理を実行する。
なお、オンライン診療機能部１１０の各種機能の詳細については図１０で詳述する。
具体的には、オンライン診療機能部１１０は、サーバ１のリモート会議提供手段が提供するリモート会議機能により、ユーザ端末２及び専門家端末３の夫々により取得される医師又は患者の動画像（映像）及び音声データを、リアルタイムで交換して医師と患者が円滑な会話が行える環境を提供する。
なお、オンライン診療機能部１１０の各種機能の詳細については図１０で詳述する。
具体的には、オンライン診療機能部１１０は、サーバ１のリモート会議提供手段が提供するリモート会議機能により、ユーザ端末２及び専門家端末３の夫々により取得される医師又は患者の動画像（映像）及び音声データを、リアルタイムで交換して医師と患者が円滑な会話が行える環境を提供する。
【0068】
ここで、図１０を参照して、図９に示したサーバ１のオンライン診療機能部１１０の詳細機能について説明する。
図１０は、図９に示したオンライン診療機能部１１０の詳細機能を説明するための図である。
図１０に示すように、オンライン診療機能部１１０は、リモート会議機能、キーワード特定機能、会話内容表示機能、キーワード特定機能、誤認識語句誤り訂正機能、参考情報提示機能等を備える。
図１０は、図９に示したオンライン診療機能部１１０の詳細機能を説明するための図である。
図１０に示すように、オンライン診療機能部１１０は、リモート会議機能、キーワード特定機能、会話内容表示機能、キーワード特定機能、誤認識語句誤り訂正機能、参考情報提示機能等を備える。
【0069】
リモート会議におけるオンライン診療の中で行われる医師と患者の会話の内容は、会話内容表示機能により、サーバ１で音声認識手段（図示せず）によりテキスト化され、文字情報としてユーザ端末２及び専門家端末３の夫々の画面に表示される。
【0070】
サーバ１でのテキスト化の際に、キーワード特定機能によりテキスト化した会話の内容の中にキーワードが含まれるか否かがチェックされ、キーワードが含まれる場合、会話の内容はキーワードを強調表示するように表示色、フォント、文字サイズ等、表示仕様のいずれかを変更した後、ユーザ端末２及び専門家端末３の夫々の画面に表示される。
【0071】
画面に表示された会話の内容にテキスト化の誤りが見つかった場合は、医師又は患者の操作に基づき、誤認識語句誤り訂正機能により正しい文字に訂正される。また、テキスト化した会話の内容の中に専門用語が含まれるか否かがチェックされ専門用語が含まれる場合は、参考情報提示機能により専門用語が検索可能なリンク先が張られた項目情報としてユーザ端末２及び専門家端末３の夫々の画面に表示されるので、医師又は患者はこのリンク先が張られた項目情報をクリックすることで検索が行われ、その専門用語の解説を確認することができる。
【0072】
医師又は患者は、テキスト化した会話の内容の中にカルテの作成に必要なキーワードが含まれる場合、そのキーワードをカルテ記述生成画面にドラッグ アンド ドロップするとカルテ記述生成機能によりカルテ作成に必要なカルテ記述が生成される。生成されたカルテ記述は、カルテ作成機能によりカルテ入力画面に転記されるので、医師はカルテ作成にかかる手間が省け、患者との会話により注力して診断に必要な情報を引き出すことが可能となる。
【0073】
図１１は、本発明の実施形態による会話内容表示機能により表示される表示画面の一例を示す図である。
図１１を参照すると、ユーザ端末２及び専門家端末３の夫々の会話内容表示画面に表示される表示内容が示されており、医師と患者が問診の中で交わした会話の内容が、発言者がわかるようにして文字化されて表示される。発言者は、それぞれ別のアイコンとして会話内容の両側に分かれて表示されるため、一目で医師の発言と患者の発言を見分けることができる。
図１１を参照すると、ユーザ端末２及び専門家端末３の夫々の会話内容表示画面に表示される表示内容が示されており、医師と患者が問診の中で交わした会話の内容が、発言者がわかるようにして文字化されて表示される。発言者は、それぞれ別のアイコンとして会話内容の両側に分かれて表示されるため、一目で医師の発言と患者の発言を見分けることができる。
【0074】
会話の内容は、逐次サーバ１によりテキスト化され、会話内容表示画面に追加表示されていく。新しい会話の内容は画面の下側に追加されてゆき、会話内容表示画面が会話内容の表示で埋まると、新しい会話の内容が最下段に追加される毎に最上段の古い会話が消えていくように表示される。会話内容表示画面は、上方にスクロールすることで消えてしまった古い会話の内容も再度確認する予ことができるように表示する。
医師も患者も会話内容表示画面により会話の内容を確認することができる。これにより言い足りなかったことや、聞き足りなかったことを発言したり聞き取ったりすることができるので問診の内容がより充実したものとなる。
医師も患者も会話内容表示画面により会話の内容を確認することができる。これにより言い足りなかったことや、聞き足りなかったことを発言したり聞き取ったりすることができるので問診の内容がより充実したものとなる。
【0075】
図１２は、本発明の実施形態によるキーワード特定機能により表示される表示画面の一例を示す図である。
図１２を参照すると、ユーザ端末２及び専門家端末３の夫々の会話内容表示画面に表示される表示内容としては、図１１に示したものと内容的には変わらないが、この図１２の例では、キーワードが例えば網掛けや太字、色替え等で強調されて表示されている。
強調表示されている「胃」、「痛み」、「鋭い痛み」等の文言は、患者の症状を表す重要な表現であり、病名等の原因を確定するために必要な情報である。
図１２を参照すると、ユーザ端末２及び専門家端末３の夫々の会話内容表示画面に表示される表示内容としては、図１１に示したものと内容的には変わらないが、この図１２の例では、キーワードが例えば網掛けや太字、色替え等で強調されて表示されている。
強調表示されている「胃」、「痛み」、「鋭い痛み」等の文言は、患者の症状を表す重要な表現であり、病名等の原因を確定するために必要な情報である。
【0076】
会話の中に特に重要なキーワードが含まれない場合は、図１２に示した例示図のように強調表示されたキーワードがない平易な表現で画面表示されるが、キーワードが含まれる場合は、図１２のように画面表示される際、キーワードが目立つように表示される。
【0077】
患者は自分の発言の中でキーワードが強調されて表示されるため、医師に伝えるべき情報のうちどのような内容が重要であるかを把握することができ、そのキーワードにかかわる補足の情報についてさらに発言するきっかけとなり得る。
【0078】
図１３は、本発明の実施形態によるカルテ記述生成機能により表示される表示画面の一例を示す図である。
図１３を参照すると、ユーザ端末２及び専門家端末３の夫々の会話内容表示画面、カルテ記述生成画面、カルテ入力画面が分割して表示されている。尚、会話内容表示画面は図中では縮小して示しているが、これは操作の説明を示すために縮小して示したものであり実施形態では、カルテ記述生成画面、カルテ入力画面の横に見やすい大きさで表示される。
図１３を参照すると、ユーザ端末２及び専門家端末３の夫々の会話内容表示画面、カルテ記述生成画面、カルテ入力画面が分割して表示されている。尚、会話内容表示画面は図中では縮小して示しているが、これは操作の説明を示すために縮小して示したものであり実施形態では、カルテ記述生成画面、カルテ入力画面の横に見やすい大きさで表示される。
【0079】
会話内容表示画面には、図１２の例と同様に「胃」、「痛み」、等のキーワードが強調表示されている。医師はキーワードのうちからカルテ作成に必要なキーワードを選択し、選択したキーワードをカルテ記述生成画面の中の対応する項目欄にドラッグ アンド ドロップすることにより、そのキーワードがカルテ記述生成画面に反映される。
【0080】
カルテ記述生成画面は、カルテに入力する記載事項を生成するのを支援する画面であり、「症状」、「家族歴」、「旅行歴」、「薬物歴」などの大項目が用意され、更にそれぞれの大項目の中には小項目が用意されている。例えば「症状」欄では「症状、部位」、「始まり方、性質、開始時期、程度」等という小項目が用意されている。
【0081】
図１３の例では会話内容表示画面の中の「胃」、「痛みます」のキーワードは「症状」欄の「症状、部位」の項目欄に、「６時間前」、「鋭い痛み」のキーワードは「症状」欄の「始まり方、性質、開始時期、程度」の項目欄に、ドラッグ アンド ドロップすることで必要なキーワードがカルテ記述生成画面に反映される。カルテ記述生成画面に反映されるキーワードは１つの症状に限らない。
【0082】
このため、サーバ１のカルテ作成機能は、カルテ記述生成画面に反映されたキーワードの反映された順番や時間に基づいてキーワードを整理し、カルテ記述を生成する。生成されたカルテ記述は、カルテ入力画面に転記される。カルテ記述生成画面に反映されるキーワードは、順番に並べただけでは正しい文の記述になるとは限らない。
【0083】
そこで、カルテ作成機能は、ＡＩ機能を備えることで、キーワードを含む正しい文の記述を生成するようにしてもよい。このとき「胃」を「上腹部」と置き換えるような用語変換機能を持つようにしてもよい。
【0084】
図１４は、本発明の実施形態による参考情報提示機能により表示される表示画面の一例を示す図である。
図１４を参照すると、ユーザ端末２及び専門家端末３の夫々の会話内容表示画面に表示される表示内容の一部が示され、医師の「胃潰瘍の原因はストレスというよりピロリ菌であるケースが多いです」という発言に対し、発言に含まれる専門用語などの参照用語「胃潰瘍」、「ピロリ菌」に反応して、医師の発言の下に「胃潰瘍」、「ピロリ菌」という項目情報が表示されている。「胃潰瘍」、「ピロリ菌」という項目情報にはそれぞれの解説記述が検索可能なリンクが張られている。
図１４を参照すると、ユーザ端末２及び専門家端末３の夫々の会話内容表示画面に表示される表示内容の一部が示され、医師の「胃潰瘍の原因はストレスというよりピロリ菌であるケースが多いです」という発言に対し、発言に含まれる専門用語などの参照用語「胃潰瘍」、「ピロリ菌」に反応して、医師の発言の下に「胃潰瘍」、「ピロリ菌」という項目情報が表示されている。「胃潰瘍」、「ピロリ菌」という項目情報にはそれぞれの解説記述が検索可能なリンクが張られている。
【0085】
例えば「胃潰瘍」については解説の記述が内部コンテンツとして保存されている場合、医師又は患者が「胃潰瘍」という項目情報をクリックすると、保存されている「胃潰瘍」の解説の記述が画面に表示される。
また、例えば「ピロリ菌」が内部コンテンツとして保存されていない場合は、外部コンテンツとして検索可能なリンクが張られており、医師又は患者が「ピロリ菌」という項目情報をクリックすると、リンク先の「ピロリ菌」に関する解説の記述が画面に表示される。
また、例えば「ピロリ菌」が内部コンテンツとして保存されていない場合は、外部コンテンツとして検索可能なリンクが張られており、医師又は患者が「ピロリ菌」という項目情報をクリックすると、リンク先の「ピロリ菌」に関する解説の記述が画面に表示される。
【0086】
これにより、患者は医師の説明だけではよく理解できない場合でも、解説の記述を参照して正しい知識を習得することができる。また医師の側でも適宜解説の記述を参照して患者に分かり易く解説することができる。
【0087】
図１５は、本発明の実施形態による誤認識語句誤り訂正機能により表示される表示画面の一例を示す図である。
図１５を参照すると、ユーザ端末２及び専門家端末３の夫々の会話内容表示画面に表示される表示内容の一部が示され、医師の「痛みの始まり方はどんな感じでしたか」との質問に対し、患者が「だんだん痛くなりました」と回答したところ、音声認識で誤認識されて「旦那痛くなりました」と表示された例が示される。本来「だんだん痛くなる」という表現は症状を表すキーワードとなる文言であるが、「だんだん」が「旦那」と誤認識されるとキーワードとして認識されない。
図１５を参照すると、ユーザ端末２及び専門家端末３の夫々の会話内容表示画面に表示される表示内容の一部が示され、医師の「痛みの始まり方はどんな感じでしたか」との質問に対し、患者が「だんだん痛くなりました」と回答したところ、音声認識で誤認識されて「旦那痛くなりました」と表示された例が示される。本来「だんだん痛くなる」という表現は症状を表すキーワードとなる文言であるが、「だんだん」が「旦那」と誤認識されるとキーワードとして認識されない。
【0088】
そこで、医師又は患者が誤認識を見つけるとマウスにより誤認識された文言を選択した状態で、「だんだん」と再度発音すると、誤認識語句誤り訂正機能により「旦那」が「だんだん」に修正される。その結果「だんだん痛くなりました」の部分がキーワードとして強調表示される。
なお、誤認識語句誤り訂正機能が訂正するのは、キーワードには限らず、会話の内容として発言と異なる誤認識語句が含まれる場合は、同様に選択して修正がなされる。このように後から修正ができるため、最終的に正しい問診の経過情報データとして保存することができる。
なお、誤認識語句誤り訂正機能が訂正するのは、キーワードには限らず、会話の内容として発言と異なる誤認識語句が含まれる場合は、同様に選択して修正がなされる。このように後から修正ができるため、最終的に正しい問診の経過情報データとして保存することができる。
【0089】
【0090】
この場合、サーバ１では、図１６のステップＳ１１において、ユーザ画像送信部１０１は、ユーザ端末２から患者の顔面を含む画像の送信要求を受け付けたことに応じて、当該画像を専門家端末３に送信する。
【0091】
ステップＳ１２において、専門家画像送信部１０５は、専門家端末３から医師の顔面を含む画像の送信要求を受け付けたことに応じて、当該画像をユーザ端末２に送信する。
【0092】
ステップＳ１３において、ユーザ許可受付部１０２は、患者の目の８Ｋ映像を専門家端末３に送信するための許可の指示をユーザ端末２から受け付ける。
【0093】
ステップＳ１４において、特定部位画像送信部１０３は、許可の指示を受け付けたことに応じて、患者の目の８Ｋ映像を専門家端末３に送信する。
【0094】
これにより、患者と医師がネットワークＮを介して対話診療を行う中で、患者は自らの判断に基づいて医師に許可を与えることにより、例えば目の診療では患者の目の画像を８Ｋ画質で送信する。医師は、目の画像を８Ｋ画質で閲覧することで医師として患者の目についてあたかも目の前に居るように目視で診断することができるので、患者と医師との信頼関係を構築したうえで、患部の診断に必要な画像を医師に送信して医師の判断を仰ぐことができる。
【0095】
以上、本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものとみなす。
【0096】
例えば、上述の実施形態において、８Ｋ映像の例を説明したが、これ以外、例えば１６Ｋ映像や３２Ｋ映像等であってもよく、またカメラがズーム機能付きのものであればズーム動作等を組み合わせてもよい。
【0097】
上述の実施形態では、ユーザ画像送信部１０１は、ユーザ端末２から患者の顔面を含む画像の送信を受け付けたことに応じて、専門家端末３に画像を送信したが、これ以外であってもよく、ユーザの端末から前記ユーザの顔面を含む画像の送信を受け付けたことに応じて、前記専門家の端末に前記画像を送信すれば足りる。
【0098】
また、上述の実施形態では、ユーザ許可受付部１０２は、患者の目の画像であって８Ｋ画質を伴う８Ｋ映像を専門家端末３に送信するための許可をユーザ端末２から受け付けたが、これ以外であってもよく、ユーザの体の特定部位の画像であって所定の品質を伴う画像を前記専門家の端末に送信するための許可を前記ユーザの端末から受け付ければ足りる。
【0099】
さらに、上述の実施形態では、特定部位画像送信部１０３は、許可を受け付けたことに応じて、患者の患部（目等）の８Ｋ映像を専門家端末３に送信したが、これ以外であってもよく、許可を受け付けたことに応じて、特定部位の所定の品質を伴う画像を専門家の端末に送信すれば足りる。
【0100】
また、上述の実施形態では、専門家画像送信部１０５は、専門家端末３から医師の顔面を含む画像の送信を受け付けたことに応じて、ユーザ端末２に画像を送信したが、これ以外であってもよく、専門家の端末から前記専門家の顔面を含む画像の送信を受け付けたことに応じて、前記ユーザの端末に前記画像を送信すれば足りる。
【0101】
また、上述の実施形態では、オンライン診療（医師による患者への遠隔問診）のサービスを説明したが、これ以外であってもよく、患者（ユーザ）の音声による心理分析、瞳孔のサイズの画像による心理分析、皮膚の温度による心理分析等のユーザの心理分析を行うサービスに適用してもよく、これらを視線分析やポリグラフによる分析と組み合わせたサービスを提供することができる。
【0102】
【0103】
また、図９に示す機能ブロック図は、例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロック及びデータベースを用いるのかは、特に図９の例に限定されない。
【0104】
また、機能ブロック及びデータベースの存在場所も、図９に限定されず、任意でよい。
例えば、図９の例において、上述のオンライン診療に関する処理はサーバ１側で行われる構成となっているが、これに限定されず、ユーザ端末２又は専門家端末３側で処理の少なくとも一部が行われてもよい。
即ち、処理の実行に必要となる機能ブロック及びデータベースは、サーバ１等の情報処理装置が備える構成となっているが、これは例示に過ぎない。サーバ１側に配置された機能ブロック及びデータベースの少なくとも一部を、ユーザ端末２又は専門家端末３等の情報処理装置が備える構成としてもよい。
例えば、図９の例において、上述のオンライン診療に関する処理はサーバ１側で行われる構成となっているが、これに限定されず、ユーザ端末２又は専門家端末３側で処理の少なくとも一部が行われてもよい。
即ち、処理の実行に必要となる機能ブロック及びデータベースは、サーバ１等の情報処理装置が備える構成となっているが、これは例示に過ぎない。サーバ１側に配置された機能ブロック及びデータベースの少なくとも一部を、ユーザ端末２又は専門家端末３等の情報処理装置が備える構成としてもよい。
【0105】
また、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【0106】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。
また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。
また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
【0107】
このようなプログラムを含む記録媒体は、広告主にプログラムを提供するために装置本体とは別に配布される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態で広告主に提供される記録媒体等で構成される。
【0108】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
【0109】
以上まとめると、本発明が適用される情報処理装置は、次のような構成を取れば足り、各種各様な実施形態を取ることができる。
即ち、本発明が適用される情報処理装置（例えば図９のサーバ１等）は、
通信ネットワークを介してユーザ（例えば患者等）と専門家（例えば医師等）との対話（例えばオンライン診療等）を支援する情報処理装置（例えば図９のサーバ１等）であって、
前記ユーザの端末（例えば図９のユーザ端末２等）から前記ユーザ（例えば患者等）の顔面を含む画像の送信を受け付けたことに応じて、前記専門家の端末（例えば図９の専門家端末３等）に前記画像を送信するユーザ画像送信手段（例えば図９のユーザ画像送信部１０１等）と、
前記専門家の端末（例えば図９の専門家端末３等）から前記専門家（例えば医師等）の顔面を含む画像の送信を受け付けたことに応じて、前記ユーザの端末（例えば図９のユーザ端末２等）に前記画像を送信する専門家画像送信手段（例えば図９の専門家画像送信部１０５等）と、
前記ユーザ（例えば患者等）の体の特定部位（例えば目等の患部）の画像であって所定の品質（例えば横７６８０画素×縦４３２０画素の解像度:８Ｋ画質等）を伴う画像（例えば８Ｋ映像等）を前記専門家の端末（例えば図９の専門家端末３等）に送信するための許可を前記ユーザの端末（例えば図９のユーザ端末２等）から受け付けるユーザ許可受付手段（例えば図９のユーザ許可受付部１０２等）と、
前記許可を受け付けたことに応じて、前記特定部位（例えば目等の患部）の画像（例えば８Ｋ映像等）を前記専門家の端末（例えば図９の専門家端末３等）に送信する特定部位画像送信手段（例えば図９の特定部位画像送信部１０３等）と、
を備える。
即ち、本発明が適用される情報処理装置（例えば図９のサーバ１等）は、
通信ネットワークを介してユーザ（例えば患者等）と専門家（例えば医師等）との対話（例えばオンライン診療等）を支援する情報処理装置（例えば図９のサーバ１等）であって、
前記ユーザの端末（例えば図９のユーザ端末２等）から前記ユーザ（例えば患者等）の顔面を含む画像の送信を受け付けたことに応じて、前記専門家の端末（例えば図９の専門家端末３等）に前記画像を送信するユーザ画像送信手段（例えば図９のユーザ画像送信部１０１等）と、
前記専門家の端末（例えば図９の専門家端末３等）から前記専門家（例えば医師等）の顔面を含む画像の送信を受け付けたことに応じて、前記ユーザの端末（例えば図９のユーザ端末２等）に前記画像を送信する専門家画像送信手段（例えば図９の専門家画像送信部１０５等）と、
前記ユーザ（例えば患者等）の体の特定部位（例えば目等の患部）の画像であって所定の品質（例えば横７６８０画素×縦４３２０画素の解像度:８Ｋ画質等）を伴う画像（例えば８Ｋ映像等）を前記専門家の端末（例えば図９の専門家端末３等）に送信するための許可を前記ユーザの端末（例えば図９のユーザ端末２等）から受け付けるユーザ許可受付手段（例えば図９のユーザ許可受付部１０２等）と、
前記許可を受け付けたことに応じて、前記特定部位（例えば目等の患部）の画像（例えば８Ｋ映像等）を前記専門家の端末（例えば図９の専門家端末３等）に送信する特定部位画像送信手段（例えば図９の特定部位画像送信部１０３等）と、
を備える。
【0110】
このような構成によれば、ユーザ（例えば患者等）と専門家（例えば医師等）が通信ネットワークを介して対話を行う中で、ユーザ（例えば患者等）は自らの判断に基づいて専門家（例えば医師等）に許可を与えることにより、ユーザ（例えば患者等）の体の特定部位（例えば目等の患部）の画像を所定の品質（例えば８Ｋ画質等）で送信し、専門家（例えば医師等）は特定部位（例えば目等の患部）の画像を所定の品質（例えば８Ｋ映像等）で閲覧することで専門家（例えば医師等）としてユーザ（例えば患者等）の体の特定部位（例えば目等の患部）についての判断（例えば患部の診断等）をすることができるので、ユーザ（例えば患者等）と専門家（例えば医師等）との信頼関係を構築したうえで、専門家（例えば医師等）の判断に必要な画像を専門家（例えば医師等）に送信して専門家（例えば医師等）の判断を仰ぐことができる。
即ちユーザ（例えば患者等）は、自らの判断に基づいて専門家に許可を与えることにより、ユーザの体の特定部位（例えば目等の患部）の画像を送信するので、ユーザ（例えば患者等）と専門家（例えば医師等）との信頼関係に基づく対面相談（例えばオンライン遠隔診療等）を支援することができる。
この結果、ユーザ（例えば患者等）と専門家（例えば医師等）との信頼関係を築いた上で、遠隔での対面相談（例えばオンライン遠隔診療等）を実用に耐え得る形で実現することができる。
即ちユーザ（例えば患者等）は、自らの判断に基づいて専門家に許可を与えることにより、ユーザの体の特定部位（例えば目等の患部）の画像を送信するので、ユーザ（例えば患者等）と専門家（例えば医師等）との信頼関係に基づく対面相談（例えばオンライン遠隔診療等）を支援することができる。
この結果、ユーザ（例えば患者等）と専門家（例えば医師等）との信頼関係を築いた上で、遠隔での対面相談（例えばオンライン遠隔診療等）を実用に耐え得る形で実現することができる。
【0111】
上記情報処理装置（例えば図９のサーバ１等）は、
前記特定部位画像送信手段（例えば図９の特定部位画像送信部１０３等）は、所定の条件（例えば専門家端末３から所定の発話を受け付けたこと、所定のジェスチャーを検知したこと、所定のボタン操作を受け付けたこと等）を満たしたことに応じて前記特定部位の画像（例えば患者の目の８Ｋ映像等）を送信する。
これにより、医師が必要と感じたときに、所定の発話やボタン操作等をするだけで、目線の動き等臨床上見逃してはいけないユーザの状態を知ることができる。
前記特定部位画像送信手段（例えば図９の特定部位画像送信部１０３等）は、所定の条件（例えば専門家端末３から所定の発話を受け付けたこと、所定のジェスチャーを検知したこと、所定のボタン操作を受け付けたこと等）を満たしたことに応じて前記特定部位の画像（例えば患者の目の８Ｋ映像等）を送信する。
これにより、医師が必要と感じたときに、所定の発話やボタン操作等をするだけで、目線の動き等臨床上見逃してはいけないユーザの状態を知ることができる。
【0112】
前記特定部位画像送信手段（例えば図９の特定部位画像送信部１０３等）は、所定の条件を満たしたこと又はトリガの発生（例えば専門家端末から所定の発話を受け付けたこと、所定のジェスチャーを検知したこと、所定のボタン操作を受け付けたこと等）に応じて前記ユーザの視線の動きの軌跡に関する画像を送信する。
これにより、専門家（例えば医師等）が必要と感じたときに、所定の発話やボタン操作等をするだけで、目線の動き等、臨床上見逃してはいけないユーザ（例えば患者等）の状態を視線の動きの軌跡の画像に基づいて知ることができ、より的確な診断を行うことができる。
これにより、専門家（例えば医師等）が必要と感じたときに、所定の発話やボタン操作等をするだけで、目線の動き等、臨床上見逃してはいけないユーザ（例えば患者等）の状態を視線の動きの軌跡の画像に基づいて知ることができ、より的確な診断を行うことができる。
【0113】
上記情報処理装置（例えば図９のサーバ１等）は、
所定の条件を満たしたこと（例えば専門家端末３から所定の発話を受け付けたこと、所定のジェスチャーを検知したこと、所定のボタン操作を受け付けたこと等）に応じて前記ユーザ（例えば患者等）のバイタル情報（例えば患者の心拍数や呼吸数、体温等）を送信するバイタル情報送信手段（例えば図９のバイタル情報送信部１０４等）、
をさらに備える。
これにより、医師が必要と感じたときに、所定の発話やボタン操作等をするだけで、臨床上見逃してはいけないユーザ（例えば患者等）のバイタル情報を知り、より的確な診断を行うことができる。
所定の条件を満たしたこと（例えば専門家端末３から所定の発話を受け付けたこと、所定のジェスチャーを検知したこと、所定のボタン操作を受け付けたこと等）に応じて前記ユーザ（例えば患者等）のバイタル情報（例えば患者の心拍数や呼吸数、体温等）を送信するバイタル情報送信手段（例えば図９のバイタル情報送信部１０４等）、
をさらに備える。
これにより、医師が必要と感じたときに、所定の発話やボタン操作等をするだけで、臨床上見逃してはいけないユーザ（例えば患者等）のバイタル情報を知り、より的確な診断を行うことができる。
【0114】
上記情報処理装置（例えば図９のサーバ１等）は、
前記ユーザ（例えば患者等）及び前記専門家（例えば医師等）の発話情報を受け付けたことに応じて、当該発話情報をテキスト情報として（音声データをテキストデータに変換して）、前記ユーザ（例えば患者等）及び前記専門家の端末（例えばユーザ端末２や専門家端末３等）に出力する対話内容表示手段（例えば図９の対話内容表示部１０６等）、
をさらに備える。
これにより、専門家（例えば医師等）がユーザ（例えば患者等）と交わした対話（例えば問診等）の内容が夫々の端末にテキスト情報として出力されるので、専門的な内容も含めてユーザ（例えば患者等）の理解を確認しながら対話を継続することができる。
前記ユーザ（例えば患者等）及び前記専門家（例えば医師等）の発話情報を受け付けたことに応じて、当該発話情報をテキスト情報として（音声データをテキストデータに変換して）、前記ユーザ（例えば患者等）及び前記専門家の端末（例えばユーザ端末２や専門家端末３等）に出力する対話内容表示手段（例えば図９の対話内容表示部１０６等）、
をさらに備える。
これにより、専門家（例えば医師等）がユーザ（例えば患者等）と交わした対話（例えば問診等）の内容が夫々の端末にテキスト情報として出力されるので、専門的な内容も含めてユーザ（例えば患者等）の理解を確認しながら対話を継続することができる。
【0115】
前記対話内容表示手段（例えば図９の対話内容表示部１０６等）は、前記テキスト情報のうち所定のキーワード（例えば目、胃、胸、痛い、ＸＸ時間前、ＹＹ日前等）を抽出して強調して出力する。
これにより、専門家（例えば医師等）は、所定のキーワード（例えば目の奥が痛い等）を見逃すことなく、発話内容から対話（例えば問診等）を進め、相談に対する解決策（例えば患部に対する処置や薬の投与等）を検討し提示することができる。
これにより、専門家（例えば医師等）は、所定のキーワード（例えば目の奥が痛い等）を見逃すことなく、発話内容から対話（例えば問診等）を進め、相談に対する解決策（例えば患部に対する処置や薬の投与等）を検討し提示することができる。
【0116】
前記対話内容表示手段（例えば図９の対話内容表示部１０６等）により抽出された前記所定のキーワード（例えば目、胃、胸、痛い、ＸＸ時間前、ＹＹ日前等）に基づいて、所定の専門家文書（例えばカルテ等）を生成する専門家文書生成手段（例えば図９の専門家文書生成部１０７等）、
をさらに備える。
このように、抽出された所定のキーワード（例えば目、胃、胸、痛い、ＸＸ時間前、ＹＹ日前等）に基づいて、専門家（例えば医師等）は、ユーザ（例えば患者等）に対して専門家文書（例えばカルテ等）を提示しながら対話を進めることができる。
をさらに備える。
このように、抽出された所定のキーワード（例えば目、胃、胸、痛い、ＸＸ時間前、ＹＹ日前等）に基づいて、専門家（例えば医師等）は、ユーザ（例えば患者等）に対して専門家文書（例えばカルテ等）を提示しながら対話を進めることができる。
【0117】
上記情報処理装置（例えば図９のサーバ１等）は、
前記ユーザ（例えば患者等）又は前記専門家（例えば医師等）の対話情報（例えば発話内容、画像情報、バイタル情報等）に基づいて、前記専門家（例えば医師等）が発するべき発話内容に関する情報（問診のためのメッセージ等）を前記専門家の端末（例えば図９の専門家端末３等）に送信する発話支援手段（例えば図９の発話支援部１０８等）、
をさらに備える。
これにより、経験の浅い専門家（例えば医師等）がユーザ（例えば患者等）からの信頼関係が得られ難い場合に、発話内容に関する情報（問診のためのメッセージ等）を参考にして、対面相談（例えばオンライン遠隔診療等）をすることで、経験の浅さを表に出すことなく対面相談（例えばオンライン遠隔診療等）を効率的に行うことができる。
前記ユーザ（例えば患者等）又は前記専門家（例えば医師等）の対話情報（例えば発話内容、画像情報、バイタル情報等）に基づいて、前記専門家（例えば医師等）が発するべき発話内容に関する情報（問診のためのメッセージ等）を前記専門家の端末（例えば図９の専門家端末３等）に送信する発話支援手段（例えば図９の発話支援部１０８等）、
をさらに備える。
これにより、経験の浅い専門家（例えば医師等）がユーザ（例えば患者等）からの信頼関係が得られ難い場合に、発話内容に関する情報（問診のためのメッセージ等）を参考にして、対面相談（例えばオンライン遠隔診療等）をすることで、経験の浅さを表に出すことなく対面相談（例えばオンライン遠隔診療等）を効率的に行うことができる。
【0118】
上記情報処理装置（例えば図９のサーバ１等）において、
前記ユーザ（例えば患者等）又は前記専門家（例えば医師等）の対話情報（例えば発話内容、画像情報）、バイタル情報等）に基づいて、前記ユーザに関する判断情報（例えば患部の部位を特定する情報等）を前記専門家の端末（例えば図９の専門家端末３等）に送信する判断支援手段（例えば図９の判断支援部１０９等）、
をさらに備える。
これにより、経験の浅い専門家（例えば医師等）がユーザに関する判断情報（例えば患部の部位を特定する情報等）を参考にして、遠隔での対面相談（例えばオンライン遠隔診療等）をより効率的に行うことができる。
前記ユーザ（例えば患者等）又は前記専門家（例えば医師等）の対話情報（例えば発話内容、画像情報）、バイタル情報等）に基づいて、前記ユーザに関する判断情報（例えば患部の部位を特定する情報等）を前記専門家の端末（例えば図９の専門家端末３等）に送信する判断支援手段（例えば図９の判断支援部１０９等）、
をさらに備える。
これにより、経験の浅い専門家（例えば医師等）がユーザに関する判断情報（例えば患部の部位を特定する情報等）を参考にして、遠隔での対面相談（例えばオンライン遠隔診療等）をより効率的に行うことができる。
【0119】
通信ネットワークを介してユーザ（例えば患者等）と専門家（例えば医師等）との対話（例えばオンライン診療等）を支援する情報処理装置（例えば図９のサーバ１等）が実行する情報処理方法であって、
前記ユーザの端末（例えば図９のユーザ端末２等）から前記ユーザの顔面を含む画像の送信を受け付けたことに応じて、前記専門家の端末（例えば図９の専門家端末３等）に前記画像を送信するユーザ画像送信ステップ（例えば図１６のステップＳ１１等）と、
前記専門家の端末（例えば図９の専門家端末３等）から前記専門家（例えば医師等）の顔面を含む画像の送信を受け付けたことに応じて、前記ユーザの端末（例えば図９のユーザ端末２等）に前記画像を送信する専門家画像送信ステップ（例えば図１６のステップＳ１２等）と、
前記ユーザ（例えば患者等）の体の特定部位（例えば目等の患部）の画像であって所定の品質（例えば横７６８０画素×縦４３２０画素の解像度等）を伴う画像（例えば８Ｋ映像等）を前記専門家の端末（例えば図９の専門家端末３等）に送信するための許可を前記ユーザの端末（例えば図９のユーザ端末２等）から受け付けるユーザ許可受付ステップ（例えば図１６のステップＳ１３等）と、
前記許可を受け付けたことに応じて、前記特定部位（例えば目等の患部）の画像（例えば８Ｋ映像等）を前記専門家の端末（例えば図９の専門家端末３等）に送信する特定部位画像送信ステップ（例えば図１６のステップＳ１４等）と、
を含む。
このように、ユーザ（例えば患者等）は、自らの判断に基づいて専門家に許可を与えることにより、ユーザの体の特定部位（例えば目等の患部）の画像を送信するので、ユーザ（例えば患者等）と専門家（例えば医師等）との信頼関係に基づく対面相談（例えばオンライン遠隔診療等）を支援することができる。
この結果、ユーザ（例えば患者等）と専門家（例えば医師等）との信頼関係を築いた上で、遠隔での対面相談（例えばオンライン遠隔診療等）を実用に耐え得る形で実現することができる。
前記ユーザの端末（例えば図９のユーザ端末２等）から前記ユーザの顔面を含む画像の送信を受け付けたことに応じて、前記専門家の端末（例えば図９の専門家端末３等）に前記画像を送信するユーザ画像送信ステップ（例えば図１６のステップＳ１１等）と、
前記専門家の端末（例えば図９の専門家端末３等）から前記専門家（例えば医師等）の顔面を含む画像の送信を受け付けたことに応じて、前記ユーザの端末（例えば図９のユーザ端末２等）に前記画像を送信する専門家画像送信ステップ（例えば図１６のステップＳ１２等）と、
前記ユーザ（例えば患者等）の体の特定部位（例えば目等の患部）の画像であって所定の品質（例えば横７６８０画素×縦４３２０画素の解像度等）を伴う画像（例えば８Ｋ映像等）を前記専門家の端末（例えば図９の専門家端末３等）に送信するための許可を前記ユーザの端末（例えば図９のユーザ端末２等）から受け付けるユーザ許可受付ステップ（例えば図１６のステップＳ１３等）と、
前記許可を受け付けたことに応じて、前記特定部位（例えば目等の患部）の画像（例えば８Ｋ映像等）を前記専門家の端末（例えば図９の専門家端末３等）に送信する特定部位画像送信ステップ（例えば図１６のステップＳ１４等）と、
を含む。
このように、ユーザ（例えば患者等）は、自らの判断に基づいて専門家に許可を与えることにより、ユーザの体の特定部位（例えば目等の患部）の画像を送信するので、ユーザ（例えば患者等）と専門家（例えば医師等）との信頼関係に基づく対面相談（例えばオンライン遠隔診療等）を支援することができる。
この結果、ユーザ（例えば患者等）と専門家（例えば医師等）との信頼関係を築いた上で、遠隔での対面相談（例えばオンライン遠隔診療等）を実用に耐え得る形で実現することができる。
【0120】
通信ネットワークを介してユーザ（例えば患者等）と専門家（例えば医師等）との対話（例えばオンライン診療等）を支援する情報処理装置（例えば図９のサーバ１等）を制御するコンピュータ（図９のＣＰＵ１１等）に、
前記ユーザの端末（例えば図９のユーザ端末２等）から前記ユーザの顔面を含む画像の送信を受け付けたことに応じて、前記専門家の端末（例えば図９の専門家端末３等）に前記画像を送信するユーザ画像送信ステップ（例えば図１６のステップＳ１１等）と、
前記専門家の端末（例えば図９の専門家端末３等）から前記専門家（例えば医師等）の顔面を含む画像の送信を受け付けたことに応じて、前記ユーザの端末（例えば図９のユーザ端末２等）に前記画像を送信する専門家画像送信ステップ（例えば図１６のステップＳ１２等）と、
前記ユーザ（例えば患者等）の体の特定部位（例えば目等の患部）の画像であって所定の品質（例えば横７６８０画素×縦４３２０画素の解像度等）を伴う画像（例えば８Ｋ映像等）を前記専門家の端末（例えば図９の専門家端末３等）に送信するための許可を前記ユーザの端末（例えば図９のユーザ端末２等）から受け付けるユーザ許可受付ステップ（例えば図１６のステップＳ１３等）と、
前記許可を受け付けたことに応じて、前記特定部位（例えば目等の患部）の画像（例えば８Ｋ映像等）を前記専門家の端末（例えば図９の専門家端末３等）に送信する特定部位画像送信ステップ（例えば図１６のステップＳ１４等）と、
を含む制御処理を実行させる。
このように、ユーザ（例えば患者等）は、自らの判断に基づいて専門家に許可を与えることにより、ユーザの体の特定部位（例えば目等の患部）の画像を送信するので、ユーザ（例えば患者等）と専門家（例えば医師等）との信頼関係に基づく対面相談（例えばオンライン遠隔診療等）を支援することができる。
この結果、ユーザ（例えば患者等）と専門家（例えば医師等）との信頼関係を築いた上で、遠隔での対面相談（例えばオンライン遠隔診療等）を実用に耐え得る形で実現することができる。
前記ユーザの端末（例えば図９のユーザ端末２等）から前記ユーザの顔面を含む画像の送信を受け付けたことに応じて、前記専門家の端末（例えば図９の専門家端末３等）に前記画像を送信するユーザ画像送信ステップ（例えば図１６のステップＳ１１等）と、
前記専門家の端末（例えば図９の専門家端末３等）から前記専門家（例えば医師等）の顔面を含む画像の送信を受け付けたことに応じて、前記ユーザの端末（例えば図９のユーザ端末２等）に前記画像を送信する専門家画像送信ステップ（例えば図１６のステップＳ１２等）と、
前記ユーザ（例えば患者等）の体の特定部位（例えば目等の患部）の画像であって所定の品質（例えば横７６８０画素×縦４３２０画素の解像度等）を伴う画像（例えば８Ｋ映像等）を前記専門家の端末（例えば図９の専門家端末３等）に送信するための許可を前記ユーザの端末（例えば図９のユーザ端末２等）から受け付けるユーザ許可受付ステップ（例えば図１６のステップＳ１３等）と、
前記許可を受け付けたことに応じて、前記特定部位（例えば目等の患部）の画像（例えば８Ｋ映像等）を前記専門家の端末（例えば図９の専門家端末３等）に送信する特定部位画像送信ステップ（例えば図１６のステップＳ１４等）と、
を含む制御処理を実行させる。
このように、ユーザ（例えば患者等）は、自らの判断に基づいて専門家に許可を与えることにより、ユーザの体の特定部位（例えば目等の患部）の画像を送信するので、ユーザ（例えば患者等）と専門家（例えば医師等）との信頼関係に基づく対面相談（例えばオンライン遠隔診療等）を支援することができる。
この結果、ユーザ（例えば患者等）と専門家（例えば医師等）との信頼関係を築いた上で、遠隔での対面相談（例えばオンライン遠隔診療等）を実用に耐え得る形で実現することができる。
【符号の説明】
【0121】
１・・・サーバ、２・・・ユーザ端末、３・・・専門家端末、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・バス、１５・・・入出力インターフェース、１６・・・入力部、１７・・・出力部、１８・・・記憶部、１９・・・通信部、２０・・・ドライブ、３０・・・リムーバブルメディア、１０１・・・ユーザ画像送信部、１０２・・・ユーザ許可受付部、１０３・・・特定部位画像送信部、１０４・・・バイタル情報送信部、１０５・・・専門家画像送信部、１０６・・・対話内容表示部、１０７・・・専門家文書生成部、１０８・・・発話支援部、１０９・・・判断支援部、１１０・・・オンライン診療機能部、１８１・・・対話ＤＢ、Ｇ・・・サービス提供者、Ｂ・・・バイヤー、Ｃ・・・サプライヤ、Ｎ・・・ネットワーク
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】