知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022092489
(43)【公開日】2022-06-22
(54)【発明の名称】双方向性３次元オンライン診療システム。
(51)【国際特許分類】
G16H 50/00 20180101AFI20220615BHJP
A61B 10/00 20060101ALI20220615BHJP
【ＦＩ】
G16H50/00
A61B10/00 H
【審査請求】未請求
【請求項の数】3
【出願形態】ＯＬ
(21)【出願番号】P 2020205320
(22)【出願日】2020-12-10
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＸＢＯＸ
２．ＤＩＲＥＣＴ３Ｄ
３．ＫＩＮＥＣＴ
(71)【出願人】
【識別番号】502285457
【氏名又は名称】学校法人順天堂
(74)【代理人】
【識別番号】110000084
【氏名又は名称】特許業務法人アルガ特許事務所
(72)【発明者】
【氏名】大山 彦光
(72)【発明者】
【氏名】服部 信孝
(72)【発明者】
【氏名】関本 智子
(72)【発明者】
【氏名】千葉 慎二
【テーマコード（参考）】
5L099
【Ｆターム（参考）】
5L099AA04
(57)【要約】 （修正有）
【課題】運動機能障害患者などにおいても、症状を明確に診断可能な３次元オンライン診療システムを提供する。
【解決手段】双方向性３次元オンライン診療システムは、患者側において、音声通話機能及び３次元動作解析機能を有するマーカーレス３次元モーションスキャナーを介して３次元動作情報をスキャンし、得られる３次元動作情報を医療機関に送信するとともに音声通話機能を用いて医療機関と会話し、医療機関側において、患者から送信された３次元動作情報を、音声通話機能及び３次元動作解析機能を有する複合現実のヘッドマウントディスプレイを介してリアルタイムで再構築するとともに音声通話機能を用いて患者と会話する。
【選択図】なし
【解決手段】双方向性３次元オンライン診療システムは、患者側において、音声通話機能及び３次元動作解析機能を有するマーカーレス３次元モーションスキャナーを介して３次元動作情報をスキャンし、得られる３次元動作情報を医療機関に送信するとともに音声通話機能を用いて医療機関と会話し、医療機関側において、患者から送信された３次元動作情報を、音声通話機能及び３次元動作解析機能を有する複合現実のヘッドマウントディスプレイを介してリアルタイムで再構築するとともに音声通話機能を用いて患者と会話する。
【選択図】なし
【特許請求の範囲】
【請求項1】
患者側において、音声通話機能及び３次元動作解析機能を有するマーカーレス３次元モーションスキャナーを介して３次元動作情報をスキャンし、得られる３次元動作情報を医療機関に送信するとともに音声通話機能を用いて医療機関と会話し、
医療機関側において、患者から送信された３次元動作情報を、音声通話機能及び３次元動作解析機能を有する複合現実のヘッドマウントディスプレイを介してリアルタイムで再構築するとともに音声通話機能を用いて患者と会話することを特徴とする、双方向性３次元オンライン診療システム。
医療機関側において、患者から送信された３次元動作情報を、音声通話機能及び３次元動作解析機能を有する複合現実のヘッドマウントディスプレイを介してリアルタイムで再構築するとともに音声通話機能を用いて患者と会話することを特徴とする、双方向性３次元オンライン診療システム。
【請求項2】
患者が、パーキンソン病患者である請求項１記載の双方向性３次元オンライン診療システム。
【請求項3】
マーカーレス３次元モーションスキャナーが、Ｋｉｎｅｃｔセンサーで撮影した３Ｄ深度データの中から人物像を取り出し、対応する深度の３Ｄ深度座標及び対応するカラー座標を３Ｄ頂点情報として圧縮し、ソケット通信を用いてワイヤレスで頭に装着するホログラフィックコンピューティングへ送信するシステムである請求項１または２記載の双方向性３次元オンライン診療システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、双方向性３次元オンライン診療システムに関する。
【背景技術】
【0002】
遠隔医療の必要性は急速に認識されており、特にＣＯＶＩＤ-１９のパンデミックにより、パーキンソン病（ＰＤ）患者のような運動機能障害を有する患者が定期的な医師の診察を受けられなくなり、深刻な影響を受けている。遠隔医療は、病院を訪れるためのコストと時間を削減することに加えて、感染の不必要なリスクを減らす可能性もある（非特許文献１）。
しかし、現在の遠隔医療は、ラップトップ、デスクトップコンピュータ、タブレット、スマートフォン３を介したビデオ通話システムなどの２次元（２Ｄ）テクノロジーに基づくものである（特許文献１，２）。
しかし、現在の遠隔医療は、ラップトップ、デスクトップコンピュータ、タブレット、スマートフォン３を介したビデオ通話システムなどの２次元（２Ｄ）テクノロジーに基づくものである（特許文献１，２）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００５－２５０８０７号公報
【特許文献2】特開２０１８－１５２０８６号公報
【非特許文献】
【0004】
【非特許文献1】Ｔｈｅ ＥＮＧＬＡＮＤ ＪＯＵＲＮＡＬ ｏｆ ＭＥＤＩＣＩＮＥ ２０２０：１０．１０５６／ＮＥＪＭｐ２００３５３９
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明の課題は、運動機能障害患者などにおいても、症状を明確に診断可能な３次元オンライン診療システムを提供することにある。
【課題を解決するための手段】
【0006】
そこで、本発明者は、前記課題を解決すべく種々検討した結果、音声通話機能及び３次元動作解析機能を有するマーカーレス３次元モーションスキャナーと、音声通話機能及び３次元動作解析機能を有する複合現実のヘッドマウントディスプレイとを組み合わせて用いれば、遠隔地にいる患者の動作機能及び会話機能などをリアルタイムで観察でき、当該疾患の専門医による正確な診断が可能になることを見出し、本発明を完成した。
【0007】
すなわち、本発明は、次の発明［１］～［３］を提供するものである。
［１］患者側において、音声通話機能及び３次元動作解析機能を有するマーカーレス３次元モーションスキャナーを介して３次元動作情報をスキャンし、得られる３次元動作情報を医療機関に送信するとともに音声通話機能を用いて医療機関と会話し、
医療機関側において、患者から送信された３次元動作情報を、音声通話機能及び３次元動作解析機能を有する複合現実のヘッドマウントディスプレイを介してリアルタイムで再構築するとともに音声通話機能を用いて患者と会話することを特徴とする、双方向性３次元オンライン診療システム。
［２］患者が、パーキンソン病患者である［１］記載の双方向性３次元オンライン診療システム。
［３］マーカーレス３次元モーションスキャナーで撮影した３Ｄ深度データの中から人物像を取り出し、対応する深度の深度座標及び対応するカラー座標を３Ｄ頂点情報として圧縮し、ソケット通信を用いてワイヤレスで頭に装着するホログラフィックコンピューティングへ送信するシステムである［１］又は［２］記載の双方向性３次元オンライン診療システム。
［１］患者側において、音声通話機能及び３次元動作解析機能を有するマーカーレス３次元モーションスキャナーを介して３次元動作情報をスキャンし、得られる３次元動作情報を医療機関に送信するとともに音声通話機能を用いて医療機関と会話し、
医療機関側において、患者から送信された３次元動作情報を、音声通話機能及び３次元動作解析機能を有する複合現実のヘッドマウントディスプレイを介してリアルタイムで再構築するとともに音声通話機能を用いて患者と会話することを特徴とする、双方向性３次元オンライン診療システム。
［２］患者が、パーキンソン病患者である［１］記載の双方向性３次元オンライン診療システム。
［３］マーカーレス３次元モーションスキャナーで撮影した３Ｄ深度データの中から人物像を取り出し、対応する深度の深度座標及び対応するカラー座標を３Ｄ頂点情報として圧縮し、ソケット通信を用いてワイヤレスで頭に装着するホログラフィックコンピューティングへ送信するシステムである［１］又は［２］記載の双方向性３次元オンライン診療システム。
【発明の効果】
【0008】
本発明の双方向性３次元オンライン診療システムによれば、医師が、患者側の運動機能、動作機能及び会話機能をリアルタイムで正確に把握できるため、例えばパーキンソン病の進行度などを正確に診断できるため、治療方針を的確に決定できる。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
本発明の双方向性３次元オンライン診療システムは、患者側において、音声通話機能及び３次元動作解析機能を有するマーカーレス３次元モーションスキャナーを介して３次元動作情報をスキャンし、得られる３次元動作情報を医療機関に送信するとともに音声通話機能を用いて医療機関と会話し；
医療機関側において、患者から送信された３次元動作情報を、音声通話機能及び３次元動作解析機能を有する複合現実のヘッドマウントディスプレイを介してリアルタイムで再構築するとともに音声通話機能を用いて患者と会話することを特徴とする。
医療機関側において、患者から送信された３次元動作情報を、音声通話機能及び３次元動作解析機能を有する複合現実のヘッドマウントディスプレイを介してリアルタイムで再構築するとともに音声通話機能を用いて患者と会話することを特徴とする。
【0011】
患者側のシステムは、患者の形状をキャプチャし、そのデータを３Ｄデジタル化された画像としてワイヤレスネットワークを介して医療機関側に送信するシステムである。具体的には、本発明においては、患者側は、音声通話機能及び３次元動作解析機能を有するマーカーレス３次元モーションスキャナーを有する。
マーカーレス３次元モーションスキャナー（たとえば、Ｋｉｎｅｃｔセンサー）で撮影した３Ｄ深度データの中から人物像を取り出し、対応する深度の深度座標及び対応するカラー座標を３Ｄ頂点情報として圧縮し、ソケット通信を用いてワイヤレスで頭に装着するホログラフィックコンピューティング（たとえば、Ｍｉｃｒｏｓｏｆｔ ＨｏｌｏＬｅｎｓ、以下「ＨｏｌｏＬｅｎｓ」と記載する）へ送信するシステムである。必要に応じてＨｏｌｏＬｅｎｓからステータスを受信できる。また、複数のＨｏｌｏＬｅｎｓに対し同時配信も可能である。録画再生用３Ｄデータ（たとえば、一般形式の．ｏｂｊ、．ｐｌｙや独自形式の．ｈｐ２ファイル）の記録や．ｃｓｖファイルへの骨格情報の記録にも対応する。
ここでＫｉｎｅｃｔセンサーは、赤外線レーザーを対象物体に投影した状態で赤外線カメラを用いて撮影し、タイムオブフライト法を用いてカメラ視野内のデプスを算出する３Ｄセンサーである。
マーカーレス３次元モーションスキャナー（たとえば、Ｋｉｎｅｃｔセンサー）で撮影した３Ｄ深度データの中から人物像を取り出し、対応する深度の深度座標及び対応するカラー座標を３Ｄ頂点情報として圧縮し、ソケット通信を用いてワイヤレスで頭に装着するホログラフィックコンピューティング（たとえば、Ｍｉｃｒｏｓｏｆｔ ＨｏｌｏＬｅｎｓ、以下「ＨｏｌｏＬｅｎｓ」と記載する）へ送信するシステムである。必要に応じてＨｏｌｏＬｅｎｓからステータスを受信できる。また、複数のＨｏｌｏＬｅｎｓに対し同時配信も可能である。録画再生用３Ｄデータ（たとえば、一般形式の．ｏｂｊ、．ｐｌｙや独自形式の．ｈｐ２ファイル）の記録や．ｃｓｖファイルへの骨格情報の記録にも対応する。
ここでＫｉｎｅｃｔセンサーは、赤外線レーザーを対象物体に投影した状態で赤外線カメラを用いて撮影し、タイムオブフライト法を用いてカメラ視野内のデプスを算出する３Ｄセンサーである。
【0012】
マーカーレス３次元モーションスキャナー側、すなわち患者側の全体の処理フローは、以下のとおりである。
【0013】
Ａ．メインプロセス
（ア）人物像の取得
（イ）深度情報の取得
（ウ）カラー情報の取得
（エ）Ｘｂｏｘコントローラ入力
（オ）Ｄｉｒｅｃｔ３Ｄによる描画
（カ）３Ｄデータ（．оｂｊ、．ｐｌｙ、．ｈｐ２）の記録
（キ）骨格情報（.csv）の記録
（ク）ボイス入力とボイス通信
Ｂ．送受信プロセス
（ア）２Ｄ／３Ｄデータの圧縮と構造化
（イ）ソケット送受信
（ウ）複数のＨｏｌｏＬｅｎｓへの同時配信
（ア）人物像の取得
（イ）深度情報の取得
（ウ）カラー情報の取得
（エ）Ｘｂｏｘコントローラ入力
（オ）Ｄｉｒｅｃｔ３Ｄによる描画
（カ）３Ｄデータ（．оｂｊ、．ｐｌｙ、．ｈｐ２）の記録
（キ）骨格情報（.csv）の記録
（ク）ボイス入力とボイス通信
Ｂ．送受信プロセス
（ア）２Ｄ／３Ｄデータの圧縮と構造化
（イ）ソケット送受信
（ウ）複数のＨｏｌｏＬｅｎｓへの同時配信
【0014】
医療機関側のシステムは、患者側のシステムからデータを受け取り、ピアツーピアネットワークを使用して患者の３Ｄデジタル化された形状をほぼリアルタイムで再現するシステムである。具体的には、医療機関側においては、患者から送信された３次元動作情報を、音声通話機能及び３次元動作解析機能を有する複合現実のヘッドマウントディスプレイを介してリアルタイムで再構築するとともに音声通話機能を用いて患者と会話する。
ここで、複合現実のヘッドマウントディスプレイは、前記のワイヤレスで頭に装着するホログラフィックコンピューティング（たとえば、Ｍｉｃｒｏｓｏｆｔ ＨｏｌｏＬｅｎｓ）が使用できる。
ここで、複合現実のヘッドマウントディスプレイは、前記のワイヤレスで頭に装着するホログラフィックコンピューティング（たとえば、Ｍｉｃｒｏｓｏｆｔ ＨｏｌｏＬｅｎｓ）が使用できる。
【0015】
前記のマーカーレス３次元モーションスキャナーとのリアルタイム通信を行い、ソケット通信を用いて医療機関向けに最適化されたデータの送受信を行う。深度を含む映像はＨｏｌｏＬｅｎｓをかけた人物の視線方向の法線を持つ３Ｄポイントスプライト及びストリップ化された３ＤメッシュでＨｏｌｏＬｅｎｓのディスプレイへリアルタイムに描画される（図１）。また、本発明のシステムを２セット使用した場合のボイス送受信も可能である（図２）。医療機関側の全体の処理フローは以下に示す通りである。
【0016】
Ａ．メインプロセス
（ア）ワールドロック
（イ）ボディロック
（ウ）Ｘｂｏｘコントローラ入力
（エ）Ｄｉｒｅｃｔ３Ｄによる描画
（オ）視線方向に対するスプライト法線の生成と描画
（カ）ポイントスプライトまたは３Ｄストリップメッシュの生成
（キ）マイク及びスピーカーによるボイスコミュニケーション
（１）コーデック：ＩＴＵ－Ｔ ｓｔａｎｄａｒｄ μ－Ｌａｗ
Ｂ．送受信プロセス
（ア）３Ｄ最適化データ送受信
（イ）最適化データ圧縮及び圧縮解除
（ウ）３Ｄデータ（．ｏｂｊ、．ｐｌｙ、．２ｈｐ）の再生
Ｃ．オーディオ処理プロセス
（ア）ボイス再生とボイス通信
（ア）ワールドロック
（イ）ボディロック
（ウ）Ｘｂｏｘコントローラ入力
（エ）Ｄｉｒｅｃｔ３Ｄによる描画
（オ）視線方向に対するスプライト法線の生成と描画
（カ）ポイントスプライトまたは３Ｄストリップメッシュの生成
（キ）マイク及びスピーカーによるボイスコミュニケーション
（１）コーデック：ＩＴＵ－Ｔ ｓｔａｎｄａｒｄ μ－Ｌａｗ
Ｂ．送受信プロセス
（ア）３Ｄ最適化データ送受信
（イ）最適化データ圧縮及び圧縮解除
（ウ）３Ｄデータ（．ｏｂｊ、．ｐｌｙ、．２ｈｐ）の再生
Ｃ．オーディオ処理プロセス
（ア）ボイス再生とボイス通信
【0017】
地理的に離れた場所で本発明のシステムを使用することにより、医療機関は、仮想現実（ＶＲ）ヘッドセットとは対照的に、ＡＲ／ＭＲヘッドセットの画面が透明であるため、同じ部屋を共有しているように目の前の患者を見ることができる。本発明のシステムは、パーキンソン病（ＰＤ）などの運動機能障害を呈する疾患の診断に特に有用である。
【実施例0018】
次に実施例を挙げて本発明をさらに詳細に説明する。
実施例１
合計１００人のＰＤ患者を対象に本発明システムを介して運動スコアを評価し、従来の神経内科医が患者と対面して評価した結果を比較した。従来法では、ＰＤの評価をする際、医師が患者に対面し、国際パーキンソン病運動障害学会による改定統一ＰＤ評価尺度パート３（運動スケール）を用いて評価する。主に指タップ、手の動作、手の回内回外運動、下肢の敏捷性、姿勢、歩行、動作緩慢、振戦などの動作をそれぞれ０－４点で評価して全体を合計して点数化する。そのシステムを使用した場合は、ヘッドマウントディスプレイを装着した神経内科医が、ディスプレイ上に映写された患者の3次元ホログラムの動作を従来法と同様にそれぞれ０－４点で評価して全体を合計して点数化する。従来の対面評価で測定された合計点数とそのシステムを使用して評価した合計点の間には有意な相関があった（ｒ =０．８７２）。さらに、これらのスコアについて、０．６４６の適切なクラス内相関係数ＩＣＣが得られた。
実施例１
合計１００人のＰＤ患者を対象に本発明システムを介して運動スコアを評価し、従来の神経内科医が患者と対面して評価した結果を比較した。従来法では、ＰＤの評価をする際、医師が患者に対面し、国際パーキンソン病運動障害学会による改定統一ＰＤ評価尺度パート３（運動スケール）を用いて評価する。主に指タップ、手の動作、手の回内回外運動、下肢の敏捷性、姿勢、歩行、動作緩慢、振戦などの動作をそれぞれ０－４点で評価して全体を合計して点数化する。そのシステムを使用した場合は、ヘッドマウントディスプレイを装着した神経内科医が、ディスプレイ上に映写された患者の3次元ホログラムの動作を従来法と同様にそれぞれ０－４点で評価して全体を合計して点数化する。従来の対面評価で測定された合計点数とそのシステムを使用して評価した合計点の間には有意な相関があった（ｒ =０．８７２）。さらに、これらのスコアについて、０．６４６の適切なクラス内相関係数ＩＣＣが得られた。
【図1】
【図2】
