ホーム > 特許ランキング > ビフレステック株式会社
知財求人 - 知財ポータルサイト「IP Force」
▶ ビフレステック株式会社の特許一覧 ▶ 株式会社ドリスタの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023074511
(43)【公開日】2023-05-30
(54)【発明の名称】超音波プローブの距離・傾き情報遠隔送信システム
(51)【国際特許分類】
A61B 8/00 20060101AFI20230523BHJP
【ＦＩ】
A61B8/00
【審査請求】有
【請求項の数】1
【出願形態】ＯＬ
(21)【出願番号】P 2021180990
(22)【出願日】2021-11-05
(71)【出願人】
【識別番号】506150146
【氏名又は名称】ビフレステック株式会社
(71)【出願人】
【識別番号】518249502
【氏名又は名称】株式会社ドリスタ
(74)【代理人】
【識別番号】100090479
【弁理士】
【氏名又は名称】井上 一
(74)【代理人】
【識別番号】100195877
【弁理士】
【氏名又は名称】櫻木 伸一郎
(72)【発明者】
【氏名】太田 謙一
(72)【発明者】
【氏名】三澤 誠
(72)【発明者】
【氏名】毛利 奨吾
【テーマコード（参考）】
4C601
【Ｆターム（参考）】
4C601EE12
4C601EE13
4C601EE14
4C601EE15
4C601GA18
4C601GA21
4C601GD04
4C601LL23
(57)【要約】
【課題】 器具の大型化といった問題を生じることなく器具の傾き情報を取得し、遠隔地に送信することができる、器具の操作に関する遠隔指導システムを提供すること。
【解決手段】 器具の操作に関する遠隔指導システムは、器具の表面に第１～Ｎ（Ｎは２以上の整数）の識別子が付され、記憶装置は、第１～Ｎの識別子の形状と、第１～Ｎの一対の点と第１～Ｎの識別点の器具上の位置を基準値として記憶し、演算装置は、逐次作成される画像データから一の画像データを取得し、一の画像データにおける器具と第１～Ｎの識別子を認識し、第１～Ｎの線分の長さを算出し、一の画像データにおける第１～Ｎの線分の長さと、基準値から算出される第１～Ｎの線分の長さについてそれぞれ第１～Ｎの比率を算出し、第１～Ｎの比率と記憶装置に基準値として記憶された第１～Ｎの識別点の器具上の位置から撮像装置と器具間の距離と器具のオイラー角（θ、φ、ψ）を算出し、通信回線に送信する。
【選択図】 図１
【解決手段】 器具の操作に関する遠隔指導システムは、器具の表面に第１～Ｎ（Ｎは２以上の整数）の識別子が付され、記憶装置は、第１～Ｎの識別子の形状と、第１～Ｎの一対の点と第１～Ｎの識別点の器具上の位置を基準値として記憶し、演算装置は、逐次作成される画像データから一の画像データを取得し、一の画像データにおける器具と第１～Ｎの識別子を認識し、第１～Ｎの線分の長さを算出し、一の画像データにおける第１～Ｎの線分の長さと、基準値から算出される第１～Ｎの線分の長さについてそれぞれ第１～Ｎの比率を算出し、第１～Ｎの比率と記憶装置に基準値として記憶された第１～Ｎの識別点の器具上の位置から撮像装置と器具間の距離と器具のオイラー角（θ、φ、ψ）を算出し、通信回線に送信する。
【選択図】 図１
【特許請求の範囲】
【請求項1】
器具と、撮像装置と、記憶装置と、演算装置とを備え、
前記撮像装置と前記記憶装置は前記演算装置に接続され、
前記演算装置は通信回線に接続され、
前記器具の表面に第１～Ｎ（Ｎは２以上の整数）の識別子が付され、
前記第１～Ｎの識別子の輪郭上の所定の２点をそれぞれ第１～Ｎの一対の点とし、前記第１～Ｎの一対の点を結ぶ線分をそれぞれ第１～Ｎの線分とし、前記第１～Ｎの線分上の所定の位置をそれぞれ第１～Ｎの識別点とし、
前記記憶装置は、前記第１～Ｎの識別子の形状と、前記第１～Ｎの一対の点と前記第１～Ｎの識別点の前記器具上の位置を基準値として記憶し、
前記撮像装置は、オペレータによって操作される前記器具と前記第１～Ｎの識別子を撮影して画像データを逐次作成し、
前記演算装置は、逐次作成される前記画像データから一の画像データを取得し、前記一の画像データにおける前記器具と前記第１～Ｎの識別子を認識し、前記第１～Ｎの識別子の前記器具上の位置を認識し、前記第１～Ｎの線分の長さを算出し、前記一の画像データにおける前記第１～Ｎの線分の長さと、前記記憶装置に記憶された前記基準値から算出される前記第１～Ｎの線分の長さについてそれぞれ第１～Ｎの比率を算出し、前記第１～Ｎの比率から前記撮像装置と前記第１～Ｎの識別点間の距離を算出し、前記撮像装置と前記第１～Ｎの識別点間の距離と前記記憶装置に前記基準値として記憶された前記第１～Ｎの識別点の前記器具上の位置から前記撮像装置と前記器具間の距離と前記器具のオイラー角（θ、φ、ψ）を算出し、前記画像データと、前記撮像装置と前記器具間の距離と前記器具のオイラー角（θ、φ、ψ）を前記通信回線に送信することを特徴とする器具の操作に関する遠隔指導システム。
前記撮像装置と前記記憶装置は前記演算装置に接続され、
前記演算装置は通信回線に接続され、
前記器具の表面に第１～Ｎ（Ｎは２以上の整数）の識別子が付され、
前記第１～Ｎの識別子の輪郭上の所定の２点をそれぞれ第１～Ｎの一対の点とし、前記第１～Ｎの一対の点を結ぶ線分をそれぞれ第１～Ｎの線分とし、前記第１～Ｎの線分上の所定の位置をそれぞれ第１～Ｎの識別点とし、
前記記憶装置は、前記第１～Ｎの識別子の形状と、前記第１～Ｎの一対の点と前記第１～Ｎの識別点の前記器具上の位置を基準値として記憶し、
前記撮像装置は、オペレータによって操作される前記器具と前記第１～Ｎの識別子を撮影して画像データを逐次作成し、
前記演算装置は、逐次作成される前記画像データから一の画像データを取得し、前記一の画像データにおける前記器具と前記第１～Ｎの識別子を認識し、前記第１～Ｎの識別子の前記器具上の位置を認識し、前記第１～Ｎの線分の長さを算出し、前記一の画像データにおける前記第１～Ｎの線分の長さと、前記記憶装置に記憶された前記基準値から算出される前記第１～Ｎの線分の長さについてそれぞれ第１～Ｎの比率を算出し、前記第１～Ｎの比率から前記撮像装置と前記第１～Ｎの識別点間の距離を算出し、前記撮像装置と前記第１～Ｎの識別点間の距離と前記記憶装置に前記基準値として記憶された前記第１～Ｎの識別点の前記器具上の位置から前記撮像装置と前記器具間の距離と前記器具のオイラー角（θ、φ、ψ）を算出し、前記画像データと、前記撮像装置と前記器具間の距離と前記器具のオイラー角（θ、φ、ψ）を前記通信回線に送信することを特徴とする器具の操作に関する遠隔指導システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は器具の操作に関する遠隔指導システムに関する。
【背景技術】
【0002】
運動、スポーツ、検査、その他において、器具を操作することが多い。器具の操作には高度な技能を要することが多いため、高度な技能を有する熟練者から非熟練者への遠隔指導のニーズは高い。遠隔指導を的確に行うため、器具の状況を伝達する方法が種々提案されている。
【0003】
特許文献１は、撮像部でプローブ（器具）及び対象体を撮像し、その映像から、プローブに対応する領域と、対象体に対応する領域とを検出し、対象体に対応する領域に対するプローブに対応する領域の位置に基づいて、プローブの位置（位置情報）を獲得する方法を開示する。
【0004】
特許文献２は、画像を撮像するカメラと、前記カメラの撮像方向を設定するカメラ位置設定部と、超音波プローブ（器具）の位置を検出するプローブ位置検出手段と、前記カメラで撮像した画像と超音波画像とを合成する画像合成部を具備する超音波診断装置を開示する。この構成により、超音波プローブの位置をプローブ位置検出手段で特定し、カメラを自動的に超音波プローブと診断部位が撮像できる位置に移動し、カメラを超音波プローブと診断部位の方向に向け、ズームできることで、プローブ位置等の撮像状況を正確に表示した画像を撮像し、超音波画像とともに記録することができる。プローブ位置検出手段としては、画像処理による点追跡、超音波等による空間位置センサ、磁気による空間位置センサなどが考えられる。画像処理による点追跡は、ビデオカメラから取り込んだ動画像について，その画面内の特徴点(例えばＬＥＤマーカーなど)の３次元位置をリアルタイムで計測する。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特表２０１７－５３１４５５
【特許文献2】特開２００９－２０７８００
【特許文献3】特開２０１６－０８６８８０
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献１、２はいずれも、器具（プローブ／超音波プローブ）の位置情報を取得（獲得／検出）するが、超音波診断においては、超音波の照射方向も重要である。したがって、器具の傾き情報も重要であり、その取得のために磁気センサ、加速度センサ、ジャイロセンサ等が器具に装着される（例えば、特許文献３）。このように、器具の操作に関する遠隔指導では器具の傾き情報も重要であるが、上記センサ等を器具に装着するとコストが上昇し、器具のサイズも大きくなってしまうという問題がある。また、既存の器具に上記センサ等を後付けする場合、電源回路やＩ／Ｆ回路を追加する必要があるという問題がある。さらに、消費電力が増大するため、バッテリー駆動の場合、使用時間が短くなってしまうという問題がある。
【0007】
本発明は上記実状を鑑みてなされたものであり、本発明の目的は、コスト上昇、器具の大型化、電源回路やＩ／Ｆ回路の追加、消費電力の増大、バッテリー駆動の場合の使用時間の減少といった問題を生じることなく器具の傾き情報を取得し、遠隔地に送信することができる、器具の操作に関する遠隔指導システムを提供することである。
【課題を解決するための手段】
【0008】
本開示の一の態様は、
器具と、撮像装置と、記憶装置と、演算装置とを備え、
前記撮像装置と前記記憶装置は前記演算装置に接続され、
前記演算装置は通信回線に接続され、
前記器具の表面に第１～Ｎ（Ｎは２以上の整数）の識別子が付され、
前記第１～Ｎの識別子の輪郭上の所定の２点をそれぞれ第１～Ｎの一対の点とし、前記第１～Ｎの一対の点を結ぶ線分をそれぞれ第１～Ｎの線分とし、前記第１～Ｎの線分上の所定の位置をそれぞれ第１～Ｎの識別点とし、
前記記憶装置は、前記第１～Ｎの識別子の形状と、前記第１～Ｎの一対の点と前記第１～Ｎの識別点の前記器具上の位置を基準値として記憶し、
前記撮像装置は、オペレータによって操作される前記器具と前記第１～Ｎの識別子を撮影して画像データを逐次作成し、
前記演算装置は、逐次作成される前記画像データから一の画像データを取得し、前記一の画像データにおける前記器具と前記第１～Ｎの識別子を認識し、前記第１～Ｎの識別子の前記器具上の位置を認識し、前記第１～Ｎの線分の長さを算出し、前記一の画像データにおける前記第１～Ｎの線分の長さと、前記記憶装置に記憶された前記基準値から算出される前記第１～Ｎの線分の長さについてそれぞれ第１～Ｎの比率を算出し、前記第１～Ｎの比率から前記撮像装置と前記第１～Ｎの識別点間の距離を算出し、前記撮像装置と前記第１～Ｎの識別点間の距離と前記記憶装置に前記基準値として記憶された前記第１～Ｎの識別点の前記器具上の位置から前記撮像装置と前記器具間の距離と前記器具のオイラー角（θ、φ、ψ）を算出し、前記画像データと、前記撮像装置と前記器具間の距離と前記器具のオイラー角（θ、φ、ψ）を前記通信回線に送信することを特徴とする器具の操作に関する遠隔指導システムに関する。
器具と、撮像装置と、記憶装置と、演算装置とを備え、
前記撮像装置と前記記憶装置は前記演算装置に接続され、
前記演算装置は通信回線に接続され、
前記器具の表面に第１～Ｎ（Ｎは２以上の整数）の識別子が付され、
前記第１～Ｎの識別子の輪郭上の所定の２点をそれぞれ第１～Ｎの一対の点とし、前記第１～Ｎの一対の点を結ぶ線分をそれぞれ第１～Ｎの線分とし、前記第１～Ｎの線分上の所定の位置をそれぞれ第１～Ｎの識別点とし、
前記記憶装置は、前記第１～Ｎの識別子の形状と、前記第１～Ｎの一対の点と前記第１～Ｎの識別点の前記器具上の位置を基準値として記憶し、
前記撮像装置は、オペレータによって操作される前記器具と前記第１～Ｎの識別子を撮影して画像データを逐次作成し、
前記演算装置は、逐次作成される前記画像データから一の画像データを取得し、前記一の画像データにおける前記器具と前記第１～Ｎの識別子を認識し、前記第１～Ｎの識別子の前記器具上の位置を認識し、前記第１～Ｎの線分の長さを算出し、前記一の画像データにおける前記第１～Ｎの線分の長さと、前記記憶装置に記憶された前記基準値から算出される前記第１～Ｎの線分の長さについてそれぞれ第１～Ｎの比率を算出し、前記第１～Ｎの比率から前記撮像装置と前記第１～Ｎの識別点間の距離を算出し、前記撮像装置と前記第１～Ｎの識別点間の距離と前記記憶装置に前記基準値として記憶された前記第１～Ｎの識別点の前記器具上の位置から前記撮像装置と前記器具間の距離と前記器具のオイラー角（θ、φ、ψ）を算出し、前記画像データと、前記撮像装置と前記器具間の距離と前記器具のオイラー角（θ、φ、ψ）を前記通信回線に送信することを特徴とする器具の操作に関する遠隔指導システムに関する。
【0009】
本開示の器具の操作に関する遠隔指導システムは、器具の表面に付された第１～Ｎ（Ｎは２以上の整数）の識別子の画像処理によって撮像装置と器具間の距離と器具のオイラー角（θ、φ、ψ）を算出することができるので、コスト上昇、器具の大型化、電源回路やＩ／Ｆ回路の追加、消費電力の増大、バッテリー駆動の場合の使用時間の減少といった問題を生じることなく、オペレータによって操作される器具が撮影された画像と器具の傾き情報を、遠隔地にいる他のオペレータに送信することができる。したがって、器具を操作するオペレータは、遠隔地にいる他のオペレータから器具の操作に関する指導や質問等を受けることができる。
【図面の簡単な説明】
【0010】
【図1】実施形態の例を示す。
【図2】実施形態の識別子の例を示す。
【図3】実施形態の識別子と一対の点と識別点の例を示す。
【図4】識別子の形状の例を示す。
【図5】識別子の形状の例を示す。
【図6】識別子の形状の例を示す。
【図7】実施形態の他の例を示す。
【発明を実施するための形態】
【0011】
以下、本発明の好適な実施形態について詳細に説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではなく、本実施形態で説明される構成のすべてが本開示の解決手段として必須であるとは限らない。
【0012】
図１～３は器具の操作に関する遠隔指導システム１０の一実施形態を示す。本実施形態の器具の操作に関する遠隔指導システム１０は、器具１１と、撮像装置１２と、記憶装置１３と、演算装置１４とを備える。撮像装置１２と記憶装置１３は演算装置１４に接続され、演算装置１４は通信回線１５に接続される。器具１１の表面には第１～Ｎ（Ｎは２以上の整数）の識別子１６が付される。第１～Ｎの識別子１６の輪郭上の所定の２点をそれぞれ第１～Ｎの一対の点１７とし、第１～Ｎの一対の点１７を結ぶ線分をそれぞれ第１～Ｎの線分とし、第１～Ｎの線分上の所定の位置をそれぞれ第１～Ｎの識別点１８とし、記憶装置１３は、第１～Ｎの識別子１６の形状と、第１～Ｎの一対の点１７と第１～Ｎの識別点１８の器具１１上の位置を基準値として記憶する。撮像装置１２は、オペレータによって操作される器具１１と第１～Ｎの識別子１６を撮影して画像データを逐次作成する。演算装置１４は、逐次作成される画像データから一の画像データを取得し、一の画像データにおける器具１１と第１～Ｎの識別子１６を認識し、第１～Ｎの識別子１６の器具１１上の位置を認識し、第１～Ｎの線分の長さを算出し、一の画像データにおける第１～Ｎの線分の長さと、記憶装置１３に記憶された基準値から算出される第１～Ｎの線分の長さについてそれぞれ第１～Ｎの比率を算出し、第１～Ｎの比率から撮像装置１２と第１～Ｎの識別点１８間の距離を算出し、撮像装置１２と第１～Ｎの識別点１８間の距離と記憶装置１３に基準値として記憶された第１～Ｎの識別子１６の器具１１上の位置から撮像装置１２と器具１１間の距離と器具１１のオイラー角（θ、φ、ψ）を算出し、画像データと、撮像装置１２と器具１１間の距離と器具１１のオイラー角（θ、φ、ψ）を通信回線１５に送信する。
【0013】
本実施形態の器具の操作に関する遠隔指導システム１０は、器具１１の表面には付された第１～Ｎ（Ｎは２以上の整数）の識別子１６の画像処理によって撮像装置１２と器具１１間の距離と器具１１のオイラー角（θ、φ、ψ）を算出することができる。したがって、コスト上昇、器具１１の大型化、電源回路やＩ／Ｆ回路の追加、消費電力の増大、バッテリー駆動の場合の使用時間の減少といった問題を生じることなく、オペレータによって操作される器具１１が撮影された画像と器具１１の傾き情報を、遠隔地にいる他のオペレータに送信することができる。したがって、器具１１を操作するオペレータは、遠隔地にいる他のオペレータから器具１１の操作に関する指導や質問等を受けることができる。
【0014】
第１～Ｎの識別子１６の形状は、輪郭上の一対の点１７が判別できれば特に制限はない。識別子１６の形状の例を図４～６に示す。
【0015】
第１～Ｎの識別子１６の形状の好ましい例を以下に示す。第１～Ｎの識別子１６は線分又は曲線であることが好ましい。また、第１～Ｎの識別子１６のそれぞれに外接する長方形のうち、アスペクト比が最大のものを第１～Ｎの仮想長方形１９とすると、第１～Ｎの一対の点１７は、第１～Ｎの識別子１６と第１～Ｎの仮想長方形１９の短辺との接点であることが好ましい（図５）。また、第１～Ｎの識別子１６は、対称軸２０が１軸のみの線対称であり、第１～Ｎの一対の点１７は、第１～Ｎの識別子１６と対称軸２０との交点であることが好ましい（図６）。また、第１～Ｎの識別子１６は、ｎ回対称（ｎは４以上の偶数）でないことが好ましく、ｎ回対称（ｎは３以上の奇数）でないことがより好ましい。また、第１～Ｎの識別子１６は、正ｎ角形（ｎは４以上の偶数）でないことが好ましく、正ｎ角形（ｎは３以上の奇数）でないことがより好ましい。これらの第１～Ｎの識別子１６の好ましい形状は、画像データから第１～Ｎの一対の点１７を認識しやすいため、撮像装置１２と器具１１間の距離と器具１１のオイラー角（θ、φ、ψ）を精度よく算出することができる。ただし、これらの形状でなくても、記憶装置１３に基準値として記憶されている第１～Ｎの識別子１６の形状と、第１～Ｎの一対の点１７の器具１１上の位置に基づき、画像データにおける第１～Ｎの一対の点１７を認識することは容易である。
【0016】
識別子１６とその周囲の光の反射率は１０％以上異なることが好ましい。これにより、演算装置１４は、画像データにおける第１～Ｎの識別子１６や第１～Ｎの識別点１８を認識しやすくなる。また、第１～Ｎの識別点１８は、それぞれ第１～Ｎの一対の点１７の中点であることが好ましい（図５）。
【0017】
図７は器具の操作に関する遠隔指導システム１０の他の実施形態を示す。本実施形態の器具の操作に関する遠隔指導システム１０は、器具１１と、撮像装置１２と、記憶装置１３と、演算装置１４とを２セット以上備える。各セットの器具１１と撮像装置１２と記憶装置１３と演算装置１４の接続や機能、識別子１６の付与等は、前述の器具の操作に関する遠隔指導システム１０の一実施形態と同様である。器具１１と撮像装置１２と記憶装置１３と演算装置１４を２セット以上備えることにより、２以上の遠隔地のオペレータ間で器具１１の操作に関する指導や質問等を同時にやり取りすることができる。
【0018】
器具１１と撮像装置１２と記憶装置１３と演算装置１４のセットは、表示装置２１と、音声出力装置２２と、音声入力装置２３をさらに備えてもよい。表示装置２１と音声出力装置２２と音声入力装置２３は演算装置１４に接続される。表示装置２１を備えることにより、相手方から送信された画像データ、撮像装置１２と器具１１間の距離と器具１１のオイラー角（θ、φ、ψ）又は相手方の指導や質問の内容等を表示装置２１に表示することができる。また、自分自身の画像データと撮像装置１２と器具１１間の距離と器具１１のオイラー角（θ、φ、ψ）を表示装置２１に表示して、相手方と比較することもできる。表示装置２１としては、例えば、液晶ディスプレイ、後述の入力装置を兼ねるタッチパネル等が挙げられる。音声出力装置２２と音声入力装置２３を備えることにより、２以上の遠隔地のオペレータ間で器具１１の操作に関する指導や質問等を音声で伝達することができる。音声入力装置２３は他の入力装置でもよく、例えば、キーボードやタッチパッド等であってもよい。キーボードやタッチパッド等を備えることにより、遠隔地のオペレータ間で器具１１の操作に関する指導や質問等を文字やイラストとして伝達したり、画像データにタグ情報を付したりすることができる。
【0019】
なお、上記のように本実施形態について詳細に説明したが、本開示の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。したがって、このような変形例はすべて本開示の範囲に含まれる。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語とともに記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、本実施形態の構成も本実施形態で説明したものに限定されず、種々の変形が可能である。
【符号の説明】
【0020】
１０ 器具の操作に関する遠隔指導システム、１１ 器具、１２ 撮像装置、１３ 記憶装置、１４ 演算装置、１５ 通信回線、１６ 識別子、１７ 一対の点、１８ 識別点、１９ 仮想長方形、２０ 対称軸、２１ 表示装置、２２ 音声出力装置、２３ 音声入力装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【手続補正書】
【提出日】2022-02-04
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
超音波プローブと、撮像装置と、記憶装置と、演算装置とを備え、
前記撮像装置と前記記憶装置は前記演算装置に接続され、
前記演算装置は通信回線に接続され、
前記超音波プローブの表面に第１～Ｎ（Ｎは２以上の整数）の識別子が付され、
前記第１～Ｎの識別子の輪郭上の所定の２点をそれぞれ第１～Ｎの一対の点とし、前記第１～Ｎの一対の点を結ぶ線分をそれぞれ第１～Ｎの線分とし、前記第１～Ｎの線分上の所定の位置をそれぞれ第１～Ｎの識別点とし、
前記記憶装置は、前記第１～Ｎの識別子の形状と、前記第１～Ｎの一対の点と前記第１～Ｎの識別点の前記超音波プローブ上の位置を基準値として記憶し、
前記撮像装置は、オペレータによって操作される前記超音波プローブと前記第１～Ｎの識別子を撮影して画像データを逐次作成し、
前記演算装置は、逐次作成される前記画像データから一の画像データを取得し、前記一の画像データにおける前記超音波プローブと前記第１～Ｎの識別子を認識し、前記第１～Ｎの識別子の前記超音波プローブ上の位置を認識し、前記第１～Ｎの線分の長さを算出し、前記一の画像データにおける前記第１～Ｎの線分の長さと、前記記憶装置に記憶された前記基準値から算出される前記第１～Ｎの線分の長さについてそれぞれ第１～Ｎの比率を算出し、前記第１～Ｎの比率から前記撮像装置と前記第１～Ｎの識別点間の距離を算出し、前記撮像装置と前記第１～Ｎの識別点間の距離と前記記憶装置に前記基準値として記憶された前記第１～Ｎの識別点の前記超音波プローブ上の位置から前記撮像装置と前記超音波プローブ間の距離と前記超音波プローブのオイラー角（θ、φ、ψ）を算出し、前記画像データと、前記撮像装置と前記超音波プローブ間の距離と前記超音波プローブのオイラー角（θ、φ、ψ）を前記通信回線に送信することを特徴とする超音波プローブの位置・傾き情報遠隔送信システム。
前記撮像装置と前記記憶装置は前記演算装置に接続され、
前記演算装置は通信回線に接続され、
前記超音波プローブの表面に第１～Ｎ（Ｎは２以上の整数）の識別子が付され、
前記第１～Ｎの識別子の輪郭上の所定の２点をそれぞれ第１～Ｎの一対の点とし、前記第１～Ｎの一対の点を結ぶ線分をそれぞれ第１～Ｎの線分とし、前記第１～Ｎの線分上の所定の位置をそれぞれ第１～Ｎの識別点とし、
前記記憶装置は、前記第１～Ｎの識別子の形状と、前記第１～Ｎの一対の点と前記第１～Ｎの識別点の前記超音波プローブ上の位置を基準値として記憶し、
前記撮像装置は、オペレータによって操作される前記超音波プローブと前記第１～Ｎの識別子を撮影して画像データを逐次作成し、
前記演算装置は、逐次作成される前記画像データから一の画像データを取得し、前記一の画像データにおける前記超音波プローブと前記第１～Ｎの識別子を認識し、前記第１～Ｎの識別子の前記超音波プローブ上の位置を認識し、前記第１～Ｎの線分の長さを算出し、前記一の画像データにおける前記第１～Ｎの線分の長さと、前記記憶装置に記憶された前記基準値から算出される前記第１～Ｎの線分の長さについてそれぞれ第１～Ｎの比率を算出し、前記第１～Ｎの比率から前記撮像装置と前記第１～Ｎの識別点間の距離を算出し、前記撮像装置と前記第１～Ｎの識別点間の距離と前記記憶装置に前記基準値として記憶された前記第１～Ｎの識別点の前記超音波プローブ上の位置から前記撮像装置と前記超音波プローブ間の距離と前記超音波プローブのオイラー角（θ、φ、ψ）を算出し、前記画像データと、前記撮像装置と前記超音波プローブ間の距離と前記超音波プローブのオイラー角（θ、φ、ψ）を前記通信回線に送信することを特徴とする超音波プローブの位置・傾き情報遠隔送信システム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【0001】
本発明は器具の位置・傾き情報遠隔送信システムに関する。
【背景技術】
【0002】
運動、スポーツ、検査、その他において、器具を操作することが多い。器具の操作には高度な技能を要することが多いため、高度な技能を有する熟練者から非熟練者への遠隔指導のニーズは高い。遠隔指導を的確に行うため、器具の状況を伝達する方法が種々提案されている。
【0003】
特許文献１は、撮像部でプローブ（器具）及び対象体を撮像し、その映像から、プローブに対応する領域と、対象体に対応する領域とを検出し、対象体に対応する領域に対するプローブに対応する領域の位置に基づいて、プローブの位置（位置情報）を獲得する方法を開示する。
【0004】
特許文献２は、画像を撮像するカメラと、前記カメラの撮像方向を設定するカメラ位置設定部と、超音波プローブ（器具）の位置を検出するプローブ位置検出手段と、前記カメラで撮像した画像と超音波画像とを合成する画像合成部を具備する超音波診断装置を開示する。この構成により、超音波プローブの位置をプローブ位置検出手段で特定し、カメラを自動的に超音波プローブと診断部位が撮像できる位置に移動し、カメラを超音波プローブと診断部位の方向に向け、ズームできることで、プローブ位置等の撮像状況を正確に表示した画像を撮像し、超音波画像とともに記録することができる。プローブ位置検出手段としては、画像処理による点追跡、超音波等による空間位置センサ、磁気による空間位置センサなどが考えられる。画像処理による点追跡は、ビデオカメラから取り込んだ動画像について，その画面内の特徴点(例えばＬＥＤマーカーなど)の３次元位置をリアルタイムで計測する。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特表２０１７－５３１４５５
【特許文献2】特開２００９－２０７８００
【特許文献3】特開２０１６－０８６８８０
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献１、２はいずれも、器具（プローブ／超音波プローブ）の位置情報を取得（獲得／検出）するが、超音波診断においては、超音波の照射方向も重要である。したがって、器具の傾き情報も重要であり、その取得のために磁気センサ、加速度センサ、ジャイロセンサ等が器具に装着される（例えば、特許文献３）。このように、器具の位置・傾き情報遠隔送信では器具の傾き情報も重要であるが、上記センサ等を器具に装着するとコストが上昇し、器具のサイズも大きくなってしまうという問題がある。また、既存の器具に上記センサ等を後付けする場合、電源回路やＩ／Ｆ回路を追加する必要があるという問題がある。さらに、消費電力が増大するため、バッテリー駆動の場合、使用時間が短くなってしまうという問題がある。
【0007】
本発明は上記実状を鑑みてなされたものであり、本発明の目的は、コスト上昇、器具の大型化、電源回路やＩ／Ｆ回路の追加、消費電力の増大、バッテリー駆動の場合の使用時間の減少といった問題を生じることなく器具の傾き情報を取得し、遠隔地に送信することができる、器具の位置・傾き情報遠隔送信システムを提供することである。
【課題を解決するための手段】
【0008】
本開示の一の態様は、
器具と、撮像装置と、記憶装置と、演算装置とを備え、
前記撮像装置と前記記憶装置は前記演算装置に接続され、
前記演算装置は通信回線に接続され、
前記器具の表面に第１～Ｎ（Ｎは２以上の整数）の識別子が付され、
前記第１～Ｎの識別子の輪郭上の所定の２点をそれぞれ第１～Ｎの一対の点とし、前記第１～Ｎの一対の点を結ぶ線分をそれぞれ第１～Ｎの線分とし、前記第１～Ｎの線分上の所定の位置をそれぞれ第１～Ｎの識別点とし、
前記記憶装置は、前記第１～Ｎの識別子の形状と、前記第１～Ｎの一対の点と前記第１～Ｎの識別点の前記器具上の位置を基準値として記憶し、
前記撮像装置は、オペレータによって操作される前記器具と前記第１～Ｎの識別子を撮影して画像データを逐次作成し、
前記演算装置は、逐次作成される前記画像データから一の画像データを取得し、前記一の画像データにおける前記器具と前記第１～Ｎの識別子を認識し、前記第１～Ｎの識別子の前記器具上の位置を認識し、前記第１～Ｎの線分の長さを算出し、前記一の画像データにおける前記第１～Ｎの線分の長さと、前記記憶装置に記憶された前記基準値から算出される前記第１～Ｎの線分の長さについてそれぞれ第１～Ｎの比率を算出し、前記第１～Ｎの比率から前記撮像装置と前記第１～Ｎの識別点間の距離を算出し、前記撮像装置と前記第１～Ｎの識別点間の距離と前記記憶装置に前記基準値として記憶された前記第１～Ｎの識別点の前記器具上の位置から前記撮像装置と前記器具間の距離と前記器具のオイラー角（θ、φ、ψ）を算出し、前記画像データと、前記撮像装置と前記器具間の距離と前記器具のオイラー角（θ、φ、ψ）を前記通信回線に送信することを特徴とする器具の位置・傾き情報遠隔送信システムに関する。
器具と、撮像装置と、記憶装置と、演算装置とを備え、
前記撮像装置と前記記憶装置は前記演算装置に接続され、
前記演算装置は通信回線に接続され、
前記器具の表面に第１～Ｎ（Ｎは２以上の整数）の識別子が付され、
前記第１～Ｎの識別子の輪郭上の所定の２点をそれぞれ第１～Ｎの一対の点とし、前記第１～Ｎの一対の点を結ぶ線分をそれぞれ第１～Ｎの線分とし、前記第１～Ｎの線分上の所定の位置をそれぞれ第１～Ｎの識別点とし、
前記記憶装置は、前記第１～Ｎの識別子の形状と、前記第１～Ｎの一対の点と前記第１～Ｎの識別点の前記器具上の位置を基準値として記憶し、
前記撮像装置は、オペレータによって操作される前記器具と前記第１～Ｎの識別子を撮影して画像データを逐次作成し、
前記演算装置は、逐次作成される前記画像データから一の画像データを取得し、前記一の画像データにおける前記器具と前記第１～Ｎの識別子を認識し、前記第１～Ｎの識別子の前記器具上の位置を認識し、前記第１～Ｎの線分の長さを算出し、前記一の画像データにおける前記第１～Ｎの線分の長さと、前記記憶装置に記憶された前記基準値から算出される前記第１～Ｎの線分の長さについてそれぞれ第１～Ｎの比率を算出し、前記第１～Ｎの比率から前記撮像装置と前記第１～Ｎの識別点間の距離を算出し、前記撮像装置と前記第１～Ｎの識別点間の距離と前記記憶装置に前記基準値として記憶された前記第１～Ｎの識別点の前記器具上の位置から前記撮像装置と前記器具間の距離と前記器具のオイラー角（θ、φ、ψ）を算出し、前記画像データと、前記撮像装置と前記器具間の距離と前記器具のオイラー角（θ、φ、ψ）を前記通信回線に送信することを特徴とする器具の位置・傾き情報遠隔送信システムに関する。
【0009】
本開示の器具の位置・傾き情報遠隔送信システムは、器具の表面に付された第１～Ｎ（Ｎは２以上の整数）の識別子の画像処理によって撮像装置と器具間の距離と器具のオイラー角（θ、φ、ψ）を算出することができるので、コスト上昇、器具の大型化、電源回路やＩ／Ｆ回路の追加、消費電力の増大、バッテリー駆動の場合の使用時間の減少といった問題を生じることなく、オペレータによって操作される器具が撮影された画像と器具の傾き情報を、遠隔地にいる他のオペレータに送信することができる。したがって、器具を操作するオペレータは、遠隔地にいる他のオペレータから器具の操作に関する指導や質問等を受けることができる。
【図面の簡単な説明】
【0010】
【図1】実施形態の例を示す。
【図2】実施形態の識別子の例を示す。
【図3】実施形態の識別子と一対の点と識別点の例を示す。
【図4】識別子の形状の例を示す。
【図5】識別子の形状の例を示す。
【図6】識別子の形状の例を示す。
【図7】実施形態の他の例を示す。
【発明を実施するための形態】
【0011】
以下、本発明の好適な実施形態について詳細に説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではなく、本実施形態で説明される構成のすべてが本開示の解決手段として必須であるとは限らない。
【0012】
図１～３は器具の位置・傾き情報遠隔送信システム１０の一実施形態を示す。本実施形態の器具の位置・傾き情報遠隔送信システム１０は、器具１１と、撮像装置１２と、記憶装置１３と、演算装置１４とを備える。撮像装置１２と記憶装置１３は演算装置１４に接続され、演算装置１４は通信回線１５に接続される。器具１１の表面には第１～Ｎ（Ｎは２以上の整数）の識別子１６が付される。第１～Ｎの識別子１６の輪郭上の所定の２点をそれぞれ第１～Ｎの一対の点１７とし、第１～Ｎの一対の点１７を結ぶ線分をそれぞれ第１～Ｎの線分とし、第１～Ｎの線分上の所定の位置をそれぞれ第１～Ｎの識別点１８とし、記憶装置１３は、第１～Ｎの識別子１６の形状と、第１～Ｎの一対の点１７と第１～Ｎの識別点１８の器具１１上の位置を基準値として記憶する。撮像装置１２は、オペレータによって操作される器具１１と第１～Ｎの識別子１６を撮影して画像データを逐次作成する。演算装置１４は、逐次作成される画像データから一の画像データを取得し、一の画像データにおける器具１１と第１～Ｎの識別子１６を認識し、第１～Ｎの識別子１６の器具１１上の位置を認識し、第１～Ｎの線分の長さを算出し、一の画像データにおける第１～Ｎの線分の長さと、記憶装置１３に記憶された基準値から算出される第１～Ｎの線分の長さについてそれぞれ第１～Ｎの比率を算出し、第１～Ｎの比率から撮像装置１２と第１～Ｎの識別点１８間の距離を算出し、撮像装置１２と第１～Ｎの識別点１８間の距離と記憶装置１３に基準値として記憶された第１～Ｎの識別子１６の器具１１上の位置から撮像装置１２と器具１１間の距離と器具１１のオイラー角（θ、φ、ψ）を算出し、画像データと、撮像装置１２と器具１１間の距離と器具１１のオイラー角（θ、φ、ψ）を通信回線１５に送信する。
【0013】
本実施形態の器具の位置・傾き情報遠隔送信システム１０は、器具１１の表面には付された第１～Ｎ（Ｎは２以上の整数）の識別子１６の画像処理によって撮像装置１２と器具１１間の距離と器具１１のオイラー角（θ、φ、ψ）を算出することができる。したがって、コスト上昇、器具１１の大型化、電源回路やＩ／Ｆ回路の追加、消費電力の増大、バッテリー駆動の場合の使用時間の減少といった問題を生じることなく、オペレータによって操作される器具１１が撮影された画像と器具１１の傾き情報を、遠隔地にいる他のオペレータに送信することができる。したがって、器具１１を操作するオペレータは、遠隔地にいる他のオペレータから器具１１の操作に関する指導や質問等を受けることができる。
【0014】
第１～Ｎの識別子１６の形状は、輪郭上の一対の点１７が判別できれば特に制限はない。識別子１６の形状の例を図４～６に示す。
【0015】
第１～Ｎの識別子１６の形状の好ましい例を以下に示す。第１～Ｎの識別子１６は線分又は曲線であることが好ましい。また、第１～Ｎの識別子１６のそれぞれに外接する長方形のうち、アスペクト比が最大のものを第１～Ｎの仮想長方形１９とすると、第１～Ｎの一対の点１７は、第１～Ｎの識別子１６と第１～Ｎの仮想長方形１９の短辺との接点であることが好ましい（図５）。また、第１～Ｎの識別子１６は、対称軸２０が１軸のみの線対称であり、第１～Ｎの一対の点１７は、第１～Ｎの識別子１６と対称軸２０との交点であることが好ましい（図６）。また、第１～Ｎの識別子１６は、ｎ回対称（ｎは４以上の偶数）でないことが好ましく、ｎ回対称（ｎは３以上の奇数）でないことがより好ましい。また、第１～Ｎの識別子１６は、正ｎ角形（ｎは４以上の偶数）でないことが好ましく、正ｎ角形（ｎは３以上の奇数）でないことがより好ましい。これらの第１～Ｎの識別子１６の好ましい形状は、画像データから第１～Ｎの一対の点１７を認識しやすいため、撮像装置１２と器具１１間の距離と器具１１のオイラー角（θ、φ、ψ）を精度よく算出することができる。ただし、これらの形状でなくても、記憶装置１３に基準値として記憶されている第１～Ｎの識別子１６の形状と、第１～Ｎの一対の点１７の器具１１上の位置に基づき、画像データにおける第１～Ｎの一対の点１７を認識することは容易である。
【0016】
識別子１６とその周囲の光の反射率は１０％以上異なることが好ましい。これにより、演算装置１４は、画像データにおける第１～Ｎの識別子１６や第１～Ｎの識別点１８を認識しやすくなる。また、第１～Ｎの識別点１８は、それぞれ第１～Ｎの一対の点１７の中点であることが好ましい（図５）。
【0017】
図７は器具の位置・傾き情報遠隔送信システム１０の他の実施形態を示す。本実施形態の器具の位置・傾き情報遠隔送信システム１０は、器具１１と、撮像装置１２と、記憶装置１３と、演算装置１４とを２セット以上備える。各セットの器具１１と撮像装置１２と記憶装置１３と演算装置１４の接続や機能、識別子１６の付与等は、前述の器具の位置・傾き情報遠隔送信システム１０の一実施形態と同様である。器具１１と撮像装置１２と記憶装置１３と演算装置１４を２セット以上備えることにより、２以上の遠隔地のオペレータ間で器具１１の操作に関する指導や質問等を同時にやり取りすることができる。
【0018】
器具１１と撮像装置１２と記憶装置１３と演算装置１４のセットは、表示装置２１と、音声出力装置２２と、音声入力装置２３をさらに備えてもよい。表示装置２１と音声出力装置２２と音声入力装置２３は演算装置１４に接続される。表示装置２１を備えることにより、相手方から送信された画像データ、撮像装置１２と器具１１間の距離と器具１１のオイラー角（θ、φ、ψ）又は相手方の指導や質問の内容等を表示装置２１に表示することができる。また、自分自身の画像データと撮像装置１２と器具１１間の距離と器具１１のオイラー角（θ、φ、ψ）を表示装置２１に表示して、相手方と比較することもできる。表示装置２１としては、例えば、液晶ディスプレイ、後述の入力装置を兼ねるタッチパネル等が挙げられる。音声出力装置２２と音声入力装置２３を備えることにより、２以上の遠隔地のオペレータ間で器具１１の操作に関する指導や質問等を音声で伝達することができる。音声入力装置２３は他の入力装置でもよく、例えば、キーボードやタッチパッド等であってもよい。キーボードやタッチパッド等を備えることにより、遠隔地のオペレータ間で器具１１の操作に関する指導や質問等を文字やイラストとして伝達したり、画像データにタグ情報を付したりすることができる。
【0019】
なお、上記のように本実施形態について詳細に説明したが、本開示の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。したがって、このような変形例はすべて本開示の範囲に含まれる。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語とともに記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、本実施形態の構成も本実施形態で説明したものに限定されず、種々の変形が可能である。
【符号の説明】
【0020】
１０ 器具の位置・傾き情報遠隔送信システム、１１ 器具、１２ 撮像装置、１３ 記憶装置、１４ 演算装置、１５ 通信回線、１６ 識別子、１７ 一対の点、１８ 識別点、１９ 仮想長方形、２０ 対称軸、２１ 表示装置、２２ 音声出力装置、２３ 音声入力装置
【手続補正書】
【提出日】2023-03-16
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
超音波プローブと、撮像装置と、記憶装置と、演算装置とを備え、
前記撮像装置と前記記憶装置は前記演算装置に接続され、
前記演算装置は通信回線に接続され、
前記超音波プローブの表面に第１～Ｎ（Ｎは２以上の整数）の識別子が付され、
前記第１～Ｎの識別子の輪郭上の所定の２点をそれぞれ第１～Ｎの一対の点とし、前記第１～Ｎの一対の点を結ぶ線分をそれぞれ第１～Ｎの線分とし、前記第１～Ｎの線分上の所定の位置をそれぞれ第１～Ｎの識別点とし、
前記記憶装置は、前記第１～Ｎの識別子の形状と、前記第１～Ｎの一対の点と前記第１～Ｎの識別点の前記超音波プローブ上の位置を基準値として記憶し、
前記撮像装置は、オペレータによって操作される前記超音波プローブと前記第１～Ｎの識別子を撮影して画像データを逐次作成し、
前記演算装置は、逐次作成される前記画像データから一の画像データを取得し、前記一の画像データにおける前記超音波プローブと前記第１～Ｎの識別子を認識し、前記第１～Ｎの識別子の前記超音波プローブ上の位置を認識し、前記第１～Ｎの線分の長さを算出し、前記一の画像データにおける前記第１～Ｎの線分の長さと、前記記憶装置に記憶された前記基準値から算出される前記第１～Ｎの線分の長さについてそれぞれ第１～Ｎの比率を算出し、前記第１～Ｎの比率から前記撮像装置と前記第１～Ｎの識別点間の距離を算出し、前記撮像装置と前記第１～Ｎの識別点間の距離と前記記憶装置に前記基準値として記憶された前記第１～Ｎの識別点の前記超音波プローブ上の位置から前記撮像装置と前記超音波プローブ間の距離と前記超音波プローブのオイラー角（θ、φ、ψ）を算出し、前記画像データと、前記撮像装置と前記超音波プローブ間の距離と前記超音波プローブのオイラー角（θ、φ、ψ）を前記通信回線に送信することを特徴とする超音波プローブの距離・傾き情報遠隔送信システム。
前記撮像装置と前記記憶装置は前記演算装置に接続され、
前記演算装置は通信回線に接続され、
前記超音波プローブの表面に第１～Ｎ（Ｎは２以上の整数）の識別子が付され、
前記第１～Ｎの識別子の輪郭上の所定の２点をそれぞれ第１～Ｎの一対の点とし、前記第１～Ｎの一対の点を結ぶ線分をそれぞれ第１～Ｎの線分とし、前記第１～Ｎの線分上の所定の位置をそれぞれ第１～Ｎの識別点とし、
前記記憶装置は、前記第１～Ｎの識別子の形状と、前記第１～Ｎの一対の点と前記第１～Ｎの識別点の前記超音波プローブ上の位置を基準値として記憶し、
前記撮像装置は、オペレータによって操作される前記超音波プローブと前記第１～Ｎの識別子を撮影して画像データを逐次作成し、
前記演算装置は、逐次作成される前記画像データから一の画像データを取得し、前記一の画像データにおける前記超音波プローブと前記第１～Ｎの識別子を認識し、前記第１～Ｎの識別子の前記超音波プローブ上の位置を認識し、前記第１～Ｎの線分の長さを算出し、前記一の画像データにおける前記第１～Ｎの線分の長さと、前記記憶装置に記憶された前記基準値から算出される前記第１～Ｎの線分の長さについてそれぞれ第１～Ｎの比率を算出し、前記第１～Ｎの比率から前記撮像装置と前記第１～Ｎの識別点間の距離を算出し、前記撮像装置と前記第１～Ｎの識別点間の距離と前記記憶装置に前記基準値として記憶された前記第１～Ｎの識別点の前記超音波プローブ上の位置から前記撮像装置と前記超音波プローブ間の距離と前記超音波プローブのオイラー角（θ、φ、ψ）を算出し、前記画像データと、前記撮像装置と前記超音波プローブ間の距離と前記超音波プローブのオイラー角（θ、φ、ψ）を前記通信回線に送信することを特徴とする超音波プローブの距離・傾き情報遠隔送信システム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【0001】
本発明は器具の距離・傾き情報遠隔送信システムに関する。
【背景技術】
【0002】
運動、スポーツ、検査、その他において、器具を操作することが多い。器具の操作には高度な技能を要することが多いため、高度な技能を有する熟練者から非熟練者への遠隔指導のニーズは高い。遠隔指導を的確に行うため、器具の状況を伝達する方法が種々提案されている。
【0003】
特許文献１は、撮像部でプローブ（器具）及び対象体を撮像し、その映像から、プローブに対応する領域と、対象体に対応する領域とを検出し、対象体に対応する領域に対するプローブに対応する領域の位置に基づいて、プローブの位置（位置情報）を獲得する方法を開示する。
【0004】
特許文献２は、画像を撮像するカメラと、前記カメラの撮像方向を設定するカメラ位置設定部と、超音波プローブ（器具）の位置を検出するプローブ位置検出手段と、前記カメラで撮像した画像と超音波画像とを合成する画像合成部を具備する超音波診断装置を開示する。この構成により、超音波プローブの位置をプローブ位置検出手段で特定し、カメラを自動的に超音波プローブと診断部位が撮像できる位置に移動し、カメラを超音波プローブと診断部位の方向に向け、ズームできることで、プローブ位置等の撮像状況を正確に表示した画像を撮像し、超音波画像とともに記録することができる。プローブ位置検出手段としては、画像処理による点追跡、超音波等による空間位置センサ、磁気による空間位置センサなどが考えられる。画像処理による点追跡は、ビデオカメラから取り込んだ動画像について，その画面内の特徴点(例えばＬＥＤマーカーなど)の３次元位置をリアルタイムで計測する。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特表２０１７－５３１４５５
【特許文献2】特開２００９－２０７８００
【特許文献3】特開２０１６－０８６８８０
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献１、２はいずれも、器具（プローブ／超音波プローブ）の位置情報を取得（獲得／検出）するが、超音波診断においては、超音波の照射方向も重要である。したがって、器具の傾き情報も重要であり、その取得のために磁気センサ、加速度センサ、ジャイロセンサ等が器具に装着される（例えば、特許文献３）。このように、器具の位置・傾き情報遠隔送信では器具の傾き情報も重要であるが、上記センサ等を器具に装着するとコストが上昇し、器具のサイズも大きくなってしまうという問題がある。また、既存の器具に上記センサ等を後付けする場合、電源回路やＩ／Ｆ回路を追加する必要があるという問題がある。さらに、消費電力が増大するため、バッテリー駆動の場合、使用時間が短くなってしまうという問題がある。
【0007】
本発明は上記実状を鑑みてなされたものであり、本発明の目的は、コスト上昇、器具の大型化、電源回路やＩ／Ｆ回路の追加、消費電力の増大、バッテリー駆動の場合の使用時間の減少といった問題を生じることなく器具の傾き情報を取得し、遠隔地に送信することができる、器具の距離・傾き情報遠隔送信システムを提供することである。
【課題を解決するための手段】
【0008】
本開示の一の態様は、
器具と、撮像装置と、記憶装置と、演算装置とを備え、
前記撮像装置と前記記憶装置は前記演算装置に接続され、
前記演算装置は通信回線に接続され、
前記器具の表面に第１～Ｎ（Ｎは２以上の整数）の識別子が付され、
前記第１～Ｎの識別子の輪郭上の所定の２点をそれぞれ第１～Ｎの一対の点とし、前記第１～Ｎの一対の点を結ぶ線分をそれぞれ第１～Ｎの線分とし、前記第１～Ｎの線分上の所定の位置をそれぞれ第１～Ｎの識別点とし、
前記記憶装置は、前記第１～Ｎの識別子の形状と、前記第１～Ｎの一対の点と前記第１～Ｎの識別点の前記器具上の位置を基準値として記憶し、
前記撮像装置は、オペレータによって操作される前記器具と前記第１～Ｎの識別子を撮影して画像データを逐次作成し、
前記演算装置は、逐次作成される前記画像データから一の画像データを取得し、前記一の画像データにおける前記器具と前記第１～Ｎの識別子を認識し、前記第１～Ｎの識別子の前記器具上の位置を認識し、前記第１～Ｎの線分の長さを算出し、前記一の画像データにおける前記第１～Ｎの線分の長さと、前記記憶装置に記憶された前記基準値から算出される前記第１～Ｎの線分の長さについてそれぞれ第１～Ｎの比率を算出し、前記第１～Ｎの比率から前記撮像装置と前記第１～Ｎの識別点間の距離を算出し、前記撮像装置と前記第１～Ｎの識別点間の距離と前記記憶装置に前記基準値として記憶された前記第１～Ｎの識別点の前記器具上の位置から前記撮像装置と前記器具間の距離と前記器具のオイラー角（θ、φ、ψ）を算出し、前記画像データと、前記撮像装置と前記器具間の距離と前記器具のオイラー角（θ、φ、ψ）を前記通信回線に送信することを特徴とする器具の距離・傾き情報遠隔送信システムに関する。
器具と、撮像装置と、記憶装置と、演算装置とを備え、
前記撮像装置と前記記憶装置は前記演算装置に接続され、
前記演算装置は通信回線に接続され、
前記器具の表面に第１～Ｎ（Ｎは２以上の整数）の識別子が付され、
前記第１～Ｎの識別子の輪郭上の所定の２点をそれぞれ第１～Ｎの一対の点とし、前記第１～Ｎの一対の点を結ぶ線分をそれぞれ第１～Ｎの線分とし、前記第１～Ｎの線分上の所定の位置をそれぞれ第１～Ｎの識別点とし、
前記記憶装置は、前記第１～Ｎの識別子の形状と、前記第１～Ｎの一対の点と前記第１～Ｎの識別点の前記器具上の位置を基準値として記憶し、
前記撮像装置は、オペレータによって操作される前記器具と前記第１～Ｎの識別子を撮影して画像データを逐次作成し、
前記演算装置は、逐次作成される前記画像データから一の画像データを取得し、前記一の画像データにおける前記器具と前記第１～Ｎの識別子を認識し、前記第１～Ｎの識別子の前記器具上の位置を認識し、前記第１～Ｎの線分の長さを算出し、前記一の画像データにおける前記第１～Ｎの線分の長さと、前記記憶装置に記憶された前記基準値から算出される前記第１～Ｎの線分の長さについてそれぞれ第１～Ｎの比率を算出し、前記第１～Ｎの比率から前記撮像装置と前記第１～Ｎの識別点間の距離を算出し、前記撮像装置と前記第１～Ｎの識別点間の距離と前記記憶装置に前記基準値として記憶された前記第１～Ｎの識別点の前記器具上の位置から前記撮像装置と前記器具間の距離と前記器具のオイラー角（θ、φ、ψ）を算出し、前記画像データと、前記撮像装置と前記器具間の距離と前記器具のオイラー角（θ、φ、ψ）を前記通信回線に送信することを特徴とする器具の距離・傾き情報遠隔送信システムに関する。
【0009】
本開示の器具の距離・傾き情報遠隔送信システムは、器具の表面に付された第１～Ｎ（Ｎは２以上の整数）の識別子の画像処理によって撮像装置と器具間の距離と器具のオイラー角（θ、φ、ψ）を算出することができるので、コスト上昇、器具の大型化、電源回路やＩ／Ｆ回路の追加、消費電力の増大、バッテリー駆動の場合の使用時間の減少といった問題を生じることなく、オペレータによって操作される器具が撮影された画像と器具の傾き情報を、遠隔地にいる他のオペレータに送信することができる。したがって、器具を操作するオペレータは、遠隔地にいる他のオペレータから器具の操作に関する指導や質問等を受けることができる。
【図面の簡単な説明】
【0010】
【図1】実施形態の例を示す。
【図2】実施形態の識別子の例を示す。
【図3】実施形態の識別子と一対の点と識別点の例を示す。
【図4】識別子の形状の例を示す。
【図5】識別子の形状の例を示す。
【図6】識別子の形状の例を示す。
【図7】実施形態の他の例を示す。
【発明を実施するための形態】
【0011】
以下、本発明の好適な実施形態について詳細に説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではなく、本実施形態で説明される構成のすべてが本開示の解決手段として必須であるとは限らない。
【0012】
図１～３は器具の距離・傾き情報遠隔送信システム１０の一実施形態を示す。本実施形態の器具の距離・傾き情報遠隔送信システム１０は、器具１１と、撮像装置１２と、記憶装置１３と、演算装置１４とを備える。撮像装置１２と記憶装置１３は演算装置１４に接続され、演算装置１４は通信回線１５に接続される。器具１１の表面には第１～Ｎ（Ｎは２以上の整数）の識別子１６が付される。第１～Ｎの識別子１６の輪郭上の所定の２点をそれぞれ第１～Ｎの一対の点１７とし、第１～Ｎの一対の点１７を結ぶ線分をそれぞれ第１～Ｎの線分とし、第１～Ｎの線分上の所定の位置をそれぞれ第１～Ｎの識別点１８とし、記憶装置１３は、第１～Ｎの識別子１６の形状と、第１～Ｎの一対の点１７と第１～Ｎの識別点１８の器具１１上の位置を基準値として記憶する。撮像装置１２は、オペレータによって操作される器具１１と第１～Ｎの識別子１６を撮影して画像データを逐次作成する。演算装置１４は、逐次作成される画像データから一の画像データを取得し、一の画像データにおける器具１１と第１～Ｎの識別子１６を認識し、第１～Ｎの識別子１６の器具１１上の位置を認識し、第１～Ｎの線分の長さを算出し、一の画像データにおける第１～Ｎの線分の長さと、記憶装置１３に記憶された基準値から算出される第１～Ｎの線分の長さについてそれぞれ第１～Ｎの比率を算出し、第１～Ｎの比率から撮像装置１２と第１～Ｎの識別点１８間の距離を算出し、撮像装置１２と第１～Ｎの識別点１８間の距離と記憶装置１３に基準値として記憶された第１～Ｎの識別子１６の器具１１上の位置から撮像装置１２と器具１１間の距離と器具１１のオイラー角（θ、φ、ψ）を算出し、画像データと、撮像装置１２と器具１１間の距離と器具１１のオイラー角（θ、φ、ψ）を通信回線１５に送信する。
【0013】
本実施形態の器具の距離・傾き情報遠隔送信システム１０は、器具１１の表面には付された第１～Ｎ（Ｎは２以上の整数）の識別子１６の画像処理によって撮像装置１２と器具１１間の距離と器具１１のオイラー角（θ、φ、ψ）を算出することができる。したがって、コスト上昇、器具１１の大型化、電源回路やＩ／Ｆ回路の追加、消費電力の増大、バッテリー駆動の場合の使用時間の減少といった問題を生じることなく、オペレータによって操作される器具１１が撮影された画像と器具１１の傾き情報を、遠隔地にいる他のオペレータに送信することができる。したがって、器具１１を操作するオペレータは、遠隔地にいる他のオペレータから器具１１の操作に関する指導や質問等を受けることができる。
【0014】
第１～Ｎの識別子１６の形状は、輪郭上の一対の点１７が判別できれば特に制限はない。識別子１６の形状の例を図４～６に示す。
【0015】
第１～Ｎの識別子１６の形状の好ましい例を以下に示す。第１～Ｎの識別子１６は線分又は曲線であることが好ましい。また、第１～Ｎの識別子１６のそれぞれに外接する長方形のうち、アスペクト比が最大のものを第１～Ｎの仮想長方形１９とすると、第１～Ｎの一対の点１７は、第１～Ｎの識別子１６と第１～Ｎの仮想長方形１９の短辺との接点であることが好ましい（図５）。また、第１～Ｎの識別子１６は、対称軸２０が１軸のみの線対称であり、第１～Ｎの一対の点１７は、第１～Ｎの識別子１６と対称軸２０との交点であることが好ましい（図６）。また、第１～Ｎの識別子１６は、ｎ回対称（ｎは４以上の偶数）でないことが好ましく、ｎ回対称（ｎは３以上の奇数）でないことがより好ましい。また、第１～Ｎの識別子１６は、正ｎ角形（ｎは４以上の偶数）でないことが好ましく、正ｎ角形（ｎは３以上の奇数）でないことがより好ましい。これらの第１～Ｎの識別子１６の好ましい形状は、画像データから第１～Ｎの一対の点１７を認識しやすいため、撮像装置１２と器具１１間の距離と器具１１のオイラー角（θ、φ、ψ）を精度よく算出することができる。ただし、これらの形状でなくても、記憶装置１３に基準値として記憶されている第１～Ｎの識別子１６の形状と、第１～Ｎの一対の点１７の器具１１上の位置に基づき、画像データにおける第１～Ｎの一対の点１７を認識することは容易である。
【0016】
識別子１６とその周囲の光の反射率は１０％以上異なることが好ましい。これにより、演算装置１４は、画像データにおける第１～Ｎの識別子１６や第１～Ｎの識別点１８を認識しやすくなる。また、第１～Ｎの識別点１８は、それぞれ第１～Ｎの一対の点１７の中点であることが好ましい（図５）。
【0017】
図７は器具の距離・傾き情報遠隔送信システム１０の他の実施形態を示す。本実施形態の器具の距離・傾き情報遠隔送信システム１０は、器具１１と、撮像装置１２と、記憶装置１３と、演算装置１４とを２セット以上備える。各セットの器具１１と撮像装置１２と記憶装置１３と演算装置１４の接続や機能、識別子１６の付与等は、前述の器具の距離・傾き情報遠隔送信システム１０の一実施形態と同様である。器具１１と撮像装置１２と記憶装置１３と演算装置１４を２セット以上備えることにより、２以上の遠隔地のオペレータ間で器具１１の操作に関する指導や質問等を同時にやり取りすることができる。
【0018】
器具１１と撮像装置１２と記憶装置１３と演算装置１４のセットは、表示装置２１と、音声出力装置２２と、音声入力装置２３をさらに備えてもよい。表示装置２１と音声出力装置２２と音声入力装置２３は演算装置１４に接続される。表示装置２１を備えることにより、相手方から送信された画像データ、撮像装置１２と器具１１間の距離と器具１１のオイラー角（θ、φ、ψ）又は相手方の指導や質問の内容等を表示装置２１に表示することができる。また、自分自身の画像データと撮像装置１２と器具１１間の距離と器具１１のオイラー角（θ、φ、ψ）を表示装置２１に表示して、相手方と比較することもできる。表示装置２１としては、例えば、液晶ディスプレイ、後述の入力装置を兼ねるタッチパネル等が挙げられる。音声出力装置２２と音声入力装置２３を備えることにより、２以上の遠隔地のオペレータ間で器具１１の操作に関する指導や質問等を音声で伝達することができる。音声入力装置２３は他の入力装置でもよく、例えば、キーボードやタッチパッド等であってもよい。キーボードやタッチパッド等を備えることにより、遠隔地のオペレータ間で器具１１の操作に関する指導や質問等を文字やイラストとして伝達したり、画像データにタグ情報を付したりすることができる。
【0019】
なお、上記のように本実施形態について詳細に説明したが、本開示の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。したがって、このような変形例はすべて本開示の範囲に含まれる。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語とともに記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、本実施形態の構成も本実施形態で説明したものに限定されず、種々の変形が可能である。
【符号の説明】
【0020】
１０ 器具の距離・傾き情報遠隔送信システム、１１ 器具、１２ 撮像装置、１３ 記憶装置、１４ 演算装置、１５ 通信回線、１６ 識別子、１７ 一対の点、１８ 識別点、１９ 仮想長方形、２０ 対称軸、２１ 表示装置、２２ 音声出力装置、２３ 音声入力装置