特許 6355146 医療安全システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6355146

(24)【登録日】2018年6月22日

(45)【発行日】2018年7月11日

(54)【発明の名称】医療安全システム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20180702BHJP

   G06T 3/00 20060101ALI20180702BHJP

   G06T 7/70 20170101ALI20180702BHJP

   G06T 7/00 20170101ALI20180702BHJP

   A61B 90/00 20160101ALI20180702BHJP

【ＦＩ】

   H04N7/18 D

   H04N7/18 U

   H04N7/18 K

   G06T3/00 775

   G06T7/70 Z

   G06T7/00 660B

   A61B90/00

【請求項の数】7

【全頁数】13

(21)【出願番号】特願2017-222866(P2017-222866)

(22)【出願日】2017年11月20日

【審査請求日】2017年12月4日

【早期審査対象出願】

(73)【特許権者】

【識別番号】516096553

【氏名又は名称】株式会社Ｍｅｄｉ Ｐｌｕｓ

(74)【代理人】

【識別番号】100137589

【弁理士】

【氏名又は名称】右田 俊介

(72)【発明者】

【氏名】菅野 修也

(72)【発明者】

【氏名】權 みん秀

【審査官】 鈴木 隆夫

(56)【参考文献】

【文献】 特開２００６−１６４２５１（ＪＰ，Ａ）

【文献】 特開２０１７−１９２０４３（ＪＰ，Ａ）

【文献】 再公表特許第２００３／０９４７６８（ＪＰ，Ａ１）

【文献】 特開２０１２−２４４４８０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ７／１８

Ａ６１Ｂ ９０／００

Ｇ０６Ｔ ３／００

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／７０

(57)【特許請求の範囲】

【請求項1】

手術室を広角撮影した展開映像を記憶する記憶手段と、
前記展開映像の一部である部分映像を表示する部分映像表示手段と、
前記展開映像に対する画像認識処理によって、当該展開映像に撮影されている術野を特定する術野特定手段と、を備え、
前記部分映像表示手段は、前記術野特定手段によって特定された前記術野を前記部分映像に含めるように調整する表示位置調整を、所定の契機に応じて実行する医療安全システム。

【請求項2】

前記術野特定手段は、施術者の身体部位を検出する画像認識処理によって前記術野を特定する請求項１に記載の医療安全システム。

【請求項3】

前記術野特定手段によって検出される前記身体部位は、施術者の手又は腕であり、
前記術野特定手段は、前記展開映像に撮影されている前記身体部位を複数検出した場合、検出した前記身体部位が密集している位置を前記術野として特定する請求項２に記載の医療安全システム。

【請求項4】

前記術野特定手段は、
検出した前記身体部位から施術者の位置と向きを判定し、
判定された位置が所定値以下に近接している施術者が複数検出された場合、前記複数の施術者の向きが交差する位置の近傍を前記術野として特定する請求項２に記載の医療安全システム。

【請求項5】

前記記憶手段に記憶される前記展開映像は、互いに相違する方向を撮影した映像を複数結合して得られる映像であり、且つ水平方向の展開角度が３６０度に達することを特徴とする請求項１から４のいずれか一項に記載の医療安全システム。

【請求項6】

前記記憶手段は、前記展開映像の撮影と並行して録音された音声データを、当該展開映像に係る映像データに対応付けて記憶し、
前記音声データに対する音声認識処理によって、当該音声データに含まれているビープ音を検出し、検出した前記ビープ音を発した機器を特定するビープ音特定手段を備える請求項１から５のいずれか一項に記載の医療安全システム。

【請求項7】

前記展開映像に関するタイムラインを表示するタイムライン表示手段を備え、
前記タイムライン表示手段は、前記ビープ音特定手段によって検出された前記ビープ音が発されたタイミングを、前記タイムライン上に表示することを特徴とする請求項６に記載の医療安全システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、医療安全システムに関する。

【背景技術】

【0002】

近年、医療過誤や医療事故に対する問題意識が社会全体として向上しており、医療機関に対する情報公開の要請が強まっている。このような社会からの要請に応える取り組みの一環として、施設内に監視カメラを配置して、施設内で発生する種々の事象を撮影して証拠として残すシステム（以下、医療安全システムと称する場合がある）が一部の医療機関において導入されている。
この種の医療安全システムに適用可能な技術を開示している先行技術文献として、下記の特許文献１及び特許文献２を例示する。

【0003】

特許文献１には、単眼カメラで撮影した全周監視映像から、ユーザが指定した位置情報に従って映像の一部を切り出し、切り出した部分を歪曲補正することによって正対映像を表示する技術が開示されている。

【0004】

特許文献２には、街中で撮影して得られた動画像データを符号化し、その中に撮影されている重要箇所（例えば、歩行者等）を特定した場合、重要箇所の符号化方式を変化させることによって、動画像データを再生した場合に重要箇所を強調表示させる技術が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１２−２４４４８０号公報

【特許文献2】特開２００５−２６０５０１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

監視カメラのように長時間にわたって広範囲を撮影する方式によって得られる映像を視聴する際には、ユーザが確認したい要所を特定しがたく、その要所が映像内に撮影されていたとしても見落とす等によってユーザが十分な精度で確認できないことがある。
上記の先行技術文献に開示されている技術を適用すれば、一定の改善を図ることができるが、未だ十分なものとは言い難い。

【0007】

本発明は、上記の課題に鑑みなされたものであり、ユーザフレンドリーの観点から、従来技術より簡便な医療安全システムを提供するものである。

【課題を解決するための手段】

【0008】

本発明によれば、手術室を広角撮影した展開映像を記憶する記憶手段と、前記展開映像の一部である部分映像を表示する部分映像表示手段と、前記展開映像に対する画像認識処理によって、当該展開映像に撮影されている術野を特定する術野特定手段と、を備え、前記部分映像表示手段は、前記術野特定手段によって特定された前記術野を前記部分映像に含めるように調整する表示位置調整を、所定の契機に応じて実行する医療安全システムが提供される。

【0009】

上記発明によれば、画像認識処理によって特定された術野を表示するように部分映像の表示位置を調整するので、ユーザが自ら展開映像を見ながら表示位置を調整せずとも、術野を含む部分映像を表示させることができる。

【発明の効果】

【0010】

本発明によれば、ユーザフレンドリーの観点から、従来技術より簡便な医療安全システムが提供される。

【図面の簡単な説明】

【0011】

【図1】本実施形態に係る医療安全システムを示す図である。

【図2】半天球カメラの斜視図である。

【図3】半天球カメラによって撮影された展開映像の一具体例を示す図である。

【図4】モバイル端末によって表示される部分映像の一具体例を示す図である。

【図5】モバイル端末の画像認識処理を説明するための模式図である。

【図6】モバイル端末の画像認識処理を説明するための模式図である。

【図7】モバイル端末の画像認識処理を説明するための模式図である。

【図8】モバイル端末の画像認識処理を説明するための模式図である。

【図9】パソコン端末による表示の一具体例である。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態について、図面を用いて説明する。なお、すべての図面において、同様の構成要素には同一の符号を付し、適宜に説明を省略する。

【0013】

＜医療安全システム１００に含まれる各構成要素について＞
図１は、本実施形態に係る医療安全システム１００を示す図である。
なお、図１に図示される矢印は、各構成要素の間において授受される映像データの出力元と入力先とを示すものである。従って、映像データ以外のデータ等の授受については、必ずしも各矢印が示す送受信方向と一致しなくてよい。

【0014】

医療安全システム１００は、半天球カメラ１１０と、サーバ装置１２０と、視聴端末装置（例えば、パソコン端末１３１及びモバイル端末１３２）と、を備えている。

【0015】

半天球カメラ１１０は、手術室を広角撮影する装置である。
ここで広角撮影とは、単眼の広角レンズを用いて撮影して通常より広範囲の映像を得ること、複数のレンズ（標準レンズ及び広角レンズのいずれであっても良い）を互いに相違する方向に向けて撮影し、撮影した映像を複数結合して通常より広範囲の映像を得ることをいう。
本実施形態で用いる半天球カメラ１１０は、３つの広角レンズを１２０度間隔で配置し、各広角レンズを用いて撮影された３つの映像をソフトウェア処理（画像処理）によって結合して１つの展開映像を得る。このような処理を行うので、半天球カメラ１１０の撮影によって得られる展開映像は水平方向の展開角度が３６０度に達することを特徴とする。
従って、手術室に半天球カメラ１１０を設置することにより、当該手術室の全景を漏れなく撮影可能であり、術野近傍の様子の他に、手術室内で動いている各医療関係者の動作、バイタルサインを表示する医療機器の画面を一度に撮影することができる。このように撮影された映像を改竄することは困難であるため、施術に係る状況証拠として用いる際にその確からしさを十分に担保することができる。

【0016】

図２は、半天球カメラ１１０の斜視図である。
半天球カメラ１１０は、台座部１１１と、支持部１１２と、本体部１１３と、を備える。本体部１１３は、３つの広角レンズを有しており、そのうちレンズ１１４とレンズ１１５とを図２に図示している。
本体部１１３は、半天球カメラ１１０の主たる機能（撮影機能を含む）を有する部分であり、支持部１１２によって台座部１１１に結合されている。台座部１１１は、手術の術野の上方に設置されることが好ましく、手術室の天井に直に設置されてもよいし、専用の支柱（不図示）を術野の上方まで伸ばして当該支柱に設置されてもよい。

【0017】

図２に図示しているように、本体部１１３に設けられている各広角レンズ（レンズ１１４やレンズ１１５）の軸方向は、台座部１１１の反対方向、即ち術野の上方に台座部１１１を設置する前提において水平方向より下方向に傾いている。このような構造になっているので、半天球カメラ１１０は下方向に半天球画像（水平方向の展開角度が３６０度に達し且つ下方向についても漏れなく撮影されている画像）を撮影することができる。なお、展開映像は必ずしも半天球画像である必要はなく、全天球画像（水平方向にも上下方向にも展開角度が３６０度に達する画像）であってもよいし、水平方向又は上下方向の少なくとも一方について展開角度が３６０度未満である画像であってもよい。
図２で図示した半天球カメラ１１０は、本発明に用いられる展開映像を撮影する手段の一例であり、必ずしも撮影手段を本発明の構成要素として含まなくてもよい。また、本発明の構成要素に撮影手段を含めて実施する場合であっても、撮影手段は上記のような構造を備えずともよい。例えば、撮影手段のレンズの種別は必ずしも広角レンズではなくてもよいし、撮影手段のレンズの数は増減してもよい。

【0018】

図３は、半天球カメラ１１０によって撮影された展開映像の一具体例を示している。
当該展開映像の上部には、手術室の天井付近のディスプレイ装置２０１や、無影灯をスライドさせるために設けられたガイドレール２０２等が撮影されている。図３に図示されているディスプレイ装置２０１やガイドレール２０２のように、容易に識別がつかない程に大きく歪む被写体も存在しうる。
また、当該展開映像には、複数の医療関係者（執刀医２０４、助手２０３、医療スタッフ２０５〜２１１）が撮影されている。なお、以下の説明においては、これらの医療関係者を総称して施術者と称する場合がある。

【0019】

サーバ装置１２０は、施術に関する映像を記憶する装置である。
サーバ装置１２０に記憶される映像には、半天球カメラ１１０によって広角撮影された手術室の展開映像が少なくとも含まれ、本発明の記憶手段として機能する。
また、サーバ装置１２０に記憶される映像には、不図示の撮影装置又は医療機器等から取得した映像が含まれてもよいし、これらの撮影装置又は医療機器は医療安全システム１００の内部構成としてもよいし、外部構成としてもよい。

【0020】

パソコン端末１３１及びモバイル端末１３２は、サーバ装置１２０に記憶されている映像を表示する為のアプリケーションソフト（ビューア）がインストールされているコンピュータ機器である。
モバイル端末１３２は、主として手術室外で待機している医療関係者（麻酔科医等）が手術室で行われている施術の様子を確認する用途を想定したビューアをインストールしており、サーバ装置１２０に記憶される映像をライブストリーミングで配信を受けて表示することができる。
パソコン端末１３１は、主として手術後に手術内容を解析する用途を想定したビューアをインストールしており、サーバ装置１２０に記憶される映像の再生に係る機能に加えて、当該映像を資料用に編集する機能等も有している。
なお、パソコン端末１３１及びモバイル端末１３２にインストールされるビューアは、必ずしも本発明専用のアプリケーションソフトによって実現されなくてもよく、汎用のアプリケーションソフトやこれを改良又は変更したソフトによって実現されてもよい。

【0021】

なお、本実施形態で説明するパソコン端末１３１の機能及びモバイル端末１３２の機能は、必ずしも一方のみが実行可能である必要はなく、一方の機能として説明したものの一部又は全部を他方が実行可能であってもよい。

【0022】

＜モバイル端末１３２の表示について＞
次に、モバイル端末１３２の表示について説明する。
モバイル端末１３２の表示領域は、パソコン端末１３１の表示領域に比べて小さいため、半天球カメラ１１０によって撮影された展開画像の全体を表示すると視認しがたくなる。従って、モバイル端末１３２は、展開映像の一部（以下、部分映像と称する）を限定的に表示する機能を有している。即ち、モバイル端末１３２は本発明に係る部分映像表示手段として機能する。

【0023】

図４は、モバイル端末１３２によって表示される部分映像の一具体例である。
図４に図示されるように、モバイル端末１３２によって表示される部分映像は、歪曲補正を施した上で、正対表示されることが好ましい。ユーザにとって視認容易となるからである。

【0024】

モバイル端末１３２によって表示される部分映像の表示位置は、ユーザの操作に応じて調整可能であることが好ましく、少なくとも水平方向については全周にわたって表示可能である（いわゆるパノラマビューアとして機能する）ことがより好ましい。
これに関連する機能として、モバイル端末１３２は、展開映像に対する画像認識処理によって、当該展開映像に撮影されている術野を特定し、特定した術野を部分映像に含めるように調整する表示位置調整を、所定の契機に応じて実行する機能を有している。即ち、モバイル端末１３２は本実施形態に係る術野特定手段として機能する。
ここで所定の契機とは、モバイル端末１３２が認識可能な契機（イベント）であれば特に制限されず、例えば、モバイル端末１３２において部分映像の表示機能を起動することであってもよいし、モバイル端末１３２が特定の操作を受け付けることであってもよい。但し、所定の契機として扱われる特定の操作は、ユーザフレンドリーの観点から簡易なもの（例えば、一回の操作で済むもの）であることが好ましい。
このように所定の契機に応じて自動的に表示位置を術野に合わせる機能をモバイル端末１３２が有しているので、ユーザが部分映像を確認しながら術野を探す手間や時間が省ける。術野は手術室の展開映像において特に注視したい箇所の一つであるため、モバイル端末１３２の表示位置を術野に合わせる上記の機能は、ユーザフレンドリーの観点から極めて有用である。

【0025】

上述したモバイル端末１３２の画像認識処理について、詳細に説明する。
本発明者は、当該画像認識処理を汎用的なものにするため、施術者の身体部位を検出する画像認識処理によって術野を特定する方式を採用することにした。外科手術は複数の施術者でチームを組んで行われるのが一般的であり、上記のような画像認識処理であれば処理の対象となる被写体が存在しない可能性がほとんどないからである。
なお、特定の術具や医療機器（医療ロボットを含む）を用いる施術に特化するのであれば、施術者の身体部位に代えて又は加えて、術具や医療機器を画像認識処理によって検出することも考えられる。

【0026】

本実施形態において「施術者の身体部位を検出する」とは、施術者の実際の身体部位のみに着目して検出する処理に限られず、例えば、保護メガネを検出することによって施術者の目を検出したり、手術帽を検出することによって施術者の頭部を検出したり、手術マスクを検出することによって施術者の口を検出したりすることも含むものとする。
「施術者の身体部位を検出する画像認識処理」の方式については適宜選択可能である。本発明者による試行錯誤の結果として、身体部位の形状（輪郭）を抽出する方式が最も汎用性が高かい結果となったが、無影灯を用いる施術においては術野の色彩や輝度を加味して身体部位を抽出すると検出精度が高くなりうる。また、対象となる身体部位の種別によっては、その動き（動作パターン）を加味して身体部位を抽出することも考えられる。

【0027】

モバイル端末１３２の画像認識処理の一具体例を、図５及び図６を用いて説明する。
図５及び図６は、モバイル端末１３２の画像認識処理を説明するための模式図であり、実際に表示される映像とは異なる。これらの図において網掛けした箇所が、モバイル端末１３２による画像認識処理によって検出された身体部位として説明する。

【0028】

この具体例において、モバイル端末１３２によって検出される身体部位は、施術者の手又は腕である。
例えば、図３に図示した展開映像に対する画像認識処理によって、執刀医２０４、助手２０３、医療スタッフ２０６及び医療スタッフ２０７の手や腕が検出されたものとする（図５参照）。
ここで、医療スタッフ２０５、医療スタッフ２０８及び医療スタッフ２０９については、他の被写体に隠れて十分に手や腕が撮影されていないため、当該画像認識処理によって手や腕を検出することができない。また、医療スタッフ２１０及び医療スタッフ２１１については、半天球カメラ１１０から離れており、十分な大きさで撮影されていないため、当該画像認識処理によって手や腕を検出することができない。
このように、モバイル端末１３２は、画像認識処理によって展開映像に撮影されている身体部位が複数検出された場合、検出された手や腕（身体部位）が密集している位置の近傍を術野ＯＦとして特定する（図６参照）。
ここでは、執刀医２０４と助手２０３の近傍が術野ＯＦに該当する。

【0029】

続いて、上記の画像認識処理とは別の具体例を、図７及び図８を用いて説明する。
図７及び図８は、図５及び図６と同様に、モバイル端末１３２の画像認識処理を説明するための模式図であり、実際に表示される映像とは異なる。これらの図において網掛けした箇所が、モバイル端末１３２による画像認識処理によって検出された身体部位として説明する。

【0030】

この具体例において、モバイル端末１３２によって検出される身体部位は、施術者の顔（頭部）であって、その検出には両目を特徴点とする画像認識処理が行われる。
例えば、図３に図示した展開映像に対する画像認識処理によって、執刀医２０４、医療スタッフ２０６〜２０９の顔が検出されたものとする（図７参照）。
ここで、助手２０３の顔は横向きであり、医療スタッフ２０５は後向きであるため、両目が撮影されておらず、当該画像認識処理によって顔を検出することができない。また、医療スタッフ２１０及び医療スタッフ２１１については、半天球カメラ１１０から離れており、十分な大きさで撮影されていないため、当該画像認識処理によって顔を検出することができない。
そして、モバイル端末１３２は、検出した顔と両目から施術者の位置と向きを判定し、判定した位置が所定値以下に近接している施術者が複数検出された場合、複数の施術者の向きが交差する部分を術野として特定する（図８参照）。
ここで、モバイル端末１３２は、近接している施術者として執刀医２０４、医療スタッフ２０８及び医療スタッフ２０９を検出しており、それぞれの視線方向Ｖ４、視線方向Ｖ８及び視線方向Ｖ９を施術者の向きとして、それぞれ判定している。そして、モバイル端末１３２は、視線方向Ｖ４と視線方向Ｖ８の交点ＩＰ１の位置と、視線方向Ｖ４と視線方向Ｖ９の交点ＩＰ２の位置と、を含む領域を術野ＯＦとして特定している。なお、視線方向Ｖ８と視線方向Ｖ９とは交差しないため、術野ＯＦの特定に用いられない。

【0031】

図６と図８とを比較すれば明かであるように、同じ展開画像を対象として画像認識処理を行ったとしても、採用する画像認識処理の方式によって特定される術野ＯＦの位置は変動しうる。
従って、モバイル端末１３２による画像認識処理の方式を適宜変更し、又は組み合わせることによって、術野の特定精度を高めることも考えられる。

【0032】

＜パソコン端末１３１の表示について＞
次に、パソコン端末１３１の表示について説明する。
パソコン端末１３１の表示領域は、パソコン端末１３１の表示領域に比べて大きいため、半天球カメラ１１０によって撮影された展開画像の全体表示を許容する。また、パソコン端末１３１は、当該展開画像に加えて、他の映像も並行して表示することも可能である。
なお、上記の記載は、パソコン端末１３１が、上述のモバイル端末１３２のように、部分映像を表示すること（展開画像のパノラマビューアとして機能すること）を否定するものではない。

【0033】

図９は、パソコン端末１３１による表示の一具体例である。
表示領域ＤＡ１には、半天球カメラ１１０によって撮影された手術室の展開画像が全体表示される。
表示領域ＤＡ２には、当該手術室において施術を受けた患者の心拍数モニタに係る映像が表示される。
表示領域ＤＡ３には、当該施術における術野を不図示の撮影装置によって撮影された映像が表示される。
パソコン端末１３１は、これらの映像を同期表示することによって、手術室全体の様子と、術野の様子と、心拍数の変化と、を比較しながら、当該施術を解析することができる。

【0034】

更に、表示領域ＤＡ４には、展開映像に関するタイムラインが表示される。即ち、パソコン端末１３１は、本発明に係るタイムライン表示手段として機能する。
表示領域ＤＡ４に表示されるカーソルＣ１は、その時点で表示領域ＤＡ１に表示されている映像が、タイムライン上の何処であるのか（どの時点なのか）を表示している。
表示領域ＤＡ４に表示されるタグＴ１とタグＴ２は、タイムライン上に対する表示位置によって、ビープ音が発されたタイミングを表示し、その表示態様（色彩等）によってビープ音を発した機器を表示している。ここでビープ音とは、機器が発する音（警告音等）である。

【0035】

半天球カメラ１１０は、展開映像の撮影と並行して、マイクロフォン（不図示）を用いて音声データを録音することができる。
サーバ装置１２０は、録音された音声データを、当該展開映像に係る映像データに対応付けて記憶する。更に、サーバ装置１２０は、音声データに対する音声認識処理によって、当該音声データに含まれているビープ音を検出してそのタイミングを特定すると共に、検出したビープ音を発した機器を特定する機能を有する。即ち、サーバ装置１２０は、本発明に係るビープ音特定手段として機能する。
パソコン端末１３１は、タグＴ１とタグＴ２を表示することによって、サーバ装置１２０によって検出されたビープ音のタイミングと、そのビープ音を発した機器と、をユーザに認識させることができる。

【0036】

機器又はその機器の製造元によって、発するビープ音が異なるため、ビープ音を録音して解析することによって、どのようなインシデントが、どのタイミングで発生したのかを知ることができる。
しかしながら、解析用の映像データと共にビープ音を録音し、ビープ音を音声認識処理によって識別し、ビープ音のタイミングを表示するといった上記機能を備えた医療安全システムは従来医療現場に導入されていなかった。本実施形態における医療安全システム１００は上記機能を有しているため、例えば、医療事故が発生した際の原因究明等に役立てることができる。

【0037】

＜本発明の変形例について＞
ここまで各図を用いて説明される実施形態に即して本発明を説明したが、本発明は上述の実施形態に限定されるものではなく、本発明の目的が達成される限りにおける種々の変形、改良等の態様も含む。
なお、以下に説明する変形例において、パソコン端末１３１の機能又はモバイル端末１３２の機能として説明するものであっても、必ずしも一方のみが実行可能である必要はなく、一方の機能として説明したものの一部又は全部を他方が実行可能であってもよい。

【0038】

上記の実施形態の説明においては図１に図示する構成要素を前提として説明したが、本発明の各構成要素は、その機能を実現するように形成されていればよい。従って、本発明の各構成要素は、個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等を許容する。
例えば、本発明に係る医療動画処理システムには、半天球カメラ１１０に相当する撮影装置が含まれなくてもよく、システム外部の撮影装置から取得した展開映像を用いて本発明が実施されてもよい。

【0039】

上述の実施形態において説明した半天球カメラ１１０の構成や半天球カメラ１１０による撮影方式は一具体例であって、本発明の実施はこれに限られない。
例えば、単眼の広角レンズを用いる撮影装置や、この撮影装置によって撮影された展開映像を用いて本発明が実施されてもよい。

【0040】

上述の実施形態において、モバイル端末１３２が検出する施術者の身体部位の具体例として手、腕及び頭部を挙げたが、これに代えて又は加えて、その他の部位を検出してもよい。

【0041】

上述の実施形態において、モバイル端末１３２は、両目を特徴点として施術者の顔を検出する旨を説明したが、これに代えて又は加えて、その他の部位（鼻、口、耳等）を特徴点とする画像認識処理によって顔を検出して施術者の位置や向きを判定してもよい。

【0042】

上述の実施形態において、モバイル端末１３２による画像認識処理で特定される術野の候補が一つである例を挙げて説明したが、特定される術野の候補が複数存在する場合、ユーザに選択肢を提示し、ユーザが選択した術野の近傍を表示してもよい。或いは、モバイル端末１３２は、このような場合、特定の操作を受け付けるごとに複数の候補を順次切り替えて表示してもよい。

【0043】

上述の実施形態において、モバイル端末１３２による画像認識処理で特定される表示位置は術野のみを挙げたが、他の表示位置を特定できる機能を付加的に有してもよい。例えば、執刀医２０４や助手２０３等の医療スタッフを特定できてもよいし、展開画像に写り込んだ医療機器の画面（バイタルサイン等）を特定できてもよい。

【0044】

上述の実施形態において、パソコン端末１３１は、表示領域ＤＡ１に表示している展開映像に関するタイムラインを表示領域ＤＡ４に表示するものとして説明したが、その他に表示領域ＤＡ２や表示領域ＤＡ３に表示されている映像に関するタイムラインを更に表示領域ＤＡ４に表示してもよい。即ち、パソコン端末１３１は、同期表示している複数の映像に関するタイムラインをそれぞれ表示してもよい。

【0045】

本実施形態は以下の技術思想を包含する。
（１）手術室を広角撮影した展開映像を記憶する記憶手段と、前記展開映像の一部である部分映像を表示する部分映像表示手段と、前記展開映像に対する画像認識処理によって、当該展開映像に撮影されている術野を特定する術野特定手段と、を備え、前記部分映像表示手段は、前記術野特定手段によって特定された前記術野を前記部分映像に含めるように調整する表示位置調整を、所定の契機に応じて実行する医療安全システム。
（２）前記術野特定手段は、施術者の身体部位を検出する画像認識処理によって前記術野を特定する（１）に記載の医療安全システム。
（３）前記術野特定手段によって検出される前記身体部位は、施術者の手又は腕であり、前記術野特定手段は、前記展開映像に撮影されている前記身体部位を複数検出した場合、検出した前記身体部位が密集している位置を前記術野として特定する（２）に記載の医療安全システム。
（４）前記術野特定手段は、検出した前記身体部位から施術者の位置と向きを判定し、判定された位置が所定値以下に近接している施術者が複数検出された場合、前記複数の施術者の向きが交差する位置の近傍を前記術野として特定する（２）に記載の医療安全システム。
（５）前記記憶手段に記憶される前記展開映像は、互いに相違する方向を撮影した映像を複数結合して得られる映像であり、且つ水平方向の展開角度が３６０度に達することを特徴とする（１）から（４）のいずれか一つに記載の医療安全システム。
（６）前記記憶手段は、前記展開映像の撮影と並行して録音された音声データを、当該展開映像に係る映像データに対応付けて記憶し、前記音声データに対する音声認識処理によって、当該音声データに含まれているビープ音を検出し、検出した前記ビープ音を発した機器を特定するビープ音特定手段を備える（１）から（５）のいずれか一つに記載の医療安全システム。
（７）前記展開映像に関するタイムラインを表示するタイムライン表示手段を備え、前記タイムライン表示手段は、前記ビープ音検出手段によって検出された前記ビープ音が発されたタイミングを、前記タイムライン上に表示することを特徴とする（６）に記載の医療安全システム。

【符号の説明】

【0046】

１００ 医療安全システム
１１０ 半天球カメラ
１２０ サーバ装置
１３１ パソコン端末
１３２ モバイル端末
２０１ ディスプレイ装置
２０２ ガイドレール
２０３ 助手
２０４ 執刀医
２０５〜２１１ 医療スタッフ
ＤＡ１〜ＤＡ４ 表示領域
Ｃ１ カーソル
Ｔ１、Ｔ２ タグ

【要約】

【課題】ユーザフレンドリーの観点から、従来技術より簡便な医療安全システムを提供する。
【解決手段】手術室を広角撮影した展開映像を記憶するサーバ装置１２０と、展開映像の一部である部分映像を表示し、展開映像に対する画像認識処理によって、当該展開映像に撮影されている術野を特定するモバイル端末１３２と、を備える。モバイル端末１３２は、特定した術野を部分映像に含めるように調整する表示位置調整を、所定の契機に応じて実行することを特徴とする。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】