ホーム > 特許ランキング > 株式会社ＪＶＣケンウッド
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-07
(45)【発行日】2023-11-15
(54)【発明の名称】記録再生制御装置および記録再生制御方法
(51)【国際特許分類】
H04N 5/765 20060101AFI20231108BHJP
A61B 5/352 20210101ALI20231108BHJP
H04N 7/18 20060101ALI20231108BHJP
【ＦＩ】
H04N5/765
A61B5/352
H04N7/18 U
【請求項の数】
9
(21)【出願番号】P 2019146588
(22)【出願日】2019-08-08
(65)【公開番号】P2021027551
(43)【公開日】2021-02-22
【審査請求日】2022-04-28
(73)【特許権者】
【識別番号】308036402
【氏名又は名称】株式会社ＪＶＣケンウッド
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】竹下 浩
(72)【発明者】
【氏名】倉持 裕
【審査官】松元 伸次
(56)【参考文献】
【文献】特開２００５－０１２５８４（ＪＰ，Ａ）
【文献】国際公開第２００９／０９３６９３（ＷＯ，Ａ１）
【文献】特開２０１７－１３１３７５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ５／０５－５／０５３８
５／０６－５／３９８
Ｈ０４Ｎ５／７６－５／７７５
５／８０－５／９５６
７／１８
(57)【特許請求の範囲】
【請求項1】
所定のフレームレートで撮影するカメラから第１動画ストリームを取得する動画像データ取得部と、外部装置からトリガ信号を取得するトリガ信号取得部と、
前記トリガ信号が取得されたタイミングで前記第１動画ストリームから１フレーム分のキャプチャ画像を生成するキャプチャ画像生成部と、
前記キャプチャ画像生成部によって生成された前記キャプチャ画像を順次記録して第２動画ストリームとして記憶部に記録する記憶制御部と、
前記記憶部に記憶された前記第２動画ストリームを再生する再生制御部と、を備え、
前記トリガ信号は、心電図から取得された情報に基づいて、特定位相に同期したタイミングで発生する、記録再生制御装置。
【請求項2】
前記キャプチャ画像生成部によって生成された前記キャプチャ画像を入力として、前記キャプチャ画像が更新されるまで前記所定のフレームレートでフレーム画像を内挿して出力するフレーム内挿部を更に備え、前記記憶制御部は、前記キャプチャ画像と、前記フレーム画像とを並べて第３動画ストリームとして記録する、
請求項１に記載の記録再生制御装置。
【請求項3】
所定のフレームレートで撮影するカメラから第１動画ストリームを取得する動画像データ取得部と、
外部装置からトリガ信号を取得するトリガ信号取得部と、
前記トリガ信号が取得されたタイミングで前記第１動画ストリームから１フレーム分のキャプチャ画像を生成するキャプチャ画像生成部と、
前記キャプチャ画像生成部によって生成された前記キャプチャ画像を順次記録して第２動画ストリームとして記憶部に記録する記憶制御部と、
前記記憶部に記憶された前記第２動画ストリームを再生する再生制御部と、
複数種類の外部機器から複数のタイミング信号を取得するタイミング信号取得部と、
複数の前記タイミング信号に従って、前記第１動画ストリームに対して説明ラベルを付与するラベリング部と、
前記ラベリング部から出力される前記説明ラベルが付与された前記第１動画ストリームを記録する前記記憶部に記録するライブ動画像記憶制御部と、
を備える、記録再生制御装置。
【請求項4】
前記キャプチャ画像生成部によって生成された前記キャプチャ画像を入力として、前記キャプチャ画像が更新されるまで前記所定のフレームレートでフレーム画像を内挿して出力するフレーム内挿部を更に備え、
前記記憶制御部は、前記キャプチャ画像と、前記フレーム画像とを並べて第３動画ストリームとして記録する、
請求項３に記載の記録再生制御装置。
【請求項5】
前記再生制御部は、前記第３動画ストリームから前記所定のフレームレートとは異なる所定の周期で順次サンプリングしたフレーム画像を前記所定のフレームレートで動画像として再生する、請求項４に記載の記録再生制御装置。
【請求項6】
所定のフレームレートで撮影するカメラから第１動画ストリームを取得する動画像データ取得部と、
外部装置からトリガ信号を取得するトリガ信号取得部と、
前記トリガ信号が取得されたタイミングで前記第１動画ストリームから１フレーム分のキャプチャ画像を生成するキャプチャ画像生成部と、
前記キャプチャ画像生成部によって生成された前記キャプチャ画像を順次記録して第２動画ストリームとして記憶部に記録する記憶制御部と、
前記記憶部に記憶された前記第２動画ストリームを再生する再生制御部と、
前記キャプチャ画像生成部によって生成された前記キャプチャ画像を入力として、前記キャプチャ画像が更新されるまで前記所定のフレームレートでフレーム画像を内挿して出力するフレーム内挿部と、を備え、
前記記憶制御部は、前記キャプチャ画像と、前記フレーム画像とを並べて第３動画ストリームとして記録し、
前記再生制御部は、前記第３動画ストリームから前記所定のフレームレートとは異なる所定の周期で順次サンプリングしたフレーム画像を前記所定のフレームレートで動画像として再生する、記録再生制御装置。
【請求項7】
所定のフレームレートで撮影するカメラから第１動画ストリームを取得するステップと、外部装置からトリガ信号を取得するステップと、
前記トリガ信号が取得されたタイミングで前記第１動画ストリームから１フレーム分のキャプチャ画像を生成するステップと、
生成された前記キャプチャ画像を順次記録して第２動画ストリームとして記憶部に記録するステップと、
前記記憶部に記憶された前記第２動画ストリームを再生するステップと、を含み、
前記トリガ信号は、心電図から取得された情報に基づいて、特定位相に同期したタイミングで発生する、記録再生制御方法。
【請求項8】
所定のフレームレートで撮影するカメラから第１動画ストリームを取得するステップと、
外部装置からトリガ信号を取得するステップと、
前記トリガ信号が取得されたタイミングで前記第１動画ストリームから１フレーム分のキャプチャ画像を生成するステップと、
生成された前記キャプチャ画像を順次記録して第２動画ストリームとして記憶部に記録するステップと、
前記記憶部に記憶された前記第２動画ストリームを再生するステップと、
複数種類の外部機器から複数のタイミング信号を取得するステップと、
複数の前記タイミング信号に従って、前記第１動画ストリームに対して説明ラベルを付与するステップと、
出力される前記説明ラベルが付与された前記第１動画ストリームを記録する前記記憶部に記録するステップと、を含む、
記録再生制御方法。
【請求項9】
所定のフレームレートで撮影するカメラから第１動画ストリームを取得するステップと、
外部装置からトリガ信号を取得するステップと、
前記トリガ信号が取得されたタイミングで前記第１動画ストリームから１フレーム分のキャプチャ画像を生成するステップと、
生成された前記キャプチャ画像を順次記録して第２動画ストリームとして記憶部に記録するステップと、
前記記憶部に記憶された前記第２動画ストリームを再生するステップと、
生成された前記キャプチャ画像を入力として、前記キャプチャ画像が更新されるまで前記所定のフレームレートでフレーム画像を内挿して出力するステップと、
前記キャプチャ画像と、前記フレーム画像とを並べて第３動画ストリームとして記録するステップと、
前記第３動画ストリームから前記所定のフレームレートとは異なる所定の周期で順次サンプリングしたフレーム画像を前記所定のフレームレートで動画像として再生するステップと、を含む、
記録再生制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、記録再生制御装置、記録再生制御方法、およびプログラムに関する。
【背景技術】
【0002】
心電図から拍動する心臓の形状、例えば、拡張期であることを検出してパルス信号を生成し、パルス信号をトリガとしてキャプチャされた画像を順次表示することで同じ形状状態の心臓画像を表示する技術が知られている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開平８－３２２８３４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１では、過去に撮影された心臓の画像を再生したり、過去に撮影された心臓の状態変化を高速再生したりすることが考慮されていない。
【0005】
本発明は、臓器の画像を記録し、種々の形態で再生することのできる記録再生制御装置、記録再生制御方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の記録再生制御装置は、所定のフレームレートで撮影するカメラから第１動画ストリームを取得する動画像データ取得部と、外部装置からトリガ信号を取得するトリガ信号取得部と、前記トリガ信号が取得されたタイミングで前記第１動画ストリームから１フレーム分のキャプチャ画像を生成するキャプチャ画像生成部と、前記キャプチャ画像生成部によって生成された前記キャプチャ画像を順次記録して第２動画ストリームとして記憶部に記録する記憶制御部と、前記記憶部に記憶された前記第２動画ストリームを再生する再生制御部と、を備え、前記トリガ信号は、心電図から取得された情報に基づいて、特定位相に同期したタイミングで発生する。
【0007】
本発明の記録再生制御装置は、所定のフレームレートで撮影するカメラから第１動画ストリームを取得する動画像データ取得部と、外部装置からトリガ信号を取得するトリガ信号取得部と、前記トリガ信号が取得されたタイミングで前記第１動画ストリームから１フレーム分のキャプチャ画像を生成するキャプチャ画像生成部と、前記キャプチャ画像生成部によって生成された前記キャプチャ画像を順次記録して第２動画ストリームとして記憶部に記録する記憶制御部と、前記記憶部に記憶された前記第２動画ストリームを再生する再生制御部と、複数種類の外部機器から複数のタイミング信号を取得するタイミング信号取得部と、複数の前記タイミング信号に従って、前記第１動画ストリームに対して説明ラベルを付与するラベリング部と、前記ラベリング部から出力される前記説明ラベルが付与された前記第１動画ストリームを記録する前記記憶部に記録するライブ動画像記憶制御部と、を備える。
【0008】
本発明の記録再生制御装置は、所定のフレームレートで撮影するカメラから第１動画ストリームを取得する動画像データ取得部と、外部装置からトリガ信号を取得するトリガ信号取得部と、前記トリガ信号が取得されたタイミングで前記第１動画ストリームから１フレーム分のキャプチャ画像を生成するキャプチャ画像生成部と、前記キャプチャ画像生成部によって生成された前記キャプチャ画像を順次記録して第２動画ストリームとして記憶部に記録する記憶制御部と、前記記憶部に記憶された前記第２動画ストリームを再生する再生制御部と、前記キャプチャ画像生成部によって生成された前記キャプチャ画像を入力として、前記キャプチャ画像が更新されるまで前記所定のフレームレートでフレーム画像を内挿して出力するフレーム内挿部と、を備え、前記記憶制御部は、前記キャプチャ画像と、前記フレーム画像とを並べて第３動画ストリームとして記録し、前記再生制御部は、前記第３動画ストリームから前記所定のフレームレートとは異なる所定の周期で順次サンプリングしたフレーム画像を前記所定のフレームレートで動画像として再生する。
【0009】
本発明の記録再生制御方法は、所所定のフレームレートで撮影するカメラから第１動画ストリームを取得するステップと、外部装置からトリガ信号を取得するステップと、前記トリガ信号が取得されたタイミングで前記第１動画ストリームから１フレーム分のキャプチャ画像を生成するステップと、生成された前記キャプチャ画像を順次記録して第２動画ストリームとして記憶部に記録するステップと、前記記憶部に記憶された前記第２動画ストリームを再生するステップと、を含み、前記トリガ信号は、心電図から取得された情報に基づいて、特定位相に同期したタイミングで発生する。
【0010】
本発明の記録再生制御法は、所定のフレームレートで撮影するカメラから第１動画ストリームを取得するステップと、外部装置からトリガ信号を取得するステップと、前記トリガ信号が取得されたタイミングで前記第１動画ストリームから１フレーム分のキャプチャ画像を生成するステップと、生成された前記キャプチャ画像を順次記録して第２動画ストリームとして記憶部に記録するステップと、前記記憶部に記憶された前記第２動画ストリームを再生するステップと、複数種類の外部機器から複数のタイミング信号を取得するステップと、複数の前記タイミング信号に従って、前記第１動画ストリームに対して説明ラベルを付与するステップと、出力される前記説明ラベルが付与された前記第１動画ストリームを記録する前記記憶部に記録するステップと、を含む。
【0011】
本発明の記録再生制御方法は、所定のフレームレートで撮影するカメラから第１動画ストリームを取得するステップと、外部装置からトリガ信号を取得するステップと、前記トリガ信号が取得されたタイミングで前記第１動画ストリームから１フレーム分のキャプチャ画像を生成するステップと、生成された前記キャプチャ画像を順次記録して第２動画ストリームとして記憶部に記録するステップと、前記記憶部に記憶された前記第２動画ストリームを再生するステップと、生成された前記キャプチャ画像を入力として、前記キャプチャ画像が更新されるまで前記所定のフレームレートでフレーム画像を内挿して出力するステップと、前記キャプチャ画像と、前記フレーム画像とを並べて第３動画ストリームとして記録するステップと、前記第３動画ストリームから前記所定のフレームレートとは異なる所定の周期で順次サンプリングしたフレーム画像を前記所定のフレームレートで動画像として再生するステップと、を含む。
【発明の効果】
【0012】
本発明によれば、臓器の画像を記録し、種々の形態で再生することができる。
【図面の簡単な説明】
【0013】
【発明を実施するための形態】
【0014】
以下、添付図面を参照して、本発明に係る実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではなく、また、実施形態が複数ある場合には、各実施形態を組み合わせて構成するものも含む。また、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
【0015】
【0016】
図１に示すように、記録再生システム１は、記録再生装置１００と、カメラ部２００と、心電センシング部３００とを含む。記録再生装置１００と、カメラ部２００と、心電センシング部３００とは、有線又は無線のネットワークＮを介して通信可能に接続されている。
【0017】
本実施形態に係る記録再生システム１は、手術中の臓器画像を記録して再生するシステムである。この場合、カメラ部２００は、例えば、手術室の天井に設けられる。カメラ部２００は、手術が行われている患部、処置を行う医師などの手元を撮影する。カメラ部２００は、例えば、心臓の拍動などによる臓器の形状や色の変化などを撮影する。心電センシング部３００は、例えば、手術中の患者の心臓の拍動周期をモニタリングする。記録再生装置１００は、心電センシング部３００によってモニタリングされた拍動周期に基づいて、カメラ部２００によって撮影された映像を選択的に記録する。
【0018】
一般に、手術の様子を撮影する映像撮影記録システムは、手術室に配置されている。その目的は、治療データとしての手術の経過を記録したり、後学のための学術的資料を収集したりするためである。
【0019】
例えば、心臓手術の場合、心臓の拍動により、臓器の形状は周期的に変化する。また、拍動による血圧の変化により、臓器は周期的に鬱血と虚血を繰り返す。したがって、この状態を連続的に撮影した場合、臓器の形状や色などの形質が周期的に変化する画像が記録される。一方で、臓器の形質は、手術の進行に伴う患者バイタルサイン（以降、バイタルと略す）の変化に伴っても変化する。例えば、投薬や切開による血圧の低下が発生した場合は、臓器は虚血状態となる。
【0020】
術野映像撮影の目的の一つは、手術の進行に伴う患者バイタルの変化に伴って発生する長時間の臓器の状態の変化を的確に把握することである。しかしながら、拍動による臓器の状態の変化は常に発生しているため、手術の進行に伴う患者バイタルの変化に伴って発生する臓器の状態の変化だけを適切に把握することは難しい。この把握は、多くの場合、医師の経験とスキルに依存していたのが課題であった。
【0021】
本発明の記録再生装置１００は、臓器の状態の変化だけを適切に把握することができる。具体的には、記録再生装置１００は、拍動の同一位相時刻のフレーム（以下、キーフレームとも呼称する）だけを選択的に記録する。記録再生装置１００は、例えば、ある拍動位相で選択されたキーフレーム時刻から、次の拍動位相で選択されたキーフレーム時刻までは、選択されたキーフレームを連続して記録する。これにより、拍動の実周期時間が保存され、かつ拍動の同一位相画像だけが連続して記録された手術映像動画コンテンツを得ることができる。
【0022】
【0023】
図２に示すように、記録再生装置１００は、操作部１０と、表示部２０と、記憶部３０と、通信部４０と、制御部（記録再生制御装置）１１０と、を備える。
【0024】
操作部１０は、ユーザから制御部１１０に対する各種の操作を受け付ける。操作部１０は、例えば、制御部１１０に対して各種の処理を実行させるための操作を受け付ける。操作部１０は、例えば、キーボード、マウス、タッチパネルで実現される。
【0025】
表示部２０は、各種の情報を表示する。表示部２０は、例えば、各種の動画ストリームを表示する。表示部２０は、例えば、動画像データ取得部１１１によって取得された動画ストリームや、キャプチャ画像生成部１１３によって生成された動画ストリームを表示する。表示部２０は、例えば、液晶ディスプレイ（LCD：Liquid Crystal Display）または有機ＥＬ（Organic Electro-Luminescence）ディスプレイ等を含むディスプレイである。表示部２０は、操作部１０がタッチパネルで構成される場合には、操作部１０と一体に設けられる。
【0026】
記憶部３０は、各種の情報を記憶する。記憶部３０は、例えば、各種の動画ストリームを記憶する。記憶部３０は、例えば、制御部１１０によって生成された各種の動画ストリームを記憶する。記憶部３０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
【0027】
通信部４０は、例えば、ＮＩＣ（Network Interface Card）や通信回路等によって実現される。通信部４０は、ネットワークＮ（インターネット等）と有線又は無線で接続されている。通信部４０は、ネットワークＮを介して、他の装置等との間で情報の送受信を行う。通信部４０は、例えば、カメラ部２００と、心電センシング部３００との間で情報の送受信を行う。
【0028】
制御部１１０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、図示しない記憶部に記憶されたプログラムがＲＡＭ（Random Access Memory）等を作業領域として実行されることにより実現される。また、制御部１１０は、コントローラ（Controller）であり、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。制御部１１０は、動画像データ取得部１１１と、トリガ信号取得部１１２と、キャプチャ画像生成部１１３と、記憶制御部１１４と、再生制御部１１５と、通信制御部１１６とを備える。
【0029】
動画像データ取得部１１１は、各種の動画像データを取得する。動画像データ取得部１１１は、各種の動画ストリームを取得する。動画像データ取得部１１１は、例えば、通信部４０を介してカメラ部２００から動画ストリームを取得する。動画像データ取得部１１１がカメラ部２００から取得した動画ストリームは、第１動画ストリームとも呼ばれる。動画像データ取得部１１１は、取得した第１動画ストリームをキャプチャ画像生成部１１３に出力する。
【0030】
トリガ信号取得部１１２は、外部機器からトリガ信号を取得する。トリガ信号取得部１１２は、例えば、心電センシング部３００からトリガ信号を取得する。トリガ信号取得部１１２は取得したトリガ信号をキャプチャ画像生成部１１３に出力する。
【0031】
【0032】
図３は、手術の患者の心電波形ＰＷ１を示している。心電波形ＰＷ１は、心電センシング部３００によって測定された手術中の患者の心電図である。心電センシング部３００は、心電波形ＰＷ１における特定位相と同期したタイミングにおいてパルス信号を出力する。心電センシング部３００は、例えば、心電波形ＰＷ１におけるピーク値を示す位相Ｐ１、位相Ｐ２、位相Ｐ３、および位相Ｐ４においてパルス信号を出力する。この場合、トリガ信号取得部１１２は、心電センシング部３００から出力されたパルス信号をトリガ信号して取得する。なお、位相Ｐ１と位相Ｐ２との間隔ｄＴＡと、位相Ｐ２と位相Ｐ３との間隔ｄＴＢと、位相Ｐ３と位相Ｐ４との間隔ｄＴＣは、同じであってもよいし、異なっていてもよい。
【0033】
なお、本実施形態において、図３を用いて説明したトリガ信号は例示であり、本発明を限定するものではない。トリガ信号は、患者のその他のバイタル情報であってもよい。例えば、トリガ信号は、患者の呼吸、血圧などを常時測定し、呼吸と、血圧との測定結果において同一の特定位相において出力される信号であってもよい。また、トリガ信号は、撮影された患者の臓器の画像に対して画像認識処理を実行し、臓器が同一の特定形状と判定された際に、出力される信号であってもよい。
【0034】
再び図２を参照する。キャプチャ画像生成部１１３は、キャプチャ画像を生成する。キャプチャ画像生成部１１３は、動画像データ取得部１１１によって取得された第１動画ストリームからキャプチャ画像を生成する。キャプチャ画像生成部１１３は、例えば、トリガ信号取得部１１２によってトリガ信号が取得されたタイミングで、第１動画ストリームから１フレーム分のキャプチャ画像を生成する。キャプチャ画像生成部１１３は、生成したキャプチャ画像を記憶制御部１１４に出力する。
【0035】
記憶制御部１１４は、各種の情報を記憶部３０に記憶する。記憶制御部１１４は、例えば、キャプチャ画像生成１１３部によって生成されたキャプチャ画像を時系列の順に並べて第２動画ストリームを生成する。記憶制御部１１４は、生成した第２動画ストリームを記憶部３０に記憶する。
【0036】
【0037】
図４に示すように、第１動画ストリームＶＳ１は、複数のフレーム画像から構成されている。第１動画ストリームＶＳ１は、フレーム画像Ｆ１１と、フレーム画像Ｆ１２と、フレーム画像Ｆ１３と、フレーム画像Ｆ１４とを含む。第１動画ストリームＶＳ１は、フレーム画像Ｆ２１と、フレーム画像Ｆ２２と、フレーム画像Ｆ２３と、フレーム画像Ｆ２４と、フレーム画像Ｆ２５とを含む。第１動画ストリームＶＳ１は、フレーム画像Ｆ３１と、フレーム画像Ｆ３２と、フレーム画像Ｆ３３とを含む。フレーム画像Ｆ１１～フレーム画像Ｆ１４は、「○」で示されている。フレーム画像Ｆ２１～フレーム画像Ｆ２５は、「□」で示されている。フレーム画像Ｆ３１～フレーム画像Ｆ３３は、「△」で示されている。「○」と、「□」と、「△」とは、臓器（例えば、心臓）の拍動の様子を模式的に示している。すなわち、フレーム画像Ｆ１１～フレーム画像Ｆ１４は、それぞれ、臓器の拍動の様子が同一である。フレーム画像Ｆ２１～フレーム画像Ｆ２５は、それぞれ、臓器の拍動の様子が同一である。フレーム画像Ｆ３１～フレーム画像Ｆ３３は、それぞれ、臓器の拍動の様子が同一である。言い換えれば、フレーム画像Ｆ１１～フレーム画像Ｆ１４は、それぞれ、パルス波形が同一の位相で撮影されたフレーム画像である。フレーム画像Ｆ２１～フレーム画像Ｆ２５は、それぞれ、パルス波形が同一の位相で撮影されたフレーム画像である。フレーム画像Ｆ３１～フレーム画像Ｆ３３は、それぞれ、パルス波形が同一の位相で撮影されたフレーム画像である。また、各フレーム画像の、ハッチングの違いは、臓器の色の鬱血や虚血などによる色の違いを意味している。すなわち、臓器の形状と色の組み合わせを表現しており、特に、本発明においては後述する第２動画ストリームＶＳ２のごとく臓器の同じ形状における色の変化を観察するものである。
【0038】
キャプチャ画像生成部１１３は、トリガ信号取得部１１２によってトリガ信号が取得されたタイミングで、第１動画ストリームＶＳ１から１フレーム分のキャプチャ画像を生成する。すなわち、キャプチャ画像生成部１１３は、第１動画ストリームＶＳ１に含まれるフレーム画像のうち、パルス波形が同一の位相で撮影されたフレーム画像をキャプチャ画像として生成する。キャプチャ画像生成部１１３は、例えば、キーフレーム画像として、フレーム画像Ｆ１１と、フレーム画像Ｆ１２と、フレーム画像Ｆ１３と、フレーム画像Ｆ１４とをキャプチャ画像として生成する。フレーム画像Ｆ１１と、フレーム画像Ｆ１２との間の時間間隔は、ｄＴ１である。フレーム画像Ｆ１２と、フレーム画像Ｆ１３との時間間隔は、ｄＴ１である。フレーム画像Ｆ１３と、フレーム画像Ｆ１４との時間間隔は、ｄＴ２である。フレーム画像Ｆ１４と、次の同一位相のフレーム画像との時間間隔は、ｄＴ３である。このように、同一の位相のフレーム画像間の時間間隔は異なっていてもよい。
【0039】
記憶制御部１１４は、フレーム画像Ｆ１１と、フレーム画像Ｆ１２と、フレーム画像Ｆ１３と、フレーム画像Ｆ１４とを時系列の順に並べて第２動画ストリームＶＳ２を生成する。記憶制御部１１４は、生成した第２動画ストリームＶＳ２を記憶部３０に記憶する。
【0040】
再生制御部１１５は、各種の動画ストリームを再生して、表示部２０に表示する。再生制御部１１５は、例えば、記憶部３０に記憶された第２動画ストリームを再生して、表示部２０に表示する。
【0041】
通信制御部１１６は、通信部４０を介した各種の通信を制御する。通信制御部１１６は、例えば、カメラ部２００と、心電センシング部３００との間の通信を制御する。
【0042】
図５を用いて、本発明の第１実施形態に係る制御部１１０が第２動画ストリームを記憶する処理の流れについて説明する。図５は、本発明の第１実施形態に係る制御部１１０が第２動画ストリームを記憶する処理の流れの一例を示すフローチャートである。
【0043】
制御部１１０は、第１動画ストリームを取得する（ステップＳ１０１）。具体的には、動画像データ取得部１１１が、カメラ部２００から第１動画ストリームを取得する。そして、ステップＳ１０２に進む。
【0044】
制御部１１０は、トリガ信号を取得する（ステップＳ１０２）。具体的には、トリガ信号取得部１１２が心電センシング部３００からトリガ信号を取得する。そして、ステップＳ１０３に進む。
【0045】
制御部１１０は、キャプチャ画像を生成する（ステップＳ１０３）。具体的には、キャプチャ画像生成部１１３は、トリガ信号取得部１１２によって取得されたトリガ信号に基づいて、動画像データ取得部１１１によって取得された第１動画ストリームからキャプチャ画像を生成する。そして、ステップＳ１０４に進む。
【0046】
制御部１１０は、第２動画ストリームを生成する（ステップＳ１０４）。具体的には、記憶制御部１１４が、キャプチャ画像生成部１１３によって生成されたキャプチャ画像を時系列の順位並べて第２動画ストリームを生成する。そして、ステップＳ１０５に進む。
【0047】
制御部１１０は、第２動画ストリームを記憶する（ステップＳ１０５）。具体的には、記憶制御部１１４が、ステップＳ１０４で生成した第２動画ストリームを記憶部３０に記憶する。そして、図５の処理は終了する。
【0048】
【0049】
まず、制御部１１０は、操作情報を取得する（ステップＳ２０１）。具体的には、記憶制御部１１４が、操作部１０から第２動画ストリームを再生する旨の操作情報を取得する。そして、ステップＳ２０２に進む。
【0050】
制御部１１０は、第２動画ストリームを取得する（ステップＳ２０２）。具体的には、記憶制御部１１４が、記憶部３０から第２動画ストリームを取得する。そして、ステップＳ２０３に進む。
【0051】
制御部１１０は、第２動画ストリームを再生する（ステップＳ２０３）。具体的には、再生制御部１１５が、記憶制御部１１４によって取得された第２動画ストリームを再生する。そして、図６の処理は終了する。
【0052】
上述のとおり、本実施形態では、第１動画ストリームに基づいて生成された第２動画ストリームを記憶し、その記憶された第２動画ストリームを再生することができる。これにより、拍動の同一位相画像だけが連続して記録された手術映像動画コンテンツを得ることができる。第２動画ストリームは、拍動の同一位相に該当するキーフレームだけで構成されており、臓器の形状や色などの形質は概ね一致する。そのため、ユーザは、第２動画ストリームを視認することで臓器の状態の変化を容易に把握することができる。
【0053】
また、本実施形態では、第２動画ストリームを生成することによって、手術の進行に伴う患者バイタルの変化による長時間の臓器の状態変化だけを、時間軸に沿って観察することができるようになる。
【0054】
【0055】
【0056】
フレーム内挿部１１７は、各種のキャプチャ画像間にフレーム画像を内挿する。フレーム内挿部１１７は、例えば、キャプチャ画像生成部１１３からキャプチャ画像を受ける。フレーム内挿部１１７は、例えば、受けたキャプチャ画像が更新されるまで、すなわち次のキャプチャ画像を受けるまで所定のフレームレートでフレーム画像を内挿して記憶制御部１１４に出力する。この場合、記憶制御部１１４は、キャプチャ画像と、フレーム画像とを並べて第３動画ストリームとして記憶部３０に記憶する。
【0057】
フレーム内挿部１１７は、例えば、直前にキャプチャ画像生成部１１３から入力されたキャプチャ画像をフレーム画像として入力する。具体的には、フレーム内挿部１１７は、例えば、キャプチャ画像生成部１１３から第１キャプチャ画像が入力された場合、次の第２キャプチャ画像が入力されるまでの間は、第１キャプチャ画像をフレーム画像として内挿する。そして、フレーム内挿部１１７は、キャプチャ画像生成部１１３から第２キャプチャ画像が入力されると、次の第３キャプチャ画像が入力されるまでの間は、第２キャプチャ画像をフレーム画像として内挿する。
【0058】
フレーム内挿部１１７は、例えば、第１キャプチャ画像が生成された時刻と、第２キャプチャ画像が生成された時刻との時間比率に基づいて混合して混合画像を生成して内挿もよい。具体的には、フレーム内挿部１１７は、第１キャプチャ画像と、第２キャプチャ画像との間の時刻の臓器の状態を表す混合画像を生成してもよい。この場合、記憶制御部１１４は、キャプチャ画像と、混合画像とを並べて第３動画ストリームとして記憶部３０に記憶する。
【0059】
【0060】
図８では、キャプチャ画像生成部１１３は、キーフレーム画像として、フレーム画像Ｆ１１と、フレーム画像Ｆ１２と、フレーム画像Ｆ１３と、フレーム画像Ｆ１４とを生成する場合を考える。
【0061】
フレーム内挿部１１７は、フレーム画像Ｆ１１が入力された場合、フレーム画像Ｆ１２が入力されるまでの間は所定のフレームレートでフレーム画像Ｆ１１を内挿する。フレーム内挿部１１７は、フレーム画像Ｆ１２が入力された場合、フレーム画像Ｆ１３が入力されるまでの間は所定のフレームレートでフレーム画像Ｆ１２を内挿する。フレーム内挿部１１７は、フレーム画像Ｆ１３が入力された場合、フレーム画像Ｆ１４が入力されるまでの間は所定のフレームレートでフレーム画像Ｆ１３を内挿する。フレーム内挿部１１７は、フレーム画像Ｆ１４が入力された場合、次のフレーム画像が入力されるまでの間は所定のフレームレートでフレーム画像Ｆ１４を内挿する。そして、記憶制御部１１４は、各画像を時系列の順に並べて第３動画ストリームＶＳ３として記憶部３０に記憶する。
【0062】
フレーム内挿部１１７は、例えば、フレーム画像Ｆ１１と、フレーム画像Ｆ１２との間に、混合画像を内挿してもよい。図８に示すように、フレーム内挿部１１７は、例えば、フレーム画像Ｆ１１と、フレーム画像Ｆ１２との間に、混合画像Ｆ１１２と、混合画像Ｆ１１３とを内挿してもよい。混合画像Ｆ１１２は、フレーム画像Ｆ１２よりもフレーム画像Ｆ１１に状態が近い。混合画像Ｆ１１３は、フレーム画像Ｆ１１よりもフレーム画像Ｆ１２に状態が近い。フレーム内挿部１１７は、同様に、フレーム画像Ｆ１２と、フレーム画像Ｆ１３との間に混合画像Ｆ１２１と、混合画像Ｆ１２２とを内挿する。フレーム内挿部１１７は、同様に、フレーム画像Ｆ１３と、フレーム画像Ｆ１４との間に混合画像Ｆ１３１とを内挿する。そして、記憶制御部１１４は、各画像を時系列の順に並べて第３動画ストリームＶＳ３Ａとして記憶部３０に記憶する。このような、第３動画ストリームＶＳ３Ａを視認することで、状態が徐々に変化していく様子を確認することができる。
【0063】
図９を用いて、本発明の第２実施形態に係る制御部１１０Ａが第３動画ストリームを記憶する処理の流れについて説明する。図９は、本発明の第２実施形態に係る制御部１１０Ａが第３動画ストリームを記憶する処理の流れの一例を示すフローチャートである。
【0064】
ステップＳ３０１～ステップＳ３０３の処理は、それぞれ、図５に図示のステップＳ１０１～ステップＳ１０３の処理と同じなので、説明は省略する。
【0065】
制御部１１０Ａは、キャプチャ画像間にフレーム画像を内挿する（ステップＳ３０４）。具体的には、フレーム内挿部１１７が、キャプチャ画像間に所定のフレームレートでフレーム画像を内挿する。そして、ステップＳ３０５に進む。
【0066】
制御部１１０Ａは、第３動画ストリームを生成する（ステップＳ３０５）。具体的には、記憶制御部１１４が、キャプチャ画像と内挿されたフレーム画像とを時系列の順位並べて第３動画ストリームを生成する。そして、ステップＳ３０６に進む。
【0067】
制御部１１０Ａは、第３動画ストリームを記憶する（ステップＳ３０６）。具体的には、記憶制御部１１４が、ステップＳ３０５で生成した第３動画ストリームを記憶部３０に記憶する。そして、図９の処理は終了する。
【0068】
第３動画ストリームを再生する処理については、図６で説明した第２動画ストリームを再生する方法と同じなので説明は省略する。なお、第２実施形態では、再生制御部１１５は、第３動画ストリームから所定の周期でサンプリングしたフレーム画像を所定のフレームレートで再生することで第３動画ストリームを高速に再生してもよい。ここで、第３動画ストリームをサンプリングする周期に特に制限はない。例えば、ユーザは、第３動画ストリームをサンプリングする周期を、操作部１０による操作で任意に設定することができる。
【0069】
【0070】
図１０に示すように、再生制御部１１５は、例えば、第３動画ストリームＶＳ３に含まれる１２個のフレーム画像を２個おきにサンプリングして、第３動画ストリームＶＳ３Ｂとして再生してもよい。この場合、第３動画ストリームＶＳ３Ｂには、フレーム画像Ｆ１１と、フレーム画像Ｆ１１と、フレーム画像Ｆ１２と、フレーム画像Ｆ１４と、フレーム画像Ｆ１４との６個のフレーム画像が含まれる。このようにフレーム画像をサンプリングすることで、再生制御部１１５は、第３動画ストリームＶＳ３を高速に再生することができる。
【0071】
図１１を用いて、本発明の第２実施形態に係る制御部１１０Ａが第３動画ストリームを高速再生する処理の流れの一例について説明する。図１１は、本発明の第２実施形態に係る制御部１１０Ａが第３動画ストリームを高速再生する処理の流れの一例を示すフローチャートである。
【0072】
まず、制御部１１０Ａは、第３動画ストリームを取得する（ステップＳ４０１）。具体的には、記憶制御部１１４が、記憶部３０から第３動画ストリームを取得する。そして、ステップＳ４０２に進む。
【0073】
制御部１１０Ａは、第３動画ストリームを所定の周期でサンプリングする（ステップＳ４０２）。具体的には、再生制御部１２５が第３動画ストリームを所定の周期でサンプリングする。そして、ステップＳ４０３に進む。
【0074】
制御部１１０Ａは、第３動画ストリームを高速再生する（ステップＳ４０３）。具体的には、再生制御部１２５がステップＳ４０２でサンプリングした第３動画ストリームを高速再生する。そして、図１１の処理は終了する。
【0075】
上述のとおり、本実施形態は、キャプチャ画像間に特定のフレーム画像を挿入することで動画ストリームの再生時間を実時間と一致させることができる。これにより、臓器の拍動周期の時間的変化を容易に把握することができるようになる。
【0076】
また、本実施形態では、記録された動画ストリームを高速に再生することができる。これにより、臓器の形状や形質を高速に確認することができるようになる。
【0077】
【0078】
図１２に示すように、記録再生装置１００Ｂは、制御部１１０Ｂがフレーム内挿部１１７と、タイミング信号取得部１１８と、ラベリング部１１９と、ライブ動画像記憶制御１２０と、ＧＵＩ生成部１２１とを備えている点で、図２に図示の記録再生装置１００と異なっている。
【0079】
タイミング信号取得部１１８は、外部機器から複数種類のタイミング信号を取得する。タイミング信号取得部１１８は、取得したタイミング信号をラベリング部１１９に出力する。タイミング信号には、例えば、時間に関する情報が含まれる。タイミング信号には、例えば、患者のバイタル情報が含まれる。タイミング信号には、例えば、患者に施した各種の処置に関する情報が含まれる。
【0080】
ラベリング部１１９は、動画像データ取得部１１１から第１動画ストリームを受ける。ラベリング部１１９は、例えば、第１動画ストリームに対して説明ラベルを付与する。ラベリング部１１９は、例えば、第１動画ストリームに対してチャプタを付与する。ラベリング部１１９は、例えば、タイミング信号取得部１１８から受けたタイミング信号に従って、第１動画ストリームに対して説明ラベルおよびチャプタを付与する。ラベリング部１１９は、例えば、第１動画ストリームに対して画像認識処理を実行することで、処置の内容を認識し、認識した処理を説明ラベルとして付与してもよい。ラベリング部１１９は、例えば、説明ラベルおよびチャプタが付与された第１動画ストリームをライブ動画像記憶制御部１２０に出力する。
【0081】
ライブ動画像記憶制御部１２０は、説明ライベルおよびチャプタが付与された第１動画ストリームを記憶部３０に記録する。ライブ動画像記憶制御部１２０は、説明ラベルおよびチャプタが付与された第１動画ストリームをＧＵＩ生成部１２１に出力する。
【0082】
ＧＵＩ生成部１２１は、各種の動画ストリームを表示するＧＵＩを生成する。ＧＵＩ生成部１２１は、例えば、第１動画ストリームを表示するウインドウを含むＧＵＩを生成する。ＧＵＩ生成部１２１は、例えば、第１動画ストリームに含まれるフレーム画像に基づいてサムネイル画像を作成し、サムネイル画像にイベントの名称を併記して時間順に並べたタイムライン表示を含むＧＵＩを生成する。イベントは、例えば、時間情報と各種の処置、および患者のバイタル情報を含む。ＧＵＩ生成部１２１は、例えば、タイムライン表示のサムネイル画像をクリックすると、サムネイル画像が記録された時間位置の前後の第３動画ストリームを再生するウインドウとを含むＧＵＩを生成する。
【0083】
【0084】
図１３に示す表示画面ＩＭは、記録再生装置１００Ｂが生成するＧＵＩの一例である。表示画面ＩＭは、第１領域ＡＲ１と、第２領域ＡＲ２と、第３領域ＡＲ３とを含む。
【0085】
第１領域ＡＲ１には、第１動画像が表示される。第１動画像は、例えば、第１動画ストリームである。すなわち、第１領域ＡＲ１には、手術のライブ映像が表示される。なお、第１領域ＡＲ１には、手術のライブ映像以外の映像が表示されてもよい。第１領域ＡＲ１には、例えば、現在時刻の１２時１７分５４秒よりも過去の映像が表示されるようにしてもよい。この場合、第１領域ＡＲ１には、第２領域ＡＲ２で表示される映像とは異なる映像が表示されるようにすればよい。
【0086】
第２領域ＡＲ２には、第１動画像とは異なる第２動画像が表示される。第２領域ＡＲ２には、例えば、現在よりも過去の映像が表示される。第２領域ＡＲ２には、例えば、第３領域ＡＲ３で選択されたサムネイル画像の記録された時刻の前後の映像が所定時間表示される。図１３に示す例では、第２領域ＡＲ２には、第３領域ＡＲ３で選択されたサムネイル画像ＴＩ４の前後の映像が表示されている。所定時間は、ユーザが任意に設定してよい。図１３に示す例では、１１時４５分１９秒の医薬品Ｃが投与された映像が表示されている。
【0087】
第３領域ＡＲ３には、サムネイル画像にイベントの名称を併記して時間順に並べたタイムラインが表示される。図１３に示す例では、サムネイル画像ＴＩ１～ＴＩ６には、ぞれぞれ、ラベルＬ１～ラベルＬ６が関連付けられている。ラベルＬ１～ラベルＬ６に、イベントに関する情報が含まれる。例えば、サムネイル画像Ｔ１には、１１時２５分１１秒に医薬品Ａが投与されたことを示す情報が関連付けられている。例えば、サムネイル画像ＴＩ２には、１１時３１分２０秒にバイタルの状態がバイタルサイン測定値Ａであったこと示す情報が関連付けられている。このように、第３領域ＡＲ３に表示される各サムネイル画像には、各種の処置や、患者のバイタル情報が関連付けられている。
【0088】
上述のとおり、本実施形態では、ＧＵＩを生成することで、手術の進行に伴う患者のバイタルの変化による長時間の臓器の状態変化を時間軸に沿って再生して観察することができる。また、本実施形態は、異なる時刻の臓器の状態を比較することが容易となる。
【0089】
以上、本発明の実施形態を説明したが、これら実施形態の内容により本発明が限定されるものではない。記録再生システムを、ネットワーク経由でカメラ部２００と心電センシング部３００が記録再生装置１００に接続された構成としたが、これに限定されず、ネットワーク以外の手段により接続された構成であってもよい。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
【符号の説明】
【0090】
１ 記録再生システム
１０ 操作部
２０ 表示部
３０ 記憶部
４０ 通信部
１００ 記録再生装置
１１０ 制御部
１１１ 動画像データ取得部
１１２ トリガ信号取得部
１１３ キャプチャ画像生成部
１１４ 記憶制御部
１１５ 再生制御部
１１６ 通信制御部
１１７ フレーム内挿部
１１８ タイミング信号取得部
１１９ ラベリング部
１２０ ライブ動画像記憶制御部
１２１ ＧＵＩ生成部
２００ カメラ部
３００ 心電センシング部
１０ 操作部
２０ 表示部
３０ 記憶部
４０ 通信部
１００ 記録再生装置
１１０ 制御部
１１１ 動画像データ取得部
１１２ トリガ信号取得部
１１３ キャプチャ画像生成部
１１４ 記憶制御部
１１５ 再生制御部
１１６ 通信制御部
１１７ フレーム内挿部
１１８ タイミング信号取得部
１１９ ラベリング部
１２０ ライブ動画像記憶制御部
１２１ ＧＵＩ生成部
２００ カメラ部
３００ 心電センシング部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】