IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ キヤノン株式会社の特許一覧 ▶ 東芝メディカルシステムズ株式会社の特許一覧

特開2025-99986監視カメラシステム、放射線撮影システム及び方法
<>
  • 特開-監視カメラシステム、放射線撮影システム及び方法 図1
  • 特開-監視カメラシステム、放射線撮影システム及び方法 図2
  • 特開-監視カメラシステム、放射線撮影システム及び方法 図3
  • 特開-監視カメラシステム、放射線撮影システム及び方法 図4
  • 特開-監視カメラシステム、放射線撮影システム及び方法 図5
  • 特開-監視カメラシステム、放射線撮影システム及び方法 図6
  • 特開-監視カメラシステム、放射線撮影システム及び方法 図7
  • 特開-監視カメラシステム、放射線撮影システム及び方法 図8
  • 特開-監視カメラシステム、放射線撮影システム及び方法 図9
  • 特開-監視カメラシステム、放射線撮影システム及び方法 図10
  • 特開-監視カメラシステム、放射線撮影システム及び方法 図11
  • 特開-監視カメラシステム、放射線撮影システム及び方法 図12
  • 特開-監視カメラシステム、放射線撮影システム及び方法 図13
  • 特開-監視カメラシステム、放射線撮影システム及び方法 図14
  • 特開-監視カメラシステム、放射線撮影システム及び方法 図15
  • 特開-監視カメラシステム、放射線撮影システム及び方法 図16
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025099986
(43)【公開日】2025-07-03
(54)【発明の名称】監視カメラシステム、放射線撮影システム及び方法
(51)【国際特許分類】
   A61B 6/03 20060101AFI20250626BHJP
   A61B 6/00 20240101ALI20250626BHJP
【FI】
A61B6/03 533A
A61B6/00 560
A61B6/00 550Z
A61B6/00 550D
A61B6/03 560T
【審査請求】未請求
【請求項の数】24
【出願形態】OL
(21)【出願番号】P 2023217043
(22)【出願日】2023-12-22
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(71)【出願人】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110001771
【氏名又は名称】弁理士法人虎ノ門知的財産事務所
(72)【発明者】
【氏名】佐々木 亨
(72)【発明者】
【氏名】中島 里咲
(72)【発明者】
【氏名】岩井 春樹
【テーマコード(参考)】
4C093
【Fターム(参考)】
4C093AA01
4C093AA22
4C093AA25
4C093ED01
4C093EE16
4C093FF12
4C093FF16
(57)【要約】
【課題】被検体の効率的な監視を支援すること。
【解決手段】実施形態に係る監視カメラシステムは、検査室に設置され、被検体を載置可能な医用装置を含む環境を撮影するカメラと、前記カメラにより得られるカメラ画像データを基に、表示画像データを生成する画像処理部と、前記表示画像データを表示部に表示させる表示制御部とを備え、前記画像処理部は、前記カメラ画像データにおいて被検体が載置された領域に対応する載置領域を推定し、前記載置領域に応じてカメラ画像データを補正した補正画像データを生成し、前記補正画像データに含まれる被検体の領域を推定し、前記補正画像データと、前記被検体の領域とを基に、表示画像データを生成する。
【選択図】図3
【特許請求の範囲】
【請求項1】
検査室に設置され、被検体を載置可能な医用装置を含む環境を撮影するカメラと、
前記カメラにより得られるカメラ画像データを基に、表示画像データを生成する画像処理部と、
前記表示画像データを表示部に表示させる表示制御部と
を備える監視カメラシステムであって、
前記画像処理部は、
前記カメラ画像データにおいて被検体が載置された領域に対応する載置領域を推定し、
前記載置領域に応じてカメラ画像データを補正した補正画像データを生成し、
前記補正画像データに含まれる被検体の領域を推定し、
前記補正画像データと、前記被検体の領域とを基に、表示画像データを生成する、監視カメラシステム。
【請求項2】
前記載置領域は、前記医用装置の天板である、請求項1に記載の監視カメラシステム。
【請求項3】
前記載置領域は、前記医用装置の寝台である、請求項1に記載の監視カメラシステム。
【請求項4】
前記載置領域は、ディープニューラルネットワークにより推定される、請求項1に記載の監視カメラシステム。
【請求項5】
前記載置領域は、前記医用装置の天板又は寝台に付されたマーカの検出結果、及び、前記カメラの位置と姿勢とを基にして推定される、請求項1に記載の監視カメラシステム。
【請求項6】
前記載置領域は、前記医用装置の天板又は寝台の制御情報、及び、前記カメラの位置と姿勢とを基にして推定される、請求項1に記載の監視カメラシステム。
【請求項7】
前記画像処理部は、前記載置領域を含む領域を、当該載置領域の中心線が上下方向となるように回転させることにより、前記補正画像データを生成する、請求項1に記載の監視カメラシステム。
【請求項8】
前記画像処理部は、縦長の長方形に近づくように前記載置領域を含む領域を変換することにより、前記補正画像データを生成する、請求項1に記載の監視カメラシステム。
【請求項9】
前記回転の回転角は、前記載置領域を囲む多角形の辺の方向を基に決められる、請求項7に記載の監視カメラシステム。
【請求項10】
前記回転の回転角は、撮影時刻の異なる複数の前記カメラ画像データに共通して含まれる物体の位置の差を基に決められる、請求項7に記載の監視カメラシステム。
【請求項11】
検査室に設置され、被検体を載置可能な医用装置を含む環境を撮影するカメラと、
前記カメラにより得られるカメラ画像データを基に、表示画像データを生成する画像処理部と、
前記表示画像データを表示部に表示させる表示制御部と、
を備える監視カメラシステムであって、
前記画像処理部は、
前記カメラ画像データにおいてオブジェクトを特定し、
特定したオブジェクトが所定の方向になるようにカメラ画像データを回転した回転画像データを生成し、
前記表示制御部は、前記回転画像データを含む前記表示画像データを前記表示部に表示させる、監視カメラシステム。
【請求項12】
前記オブジェクトは、前記被検体の頭部であり、前記所定の方向は上方向である、請求項11に記載の監視カメラシステム。
【請求項13】
前記オブジェクトは、前記被検体の胴体であり、前記所定の方向は上方向である、請求項11に記載の監視カメラシステム。
【請求項14】
前記オブジェクトは、前記被検体が載置された領域に対応する載置領域であり、前記所定の方向は、前記載置領域の長軸が上下になる方向である、請求項11に記載の監視カメラシステム。
【請求項15】
前記表示制御部は、前記オブジェクトと前記所定の方向を指定するためのユーザーインターフェースを前記表示部に表示させる、請求項11に記載の監視カメラシステム。
【請求項16】
前記表示制御部は、前記ユーザーインターフェースを介して前記医用装置の検査内容の入力を受け付けることで、前記オブジェクトと前記所定の方向を指定する、請求項15に記載の監視カメラシステム。
【請求項17】
前記表示制御部は、前記ユーザーインターフェースを介して前記医用装置のユーザ情報の入力を受け付けることで、前記オブジェクトと前記所定の方向を指定する、請求項15に記載の監視カメラシステム。
【請求項18】
前記表示制御部は、前記ユーザーインターフェースを介して前記被検体の部位の入力を受け付けることで、前記オブジェクトと前記所定の方向を指定する、請求項15に記載の監視カメラシステム。
【請求項19】
前記表示制御部は、前記ユーザーインターフェースを介して、前記被検体が載置された領域に対応する載置領域に関する情報の入力を受け付けることで、前記オブジェクトと前記所定の方向を指定する、請求項15に記載の監視カメラシステム。
【請求項20】
前記表示制御部は、前記ユーザーインターフェースを介して、前記カメラ画像データに含まれるオブジェクトに関する条件の入力を受け付けることで、前記オブジェクトと前記所定の方向を指定する、請求項15に記載の監視カメラシステム。
【請求項21】
被検体を載置可能な放射線診断装置と、
検査室に設置され、前記放射線診断装置を含む環境を撮影するカメラと、
前記カメラにより得られるカメラ画像データを基に、表示画像データを生成する画像処理部と、
前記表示画像データを表示部に表示させる表示制御部と
を備える放射線撮影システムであって、
前記画像処理部は、
前記カメラ画像データにおいて被検体が載置された領域に対応する載置領域を推定し、
前記載置領域に応じてカメラ画像データを補正した補正画像データを生成し、
前記補正画像データに含まれる被検体の領域を推定し、
前記補正画像データと、前記被検体の領域とを基に、表示画像データを生成する、放射線撮影システム。
【請求項22】
被検体を載置可能な放射線診断装置と、
検査室に設置され、前記放射線診断装置を含む環境を撮影するカメラと、
前記カメラにより得られるカメラ画像データを基に、表示画像データを生成する画像処理部と、
前記表示画像データを表示部に表示させる表示制御部と、
を備える放射線撮影システムであって、
前記画像処理部は、
前記カメラ画像データにおいてオブジェクトを特定し、
特定したオブジェクトが所定の方向になるようにカメラ画像データを回転した回転画像データを生成し、
前記表示制御部は、前記回転画像データを含む前記表示画像データを前記表示部に表示させる、放射線撮影システム。
【請求項23】
検査室に設置され、被検体を載置可能な医用装置を含む環境を撮影するカメラにより得られるカメラ画像データを基に、表示画像データを生成し、
前記表示画像データを表示部に表示させることを含む方法であって、
前記カメラ画像データにおいて被検体が載置された領域に対応する載置領域を推定し、
前記載置領域に応じてカメラ画像データを補正した補正画像データを生成し、
前記補正画像データに含まれる被検体の領域を推定し、
前記補正画像データと、前記被検体の領域とを基に、表示画像データを生成する、方法。
【請求項24】
検査室に設置され、被検体を載置可能な医用装置を含む環境を撮影するカメラにより得られるカメラ画像データを基に、表示画像データを生成し、
前記表示画像データを表示部に表示させることを含む方法であって、
前記カメラ画像データにおいてオブジェクトを特定し、
特定したオブジェクトが所定の方向になるようにカメラ画像データを回転した回転画像データを生成し、
表示制御部は、前記回転画像データを含む前記表示画像データを前記表示部に表示させる、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書及び図面に開示の実施形態は、監視カメラシステム、放射線撮影システム及び方法に関する。
【背景技術】
【0002】
被検体について医用画像の収集や治療を行なう医用装置の中には、被検体を載置可能なタイプのものがある。例えば、医用装置は、寝台の上に載置された天板を備え、天板の上に載置された被検体を対象として、画像収集や治療を実行する。この時、医用装置と被検体との間の位置関係や、被検体の状態を確認するため、検査室に設置されたカメラを用いて、被検体の監視が行なわれる。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第7118666号公報
【特許文献2】特開2021-194388号公報
【特許文献3】特開2021-129716号公報
【特許文献4】特開2021-36969号公報
【非特許文献】
【0004】
【非特許文献1】Zhengyou Zhang. A flexible new technique for camera calibration. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 22(11):1330-1334, 2000.
【発明の概要】
【発明が解決しようとする課題】
【0005】
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、被検体の効率的な監視を支援することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置付けることもできる。
【課題を解決するための手段】
【0006】
実施形態に係る監視カメラシステムは、検査室に設置され、被検体を載置可能な医用装置を含む環境を撮影するカメラと、前記カメラにより得られるカメラ画像データを基に、表示画像データを生成する画像処理部と、前記表示画像データを表示部に表示させる表示制御部とを備え、前記画像処理部は、前記カメラ画像データにおいて被検体が載置された領域に対応する載置領域を推定し、前記載置領域に応じてカメラ画像データを補正した補正画像データを生成し、前記補正画像データに含まれる被検体の領域を推定し、前記補正画像データと、前記被検体の領域とを基に、表示画像データを生成する。
【図面の簡単な説明】
【0007】
図1図1は、第1の実施形態に係るシステムの構成の一例を示すブロック図である。
図2図2は、第1の実施形態に係るシステムの一例を示す図である。
図3図3は、第1の実施形態に係る表示画像データ生成の処理手順の一例を示すフローチャートである。
図4図4は、第1の実施形態に係るカメラ画像データにおける天板及び被検体の配置の一例を示す図である。
図5図5は、第1の実施形態に係るカメラ画像データに対して算出されたマスク及び天板端ポリゴンの一例を示す図である。
図6図6は、第1の実施形態に係る天板切り出し領域の一例を示す図である。
図7図7は、第2の実施形態に係るシステムの一例を示す図である。
図8図8は、第2の実施形態に係るカメラ姿勢の測定手順の一例を示すフローチャートである。
図9図9は、第2の実施形態に係る基準座標値について説明するための図である。
図10図10は、第2の実施形態に係る表示画像データ生成の処理手順の一例を示すフローチャートである。
図11図11は、第3の実施形態に係るシステムの一例を示す図である。
図12図12は、第4の実施形態に係る被検体確認画面の表示例を示す図である。
図13図13は、第4の実施形態に係る被検体確認画面の表示例を示す図である。
図14図14は、第4の実施形態に係るレイアウト設定画面の一例を示す図である。
図15図15は、第4の実施形態に係るレイアウト設定画面の一例を示す図である。
図16図16は、第4の実施形態に係る複合レイアウトタブを選択した場合の画面の一例を示す図である。
【発明を実施するための形態】
【0008】
以下、図面を参照しながら、監視カメラシステム、放射線撮影システム及び方法の実施形態について説明する。以下の実施形態では、同一の参照符号を付した部分は同様の動作をおこなうものとして、重複する説明は適宜省略する。
【0009】
(第1の実施形態)
第1の実施形態では、図1のシステム1を例として説明する。システム1は、医用装置10、情報処理装置20及びカメラ30を備える。医用装置10、情報処理装置20及びカメラ30は、ネットワークNWを介して通信可能に接続される。
【0010】
医用装置10は、検査室内に配置され、被検体について医用画像の収集や治療を行なう装置である。一例を挙げると、医用装置10は、X線診断装置やCT(Computed Tomography)装置、PET(Positron Emission computed Tomography)装置、SPECT(Single Photon Emission Computed Tomography)装置等の放射線診断装置や、磁気共鳴イメージング(Magnetic Resonance Imaging:MRI)装置などの医用画像診断装置である。別の例を挙げると、医用装置10は、放射線治療装置などの治療装置である。医用装置10は、天板や寝台に載置された被検体を対象として、医用画像の収集や治療を実行する。即ち、医用装置10は、被検体を載置可能に構成される。
【0011】
情報処理装置20は、カメラ30により得られるカメラ画像データを基に表示画像データを生成し、表示画像データを表示部に表示させる装置である。例えば、情報処理装置20は、図1に示すように、通信インタフェース21、入力インタフェース22、ディスプレイ23、メモリ24及び処理回路25を備える。
【0012】
通信インタフェース21は、情報処理装置20と、ネットワークNWを介して接続された他の装置やシステムとの間で送受信される各種データの伝送及び通信を制御する。具体的には、通信インタフェース21は、処理回路25に接続されており、他の装置やシステムから受信したデータを処理回路25に出力し、又は、処理回路25から出力されたデータを他の装置やシステムに送信する。例えば、通信インタフェース21は、ネットワークカードやネットワークアダプタ、NIC(Network Interface Controller)等によって実現される。
【0013】
入力インタフェース22は、ユーザから各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路25に出力する。例えば、入力インタフェース22は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、音声入力回路等により実現される。なお、入力インタフェース22は、情報処理装置20本体と無線通信可能なタブレット端末等で構成されることにしても構わない。また、入力インタフェース22は、モーションキャプチャによりユーザからの入力操作を受け付ける回路であっても構わない。一例を挙げると、入力インタフェース22は、トラッカーを介して取得した信号やユーザについて収集された画像を処理することにより、ユーザの体動や視線等を入力操作として受け付けることができる。また、入力インタフェース22は、マウスやキーボード等の物理的な操作部品を備えるものだけに限られない。例えば、情報処理装置20とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路25へ出力する電気信号の処理回路も、入力インタフェース22の例に含まれる。
【0014】
ディスプレイ23は、各種の情報を表示する。例えば、ディスプレイ23は、入力インタフェース22を介してユーザから各種の指示や設定等を受け付けるためのGUI(Graphical User Interface)を表示する。また、ディスプレイ23は、後述する合成画像の表示を行なう。例えば、ディスプレイ23は、液晶ディスプレイやCRT(Cathode Ray Tube)ディスプレイである。ディスプレイ23は、デスクトップ型でもよいし、情報処理装置20本体と無線通信可能なタブレット端末等で構成されることにしても構わない。
【0015】
メモリ24は、例えば、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。例えば、メモリ24は、各種の画像データや、情報処理装置20に含まれる回路がその機能を実現するためのプログラムを記憶する。メモリ24は、情報処理装置20とネットワークNWを介して接続されたサーバ群(クラウド)により実現されることとしてもよい。
【0016】
処理回路25は、制御機能25a、画像処理機能25b及び表示制御機能25cとして機能することにより、情報処理装置20全体の動作を制御する。例えば、処理回路25は、制御機能25aに対応するプログラムをメモリ24から読み出して実行することにより、制御機能25aとして機能する。同様にして、処理回路25は、画像処理機能25b、表示制御機能25cとして機能する。画像処理機能25bは、画像処理部の一例である。表示制御機能25cは、表示制御部の一例である。処理回路25による処理の詳細は後述する。
【0017】
図1に示す情報処理装置20においては、各処理機能がコンピュータによって実行可能なプログラムの形態でメモリ24へ記憶されている。処理回路25は、メモリ24からプログラムを読み出して実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、プログラムを読み出した状態の処理回路25は、読み出したプログラムに対応する機能を有することとなる。
【0018】
なお、図1においては単一の処理回路25にて、制御機能25a、画像処理機能25b及び表示制御機能25cが実現するものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路25を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。また、処理回路25が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。
【0019】
また、処理回路25は、ネットワークNWを介して接続された外部装置のプロセッサを利用して、機能を実現することとしてもよい。例えば、処理回路25は、メモリ24から各機能に対応するプログラムを読み出して実行するとともに、情報処理装置20とネットワークNWを介して接続されたサーバ群(クラウド)を計算資源として利用することにより、図1に示す各機能を実現する。
【0020】
カメラ30は、検査室に設置され、被検体を載置可能な医用装置10を含む環境を撮影する。ここで、医用装置10を含む環境とは、医用装置10の少なくとも一部を含む範囲である。例えば、カメラ30は、医用装置10を含む環境として、医用装置10が備える天板、及び、天板上に載置された被検体を含む範囲を撮影する。例えば、カメラ30は、検査室の壁面や天井に設置される。
【0021】
図1のシステム1のうち、情報処理装置20及びカメラ30は、監視カメラシステムを構成する。情報処理装置20及びカメラ30から構成される監視カメラシステムは、医用装置10による画像収集や治療の対象となる被検体について表示画像データを生成し、医用装置10の操作者に提示することで、操作者による被検体の監視を支援する。
【0022】
以上、システム1の全体の構成例について説明した。次に、医用装置10として放射線診断装置を備える場合を例として、システム1のより具体的な例について説明する。医用装置10として放射線診断装置を備える場合のシステム1については、放射線撮影システムとも記載する。
【0023】
図2は、第1の実施形態に係るシステム1の一例を示す図である。図2におけるシステム1は、IPカメラ101、画像処理装置102、タブレットPC103、放射線診断装置104を含む。
【0024】
図2に示す各種の構成のうち、IPカメラ101、画像処理装置102及びタブレットPC103は、監視カメラシステム100を構成する。監視カメラシステム100は、放射線診断装置104による画像収集の対象となる被検体120について表示画像データを生成し、放射線診断装置104の操作者に提示することで、被検体120の監視を支援する。
【0025】
IPカメラ101は、カメラ30の一例である。IPカメラ101は、IP(Internet Protocol)が付与され、ネットワークを介したデータ通信が可能なネットワークカメラである。例えば、監視カメラシステム100を起動した後、IPカメラ101、画像処理装置102及びタブレットPC103は、無線ネットワークハブ105を介してネットワーク106に接続し、相互に通信することができる。例えば、IPカメラ101は、放射線診断装置104を含む環境を撮影するように、検査室の天井108に固定される。
【0026】
IPカメラ101の撮影対象である放射線診断装置104について説明する。放射線診断装置104は、天板110、寝台111及び放射線(X線)管球112を備えている。なお、図2においては、放射線診断装置104の例としてX線TV装置を図示するが、実施形態はこれに限定されるものではなく、例えばX線アンギオ装置等の他の種類の放射線診断装置についても適用が可能である。X線TV装置は、例えば上部消化管検査に使用される。
【0027】
図2において、被検体120は、天板110の長手方向(天板上座標系z軸132)に沿って寝た状態(臥位)で、寝台111及び天板110の上に載置されている。天板110は、寝台111の上で、天板上座標系x軸130に沿って動くことが可能である。また、放射線(X線)管球112及び支柱113は、天板上座標系y軸131と天板上座標系z軸132に沿って動くことが可能である。また、天板110、寝台111、放射線(X線)管球112及び支柱113は、一体となって、天板上座標系x軸130の周りを回転し、被検体120の姿勢を、寝た状態(臥位)から立った状態(立位)に変更することができる。
【0028】
このように、放射線診断装置104には複数の可動部が含まれ、様々な動作が可能である。そして、これら可動部を動作させる際、放射線診断装置104の操作者は、被検体120の状態を見ながら挙動を予測し、安全を確保することが好ましい。また、可動部を動作させているか否かに関わらず、操作者は、被検体120の状態を確認しておくことが好ましい。例えば、天板110上の被検体120に対して内視鏡が挿入されるケースがあるが、内視鏡の挿入により嘔吐するケースがあるため、被検体120の表情を確認しておくことが好ましい。
【0029】
しかしながら、放射線診断装置104の操作者が直接的に被検体120を監視することは容易でない。例えば、被検体120の周囲には、放射線診断装置104やその他の検査機器が配置されており、操作者の位置からは被検体120を確認しにくい場合がある。また、検査室内には医師や看護師などの医療関係者が複数居る場合があり、これら医療関係者により視界が遮られることで、被検体120の確認が難しくなる場合もある。また、操作者が検査室外の操作室に居る場合、被検体120の確認はより一層難しくなる。
【0030】
そこで、監視カメラシステム100は、表示画像データを生成して操作者に提示することにより、被検体120の効率的な監視を支援する。
【0031】
処理の概要として、監視カメラシステム100は、放射線診断装置104を含む環境を撮影したカメラ画像データを基に表示画像データを生成し、表示画像データを表示部に表示させる。例えば、IPカメラ101は、放射線診断装置104を含む画角を撮影してカメラ画像データを取得し、取得したカメラ画像データを、フレーム毎に画像処理装置102に送信する。画像処理装置102は、送信されてきたカメラ画像データから、表示画像データを生成する。例えば、被検体120が嘔吐する可能性があるなど、被検体120の頭部を監視する必要がある場合において、画像処理装置102は、天板110と、被検体120の頭部とを検出し、各々を切り出して合成した表示画像データを生成する。表示画像データは、フレーム毎にタブレットPC103に送信され、ディスプレイ140に表示される。これにより、放射線診断装置104の操作者は、ディスプレイ140を見ることで被検体120の状態を確認しながら、放射線診断装置104の操作を行なうことができる。
【0032】
図2において、画像処理装置102は、処理回路を備え、図1に示した処理回路25と同様にして画像処理機能を実行可能である。即ち、画像処理装置102の画像処理機能は、IPカメラ101により得られるカメラ画像データを基に、表示画像データを生成する。画像処理装置102の画像処理機能は、画像処理部の一例である。
【0033】
また、タブレットPC103が備えるディスプレイ140は、表示部の一例である。タブレットPC103は、処理回路を備え、図1に示した処理回路25と同様にして表示制御機能を実行可能である。即ち、タブレットPC103の表示制御機能は、画像処理装置102により生成された表示画像データをディスプレイ140に表示させる。タブレットPC103の表示制御機能は、表示制御部の一例である。図2に示す画像処理装置102とタブレットPC103との組み合わせは、情報処理装置20の一例である。
【0034】
画像処理装置102は、IPカメラ101(カメラ30)により得られるカメラ画像データを基に、表示画像データを生成する。画像処理装置102において行われる表示画像データ生成の処理手順について、図3を用いて説明する。図3は、表示画像データ生成の処理手順の一例を示すフローチャートである。
【0035】
接続工程S201は、IPカメラ101から送られてくるカメラ画像データの入力ストリームと、タブレットPC103に表示画像データを送信するための出力ストリームを開く工程である。
【0036】
カメラ画像データ読み込み工程S202は、入力ストリームから最新のカメラ画像データを読み込む工程である。
【0037】
天板画素領域検出工程S203は、カメラ画像データの中から、天板110に相当する画素領域(以後、天板画素領域と呼ぶ)を検出する工程である。なお、図3のフローチャートにおいて、天板110は、被検体120が載置された領域に対応する載置領域の一例である。即ち、画像処理装置102は、天板画素領域検出工程S203において、載置領域を推定する。例えば、画像処理装置102は、天板画素領域検出工程S203において、天板画素領域をディープニューラルネットワーク(Deep Neural Network:DNN)により検出する。即ち、載置領域は、ディープニューラルネットワークにより推定されてもよい。例えば、DNNは、検出結果として、天板110に相当すると判定された画素の値を「1」、その他の画素の値を「0」とした二値画像(以後、マスクと呼ぶ)を出力する。
【0038】
天板端ポリゴン検出工程S204は、マスクの画素値が「1」の領域の輪郭に相当するポリゴン(以後、天板端ポリゴンと呼ぶ)を推定し、ポリゴンの頂点座標を出力する。天板端ポリゴンは、マスクの画素値が「1」の領域の輪郭に相当する領域を示す情報である。天板端ポリゴンを天板端領域と言い換えることができる。例えば、ポリゴンは、マスクのエッジを画像処理で検出し、エッジを「Ramer-Douglas-Peucker」アルゴリズム等で折れ線近似することで得られる。
【0039】
重心・中心線方向推定工程S205は、天板画素領域内の画素の平均座標(以後、重心と呼ぶ)と、天板の長手方向に相当する天板画素領域内の方向ベクトル(以後、中心線方向と呼ぶ)を推定する。マスクの中に画素値「1」の画素がN個ある場合、重心wは、画素値「1」の画素の座標「xi(i=0,1,…,N-1)」を使って、以下の式(1)で与えられる。
【0040】
【数1】
【0041】
中心線の定義について、図4を用いて説明する。図4は、カメラ画像データ300における天板110及び被検体120の配置の一例を示す図である。3次元空間における天板110は一般的に長方形であるが、カメラ画像データ300の中では、斜め撮影による影響で、台形歪みが発生した状態になる場合がある。
【0042】
以下、カメラ画像データ300の中に二次元の図形として現れる天板110を、天板301とも記載する。天板301は、天板110に対するIPカメラ101の位置に応じた形状を有する。例えば、天板110の中心を通り、且つ、天板110の載置面に対して垂直な直線上にIPカメラ101が位置する場合、天板301は長方形となる。また、天板110の中心を通り、且つ、天板110の載置面における4辺のいずれかと垂直になる平面上にIPカメラ101が位置する場合、天板301は台形となる。これらの類型に当てはまらない場合には、天板301は、平行な辺の組を含まない四角形となる。図4においては、天板301を、平行な辺の組を含まない四角形として図示している。
【0043】
なお、被検体120についても、斜め撮影の影響を受ける場合がある。例えば、被検体120は天板110の上に寝ているにも関わらず、図4のカメラ画像データ300においては、天板301の端から被検体120の胴体303や足304がはみ出した構図となっている。
【0044】
前述の通り、図4における天板301は台形歪みの影響で歪んでおり、天板110の長手方向に相当する二つの辺(辺305及び辺306)は、互いに異なる方向を向いている。図4に示す天板301の中心線307は、天板301の重心308を通り、辺305及び辺306の平均方向を向く線である。中心線307に沿った方向については、中心線方向とも記載する。
【0045】
中心線方向の推定について、図5を用いて説明する。図5は、カメラ画像データ300に対して算出されたマスク及び天板端ポリゴンの一例を示す図である。カメラ画像データ300において、天板301の端は被検体120の体により部分的に隠れている。隠れた天板の画素を正確に推定することは難しく、マスクの画素値「1」の領域321の形状は不正確になる。また、カメラ画像データ300の画質や、画面端の歪み等の影響により、天板301の端のうち被検体120の体により隠れていない部分についても、単純な直線としては抽出されてない場合がある。以上より、天板端ポリゴン322は、四角形にはならず、複数の頂点で分割されるため、長手方向の二つの辺(辺305及び辺306)がそのまま得られることは稀である。例えば、図5に示す例の場合、天板端ポリゴン322は九角形となっており、辺305は1つの頂点を有する折れ線、辺306は2つの頂点を有する折れ線で近似されている。
【0046】
そこで、画像処理装置102は、天板端ポリゴン322の複数の辺の中から、長手方向の二つの辺(辺305及び辺306)に近い方向を持つ辺を、長さや方向を基に選択し、両者の方向の平均を中心線方向とする。例えば、図5に示す九角形の天板端ポリゴン322においては、辺305に対応する2つの線分のうち手前側の線分と辺306に対応する3つの線分のうち手前側の線分とを選択し、選択した2つの線分の方向の平均を中心線方向とすることができる。
【0047】
天板回転クリッピング工程S206において、画像処理装置102は、載置領域に応じてカメラ画像データ300を補正した補正画像データを生成する。例えば、天板回転クリッピング工程S206は、マスクの重心308の位置を中心とし、中心線方向が上下方向になるように、カメラ画像データ300の一部を回転して切り出す工程である。切り出した画素領域は、天板検出時に得られる天板画素領域と区別するために、今後、天板切り出し領域と呼ぶ。天板切り出し領域は、補正画像データの一例である。即ち、画像処理装置102は、載置領域を含む領域を、当該載置領域の中心線が上下方向となるように回転させることにより、補正画像データ(天板切り出し領域)を生成してもよい。言い換えると、補正画像データ生成時における回転の回転角は、載置領域を囲む多角形(天板端ポリゴン322)の辺の方向を基に決定される。
【0048】
天板切り出し領域の大きさは、天板画素領域を含んだ任意の大きさを選択することができる。即ち、画像処理装置102は、天板画素領域に一致する範囲を天板切り出し領域として切り出してもよいし、天板画素領域にその周辺領域(マージン)を加えた範囲を天板切り出し領域として切り出してもよい。また、画像処理装置102は、中心線方向が上下方向になるように、カメラ画像データ300から切り出した天板切り出し領域を回転させてもよいし、回転させたカメラ画像データ300から天板切り出し領域を切り出してもよい。
【0049】
天板切り出し領域の特徴を、図6を用いて説明する。図6では、天板切り出し領域の一例として、天板切り出し領域330を示す。天板切り出し領域330の上下方向は、中心線307を推定した方向である。即ち、天板切り出し領域330は、中心線307が上下方向となるように、天板画素領域を含む領域を回転させた画像データである。歪みは残るものの、天板301の形状は、縦長の左右対称形に近い形状となる。頭頂方向は定められておらず、図6の例のように、逆向きになる場合もある。
【0050】
頭部検出工程S207は、天板切り出し領域330から頭部を検出する工程である。即ち、頭部検出工程S207において、画像処理装置102は、天板切り出し領域330に含まれる被検体120の頭部の領域を推定する。例えば、頭部検出工程S207は、天板切り出し領域330に対して頭部検出用のDNNを適用することで、頭部の位置と大きさを検出する。
【0051】
DNNは、一般に、入力データの条件が限定的であるほど精度が高くなる。例えば、任意の方向を向いた被検体の画像データから頭部を検出するDNNよりも、正立姿勢の被検体の画像データから頭部を検出するDNNの方が、頭部の検出精度は高くなる。
【0052】
天板切り出し領域330において頭頂方向は定められていないため、画像処理装置102は、正立姿勢又は倒立姿勢の被検体の画像データから頭部を検出するように機能付けられたDNNを使用して、天板切り出し領域330から頭部を検出する。或いは、画像処理装置102は、正立姿勢の被検体の画像データから頭部を検出するように機能付けられたDNNを使用して天板切り出し領域330から頭部を検出した後、当該DNNを再度使用して、180度回転させた天板切り出し領域330から頭部を検出し、検出時の評価値(確度)が高い結果を採用する。このように、天板切り出し領域330をDNNへの入力に用いることで、被検体120の姿勢がDNNにとって検出しやすい正立姿勢(または倒立姿勢)に限定されるため、高い精度の検出が可能になる。
【0053】
天板上下方向補正工程S208は、頭頂が上側になるように天板切り出し領域330を適宜補正する。例えば、頭部検出工程S207において頭部が下側にあると判定された場合、画像処理装置102は、天板切り出し領域330を180度回転させる。一方で、頭部検出工程S207において頭部が上側にあると判定された場合、画像処理装置102は、天板上下方向補正工程S208における天板切り出し領域330の補正を省略する。
【0054】
頭部クリッピング工程S209は、天板切り出し領域330から、頭部の位置を中心とした画素領域(今後、頭部切り出し領域と呼ぶ)を切り出す。画像処理装置102は、頭部検出工程S207において頭部と判定された領域を頭部切り出し領域として切り出してもよいし、頭部と判定された領域にその周辺領域(マージン)を加えた範囲を頭部切り出し領域として切り出してもよい。
【0055】
表示画像データ生成工程S210において、画像処理装置102は、補正画像データと、被検体の領域とを基に、表示画像データを生成する。例えば、画像処理装置102は、カメラ画像データ、天板切り出し領域、頭部切り出し領域を組み合わせて、一つの画像データとして配置した表示画像データを生成する。各画像データは、大きさや角度を変えて組み合わせることも可能である。
【0056】
なお、表示画像データ生成工程S210で使用する天板切り出し領域は、天板回転クリッピング工程S206で切り出した天板切り出し領域であってもよいし、表示画像データを生成するために別途切り出されたものであってもよい。例えば、天板回転クリッピング工程S206において、周辺に居る医師や看護師の誤認識を避けるため、天板の周囲を削ることが考えられる。この場合、画像処理装置102は、大きさの異なる天板切り出し領域を再度生成して、表示画像データの生成に使用する。
【0057】
表示画像データ書き込み工程S211は、表示画像データを出力ストリームに書き出す。例えば、タブレットPC103は、表示画像データをディスプレイ140に表示させる。
【0058】
また、終了判定S212は、ユーザからの指示に応じて表示画像データの生成を止めるか否かを判定する。終了判定S212において表示画像データの生成を止めないと判定した場合(終了判定S212否定)、監視カメラシステム100は、カメラ画像データ読み込み工程S202に再度移行し、前述の処理を再度実行する。一方で、表示画像データの生成を止めると判定した場合(終了判定S212肯定)、監視カメラシステム100は、処理を終了する。即ち、監視カメラシステム100は、ユーザから終了の指示を受け付けるまで、カメラ画像データに基づく表示画像データの生成、及び、表示画像データの表示を継続する。
【0059】
図3のフローチャートはあくまで一例であり、種々の変形が可能である。例えば、図3では、載置領域を囲む多角形(天板端ポリゴン322)の辺の方向を基に中心線307を求め、中心線307の方向に応じて、天板回転クリッピング工程S206における回転角を算出する例について説明した。しかしながら、かかる回転角の算出処理は、必ずしもカメラ動画データの全フレームで実行する必要はない。例えば、天板110に目印になる模様や部品がある場合は、目印の位置ずれを基に、過去のフレームで計算した重心や回転角を微修正すれば良い。一例を挙げると、撮影時刻の異なる複数のカメラ画像データに共通して含まれる物体の位置の差を基に、回転角を求めることができる。これにより、天板画素領域検出工程S203から重心・中心線方向推定S205までを省略することができる。
【0060】
上述した通り、第1の実施形態に係る監視カメラシステム100は、IPカメラ101と、画像処理装置102と、タブレットPC103とを備える。IPカメラ101は、検査室に設置され、被検体120を載置可能な放射線診断装置104を含む環境を撮影する。画像処理装置102は、IPカメラ101により得られるカメラ画像データ300を基に、表示画像データを生成する。また、タブレットPC103は、表示画像データをディスプレイ140に表示させる。
【0061】
具体的には、画像処理装置102は、カメラ画像データ300において被検体120が載置された領域に対応する載置領域として、天板110を推定する。また、画像処理装置102は、推定した天板110に応じてカメラ画像データ300を補正し、補正画像データを生成する。例えば、画像処理装置102は、天板110の推定結果に基づいて中心線方向を推定し、中心線方向が上下方向になるようにカメラ画像データ300の一部を回転して切り出すことで、天板切り出し領域330を生成する。また、画像処理装置102は、補正画像データに含まれる被検体120の領域を推定する。例えば、画像処理装置102は、天板切り出し領域330に対して頭部検出用のDNNを適用することで、頭部の位置と大きさを検出する。そして、画像処理装置102は、補正画像データと、被検体120の領域とを基に、表示画像データを生成する。
【0062】
かかる構成により、第1の実施形態に係る監視カメラシステム100は、被検体の効率的な監視を支援することができる。例えば、監視カメラシステム100は、放射線診断装置104による被検体120の姿勢変化に影響されずに、被検体120の頭部を検出し、放射線診断装置104の操作者に対して、被検体120の表情変化を提示することができる。
【0063】
一般に、DNNのトレーニングに使用される画像データに含まれる人間は、画像データの上側を頭頂として同じ方向を向いていることが多い。これに対してカメラ画像データ300の場合、医師や看護師は直立している場合が多いが、被検体120の姿勢は様々であり、寝た状態(臥位)になっていることも多い。このため、単にカメラ画像データ300に対してDNNを適用しても、被検体120が適切に検出されない場合がある。
【0064】
また、例えばIPカメラ101など、検査室の監視カメラで取得した画像データを用いて検査室内に居る複数の人間が取り得る姿勢をDNNに学習させることも可能ではあるが、検査室毎にトレーニングデータを作成することになり、監視カメラシステム設置時の作業工数が著しく増加する。
【0065】
また、例えば特許文献1のように、監視カメラにより人が居ない状態でリファレンス画像データを撮影し、人が居る画像データとリファレンス画像データとの間の差分画像として被検体を検出することで、複数人の検出は可能である。しかしながら、照明や監視カメラの経年劣化が進んだ場合や検査機器が移動した場合にリファレンス画像データを取り直す必要がある。
【0066】
これに対し、第1の実施形態に係る監視カメラシステム100においては、天板110の中心線方向が上下方向になるように回転させた天板切り出し領域330などの補正画像データを対象としてDNNを適用し、頭部を検出している。これにより、トレーニングデータやリファレンス画像データの収集といった作業を増やすことなく、DNNによる検出の精度を向上させることができる。ひいては、より適切な表示画像データを提示することが可能となり、被検体120の効率的な監視を支援することができる。
【0067】
(第2の実施形態)
第2の実施形態では、カメラの位置及び姿勢の情報を利用して、載置領域の推定を行なう例について説明する。
【0068】
なお、第1の実施形態では載置領域として天板110を検出する例について説明したが、以下では一例として、載置領域として寝台111を検出する例について説明する。即ち、第1の実施形態における載置領域は医用装置10の天板110であり、第2の実施形態における載置領域は医用装置10の寝台111である。また、補正画像データから検出する被検体120の領域に関しては特に限定されるものではないが、一例として、補正画像データから被検体120の手を検出する場合について説明する。
【0069】
図7は、第2の実施形態に係るシステム1の一例を示す図である。図7におけるシステム1は、IPカメラ601、IPカメラ602、画像処理装置603、ディスプレイ604、及び、放射線診断装置104を含む。
【0070】
図7に示す各種の構成のうち、IPカメラ601、IPカメラ602、画像処理装置603及びディスプレイ604は、監視カメラシステム600を構成する。監視カメラシステム600は、放射線診断装置104による画像収集の対象となる被検体120について表示画像データを生成し、放射線診断装置104の操作者に提示することで、被検体120の監視を支援する。
【0071】
IPカメラ601及びIPカメラ602は、IPカメラ101と同様、データ通信が可能なネットワークカメラであり、カメラ30の一例である。例えば、IPカメラ601及びIPカメラ602は、放射線診断装置104を含む環境を撮影するように、検査室の天井108に固定される。例えば、監視カメラシステム600を起動した後、IPカメラ601、IPカメラ602及び画像処理装置603は、有線ネットワークハブ605を介して相互に通信することができる。また、ディスプレイ604は、ディスプレイケーブル606により画像処理装置603に接続されており、画像処理装置603から送られてきた画像を表示する。ディスプレイ604は、表示部の一例である。
【0072】
IPカメラ601及びIPカメラ602の撮影対象である放射線診断装置104は、第1の実施形態で説明した放射線診断装置104と比較して、寝台111の側面に球形状のマーカ610及びマーカ611が付属している点で相違する。以下、寝台111の長辺に対応する側面に付属するマーカをマーカ610とし、短辺に対応する側面に付属するマーカをマーカ611として説明する。例えば、IPカメラ601は、放射線診断装置104を含む環境として、マーカ610を含む範囲を撮影する。また、IPカメラ602は、放射線診断装置104を含む環境として、マーカ611を含む範囲を撮影する。
【0073】
処理の概要として、IPカメラ601及びIPカメラ602は、放射線診断装置104を含む画角を撮影してカメラ画像データを取得し、取得したカメラ画像データを、フレーム毎に画像処理装置603に送信する。画像処理装置603は、送信されてきたカメラ画像データから、表示画像データを生成する。
【0074】
例えば、天板110を天板上座標系x軸130に沿って動かす際には、天板110と寝台111との間に被検体120の手が挟み込まれてしまうことのないように、被検体120の手を所定の位置に配置しておくことが好ましい。より具体的には、被検体120の手については、天板110上に載置された状態や、天板110上に設けられた持ち手をつかんだ状態にしておくことが好ましい。しかしながら、被検体120の動きにより、手が天板110上の所定の位置からずれてしまう場合がある。例えば、天板110と寝台111との間にはビニールシートが敷かれる場合があるが、被検体120がこのビニールシートをつかんでしまう場合がある。
【0075】
このように、被検体120の手を監視する必要がある場合において、画像処理装置603は、送信されてきたカメラ画像データから、天板110と被検体120の手を検出し、各々を切り出して合成した表示画像データを生成する。表示画像データは、フレーム毎に、ディスプレイ604上の表示画面640に表示される。これにより、放射線診断装置104の操作者は、ディスプレイ604を見ることで被検体120の状態を確認しながら、放射線診断装置104の操作を行なうことができる。例えば、操作者は、被検体120の手が天板110の移動に巻き込まれないことを確認した上で、天板110を天板上座標系x軸130に沿って動かすことができる。
【0076】
図7において、画像処理装置603は、処理回路を備え、図1に示した処理回路25と同様にして画像処理機能及び表示制御機能を実行可能である。即ち、画像処理装置603の画像処理機能は、IPカメラ601及びIPカメラ602により得られるカメラ画像データを基に、表示画像データを生成する。また、画像処理装置603の表示制御機能は、表示画像データを表示部に表示させる。画像処理装置603の画像処理機能は、画像処理部の一例である。画像処理装置603の表示制御機能は、表示制御部の一例である。画像処理装置603は、情報処理装置20の一例である。
【0077】
画像処理装置603においてカメラ設置後に行われるカメラ姿勢の測定手順について、図8を用いて説明する。図8は、カメラ姿勢の測定手順の一例を示すフローチャートである。
【0078】
基準座標値読み込み工程S701は、基準座標値をファイルから読み込む工程である。基準座標値について図9を用いて説明する。基準座標値は、寝台111のコーナー点801の3次元座標値と、球形のマーカ802の中心の3次元座標値であり、例えば寝台111の設計図から得られる。座標軸は任意に与えることができるが、ここでは、寝台上面の中心に原点813を持つx軸810、y軸811及びz軸812を、x軸810が寝台111の短手方向に平行で、z軸812が寝台111の長手方向に平行になるように設けている。
【0079】
接続工程S702は、IPカメラ601及びIPカメラ602から送られてくるカメラ画像データの入力ストリームを開く工程である。
【0080】
基準状態復帰工程S703は、寝台111を水平にする工程である。例えば、基準状態復帰工程S703は、放射線診断装置104を作業者が操作することで実行される。放射線(X線)管球112の高さや天板110の位置等の他のパラメータは任意に決めることができるが、カメラ画像データ内において寝台111のコーナー点801が隠れないようにする必要がある。
【0081】
カメラ画像データ読み込み工程S704は、入力ストリームからカメラ画像データを読み込む工程である。
【0082】
コーナー画素位置測定工程S705は、カメラ画像データから寝台のコーナーに相当する画素の位置を求める工程である。例えば、作業者は、ポインタが指す画素の位置を表示できる任意の画像ビューアーを用いてカメラ画像データを開き、コーナーに相当する画素を画像ビューアーの画面から目視で探して画素の位置をファイルに記録する。
【0083】
カメラ位置・姿勢測定工程S706は、ファイルに記録されているコーナー相当の画素位置と、基準座標値に含まれるコーナー点801の3次元座標値とを用いて、カメラパラメータを推定する。カメラパラメータは、カメラをピンホールカメラモデルで近似した時のピンホールの3次元座標と、光軸の方向ベクトル、イメージセンサ面上の直交する2軸の方向ベクトルであり、カメラの位置・姿勢に相当する。非特許文献1に記載されているように、ピンホールカメラモデルを用いて、コーナー点801の3次元座標を、カメラ画像データ上の画素位置に変換することができる。変換により得られた画素位置と、コーナー画素位置測定工程S705により得られた画素位置との距離が近くなるように、カメラパラメータの値を最適化することで、IPカメラ601及びIPカメラ602の位置・姿勢を測定することができる。得られたカメラパラメータはファイルに保存される。
【0084】
次に、画像処理装置603において行われる表示画像データ生成の処理手順について、図10を用いて説明する。図10は、表示画像データ生成の処理手順の一例を示すフローチャートである。
【0085】
パラメータ読み込み工程S901は、基準座標値とカメラパラメータをファイルから読み込む工程である。
【0086】
接続工程S902は、IPカメラ601及びIPカメラ602から送られてくるカメラ画像データの入力ストリームと、ディスプレイ604に表示画像データを送る出力ストリームとを開く工程である。
【0087】
カメラ画像データ読み込み工程S903は、入力ストリームから最新のカメラ画像データを読み込む工程である。
【0088】
マーカ検出工程S904は、IPカメラ601のカメラ画像データからマーカ610の中心画素位置を検出し、IPカメラ602のカメラ画像データから、マーカ611の中心画素位置を検出する工程である。マーカ610及びマーカ611の形状は球形であるため、斜めからの撮影でもマーカは円形になる。そのため、マーカ外周上に相当する3点から中心座標を正確に算出することができる。マーカ610及びマーカ611は、寝台周囲にいる医師、看護師、検査機器により一部隠れる場合があるが、マーカ610及びマーカ611各々を一つ以上含み、合わせて3個以上の中心画素位置が得られるならば、後工程の計算を実行することができる。得られない場合は、このカメラ画像データの表示画像データ作成はスキップし、次のカメラ画像データ読み込み工程S903から処理を実行する。
【0089】
寝台位置・姿勢算出工程S905は、マーカ610及びマーカ611の中心画素位置と、基準座標値に含まれる球形のマーカ802の中心の3次元座標値とを基に、寝台111の位置・姿勢パラメータを算出する工程である。寝台111の位置・姿勢パラメータは、姿勢変化後の原点813の座標と、姿勢変化後の座標軸(x軸810、y軸811、z軸812)である。カメラ位置・姿勢測定工程S706によってカメラパラメータは既知であるため、例えば非特許文献1に記載されているように、球形のマーカ802の中心の3次元座標を、カメラ画像データ上の画素位置に変換することができる。変換により得られた画素位置と、マーカ610及びマーカ611の中心画素位置との間の距離が小さくなるように、寝台111の位置・姿勢パラメータを最適化することで、寝台の位置・姿勢を算出することができる。
【0090】
射影変換算出工程S906は、カメラ画像データ上にあるコーナー点801に相当する画素位置(以後、入力コーナー画素位置と呼ぶ)を、長手方向を上下方向とした理想的な画素位置(以後、出力コーナー画素位置と呼ぶ)に変換する射影変換のパラメータを算出する工程である。入力コーナー画素位置は、コーナー点801の3次元座標値と、寝台111の位置・姿勢パラメータとを基に計算で求めることができる。出力コーナー画素位置は任意に選べるが、コーナー点801が為す長方形とアスペクト比を一致させる必要がある。射影変換は以下の式(2)で与えられる。
【0091】
【数2】
【0092】
式(2)において、「x」及び「y」はカメラ画像データ上の画素の位置であり、「x’」及び「y’」は出力先の画像データ内の画素の位置である。「p1」~「p8」は射影変換パラメータである。入力コーナー画素位置4個と出力コーナー画素位置4個とを式(2)の変数「x」、「y」、「x’」及び「y’」に代入すると、射影変換パラメータを未知の変数とした8個の連立方程式が得られる。この連立方程式を解くことにより、射影変換パラメータを求めることができる。
【0093】
寝台クリッピング工程S907は、カメラ画像データを、式(2)の射影変換により変換し、出力コーナー画素位置を繋いだ長方形を含む画素領域(以後、寝台切り出し領域と呼ぶ)を切り出す。寝台切り出し領域は、補正画像データの一例である。寝台切り出し領域内では、寝台は縦長の長方形になる。即ち、画像処理装置603は、縦長の長方形に近づくように載置領域を含む領域を変換することにより、補正画像データ(寝台切り出し領域)を生成してもよい。寝台切り出し領域の大きさは任意に選ぶことが可能であり、寝台の周辺部を含めることもできる。即ち、画像処理装置603は、出力コーナー画素位置を繋いだ長方形に一致する範囲を寝台切り出し領域として切り出してもよいし、当該長方形にその周辺領域(マージン)を加えた範囲を寝台切り出し領域として切り出してもよい。寝台切り出し領域の上下方向は、射影変換算出工程S906において出力コーナー画素位置を与える際に変更することできる。
【0094】
手検出工程S908は、寝台切り出し領域から被検体120の手を検出する工程である。即ち、手検出工程S908において、画像処理装置603は、寝台切り出し領域に含まれる被検体120の手の領域を推定する。例えば、画像処理装置603は、寝台切り出し領域に対して骨格検出用のDNNを適用して、手の位置と大きさを検出する。
【0095】
手クリッピング工程S909は、寝台切り出し領域から、手の位置を中心とした画素領域(今後、手切り出し領域と呼ぶ)を切り出す工程である。画像処理装置603は、手検出工程S908において手と判定された領域を手切り出し領域として切り出してもよいし、手と判定された領域にその周辺領域(マージン)を加えた範囲を手切り出し領域として切り出してもよい。
【0096】
表示画像データの生成工程S910は、カメラ画像データ、寝台切り出し領域、手切り出し領域を組み合わせて、一つの画像データとして配置した表示画像データを生成する工程である。カメラが複数台あるため、各種の画像データの全てを配置せずに、ユーザの指定した組み合わせや、見えの良さを判定して決めた組み合わせで配置しても良い。表示画像データの書き出し工程S911及び終了判定S912は、図3に示した表示画像データの書き出し工程S210及び終了判定S212と同様であるため、説明を省略する。
【0097】
上述した通り、第2の実施形態に係る監視カメラシステム600は、IPカメラ601と、IPカメラ602と、画像処理装置603とを備える。IPカメラ601及びIPカメラ602は、検査室に設置され、被検体120を載置可能な放射線診断装置104を含む環境を撮影する。画像処理装置603は、画像処理装置603により得られるカメラ画像データを基に、表示画像データを生成する。また、画像処理装置603は、表示画像データをディスプレイ604に表示させる。
【0098】
具体的には、画像処理装置603は、寝台111に付属するマーカに基づいて、カメラ画像データにおいて被検体120が載置された領域に対応する載置領域として寝台111を推定する。また、画像処理装置603は、推定した寝台111に応じてカメラ画像データを補正し、補正画像データを生成する。例えば、画像処理装置603は、寝台111の推定結果に基づいてカメラ画像データを射影変換し、補正画像データとして、出力コーナー画素位置を繋いだ長方形を含む寝台切り出し領域を生成する。また、画像処理装置603は、補正画像データに含まれる被検体120の領域を推定する。例えば、画像処理装置603は、寝台切り出し領域に対して骨格検出用のDNNを適用することで、手の位置と大きさを検出する。そして、画像処理装置603は、補正画像データと、被検体120の領域とを基に、表示画像データを生成する。
【0099】
かかる構成により、第2の実施形態に係る監視カメラシステム600は、被検体120の効率的な監視を支援することができる。例えば、監視カメラシステム600は、寝台111に付属するマーカに基づいて、姿勢変化する寝台111を、カメラ画像データから精度良く検出することができる。即ち、監視カメラシステム600は、被検体120が載置された領域に対応する載置領域を精度良く推定することができる。
【0100】
また、監視カメラシステム600は、画像データ内での寝台111の形状を縦長の長方形にすることで、被検体120の検出精度を高めることができる。即ち、DNNへの入力データを、縦長の長方形の画像データに統一することで、DNNによる被検体120の検出精度を高めることができる。
【0101】
載置領域として寝台111を検出する例について説明したが、実施形態はこれに限定されるものではない。例えば、マーカ610及びマーカ611と同様のマーカが天板110に付されている場合、当該マーカの検出結果と、IPカメラ601及びIPカメラ602の位置・姿勢とに基づいて、載置領域として天板110を検出することができる。また、前述の通り、載置領域は天板110であってもよい。即ち、載置領域は、医用装置10の天板110又は寝台111に付されたマーカの検出結果、及び、カメラ30の位置と姿勢とを基にして推定されてもよい。
【0102】
(第3の実施形態)
上述した第2の実施形態では、寝台111に付属するマーカに基づいて、カメラ画像データ内での寝台111の推定を行なう例について説明した。第3の実施形態では、放射線診断装置104における寝台111の制御情報を基に、カメラ画像データ内での寝台111の推定を行なう例について説明する。
【0103】
図11は、第3の実施形態に係るシステム1の一例を示す図である。図11に示すシステム1は、基本的に図7に示したシステム1と同様にして構成することができるが、マーカ610及びマーカ611については省略が可能である。また、図11に示す放射線診断装置104は、ネットワークケーブル107により有線ネットワークハブ605に繋がっており、監視カメラシステム600との通信が可能になっている。これにより、画像処理装置603は、放射線診断装置104の寝台111の姿勢制御命令や、検査オーダー等の情報を利用することができる。
【0104】
放射線診断装置104の設計図等から、寝台111の回転軸等は既知である。従って、画像処理装置603は、寝台111の位置・姿勢を、寝台111の姿勢制御命令から直接計算することができる。例えば、画像処理装置603は、図10に示したマーカ検出工程S904及び寝台位置・姿勢算出工程S905を省略し、射影変換工程S906において、姿勢制御命令から計算した寝台の位置・姿勢を用いることができる。
【0105】
また、画像処理装置603は、図10に示した表示画像データの生成工程S910において、放射線診断装置104から得た検査オーダーに従って、カメラ画像データや寝台切り出し領域、手切り出し領域といった各種画像データの組み合わせ方を変えることができる。
【0106】
以上のように、第3の実施形態に係る監視カメラシステム600は、寝台111にマーカが付されていない場合や、寝台111に付されたマーカがカメラ画像データに現れていない場合においても、載置領域として寝台111をカメラ画像データから検出し、ひいては表示画像データの生成を可能として被検体120の効率的な監視を支援することができる。
【0107】
載置領域として寝台111を検出する例について説明したが、実施形態はこれに限定されるものではない。例えば、天板110の制御情報を利用可能な場合、当該制御情報と、IPカメラ601及びIPカメラ602の位置・姿勢とに基づいて、載置領域として天板110を検出することができる。即ち、載置領域は、医用装置10の天板110又は寝台111の制御情報、及び、カメラ30の位置と姿勢とを基にして推定されてもよい。
【0108】
(第4の実施形態)
第4の実施形態では、表示制御の具体例について説明する。第4の実施形態に係る監視カメラシステムの具体的な構成について特に限定されるものではないが、一例としては、図2に示した監視カメラシステム100と同様にして構成することができる。
【0109】
図12に表示例を示す。例えば、タブレットPC103は、ディスプレイ140上に、図12に示す被検体確認画面1000を表示させる。被検体確認画面1000は、画像データ描画領域1001、レイアウト選択用のリストボックス1002、全画面表示指示ボタン1003、及び、レイアウト設定画面への遷移ボタン1004から構成される。
【0110】
画像データ描画領域1001は、画像処理装置102から送られてきた表示画像データを描画する領域である。レイアウト選択用リストボックス1002は、表示画像データ内における画像データの構成に関する情報(以後、レイアウト情報と呼ぶ)の選択に用いる。例えば、レイアウト情報は、製品設計時や後述するレイアウト設定画面での登録時に画像処理装置102に保存され、検査内容や作成者にちなんだラベルがつけられる。例えば、図12では、検査内容と作成者との組み合わせからなるラベルとして、リストボックス1002に「ERCP検査-△△技師」が表示されている。
【0111】
図12は、オブジェクトと、上述する回転画像データの生成時における所定の方向を指定するためのユーザーインターフェースの一例である。即ち、タブレットPC103は、オブジェクトと所定の方向を指定するためのユーザーインターフェースをディスプレイ140に表示させることができる。
【0112】
例えば、タブレットPC103は、リストボックス1002を介して、医用装置10の検査内容の入力を受け付けることができる。ここで、リストボックス1002から選択可能な検査内容のそれぞれに対してオブジェクト及び所定の方向をプリセットしておくことにより、選択された検査内容に対応したオブジェクト及び所定の方向を指定することができる。例えば、図12に示すように、「ERCP検査」が選択された場合、オブジェクトとして「頭部」を指定し、所定の方向として「上下方向」を指定することができる。即ち、タブレットPC103は、ユーザーインターフェースを介して医用装置10の検査内容の入力を受け付けることで、オブジェクトと所定の方向を指定することができる。
【0113】
また、例えば、タブレットPC103は、リストボックス1002を介して、医用装置10のユーザ情報の入力を受け付けることができる。ここで、リストボックス1002から選択可能なユーザ情報のそれぞれに対してオブジェクト及び所定の方向をプリセットしておくことにより、選択されたユーザ情報に対応したオブジェクト及び所定の方向を指定することができる。例えば、図12に示すように、「△△技師」が選択された場合、オブジェクトとして「頭部」を指定し、所定の方向として「上下方向」を指定することができる。即ち、タブレットPC103は、ユーザーインターフェースを介して医用装置10のユーザ情報の入力を受け付けることで、オブジェクトと所定の方向を指定することができる。
【0114】
なお、図12では、リストボックス1002において、検査内容とユーザ情報を組み合わせて表示している。即ち、タブレットPC103は、ユーザーインターフェースを介して医用装置10の検査内容及びユーザ情報の入力を受け付けることで、オブジェクトと所定の方向を指定することができる。タブレットPC103は、検査内容とユーザ情報を別々に入力可能としてもよいし、いずれか一方のみを入力可能としてもよい。
【0115】
リストボックス1002により選択されたレイアウト情報のラベルは、タブレットPC103から画像処理装置102に送られ、表示画像データ内の画像データの構成が変更される。例えば、「ERCP検査-△△技師」のレイアウトに従うと、カメラ画像データ1011と、別方向から撮影したカメラ画像データ1012と、周辺部の含み方や角度が異なる天板切り出し領域1013及び天板切り出し領域1014、拡大された頭部切り出し領域1015が、表示画像データに配置される。同一の画像データを複製して倍率や回転角を変えて配置する、或いは、複数の画像データを重ねて配置することも可能である。ただし、被検体120の確認に用いられる画像データ(天板切り出し領域や頭部切り出し領域)は、被検体120の頭~足方向が被検体確認画面1000の上下方向に近づくように、画像データを回転させて配置する。即ち、天板切り出し領域や頭部切り出し領域は、正立姿勢に合わせた向きで配置する。なお、頭~足方向と被検体確認画面1000の上下方向との差は大きくなるが、回転処理の計算負荷が減るように、画像データを所定の回転角度でのみ回転させてもよい。例えば、頭~足方向と被検体確認画面1000の上下方向との差が縮まるように、画像データを90度、180度又は270度回転させてもよい。
【0116】
即ち、画像処理装置102は、カメラ画像データにおいて、被検体120の部位や、放射線診断装置104の装置構成といったオブジェクトを特定し、特定したオブジェクトが所定の方向になるようにカメラ画像データを回転した回転画像データを生成する。そして、タブレットPC103は、回転画像データを含む表示画像データをディスプレイ140に表示させる。
【0117】
例えば、オブジェクトが被検体120の頭部である場合、画像処理装置102は、図12の頭部切り出し領域1015に示すように、被検体120の頭部が上方向になるように回転した回転画像データを生成する。即ち、オブジェクトが被検体120の頭部である場合、画像処理装置102は、頭部が正立するように回転した回転画像データを生成する。
【0118】
また、例えば、オブジェクトが被検体120の胴体である場合、画像処理装置102は、被検体120の胴体が上方向になるように回転した回転画像データを生成する。即ち、オブジェクトが被検体120の胴体である場合、画像処理装置102は、胴体が正立するように回転した回転画像データを生成する。
【0119】
また、例えば、オブジェクトが天板110や寝台111等の載置領域である場合、画像処理装置102は、載置領域の長軸が上下になるように回転した回転画像データを生成する。例えば、図12の天板切り出し領域1013に示すように、天板110の中心線方向が上下方向となるように回転した回転画像データを生成する。
【0120】
図12に示した表示画像データはあくまで一例であり、種々の変形が可能である。例えば、図13に示すようにカメラ画像データ1011と、頭頂が上側になるように回転された天板切り出し領域1013とのみを表示画像データに配置してもよい。表示画像データ内に様々な画像を配置することによって操作者が所望する角度や範囲の画像データを提示することができるようになる一方で、表示画像データ内に配置する画像を減らすことで、個々の画像をより大きく見やすく表示することができる。
【0121】
全画面表示指示ボタン1003は、画像データ描画領域1001を全画面に拡大する指示を入力するボタンである。レイアウト設定画面への遷移ボタン1004は、被検体確認画面1000から後述するレイアウト設定画面に遷移する指示を入力するボタンである。タブレットPC103の表示制御機能は、全画面表示指示ボタン1003や遷移ボタン1004を介して受け付けた入力操作に応じて被検体確認画面1000の表示を適宜切り替える。
【0122】
次にレイアウト設定画面について説明する。図14は、第4の実施形態に係るレイアウト設定画面の一例を示す図である。
【0123】
レイアウト設定画面1100には、例えば、レイアウトタブ1101、複合レイアウトタブ1102、レイアウト名称入力用テキストボックス1105、レイアウト情報登録ボタン1106、及び、被検体確認画面への遷移ボタン1107が含まれる。レイアウトタブ1101と複合レイアウトタブ1102タブとの選択により、ボタンやリストボックス等のユーザーインターフェース部品(以後、UI部品と呼ぶ)の配置が変更される。
【0124】
レイアウトタブ1101を選択した場合の画面には、例えば、座標系選択用リストボックス1110、カメラ番号選択用スピンコントロール1111、カメラウィンドウ1112、レイアウトウィンドウ1113、スライダーコントロール1120~1127、張り付け指示ボタン1130、貼り付け領域番号選択用スピンコントロール1131、及び、削除ボタン1132が含まれる。座標系選択用リストボックス1110及びスピンコントロール1111は、カメラウィンドウ1112に表示する画像データの座標系とカメラ番号の選択に用いる。
【0125】
座標系選択用リストボックス1110において「カメラ座標系」が選択されている場合、カメラウィンドウ1112には、中心画素がカメラウィンドウ1112の中心と一致するように、カメラ画像データが表示される。カメラウィンドウ1112に表示される画像データは、スライダーコントロール1120~1123を用いて、各々回転量、倍率、横方向シフト距離、縦方向シフト距離を調整することができる。スライダーコントロール1120~1123の目盛り間隔は任意に与えることができるが、画像データの回転は計算負荷が大きいため、例えば0度、90度、180度、270度のように、90度間隔で離散化してもよい。
【0126】
カメラウィンドウ1112には、切り取り領域を示す矩形1114が画像データに重ねられて表示されている。切り取り領域を示す矩形1114は、画像データと独立しているため、スライダーコントロール1120~1123による幾何変換の影響を受けない。切り取り領域を示す矩形1114の幅と高さは、スライダーコントロール1124、1125を用いて調整することができる。
【0127】
切り取り領域を示す矩形1114内部に含まれる画像データは、貼り付け指示ボタン1130を押した後、図14に示す貼り付け領域1115のように、レイアウトウィンドウ1113上に表示される。レイアウトウィンドウ1113内における貼り付け領域1115の位置は、スライダーコントロール1126、1127を用いて調整することができる。
【0128】
貼り付け指示ボタン1130を押した際には、リストボックス1110やスピンコントロール1111、スライダーコントロール1120~1127等により入力されたデータは、貼り付け領域の番号と一緒に、タブレットPC103が備えるメモリに記録される。これら記録されたデータの集合がレイアウト情報である。貼り付け領域番号をスピンコントロール1131により選択し、削除ボタン1132を押すことで、貼り付け領域番号に紐づけられたデータを記録から削除することもできる。
【0129】
次に、座標系選択用リストボックス1110において、カメラ座標系ではなく、撮影対象(被検体120、被検体120の部位、天板110、寝台111等)の特徴に基づいた座標系を選択する場合について説明する。
【0130】
座標系選択用リストボックス1110は、オブジェクトと所定の方向を指定するためのユーザーインターフェースの一例である。タブレットPC103は、座標系選択用リストボックス1110により、被検体の部位(例えば頭部や胴体など)の入力を受け付けることができる。即ち、タブレットPC103は、ユーザーインターフェースを介して被検体の部位の入力を受け付けることで、オブジェクトと所定の方向を指定することができる。また、タブレットPC103は、座標系選択用リストボックス1110により、載置領域に関する情報(例えば天板110や寝台111など)の入力を受け付けることができる。即ち、タブレットPC103は、ユーザーインターフェースを介して載置領域に関する情報の入力を受け付けることで、オブジェクトと所定の方向を指定することができる。
【0131】
図15は、撮影対象の特徴に基づいた座標系の一つである頭部座標系を選択する場合の一例を示す図である。頭部座標系は、頭部クリッピング工程S209により得られる頭部切り出し領域の座標系であり、頭部の中心を原点とし、頭頂方向をy軸(頭部切り出し領域の縦方向の座標軸)とする。ただし、この頭部座標系の定義は厳密なものではない。例えば、カメラ画像の縦・横軸の中で、頭頂方向に近い方を頭部座標系のy軸と定義しても良い。このとき、スライダーコントロール1120で選択できる回転角を0度、90度、180度、270度に限定することで、画像回転処理の計算負荷を減らすことができる。また、天板の中心線方向のように頭頂方向に近い方向を代わりに用いても良い。
【0132】
座標系選択用リストボックス1110により「頭部座標系」を選択した場合、カメラウィンドウ1112には、頭部が正立するように回転されたカメラ画像が表示される。他の座標系の場合と同様に、貼り付け指示ボタン1130を入力後、スライダーコントロール1120~1127による調整に従って、切り取り領域の矩形1150に含まれる画像は、貼り付け領域1151にコピーされる。
【0133】
「頭部座標系」を選択した場合には、画面内にカメラ選択条件チェックボックス1152が追加される。頭部座標系は撮影対象に依存して決まる座標系であるため、撮影対象が画像データに含まれていれば、カメラ番号に関係なく定義することができる。カメラ選択条件チェックボックス1152をチェックした場合には、スピンコントロール1111により選択されたカメラ番号を無視して、頭部検出工程S207により求めた頭部の大きさが最も大きいカメラ番号を選択することになる。天板の姿勢によっては頭部が小さく撮影される場合があるが、この機能により全てのカメラの中で一番頭部が大きいカメラ画像が、貼り付け領域1151として選択される。貼り付け指示ボタン1130を押した際には、他のUI部品による入力データと一緒に、カメラ選択条件チェックボックス1152による入力値もレイアウト情報として記録される。
【0134】
全ての貼り付け領域を決定したのち、レイアウト情報登録ボタン1106を押すことで、レイアウト情報は、テキストボックス1105に入力されたラベルと一緒に、画像処理装置102に登録される。被検体確認画面1000のリストボックス1002において、このラベルが選択された場合には、頭部座標系や頭部の大きさを考慮して表示画像データが生成されることになる。
【0135】
次に、複合レイアウトタブ1102を選択した場合について説明する。図16は、複合レイアウトタブ1102を選択した場合の画面の一例を示す図である。複合レイアウトは、すでに登録済みである複数のレイアウトを、撮影対象の特徴を使ったルール(以後、レイアウト選択ルールと呼ぶ)に従って切り替える。複合レイアウトタブ1102のときの画面には、ルール選択リストボックス1160、ルール追加ボタン1161、ルール番号スピンコントロール1162、ルール削除ボタン1163、ルール詳細入力部1164が含まれる。
【0136】
図16に示す複合レイアウトは、オブジェクトと所定の方向を指定するためのユーザーインターフェースの一例である。タブレットPC103は、複合レイアウトにより、カメラ画像データに含まれるオブジェクトに関する条件(レイアウト選択ルール)の入力を受け付けることができる。即ち、タブレットPC103は、ユーザーインターフェースを介してオブジェクトに関する条件の入力を受け付けることで、オブジェクトと所定の方向を指定することができる。
【0137】
ルール詳細入力部1164には、ルール選択リストボックス1160で選択されたレイアウト選択ルールに応じてUI部品が配置される。ルール選択リストボックス1160で「中心線方向切り替え」ルールを選択した場合、ルール詳細入力部1164には、カメラ番号入力用スピンコントロール1170、天板中心線角度入力用テキストボックス1171、天板中心線角度条件選択用リストボックス1172、レイアウト選択用リストボックス1173が含まれる。
【0138】
ルール詳細入力部1164のUI部品から得られる情報は、レイアウト選択ルールを表している。スピンコントロール1170により入力した番号を「A」、テキストボックス1171に入力された角度を「B」、リストボックス1172の角度条件を「C」、レイアウト選択用リストボックス1173のレイアウトを「D」とする。この場合、「A番のカメラ画像データにおいて天板中心線の角度を求め、Bと比較し、比較結果が角度条件Cを満たす場合にレイアウトDを選択する」というレイアウト選択ルールになる。
【0139】
ルール詳細入力部1164においてデータを入力した後、ルール追加ボタン1161を押すことにより、レイアウト選択ルールは、タブレットPC103が備えるメモリに記録される。スピンコントロール1162によりレイアウト選択ルールの番号を選択し、ルール削除ボタン1163により選択したレイアウトルールの記録を削除することができる。
【0140】
複合レイアウトの場合は、記録されたレイアウト選択ルールの集合がレイアウト情報として扱われる。レイアウト情報登録ボタン1106を押すことで、レイアウト情報は、テキストボックス1105に入力されたラベルと一緒に、画像処理装置102に登録される。
【0141】
上述した通り、第4の実施形態に係る画像処理装置102は、カメラ画像データにおいてオブジェクトを特定し、特定したオブジェクトが所定の方向になるようにカメラ画像データを回転した回転画像データを生成する。また、タブレットPC103は、回転画像データを含む表示画像データをディスプレイ140に表示させる。かかる構成により、第4の実施形態に係る監視カメラシステム100は、被検体120の効率的な監視を支援することができる。即ち、監視カメラシステム100は、頭部や天板等の追尾対象の特徴を基にして定めた方向に画像データを回転させて表示させることができ、操作者による当該追尾対象の監視を支援することができる。
【0142】
なお、上述の各実施形態では、被検体を載置可能な医用装置の例として放射線診断装置104について説明した。しかしながら実施形態はこれに限定されるものではなく、天板や寝台等を備えた、被検体を載置可能な他の医用装置についても同様に適用が可能である。かかる他の医用装置の例としては、X線CT装置やMRI装置などの医用画像診断装置、放射線治療装置などの治療装置を挙げることができる。なお、X線CT装置やMRI装置などのガントリを備えた装置の場合、カメラ30は、当該ガントリに設けられてもよい。
【0143】
上記説明において用いた「プロセッサ」という文言は、例えば、CPU、GPU(Graphics PROCESSING Unit)、ASIC、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。プロセッサが例えばCPUである場合、プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。一方、プロセッサが例えばASICである場合、記憶回路にプログラムを保存する代わりに、当該機能がプロセッサの回路内に論理回路として直接組み込まれる。なお、実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、各図における複数の構成要素を1つのプロセッサへ統合してその機能を実現するようにしてもよい。
【0144】
上述した実施形態に係る各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。即ち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。更に、各装置にて行われる各処理機能は、その全部又は任意の一部が、CPU及び当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現されうる。
【0145】
また、上述した実施形態で説明した方法は、予め用意されたプログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。このプログラムは、インターネット等のネットワークを介して配布することができる。また、この医用情報処理プログラムは、ハードディスク、フレキシブルディスク(FD)、CD-ROM、MO、DVD等のコンピュータで読み取り可能な非一過性の記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【0146】
以上説明した少なくとも1つの実施形態によれば、被検体の効率的な監視を支援することができる。
【0147】
以上の実施形態に関し、発明の一側面および選択的な特徴として以下の付記を開示する。
(付記1)
検査室に設置され、被検体を載置可能な医用装置を含む環境を撮影するカメラと、
前記カメラにより得られるカメラ画像データを基に、表示画像データを生成する画像処理部と、
前記表示画像データを表示部に表示させる表示制御部と
を備える監視カメラシステムであって、
前記画像処理部は、
前記カメラ画像データにおいて被検体が載置された領域に対応する載置領域を推定し、
前記載置領域に応じてカメラ画像データを補正した補正画像データを生成し、
前記補正画像データに含まれる被検体の領域を推定し、
前記補正画像データと、前記被検体の領域とを基に、表示画像データを生成する、監視カメラシステム。
(付記2)
前記載置領域は、前記医用装置の天板であってもよい。
(付記3)
前記載置領域は、前記医用装置の寝台であってもよい。
(付記4)
前記載置領域は、ディープニューラルネットワークにより推定されてもよい。
(付記5)
前記載置領域は、前記医用装置の天板又は寝台に付されたマーカの検出結果、及び、前記カメラの位置と姿勢とを基にして推定されてもよい。
(付記6)
前記載置領域は、前記医用装置の天板又は寝台の制御情報、及び、前記カメラの位置と姿勢とを基にして推定されてもよい。
(付記7)
前記画像処理部は、前記載置領域を含む領域を、当該載置領域の中心線が上下方向となるように回転させることにより、前記補正画像データを生成してもよい。
(付記8)
前記画像処理部は、縦長の長方形に近づくように前記載置領域を含む領域を変換することにより、前記補正画像データを生成してもよい。
(付記9)
前記回転の回転角は、前記載置領域を囲む多角形の辺の方向を基に決められてもよい。
(付記10)
前記回転の回転角は、撮影時刻の異なる複数の前記カメラ画像データに共通して含まれる物体の位置の差を基に決められてもよい。
(付記11)
検査室に設置され、被検体を載置可能な医用装置を含む環境を撮影するカメラと、
前記カメラにより得られるカメラ画像データを基に、表示画像データを生成する画像処理部と、
前記表示画像データを表示部に表示させる表示制御部と、
を備える監視カメラシステムであって、
前記画像処理部は、
前記カメラ画像データにおいてオブジェクトを特定し、
特定したオブジェクトが所定の方向になるようにカメラ画像データを回転した回転画像データを生成し、
前記表示制御部は、前記回転画像データを含む前記表示画像データを前記表示部に表示させる、監視カメラシステム。
(付記12)
前記オブジェクトは、前記被検体の頭部であり、前記所定の方向は上方向であってもよい。
(付記13)
前記オブジェクトは、前記被検体の胴体であり、前記所定の方向は上方向であってもよい。
(付記14)
前記オブジェクトは、前記被検体が載置された領域に対応する載置領域であり、前記所定の方向は、前記載置領域の長軸が上下になる方向であってもよい。
(付記15)
前記表示制御部は、前記オブジェクトと前記所定の方向を指定するためのユーザーインターフェースを前記表示部に表示させてもよい。
(付記16)
前記表示制御部は、前記ユーザーインターフェースを介して前記医用装置の検査内容の入力を受け付けることで、前記オブジェクトと前記所定の方向を指定してもよい。
(付記17)
前記表示制御部は、前記ユーザーインターフェースを介して前記医用装置のユーザ情報の入力を受け付けることで、前記オブジェクトと前記所定の方向を指定してもよい。
(付記18)
前記表示制御部は、前記ユーザーインターフェースを介して前記被検体の部位の入力を受け付けることで、前記オブジェクトと前記所定の方向を指定してもよい。
(付記19)
前記表示制御部は、前記ユーザーインターフェースを介して、前記被検体が載置された領域に対応する載置領域に関する情報の入力を受け付けることで、前記オブジェクトと前記所定の方向を指定してもよい。
(付記20)
前記表示制御部は、前記ユーザーインターフェースを介して、前記カメラ画像データに含まれるオブジェクトに関する条件の入力を受け付けることで、前記オブジェクトと前記所定の方向を指定してもよい。
(付記21)
被検体を載置可能な放射線診断装置と、
検査室に設置され、前記放射線診断装置を含む環境を撮影するカメラと、
前記カメラにより得られるカメラ画像データを基に、表示画像データを生成する画像処理部と、
前記表示画像データを表示部に表示させる表示制御部と
を備える放射線撮影システムであって、
前記画像処理部は、
前記カメラ画像データにおいて被検体が載置された領域に対応する載置領域を推定し、
前記載置領域に応じてカメラ画像データを補正した補正画像データを生成し、
前記補正画像データに含まれる被検体の領域を推定し、
前記補正画像データと、前記被検体の領域とを基に、表示画像データを生成する、放射線撮影システム。
(付記22)
被検体を載置可能な放射線診断装置と、
検査室に設置され、前記放射線診断装置を含む環境を撮影するカメラと、
前記カメラにより得られるカメラ画像データを基に、表示画像データを生成する画像処理部と、
前記表示画像データを表示部に表示させる表示制御部と、
を備える放射線撮影システムであって、
前記画像処理部は、
前記カメラ画像データにおいてオブジェクトを特定し、
特定したオブジェクトが所定の方向になるようにカメラ画像データを回転した回転画像データを生成し、
前記表示制御部は、前記回転画像データを含む前記表示画像データを前記表示部に表示させる、放射線撮影システム。
(付記23)
検査室に設置され、被検体を載置可能な医用装置を含む環境を撮影するカメラにより得られるカメラ画像データを基に、表示画像データを生成し、
前記表示画像データを表示部に表示させることを含む方法であって、
前記カメラ画像データにおいて被検体が載置された領域に対応する載置領域を推定し、
前記載置領域に応じてカメラ画像データを補正した補正画像データを生成し、
前記補正画像データに含まれる被検体の領域を推定し、
前記補正画像データと、前記被検体の領域とを基に、表示画像データを生成する、方法。
(付記24)
検査室に設置され、被検体を載置可能な医用装置を含む環境を撮影するカメラにより得られるカメラ画像データを基に、表示画像データを生成し、
前記表示画像データを表示部に表示させることを含む方法であって、
前記カメラ画像データにおいてオブジェクトを特定し、
特定したオブジェクトが所定の方向になるようにカメラ画像データを回転した回転画像データを生成し、
前記表示制御部は、前記回転画像データを含む前記表示画像データを前記表示部に表示させる、方法。
【0148】
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行なうことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0149】
1:システム
10:医用装置
20:情報処理装置
21:通信インタフェース
22:入力インタフェース
23:ディスプレイ
24:メモリ
25:処理回路
25a:制御機能
25b:画像処理機能
25c:表示制御機能
30:カメラ
100:監視カメラシステム
101:IPカメラ
102:画像処理装置
103:タブレットPC
104:放射線診断装置
105:無線ネットワークハブ
106:ネットワーク
107:ネットワークケーブル
110:天板
111:寝台
112:放射線(X線)管球
113:支柱
120:被検体
130:天板上座標系x軸
131:天板上座標系y軸
132:天板上座標系z軸
140:ディスプレイ
301:天板
302:頭部
303:胴体
304:足
305:辺
306:辺
307:中心線
308:重心
321:領域
322:天板端ポリゴン
330:天板切り出し領域
600:監視カメラシステム
601:IPカメラ
602:IPカメラ
603:画像処理装置
604:ディスプレイ
605:有線ネットワークハブ
606:ディスプレイケーブル
610:マーカ
611:マーカ
640:表示画面
801:コーナー点
802:マーカ
810:x軸
811:y軸
812:z軸
813:原点
1000:被検体確認画面
1001:画像データ描画領域
1002:レイアウト選択用のリストボックス
1003:全画面表示指示ボタン
1004:遷移ボタン
1011:カメラ画像データ
1012:カメラ画像データ
1013:天板切り出し領域
1014:天板切り出し領域
1015:頭部切り出し領域
1100:レイアウト設定画面
1101:レイアウトタブ
1102:複合レイアウトタブ
1105:レイアウト名称入力用テキストボックス
1106:レイアウト情報登録ボタン
1107:遷移ボタン
1110:座標系選択用リストボックス
1111:カメラ番号選択用スピンコントロール
1112:カメラウィンドウ
1113:レイアウトウィンドウ
1114:矩形
1115:貼り付け領域
1120:スライダーコントロール
1121:スライダーコントロール
1122:スライダーコントロール
1123:スライダーコントロール
1124:スライダーコントロール
1125:スライダーコントロール
1126:スライダーコントロール
1127:スライダーコントロール
1130:張り付け指示ボタン
1131:貼り付け領域番号選択用スピンコントロール
1132:削除ボタン
1150:矩形
1151:貼り付け領域
1152:カメラ選択条件チェックボックス
1160:ルール選択リストボックス
1161:ルール追加ボタン
1162:ルール番号スピンコントロール
1163:ルール削除ボタン
1164:ルール詳細入力部
1170:カメラ番号入力用スピンコントロール
1171:天板中心線角度入力用テキストボックス
1172:天板中心線角度条件選択用リストボックス
1173:レイアウト選択用リストボックス
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16