IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ キヤノン株式会社の特許一覧

特許7536463撮像装置、その制御方法およびプログラム
<>
  • 特許-撮像装置、その制御方法およびプログラム 図1
  • 特許-撮像装置、その制御方法およびプログラム 図2
  • 特許-撮像装置、その制御方法およびプログラム 図3
  • 特許-撮像装置、その制御方法およびプログラム 図4
  • 特許-撮像装置、その制御方法およびプログラム 図5
  • 特許-撮像装置、その制御方法およびプログラム 図6
  • 特許-撮像装置、その制御方法およびプログラム 図7
  • 特許-撮像装置、その制御方法およびプログラム 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-09
(45)【発行日】2024-08-20
(54)【発明の名称】撮像装置、その制御方法およびプログラム
(51)【国際特許分類】
   H04N 23/60 20230101AFI20240813BHJP
   G03B 15/00 20210101ALI20240813BHJP
【FI】
H04N23/60 100
H04N23/60 300
G03B15/00 T
G03B15/00 Q
【請求項の数】 10
(21)【出願番号】P 2020023378
(22)【出願日】2020-02-14
(65)【公開番号】P2020156082
(43)【公開日】2020-09-24
【審査請求日】2023-02-09
(31)【優先権主張番号】P 2019045955
(32)【優先日】2019-03-13
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100090273
【弁理士】
【氏名又は名称】國分 孝悦
(72)【発明者】
【氏名】黒田 友樹
(72)【発明者】
【氏名】川合 良和
【審査官】高野 美帆子
(56)【参考文献】
【文献】特開2012-254221(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 23/60
G03B 15/00
(57)【特許請求の範囲】
【請求項1】
患部を撮影する撮像手段と、
前記撮像手段にて撮影された画像における前記患部のサイズの情報を取得し、前記患部のサイズの情報に基づいて、前記撮像手段により前記患部を撮影するタイミングを制御する、または、ユーザに対して撮影操作を促すタイミングを制御する制御手段と、
を有する撮像装置であって、
前記制御手段は、
前記患部のサイズが閾値以上である場合に、前記撮像手段により前記患部を撮影するように制御する、または、ユーザに対して撮影操作を促すように制御し、
前記閾値は、同一患者の過去に撮影された前記患部のサイズに基づいた値であることを特徴とする撮像装置。
【請求項2】
前記制御手段は、
前記患部のサイズが閾値以上であっても、前記患部のサイズの、その前に取得した前記患部のサイズに対する変動の割合あるいは差分が、所定範囲に収まらない間は、前記撮像手段により前記患部を撮影しないように制御する、または、ユーザに対して撮影操作を促さないように制御することを特徴とする請求項に記載の撮像装置。
【請求項3】
前記制御手段は、
前記患部のサイズが閾値以上であり、かつ、前記患部のサイズの、その前に取得した前記患部のサイズに対する変動の割合あるいは差分が所定範囲に収まる場合には、前記撮像手段により前記患部を撮影するように制御する、または、ユーザに対して撮影操作を促すように制御することを特徴とする請求項に記載の撮像装置。
【請求項4】
前記制御手段は、
前記患部のサイズが閾値以上ではない場合であっても、一定の期間が経過した場合には、前記撮像手段により前記患部を撮影するように制御する、または、ユーザに対して撮影操作を促すように制御することを特徴とする請求項ないしの何れか1項に記載の撮像装置。
【請求項5】
前記制御手段は、
前記撮像手段により撮影された前記患部を含む画像を、通信手段を介して外部に送信し、前記画像を前記外部に送信することに応じて、前記患部のサイズの情報を、前記通信手段を介して前記外部から受信することを特徴とする請求項1ないしの何れか1項に記載の撮像装置。
【請求項6】
前記制御手段は、
前記通信手段を介して前記画像を前記外部に送信するごとに、前記通信手段を介して前記患部のサイズの情報を前記外部から受信することを特徴とする請求項に記載の撮像装置。
【請求項7】
前記患部は、褥瘡であり、
前記患部のサイズは、患部領域の面積、患部領域の長径の長さおよび患部領域の短径の長さのうち少なくとも何れか一つであることを特徴とする請求項1ないしの何れか1項に記載の撮像装置。
【請求項8】
撮像手段により患部を撮影するステップと
前記撮像手段により撮影された画像における患部のサイズの情報を取得するステップと、
前記患部のサイズの情報に基づいて、前記撮像手段により前記患部を撮影するタイミングを制御する、または、ユーザに対して撮影操作を促すタイミングを制御する制御ステップと、
を有する撮像装置の制御方法であって、
前記制御ステップでは、
前記患部のサイズが閾値以上である場合に、前記撮像手段により前記患部を撮影するように制御する、または、ユーザに対して撮影操作を促すように制御し、
前記閾値は、同一患者の過去に撮影された前記患部のサイズに基づいた値であることを特徴とする撮像装置の制御方法。
【請求項9】
コンピュータを、請求項1ないしの何れか1項に記載の装置の各手段として機能させるためのプログラム。
【請求項10】
コンピュータを、請求項1ないしの何れか1項に記載の装置の各手段として機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置、その制御方法およびプログラム等に関するものである。
【背景技術】
【0002】
人や動物が横になっている状態では体重により接地面と体の接触部位が圧迫されることで褥瘡、いわゆる床ずれが発症することがある。褥瘡を発症した患者は、体圧分散ケアやスキンケア等の褥瘡ケアを施し、定期的に褥瘡を評価および管理していく必要がある。
【0003】
非特許文献1には、褥瘡評価のツールとして、日本褥瘡学会学術教育委員会が開発した褥瘡状態判定スケール、DESIGN-R(登録商標)が提案されている。DESIGN-Rは、褥瘡をはじめとする傷の治癒過程を評価するためのツールである。このスケールの命名は、深さ(Depth)、滲出液(Exudate)、大きさ(Size)、炎症・感染(Inflammation/Infection)、肉芽組織(Granulation)、壊死組織(Necrotic tissue)の各観察項目の頭文字をとっている。
【0004】
DESIGN-Rは、日常の簡便な評価のための重症度分類用と、詳細に治癒過程の流れが示される経過評価用との2つがある。重症度分類用のDESIGN-Rは、6つの評価項目を軽度と重度の2つに区分して、軽度はアルファベットの小文字を用いて表し、重度は大文字を用いて表す。
初療時に重症度分類用を用いて評価することで、褥瘡の大まかな状態を把握することができる。どの項目が問題であるかがわかるため、治療方針を容易に決定できる。
【0005】
一方、経過評価用として、経過評価に加え患者間の重症度比較もできるDESIGN-Rも定められている。Rはrating(評価・評点)を表す。各項目に異なる重み付けをしており、深さ以外の6項目の合計点(0~66点)がその褥瘡の重症度を表す。治療開始後に治療経過を詳細かつ客観的に評価でき、個人の経過評価だけでなく、患者間の重症度比較もできる。
ここで、DESIGN-RのSize評価は、皮膚損傷範囲の長径と短径(長径と直交する最大径)を測定し(cm)、各々を掛け合わせた数値であるSizeを7段階に分類するものである。この7段階とは、s0:皮膚損傷なし、s3:4未満、s6:4以上16未満、s8:16以上36未満、s9:36以上64未満、s12:64以上100未満、S15:100以上、である。
【0006】
DESIGN-Rの採点は、非特許文献1に記載があるように、褥瘡の治癒経過を評価し、適切なケア選択を行うために1週間から2週間に1回採点することが推奨されており、褥瘡は定期的に病状を評価し管理していく必要がある。また、褥瘡の病状の変化を確かめるために、評価には正確性が求められる。
現状では、褥瘡のSize評価は、患部にメジャーを当てて手作業で計測された値に基づいて決定されることが多い。具体的にはまず、皮膚の損傷範囲のうち一番長い直線距離の2点を測定し、それを長径とする。さらに長径と直交する長さを短径とし、長径と短径を掛けた値を褥瘡のSizeとしている。
【先行技術文献】
【非特許文献】
【0007】
【文献】照林社 褥瘡ガイドブック 第2版 褥瘡予防・管理ガイドライン(第4版)準拠 編集 日本褥瘡学会 ISBN13 978-4796523608 23ページ
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、褥瘡を撮影する場合には、寝たりきりの患者を半分起こして背中を撮る等、撮影者が不自然な体位になるために、適切に撮影することができない虞がある。患者の姿勢によって、褥瘡の形および面積が変わってしまうために、撮影の度に、褥瘡の見え方が変わってしまう可能性がある。そのため、褥瘡を撮影した画像を比較しても、経過を正確に比較することが困難な場合があった。なお、これは褥瘡に限られるものではなく、火傷や裂傷を撮影する場合であっても同様である。
本発明は、上述したような問題点に鑑みてなされたものであり、患部を適切に撮影できるようにすることを目的とする。
【課題を解決するための手段】
【0009】
本発明は、患部を撮影する撮像手段と、前記撮像手段にて撮影された画像における前記患部のサイズの情報を取得し、前記患部のサイズの情報に基づいて、前記撮像手段により前記患部を撮影するタイミングを制御する、または、ユーザに対して撮影操作を促すタイミングを制御する制御手段と、を有する撮像装置であって、前記制御手段は、前記患部のサイズが閾値以上である場合に、前記撮像手段により前記患部を撮影するように制御する、または、ユーザに対して撮影操作を促すように制御し、前記閾値は、同一患者の過去に撮影された前記患部のサイズに基づいた値であることを特徴とする。
【発明の効果】
【0010】
本発明によれば、患部を適切に撮影することができる。
【図面の簡単な説明】
【0011】
図1】画像処理システムの概要を示す図である。
図2】撮像装置のハードウェア構成を示す図である。
図3】画像処理装置のハードウェア構成を示す図である。
図4】画像処理システムの処理を示すフローチャートである。
図5】患部領域の面積の計算方法を説明するための図である。
図6】患部の画像データに情報を重畳する方法を説明するための図である。
図7】患部の画像データに情報を重畳する方法を説明するための図である。
図8】画像処理システムの処理を示すフローチャートである。
【発明を実施するための形態】
【0012】
以下、本発明に係る実施形態について図面を参照して説明する。
<第1の実施形態>
図1は、画像処理システム1の概要の一例を示す図である。
画像処理システム1は、手持ち可能なポータブルデバイスである撮像装置200と、画像処理装置300とを有する。本実施形態では、被写体101の患部102の病態の一例を、臀部に生じた褥瘡として説明する。
【0013】
画像処理システム1では、撮像装置200が被写体101の患部102をライブビューで撮影し、撮影したライブビューの画像データを画像処理装置300に送信する。画像処理装置300は、受信した画像データから患部102の患部領域を抽出すると共に患部領域の面積を算出して、算出した面積の情報を撮像装置200に送信する。撮像装置200は、受信した患部領域の面積が閾値以上である場合に自動的に患部102を撮影する。なお、本実施形態では、患部102が褥瘡である場合を例に挙げて説明を行うが、褥瘡に限られず、火傷や裂傷であってもよい。
【0014】
図2は、撮像装置200のハードウェア構成の一例を示す図である。
撮像装置200は、一般的な一眼カメラ、コンパクトデジタルカメラ、あるいは、オートフォーカス機能付きのカメラを備えたスマートフォンやタブレット端末等を用いることができる。
撮像ユニット211は、レンズ群212、シャッタ213、イメージセンサ214を有する。レンズ群212に含まれる複数のレンズの位置を変更することで、フォーカス位置とズーム倍率を変更することができる。レンズ群212は、露出量を調節するための絞りも備える。
【0015】
イメージセンサ214は、光学像を画像データに変換するCCDやCMOSセンサ等の電荷蓄積型の固体イメージセンサで構成される。レンズ群212およびシャッタ213を通過した被写体からの反射光はイメージセンサ214に結像される。イメージセンサ214は被写体像に応じた電気信号を生成し、生成した電気信号に基づく画像データを出力する。
【0016】
シャッタ213は、羽根部材の開閉動作を行うことによって、イメージセンサ214への露出や遮光を行い、イメージセンサ214の露光時間を制御する。なお、シャッタ213は、イメージセンサ214の駆動によって露光時間を制御する電子シャッタであってもよい。CMOSセンサで電子シャッタを行う場合には、画素ごと、あるいは、複数画素からなる領域ごと(例えばラインごと)に、画素の蓄積電荷量をゼロにするリセット走査を行う。その後、リセット走査を行った画素あるいは領域ごとに、それぞれ所定の時間を経過してから電荷の蓄積量に応じた信号を読み出す走査を行う。
ズーム制御回路215は、レンズ群212に含まれるズームレンズを駆動するためのモータを制御し、レンズ群212の光学倍率を制御する。
【0017】
測距システム216は、被写体までの距離情報を算出する。測距システム216は、一眼レフカメラに搭載された一般的な位相差方式の測距センサを用いてもよく、TOF(Time Of Flight)センサを用いてもよい。TOFセンサは、照射波の送信タイミングと、当該照射波が物体で反射された反射波の受信タイミングとの時間差(または位相差)に基づいて、当該物体までの距離を測定するセンサである。更に、測距システム216には、受光素子にPSD(Position Sensitive Device)を用いたPSD方式等を用いてもよい。
【0018】
なお、イメージセンサ214が、画素ごとに複数の光電変換領域を有し、それぞれの光電変換領域から得られた画像間の位相差から、画素あるいは領域の位置ごとに距離情報を求めることができる構成であってもよい。
また、測距システム216は、画像内の予め定められた所定の1つ、あるいは、複数の測距エリアにおける距離情報を求めるように構成してもよく、画像内の多数の画素あるいは領域の距離情報の分布を示す距離マップを求める構成としてもよい。
また、測距システム216は、画像データの高周波成分を抽出して積分し、積分値が最大となるフォーカスレンズの位置を決定するTV-AFまたはコントラストAFを行い、このフォーカスレンズの位置から距離情報を得るようにしてもよい。
【0019】
画像処理回路217は、イメージセンサ214から出力された画像データに対して、所定の画像処理を施す。画像処理回路217は、撮像ユニット211から出力された画像データ、あるいは、内部メモリ221に記憶されている画像データに対して、ホワイトバランス調整、ガンマ補正、色補間またはデモザイキング、フィルタリング等の様々な画像処理を行う。また、画像処理回路217は、画像処理を行った画像データに対して、JPEG等の規格で圧縮処理を行う。
AF制御回路218は、測距システム216で得られた距離情報に基づいて、レンズ群212に含まれるフォーカスレンズの位置を決定し、フォーカスレンズを駆動するモータを制御する。
【0020】
通信装置219は、無線のネットワークを介して、画像処理装置300等の外部機器と通信を行うための通信インターフェースである。ネットワークの具体的な一例としては、Wi-Fi(登録商標)規格に基づくネットワークが挙げられる。なお、Wi-Fiを用いた通信はルータを介して実現してもよい。また、通信装置219は、USBやLAN等の有線の通信インターフェースにより実現されてもよい。
【0021】
システム制御回路220は、CPU(Central Processing Unit)を有し、内部メモリ221に記憶されたプログラムを実行することによって、撮像装置200の全体制御を行う。また、システム制御回路220は、撮像ユニット211、ズーム制御回路215、測距システム216、画像処理回路217およびAF制御回路218等の制御を行う。なお、システム制御回路220はCPUを有する場合に限られず、FPGAやASIC等を用いてもよい。また、システム制御回路220は、所定の撮影条件に基づき、撮影条件に合致した場合はユーザにより操作部224を介して撮影指示をした場合と同様の内部信号を発生させる。
【0022】
内部メモリ221は、例えば、フラッシュメモリやSDRAM等の書き換え可能なメモリを用いることができる。内部メモリ221は、撮像装置200の動作に必要な画像撮影時のピント位置の情報等の各種設定情報、撮像ユニット211が撮影した画像データ、画像処理回路217により画像処理された画像データ等を一時的に記憶する。また、内部メモリ221は、通信装置219が画像処理装置300と通信して受信した、画像データや被写体のサイズに関する情報等の解析データを一時的に記憶してもよい。
【0023】
外部メモリ222は、撮像装置200に装着可能、あるいは、撮像装置200に内蔵された不揮発性の記録媒体である。外部メモリ222は、例えば、SDカードやCFカード等を用いることができる。外部メモリ222は、画像処理回路217により画像処理された画像データ、通信装置219が画像処理装置300と通信して受信した画像データや解析データ等を記録する。また、外部メモリ222は、再生時には記録された画像データが読み出され、撮像装置200の外部に出力することも可能である。
【0024】
表示装置223は、例えば、TFT(Thin Film Transistor)液晶ディスプレイ、有機ELディスプレイ、EVF(電子ビューファインダ)等を用いることができる。表示装置223は、内部メモリ221に一時的に記憶されている画像データや外部メモリ222に記録された画像データを表示したり、撮像装置200の設定画面等を表示したりする。
操作部224は、撮像装置200に設けられたボタン、スイッチ、キー、モードダイアル、あるいは、表示装置223に兼用されるタッチパネル等で構成される。ユーザによるモード設定や撮影指示等の指令は、操作部224を経由して、システム制御回路220に通知される。
【0025】
共通バス225は、撮像装置200の各構成部の間で信号の送受信を行うための信号線である。
【0026】
図3は、画像処理装置300のハードウェア構成の一例を示す図である。
画像処理装置300は、CPU310、記憶装置312、通信装置313、出力装置314、補助演算装置317等を備える。
CPU310は演算装置311を備える。CPU310は、記憶装置312に記憶されたプログラムを実行することで画像処理装置300の全体制御を行う。
【0027】
記憶装置312は主記憶装置315(ROMやRAM等)と補助記憶装置316(磁気ディスク装置やSSD(Solid State Drive)等)を備える。
通信装置313は、無線のネットワークを介して、撮像装置200等の外部機器と通信を行うための無線通信モジュールである。
出力装置314は、画像処理装置300に接続されたディスプレイ、プリンタあるいは外部ネットワークに、演算装置311が加工したデータや記憶装置312に記憶されたデータ等を出力する。
【0028】
補助演算装置317はCPU310の制御の下で動作する補助演算用ICである。補助演算装置317としては、GPU(Graphic Processing Unit)等を用いることができる。GPUは、元々は画像処理用のプロセッサであるが、複数の積和演算器を有し、行列計算を得意としているため、信号学習用の処理を行うプロセッサとしても用いられることができる。したがって、GPUは深層学習を行う処理において用いられることが一般的である。補助演算装置317には、例えば、NVIDIA社のJetsonTX2 moduleを用いることができる。また、補助演算装置317として、FPGAやASIC等を用いてもよい。補助演算装置317は、画像データから患部領域の抽出処理を行う。
【0029】
なお、画像処理装置300が備えるCPU310および記憶装置312は1つであっても複数であってもよい。すなわち、少なくとも1以上のCPUと少なくとも1つの記憶装置とが接続されており、少なくとも1以上のCPUが少なくとも1以上の記憶装置に記憶されたプログラムを実行した場合に、画像処理装置300は後述する各機能を実行する。また、画像処理装置300はCPU310を有する場合に限られず、FPGAやASIC等を用いてもよい。
【0030】
図4は、画像処理システム1の処理の一例を示すフローチャートである。
図4において、S401~S420が撮像装置200による処理であり、S431~S456が画像処理装置300による処理である。図4のフローチャートは、撮像装置200と画像処理装置300とが、無線LAN規格であるWi-Fi規格のネットワークにそれぞれ接続することで開始される。
【0031】
S431では、画像処理装置300は、接続する撮像装置200の探索処理を行う。
S401では、撮像装置200は、画像処理装置300による探索処理に対して応答処理を行う。なお、ネットワークを介して機器を探索する技術としては、UPnP(Universal Plug and Play)が用いられる。ここでUPnPにおいて個々の装置の識別はUUID(Universally Unique IDentifier)によって行われる。
【0032】
S402では、撮像装置200は、画像処理装置300との間で通信可能に接続されることで、ライブビュー処理を開始する。具体的には、撮像ユニット211が画像データを生成し、画像処理回路217が生成された画像データに対してライブビュー表示用の画像データを生成するための現像処理を行う。撮像ユニット211および画像処理回路217が処理を繰り返し行うことで、所定のフレームレートのライブビュー画像が表示装置223に表示される。
【0033】
S403では、測距システム216が被写体までの距離情報を求め、AF制御回路218が被写体にピントが合うようにレンズ群212の駆動制御を行うAF処理を開始する。なお、測距システム216がTV-AFまたはコントラストAFでピント位置の調整を行った場合には、ピントを合わせた状態のフォーカスレンズの位置から、ピントを合わせた像の被写体101までの距離情報を求める。ピントを合わせる位置は、画像データの中央に位置する被写体であってもよく、撮像装置200に対して最も至近側の位置に存在する被写体であってもよい。測距システム216は被写体の距離マップを得ている場合には、距離マップから注目すべき領域を推定し、推定した領域に対してピントを合わせるようにしてもよい。また、測距システム216は既に画像処理装置300によってライブビュー画像における患部領域の位置が特定されている場合には、特定されている位置に対してピントを合わせるようにしてもよい。撮像装置200は、後述するS413でレリーズボタンが押下されるまで、ライブビュー画像の表示およびAF処理を繰り返し行う。
【0034】
S404では、画像処理回路217は、ライブビュー画像の何れかの画像データに対して現像および圧縮処理を行い、例えばJPEG規格の画像データを生成する。画像処理回路217は、圧縮処理された画像データに対してリサイズ処理を行い、画像データのサイズを小さくする。
S405では、通信装置219は、リサイズ処理された画像データと、測距システム216が求めた距離情報を取得する。また、通信装置219は、必要に応じて、ズーム倍率の情報、リサイズ処理された画像データのサイズ(ピクセル数)の情報を取得する。
【0035】
S406では、通信装置219は、取得した画像データおよび距離情報を含む1以上の情報を無線通信により画像処理装置300に送信する。ここで、送信する画像データのサイズが大きいほど無線通信に時間が掛かる。したがって、システム制御回路220は許容される通信時間に基づいて、S404において画像処理回路217がリサイズ処理する画像データのサイズを決定する。ただし、画像データのサイズが小さすぎると、画像処理装置300が後述するS442において患部領域の抽出処理の精度に影響が出てしまう。したがって、システム制御回路220は、通信時間に加えて、患部領域の抽出処理の精度に基づいて、画像データのサイズを決定する。なお、S404~S406までの処理は、フレームごとに行ってもよいし、数フレームに1回の割合で行うようにしてもよい。
【0036】
次に、画像処理装置300による処理に移る。
S441では、画像処理装置300の通信装置313は、撮像装置200の通信装置219から送信された画像データおよび距離情報を含む1以上の情報を受信する。
S442では、画像処理装置300のCPU310および補助演算装置317は、受信した画像データから患部領域を抽出する。
【0037】
患部領域を抽出する手法として、深層学習による意味的領域分割を行う。すなわち、予め学習用の高性能コンピュータに、複数の実際の褥瘡の患部領域の画像を教師データとしてニューラルネットワークのモデルを学習させて、学習済モデルを生成する。補助演算装置317は、高性能コンピュータから学習済モデルを取得して、学習済モデルに基づいて画像データから褥瘡のエリアを領域推定する。ニューラルネットワークのモデルの一例として、深層学習を用いたセグメンテーション・モデルである完全畳み込みネットワーク(FCN(Fully Convolutional Network))を適用することができる。深層学習による推論は、積和演算の並列実行を得意とする補助演算装置317により処理される。ただし、深層学習による推論は、FPGAやASIC等が実行してもよい。なお、他の深層学習のモデルを用いて領域分割を実現してもよい。また、セグメンテーション手法は深層学習に限られず、例えば、グラフカット、領域成長、エッジ検出、統治分割法等を用いてもよい。更に、補助演算装置317の内部で、褥瘡の患部領域の画像を教師データとしたニューラルネットワークのモデルの学習を行ってもよい。
【0038】
S443では、CPU310の演算装置311は、抽出された患部領域のサイズに関する情報として、患部領域の面積を計算する。
図5は、患部領域の面積の計算方法を説明するための図である。
撮像装置200が一般的なカメラである場合には、図5に示すようにピンホールモデルとして扱うことができる。入射光501はレンズ212aのレンズ主点を通り、イメージセンサ214の撮像面で受光する。ここで、レンズ群212を厚みのない単一のレンズ212aに近似した場合には、前側主点と後側主点の2つの主点は一致するとみなせる。イメージセンサ214の平面に像が結像するようにレンズ212aのピント位置を調整することで、撮像装置200は被写体504に焦点を合わせることができる。撮像面からレンズ主点までの距離Fである焦点距離502を変更することで、画角θ503が変更され、ズーム倍率が変わる。このとき、撮像装置200の画角θ503と被写体距離505の関係から、幾何学的に合焦面における被写体の幅506が決定される。被写体の幅506は、三角関数を用いて計算される。すなわち、被写体の幅506は、焦点距離502に応じて変化する画角θ503と、被写体距離505との関係によって決定する。被写体504の幅を画像データのライン上のピクセル数で除算することにより、画像データ上の1ピクセルに対応する合焦面上の長さが取得される。
【0039】
演算装置311は、S442において抽出された患部領域から得られる領域のピクセル数と、画像上の1ピクセルに対応する合焦面上の長さから得られる1ピクセルの面積の積として、患部領域の面積を計算する。なお、焦点距離502と被写体距離505の組み合わせに応じた画像上の1ピクセルに対応する合焦面上の長さを予め求めておいて、テーブルデータとして予め用意してもよい。なお、画像処理装置300は、撮像装置200に応じたテーブルデータを予め記憶してもよい。
演算装置311が正しく患部領域の面積を求めるには、被写体504が平面であり、かつ、この平面が光軸に対して垂直であることが前提となる。
【0040】
S444では、演算装置311は、患部領域を抽出する対象とした画像データに対して、患部領域の抽出結果を示す情報と、患部領域のサイズに関する情報とを重畳した画像データを生成する。
図6は、患部領域の抽出結果を示す情報、および、患部領域のサイズに関する情報を画像データに重畳する方法を説明するための図である。
図6(a)に示す画像601は、重畳処理前の画像データを表示した一例であり、被写体101および患部102を含む。図6(b)に示す画像602は、重畳処理後の画像データを表示した一例である。
【0041】
図6(b)に示す画像602の左上隅には、黒地の背景に白色の文字で、患部領域の面積の文字列612を表示したラベル611が重畳される。ここでは、患部領域のサイズに関する情報は、文字列612であって、演算装置311により計算された患部領域の面積である。なお、ラベル611の背景色と文字列の色は見やすいものであれば黒、白に限られない。また、透過量を設定してαブレンドすることで、ラベル611が重なった部分の画像をユーザが確認できるようにしてもよい。
【0042】
また、画像602には、S442において抽出された患部領域の推定エリアを示す指標613が重畳される。推定エリアを示す指標613と、画像601の元となる画像データをαブレンドすることで、患部領域の面積を算出する元となる推定エリアが妥当か否かをユーザが確認することができる。推定エリアを示す指標613の色は、被写体の色と異なる色にすることが好ましい。また、αブレンドの透過率の範囲は、推定エリアと元の患部102とが識別できる範囲であることが好ましい。なお、患部領域の推定エリアを示す指標613が重畳して表示されていれば、ラベル611を表示しなくても、ユーザは推定エリアが妥当か否かを確認することができるためにS443を省略してもよい。
【0043】
S445では、画像処理装置300の通信装置313は、患部領域の抽出結果を示す情報と、患部領域のサイズに関する情報とを無線通信により撮像装置200に送信する。本実施形態では、通信装置313は、S444において生成された画像データと、患部領域のサイズに関する情報である患部領域の面積とを撮像装置200に送信する。
【0044】
次に、撮像装置200による処理に戻る。
S407では、撮像装置200の通信装置219は、画像処理装置300から送信されたデータがある場合にはデータを受信する。
S408では、システム制御回路220は、画像データと、患部領域のサイズに関する情報である患部領域の面積とを受信したか否かを判定する。受信した場合にはS409に進み、受信していない場合にはS410に進む。
【0045】
S409では、表示装置223は受信した画像データを所定時間表示する。ここでは、表示装置223は、図6(b)に示す画像602を表示する。このように、ライブビュー画像に対して、患部領域の抽出結果を示す情報等を重畳して表示することで、ユーザは患部領域の面積および推定エリアが妥当であるか否かを確認した上で、記録用の撮影に進むことができる。なお、本実施形態では、患部領域の推定エリアを示す指標613と、患部領域の面積を表示したラベル611とを表示する場合について説明したが、何れか一方だけを表示してもよいし、いずれも表示しない(S409を省略する)ようにしてもよい。
【0046】
S410は、システム制御回路220が撮影条件を満たすか否かに応じて撮影するタイミングを制御する処理であり、S411およびS412を含む。撮像装置200に対して、患部領域が傾いていると、患部領域の面積を正しく算出することができない。また、撮影の度に、撮像装置200に対する患部領域の傾きの程度が異なると、後で撮影した画像を比較した場合に、大きさがどのように変化したのかを正しく判断することができない。しかも、寝たきりの患者を常に同じ姿勢にすることは難しく、撮影者が、患部に対して撮像装置200を正対させることは容易ではない。そこで、S411およびS412では、撮像装置200が患部領域に対して正対しているか否かを推定する処理を行う。
【0047】
S411では、システム制御回路220は、受信した患部領域の面積と予め定めた閾値とを比較し、面積が閾値以上であるか否かを判定する。ここで、閾値は、初期値として予め外部メモリ222に記録されている。撮像装置200のシステム制御回路220は起動時に外部メモリ222から閾値を読み出す。閾値には、例えば、褥瘡として認識されるサイズに相当する面積が設定される。ただし、閾値は、ユーザが後から自由に変更して設定できる。したがって、撮影対象の被写体ごとに閾値を変更して設定してもよい。なお、S411において面積が閾値以上ではない場合には、S404に戻り、上述したS404以降の処理を行う。
【0048】
S411で面積が閾値以上であると判定した場合にはS412に進み、最後に受信した面積と、その直前に受信した面積との比率あるいは差分を求める。撮影者が撮像装置200を患部領域に対して正対させようとして、撮像装置200を動かしている間は、最後に受信した面積と、その直前に受信した面積は大きく変化する。具体的には、撮像装置200が患部領域に対して傾いている状態から、撮像装置200が患部領域に対して正対する状態に近づくにつれて、患部領域の面積は増加することになる。反対に、撮像装置200が患部領域に対して正対している状態から、撮像装置200が患部領域に対して傾いている状態に近づくにつれて、患部領域の面積は減少することになる。撮像装置200が患部領域に対して正対に近い状態となれば、患部領域の面積の変動は小さくなる。そこで、S412では、最後に受信した面積と、その直前に受信した面積の比率あるいは差分が、所定範囲に収まった場合に、撮像装置200が患部領域に対して正対したと推定し、S413に進む。S412において面積が閾値以上ではない場合には、S404に戻り、上述したS404以降の処理を行う。
【0049】
S413では、システム制御回路220は、レリーズ信号を発行する。ここでは、レリーズ信号は、撮像装置200の操作部224に含まれるレリーズボタンをユーザが押下して撮影指示したときに発行される信号と同等な信号であり、ユーザがレリーズボタンを押下したように擬似的に発行する。つまり、撮影者が撮像装置200を患部領域に対して正対させようとして撮像装置200を動かしている間に、正対に近い状態となったタイミングになった時点で、システム制御回路220がレリーズ信号を発行することができる。
【0050】
S414では、測距システム216が被写体までの距離情報を求め、AF制御回路218が被写体にピントが合うようにレンズ群212の駆動制御を行うAF処理を行う。この処理は、S403と同様の処理である。S403でAF処理は行われているので、このS414の処理は省略されても構わない。
S415では、撮像ユニット211は、レリーズ信号が発行されたタイミングで、記録用の静止画の撮影を行い、画像データを生成する。
【0051】
S416では、画像処理回路217は、生成された画像データに対して現像および圧縮処理を行い、例えばJPEG規格の画像データを生成する。画像処理回路217は、圧縮処理された画像データに対してリサイズ処理を行い、画像データのサイズを小さくする。このとき、患部領域を計測する際の精度を優先するために、リサイズ処理した画像データのサイズは、S404においてリサイズ処理した画像データのサイズよりも大きいか、同じ大きさであることが好ましい。リサイズ処理された画像データのサイズとして、例えば、1440ピクセル×1080ピクセルで4ビットRGBカラーの場合には略4.45メガバイトになる。ただし、リサイズ処理された画像データのサイズは、この場合に限られない。
【0052】
S417では、通信装置219は、リサイズ処理された画像データと、S414において測距システム216が求めた距離情報を取得する。また、通信装置219は、必要に応じて、ズーム倍率の情報、リサイズ処理された画像データのサイズ(ピクセル数)の情報を取得する。
S418では、通信装置219は、取得した画像データおよび距離情報を含む1以上の情報を無線通信により画像処理装置300に送信する。
【0053】
次に、画像処理装置300による処理に移る。
S451では、画像処理装置300の通信装置313は、撮像装置200の通信装置219から送信された画像データおよび距離情報を含む1以上の情報を受信する。
S452では、画像処理装置300のCPU310および補助演算装置317は、受信した画像データから患部領域を抽出する。この処理の詳細は、S442と同様であるために説明を省略する。
【0054】
S453では、CPU310の演算装置311は、抽出された患部領域のサイズに関する情報として、患部領域の面積を計算する。この処理の詳細は、S443と同様であるために説明を省略する。
S454では、演算装置311は画像解析を行う。具体的には、演算装置311はS453で求めた画像上の1ピクセルに対応する合焦面上の長さに基づいて、抽出した患部領域の長径と短径の長さ、および、患部領域に外接する矩形の面積を算出する。褥瘡の評価指標のDESIGN-Rの中で、褥瘡のサイズは長径と短径の積の値を計測することが定められている。本実施形態の画像処理システム1において、長径と短径の解析を行うことで、今までDESIGN-Rで計測されたデータとの互換性を確保することができる。DESIGN-Rは厳密な定義がないため、数学的には複数の長径と短径の算出方法が考えられる。
【0055】
長径と短径の算出方法の第1例として、演算装置311が患部領域に外接する矩形のうち、面積が最小となる矩形(Minimum bounding rectangle)を算出する。次に、この矩形の長辺と短辺の長さを算出し、長辺の長さを長径とし、短辺の長さを短径として算出する。次に、S453で求めた画像上の1ピクセルに対応する合焦面上の長さに基づいて矩形の面積を算出する。
長径と短径の算出方法の第2例として、演算装置311が長径として最大のキャリパー長である最大フェレ径を選択し、短径として最小フェレ径を選択する。なお、長径として最大のキャリパー長である最大フェレ径を選択し、短径として最大フェレ径の軸に直交する方向で計測した長さを選択してもよい。
長径と短径の計算方法は、従来の計測結果との互換性に基づいて任意の方法を選択することができる。
【0056】
なお、患部領域の長径と短径の長さおよび矩形の面積を算出する処理は、S441において受信した画像データに対しては実行されない。ライブビュー中は、患部領域の抽出結果をユーザが確認できるようにすることを目的としているために、S441において受信した画像データに対してS454に相当する画像解析の処理を省くことで、処理時間を削減している。
【0057】
S455では、演算装置311は、患部領域を抽出する対象とした画像データに対して、患部領域の抽出結果を示す情報と、患部領域のサイズに関する情報とを重畳した画像データを生成する。
図7は、患部領域の抽出結果を示す情報と、患部領域の長径と短径を含む患部領域のサイズに関する情報とを画像データに重畳する方法を説明するための図である。患部領域のサイズに関する情報は複数、想定されるために図7(a)~(c)を参照して説明する。
【0058】
図7(a)に示す画像701は、長径、短径の算出方法としてMinimum bounding rectangleを用いたものである。画像701の左上隅には、患部領域のサイズに関する情報として、図6(b)と同様に、黒地の背景に白色の文字で患部領域の面積の文字列612を表示したラベル611が重畳される。
また、画像701の右上隅には、患部領域のサイズに関する情報として、Minimum bounding rectangleに基づいて算出した長径および短径を表示したラベル712が重畳される。ラベル712には、文字列713と文字列714とが含まれる。文字列713は長径の長さ(単位はcm)を表し、文字列714は短径の長さ(単位はcm)を表す。また、画像701は、患部領域にMinimum boundingrectangleを表す矩形の枠715が重畳される。矩形の枠715を長径および短径の長さと一緒に重畳することで、ユーザは画像中のどの箇所の長さが計測されているのかを確認することができる。
【0059】
また、画像701の右下隅には、スケールバー716が重畳される。スケールバー716は患部102のサイズを測定するためのものであり、距離情報に応じて画像データに対するスケールバーのサイズが変更される。具体的には、スケールバー716は、S453で得られた画像上の1ピクセルに対応する合焦面上の長さに基づいて、1cm単位で5cmまでの目盛りを刻んだバーであり、撮像装置200の合焦面上すなわち被写体上のサイズに対応したものである。ユーザはスケールバー716を参照することにより、被写体もしくは患部102の大きさを把握することができる。
【0060】
また、画像701の左下隅には、上述したDESIGN-RのSize評価の指標717が重畳される。DESIGN-RのSize評価の指標717では、皮膚損傷範囲の、長径と短径(長径と直交する最大径)を測定し(単位はcm)、各々を掛け合わせた数値から上述した7段階に分類されている。本実施形態では長径と短径をそれぞれの算出方法によって出力された値に置き換えて得られる指標717が重畳される。
【0061】
図7(b)に示す画像702は、長径として最大フェレ径を用い、短径として最小フェレ径を用いたものである。画像702の右上隅には、長径の長さを示す文字列723および短径の長さを示す文字列724を表示したラベル722が重畳される。また、画像702の患部領域には、最大フェレ径の計測位置に相当する補助線725と、最小フェレ径に相当する補助線726が表示される。補助線725、726を長径および短径の長さを示す文字列723、724と一緒に重畳することで、ユーザは画像中のどの箇所の長さが計測されているのかを確認することができる。
【0062】
図7(c)に示す画像703は、長径が図7(b)に示す画像702と同じであるが、短径が最小フェレ径ではなく最大フェレ径の軸に直交する方向で計測した長さとして計測したものである。画像702の右上隅には、長径の長さを示す文字列723および短径の長さを示す文字列734を表示したラベル732が重畳される。また、画像703の患部領域には、最大フェレ径の計測位置に相当する補助線725と、最大フェレ径の軸に直交する方向で計測した長さに相当する補助線736が表示される。
【0063】
なお、図7(a)~(c)に示した、画像データに重畳する各種情報は、何れか1つまたは複数の組み合わせであってもよく、ユーザが表示する情報を選択できるようにしてもよい。また、図6および図7に示す画像は一例であって、患部102および患部領域のサイズに関する情報の表示形態、表示位置、サイズ、フォント、フォントサイズ、フォントの色、あるいは、位置関係等は様々な条件に応じて変更できる。
【0064】
S456では、画像処理装置300の通信装置313は、患部領域の抽出結果を示す情報と、患部領域のサイズに関する情報とを撮像装置200に送信する。本実施形態では、通信装置313は、S455において生成した画像データを撮像装置200に送信する。
【0065】
次に、撮像装置200による処理に移る。
S419では、撮像装置200の通信装置219は、画像処理装置300から送信された画像データを受信する。
S420では、表示装置223は受信した画像データを所定時間表示する。ここでは、表示装置223は、図7に示す画像701~703の何れかを表示し、所定時間が経過することでS402の処理に戻る。
【0066】
このように、本実施形態によれば、システム制御回路220は、取得した患部領域のサイズの情報に基づいて患部を撮影するタイミングを制御する。したがって、患部領域のサイズが適切になるような撮像装置200の姿勢になったときに患部を自動的に撮影するように制御できるために、ユーザが不自然な体位で撮影する場合でも患部を適切に撮影することができる。
【0067】
具体的には、システム制御回路220は、新たに受信した患部領域のサイズが閾値以上であり、かつ、新たに受信した患部領域の面積と直前に受信した患部領域の面積の変動が所定範囲である場合に、レリーズ信号を発行することで患部を自動的に撮影するように制御する。すなわち、患部領域のサイズが閾値以上である場合には、撮像装置200の姿勢が患部を撮影するのに適切な姿勢であると想定できる。また、患部領域の面積の変動が所定範囲内に収まっている場合には、撮像装置200が患部領域に対して正対に近い状態であると想定できる。したがって、このような条件を満たす場合に患部を自動的に撮影するように制御することで、ユーザは患部を適切に撮影することができる。なお、撮像装置200は、患部領域のサイズが閾値以上であるか否かを判定せずに、患部領域の面積の変動が所定範囲内に収まっているか否かのみを判定して、撮像装置200の姿勢が患部を撮影するのに適切な姿勢であると想定する構成としてもよい。
【0068】
なお、上述したS409における画像データを表示する処理は、ユーザが手動で撮影指示を行う場合に必要な処理であるために、システム制御回路220がレリーズ信号を発行する場合には、S409を省略してもよい。同様に、S444における重畳した画像データを生成する処理を省略してもよい。また、S445のうち患部領域のサイズに関する情報を送信し、画像データを送信しないようにしてもよい。
【0069】
また、本実施形態の画像処理システム1では、ユーザが撮像装置200で患部を撮影することにより、撮像装置200の表示装置223に患部領域のサイズに関する情報が表示される。したがって、褥瘡の患部領域のSize評価する場合に、医療関係者の負荷、および、評価をされる患者側の負荷を軽減することができる。また、患部領域のサイズの算出をプログラムに基づいて実行することで、医療関係者が手動で計測する場合に比べて個人差を抑制することができ、褥瘡のSize評価の正確性を向上することができる。また、褥瘡の規模をより的確に表すための指標としての患部領域の面積を算出して表示することができる。なお、ライブビュー表示の際に、ユーザが患部領域の推定エリアが妥当であるかを確認する機能はなくてもよく、S441~S445を省略してもよい。
【0070】
また、画像処理装置300は、患部領域の抽出結果を示す情報、患部領域のサイズに関する情報、および、これらの情報を重畳した画像データを記憶装置312に記憶してもよい。この場合、出力装置314は、接続されたディスプレイ等の出力機器に、記憶装置312に記憶した何れか1つ以上の情報、あるいは、画像データを出力することができる。ディスプレイに画像を表示することで、患部を撮影するユーザとは別のユーザが、リアルタイム、あるいは、過去に得られた患部の画像データとサイズに関する情報を得ることができるようになる。画像処理装置300の演算装置311は、出力装置314からディスプレイに送信する画像データに対して、任意に位置および角度を変更するスケールバー等を表示する機能を設けてもよい。このようなスケールバーを表示することで、ディスプレイを見ているユーザが患部領域の任意の箇所の長さを計測することが可能となる。このスケールバーの目盛りの幅は、S451で受信した距離情報、ズーム倍率の情報、および、リサイズ処理された画像データのサイズ(ピクセル数)の情報等に基づいて自動調整されることが望ましい。
【0071】
なお、画像処理装置300は、据え置き型であって常に電源が供給されることが好ましい。常に電源が供給されることで、画像処理装置300は、任意のタイミングで患部の画像データとサイズに関する情報を受信することができると共に、バッテリー切れを防止することができる。また、据え置き型は一般的に記憶容量が多いため、画像処理装置300は多数の画像データを記憶することができる。
また、本実施形態では褥瘡の評価指標としてDESIGN-R(登録商標)を用いているが、これに限定されるものではない。Bates-Jensen Wound Assessment Tool(BWAT)、Pressure Ulcer Scale for Healing(PUSH)、Pressure Sore Status Tool(PSST)などの、他の評価指標を用いてもよい。
【0072】
(第1の変形例)
上述した図4のフローチャートでは、S411において面積が閾値以上ではないと判定された場合にはS412に進まずに、S404以降の処理が繰り返される。しかしながら、患部領域が必ずしも一定以上のサイズであるとは限られない。したがって、図4のフローチャートのS411をNoに進んだ後に、システム制御回路220は面積が閾値以上ではない状態で一定の期間が経過したか否かを判定するようにしてもよい。一定の期間が経過していない場合にはS404に戻り、一定の期間が経過した場合には、患部領域のサイズが小さいと推定してS412に進む。なお、一定の期間とは、例えば、5秒、10秒等の時間で規定してもよく、S408においてデータを受信した回数で規定してもよい。このように、一定の期間が経過した場合にレリーズ信号を発行することで、患部領域のサイズが一定以上のサイズでない場合であっても患部を撮影することができる。
【0073】
(第2の変形例)
上述した図4のフローチャートでは、S410の処理が撮影条件を満たすか否かに応じて撮影するタイミングを制御する処理について説明したが、撮影条件を満たすか否かに応じてユーザに対して撮影操作を促すタイミングを制御する処理であってもよい。具体的には、S412からS413に進んだ場合、システム制御回路220はユーザに対して撮影操作を促すように通知してもよい。例えば、システム制御回路220は、音声やアラームにより通知したり、表示装置223に表示して通知したりすることで、ユーザに対して操作部224に含まれるレリーズボタンを押下するように促す。なお、本変形例によれば、S413の後に、システム制御回路220は操作部224に含まれるレリーズボタンをユーザが実際に押下したか否かを判定して、押下した場合にS414以降の処理に進む。
【0074】
<第2の実施形態>
第1の実施形態では、患部領域の面積と比較する閾値が予め定められている場合について説明した。本実施形態では、閾値に履歴情報を用いる場合について説明する。
具体的には、S411において、システム制御回路220は、受信した患部領域の面積と予め定めた閾値とを比較する。面積が閾値以上である場合にはS412に進み、S412において面積の変動が所定範囲内である場合には、S413に進む。S413では、システム制御回路220はレリーズ信号を発行すると共に、受信した面積を外部メモリ222に記録する。次回、患部を撮影する際に図4のフローチャートのS411に進んだ場合には、システム制御回路220は、外部メモリ222に記録した面積を閾値として読み出す。なお、システム制御回路220は、読み出した閾値にマージンを設定することで閾値としてもよい。例えば、読み出した閾値から一定のマージンで減算した値を閾値としたり、前回からの撮影の間隔が長いほど大きいマージンで減算した値を閾値としたりすることができる。
【0075】
また、システム制御回路220は、面積を記録する場合に、記録する面積と患者情報とを関連付けて記録することが好ましい。例えば、撮像装置200または画像処理装置300は、ユーザが撮像装置200または画像処理装置300に患者情報を入力したり選択したりすることで患者情報を取得することができる。画像処理装置300は患者情報を取得した場合には、S445において患者情報を面積と関連付けて撮像装置200に送信することで、撮像装置200は面積と患者情報とを関連付けて記録することができる。
【0076】
患者情報を用いる場合、S411では、システム制御回路220は患者情報に関連付けられた面積を読み出して閾値とし、受信した面積と比較する。閾値以上であった場合にはS412に進み、S412で面積の変動が所定範囲内であった場合には、S413において、システム制御回路220はレリーズ信号を発行すると共に、受信した面積を患者情報に関連付けて、更新して記録する。なお、患者情報に関連付けられた面積がない場合には、システム制御回路220は予め定められた閾値(初期値)と、受信した面積とを比較するか、あるいは、ユーザに手動撮影を行うよう表示装置223に表示を行わせるようにする。
【0077】
なお、画像処理装置300が患者情報に関連付けて面積を記録してもよい。例えば、撮像装置200が患部を撮影する前に、患者が付帯する患者情報を含むバーコードタグ等を撮影し、上述したS406において送信するときにバーコードタグの画像データも画像処理装置300に送信する。画像処理装置300は、バーコードタグの画像データから患者情報を取得して、患者情報に関連付けられた面積を閾値として読み出して、上述したS445において送信するときに撮像装置200に送信する。したがって、撮像装置200のシステム制御回路220は、受信した閾値に基づいて撮影タイミングを制御することで、患者に応じた閾値を設定できる。更に、画像処理装置300のCPU310は、患者情報に関連付けて記録している面積を、S453において計算した患部領域の面積に更新してもよい。
【0078】
このように本実施形態によれば、過去に撮影された患部領域の面積に基づいて閾値を設定して、受信した面積と比較する。通常、褥瘡は経時変化により大きさが変化するので、過去に撮影された患部領域の面積に基づいて閾値を設定することで最適な条件で患部を撮影することができる。また、同一患者の過去に撮影された患部領域の面積に基づいて閾値を設定することで、患者に応じた最適な条件で患部を撮影することができる。さらに、閾値の精度が向上するため、S411において患部領域の面積が閾値以上であった場合には、S412を省略してS413に進み、レリーズ信号を発行する構成としてもよい。
【0079】
<第3の実施形態>
第1の実施形態では、患部領域の面積の変動が所定範囲内である場合に、患部領域に対して撮像装置200が正対していると判定した。本実施形態では、距離情報を用いて、患部を含む被写体に対して撮像装置200が正対しているか否かを判定し、正対していればレリーズ信号を発行する場合について説明する。
図8は、画像処理システム1の処理の一例を示すフローチャートである。図4と同様の処理は、同一のステップ番号を付して適宜、説明を省略する。具体的に、図8のフローチャートは、図4のフローチャートのS410をS810に変更したものである。
S810は、システム制御回路220が被写体に対する撮像装置200の姿勢に基づいて撮影するタイミングを制御する処理であり、S811を含む。
【0080】
S811では、システム制御回路220は、患部を含む被写体に対して撮像装置200が正対しているか否かを判定する。上述したように、撮像装置200の測距システム216は、被写体までの距離情報、あるいは、距離情報の分布を示す距離マップを算出できる。任意の3点以上の距離情報もしくは距離マップ情報を用いることで面としての情報を取得することができる。該当箇所の距離情報が一致、あるいは、所定以内の差分であった場合に、被写体と撮像装置200が正対していると判定することができる。
したがって、システム制御回路220は、測距システム216が算出した距離情報あるいは距離マップ情報に基づいて、被写体に対して撮像装置200が正対しているか否かを判定することができる。正対していると判定した場合にはS413に進み、正対していないと判定した場合にはS404に戻る。
【0081】
このように本実施形態によれば、被写体に対する撮像装置200の姿勢に基づいて撮影するタイミングを制御する。したがって、被写体に対して撮像装置200が正対している場合にレリーズ信号を発行することができるので患部を適切に撮影することができる。
【0082】
以上、本発明を種々の実施形態および変形例と共に説明したが、本発明は上述した実施形態および変形例にのみ限定されるものではなく、本発明の範囲内で変更等が可能であり、上述した実施形態および変形例を適時、組み合わせてもよい。
例えば、第1の実施形態と第3の実施形態を組み合わせてもよい。具体的には、システム制御回路220は、距離情報に基づいて被写体に対して撮像装置200が正対しているか否かを判定して、正対していると判定した場合に、受信した面積と閾値とを比較して、閾値以上である場合にレリーズ信号を発行してもよい。また、システム制御回路220は、受信した面積が閾値以上であるか否かを判定して、閾値以上である場合に、距離情報に基づいて撮像装置200と被写体が正対しているか否かを判定して、正対している場合にレリーズ信号を発行してもよい。
【0083】
また、上述した実施形態では、患部領域のサイズに関する情報が患部領域の面積である場合について説明したが、この場合に限られず、患部領域の面積、患部領域の長径の長さ、および、患部領域の短径の長さの少なくとも何れか一つであってもよい。患部領域のサイズに関する情報を、患部領域の長径の長さまたは患部領域の短径の長さにする場合には、S408では、画像処理装置300から患部領域の長径の長さまたは患部領域の短径の長さを取得する。S411では、システム制御回路220は、患部領域の長径の長さまたは患部領域の短径の長さが予め定めた閾値以上であるか否かを判定することができる。
【0084】
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【符号の説明】
【0085】
1:画像処理システム
200:撮像装置
211:撮像ユニット
216:測距システム
219:通信装置
300:画像処理装置
310:CPU
313:通信装置
図1
図2
図3
図4
図5
図6
図7
図8