知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-26
(45)【発行日】2024-08-05
(54)【発明の名称】撮像装置、情報処理装置および制御方法
(51)【国際特許分類】
A61B 5/107 20060101AFI20240729BHJP
G16H 40/60 20180101ALI20240729BHJP
【ＦＩ】
A61B5/107 300
G16H40/60
【請求項の数】
13
(21)【出願番号】P 2020023400
(22)【出願日】2020-02-14
(65)【公開番号】P2020151461
(43)【公開日】2020-09-24
【審査請求日】2023-02-09
(31)【優先権主張番号】P 2019045041
(32)【優先日】2019-03-12
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100090273
【弁理士】
【氏名又は名称】國分 孝悦
(72)【発明者】
【氏名】日高 與佐人
(72)【発明者】
【氏名】川合 良和
【審査官】佐々木 創太郎
(56)【参考文献】
【文献】特開２０１５－１７２８９１（ＪＰ，Ａ）
【文献】特開２０１７－２１６００５（ＪＰ，Ａ）
【文献】特開２０１７－２０５６１５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ５／０６－ ５／２２
Ａ６１Ｂ ６／００－ ６／５８
Ｇ０６Ｑ ５０／２２
Ｇ１６Ｈ １０／００－８０／００
Ｈ０４Ｎ ２３／６０
Ｈ０４Ｎ ２３／６３
Ｇ０３Ｂ １５／００
Ｇ０３Ｂ １７／１８
(57)【特許請求の範囲】
【請求項1】
撮像手段と、被写体の患部を過去に撮影したときの前記被写体の姿勢情報を取得し、前記撮像手段により前記被写体の患部を撮影する場合に、前記被写体の姿勢情報をユーザに通知するように制御する制御手段と、を有する撮像装置であって、
前記制御手段は、
前記撮像手段により撮影されたライブビューの画像データに前記被写体の姿勢情報を重畳して表示装置に表示させるか、または前記撮像手段により撮影されたライブビューの画像データが表示された画面からユーザによる操作に応じて異なる画面に遷移することで、前記被写体の姿勢情報を表示装置に表示させ、
前記撮像手段により撮影されたライブビューの画像データは、該撮像装置から外部装置に送信され前記外部装置で画像処理された後に前記外部装置から受信した画像データであることを特徴とする撮像装置。
【請求項2】
撮像手段と、
被写体の患部を過去に撮影したときの前記被写体の姿勢情報を取得し、前記撮像手段により前記被写体の患部を撮影する場合に、前記被写体の姿勢情報をユーザに通知するように制御する制御手段と、
前記撮像手段により前記被写体の患部を撮影する場合に、前記被写体の姿勢情報を外部装置に送信する通信手段と、を有する撮像装置であって、
前記制御手段は、
前記通信手段により送信され、前記外部装置で記憶された前記姿勢情報を、前記通信手段を介して前記外部装置から受信して表示装置に表示させることを特徴とする撮像装置。
【請求項3】
前記制御手段は、前記姿勢情報として、前記被写体の姿勢を模式的に示した表示アイテム、前記被写体の姿勢を撮影した画像データ、前記被写体の姿勢を撮影したときの該撮像装置の傾き情報、および、前記被写体の姿勢を文字で表した文字情報のうち少なくとも何れか一つを前記表示装置に表示させることを特徴とする請求項１または２に記載の撮像装置。
【請求項4】
前記患部は、褥瘡であり、前記姿勢情報は、前記被写体が少なくとも、うつ伏せ、横臥、および、座位のうち何れかの一つの姿勢を識別できる情報を含むことを特徴とする請求項１ないし３の何れか１項に記載の撮像装置。
【請求項5】
前記通信手段は、前記撮像手段により前記被写体の姿勢を撮影した画像データを前記外部装置に送信することを特徴とする請求項２に記載の撮像装置。
【請求項6】
前記通信手段は、複数の姿勢情報からユーザにより選択された姿勢情報を前記外部装置に送信することを特徴とする請求項２に記載の撮像装置。
【請求項7】
被写体の識別情報を撮像装置から受信し、前記識別情報に関連付けられた、前記被写体の患部を過去に撮影したときの前記被写体の姿勢情報を、前記撮像装置に送信する通信手段を有する情報処理装置であって、
前記被写体の識別情報と前記被写体の姿勢情報が関連付けられて記憶装置に記憶されており、
前記通信手段は、前記被写体の識別情報と前記被写体の姿勢情報とを前記撮像装置から受信し、
該情報処理装置は、
前記通信手段により受信した前記識別情報と同一の識別情報に関連付けられて前記記憶装置に記憶された姿勢情報が、前記通信手段により受信した姿勢情報と一致していない場合、前記記憶装置に記憶された姿勢情報を前記通信手段により受信した姿勢情報に更新する制御手段を有することを特徴とする情報処理装置。
【請求項8】
被写体の識別情報を撮像装置から受信し、前記識別情報に関連付けられた、前記被写体の患部を過去に撮影したときの前記被写体の姿勢情報を、前記撮像装置に送信する通信手段を有する情報処理装置であって、
前記通信手段は、前記被写体の識別情報と前記被写体の姿勢情報とを前記撮像装置から受信し、
該情報処理装置は、
前記通信手段により受信した前記識別情報に対応する被写体情報が記憶装置に記憶されていない場合に、前記通信手段により受信した、前記識別情報と前記姿勢情報とを関連付けて前記記憶装置に記憶させる制御手段を有することを特徴とする情報処理装置。
【請求項9】
撮像手段を有する撮像装置の制御方法であって、
被写体の患部を過去に撮影したときの前記被写体の姿勢情報を取得し、前記撮像手段により前記被写体の患部を撮影する場合に、前記被写体の姿勢情報をユーザに通知するように制御する制御ステップを有し、
前記制御ステップでは、
前記撮像手段により撮影されたライブビューの画像データに前記被写体の姿勢情報を重畳して表示装置に表示させるか、または前記撮像手段により撮影されたライブビューの画像データが表示された画面からユーザによる操作に応じて異なる画面に遷移することで、前記被写体の姿勢情報を表示装置に表示させ、
前記撮像手段により撮影されたライブビューの画像データは、該撮像装置から外部装置に送信され前記外部装置で画像処理された後に前記外部装置から受信した画像データであることを特徴とする撮像装置の制御方法。
【請求項10】
撮像手段を有する撮像装置の制御方法であって、
被写体の患部を過去に撮影したときの前記被写体の姿勢情報を取得し、前記撮像手段により前記被写体の患部を撮影する場合に、前記被写体の姿勢情報をユーザに通知するように制御する制御ステップと、
前記撮像手段により前記被写体の患部を撮影する場合に、前記被写体の姿勢情報を外部装置に送信する通信ステップと、を有し、
前記制御ステップでは、
前記通信ステップにより送信され、前記外部装置で記憶された前記姿勢情報を、通信手段を介して前記外部装置から受信して表示装置に表示させることを特徴とする撮像装置の制御方法。
【請求項11】
被写体の識別情報を撮像装置から受信し、前記識別情報に関連付けられた、前記被写体の患部を過去に撮影したときの前記被写体の姿勢情報を、前記撮像装置に送信する通信手段を有する情報処理装置の制御方法であって、
前記被写体の識別情報と前記被写体の姿勢情報が関連付けられて記憶装置に記憶されており、
前記通信手段は、前記被写体の識別情報と前記被写体の姿勢情報とを前記撮像装置から受信し、
該情報処理装置は、
前記通信手段により受信した前記識別情報と同一の識別情報に関連付けられて前記記憶装置に記憶された姿勢情報が、前記通信手段により受信した姿勢情報と一致していない場合、前記記憶装置に記憶された姿勢情報を前記通信手段により受信した姿勢情報に更新する制御ステップを有することを特徴とする情報処理装置の制御方法。
【請求項12】
被写体の識別情報を撮像装置から受信し、前記識別情報に関連付けられた、前記被写体の患部を過去に撮影したときの前記被写体の姿勢情報を、前記撮像装置に送信する通信手段を有する情報処理装置の制御方法であって、
前記通信手段は、前記被写体の識別情報と前記被写体の姿勢情報とを前記撮像装置から受信し、
該情報処理装置は、
前記通信手段により受信した前記識別情報に対応する被写体情報が記憶装置に記憶されていない場合に、前記通信手段により受信した、前記識別情報と前記姿勢情報とを関連付けて前記記憶装置に記憶させる制御ステップを有することを特徴とする情報処理装置の制御方法。
【請求項13】
コンピュータを、請求項１ないし８の何れか１項に記載の装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置、情報処理装置、制御方法およびプログラムに関するものである。
【背景技術】
【0002】
人や動物が横になっている状態では体重により接地面と体の接触部位が圧迫されることで褥瘡、いわゆる床ずれが発症することがある。褥瘡を発症した患者は、体圧分散ケアやスキンケア等の褥瘡ケアを施し、定期的に褥瘡を評価および管理していく必要がある。
【0003】
非特許文献１には、褥瘡評価のツールとして、日本褥瘡学会学術教育委員会が開発した褥瘡状態判定スケール、ＤＥＳＩＧＮ－Ｒ（登録商標）が提案されている。ＤＥＳＩＧＮ－Ｒは、褥瘡をはじめとする傷の治癒過程を評価するためのツールである。このスケールの命名は、深さ（Ｄｅｐｔｈ）、滲出液（Ｅｘｕｄａｔｅ）、大きさ（Ｓｉｚｅ）、炎症・感染（Ｉｎｆｌａｍｍａｔｉｏｎ／Ｉｎｆｅｃｔｉｏｎ）、肉芽組織（Ｇｒａｎｕｌａｔｉｏｎ）、壊死組織（Ｎｅｃｒｏｔｉｃ ｔｉｓｓｕｅ）の各観察項目の頭文字をとっている。
【0004】
ＤＥＳＩＧＮ－Ｒは、日常の簡便な評価のための重症度分類用と、詳細に治癒過程の流れが示される経過評価用との２つがある。重症度分類用のＤＥＳＩＧＮ－Ｒは、６つの評価項目を軽度と重度の２つに区分して、軽度はアルファベットの小文字を用いて表し、重度は大文字を用いて表す。
初療時に重症度分類用を用いて評価することで、褥瘡の大まかな状態を把握することができる。どの項目が問題であるかがわかるため、治療方針を容易に決定できる。
初療時に重症度分類用を用いて評価することで、褥瘡の大まかな状態を把握することができる。どの項目が問題であるかがわかるため、治療方針を容易に決定できる。
【0005】
一方、経過評価用として、経過評価に加え患者間の重症度比較もできるＤＥＳＩＧＮ－Ｒも定められている。Ｒはｒａｔｉｎｇ（評価・評点）を表す。各項目に異なる重み付けをしており、深さ以外の６項目の合計点（０～６６点）がその褥瘡の重症度を表す。治療開始後に治療経過を詳細かつ客観的に評価でき、個人の経過評価だけでなく、患者間の重症度比較もできる。
ここで、ＤＥＳＩＧＮ－ＲのＳｉｚｅ評価は、皮膚損傷範囲の長径と短径（長径と直交する最大径）を測定し（ｃｍ）、各々を掛け合わせた数値であるＳｉｚｅを７段階に分類するものである。この７段階とは、ｓ０：皮膚損傷なし、ｓ３：４未満、ｓ６：４以上１６未満、ｓ８：１６以上３６未満、ｓ９：３６以上６４未満、ｓ１２：６４以上１００未満、Ｓ１５：１００以上、である。
ここで、ＤＥＳＩＧＮ－ＲのＳｉｚｅ評価は、皮膚損傷範囲の長径と短径（長径と直交する最大径）を測定し（ｃｍ）、各々を掛け合わせた数値であるＳｉｚｅを７段階に分類するものである。この７段階とは、ｓ０：皮膚損傷なし、ｓ３：４未満、ｓ６：４以上１６未満、ｓ８：１６以上３６未満、ｓ９：３６以上６４未満、ｓ１２：６４以上１００未満、Ｓ１５：１００以上、である。
【0006】
ＤＥＳＩＧＮ－Ｒの採点は、非特許文献１に記載があるように、褥瘡の治癒経過を評価し、適切なケア選択を行うために１週間から２週間に１回採点することが推奨されており、褥瘡は定期的に病状を評価し管理していく必要がある。また、褥瘡の病状の変化を確かめるために、評価には正確性が求められる。
【先行技術文献】
【非特許文献】
【0007】
【文献】照林社 褥瘡ガイドブック 第２版 褥瘡予防・管理ガイドライン（第４版）準拠 編集 日本褥瘡学会 ＩＳＢＮ１３ ９７８－４７９６５２３６０８ ２３ページ
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、褥瘡を撮影する場合であっても患者の姿勢によって、褥瘡の形、面積、およびポケット形状が変わってしまうために、撮影の度に、褥瘡の見え方が変わってしまう可能性がある。そのため、褥瘡を撮影した画像を比較しても、経過を正確に比較することが困難な場合があった。なお、これは褥瘡に限られるものではなく、火傷や裂傷を撮影する場合であっても同様である。
本発明は、上述したような問題点に鑑みてなされたものであり、患部の比較を容易にするための画像の撮影ができるようにすることを目的とする。
本発明は、上述したような問題点に鑑みてなされたものであり、患部の比較を容易にするための画像の撮影ができるようにすることを目的とする。
【課題を解決するための手段】
【0009】
本発明の撮像装置は、撮像手段と、被写体の患部を過去に撮影したときの前記被写体の姿勢情報を取得し、前記撮像手段により前記被写体の患部を撮影する場合に、前記被写体の姿勢情報をユーザに通知するように制御する制御手段と、を有し、前記制御手段は、前記撮像手段により撮影されたライブビューの画像データに前記被写体の姿勢情報を重畳して表示装置に表示させるか、または前記撮像手段により撮影されたライブビューの画像データが表示された画面からユーザによる操作に応じて異なる画面に遷移することで、前記被写体の姿勢情報を表示装置に表示させ、前記撮像手段により撮影されたライブビューの画像データは、該撮像装置から外部装置に送信され前記外部装置で画像処理された後に前記外部装置から受信した画像データであることを特徴とする。
【発明の効果】
【0010】
本発明によれば、患部の比較を容易にするための画像の撮影ができるようになる。
【図面の簡単な説明】
【0011】
【図1】情報処理システムの機能構成を示す図である。
【図2】被写体を示す図である。
【図3】撮像装置のハードウェア構成を示す図である。
【図4】情報処理装置のハードウェア構成を示す図である。
【図5】情報処理システムの処理を示すフローチャートである。
【図6】患部領域の面積の計算方法を説明するための図である。
【図7】患部の画像データに情報を重畳する方法を説明するための図である。
【図8】患部の画像データに情報を重畳する方法を説明するための図である。
【図9】被写体情報のデータ構成を示す図である。
【図10】姿勢情報を含む画像データを示す図である。
【発明を実施するための形態】
【0012】
以下、本発明に係る実施形態について図面を参照して説明する。
＜第１の実施形態＞
図１は、情報処理システム１の機能構成の一例を示す図である。
情報処理システム１は、手持ち可能なポータブルデバイスである撮像装置２００と、情報処理装置３００とを有する。
＜第１の実施形態＞
図１は、情報処理システム１の機能構成の一例を示す図である。
情報処理システム１は、手持ち可能なポータブルデバイスである撮像装置２００と、情報処理装置３００とを有する。
【0013】
図２は、情報処理システム１により患部を評価される患者である被写体１０１の一例を示す図である。本実施形態では、被写体１０１の臀部に生じた患部１０２の病態の一例を、臀部に生じた褥瘡として説明する。
被写体１０１にはバーコードタグ１０３が付帯されている。バーコードタグ１０３には被写体を識別する識別情報としての患者ＩＤが含まれる。したがって、情報処理システム１では、被写体１０１の識別情報と、患部１０２を撮影した画像データとを関連付けて管理することができる。なお、識別情報は、バーコードタグ１０３に限られず、ＱＲコード（登録商標）等の２次元コードや数値であってもよく、診察カード等のＩＤカードに付帯されるデータやＩＤ番号であってもよい。
被写体１０１にはバーコードタグ１０３が付帯されている。バーコードタグ１０３には被写体を識別する識別情報としての患者ＩＤが含まれる。したがって、情報処理システム１では、被写体１０１の識別情報と、患部１０２を撮影した画像データとを関連付けて管理することができる。なお、識別情報は、バーコードタグ１０３に限られず、ＱＲコード（登録商標）等の２次元コードや数値であってもよく、診察カード等のＩＤカードに付帯されるデータやＩＤ番号であってもよい。
【0014】
情報処理システム１では、撮像装置２００は被写体１０１の患部１０２と、識別情報であるバーコードタグ１０３を撮影し、情報処理装置３００に送信する。情報処理装置３００は、受信した識別情報に関連付けられた姿勢情報として、過去に同一の被写体１０１の患部１０２を撮影したときの被写体１０１の姿勢情報を撮像装置２００に送信する。撮像装置２００は受信した姿勢情報に基づく表示をすることで、ユーザは過去に同一の被写体１０１の患部１０２を撮影したときの被写体１０１の姿勢を把握することができる。なお、姿勢情報には、被写体が少なくとも、うつ伏せ、横臥（右下横臥または左下横臥）、および、座位のうち何れか一つの姿勢を識別できる情報を含んでいればよい。また、本実施形態では、患部１０２が褥瘡である場合を例に挙げて説明を行うが、褥瘡に限られず、火傷や裂傷であってもよい。
【0015】
図３は、撮像装置２００のハードウェア構成の一例を示す図である。
撮像装置２００は、一般的な一眼カメラ、コンパクトデジタルカメラ、あるいは、オートフォーカス機能付きのカメラを備えたスマートフォンやタブレット端末等を用いることができる。
撮像ユニット２１１は、レンズ群２１２、シャッタ２１３、イメージセンサ２１４を有する。レンズ群２１２に含まれる複数のレンズの位置を変更することで、フォーカス位置とズーム倍率を変更することができる。レンズ群２１２は、露出量を調節するための絞りも備える。
撮像装置２００は、一般的な一眼カメラ、コンパクトデジタルカメラ、あるいは、オートフォーカス機能付きのカメラを備えたスマートフォンやタブレット端末等を用いることができる。
撮像ユニット２１１は、レンズ群２１２、シャッタ２１３、イメージセンサ２１４を有する。レンズ群２１２に含まれる複数のレンズの位置を変更することで、フォーカス位置とズーム倍率を変更することができる。レンズ群２１２は、露出量を調節するための絞りも備える。
【0016】
イメージセンサ２１４は、光学像を電気データに変換するＣＣＤやＣＭＯＳセンサ等の電荷蓄積型の固体イメージセンサで構成される。レンズ群２１２およびシャッタ２１３を通過した被写体からの反射光はイメージセンサ２１４に結像される。イメージセンサ２１４は被写体像に応じた電気信号を生成し、生成した電気信号に基づく画像データを出力する。
【0017】
シャッタ２１３は、羽根部材の開閉動作を行うことによって、イメージセンサ２１４への露出や遮光を行い、イメージセンサ２１４の露光時間を制御する。なお、シャッタ２１３は、イメージセンサ２１４の駆動によって露光時間を制御する電子シャッタであってもよい。ＣＭＯＳセンサで電子シャッタを行う場合には、画素ごと、あるいは、複数画素からなる領域ごと（例えばラインごと）に、画素の蓄積電荷量をゼロにするリセット走査を行う。その後、リセット走査を行った画素あるいは領域ごとに、それぞれ所定の時間を経過してから電荷の蓄積量に応じた信号を読み出す走査を行う。
ズーム制御回路２１５は、レンズ群２１２に含まれるズームレンズを駆動するためのモータを制御し、レンズ群２１２の光学倍率を制御する。
ズーム制御回路２１５は、レンズ群２１２に含まれるズームレンズを駆動するためのモータを制御し、レンズ群２１２の光学倍率を制御する。
【0018】
測距システム２１６は、被写体までの距離情報を算出する。測距システム２１６は、ＡＦ制御回路２１８の出力に基づいて距離情報を生成してもよい。また、画面内にＡＦの対象となるエリアが複数ある場合には、測距システム２１６はＡＦ制御回路２１８がＡＦ処理をエリアごとに繰り返して動作させることで、エリアごとに距離情報を生成してもよい。なお、測距システム２１６は、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）センサを用いてもよい。ＴＯＦセンサは、照射波の送信タイミングと、当該照射波が物体で反射された反射波の受信タイミングとの時間差（または位相差）に基づいて、当該物体までの距離を測定するセンサである。更に、測距システム２１６には、受光素子にＰＳＤ（Ｐｏｓｉｔｉｏｎ Ｓｅｎｓｉｔｉｖｅ Ｄｅｖｉｃｅ）を用いたＰＳＤ方式等を用いてもよい。
【0019】
画像処理回路２１７は、イメージセンサ２１４から出力された画像データに対して、所定の画像処理を施す。画像処理回路２１７は、撮像ユニット２１１から出力された画像データ、あるいは、内部メモリ２２１に記憶されている画像データに対して、ホワイトバランス調整、ガンマ補正、色補間またはデモザイキング、フィルタリング等の様々な画像処理を行う。また、画像処理回路２１７は、画像処理を行った画像データに対して、ＪＰＥＧ等の規格で圧縮処理を行う。
【0020】
ＡＦ制御回路２１８は、測距システム２１６で得られた距離情報に基づいて、レンズ群２１２に含まれるフォーカスレンズの位置を決定し、フォーカスレンズを駆動するモータを制御する。ＡＦ制御回路２１８は、画像データの高周波成分を抽出して積分し、積分値が最大となるフォーカスレンズの位置を決定するＴＶ－ＡＦまたはコントラストＡＦを行ってもよい。なお、フォーカス制御方式は、コントラストＡＦに限られず、位相差ＡＦやその他のＡＦ方式であってもよい。また、ＡＦ制御回路２１８は焦点の調節量、または、フォーカスレンズの位置を検出し、フォーカスレンズの位置に基づいて被写体までの距離情報を取得してもよい。
【0021】
通信装置２１９は、無線のネットワークを介して、情報処理装置３００等の外部機器と通信を行うための通信インターフェースである。ネットワークの具体的な一例としては、Ｗｉ－Ｆｉ（登録商標）規格に基づくネットワークが挙げられる。なお、Ｗｉ－Ｆｉを用いた通信はルータを介して実現してもよい。また、通信装置２１９は、ＵＳＢやＬＡＮ等の有線の通信インターフェースにより実現されてもよい。
【0022】
システム制御回路２２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有し、内部メモリ２２１内に記憶されたプログラムを実行することによって、撮像装置２００の全体制御を行う。また、システム制御回路２２０は、撮像ユニット２１１、ズーム制御回路２１５、測距システム２１６、画像処理回路２１７およびＡＦ制御回路２１８等の制御を行う。なお、システム制御回路２２０はＣＰＵを有する場合に限られず、ＦＰＧＡやＡＳＩＣ等を用いてもよい。
【0023】
内部メモリ２２１は、例えば、フラッシュメモリやＳＤＲＡＭ等の書き換え可能なメモリを用いることができる。内部メモリ２２１は、撮像装置２００の動作に必要な画像撮影時のピント位置の情報等の各種設定情報、撮像ユニット２１１が撮影した画像データ、画像処理回路２１７により画像処理された画像データ等を一時的に記憶する。また、内部メモリ２２１は、通信装置２１９が情報処理装置３００と通信して受信した、画像データや被写体のサイズに関する情報等の解析データを一時的に記憶してもよい。
【0024】
外部メモリ２２２は、撮像装置２００に装着可能、あるいは、撮像装置２００に内蔵された不揮発性の記録媒体である。外部メモリ２２２は、例えば、ＳＤカードやＣＦカード等を用いることができる。外部メモリ２２２は、画像処理回路２１７により画像処理された画像データ、通信装置２１９が情報処理装置３００と通信して受信した画像データや解析データ等を記録する。また、外部メモリ２２２は、再生時には記録された画像データが読み出され、撮像装置２００の外部に出力することも可能である。
【0025】
表示装置２２３は、例えば、ＴＦＴ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）液晶ディスプレイ、有機ＥＬディスプレイ、ＥＶＦ（電子ビューファインダ）等を用いることができる。表示装置２２３は、内部メモリ２２１に一時的に記憶されている画像データや外部メモリ２２２に記録された画像データを表示したり、撮像装置２００の設定画面等を表示したりする。
【0026】
操作部２２４は、撮像装置２００に設けられたボタン、スイッチ、キー、モードダイアル、あるいは、表示装置２２３に兼用されるタッチパネル等で構成される。ユーザによるモード設定や撮影指示等の指令は、操作部２２４を経由して、システム制御回路２２０に通知される。
傾き検知装置２２５は、撮像装置２００の傾きを検知する。本実施形態では、撮像装置２００の傾きは水平を基準とした角度をいうものとする。傾き検知装置２２５は、例えば、ジャイロセンサ、加速度センサ等を用いることができる。
共通バス２２６は、撮像装置２００の各構成部の間で信号の送受信を行うための信号線である。
傾き検知装置２２５は、撮像装置２００の傾きを検知する。本実施形態では、撮像装置２００の傾きは水平を基準とした角度をいうものとする。傾き検知装置２２５は、例えば、ジャイロセンサ、加速度センサ等を用いることができる。
共通バス２２６は、撮像装置２００の各構成部の間で信号の送受信を行うための信号線である。
【0027】
図４は、情報処理装置３００のハードウェア構成の一例を示す図である。
情報処理装置３００は、ＣＰＵ３１０、記憶装置３１２、通信装置３１３、出力装置３１４、補助演算装置３１７等を備える。
ＣＰＵ３１０は演算装置３１１を備える。ＣＰＵ３１０は、記憶装置３１２に記憶されたプログラムを実行することで情報処理装置３００の全体制御を行うと共に、図１に示す情報処理装置３００の機能構成が実現される。
情報処理装置３００は、ＣＰＵ３１０、記憶装置３１２、通信装置３１３、出力装置３１４、補助演算装置３１７等を備える。
ＣＰＵ３１０は演算装置３１１を備える。ＣＰＵ３１０は、記憶装置３１２に記憶されたプログラムを実行することで情報処理装置３００の全体制御を行うと共に、図１に示す情報処理装置３００の機能構成が実現される。
【0028】
記憶装置３１２は主記憶装置３１５（ＲＯＭやＲＡＭ等）と補助記憶装置３１６（磁気ディスク装置やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等）を備える。
通信装置３１３は、無線のネットワークを介して、撮像装置２００等の外部機器と通信を行うための無線通信モジュールである。
出力装置３１４は、情報処理装置３００に接続されたディスプレイ、プリンタあるいは外部ネットワークに、演算装置３１１が加工したデータや記憶装置３１２に記憶されたデータ等を出力する。
通信装置３１３は、無線のネットワークを介して、撮像装置２００等の外部機器と通信を行うための無線通信モジュールである。
出力装置３１４は、情報処理装置３００に接続されたディスプレイ、プリンタあるいは外部ネットワークに、演算装置３１１が加工したデータや記憶装置３１２に記憶されたデータ等を出力する。
【0029】
補助演算装置３１７はＣＰＵ３１０の制御の下で動作する補助演算用ＩＣである。補助演算装置３１７は、ＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等が用いることができる。ＧＰＵは、元々は画像処理用のプロセッサであるが、複数の積和演算器を有し、行列計算を得意としているため、信号学習用の処理を行うプロセッサとしても用いられることができる。したがって、ＧＰＵは深層学習を行う処理において用いられることが一般的である。補助演算装置３１７には、例えば、ＮＶＩＤＩＡ社のＪｅｔｓｏｎＴＸ２ ｍｏｄｕｌｅを用いることができる。また、補助演算装置３１７として、ＦＰＧＡやＡＳＩＣ等を用いてもよい。補助演算装置３１７は、画像データから患部領域の抽出処理を行う。
【0030】
なお、情報処理装置３００が備えるＣＰＵ３１０および記憶装置３１２は１つであっても複数であってもよい。すなわち、少なくとも１以上のＣＰＵと少なくとも１つの記憶装置とが接続されており、少なくとも１以上のＣＰＵが少なくとも１以上の記憶装置に記憶されたプログラムを実行した場合に、情報処理装置３００は後述する各機能を実行する。なお、ＣＰＵに限られず、ＦＰＧＡやＡＳＩＣ等であってもよい。
【0031】
図５は、情報処理システム１の処理の一例を示すフローチャートである。
図５において、Ｓ５０１～Ｓ５１９が撮像装置２００による処理であり、Ｓ５２１～Ｓ５５０が情報処理装置３００による処理である。図５のフローチャートは、撮像装置２００と情報処理装置３００とが、無線ＬＡＮ規格であるＷｉ－Ｆｉ規格のネットワークにそれぞれ接続することで開始される。
図５において、Ｓ５０１～Ｓ５１９が撮像装置２００による処理であり、Ｓ５２１～Ｓ５５０が情報処理装置３００による処理である。図５のフローチャートは、撮像装置２００と情報処理装置３００とが、無線ＬＡＮ規格であるＷｉ－Ｆｉ規格のネットワークにそれぞれ接続することで開始される。
【0032】
Ｓ５２１では、情報処理装置３００のＣＰＵ３１０は、接続する撮像装置２００の探索処理を、通信装置３１３を介して行う。
Ｓ５０１では、撮像装置２００のシステム制御回路２２０は、情報処理装置３００による探索処理に対して応答処理を、通信装置２１９を介して行う。なお、ネットワークを介して機器を探索する技術としては、ＵＰｎＰ（Ｕｎｉｖｅｒｓａｌ Ｐｌｕｇ ａｎｄ Ｐｌａｙ）が用いられる。ここでＵＰｎＰにおいて個々の装置の識別はＵＵＩＤ（Ｕｎｉｖｅｒｓａｌｌｙ Ｕｎｉｑｕｅ ＩＤｅｎｔｉｆｉｅｒ）によって行われる。
Ｓ５０１では、撮像装置２００のシステム制御回路２２０は、情報処理装置３００による探索処理に対して応答処理を、通信装置２１９を介して行う。なお、ネットワークを介して機器を探索する技術としては、ＵＰｎＰ（Ｕｎｉｖｅｒｓａｌ Ｐｌｕｇ ａｎｄ Ｐｌａｙ）が用いられる。ここでＵＰｎＰにおいて個々の装置の識別はＵＵＩＤ（Ｕｎｉｖｅｒｓａｌｌｙ Ｕｎｉｑｕｅ ＩＤｅｎｔｉｆｉｅｒ）によって行われる。
【0033】
Ｓ５０２では、システム制御回路２２０は、表示装置２２３を用いて、患部を撮影するときの被写体の姿勢を把握できる全体姿勢と、被写体を特定するためのバーコードタグを撮影するよう、ユーザに案内を出す。撮像ユニット２１１は、ユーザによる撮影指示に応じて、被写体の姿勢および被写体のバーコードタグをそれぞれ撮影する。
ここでは、被写体の患部を撮影する前に、被写体には、例えば、うつ伏せ、横臥または座位の姿勢になってもらい、患部を撮影するときの被写体の姿勢を把握できる全体姿勢を撮影する。このとき、システム制御回路２２０は、傾き検知装置２２５から出力される傾き情報に基づいて、姿勢を撮影したときの撮像装置２００の傾き情報を生成する。
ここでは、被写体の患部を撮影する前に、被写体には、例えば、うつ伏せ、横臥または座位の姿勢になってもらい、患部を撮影するときの被写体の姿勢を把握できる全体姿勢を撮影する。このとき、システム制御回路２２０は、傾き検知装置２２５から出力される傾き情報に基づいて、姿勢を撮影したときの撮像装置２００の傾き情報を生成する。
【0034】
次に、Ｓ５０３～Ｓ５１１までのライブビューの処理について説明する。
Ｓ５０３では、ＡＦ制御回路２１８は、被写体にピントが合うようにレンズ群２１２の駆動制御を行うＡＦ処理を行う。
ここでは、ユーザが画面の中央に患部が位置するように撮像装置２００を構えていることを想定しているために、ＡＦ制御回路２１８は画面の中央に位置するエリアでＡＦ処理を行う。また、ＡＦ制御回路２１８は、焦点の調節量またはフォーカスレンズの移動量に基づいて被写体までの距離情報を出力する。
Ｓ５０３では、ＡＦ制御回路２１８は、被写体にピントが合うようにレンズ群２１２の駆動制御を行うＡＦ処理を行う。
ここでは、ユーザが画面の中央に患部が位置するように撮像装置２００を構えていることを想定しているために、ＡＦ制御回路２１８は画面の中央に位置するエリアでＡＦ処理を行う。また、ＡＦ制御回路２１８は、焦点の調節量またはフォーカスレンズの移動量に基づいて被写体までの距離情報を出力する。
【0035】
Ｓ５０４では、システム制御回路２２０は、表示装置２２３を用いて、被写体の患部を撮影するよう、ユーザに案内を出す。撮像ユニット２１１は、ユーザによる撮影指示に応じて、被写体を撮影する。
Ｓ５０５では、画像処理回路２１７は、撮影された画像データを取得して現像および圧縮処理を行い、例えばＪＰＥＧ規格の画像データを生成する。画像処理回路２１７は、圧縮処理された画像データに対してリサイズ処理を行い、画像データのサイズを小さくする。
Ｓ５０５では、画像処理回路２１７は、撮影された画像データを取得して現像および圧縮処理を行い、例えばＪＰＥＧ規格の画像データを生成する。画像処理回路２１７は、圧縮処理された画像データに対してリサイズ処理を行い、画像データのサイズを小さくする。
【0036】
なお、撮像装置２００は、後述するＳ５０８において、リサイズ処理された画像データを無線通信により送信する。送信する画像データのサイズが大きいほど無線通信に時間が掛かるために、Ｓ５０５ではシステム制御回路２２０は、許容される通信時間に基づいて、リサイズ処理する画像データのサイズを決定し、画像処理回路２１７に指示を出す。
なお、後述するＳ５３２では、情報処理装置３００がリサイズ処理された画像データから患部領域を抽出する。画像データのサイズは、患部領域を抽出する時間および精度に影響するために、Ｓ５０５ではシステム制御回路２２０は抽出する時間および精度に基づいて、リサイズ処理する画像データのサイズを決定する。
なお、後述するＳ５３２では、情報処理装置３００がリサイズ処理された画像データから患部領域を抽出する。画像データのサイズは、患部領域を抽出する時間および精度に影響するために、Ｓ５０５ではシステム制御回路２２０は抽出する時間および精度に基づいて、リサイズ処理する画像データのサイズを決定する。
【0037】
また、Ｓ５０５でのリサイズ処理は、ライブビュー内での処理であるため、処理時間が長いとライブビュー画像のフレームレートが遅くなる。したがって、Ｓ５０５では、システム制御回路２２０はライブビュー中の処理ではない後述するＳ５１４でのリサイズ処理よりも小さいサイズあるいは同一のサイズにリサイズ処理することが好ましい。
本実施形態では、７２０ピクセル×５４０ピクセルで８ビットＲＧＢカラーとして画像サイズが略１．１メガバイトとなるようにリサイズする。ただし、リサイズ処理する画像データのサイズはこの場合に限られない。
本実施形態では、７２０ピクセル×５４０ピクセルで８ビットＲＧＢカラーとして画像サイズが略１．１メガバイトとなるようにリサイズする。ただし、リサイズ処理する画像データのサイズはこの場合に限られない。
【0038】
Ｓ５０６では、システム制御回路２２０は、被写体までの距離情報を生成する。具体的には、システム制御回路２２０は、測距システム２１６が出力した距離情報に基づいて、撮像装置２００から被写体までの距離情報を生成する。なお、システム制御回路２２０は、Ｓ５０３においてＡＦ制御回路２１８が画面内の複数のエリアについてそれぞれＡＦ処理をした場合には、複数のエリアごとに距離情報を生成してもよい。また、距離情報の生成する方法として、測距システム２１６が算出した被写体までの距離情報を用いてもよい。
【0039】
Ｓ５０７では、システム制御回路２２０は、傾き検知装置２２５から出力される傾き情報に基づいて、ライブビューにおける撮像装置２００の傾き情報を生成する。
ここでは、ユーザが撮影範囲に患部を含むように撮像装置２００を構えていることを想定しているために、システム制御回路２２０はユーザが患部に向けて構えたときの撮像装置２００の傾き情報を生成する。
ここでは、ユーザが撮影範囲に患部を含むように撮像装置２００を構えていることを想定しているために、システム制御回路２２０はユーザが患部に向けて構えたときの撮像装置２００の傾き情報を生成する。
【0040】
Ｓ５０８では、システム制御回路２２０は、各種情報を、通信装置２１９を介して情報処理装置３００に送信する。具体的には、システム制御回路２２０は、Ｓ５０５においてリサイズ処理された患部の画像データ、Ｓ５０６において生成された被写体までの距離情報、Ｓ５０７において生成したライブビューにおける撮像装置２００の傾き情報を送信する。また、システム制御回路２２０は、Ｓ５０２において撮影した姿勢の画像データ、姿勢を撮影したときの撮像装置２００の傾き情報、バーコードタグの画像データを情報処理装置３００に送信する。なお、バーコードタグの画像データに含まれる患者ＩＤは変化する情報ではないために、同一の患者においては、バーコードタグの画像データは最初の一回だけ送信する。また、姿勢の画像データ、姿勢を撮影したときの撮像装置２００の傾き情報についても、同一の患者においては、最初の一回だけ送信する。
【0041】
次に、情報処理装置３００による処理に移る。
Ｓ５３１では、情報処理装置３００のＣＰＵ３１０は、撮像装置２００が送信した、患部の画像データ、被写体までの距離情報、ライブビューにおける撮像装置２００の傾き情報を、通信装置３１３を介して受信する。また、ＣＰＵ３１０は、姿勢の画像データ、姿勢を撮影したときの撮像装置２００の傾き情報、バーコードタグの画像データを、同一の患者においては最初の一回だけ受信する。
Ｓ５３１では、情報処理装置３００のＣＰＵ３１０は、撮像装置２００が送信した、患部の画像データ、被写体までの距離情報、ライブビューにおける撮像装置２００の傾き情報を、通信装置３１３を介して受信する。また、ＣＰＵ３１０は、姿勢の画像データ、姿勢を撮影したときの撮像装置２００の傾き情報、バーコードタグの画像データを、同一の患者においては最初の一回だけ受信する。
【0042】
Ｓ５３２では、ＣＰＵ３１０は、補助演算装置３１７を用いて、受信した患部の画像データから、患部領域を抽出（患部領域と他の領域とを分割する）する。領域分割の手法として、深層学習による意味的領域分割を行う。すなわち、予め学習用のコンピュータに、複数の実際の褥瘡の患部領域の画像を教師データとして用いて、ニューラルネットワークのモデルを学習させて、学習済モデルを生成する。補助演算装置３１７は、コンピュータから学習済モデルを取得して、学習済モデルに基づいて画像データから褥瘡のエリアを推定する。ニューラルネットワークのモデルの一例として、深層学習を用いたセグメンテーション・モデルである完全畳み込みネットワーク（ＦＣＮ（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ））を適用することができる。深層学習の推論は、積和演算の並列実行を得意とする補助演算装置３１７に含まれるＧＰＵにより処理される。ただし、深層学習の推論は、ＦＰＧＡやＡＳＩＣ等が実行してもよい。なお、他の深層学習のモデルを用いて領域分割を実現してもよい。また、セグメンテーション手法は深層学習に限られず、例えば、グラフカット、領域成長、エッジ検出、統治分割法等を用いてもよい。更に、補助演算装置３１７の内部で、褥瘡の患部領域の画像を教師データとしたニューラルネットワークのモデルの学習を行ってもよい。
【0043】
Ｓ５３３では、ＣＰＵ３１０の演算装置３１１は、抽出された患部領域のサイズに関する情報として、患部領域の面積を計算する。演算装置３１１は、抽出された患部領域の画像データ上のサイズを、画像データの画角または画素サイズに関する情報、および、システム制御回路２２０が生成した距離情報に基づいて変換することで、患部領域の面積を計算する。
【0044】
図６は、患部領域の面積の計算方法を説明するための図である。
撮像装置２００が一般的なカメラである場合には、図６に示すようにピンホールモデルとして扱うことができる。入射光６０１はレンズ２１２ａのレンズ主点を通り、イメージセンサ２１４の撮像面で受光する。撮像面からレンズ主点までの距離が焦点距離Ｆ６０２である。ここで、レンズ群２１２を厚みのない単一のレンズ２１２ａに近似した場合には、前側主点と後側主点の２つの主点は一致するとみなせる。イメージセンサ２１４の平面に像が結像するようにレンズ２１２ａのピント位置を調整することで、撮像装置２００は被写体６０４に焦点を合わせることができる。撮像面からレンズ主点までの距離である焦点距離Ｆ６０２を変更することで画角θ６０３が変更され、ズーム倍率が変わる。このとき、撮像装置２００の画角θ６０３と被写体距離Ｄ６０５の関係から、幾何学的に合焦面における被写体の幅Ｗ６０６が決定される。被写体の幅Ｗ６０６は、三角関数を用いて計算される。すなわち、被写体の幅Ｗ６０６は、焦点距離Ｆ６０２に応じて変化する画角θ６０３と、被写体距離Ｄ６０５との関係によって決定する。被写体の幅Ｗ６０６の値を対応するイメージセンサ２１４のライン上のピクセル数で除算することにより、画像上の１ピクセルに対応する合焦面上の長さが取得される。
撮像装置２００が一般的なカメラである場合には、図６に示すようにピンホールモデルとして扱うことができる。入射光６０１はレンズ２１２ａのレンズ主点を通り、イメージセンサ２１４の撮像面で受光する。撮像面からレンズ主点までの距離が焦点距離Ｆ６０２である。ここで、レンズ群２１２を厚みのない単一のレンズ２１２ａに近似した場合には、前側主点と後側主点の２つの主点は一致するとみなせる。イメージセンサ２１４の平面に像が結像するようにレンズ２１２ａのピント位置を調整することで、撮像装置２００は被写体６０４に焦点を合わせることができる。撮像面からレンズ主点までの距離である焦点距離Ｆ６０２を変更することで画角θ６０３が変更され、ズーム倍率が変わる。このとき、撮像装置２００の画角θ６０３と被写体距離Ｄ６０５の関係から、幾何学的に合焦面における被写体の幅Ｗ６０６が決定される。被写体の幅Ｗ６０６は、三角関数を用いて計算される。すなわち、被写体の幅Ｗ６０６は、焦点距離Ｆ６０２に応じて変化する画角θ６０３と、被写体距離Ｄ６０５との関係によって決定する。被写体の幅Ｗ６０６の値を対応するイメージセンサ２１４のライン上のピクセル数で除算することにより、画像上の１ピクセルに対応する合焦面上の長さが取得される。
【0045】
演算装置３１１は、Ｓ５３２において領域分割された結果から得られる領域のピクセル数と、画像上の１ピクセルに対応する合焦面上の長さから得られる１ピクセルの面積の積として、患部領域の面積を計算する。なお、被写体の幅Ｗ６０６もしくは画像上の１ピクセルに対応する合焦面上の長さを求める式は、被写体の幅Ｗ６０６が既知の被写体を、被写体距離Ｄ６０５を変化させて撮影することによりデータを取得することで回帰的に求めてもよい。
なお、被写体距離Ｄ６０５が単一の場合、演算装置３１１が正しく患部領域の面積を求めるには、被写体６０４が平面であり、かつ、この平面が光軸に対して垂直であることが前提となる。ただし、Ｓ５０６において複数のエリアごとに距離情報を生成している場合には、演算装置３１１は被写体の奥行き方向の傾きや変化を検出し、検出した傾きや変化に基づいて患部領域の面積を計算してもよい。
なお、被写体距離Ｄ６０５が単一の場合、演算装置３１１が正しく患部領域の面積を求めるには、被写体６０４が平面であり、かつ、この平面が光軸に対して垂直であることが前提となる。ただし、Ｓ５０６において複数のエリアごとに距離情報を生成している場合には、演算装置３１１は被写体の奥行き方向の傾きや変化を検出し、検出した傾きや変化に基づいて患部領域の面積を計算してもよい。
【0046】
Ｓ５３４では、画像処理回路２１７は、患部領域を抽出する対象とした画像データに対して、患部領域の抽出結果を示す情報と、患部領域のサイズに関する情報とを重畳した画像データを生成する。
図７（ａ）および図７（ｂ）は、患部領域の抽出結果を示す情報、および、患部領域のサイズに関する情報を画像データに重畳する方法を説明するための図である。
図７（ａ）に示す画像７０１は、重畳処理前の画像データを表示した一例であり、被写体１０１および患部１０２を含む。図７（ｂ）に示す画像７０２は、重畳処理後の画像データを表示した一例である。
図７（ａ）および図７（ｂ）は、患部領域の抽出結果を示す情報、および、患部領域のサイズに関する情報を画像データに重畳する方法を説明するための図である。
図７（ａ）に示す画像７０１は、重畳処理前の画像データを表示した一例であり、被写体１０１および患部１０２を含む。図７（ｂ）に示す画像７０２は、重畳処理後の画像データを表示した一例である。
【0047】
図７（ｂ）に示す画像７０２の左上隅には、黒地の背景に白色の文字で、患部領域の面積の文字列７１２を表示したラベル７１１が重畳される。ここでは、患部領域のサイズに関する情報は、文字列７１２であって、演算装置３１１により計算された患部領域の面積である。なお、ラベル７１１の背景色と文字列の色は見やすいものであれば黒、白に限られない。また、透過量を設定してαブレンドすることで、ラベル７１１が重なった部分の画像をユーザが確認できるようにしてもよい。
【0048】
また、画像７０２には、Ｓ５３２において抽出された患部領域の推定エリアを示す指標７１３が重畳される。推定エリアを示す指標７１３と、画像７０１の元となる画像データをαブレンドすることで、患部領域の面積を算出する元となる推定エリアが妥当か否かをユーザが確認することができる。推定エリアを示す指標７１３の色は、被写体の色と異なる色にすることが好ましい。また、αブレンドの透過率の範囲は、推定エリアと元の患部１０２とが識別できる範囲であることが好ましい。なお、患部領域の推定エリアを示す指標７１３が重畳して表示されていれば、ラベル７１１を表示しなくても、ユーザは推定エリアが妥当か否かを確認することができるためにＳ５３３を省略してもよい。
【0049】
Ｓ５３５では、ＣＰＵ３１０は、バーコードタグの画像データから患者ＩＤを読取る。Ｓ５３６では、ＣＰＵ３１０は、読取った患者ＩＤを、記憶装置３１２に予め登録された被写体の患者ＩＤと照合して、被写体の名前の情報を取得する。
【0050】
Ｓ５３７では、ＣＰＵ３１０は、患部の画像データに、患者ＩＤおよび被写体の名前の情報を紐付けて、記憶装置３１２に記憶させる。ＣＰＵ３１０は、次に撮影されたバーコードタグの画像データを受信するまで、Ｓ５３１において受信する患部の画像データを、同一の患者ＩＤおよび同一の被写体の名前の情報として処理する。
また、ＣＰＵ３１０は、対象の患者ＩＤに対応する被写体情報が記憶装置３１２に記憶されているか否かを判定する。対象の患者ＩＤに対応する被写体情報が記憶されていない場合には、ＣＰＵ３１０は患者ＩＤおよび被写体の名前の情報に対応する被写体情報を生成する。一方、対象の患者ＩＤに対応する被写体情報が既に記憶装置３１２に記憶されている場合にはＳ５３８に進む。
また、ＣＰＵ３１０は、対象の患者ＩＤに対応する被写体情報が記憶装置３１２に記憶されているか否かを判定する。対象の患者ＩＤに対応する被写体情報が記憶されていない場合には、ＣＰＵ３１０は患者ＩＤおよび被写体の名前の情報に対応する被写体情報を生成する。一方、対象の患者ＩＤに対応する被写体情報が既に記憶装置３１２に記憶されている場合にはＳ５３８に進む。
【0051】
図９（ａ）は、被写体情報９００のデータ構成の一例を示す図である。被写体情報９００は、患者ＩＤごとに管理される。
被写体情報９００は、患者ＩＤ欄９０１、被写体の名前欄９０２、姿勢情報９０３、患部情報９０８を含む。
患者ＩＤ欄９０１には、患者ＩＤが記憶される。被写体の名前欄９０２には、被写体の名前が記憶される。
姿勢情報９０３には、姿勢アイコン欄９０４、姿勢の画像データ欄９０５、第１の傾き情報欄９０６、第２の傾き情報欄９０７がある。姿勢アイコン欄９０４には、患部を撮影するときの被写体の姿勢を模式的に示す姿勢アイコン、あるいは、姿勢アイコンの識別情報が記憶される。姿勢アイコンは表示アイテムの一例に対応する。
被写体情報９００は、患者ＩＤ欄９０１、被写体の名前欄９０２、姿勢情報９０３、患部情報９０８を含む。
患者ＩＤ欄９０１には、患者ＩＤが記憶される。被写体の名前欄９０２には、被写体の名前が記憶される。
姿勢情報９０３には、姿勢アイコン欄９０４、姿勢の画像データ欄９０５、第１の傾き情報欄９０６、第２の傾き情報欄９０７がある。姿勢アイコン欄９０４には、患部を撮影するときの被写体の姿勢を模式的に示す姿勢アイコン、あるいは、姿勢アイコンの識別情報が記憶される。姿勢アイコンは表示アイテムの一例に対応する。
【0052】
図９（ｂ）は、姿勢アイコンの一例を示す図である。
姿勢アイコン９２１は、うつ伏せの姿勢を示すアイコンである。姿勢アイコン９２２は、右側を下にした右下横臥の姿勢を示すアイコンである。姿勢アイコン９２３は、左側を下にした左下横臥の姿勢を示すアイコンである。姿勢アイコン９２４は、座位の姿勢を示すアイコンである。
姿勢アイコン９２１は、うつ伏せの姿勢を示すアイコンである。姿勢アイコン９２２は、右側を下にした右下横臥の姿勢を示すアイコンである。姿勢アイコン９２３は、左側を下にした左下横臥の姿勢を示すアイコンである。姿勢アイコン９２４は、座位の姿勢を示すアイコンである。
【0053】
姿勢の画像データ欄９０５には、Ｓ５０２において被写体の姿勢を撮影した姿勢の画像データ、あるいは、姿勢の画像データが記憶されているアドレス情報が記憶される。
第１の傾き情報欄９０６には、Ｓ５０２において姿勢を撮影したときの撮像装置２００の傾き情報が記憶される。第２の傾き情報欄９０７には、ライブビューを終了して記録用に患部を撮影する記録用撮影における撮像装置２００の傾き情報が記憶される。第２の傾き情報欄９０７には、対象の患者ＩＤにおいて最初または最後に記録用撮影したときの撮像装置２００の傾き情報、あるいは、複数回に亘って記録用撮影したときの撮像装置２００の傾き情報の平均値が記憶される。第２の傾き情報欄９０７の傾き情報は、後述する傾き情報欄９１２に記憶された、記録用撮影における撮像装置２００の傾き情報に基づいて記憶されたり更新されたりする。第２の傾き情報欄９０７に記憶された傾き情報を、ユーザが記録用撮影をするときに参照することで、患部表面に対して撮像装置２００を正対させるのに用いることができる。
なお、姿勢情報９０３には、被写体の姿勢を「うつ伏せ」、「座位」、「右下横臥」、「左下横臥」等の文字で表した文字情報等、被写体の姿勢を識別できる情報を記憶してもよい。
第１の傾き情報欄９０６には、Ｓ５０２において姿勢を撮影したときの撮像装置２００の傾き情報が記憶される。第２の傾き情報欄９０７には、ライブビューを終了して記録用に患部を撮影する記録用撮影における撮像装置２００の傾き情報が記憶される。第２の傾き情報欄９０７には、対象の患者ＩＤにおいて最初または最後に記録用撮影したときの撮像装置２００の傾き情報、あるいは、複数回に亘って記録用撮影したときの撮像装置２００の傾き情報の平均値が記憶される。第２の傾き情報欄９０７の傾き情報は、後述する傾き情報欄９１２に記憶された、記録用撮影における撮像装置２００の傾き情報に基づいて記憶されたり更新されたりする。第２の傾き情報欄９０７に記憶された傾き情報を、ユーザが記録用撮影をするときに参照することで、患部表面に対して撮像装置２００を正対させるのに用いることができる。
なお、姿勢情報９０３には、被写体の姿勢を「うつ伏せ」、「座位」、「右下横臥」、「左下横臥」等の文字で表した文字情報等、被写体の姿勢を識別できる情報を記憶してもよい。
【0054】
患部情報９０８は、撮影日時欄９０９、患部の画像データ欄９１０、評価情報欄９１１、傾き情報欄９１２を含む。撮影日時欄９０９には、後述するＳ５１３において記録用撮影したときの日時が記憶される。患部の画像データ欄９１０には、記録用撮影した患部の画像データ、あるいは、患部の画像データが記憶されているアドレス情報が記憶される。評価情報欄９１１には、患部領域の評価結果を示す情報が記憶される。傾き情報欄９１２には、記録用撮影における撮像装置２００の傾き情報が記憶される。
【0055】
Ｓ５３７において対象の患者ＩＤに対応する被写体情報９００が記憶されていない場合、ＣＰＵ３１０は生成した被写体情報９００の姿勢情報９０３のうち、姿勢アイコン欄９０４、姿勢の画像データ欄９０５、第１の傾き情報欄９０６に情報を追加して、記憶装置３１２に記憶する。具体的に、ＣＰＵ３１０が姿勢アイコン欄９０４に追加するには、まず補助演算装置３１７がＳ５３１において受信した姿勢の画像データに基づいて、被写体の姿勢が図９（ｂ）に示す姿勢アイコン９２１～９２４の何れに相当するかを判定する。次に、ＣＰＵ３１０は、姿勢アイコン、あるいは、姿勢アイコンの識別情報を、姿勢アイコン欄９０４に記憶する。また、ＣＰＵ３１０は、Ｓ５３１において受信した姿勢の画像データを、姿勢の画像データ欄９０５に記憶する。更に、ＣＰＵ３１０は、Ｓ５３１において受信した姿勢を撮影したときの撮像装置２００の傾き情報を、第１の傾き情報欄９０６に記憶する。
一方、Ｓ５３７において対象の患者ＩＤに対応する被写体情報９００が記憶されている場合、過去に患部を撮影しており、被写体情報９００の姿勢情報９０３および患部情報９０８には各情報が既に記憶されていることからＳ５３８に進む。
一方、Ｓ５３７において対象の患者ＩＤに対応する被写体情報９００が記憶されている場合、過去に患部を撮影しており、被写体情報９００の姿勢情報９０３および患部情報９０８には各情報が既に記憶されていることからＳ５３８に進む。
【0056】
Ｓ５３８では、情報処理装置３００のＣＰＵ３１０は、患部領域の抽出結果を示す情報と、患部領域のサイズに関する情報とを、通信装置３１３を介して撮像装置２００に送信する。本実施形態では、ＣＰＵ３１０は、Ｓ５３４において生成された、患部の画像データに、患部領域の抽出結果を示す情報と、患部領域のサイズに関する情報とを重畳した画像データを撮像装置２００に送信する。
また、ＣＰＵ３１０は、過去に患部を撮影したときの被写体の姿勢をユーザに対して通知するために、被写体情報９００の姿勢情報９０３を、通信装置３１３を介して撮像装置２００に送信する。具体的には、ＣＰＵ３１０は、姿勢アイコン、姿勢の画像データ、姿勢を撮影したときの撮像装置２００の傾き情報、記録用撮影における撮像装置２００の傾き情報を送信する。ＣＰＵ３１０がライブビューの間に複数回に亘って、患部の画像データに、患部領域の抽出結果を示す情報と、患部領域のサイズに関する情報とを重畳した画像データを送信する場合には、姿勢情報９０３を最初の一回だけ送信する。なお、ＣＰＵ３１０は、Ｓ５３１において受信したライブビューにおける撮像装置２００の傾き情報を送信してもよい。また、過去に記録用撮影をしていないために、Ｓ５３７において対象の患者ＩＤに対応する被写体情報９００が記憶されていない場合には、第２の傾き情報欄９０７に情報が記憶されていないことから、記録用撮影における撮像装置２００の傾き情報は送信されない。
また、ＣＰＵ３１０は、過去に患部を撮影したときの被写体の姿勢をユーザに対して通知するために、被写体情報９００の姿勢情報９０３を、通信装置３１３を介して撮像装置２００に送信する。具体的には、ＣＰＵ３１０は、姿勢アイコン、姿勢の画像データ、姿勢を撮影したときの撮像装置２００の傾き情報、記録用撮影における撮像装置２００の傾き情報を送信する。ＣＰＵ３１０がライブビューの間に複数回に亘って、患部の画像データに、患部領域の抽出結果を示す情報と、患部領域のサイズに関する情報とを重畳した画像データを送信する場合には、姿勢情報９０３を最初の一回だけ送信する。なお、ＣＰＵ３１０は、Ｓ５３１において受信したライブビューにおける撮像装置２００の傾き情報を送信してもよい。また、過去に記録用撮影をしていないために、Ｓ５３７において対象の患者ＩＤに対応する被写体情報９００が記憶されていない場合には、第２の傾き情報欄９０７に情報が記憶されていないことから、記録用撮影における撮像装置２００の傾き情報は送信されない。
【0057】
次に、撮像装置２００の処理に移る。
Ｓ５０９では、撮像装置２００のシステム制御回路２２０は、情報処理装置３００から送信された、患部の画像データに、患部領域の抽出結果を示す情報と、患部領域のサイズに関する情報とを重畳した画像データを、通信装置２１９を介して受信する。また、システム制御回路２２０は、情報処理装置３００から送信された姿勢アイコン、姿勢の画像データ、姿勢を撮影したときの撮像装置２００の傾き情報、記録用撮影における撮像装置２００の傾き情報を、通信装置２１９を介して受信する。
Ｓ５０９では、撮像装置２００のシステム制御回路２２０は、情報処理装置３００から送信された、患部の画像データに、患部領域の抽出結果を示す情報と、患部領域のサイズに関する情報とを重畳した画像データを、通信装置２１９を介して受信する。また、システム制御回路２２０は、情報処理装置３００から送信された姿勢アイコン、姿勢の画像データ、姿勢を撮影したときの撮像装置２００の傾き情報、記録用撮影における撮像装置２００の傾き情報を、通信装置２１９を介して受信する。
【0058】
Ｓ５１０では、システム制御回路２２０は、患部の画像データに、患部領域の抽出結果を示す情報と、患部領域のサイズに関する情報とを重畳した画像データを、表示装置２２３に表示する。このように、ライブビューの画像データに対して、患部の抽出結果を示す情報等を重畳して表示することで、ユーザは患部領域の推定エリアおよび面積が妥当であるか否かを確認した上で、記録用撮影に進むことができる。
また、システム制御回路２２０は受信した、姿勢アイコン、姿勢の画像データ、姿勢を撮影したときの撮像装置２００の傾き情報の少なくとも何れかの姿勢情報を、表示装置２２３に表示する。このように、過去に患部を撮影したときの被写体の姿勢情報をユーザに対して通知する。なお、システム制御回路２２０は、記録用撮影における撮像装置２００の傾き情報、ライブビューにおける撮像装置２００の傾き情報を表示してもよい。
また、システム制御回路２２０は受信した、姿勢アイコン、姿勢の画像データ、姿勢を撮影したときの撮像装置２００の傾き情報の少なくとも何れかの姿勢情報を、表示装置２２３に表示する。このように、過去に患部を撮影したときの被写体の姿勢情報をユーザに対して通知する。なお、システム制御回路２２０は、記録用撮影における撮像装置２００の傾き情報、ライブビューにおける撮像装置２００の傾き情報を表示してもよい。
【0059】
図１０（ａ）および図１０（ｂ）は、姿勢情報を含む画像データの一例を示す図である。なお、図７（ａ）および図７（ｂ）と同様の画像には同一符号を付して適宜、説明を省略する。
図１０（ａ）に示す画像１００１は、図７（ｂ）に示す画像７０２に姿勢アイコン１００２を重畳した画像データを表示した一例である。
システム制御回路２２０は、図７（ｂ）に示す画像７０２に、Ｓ５０９において受信した、姿勢アイコンあるいは姿勢アイコンの識別情報に基づいた姿勢アイコン１００２を重畳した画像１００１を、表示装置２２３に表示する。
ここで、姿勢アイコン１００２は表示装置２２３に兼用されるタッチパネルを介してユーザがタッチ操作することができるボタンとして機能する。システム制御回路２２０は、ユーザによる姿勢アイコン１００２に対するタッチ操作に応じて、画面を遷移して図１０（ｂ）に示す画像１００３を表示する。
図１０（ａ）に示す画像１００１は、図７（ｂ）に示す画像７０２に姿勢アイコン１００２を重畳した画像データを表示した一例である。
システム制御回路２２０は、図７（ｂ）に示す画像７０２に、Ｓ５０９において受信した、姿勢アイコンあるいは姿勢アイコンの識別情報に基づいた姿勢アイコン１００２を重畳した画像１００１を、表示装置２２３に表示する。
ここで、姿勢アイコン１００２は表示装置２２３に兼用されるタッチパネルを介してユーザがタッチ操作することができるボタンとして機能する。システム制御回路２２０は、ユーザによる姿勢アイコン１００２に対するタッチ操作に応じて、画面を遷移して図１０（ｂ）に示す画像１００３を表示する。
【0060】
図１０（ｂ）に示す画像１００３は、姿勢の画像データを表示した一例である。画像１００３の左上隅には、黒地の背景に白色の文字で、傾き情報１００４および文字列１００５を含むラベル１００６が表示される。
システム制御回路２２０は、Ｓ５０９において受信した姿勢の画像データに、ラベル１００６を重畳した画像１００３を、表示装置２２３に表示する。なお、システム制御回路２２０は、Ｓ５０９において受信した、姿勢を撮影したときの撮像装置２００の傾き情報に基づいて、傾き情報１００４を表示する。また、システム制御回路２２０は、Ｓ５０９において受信した姿勢情報に、姿勢を示す文字情報等が含まれている場合に、姿勢の文字情報等に基づいてラベル１００６の文字列１００５を表示する。
システム制御回路２２０は、Ｓ５０９において受信した姿勢の画像データに、ラベル１００６を重畳した画像１００３を、表示装置２２３に表示する。なお、システム制御回路２２０は、Ｓ５０９において受信した、姿勢を撮影したときの撮像装置２００の傾き情報に基づいて、傾き情報１００４を表示する。また、システム制御回路２２０は、Ｓ５０９において受信した姿勢情報に、姿勢を示す文字情報等が含まれている場合に、姿勢の文字情報等に基づいてラベル１００６の文字列１００５を表示する。
【0061】
このように、記録用に患部を撮影する前に、同一の被写体の患部を過去に撮影したときの被写体の姿勢情報をユーザに通知することで、ユーザは過去に被写体の患部を撮影したときの姿勢を把握することができる。したがって、ユーザは被写体に対して過去に撮影したときの姿勢と同じ姿勢にしてもらうことで、適切に被写体の患部を撮影することができる。
【0062】
具体的には、被写体の姿勢を模式的に示す姿勢アイコン１００２を表示することで、ユーザは過去に被写体の患部を撮影したときの被写体の姿勢を即座に把握することができる。また、被写体の姿勢を撮影した画像１００３を表示することで、過去に被写体の患部を撮影したときの被写体の姿勢を正確に把握することができる。更に、撮像装置２００の傾き情報１００４を表示することで、姿勢を撮影したときの撮像装置２００の傾きを把握することができる。ただし、姿勢情報を表示する画像は、図１０（ａ）および図１０（ｂ）に示す場合に限られず、ユーザが被写体の姿勢を把握できれば、どのような画像であってもよい。
【0063】
なお、システム制御回路２２０は、Ｓ５０９において受信した、記録用撮影における撮像装置２００の傾き情報を表示してもよい。ユーザは表示された傾き情報を参照することで、過去に患部を撮影したときと同様な傾きで患部を撮影することができ、患部表面に対して撮像装置２００を正対させることができる。
このとき、システム制御回路２２０は、Ｓ５０７において生成された、あるいは、Ｓ５０９において受信した、ライブビューにおける撮像装置２００の傾き情報を表示してもよい。この場合、ユーザは現時点における撮像装置２００の傾きを参照できるので、過去に患部を撮影したときの傾きに一致させることができる。また、システム制御回路２２０は、記録用撮影における撮像装置２００の傾き情報と、ライブビューにおける撮像装置２００の傾き情報との差分の情報を表示してもよい。差分の情報は、撮像装置２００のシステム制御回路２２０が生成してもよく、情報処理装置３００が生成して撮像装置２００が受信してもよい。
このとき、システム制御回路２２０は、Ｓ５０７において生成された、あるいは、Ｓ５０９において受信した、ライブビューにおける撮像装置２００の傾き情報を表示してもよい。この場合、ユーザは現時点における撮像装置２００の傾きを参照できるので、過去に患部を撮影したときの傾きに一致させることができる。また、システム制御回路２２０は、記録用撮影における撮像装置２００の傾き情報と、ライブビューにおける撮像装置２００の傾き情報との差分の情報を表示してもよい。差分の情報は、撮像装置２００のシステム制御回路２２０が生成してもよく、情報処理装置３００が生成して撮像装置２００が受信してもよい。
【0064】
Ｓ５１１では、システム制御回路２２０は操作部２２４に含まれるレリーズボタンをユーザが押下することによる撮影指示を受け付けたか否かを判定する。
撮影指示を受け付けた場合にはＳ５１２以降において、記録用として、患部を撮影する処理に進む。一方、撮影指示を受け付けていない場合にはＳ５０３に戻り、上述したＳ５０３以降の処理を行う。したがって、撮影指示を受け付けるまで、Ｓ５０３～Ｓ５１１までの処理を繰り返すことで、撮像装置２００はライブビューの画像データを連続して情報処理装置３００に送信する。また、撮像装置２００は、送信するごとに情報処理装置３００から、患部の画像データに、患部領域の抽出結果を示す情報と、患部領域のサイズに関する情報とを重畳した画像データを受信する。
撮影指示を受け付けた場合にはＳ５１２以降において、記録用として、患部を撮影する処理に進む。一方、撮影指示を受け付けていない場合にはＳ５０３に戻り、上述したＳ５０３以降の処理を行う。したがって、撮影指示を受け付けるまで、Ｓ５０３～Ｓ５１１までの処理を繰り返すことで、撮像装置２００はライブビューの画像データを連続して情報処理装置３００に送信する。また、撮像装置２００は、送信するごとに情報処理装置３００から、患部の画像データに、患部領域の抽出結果を示す情報と、患部領域のサイズに関する情報とを重畳した画像データを受信する。
【0065】
Ｓ５１２では、ＡＦ制御回路２１８は、被写体にピントが合うようにレンズ群２１２の駆動制御を行うＡＦ処理を行う。この処理は、Ｓ５０３と同様の処理である。
Ｓ５１３では、撮像ユニット２１１は、ユーザによる撮影指示に応じて被写体を撮影する。具体的には、撮像ユニット２１１は、記録用に患部を静止画で撮影する。
なお、システム制御回路２２０は、Ｓ５３７において対象の患者ＩＤに対応する被写体情報９００が記憶されていないと判定した場合に、最初に記録用に患部を撮影した後、被写体の姿勢を撮影するようにユーザに案内を出してもよい。具体的には、システム制御回路２２０は患部を撮影した後に被写体の全身が撮影されるように撮像ユニット２１１の倍率調整を行い撮影する。このように自動的に被写体の姿勢を撮影する場合には、Ｓ５０２における被写体の姿勢を撮影する処理を省略することができる。なお、対象の患者ＩＤに対応する被写体情報９００が記憶されていない旨の情報は、Ｓ５０９において情報処理装置３００から受信することができる。
Ｓ５１３では、撮像ユニット２１１は、ユーザによる撮影指示に応じて被写体を撮影する。具体的には、撮像ユニット２１１は、記録用に患部を静止画で撮影する。
なお、システム制御回路２２０は、Ｓ５３７において対象の患者ＩＤに対応する被写体情報９００が記憶されていないと判定した場合に、最初に記録用に患部を撮影した後、被写体の姿勢を撮影するようにユーザに案内を出してもよい。具体的には、システム制御回路２２０は患部を撮影した後に被写体の全身が撮影されるように撮像ユニット２１１の倍率調整を行い撮影する。このように自動的に被写体の姿勢を撮影する場合には、Ｓ５０２における被写体の姿勢を撮影する処理を省略することができる。なお、対象の患者ＩＤに対応する被写体情報９００が記憶されていない旨の情報は、Ｓ５０９において情報処理装置３００から受信することができる。
【0066】
Ｓ５１４では、画像処理回路２１７は、撮影された画像データを取得して、現像および圧縮処理を行い、例えばＪＰＥＧ規格の画像データを生成する。この処理は、Ｓ５０５と同様の処理である。ただし、患部領域を計測する際の精度を優先するために、Ｓ５０５における画像データのサイズよりも大きいか、同じ大きさでリサイズ処理することが好ましい。リサイズ処理された画像データのサイズとして、例えば、１４４０ピクセル×１０８０ピクセルで４ビットＲＧＢカラーの場合には略４．４５メガバイトになる。ただし、リサイズ処理された画像データのサイズは、この場合に限られない。
【0067】
Ｓ５１５では、システム制御回路２２０は、被写体までの距離情報を生成する。この処理は、Ｓ５０６と同様の処理である。
Ｓ５１６では、システム制御回路２２０は、傾き検知装置２２５から出力される傾き情報に基づいて、記録用撮影における撮像装置２００の傾き情報を生成する。この処理は、Ｓ５０７の処理と同様である。
Ｓ５１７では、システム制御回路２２０は、Ｓ５１４においてリサイズ処理された患部の画像データ、Ｓ５１５において生成された被写体までの距離情報、Ｓ５１６において生成された記録用撮影における撮像装置２００の傾き情報を、通信装置２１９を介して情報処理装置３００に送信する。
Ｓ５１６では、システム制御回路２２０は、傾き検知装置２２５から出力される傾き情報に基づいて、記録用撮影における撮像装置２００の傾き情報を生成する。この処理は、Ｓ５０７の処理と同様である。
Ｓ５１７では、システム制御回路２２０は、Ｓ５１４においてリサイズ処理された患部の画像データ、Ｓ５１５において生成された被写体までの距離情報、Ｓ５１６において生成された記録用撮影における撮像装置２００の傾き情報を、通信装置２１９を介して情報処理装置３００に送信する。
【0068】
次に、情報処理装置３００の処理に移る。
Ｓ５４１では、情報処理装置３００のＣＰＵ３１０は、撮像装置２００が送信した、患部の画像データ、被写体までの距離情報、記録用撮影における撮像装置２００の傾き情報を、通信装置３１３を介して受信する。
Ｓ５４２では、ＣＰＵ３１０は、受信した患部の画像データから患部領域を、補助演算装置３１７を用いて抽出（患部領域と他の領域とを分割する）する。この処理は、Ｓ５３２と同様の処理である。
Ｓ５４１では、情報処理装置３００のＣＰＵ３１０は、撮像装置２００が送信した、患部の画像データ、被写体までの距離情報、記録用撮影における撮像装置２００の傾き情報を、通信装置３１３を介して受信する。
Ｓ５４２では、ＣＰＵ３１０は、受信した患部の画像データから患部領域を、補助演算装置３１７を用いて抽出（患部領域と他の領域とを分割する）する。この処理は、Ｓ５３２と同様の処理である。
【0069】
Ｓ５４３では、ＣＰＵ３１０の演算装置３１１は、抽出された患部領域のサイズに関する情報として、患部領域の面積を計算する。この処理は、Ｓ５３３の処理と同様の処理である。
Ｓ５４４では、演算装置３１１は、患部領域の評価情報を算出する。具体的には、演算装置３１１はＳ５４３で求めた画像上の１ピクセルに対応する合焦面上の長さに基づいて、抽出した患部領域の長径と短径の長さ、および、患部領域に外接する矩形の面積を算出する。褥瘡の評価指標のＤＥＳＩＧＮ－Ｒの中で、褥瘡のサイズは長径と短径の積の値を計測することが定められている。本実施形態の情報処理システム１において、長径と短径の解析を行うことで、今までＤＥＳＩＧＮ－Ｒで計測されたデータとの互換性を確保することができる。ＤＥＳＩＧＮ－Ｒは厳密な定義がないため、数学的には複数の長径、短径の算出方法が考えられる。
Ｓ５４４では、演算装置３１１は、患部領域の評価情報を算出する。具体的には、演算装置３１１はＳ５４３で求めた画像上の１ピクセルに対応する合焦面上の長さに基づいて、抽出した患部領域の長径と短径の長さ、および、患部領域に外接する矩形の面積を算出する。褥瘡の評価指標のＤＥＳＩＧＮ－Ｒの中で、褥瘡のサイズは長径と短径の積の値を計測することが定められている。本実施形態の情報処理システム１において、長径と短径の解析を行うことで、今までＤＥＳＩＧＮ－Ｒで計測されたデータとの互換性を確保することができる。ＤＥＳＩＧＮ－Ｒは厳密な定義がないため、数学的には複数の長径、短径の算出方法が考えられる。
【0070】
長径と短径の算出方法の第１例として、演算装置３１１が患部領域に外接する矩形のうち、面積が最小となる矩形（Ｍｉｎｉｍｕｍ ｂｏｕｎｄｉｎｇ ｒｅｃｔａｎｇｌｅ）を算出する。次に、この矩形の長辺と短辺の長さを算出し、長辺の長さを長径とし、短辺の長さを短径として算出する。次に、Ｓ５４３で求めた画像上の１ピクセルに対応する合焦面上の長さに基づいて矩形の面積を算出する。
長径と短径の算出方法の第２例として、演算装置３１１が長径として最大のキャリパー長である最大フェレ径を選択し、短径として最小フェレ径を選択する。なお、長径として最大のキャリパー長である最大フェレ径を選択し、短径として最大フェレ径の軸に直交する方向で計測した長さを選択してもよい。
長径と短径の計算方法は、従来の計測結果との互換性に基づいて任意の方法を選択することができる。
長径と短径の算出方法の第２例として、演算装置３１１が長径として最大のキャリパー長である最大フェレ径を選択し、短径として最小フェレ径を選択する。なお、長径として最大のキャリパー長である最大フェレ径を選択し、短径として最大フェレ径の軸に直交する方向で計測した長さを選択してもよい。
長径と短径の計算方法は、従来の計測結果との互換性に基づいて任意の方法を選択することができる。
【0071】
なお、患部領域の長径と短径の長さおよび矩形面積を算出する処理は、Ｓ５３１において受信した画像データに対しては実行されない。ライブビュー中は、患部領域の抽出結果をユーザが確認できるようにすることを目的としているために、Ｓ５３１において受信した画像データに対してＳ５４４に相当する画像解析の処理を省くことで、処理時間を削減している。
【0072】
Ｓ５４５では、画像処理回路２１７は、患部領域を抽出する対象とした画像データに対して、患部領域の抽出結果を示す情報と、患部領域のサイズに関する情報とを重畳した画像データを生成する。ここでの患部領域のサイズに関する情報には、患部領域の長径と短径等の患部領域の評価情報が含まれる。
図８（ａ）、図８（ｂ）および図８（ｃ）は、患部領域の抽出結果を示す情報、および、患部領域の長径と短径等を含む患部領域のサイズに関する情報を画像データに重畳する方法を説明するための図である。患部領域のサイズに関する情報は複数、想定されるために図８（ａ）～（ｃ）を参照して説明する。
図８（ａ）、図８（ｂ）および図８（ｃ）は、患部領域の抽出結果を示す情報、および、患部領域の長径と短径等を含む患部領域のサイズに関する情報を画像データに重畳する方法を説明するための図である。患部領域のサイズに関する情報は複数、想定されるために図８（ａ）～（ｃ）を参照して説明する。
【0073】
図８（ａ）に示す画像８０１は、長径、短径の算出方法としてＭｉｎｉｍｕｍ ｂｏｕｎｄｉｎｇ ｒｅｃｔａｎｇｌｅを用いたものである。画像８０１の左上隅には、患部領域のサイズに関する情報として、図７（ｂ）と同様に、黒地の背景に白色の文字で患部領域の面積の文字列７１２を表示したラベル７１１が重畳される。
また、画像８０１の右上隅には、患部領域のサイズに関する情報として、Ｍｉｎｉｍｕｍ ｂｏｕｎｄｉｎｇ ｒｅｃｔａｎｇｌｅに基づいて算出した長径および短径を表示したラベル８１２が重畳される。ラベル８１２には、文字列８１３とは文字列８１４とが含まれる。文字列８１３は長径の長さ（単位はｃｍ）を表し、文字列８１４は短径の長さ（単位はｃｍ）を表す。また、画像８０１は、患部領域にＭｉｎｉｍｕｍ ｂｏｕｎｄｉｎｇ ｒｅｃｔａｎｇｌｅを表す矩形の枠８１５が重畳される。矩形の枠８１５を長径および短径の長さと一緒に重畳することで、ユーザは画像中のどの箇所の長さが計測されているのかを確認することができる。
また、画像８０１の右上隅には、患部領域のサイズに関する情報として、Ｍｉｎｉｍｕｍ ｂｏｕｎｄｉｎｇ ｒｅｃｔａｎｇｌｅに基づいて算出した長径および短径を表示したラベル８１２が重畳される。ラベル８１２には、文字列８１３とは文字列８１４とが含まれる。文字列８１３は長径の長さ（単位はｃｍ）を表し、文字列８１４は短径の長さ（単位はｃｍ）を表す。また、画像８０１は、患部領域にＭｉｎｉｍｕｍ ｂｏｕｎｄｉｎｇ ｒｅｃｔａｎｇｌｅを表す矩形の枠８１５が重畳される。矩形の枠８１５を長径および短径の長さと一緒に重畳することで、ユーザは画像中のどの箇所の長さが計測されているのかを確認することができる。
【0074】
また、画像８０１の右下隅には、スケールバー８１６が重畳される。スケールバー８１６は患部１０２のサイズを測定するためのものであり、距離情報に応じて画像データに対するスケールバーのサイズが変更される。具体的には、スケールバー８１６は、Ｓ５４３で得られた画像上の１ピクセルに対応する合焦面上の長さに基づいて、１ｃｍ単位で５ｃｍまでの目盛りを刻んだバーであり、撮像装置２００の合焦面上すなわち被写体上のサイズに対応したものである。ユーザはスケールバー８１６を参照することにより、被写体もしくは患部１０２の大きさを把握することができる。
【0075】
また、画像８０１の左下隅には、上述したＤＥＳＩＧＮ－ＲのＳｉｚｅ評価の指標８１７が重畳される。ＤＥＳＩＧＮ－ＲのＳｉｚｅ評価の指標８１７では、皮膚損傷範囲の、長径と短径（長径と直交する最大径）を測定し（単位はｃｍ）、各々を掛け合わせた数値から上述した７段階に分類されている。本実施形態では長径と短径をそれぞれの算出方法によって出力された値に置き換えて得られる指標８１７が重畳される。
【0076】
図８（ｂ）に示す画像８０２は、長径として最大フェレ径を、短径として最小フェレ径を用いたものある。画像８０２の右上隅には、長径の長さを示す文字列８２３および短径の長さを示す文字列８２４を表示したラベル８２２が重畳される。また、画像８０２の患部領域には、最大フェレ径の計測位置に相当する補助線８２５と、最小フェレ径に相当する補助線８２６が表示される。補助線８２５、８２６を長径および短径の長さを示す文字列８２３、８２４と一緒に重畳することで、ユーザは画像中のどの箇所の長さが計測されているのかを確認することができる。
【0077】
図８（ｃ）に示す画像８０３は、長径が画像８０２と同じであるが、短径が最小フェレ径ではなく最大フェレ径の軸に直交する方向で計測した長さとして計測したものである。画像８０３の右上隅には、長径の長さを示す文字列８２３および短径の長さを示す文字列８３４を表示したラベル８３２が重畳される。また、画像８０３の患部領域には、最大フェレ径の計測位置に相当する補助線８２５と、最大フェレ径の軸に直交する方向で計測した長さに相当する補助線８３６が表示される。
【0078】
なお、図８（ａ）～（ｃ）に示した、画像データに重畳する各種情報は、何れか１つまたは複数の組み合わせであってもよく、ユーザが表示する情報を選択できるようにしてもよい。また、図７（ａ）、図７（ｂ）、図８（ａ）、図８（ｂ）および図８（ｃ）に示す画像は一例であって、患部１０２および患部領域のサイズに関する情報の表示形態、表示位置、サイズ、フォント、フォントサイズ、フォントの色、あるいは、位置関係等は様々な条件に応じて変更できる。
【0079】
Ｓ５４６では、情報処理装置３００のＣＰＵ３１０は、患部領域の抽出結果を示す情報と、患部領域のサイズに関する情報とを、通信装置３１３を介して撮像装置２００に送信する。本実施形態では、ＣＰＵ３１０は、Ｓ５４５において生成した、患部の画像データに、患部領域の抽出結果を示す情報と、患部領域のサイズに関する情報とを重畳した画像データを撮像装置２００に送信する。
【0080】
Ｓ５４７では、ＣＰＵ３１０は、バーコードタグの画像データから患者ＩＤを読取る。なお、Ｓ５３５において既に患者ＩＤを読取っている場合には処理を省略することができる。
Ｓ５４８では、ＣＰＵ３１０は、読取った患者ＩＤを予め登録された被写体の患者ＩＤと照合して、被写体の名前の情報を取得する。なお、Ｓ５３６において既に被写体の名前の情報を取得している場合には処理を省略することができる。
Ｓ５４８では、ＣＰＵ３１０は、読取った患者ＩＤを予め登録された被写体の患者ＩＤと照合して、被写体の名前の情報を取得する。なお、Ｓ５３６において既に被写体の名前の情報を取得している場合には処理を省略することができる。
【0081】
Ｓ５４９では、ＣＰＵ３１０は、対象の患者ＩＤに対応する被写体情報９００の患部情報９０８の撮影日時欄９０９、患部の画像データ欄９１０、評価情報欄９１１、傾き情報欄９１２に情報を追加して、記憶装置３１２に記憶する。
具体的には、ＣＰＵ３１０は、Ｓ５１３において撮影した日時の情報を撮影日時欄９０９に記憶する。また、ＣＰＵ３１０は、Ｓ５４１において受信した患部の画像データを、患部の画像データ欄９１０に記憶する。また、ＣＰＵ３１０は、Ｓ５４４で算出した評価情報を、評価情報欄９１１に記憶する。また、ＣＰＵ３１０は、Ｓ５４１で受信した、記録用撮影における撮像装置２００の傾き情報を、傾き情報欄９１２に記憶する。なお、図９（ａ）の被写体情報９００において説明したように、ＣＰＵ３１０は、傾き情報欄９１２に記憶した傾き情報に基づいて、姿勢情報９０３の第２の傾き情報欄９０７の傾き情報を、記憶したり更新したりすることができる。
具体的には、ＣＰＵ３１０は、Ｓ５１３において撮影した日時の情報を撮影日時欄９０９に記憶する。また、ＣＰＵ３１０は、Ｓ５４１において受信した患部の画像データを、患部の画像データ欄９１０に記憶する。また、ＣＰＵ３１０は、Ｓ５４４で算出した評価情報を、評価情報欄９１１に記憶する。また、ＣＰＵ３１０は、Ｓ５４１で受信した、記録用撮影における撮像装置２００の傾き情報を、傾き情報欄９１２に記憶する。なお、図９（ａ）の被写体情報９００において説明したように、ＣＰＵ３１０は、傾き情報欄９１２に記憶した傾き情報に基づいて、姿勢情報９０３の第２の傾き情報欄９０７の傾き情報を、記憶したり更新したりすることができる。
【0082】
なお、対象の患者ＩＤに対応する被写体情報が記憶装置３１２に記憶されていない場合には、ＣＰＵ３１０は患者ＩＤおよび被写体の名前の情報に対応する被写体情報を生成して、被写体情報９００の姿勢情報９０３および患部情報９０８に情報を記憶する。
また、対象の患者ＩＤに対応する被写体情報が記憶装置３１２に記憶されている場合、ＣＰＵ３１０は、既に姿勢の画像データ欄９０５に記憶された画像データと、今回の撮影のＳ５０２において得られた姿勢の画像データとが一致しているか否かを判定してもよい。ここで、画像データが一致するとは、両方の画像データに含まれる被写体の姿勢が同じ場合であることを意味する。したがって、例えば、ＣＰＵ３１０は一方の画像データに含まれる被写体がうつ伏せであり、他方の画像データに含まれる被写体が横臥である場合には、画像データが一致しないと判定する。ＣＰＵ３１０は、画像データが一致しない場合には、既に姿勢の画像データ欄９０５に記憶された画像データを、今回の撮影のＳ５０２において得られた姿勢の画像データに更新して記憶する。なお、姿勢の画像データに限られず、ＣＰＵ３１０は、姿勢情報９０３の姿勢アイコン欄９０４および第１の傾き情報欄９０６のうち少なくとも何れかを更新して記憶してもよい。
また、対象の患者ＩＤに対応する被写体情報が記憶装置３１２に記憶されている場合、ＣＰＵ３１０は、既に姿勢の画像データ欄９０５に記憶された画像データと、今回の撮影のＳ５０２において得られた姿勢の画像データとが一致しているか否かを判定してもよい。ここで、画像データが一致するとは、両方の画像データに含まれる被写体の姿勢が同じ場合であることを意味する。したがって、例えば、ＣＰＵ３１０は一方の画像データに含まれる被写体がうつ伏せであり、他方の画像データに含まれる被写体が横臥である場合には、画像データが一致しないと判定する。ＣＰＵ３１０は、画像データが一致しない場合には、既に姿勢の画像データ欄９０５に記憶された画像データを、今回の撮影のＳ５０２において得られた姿勢の画像データに更新して記憶する。なお、姿勢の画像データに限られず、ＣＰＵ３１０は、姿勢情報９０３の姿勢アイコン欄９０４および第１の傾き情報欄９０６のうち少なくとも何れかを更新して記憶してもよい。
【0083】
次に、撮像装置２００の処理に移る。
Ｓ５１８では、撮像装置２００のシステム制御回路２２０は、情報処理装置３００から送信された、患部の画像データに、患部領域の抽出結果を示す情報と、患部領域のサイズに関する情報とを重畳した画像データを、通信装置２１９を介して受信する。
Ｓ５１９では、システム制御回路２２０は受信した、患部の画像データに、患部領域の抽出結果を示す情報と、患部領域のサイズに関する情報とを重畳した画像データを表示装置２２３に所定時間表示する。ここでは、システム制御回路２２０は、図８（ａ）～（ｃ）に示す画像８０１～８０３の何れかを表示し、所定時間が経過することでＳ５０３の処理に戻る。
Ｓ５１８では、撮像装置２００のシステム制御回路２２０は、情報処理装置３００から送信された、患部の画像データに、患部領域の抽出結果を示す情報と、患部領域のサイズに関する情報とを重畳した画像データを、通信装置２１９を介して受信する。
Ｓ５１９では、システム制御回路２２０は受信した、患部の画像データに、患部領域の抽出結果を示す情報と、患部領域のサイズに関する情報とを重畳した画像データを表示装置２２３に所定時間表示する。ここでは、システム制御回路２２０は、図８（ａ）～（ｃ）に示す画像８０１～８０３の何れかを表示し、所定時間が経過することでＳ５０３の処理に戻る。
【0084】
以上、本実施形態によれば、ユーザが撮像装置２００で患部を撮影するときに、同一の被写体の患部を過去に撮影したときの被写体の姿勢情報をユーザに通知することで、被写体の姿勢を過去に撮影したときと同じ姿勢にして撮影することができる。したがって、ユーザが経過比較をより正確に行うことができる画像を撮影することができる。
また、本実施形態では褥瘡の評価指標としてＤＥＳＩＧＮ－Ｒ（登録商標）を用いているが、これに限定されるものではない。Ｂａｔｅｓ－Ｊｅｎｓｅｎ Ｗｏｕｎｄ Ａｓｓｅｓｓｍｅｎｔ Ｔｏｏｌ（ＢＷＡＴ）、Ｐｒｅｓｓｕｒｅ Ｕｌｃｅｒ Ｓｃａｌｅ ｆｏｒ Ｈｅａｌｉｎｇ（ＰＵＳＨ）、Ｐｒｅｓｓｕｒｅ Ｓｏｒｅ Ｓｔａｔｕｓ Ｔｏｏｌ（ＰＳＳＴ）などの、他の評価指標を用いてもよい。
また、本実施形態では褥瘡の評価指標としてＤＥＳＩＧＮ－Ｒ（登録商標）を用いているが、これに限定されるものではない。Ｂａｔｅｓ－Ｊｅｎｓｅｎ Ｗｏｕｎｄ Ａｓｓｅｓｓｍｅｎｔ Ｔｏｏｌ（ＢＷＡＴ）、Ｐｒｅｓｓｕｒｅ Ｕｌｃｅｒ Ｓｃａｌｅ ｆｏｒ Ｈｅａｌｉｎｇ（ＰＵＳＨ）、Ｐｒｅｓｓｕｒｅ Ｓｏｒｅ Ｓｔａｔｕｓ Ｔｏｏｌ（ＰＳＳＴ）などの、他の評価指標を用いてもよい。
【0085】
（第１の変形例）
上述した図５のフローチャートのＳ５０２では、被写体の姿勢を撮影する場合について説明したが、この場合に限られない。例えば、Ｓ５０２において、撮像装置２００はユーザにより被写体の姿勢を選択できるように構成してもよい。具体的には、Ｓ５０２において、システム制御回路２２０は、図９（ｂ）に示す姿勢アイコン９２１～９２４、あるいは、姿勢を示す文字情報を表示装置２２３に選択可能に表示する。したがって、ユーザは被写体の姿勢に相当する姿勢アイコン、あるいは、文字情報を選択することができる。Ｓ５０８では、システム制御回路２２０はユーザが選択した姿勢アイコン（姿勢アイコンの識別情報を含む）、あるいは、文字情報を情報処理装置３００に送信する。
このようにユーザが被写体の姿勢を選択できるようにすることで容易に被写体の姿勢を特定することができる。また、姿勢の画像データを送受信する処理を省略することができるので、情報処理システム１の処理負担を軽減することができる。
上述した図５のフローチャートのＳ５０２では、被写体の姿勢を撮影する場合について説明したが、この場合に限られない。例えば、Ｓ５０２において、撮像装置２００はユーザにより被写体の姿勢を選択できるように構成してもよい。具体的には、Ｓ５０２において、システム制御回路２２０は、図９（ｂ）に示す姿勢アイコン９２１～９２４、あるいは、姿勢を示す文字情報を表示装置２２３に選択可能に表示する。したがって、ユーザは被写体の姿勢に相当する姿勢アイコン、あるいは、文字情報を選択することができる。Ｓ５０８では、システム制御回路２２０はユーザが選択した姿勢アイコン（姿勢アイコンの識別情報を含む）、あるいは、文字情報を情報処理装置３００に送信する。
このようにユーザが被写体の姿勢を選択できるようにすることで容易に被写体の姿勢を特定することができる。また、姿勢の画像データを送受信する処理を省略することができるので、情報処理システム１の処理負担を軽減することができる。
【0086】
（第２の変形例）
上述した図５のフローチャートのＳ５３８では、過去に患部を撮影したときの被写体の姿勢をユーザに対して通知するために、被写体情報９００の姿勢情報９０３を撮像装置２００に送信する場合について説明したが、この場合に限られない。例えば、Ｓ５３７において、対象の患者ＩＤに対応する被写体情報９００が記憶装置３１２に記憶されていないと判定された場合には、ＣＰＵ３１０は姿勢情報９０３を撮像装置２００に送信しなくてもよい。すなわち、Ｓ５３７において対象の患者ＩＤに対応する被写体情報９００が記憶装置３１２に記憶されていない場合とは、今回、初めて被写体を撮影するために、過去に患部を撮影したときの被写体の姿勢をユーザに通知する必要性は少ないためである。
上述した図５のフローチャートのＳ５３８では、過去に患部を撮影したときの被写体の姿勢をユーザに対して通知するために、被写体情報９００の姿勢情報９０３を撮像装置２００に送信する場合について説明したが、この場合に限られない。例えば、Ｓ５３７において、対象の患者ＩＤに対応する被写体情報９００が記憶装置３１２に記憶されていないと判定された場合には、ＣＰＵ３１０は姿勢情報９０３を撮像装置２００に送信しなくてもよい。すなわち、Ｓ５３７において対象の患者ＩＤに対応する被写体情報９００が記憶装置３１２に記憶されていない場合とは、今回、初めて被写体を撮影するために、過去に患部を撮影したときの被写体の姿勢をユーザに通知する必要性は少ないためである。
【0087】
（第３の変形例）
上述した図５のフローチャートのＳ５１０では、システム制御回路２２０が過去に患部を撮影したときの被写体の姿勢を表示装置２２３に表示する場合について説明したが、この場合に限られない。例えば、システム制御回路２２０は、図示しない音響装置を用いて音により過去に患部を撮影したときの被写体の姿勢を通知してもよい。
上述した図５のフローチャートのＳ５１０では、システム制御回路２２０が過去に患部を撮影したときの被写体の姿勢を表示装置２２３に表示する場合について説明したが、この場合に限られない。例えば、システム制御回路２２０は、図示しない音響装置を用いて音により過去に患部を撮影したときの被写体の姿勢を通知してもよい。
【0088】
以上、本発明を種々の実施形態および変形例と共に説明したが、本発明は上述した実施形態および変形例にのみ限定されるものではなく、本発明の範囲内で変更等が可能であり、上述した実施形態および変形例を適時、組み合わせてもよい。例えば、情報処理装置３００において解析する対象は患部に限られず、画像データに含まれるオブジェクトであってもよい。
【0089】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【0090】
１：情報処理システム
２００：撮像装置
２１１：撮像ユニット
２１６：測距システム
２１７：画像処理回路
２１９：通信装置
２２０：システム制御回路
２２３：表示装置
２２５：傾き検知装置
３００：情報処理装置
３１１：演算装置
３１２：記憶装置
３１３：通信装置
３１７：補助演算装置
２００：撮像装置
２１１：撮像ユニット
２１６：測距システム
２１７：画像処理回路
２１９：通信装置
２２０：システム制御回路
２２３：表示装置
２２５：傾き検知装置
３００：情報処理装置
３１１：演算装置
３１２：記憶装置
３１３：通信装置
３１７：補助演算装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】