特開 2022-163581 制御装置、制御プログラムおよび制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022163581

(43)【公開日】2022-10-26

(54)【発明の名称】制御装置、制御プログラムおよび制御方法

(51)【国際特許分類】

   A61B 1/045 20060101AFI20221019BHJP

   A61B 1/317 20060101ALI20221019BHJP

【ＦＩ】

A61B1/045 610

A61B1/317

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2021068594

(22)【出願日】2021-04-14

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和３年度、国立研究開発法人日本医療研究開発機構、医療分野研究成果展開事業「産学連携医療イノベーション創出プログラム」、「半月板損傷根治を目指す革新的治療技術の創生研究」に関する委託研究開発、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】504136568

【氏名又は名称】国立大学法人広島大学

(74)【代理人】

【識別番号】110000338

【氏名又は名称】特許業務法人ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】石川 正和

(72)【発明者】

【氏名】渡邉 朋信

(72)【発明者】

【氏名】安達 伸生

【テーマコード（参考）】

4C161

【Ｆターム（参考）】

4C161AA25

4C161WW02

4C161WW08

(57)【要約】

【課題】生体撮像データから、組織の炎症度合いとは独立して、組織の年齢の指標となる情報を取得する。
【解決手段】電子機器（１）を制御する制御装置（１０）であって、ＲＧＢ色空間におけるＢ領域に対応する青強度値と、Ｇ領域に対応する緑強度値と、Ｒ領域に対応する赤強度値とを有する生体撮像データの各画素について、青強度値を緑強度値で除すことにより青強度補正値を算出し、かつ、赤強度値を緑強度値で除すことにより赤強度補正値を算出する強度補正部（１４）を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

電子機器を制御する制御装置であって、
前記制御装置は、
ＲＧＢ色空間におけるＢ領域に対応する青波長域の強度値である青強度値と、Ｇ領域に対応する緑波長域の強度値である緑強度値と、Ｒ領域に対応する赤波長域の強度値である赤強度値と、を少なくとも有する生体撮像データに含まれる各画素について、前記青強度値を前記緑強度値で除すことにより青強度補正値を算出し、かつ、前記赤強度値を前記緑強度値で除すことにより赤強度補正値を算出する強度補正部を有することを特徴とする、制御装置。

【請求項2】

前記生体撮像データは、前記青波長域と、前記緑波長域と、前記赤波長域とを少なくとも含む混合光を照射して撮像された生体画像データであり、
前記生体画像データから、各前記画素の前記青強度値と、前記緑強度値と、前記赤強度値とを抽出する強度抽出部をさらに有することを特徴とする、請求項１に記載の制御装置。

【請求項3】

前記生体撮像データに含まれる各前記画素について、前記青強度値と、前記緑強度値と、前記赤強度値との少なくとも何れかが、所定の第１閾値以上かつ所定の第２閾値以下である場合に、当該画素を有効画素と判定する有効画素判定部をさらに有することを特徴とする、請求項１または２に記載の制御装置。

【請求項4】

複数の前記有効画素について、前記青強度補正値を表す第１結果画像と、前記赤強度補正値を表す第２結果画像とをそれぞれ出力する画像出力部をさらに有することを特徴とする、請求項３に記載の制御装置。

【請求項5】

前記有効画素における前記青強度補正値を用いて、前記生体撮像データに含まれる結合組織の年齢推定結果を算出する年齢推定部をさらに有することを特徴とする、請求項３または４に記載の制御装置。

【請求項6】

請求項１に記載の制御装置としてコンピュータを機能させるための制御プログラムであって、前記強度補正部としてコンピュータを機能させるための制御プログラム。

【請求項7】

電子機器を制御する制御方法であって、
前記制御方法は、
ＲＧＢ色空間におけるＢ領域に対応する青波長域の強度値である青強度値と、Ｇ領域に対応する緑波長域の強度値である緑強度値と、Ｒ領域に対応する赤波長域の強度値である赤強度値と、を少なくとも有する生体撮像データに含まれる各画素について、前記青強度値を前記緑強度値で除すことにより青強度補正値を算出し、かつ、前記赤強度値を前記緑強度値で除すことにより赤強度補正値を算出する強度補正ステップを有することを特徴とする、制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、生体撮像データを処理する電子機器を制御する制御装置、制御プログラムおよび制御方法に関する。

【背景技術】

【0002】

生体の患部の治療方針を決定するにあたり、患部を直接観察することは極めて重要である。しかしながら、関節症および内蔵疾患等の、外部からは観察困難な生体内部の治療では、患部を直接観察する方法に制限がある。近年、超小型の内視鏡を患部に挿入することで、低侵襲かつ迅速に生体内部の直接観察が可能となってきている。

【0003】

例えば、特許文献１には内視鏡の細径化を実現する技術が開示されている。また、特許文献２には、内視鏡画像を取得して、正常部と異常部との色差を拡張した内視鏡画像を出力する画像処理装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１０－５１５３８号公報

【特許文献2】特開２０２０－７８６４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来技術では生体撮像データに含まれる組織の経過年数すなわち組織の年齢に関する情報について、正確に抽出することが困難であった。これは、当該組織に炎症が生じている場合に、生体撮像データから、組織の炎症度合いとは独立して、組織の年齢の指標となる情報を取得する方法が確立されていなかったためである。

【0006】

本発明の一態様は、生体撮像データから、組織の炎症度合いとは独立して、組織の年齢の指標となる情報を取得することを目的とする。

【課題を解決するための手段】

【0007】

上記の課題を解決するために、本発明の一態様に係る制御装置は、電子機器を制御する制御装置であって、前記制御装置は、ＲＧＢ色空間におけるＢ領域に対応する青波長域の強度値である青強度値と、Ｇ領域に対応する緑波長域の強度値である緑強度値と、Ｒ領域に対応する赤波長域の強度値である赤強度値と、を少なくとも有する生体撮像データに含まれる各画素について、前記青強度値を前記緑強度値で除すことにより青強度補正値を算出し、かつ、前記赤強度値を前記緑強度値で除すことにより赤強度補正値を算出する強度補正部を有する。

【0008】

本発明の一態様に係る制御装置は、前記生体撮像データは、前記青波長域と、前記緑波長域と、前記赤波長域とを少なくとも含む混合光を照射して撮像された生体画像データであり、前記生体画像データから、各前記画素の前記青強度値と、前記緑強度値と、前記赤強度値とを抽出する強度抽出部をさらに有していてもよい。

【0009】

本発明の一態様に係る制御装置は、前記生体撮像データに含まれる各前記画素について、前記青強度値と、前記緑強度値と、前記赤強度値との少なくとも何れかが、所定の第１閾値以上かつ所定の第２閾値以下である場合に、当該画素を有効画素と判定する有効画素判定部をさらに有していてもよい。

【0010】

本発明の一態様に係る制御装置は、複数の前記有効画素について、前記青強度補正値を表す第１結果画像と、前記赤強度補正値を表す第２結果画像とをそれぞれ出力する画像出力部をさらに有していてもよい。

【0011】

本発明の一態様に係る制御装置は、前記有効画素における前記青強度補正値を用いて、前記生体撮像データに含まれる結合組織の年齢推定結果を算出する年齢推定部をさらに有していてもよい。

【0012】

上記の課題を解決するために、本発明の一態様に係る制御方法は、電子機器を制御する制御方法であって、ＲＧＢ色空間におけるＢ領域に対応する青波長域の強度値である青強度値と、Ｇ領域に対応する緑波長域の強度値である緑強度値と、Ｒ領域に対応する赤波長域の強度値である赤強度値と、を少なくとも有する生体撮像データに含まれる各画素について、前記青強度値を前記緑強度値で除すことにより青強度補正値を算出し、かつ、前記赤強度値を前記緑強度値で除すことにより赤強度補正値を算出する強度補正ステップを有する。

【0013】

本発明の各態様に係る制御装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記制御装置が備える各部（ソフトウェア要素）として動作させることにより前記制御装置をコンピュータにて実現させる制御装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

【発明の効果】

【0014】

本発明の一態様によれば、生体撮像データから、組織の炎症度合いとは独立して、組織の年齢の指標となる情報を取得できる。

【図面の簡単な説明】

【0015】

【図1】一実施形態に係る制御装置を備える画像処理装置の、制御ブロック構成を示すブロック図である。

【図2】膝軟骨を撮像した生体画像データからＢ値、Ｇ値およびＲ値を抽出し、観察対象者の年齢との対応関係をプロットした結果を示す図である。

【図3】図２に示す結果からＢ’値およびＲ’値を算出し、観察対象者の年齢との対応関係をプロットした結果を示す図である。

【図4】膝軟骨を撮像した生体画像データにおいて、Ｌ^＊ａ^＊ｂ色空間の^＊ａ値および^＊ｂ値を画像化した結果と、Ｂ’値およびＲ’値を画像化した結果とを示す図である。

【図5】膝軟骨における炎症箇所と、炎症発生直後の箇所との、Ｂ’値およびＲ’値を画像化した結果を示す図である。

【図6】一実施形態に係る制御方法の一例を示すフローチャートである。

【図7】画像出力部により出力される画像の一例を示す図である。

【発明を実施するための形態】

【0016】

〔本発明の概要〕
変形性膝関節症等の関節の疾患において患部を直接観察することは、治療方針の決定に極めて重要となる。例えば、変形性関節症では、軟骨と接している軟骨下骨に軟骨下骨硬化または骨棘等が生じるが、これらの早期発見が症状悪化の低減に有効である。関節を直接観察するため、従来は患部周辺を大きく切開する外科的治療が行われていた。しかしながら、近年は超小型の内視鏡である関節鏡を患部に挿入して、低侵襲かつ迅速な関節の直接観察が可能となってきている。

【0017】

関節の直接観察では、例えば変形性関節症の外科的治療を行う場合には、関節における軟骨の経過年数すなわち軟骨の年齢に関する正確な情報を得ることが、有効な治療方針の決定に有効となる。しかしながら、上述の特許文献２に記載の方法等では、軟骨の年齢の指標となる情報を得ることは困難であった。

【0018】

特許文献２等に記載の従来技術によれば、軟骨の炎症度合いについては、関節鏡により得られた画像データの赤領域を含む色度の強度により評価できる。また、観察対象者の年齢と炎症度合いとの間には相関があると考えられる。しかしながら、軟骨の炎症部位において、軟骨の年齢と炎症度合いとの間に必ずしも相関があるとは限らない。炎症の原因が、軟骨の年齢のみであるとは限らないためである。したがって、画像データの赤領域を含む色度の強度は、軟骨の年齢を評価するために正確な指標とはいえない。なお、観察対象者の年齢は軟骨の年齢と正の相関関係にあると考えられ、観察対象者の年齢は軟骨の年齢とみなしてもよい。

【0019】

本発明者らは、画像データの赤領域を含む色度の強度とは別の、軟骨の炎症度合いと独立して軟骨の年齢を評価可能な指標について、鋭意検討を行った。軟骨は、加齢と共に黄味がかった色相を呈することが経験的に知られている。したがって、本発明者らは、軟骨を撮像した画像データから様々な特徴量を抽出し、軟骨の年齢と相関する特徴量について検討を行った。具体的には、当該画像データを、ＣＩＥ（国際照明委員会）が定める種々の表色系に変換し、それぞれの表色系パラメータについて、軟骨の年齢との相関と、軟骨の炎症度合いとの相関を検討した。

【0020】

検討の結果、各表色系パラメータのうち、ＲＧＢ（Red, Green and Blue）色空間におけるＢ値（青強度値）が軟骨の年齢と相関しており、かつ、軟骨の炎症度合いとは必ずしも相関していないことを見出した。さらに、ＲＧＢ色空間におけるＧ値（緑強度値）は、軟骨の年齢には依存しないことから、当該Ｇ値の強度はＢ値の補正に用いることが可能であることを、併せて見出した。

【0021】

以上の知見により、本発明者らは、軟骨の年齢を評価する指標として、Ｂ値をＧ値にて補正したＢ’値（青強度補正値）が好ましく使用可能なことを見出し、本発明を完成させるに至った。

【0022】

以下、本発明の一実施形態に係る画像処理装置等について図１から図７を参照して詳細に説明する。なお、本明細書では本発明の一実施形態について、処理対象となる生体撮像データに含まれる生体の部分として、関節および関節における軟骨を例に挙げて説明している。ただし、本発明を適用可能な生体の部分は特に限定されない。当該生体の部分としては、コラーゲンを含む組織であることが好ましく、例えば固体状の結合組織であることが好ましい。好ましい具体例としては、関節、軟骨、腱、靭帯および骨が挙げられる。

【0023】

また、生体撮像データにおける生体とは、ヒトであってもよく、ヒト以外の哺乳動物であってもよく、哺乳動物以外の動物であってもよい。

【0024】

〔画像処理装置〕
図１に示すように、本実施形態に係る制御装置の一例は、画像処理装置（電子機器）１が備える制御装置１０である。画像処理装置１は、ＰＣ（Personal Computer）等の汎用コンピュータであってもよく、制御装置１０の処理専用に構成された専用機器であってもよい。画像処理装置１は、関節観察装置５０と有線または無線で接続されている。

【0025】

画像処理装置１は、制御装置１０と、入力装置２０と、表示装置３０と、記憶装置４０と、を備えている。入力装置２０は、画像処理装置１に対するユーザの入力操作を受け付ける。表示装置３０は、画像を表示する。入力装置２０および表示装置３０は、これらの装置が重畳的に配置されたタッチパネルにより構成してもよい。

【0026】

記憶装置４０は、画像処理装置１が取得する各種情報および画像処理装置１が生成する各種情報等を記憶する。また、記憶装置４０は、制御装置１０の各部の機能を実行するためのプログラムを記憶する。記憶装置４０は、例えば、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等であってよい。

【0027】

入力装置２０、表示装置３０および記憶装置４０は、画像処理装置１に有線または無線で接続された、画像処理装置１の外部の装置であってもよい。

【0028】

関節観察装置５０は、関節鏡５１と関節鏡制御装置５２とを備えている。関節鏡５１は、生体の内部であって、関節が観察可能な位置に挿入される超小型の内視鏡である。関節鏡制御装置５２は、関節観察装置５０のユーザによる入力に従って、関節鏡５１の動作を制御する。

【0029】

制御装置１０は、画像処理装置１の各部を統括的に制御する。制御装置１０は、例えばＣＰＵ（Central Processing Unit）またはＧＰＵ（Graphics Processing Unit）等であってよい。制御装置１０は、撮像データ取得部１１と、強度抽出部１２と、有効画素判定部１３と、強度補正部１４と、画像出力部１５と、を有している。

【0030】

（撮像データ取得部）
撮像データ取得部１１は、関節観察装置５０が出力する生体撮像データを取得する。生体撮像データは、関節を撮像した生体画像データである。また、生体撮像データは、複数の生体画像データが含まれるデータであってもよい。例えば、生体撮像データは、青波長域、緑波長域および赤波長域の各狭帯域光をそれぞれ照射して個別に撮像した、３つ以上の生体画像データを含んでいてもよい。

【0031】

ここで、「青波長域」とは、ＲＧＢ色空間におけるＢ（Blue）領域に対応する波長域であり、好ましくは５００ｎｍ未満の波長域、より好ましくは４００ｎｍ以上５００ｎｍ未満の波長域であり、４５０ｎｍの波長を含むことがより好ましい。「緑波長域」とは、ＲＧＢ色空間におけるＧ（Green）領域に対応する波長域であり、好ましくは５００ｎｍ以上５８０ｎｍ以下の波長域であり、５３０ｎｍの波長を含むことがより好ましい。「赤波長域」とは、ＲＧＢ色空間におけるＲ（Red）領域に対応する波長域であり、好ましくは５８０ｎｍより大きい波長域、より好ましくは５８０ｎｍより大きく７００ｎｍ以下の波長域であり、６１０ｎｍの波長を含むことがより好ましい。

【0032】

生体撮像データが単一の生体画像データにより構成される場合、当該生体画像データは、青波長域と、緑波長域と、赤波長域とを少なくとも含む混合光を照射して撮像されたものであってよい。このような混合光として、例えば、自然光および人工的な白色光が挙げられる。

【0033】

このような生体撮像データは、青波長域の強度値である青強度値と、緑波長域の強度値である緑強度値と、赤波長域の強度値である赤強度値と、を少なくとも有するデータである。また、生体撮像データは、その他の波長域の強度値をさらに有していてもよい。例えば、生体撮像データは、青波長域、緑波長域、赤波長域の３つの狭帯域光を照射して個別に撮像した生体画像データに加え、これらの狭帯域光とは異なる波長域の狭帯域光を照射して撮像した生体画像データを、さらに含んでいてもよい。

【0034】

（強度抽出部）
強度抽出部１２は、生体撮像データが、青強度値、緑強度値および赤強度値の少なくとも３つ以上を有する生体画像データが含まれている場合、当該生体画像データから、各画素の青強度値と、緑強度値と、赤強度値とを抽出する。強度抽出部１２は、例えば、青強度値、緑強度値および赤強度値を、それぞれＲＧＢ色空間におけるＢ領域の強度値であるＢ値、Ｇ領域の強度値であるＧ値およびＲ領域の強度値であるＲ値として取得してよい。これにより、制御装置１０は、生体撮像データが白色光等の照射により撮像された生体画像データであっても、青強度値、緑強度値および赤強度値をそれぞれ取得できる。

【0035】

なお、生体撮像データが、青波長域、緑波長域および赤波長域の各狭帯域光をそれぞれ照射して個別に撮像した、３つ以上の生体画像データを含んでいる場合は、強度抽出部１２による処理は行われなくてよい。この場合、制御装置１０は、青波長域の狭帯域光に係る生体画像データの強度値を青強度値、緑波長域の狭帯域光に係る生体画像データの強度値を緑強度値、赤波長域の狭帯域光に係る生体画像データの強度値を赤強度値としてよい。

【0036】

（有効画素判定部）
有効画素判定部１３は、生体撮像データに含まれる各画素について、有効画素であるか否かを判定する。デジタル画像データでは、各画素が表現可能な信号強度の最大値（所定の第１閾値）および最小値（所定の第２閾値）が決められている。したがって、各画素について青強度値、緑強度値および赤強度値の少なくとも何れかが、当該最大値より大きい場合または当該最小値より小さい場合、当該画素は以降の処理に含めないことが好ましい。

【0037】

すなわち、有効画素判定部１３が判定する有効画素とは、青強度値と、緑強度値と、赤強度値との少なくとも何れかが、所定の第１閾値以上かつ所定の第２閾値以下である画素である。有効画素判定部１３によれば、軟骨の年齢および炎症度合いの評価に有効な画素のみを用いた結果を得ることが可能となる。したがって、画像処理装置１のユーザによる結果の確認が容易となる。また、有効画素以外の画素に対する不要な処理を省くことができるため、制御装置１０の処理負荷を低減できる。

【0038】

有効画素判定部１３は、有効画素の判定について公知の方法（アルゴリズム）を用いてよい。公知の方法としては、例えば、大津の二値化法およびｋ－平均法（k-means clustering）が挙げられる。所定の第１閾値および所定の第２閾値は、有効画素の判定に用いる方法に応じて、適宜最適な値が算出される。

【0039】

（強度補正部）
強度補正部１４は、生体撮像データに含まれる各画素について、青強度補正値および赤強度補正値を算出する。青強度補正値は、青強度値を緑強度値で除する（Ｂ値／Ｇ値）ことで算出できる。赤強度補正値は、赤強度値を緑強度値で除する（Ｒ値／Ｇ値）ことで算出できる。強度補正部１４は、青強度補正値および赤強度補正値を、有効画素判定部１３により有効画素と判定された画素のみについて算出することが好ましい。

【0040】

ここで、青強度補正値と軟骨の年齢との相関について説明する。強度補正部１４が算出する青強度補正値は、軟骨の年齢と相関している。また、当該青強度補正値は、軟骨の炎症度合いとは必ずしも相関していないため、炎症度合いとは独立して軟骨の年齢を評価できる指標である。

【0041】

図２には、膝軟骨を撮像した生体画像データから、Ｂ値、Ｇ値およびＲ値を抽出し、それぞれ観察対象者の年齢との対応関係をプロットした結果を示す。観察対象者の年齢を、軟骨の年齢とみなして検討を行った。膝軟骨の撮像は、白色光を照射する関節観察装置（スミス・アンド・ネフューエンドスコピー株式会社、ＳＮ関節鏡／ＥＮＴスコープ；５６０Ｈハイディフィニションカメラヘッド；５６０Ｐハイディフィニションコントロールユニット）により行った。図２に示すように、Ｂ値は軟骨の年齢に対して負の相関が見られた。また、Ｒ値は軟骨の年齢に対して正の相関が見られた。一方、Ｇ値は軟骨の年齢と相関が見られなかった。

【0042】

生体画像データを撮像するとき、三次元形状の関節に対して白色光の照射を一様とすることは困難である。そのため、生体画像データには、白色光の照射強度の違いによるムラが生じる。軟骨の年齢と不相関であったＧ値は、主に白色光の照射強度に正に相関すると考えられる。したがって、Ｇ値を用いてＢ値およびＲ値を補正すれば、生体画像データにおける、白色光の照射強度によるムラを補正できる。具体的には、Ｂ値をＧ値で除したＢ’値（青強度補正値）と、Ｒ値をＧ値で除したＲ’値（赤強度補正値）とを算出すればよい。

【0043】

図３に、図２に示す結果からＢ’値およびＲ’値を算出し、それぞれ観察対象者の年齢との対応関係をプロットした結果を示す。図３に示すように、Ｂ’値は軟骨の年齢に対して負の相関が見られ、Ｒ’値は軟骨の年齢に対して正の相関が見られた。ここで、観察対象者の年齢に応じて、軟骨に炎症が生じる確率および炎症度合いは高くなることが知られている。炎症部位は赤味がかった色相が強まることから、生体画像データの赤強度値に対応するＲ’値は、炎症度合いと相関していると考えられる。

【0044】

軟骨における青味がかった色相は、コラーゲンに起因すると考えられる。そして、軟骨の含有コラーゲン量は年齢と共に減少することが知られている。したがって、生体画像データの青強度値に対応するＢ’値は、軟骨のコラーゲン量を反映することで、軟骨の年齢と相関していると考えられる。ここで、本発明では、軟骨の年齢と、炎症度合いとを独立に評価することを目的としている。したがって、Ｂ’値とＲ’値とが相関しているか否かについて、以下に検討する。

【0045】

図４は、膝軟骨を撮像した生体画像データにおいて、Ｌ^＊ａ^＊ｂ色空間の^＊ａ値および^＊ｂ値を画像化した結果（Ｌ^＊ａ^＊ｂ表色系）と、Ｂ’値およびＲ’値を画像化した結果（本発明）とを示す。Ｌ^＊ａ^＊ｂ表色系は、ＣＩＥが定める表色系の一つである。Ｌ^＊ａ^＊ｂ表色系および本発明のいずれも、紙面向かって左側に未処理の生体画像データ（元画像）を示している。

【0046】

Ｌ^＊ａ^＊ｂ表色系において、^＊ａ値は大きいほど赤味が強いことを示し、軟骨の炎症度合いと相関すると考えられる。また、^＊ｂ値は大きいほど黄味が強いことを示し、加齢に応じて黄褐色となる軟骨の年齢と相関すると考えられてきた。しかしながら、図４に示すように、^＊ａ値と^＊ｂ値との間には明らかに正の相関が見られた。したがって、^＊ｂ値は軟骨の炎症度合いと独立しているとは言えず、本発明の目的には不適である。

【0047】

一方、Ｂ’値とＲ’値との間には負の相関が見られたが、その限りではないことが図４から見て取れた。より具体的に、図５には膝軟骨における炎症箇所と、炎症発生直後の箇所との、Ｂ’値およびＲ’値を画像化した結果を示している。軟骨の炎症箇所では、コラーゲン等の融解が発生しているため、軟骨の青味が減少している。そのため、図５の炎症箇所に示すように、Ｂ’値とＲ’値とは一定程度相関していた。一方、炎症発生直後の、コラーゲン等の融解前であれば軟骨の青味は減少しない。そのため、図５に示すように、炎症発生直後の箇所ではＢ’値とＲ’値とは相関が見られなかった。これは、Ｂ’値は炎症度合いとは独立して、軟骨の年齢の指標となり得ることを示す結果である。なお、図５では、代表的な箇所を点線枠により示している。

【0048】

以上の知見の通り、強度補正部１４は、それぞれ独立して軟骨の年齢および炎症度合いの指標となる、青強度補正値および赤強度補正値を算出できる。このように、強度補正部１４を備える制御装置１０によれば、軟骨の年齢および軟骨の炎症度合いを、それぞれ独立して評価可能な指標を算出できる。

【0049】

また、強度補正部１４によれば、機械学習等の学習データを必要とすることなく、生体撮像データに含まれる情報のみから、軟骨の年齢を高い正確性で示す指標を算出できる。したがって、制御装置１０は、学習データの有無および質に左右されず、軟骨の年齢を示す指標を一貫した信頼度により算出できる。

【0050】

（画像出力部）
画像出力部１５は、強度補正部１４が算出した青強度補正値を表す青結果画像（第１結果画像）と、赤強度補正値を表す赤結果画像（第２結果画像）とを生成する。青結果画像は、例えば、青強度補正値を強度値として表すグレースケールの画像データであってよい。赤結果画像についても同様である。そして、画像出力部１５は、青結果画像および赤結果画像を、それぞれ表示装置３０に出力する。これにより、表示装置３０に、青結果画像および赤結果画像が表示される。

【0051】

画像出力部１５は、青結果画像と、撮像データ取得部１１が取得した未処理の生体撮像データ（元画像）とを合成した青合成画像を生成し、また、赤結果画像と元画像とを合成した赤合成画像を生成してもよい。画像出力部１５は、青合成画像および赤合成画像を、青結果画像および赤結果画像に替えて表示装置３０に出力してもよいし、青結果画像および赤結果画像と共に表示装置３０に出力してもよい。また、画像出力部１５は、これらの画像と共に元画像についても出力してよい。

【0052】

なお、画像出力部１５が青結果画像および赤結果画像等を出力するのは、表示装置３０に限られない。例えば、画像出力部１５は、印刷装置（不図示）に出力を行ってもよいし、画像処理装置１以外の他の電子機器に出力を行ってもよい。青結果画像および赤結果画像等を取得した当該他の電子機器は、取得したデータをデータベース等の形式により記憶装置に記憶してもよいし、取得したデータを用いてさらに処理を行ってもよい。

【0053】

〔画像処理装置の制御方法〕
制御装置１０が実行する、画像処理装置１を制御する制御方法の一例について、図６を参照して以下に説明する。

【0054】

図６に示すように、まず、撮像データ取得部１１は、関節観察装置５０から、関節鏡５１により撮像された生体撮像データを取得する（Ｓ１）。なお、撮像データ取得部１１が取得するのは、関節観察装置５０から送信される生体撮像データに限られない。撮像データ取得部１１は、他の電子機器等に記憶された生体撮像データを取得してもよいし、記憶装置４０に記憶された生体撮像データを取得してもよい。

【0055】

次に、強度抽出部１２は、生体撮像データが、青波長域、緑波長域および赤波長域の各狭帯域光をそれぞれ照射して個別に撮像した、複数の生体画像データを含んでいるか否かを判定する（Ｓ２）。生体撮像データが、このような複数の生体画像データを含んでいない場合（Ｓ２でＮｏ）、強度抽出部１２は、生体撮像データは白色光の照射により撮像された単一の生体画像データであると判定する。そして、強度抽出部１２は、生体画像データからＲＧＢ色空間におけるＢ値を青強度値として、Ｇ値を緑強度値として、Ｒ値を赤強度値として、それぞれ抽出する（Ｓ３、強度抽出ステップ）。

【0056】

一方、生体撮像データが、このような複数の生体画像データを含んでいる場合（Ｓ２でＹｅｓ）、強度抽出部１２によるＳ３の処理は行われない。この場合、生体撮像データには、青強度値、緑強度値および赤強度値が、予め個別の状態で含まれているためである。

【0057】

なお、画像処理装置１が、白色光の照射により撮像された生体画像データのみを取得する構成または設定となっている場合には、強度抽出部１２によるＳ２の判定処理は行われなくてもよい。

【0058】

次に、有効画素判定部１３は、各画素について有効画素であるか否かを判定する（Ｓ４、有効画素判定ステップ）。有効画素判定部１３による、有効画素であるか否かの具体的な判定方法については既に説明しているため、ここでは説明を省略する。

【0059】

次に、強度補正部１４は、有効画素と判定された全ての画素について、青強度補正値および赤強度補正値を算出する（Ｓ５、強度補正ステップ）。青強度補正値は、青強度値を緑強度値で除すことにより算出できる。赤強度補正値は、赤強度値を緑強度値で除すことにより算出できる。

【0060】

次に、画像出力部１５は、青強度補正値を表す青結果画像を生成すると共に、青結果画像と元画像とを合成した青合成画像を生成する（Ｓ６）。また、画像出力部１５は、赤強度補正値を表す赤結果画像を生成すると共に、赤結果画像と元画像とを合成した赤合成画像を生成する（Ｓ７）。画像の合成は、公知の一般的な方法により行われてよい。

【0061】

ここでいう元画像とは、撮像データ取得部１１が取得した生体撮像データである。生体撮像データに複数の生体画像データ含まれている場合、画像出力部１５は、全ての生体画像データを合成した結果を元画像としてもよいし、一部の生体画像データのみを元画像としてもよい。

【0062】

次に、画像出力部１５は、元画像および生成した画像を、表示装置３０に出力する（Ｓ８、画像出力ステップ）。画像出力部１５が出力する「生成した画像」とは、青結果画像、青合成画像、赤結果画像および赤合成画像である。また、画像出力部１５は、生成した画像のうちの一部のみを出力してもよい。

【0063】

図７は、画像出力部１５が出力する各画像を示している。図７に示すように、画像出力部１５は、元画像６０１と、青結果画像６０２と、赤結果画像６０３とを出力する。また、画像出力部１５は、青合成画像６０４および赤合成画像６０５についても出力する。青結果画像６０２および青合成画像６０４は軟骨の年齢の指標となり、赤結果画像６０３および赤合成画像６０５は軟骨の炎症度合いの指標となる。

【0064】

このような構成によれば、青結果画像および赤結果画像を元画像と容易に比較可能となるため、ユーザによる結果の評価を容易化できる。

【0065】

〔変形例〕
本発明の一実施形態に係る制御装置１０には、種々のバリエーションが想定される。その一例として、制御装置１０は、図１に示すように、年齢推定部１６をさらに有していてもよい。

【0066】

年齢推定部１６は、強度補正部１４が算出した青強度補正値を用いて、生体撮像データに含まれる軟骨等の結合組織の年齢推定結果を算出する（年齢推定ステップ）。軟骨の年齢を推定する方法としては、例えば、年齢推定部１６は、記憶装置４０が記憶するデータテーブルを参照して、青強度補正値から軟骨の年齢推定結果を算出してもよい。当該データテーブルは、青強度補正値の値と軟骨の年齢との対応関係を示すデータ構造を有するものであり得る。また、年齢推定部１６は、青強度補正値と軟骨の年齢との対応関係を機械学習により学習した学習済みモデルを用いて、軟骨の年齢推定結果を算出してもよい。

【0067】

年齢推定部１６は、軟骨の年齢推定結果について、年齢推定結果の数値を表す生データの状態で出力してもよいし、画像出力部１５に出力して、画像出力部１５が年齢推定結果を画像化してもよい。画像出力部１５は、軟骨の年齢推定結果について、青結果画像または青合成画像に重畳的に表示されるように合成して、表示装置３０に出力してよい。また、画像出力部１５は、軟骨の年齢推定結果を示す文字情報のみを画像化して、表示装置３０に出力してもよい。

【0068】

年齢推定部１６によれば、制御装置１０は、軟骨の年齢推定結果を出力できる。したがって、画像処理装置１のユーザは、青結果画像等の画像データに加え、年齢推定部１６による年齢推定結果も踏まえて、生体撮像データにおける軟骨の年齢を評価できる。

【0069】

なお、年齢推定部１６をはじめ、制御装置１０の各機能ブロックは、単一の制御装置１０に含まれていてもよいし、複数の制御装置に別個に含まれていてもよい。たとえば、年齢推定部１６は、制御装置１０とは異なる制御装置に含まれていてもよい。このような構成であれば、各制御ブロックの処理負荷を複数の制御装置間で分散できる。このように、本発明の一実施形態に係る制御装置は、複数であってもよい。

【0070】

〔ソフトウェアによる実現例〕
画像処理装置１（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック（特に制御装置１０に含まれる各部）としてコンピュータを機能させるためのプログラムにより実現することができる。

【0071】

この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも１つの制御装置（例えばプロセッサ）と少なくとも１つの記憶装置（例えばメモリ）を有するコンピュータを備えている。この制御装置と記憶装置とにより上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。

【0072】

上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。

【0073】

また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。

【0074】

〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【符号の説明】

【0075】

１ 画像処理装置（電子機器）
１０ 制御装置
１２ 強度抽出部
１３ 有効画素判定部
１４ 強度補正部
１５ 画像出力部
１６ 年齢推定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】