特表 2024-528326 光ファイバ画像キャリブレーション方法、装置及びコンピュータ可読記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-26

(54)【発明の名称】光ファイバ画像キャリブレーション方法、装置及びコンピュータ可読記憶媒体

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240719BHJP

   H04N 23/40 20230101ALI20240719BHJP

   A61B 1/00 20060101ALI20240719BHJP

【ＦＩ】

H04N23/60 500

H04N23/40 300

A61B1/00 630

A61B1/00 732

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024529861

(86)(22)【出願日】2022-07-26

(85)【翻訳文提出日】2024-03-21

(86)【国際出願番号】 CN2022108040

(87)【国際公開番号】W WO2023005943

(87)【国際公開日】2023-02-02

(31)【優先権主張番号】202110856709.1

(32)【優先日】2021-07-28

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】515182532

【氏名又は名称】ウーシー ハイスカイ メディカル テクノロジーズ カンパニー リミテッド

【氏名又は名称原語表記】ＷＵＸＩ ＨＩＳＫＹ ＭＥＤＩＣＡＬ ＴＥＣＨＮＯＬＯＧＩＥＳ ＣＯ．， ＬＴＤ．

【住所又は居所原語表記】Ｂ４０１， ５３０ Ｐｌａｚａ， Ｕｎｉｖｅｒｓｉｔｙ Ｓｃｉｅｎｃｅ Ｐａｒｋ， Ｔａｉｈｕ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｃｉｅｎｃｅ ＆ Ｔｅｃｈｎｏｌｏｇｙ Ｐａｒｋ， Ｘｉｎｗｕ Ｄｉｓｔｒｉｃｔ Ｗｕｘｉ， Ｊｉａｎｇｓｕ ２１４０００ Ｃｈｉｎａ

(71)【出願人】

【識別番号】524043156

【氏名又は名称】蘇州微景医学科技有限公司

【氏名又は名称原語表記】ＳＵＺＨＯＵ ＭＩＣＲＯＶＩＥＷ ＭＥＤＩＣＡＬ ＴＥＣＨＮＯＬＯＧＩＥＳ ＣＯ．，ＬＴＤ．

【住所又は居所原語表記】Ｒｏｏｍ ６０２， Ｂｕｉｌｄｉｎｇ Ｎｏ．１， Ｒｕｉｓｕ Ｓｃｉｅｎｃｅ Ｐａｒｋ， Ｎｏ．２ Ｋｅｃｈｅｎｇ Ｒｏａｄ， Ｓｕｚｈｏｕ Ｉｎｄｕｓｔｒｉａｌ Ｐａｒｋ Ｓｕｚｈｏｕ， Ｊｉａｎｇｓｕ ２１５０００ Ｃｈｉｎａ

(74)【代理人】

【識別番号】110000408

【氏名又は名称】弁理士法人高橋・林アンドパートナーズ

(72)【発明者】

【氏名】ハー，チオン

(72)【発明者】

【氏名】シャオ，ジンファー

(72)【発明者】

【氏名】サン，ジン

(72)【発明者】

【氏名】バイ，ディ

【テーマコード（参考）】

4C161

5C122

【Ｆターム（参考）】

4C161CC04

4C161CC07

4C161FF46

4C161JJ11

4C161TT01

5C122DA26

5C122FH01

5C122FH11

5C122HB01

(57)【要約】

本願は、光ファイバ画像キャリブレーション方法、装置及びコンピュータ可読記憶媒体に関する。この方法は、現在の光ファイバ画像及び光ファイバ中心参照位置を取得することと、現在の光ファイバ画像において、光ファイバ中心参照位置と、その近傍範囲内における階調値に基づいて決定されたターゲット位置と、の位置差分状況に基づいて、現在の光ファイバ画像における各光ファイバユニットの中心位置をキャリブレーションすることと、現在決定された輝度キャリブレーション係数に基づいて、すでに位置キャリブレーションが完了した現在の光ファイバ画像に対して輝度キャリブレーションを行うことと、を含む。このように、顕微内視鏡で物体を観測する過程において、収集された光ファイバ画像に対して迅速かつ効率的に光ファイバのドリフトキャリブレーションを実現することができるだけではなく、さらにパラメータのリアルタイムなキャリブレーションを迅速かつ効率的に実現することができ、それによって、観測過程における光ファイバ画像の品質を改善し、光ファイバ画像の品質の一致性を確保して、後続診断の精度を高める。
【選択図】図２

【特許請求の範囲】

【請求項1】

光ファイバ画像キャリブレーション方法であって、
現在の光ファイバ画像及び光ファイバ中心参照位置を取得することであって、前記現在の光ファイバ画像が現在時刻に収集された光ファイバ画像であり、前記光ファイバが複数の光ファイバユニットを含み、前記光ファイバ中心参照位置が各光ファイバユニットの中心参照位置を含むことと、
前記現在の光ファイバ画像において、前記光ファイバ中心参照位置と、その近傍範囲内における階調値に基づいて決定されたターゲット位置と、の位置差分状況に基づいて、前記現在の光ファイバ画像における各光ファイバユニットの中心位置をキャリブレーションすることと、
現在決定された輝度キャリブレーション係数に基づいて、すでに位置キャリブレーションが完了した前記現在の光ファイバ画像に対して輝度キャリブレーションを行うことと、を含むことを特徴とする光ファイバ画像キャリブレーション方法。

【請求項2】

光ファイバ中心参照位置を取得することは、
予め保存された前記光ファイバ中心参照位置を取得すること、又は
先に取得された光ファイバ画像から各光ファイバユニットの中心位置を抽出し、抽出された各光ファイバユニットの中心位置を前記光ファイバ中心参照位置とすることを含むことを特徴とする請求項１に記載の光ファイバ画像キャリブレーション方法。

【請求項3】

前記先に取得された光ファイバ画像の収集時間は、前記現在の光ファイバ画像よりも早いことを特徴とする請求項２に記載の光ファイバ画像キャリブレーション方法。

【請求項4】

前記現在の光ファイバ画像において、前記光ファイバ中心参照位置と、その近傍範囲内における階調値に基づいて決定されたターゲット位置と、の位置差分状況に基づいて、前記現在の光ファイバ画像における各光ファイバユニットの中心位置をキャリブレーションすることは、
前記現在の光ファイバ画像において、前記各光ファイバユニットの中心参照位置を原点として、それぞれ各原点の近傍範囲内において検索し、各近傍範囲内の階調値が最大の位置を決定することと、
前記各近傍範囲内の階調値が最大の位置と前記現在の光ファイバ画像における各光ファイバユニットの中心参照位置との位置差分状況に基づいて、前記現在の光ファイバ画像における各光ファイバユニットの中心位置をキャリブレーションすることと、を含むことを特徴とする請求項１に記載の光ファイバ画像キャリブレーション方法。

【請求項5】

前記輝度キャリブレーション係数は、
予め保存された利得係数とバイアス係数を取得し、前記予め保存された利得係数とバイアス係数に基づいて前記輝度キャリブレーション係数を決定するステップ、又は
時間に伴って変化する一連の光ファイバ画像の階調値に対して回帰フィッティングを行い、利得係数とバイアス係数を決定するステップ、及び、決定された利得係数とバイアス係数に基づいて、前記輝度キャリブレーション係数を決定するステップによって決定されることを特徴とする請求項１に記載の光ファイバ画像キャリブレーション方法。

【請求項6】

時間に伴って変化する一連の光ファイバ画像の階調値に対して回帰フィッティングを行い、利得係数とバイアス係数を決定することは、
光ファイバ画像における各光ファイバユニットの中心位置の時間に伴う輝度の変化及び光ファイバ画像における各光ファイバユニットの中心位置の間の輝度関係の時間に伴う変化に基づいて、前記利得係数と前記バイアス係数を決定することを含むことを特徴とする請求項５に記載の光ファイバ画像キャリブレーション方法。

【請求項7】

前記利得係数と前記バイアス係数は、下記式（１）と式（２）に基づいて決定され、

【数1】

式（３）に基づいて、すでに位置キャリブレーションが完了した前記現在の光ファイバ画像に対して輝度キャリブレーションを行い、

【数2】

ｕ_ｉ（ｔ）は、ｔフレーム目の光ファイバ画像におけるｉ番目の光ファイバユニットの中心位置のキャリブレーション後の階調値を表し、
ｖ_ｉ（ｔ）は、ｔフレーム目の光ファイバ画像におけるｉ番目の光ファイバユニットの中心位置の階調値を表し、
ｖ_ｊ（ｔ）は、ｔフレーム目の光ファイバ画像におけるｊ番目の光ファイバユニットの中心位置の階調値を表し、
α_ｉは、ｉ番目の光ファイバユニットの中心位置の階調値の利得係数を表し、
β_ｉは、ｉ番目の光ファイバユニットの中心位置の階調値のバイアス係数を表し、
α_ｊは、ｊ番目の光ファイバユニットの中心位置の階調値の利得係数を表し、
β_ｊは、ｊ番目の光ファイバユニットの中心位置の階調値のバイアス係数を表し、
ε_ｉｊ（ｔ）は、ｔフレーム目の光ファイバ画像におけるｉ番目の光ファイバユニットの中心位置とｊ番目の光ファイバユニットの中心位置との階調値とフィッティング曲線との誤差項を表す、ことを特徴とする請求項６に記載の光ファイバ画像キャリブレーション方法。

【請求項8】

時間に伴って変化する一連の光ファイバ画像の階調値に対して回帰フィッティングを行う過程において、
回帰フィッティング誤差が予め設定される閾値よりも大きい光ファイバユニットの中心位置に対して、前記回帰フィッティング誤差が予め設定される閾値よりも大きい光ファイバユニットの中心位置の階調値を破棄し、及び／又は
回帰フィッティング誤差が予め設定される閾値よりも大きい光ファイバユニットの中心位置の数が予め設定される位置の数を超える場合に、前記時間に伴って変化する一連の光ファイバ画像に対する回帰フィッティングを破棄することを特徴とする請求項５に記載の光ファイバ画像キャリブレーション方法。

【請求項9】

すでに位置キャリブレーションが完了した前記現在の光ファイバ画像に対して輝度キャリブレーションを行うことは、
前記現在の光ファイバ画像において、キャリブレーション後の各光ファイバユニットの中心位置を頂点として各光ファイバユニットに対応するグラフィックスメッシュを分割することと、
前記現在の光ファイバ画像における頂点以外の各位置に対して、それが位置するグラフィックスメッシュに含まれる前記キャリブレーション後の各光ファイバユニットの中心位置のキャリブレーション後の階調値に基づいて、距離に基づく加重補間を利用して、キャリブレーション後の階調値を決定することと、をさらに含むことを特徴とする請求項１に記載の光ファイバ画像キャリブレーション方法。

【請求項10】

すでに位置キャリブレーションが完了した前記現在の光ファイバ画像における各光ファイバユニットの中心位置を記憶し、前記光ファイバ中心参照位置を得ることをさらに含むことを特徴とする請求項１に記載の光ファイバ画像キャリブレーション方法。

【請求項11】

光ファイバ画像キャリブレーション装置であって、
現在の光ファイバ画像及び光ファイバ中心参照位置を取得するように構成されている取得モジュールであって、前記現在の光ファイバ画像が現在時刻に収集された光ファイバ画像であり、前記光ファイバが複数の光ファイバユニットを含み、前記光ファイバ中心参照位置が各光ファイバユニットの中心参照位置を含む取得モジュールと、
前記現在の光ファイバ画像において、前記光ファイバ中心参照位置と、その近傍範囲内における階調値に基づいて決定されたターゲット位置と、の位置差分状況に基づいて、前記現在の光ファイバ画像における各光ファイバユニットの中心位置をキャリブレーションするように構成されているドリフトキャリブレーションモジュールと、
現在決定された輝度キャリブレーション係数に基づいて、すでに位置キャリブレーションが完了した前記現在の光ファイバ画像に対して輝度キャリブレーションを行うように構成されている輝度キャリブレーションモジュールと、を含むことを特徴とする光ファイバ画像キャリブレーション装置。

【請求項12】

光ファイバ画像キャリブレーション装置であって、プロセッサとメモリとを含み、メモリにコンピュータ実行可能な命令が記憶されており、前記プロセッサが前記コンピュータ実行可能な命令を実行すると、請求項１乃至１０のいずれか１項に記載の光ファイバ画像キャリブレーション方法を実現することを特徴とする光ファイバ画像キャリブレーション装置。

【請求項13】

コンピュータ可読記憶媒体であって、前記コンピュータ可読記憶媒体にコンピュータ実行可能な命令が記憶されており、前記コンピュータ実行可能な命令がプロセッサにより実行されると、請求項１乃至１０のいずれか１項に記載の光ファイバ画像キャリブレーション方法を実現することを特徴とするコンピュータ可読記憶媒体。

【請求項14】

コンピュータ実行可能な命令であって、前記コンピュータ実行可能な命令がプロセッサにより実行されると、請求項１乃至１０のいずれか１項に記載の光ファイバ画像キャリブレーション方法を実現する、ことを特徴とするコンピュータ実行可能な命令。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願の相互参照］
本願は、２０２１年０７月２８日に中国特許庁に提出され、出願番号が２０２１１０８５６７０９．１で、発明の名称が「光ファイバ画像キャリブレーション方法、装置及びコンピュータ可読記憶媒体」の中国特許出願の優先権を主張しており、その内容のすべては、援用で本願に取り込まれる。

【0002】

本願は、画像処理分野に関し、具体的には、光ファイバ画像キャリブレーション方法、装置及びコンピュータ可読記憶媒体に関する。

【背景技術】

【0003】

顕微内視鏡は、医学的観察と検出に広く応用されており、光ファイバとガルバノミラーは、いずれも顕微内視鏡の重要な構成部品であり、１本の光ファイバは、一般的には数万個の光ファイバユニットからなり、通常の場合に、各光ファイバユニットの中心位置は、固定されている。実際の使用過程において、ガルバノミラーの走査精度の限制及び使用過程における光ファイバの曲げ変化のため、端面が固定されている場合に走査のたびに厳密に同じ位置にあることを保証することはできない。そのため、時間の変化に伴い、ガルバノミラーの走査位置と光ファイバの位置が変化し、それに応じて、１本の光ファイバにおける各光ファイバユニットの中心位置も変化する。この現象は、光ファイバドリフトと呼ばれる。

【0004】

図１は、光ファイバドリフト現象を例示的に示す。図１の背景は、光ファイバメッシュ画像であり、円点マークの位置は、現在時刻に取得された光ファイバ画像から抽出された各光ファイバユニットの中心位置を表し、バツ状マーク位置は、この前に取得されたあるフレームの光ファイバ画像における各光ファイバユニットの中心位置を表す。理想的には、同じ光ファイバにおける各光ファイバユニットの中心は、同一の使用過程における各時刻にその位置が完全に重なっているが、図１に示すように、光ファイバドリフト現象があるため、２つの時刻の中心位置には一定の画素差分がある。画像再構成過程において、メッシュ迅速除去の方法を実施するために、各光ファイバユニットの中心位置を決定する必要があり、光ファイバドリフトの存在により、光ファイバ画像の処理を行うとき、誤った位置の光ファイバ情報を抽出し、それによって、画像の品質に大きく影響する。また、各光ファイバユニットの中心の階調値同士の間の偏差も画像の品質に顕著に影響する。

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来技術にある上記技術課題に対して、本願は、顕微内視鏡で物体を観測する過程において、収集された光ファイバ画像に対して迅速かつ効率的に光ファイバのドリフトキャリブレーションを実現することができるだけではなく、さらにパラメータのリアルタイムなキャリブレーションを迅速かつ効率的に実現することができ、それによって、観測過程における光ファイバ画像の品質を改善し、光ファイバ画像の品質の一致性を確保して、後続診断の精度を高める、光ファイバ画像キャリブレーション方法、装置及びコンピュータ可読記憶媒体を提供する。

【課題を解決するための手段】

【0006】

本願の第１の態様によれば、光ファイバ画像キャリブレーション方法を提供する。この方法は、現在の光ファイバ画像及び光ファイバ中心参照位置を取得することであって、前記現在の光ファイバ画像が現在時刻に収集された光ファイバ画像であり、前記光ファイバが複数の光ファイバユニットを含み、前記光ファイバ中心参照位置が各光ファイバユニットの中心参照位置を含むことと、前記現在の光ファイバ画像において、前記光ファイバ中心参照位置と、その近傍範囲内における階調値に基づいて決定されたターゲット位置と、の位置差分状況に基づいて、前記現在の光ファイバ画像における各光ファイバユニットの中心位置をキャリブレーションすることと、現在決定された輝度キャリブレーション係数に基づいて、すでに位置キャリブレーションが完了した前記現在の光ファイバ画像に対して輝度キャリブレーションを行うことと、を含んでもよい。

【0007】

いくつかの実施例では、光ファイバ中心参照位置を取得することは、予め保存された前記光ファイバ中心参照位置を取得すること、又は先に取得された光ファイバ画像から各光ファイバユニットの中心位置を抽出し、抽出された各光ファイバユニットの中心位置を前記光ファイバ中心参照位置とすることを含む。

【0008】

いくつかの実施例では、前記先に取得された光ファイバ画像の収集時間は、前記現在の光ファイバ画像よりも早い。

【0009】

いくつかの実施例では、前記現在の光ファイバ画像において、前記光ファイバ中心参照位置と、その近傍範囲内における階調値に基づいて決定されたターゲット位置と、の位置差分状況に基づいて、前記現在の光ファイバ画像における各光ファイバユニットの中心位置をキャリブレーションすることは、前記現在の光ファイバ画像において、前記各光ファイバユニットの中心参照位置を原点として、それぞれ各原点の近傍範囲内において検索し、各近傍範囲内の階調値が最大の位置を決定することと、前記各近傍範囲内の階調値が最大の位置と前記現在の光ファイバ画像における各光ファイバユニットの中心参照位置との位置差分状況に基づいて、前記現在の光ファイバ画像における各光ファイバユニットの中心位置をキャリブレーションすることと、を含む。

【0010】

いくつかの実施例では、前記輝度キャリブレーション係数は、予め保存された利得係数とバイアス係数を取得し、前記予め保存された利得係数とバイアス係数に基づいて前記輝度キャリブレーション係数を決定するステップ、又は時間に伴って変化する一連の光ファイバ画像の階調値に対して回帰フィッティングを行い、利得係数とバイアス係数を決定するステップ、及び、決定された利得係数とバイアス係数に基づいて、前記輝度キャリブレーション係数を決定するステップによって決定される。

【0011】

いくつかの実施例では、時間に伴って変化する一連の光ファイバ画像の階調値に対して回帰フィッティングを行い、利得係数とバイアス係数を決定することは、光ファイバ画像における対応する各光ファイバユニットの中心位置の時間に伴う輝度の変化及び光ファイバ画像における各光ファイバユニットの中心位置の間の輝度関係の時間に伴う変化に基づいて、前記利得係数と前記バイアス係数を決定することを含む。

【0012】

いくつかの実施例では、前記利得係数と前記バイアス係数は、下記式（１）と式（２）に基づいて決定され、

【数1】

式（３）に基づいて、すでに位置キャリブレーションが完了した前記現在の光ファイバ画像に対して輝度キャリブレーションを行い、

【数2】

ｕ_ｉ（ｔ）は、ｔフレーム目の光ファイバ画像におけるｉ番目の光ファイバユニットの中心位置のキャリブレーション後の階調値を表し、ｖ_ｉ（ｔ）は、ｔフレーム目の光ファイバ画像におけるｉ番目の光ファイバユニットの中心位置の階調値を表し、ｖ_ｊ（ｔ）は、ｔフレーム目の光ファイバ画像におけるｊ番目の光ファイバユニットの中心位置の階調値を表し、α_ｉは、ｉ番目の光ファイバユニットの中心位置の階調値の利得係数を表し、β_ｉは、ｉ番目の光ファイバユニットの中心位置の階調値のバイアス係数を表し、α_ｊは、ｊ番目の光ファイバユニットの中心位置の階調値の利得係数を表し、β_ｊは、ｊ番目の光ファイバユニットの中心位置の階調値のバイアス係数を表し、ε_ｉｊ（ｔ）は、ｔフレーム目の光ファイバ画像におけるｉ番目の光ファイバユニットの中心位置とｊ番目の光ファイバユニットの中心位置との階調値とフィッティング曲線との誤差項を表す。

【0013】

いくつかの実施例では、時間に伴って変化する一連の光ファイバ画像の階調値に対して回帰フィッティングを行う過程において、回帰フィッティング誤差が予め設定される閾値よりも大きい光ファイバユニットの中心位置に対して、前記回帰フィッティング誤差が予め設定される閾値よりも大きい光ファイバユニットの中心位置の階調値を破棄し、及び／又は、回帰フィッティング誤差が予め設定される閾値よりも大きい光ファイバユニットの中心位置の数が予め設定される位置の数を超える場合に、前記時間に伴って変化する一連の光ファイバ画像に対する回帰フィッティングを破棄する。

【0014】

いくつかの実施例では、すでに位置キャリブレーションが完了した前記現在の光ファイバ画像に対して輝度キャリブレーションを行うことは、前記現在の光ファイバ画像において、キャリブレーション後の各光ファイバユニットの中心位置を頂点として各光ファイバユニットに対応するグラフィックスメッシュを分割することと、前記現在の光ファイバ画像における頂点以外の各位置に対して、それが位置するグラフィックスメッシュに含まれる前記キャリブレーション後の各光ファイバユニットの中心位置のキャリブレーション後の階調値に基づいて、距離に基づく加重補間を利用して、キャリブレーション後の階調値を決定することと、をさらに含む。

【0015】

いくつかの実施例では、この方法は、すでに位置キャリブレーションが完了した前記現在の光ファイバ画像における各光ファイバユニットの中心位置を記憶し、前記光ファイバ中心参照位置を得ることをさらに含んでもよい。

【0016】

本願の第２の態様によれば、光ファイバ画像キャリブレーション装置を提供する。この装置は、取得モジュールと、ドリフトキャリブレーションモジュールと、輝度キャリブレーションモジュールとを含んでもよい。取得モジュールは、現在の光ファイバ画像及び光ファイバ中心参照位置を取得するように構成されてもよく、前記現在の光ファイバ画像が現在時刻に収集された光ファイバの画像であり、前記光ファイバが複数の光ファイバユニットを含み、前記光ファイバ中心参照位置が各光ファイバユニットの中心参照位置を含む。ドリフトキャリブレーションモジュールは、前記現在の光ファイバ画像において、前記光ファイバ中心参照位置と、その近傍範囲内における階調値に基づいて決定されたターゲット位置と、の位置差分状況に基づいて、前記現在の光ファイバ画像における各光ファイバユニットの中心位置をキャリブレーションするように構成されてもよい。輝度キャリブレーションモジュールは、現在決定された輝度キャリブレーション係数に基づいて、すでに位置キャリブレーションが完了した前記現在の光ファイバ画像に対して輝度キャリブレーションを行うように構成されてもよい。

【0017】

いくつかの実施例では、前記取得モジュールは、選択的に、予め保存された前記光ファイバ中心参照位置を取得し、又は先に取得された光ファイバ画像から各光ファイバユニットの中心位置を抽出し、抽出された各光ファイバユニットの中心位置を前記光ファイバ中心参照位置とするように構成されている。

【0018】

いくつかの実施例では、前記先に取得された光ファイバ画像の収集時間は、前記現在の光ファイバ画像よりも早い。

【0019】

いくつかの実施例では、前記ドリフトキャリブレーションモジュールは、選択的に、前記現在の光ファイバ画像において、前記各光ファイバユニットの中心参照位置を原点として、それぞれ各原点の近傍範囲内において検索し、各近傍範囲内の階調値が最大の位置を決定し、前記各近傍範囲内の階調値が最大の位置と、前記現在の光ファイバ画像における各光ファイバユニットの中心参照位置と、の位置差分状況に基づいて、前記現在の光ファイバ画像における各光ファイバユニットの中心位置をキャリブレーションするように構成されている。

【0020】

いくつかの実施例では、前記光ファイバ画像キャリブレーション装置は、予め保存された利得係数とバイアス係数を取得し、前記予め保存された利得係数とバイアス係数に基づいて前記輝度キャリブレーション係数を決定し、又は時間に伴って変化する一連の光ファイバ画像の階調値に対して回帰フィッティングを行い、利得係数とバイアス係数を決定し、決定された利得係数とバイアス係数に基づいて、前記輝度キャリブレーション係数を決定するように構成されているキャリブレーション係数決定モジュールをさらに含む。

【0021】

いくつかの実施例では、キャリブレーション係数決定モジュールは、選択的に、光ファイバ画像における対応する各光ファイバユニットの中心位置の時間に伴う輝度の変化及び光ファイバ画像における各光ファイバユニットの中心位置の間の輝度関係の時間に伴う変化に基づいて、前記利得係数と前記バイアス係数を決定するように構成されている。

【0022】

いくつかの実施例では、前記利得係数と前記バイアス係数は、下記式（１）と式（２）に基づいて決定され、

【数3】

式（３）に基づいて、すでに位置キャリブレーションが完了した前記現在の光ファイバ画像に対して輝度キャリブレーションを行い、

【数4】

ｕ_ｉ（ｔ）は、ｔフレーム目の光ファイバ画像におけるｉ番目の光ファイバユニットの中心位置のキャリブレーション後の階調値を表し、ｖ_ｉ（ｔ）は、ｔフレーム目の光ファイバ画像におけるｉ番目の光ファイバユニットの中心位置の階調値を表し、ｖ_ｊ（ｔ）は、ｔフレーム目の光ファイバ画像におけるｊ番目の光ファイバユニットの中心位置の階調値を表し、α_ｉは、ｉ番目の光ファイバユニットの中心位置の階調値の利得係数を表し、β_ｉは、ｉ番目の光ファイバユニットの中心位置の階調値のバイアス係数を表し、α_ｊは、ｊ番目の光ファイバユニットの中心位置の階調値の利得係数を表し、β_ｊは、ｊ番目の光ファイバユニットの中心位置の階調値のバイアス係数を表し、ε_ｉｊ（ｔ）は、ｔフレーム目の光ファイバ画像におけるｉ番目の光ファイバユニットの中心位置とｊ番目の光ファイバユニットの中心位置との階調値とフィッティング曲線との誤差項を表す。

【0023】

いくつかの実施例では、前記キャリブレーション係数決定モジュールは、具体的に、時間に伴って変化する一連の光ファイバ画像の階調値に対して回帰フィッティングを行う過程において、回帰フィッティング誤差が予め設定される閾値よりも大きい光ファイバユニットの中心位置に対して、前記回帰フィッティング誤差が予め設定される閾値よりも大きい光ファイバユニットの中心位置の階調値を破棄し、及び／又は回帰フィッティング誤差が予め設定される閾値よりも大きい光ファイバユニットの中心位置の数が予め設定される位置の数を超える場合に、前記時間に伴って変化する一連の光ファイバ画像に対する回帰フィッティングを破棄するように構成されている。

【0024】

いくつかの実施例では、前記光ファイバ画像キャリブレーション装置は、前記現在の光ファイバ画像において、キャリブレーション後の各光ファイバユニットの中心位置を頂点として各光ファイバユニットに対応するグラフィックスメッシュを分割し、前記現在の光ファイバ画像における頂点以外の各位置に対して、それが位置するグラフィックスメッシュに含まれる前記キャリブレーション後の各光ファイバユニットの中心位置のキャリブレーション後の階調値に基づいて、距離に基づく加重補間を利用して、キャリブレーション後の階調値を決定するように構成されているメッシュ分割モジュールをさらに含む。

【0025】

いくつかの実施例では、前記光ファイバ画像キャリブレーション装置は、すでに位置キャリブレーションが完了した前記現在の光ファイバ画像における各光ファイバユニットの中心位置を記憶し、前記光ファイバ中心参照位置を得るように構成されている記憶モジュールをさらに含む。

【0026】

本願の第３の態様によれば、光ファイバ画像キャリブレーション装置を提供する。この光ファイバ画像キャリブレーション装置は、プロセッサとメモリとを含み、メモリにコンピュータ実行可能な命令が記憶されており、前記プロセッサが前記コンピュータ実行可能な命令を実行すると、本願のいずれか１つの実施例による光ファイバ画像キャリブレーション方法を実現することができる。

【0027】

本願の第４の態様によれば、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体にコンピュータ実行可能な命令が記憶されており、前記コンピュータ実行可能な命令がプロセッサにより実行されると、本願のいずれか１つの実施例による光ファイバ画像キャリブレーション方法を実現することができる。

【0028】

本願の第５の態様によれば、コンピュータ実行可能な命令を提供し、前記コンピュータ実行可能な命令がプロセッサにより実行されると、本願のいずれか１つの実施例による光ファイバ画像キャリブレーション方法を実現する。

【発明の効果】

【0029】

本願のいずれか１つの実施例の光ファイバ画像キャリブレーション方法、光ファイバ画像キャリブレーション装置及び媒体を利用すると、顕微内視鏡で物体を観測する過程において、収集された光ファイバ画像に対して迅速かつ効率的に光ファイバのドリフトキャリブレーションを実現することができるだけではなく、さらにパラメータのリアルタイムなキャリブレーションを迅速かつ効率的に実現することができ、それによって、観測過程における光ファイバ画像の品質を改善し、光ファイバ画像の品質の一致性を確保して、後続診断の精度を高める。

【図面の簡単な説明】

【0030】

図面は必ずしも正しい縮尺率で描かれていないが、当該図面では、同じ符号は異なる図で類似した部品を記述することができる。アルファベット接尾辞または異なるアルファベット接尾辞を有する同じ符号は、類似した部品の異なる例を表すことができる。図面は概して、限定的ではなく例を挙げることによって様々な実施例を示し、開示された実施例を説明書および特許請求の範囲とともに説明するために使用される。そのような実施例は例示的であり、本装置または方法としてのすべての実施例または排他的な実施例を意図するものではない。

【図1】従来技術に基づく光ファイバドリフト現象の概略図を示す。

【図2】本願の実施例による光ファイバ画像キャリブレーション方法のフローチャートを示す。

【図3】元のメッシュ付き画像と、ドリフトキャリブレーションが行われていないがメッシュが除去された後の光ファイバ画像と、本願の実施例による光ファイバ画像キャリブレーション方法で光ファイバのドリフトキャリブレーションが行われかつメッシュが除去された後の光ファイバ画像とのそれぞれの局所の比較図を示す。

【図4】（ａ）は、本願の実施例による光ファイバユニットの中心に対してドリフトキャリブレーションを行う概略図を示す。（ｂ）は、本願の実施例によるグラフィックスメッシュの概略図を示す。

【図5】本願の実施例による、頂点である２つの光ファイバユニットの中心の階調値を回帰法に基づいてフィッティングする概略図を示す。

【図6】（ａ）は、本願の実施例による、フィッティング偏差が大きい一部の光ファイバユニットのデータを破棄した場合に得られた光ファイバ画像の局所の図を示す。（ｂ）は、本願の実施例による、フィッティング偏差が大きい一部の光ファイバユニットのデータを破棄しない場合に得られた光ファイバ画像の局所の図を示す。

【図7】本願の実施例による光ファイバ画像キャリブレーション装置の図を示す。

【図8】本願の実施例による光ファイバ画像キャリブレーション装置のブロック図を示す。

【発明を実施するための形態】

【0031】

本願の技術案を当業者がよりよく理解するために、以下に添付図面と具体的な実施形態を併せて本願について詳細に説明する。以下、添付図面及び具体的な実施例を併せて本願の実施例についてさらに詳細に説明するが、本願に対する限定とはしない。

【0032】

本願で使用される「第１」、「第２」及び類似語は、いかなる順序、数量、又は重要性を表すものではなく、異なる部分を区別するために使用されるものに過ぎない。「含む」又は「包含する」などの類似語は、その語の前の要素がその語の後に列挙された要素を包含することを意味し、他の要素も包含する可能性を排除しない。「上」、「下」、「左」、「右」などは、相対位置関係を表すためにのみ使用され、記述されたオブジェクトの絶対位置が変化すると、その相対位置関係もそれに応じて変化することがある。

【0033】

本願では、特定のデバイスが第１のデバイスと第２のデバイスとの間に位置すると説明される場合、この特定のデバイスと第１のデバイス又は第２のデバイスとの間に中間デバイスが存在してもよく、中間デバイスが存在しなくてもよい。特定のデバイスに他のデバイスが接続されると説明される場合、この特定のデバイスは、中間デバイスを介さずに他のデバイスと直接接続されてもよいし、他のデバイスと直接接続されずに中間デバイスを有してもよい。

【0034】

図２は、本願の実施例による光ファイバ画像キャリブレーション方法のフローチャートを示す。図２に示すように、この光ファイバ画像キャリブレーション方法は、ステップ１０１と、ステップ１０２と、ステップ１０３とを含む。

【0035】

ステップ１０１において、現在の光ファイバ画像及び光ファイバ中心参照位置を取得することができ、この現在の光ファイバ画像が現在時刻に収集された光ファイバ画像であり、この光ファイバが複数の光ファイバユニットを含み、この光ファイバ中心参照位置が各光ファイバユニットの中心参照位置を含む。

【0036】

現在の光ファイバ画像については、各光ファイバユニットの中心参照位置は、光ファイバがドリフトしていない（又はドリフト量が非常に少ない）場合における各光ファイバユニットの基準中心位置を表すことを目的とし、光ファイバがドリフトした場合に各光ファイバユニットがキャリブレーションした中心位置を基準中心位置とすることを表すことも目的とする。

【0037】

いくつかの実施例では、光ファイバ中心参照位置は、予め保存されたものであってもよい。例えば、キャリブレーションすべき光ファイバ画像に対して光ファイバ中心参照位置を予め設定しかつ記憶し、キャリブレーションすべき光ファイバ画像をキャリブレーションするときに直接呼び出してもよい。

【0038】

いくつかの実施例では、光ファイバ中心参照位置については、先に取得された光ファイバ画像から各光ファイバユニットの中心位置を抽出し、抽出された各光ファイバユニットの中心位置を光ファイバ中心参照位置としてもよい。

【0039】

いくつかの実施例では、現在の光ファイバ画像と先に取得された光ファイバ画像は、収集の時系列的に隣接する２フレームの画像であってもよく、例えば、時間領域上で感度がより高い予備較正を実現するために、先に取得された光ファイバ画像の収集時間は、この現在の光ファイバ画像より１つの単位時間だけ早くてもよい。またいくつかの実施例では、現在の光ファイバ画像と先に取得された光ファイバ画像の収集時間とは、複数の信号収集期間だけ異なってもよく、例えば、逐次的な予備較正に比べて、機器の演算負荷を低減させるとともに予備較正の効果を確保するために、先に取得された光ファイバ画像の収集時間は、この現在の光ファイバ画像よりも複数（例えば、２０であってもよい）の単位時間だけ早くてもよい。

【0040】

ステップ１０２において、現在の光ファイバ画像において、光ファイバ中心参照位置と、その近傍範囲内における階調値に基づいて決定されたターゲット位置と、の位置差分状況に基づいて、現在の光ファイバ画像における各光ファイバユニットの中心位置をキャリブレーションすることができる。このように、時間的に前後する光ファイバドリフトによる光ファイバユニットの中心位置のオフセットを解消し、この後に各光ファイバユニットの中心位置を頂点として分割したグラフィックスメッシュの位置のオフセット変化をさらに解消することができる。各光ファイバユニットの中心は、光ファイバ全体を構成する各光ファイバユニットの中心である。

【0041】

具体的には、位置キャリブレーションが行われていない現在の光ファイバ画像については、その各光ファイバユニットの中心位置が未知であるため、位置キャリブレーションが行われていない現在の光ファイバ画像において、まず各光ファイバユニットの中心参照位置を各光ファイバユニットの中心位置とする。

【0042】

選択的に、現在の光ファイバ画像における各近傍範囲内の階調値が最大の位置と、現在の光ファイバ画像における各光ファイバユニットの中心参照位置と、の位置差分状況に基づいて、現在の光ファイバ画像における各光ファイバユニットの中心位置に対して対応する位置キャリブレーション案を用いてもよい。なお、差分状況に基づいてキャリブレーションするため、キャリブレーションする必要がある可能性もあり、キャリブレーションする必要がない可能性もある。上記位置差分状況は、２つの位置間の距離差分によって表すことができ、例えば、距離差分が一定の閾値に達した場合のみ、現在の光ファイバ画像における対応する光ファイバユニットの中心位置をキャリブレーションし、逆の場合に、ここでの光ファイバドリフトが深刻ではなく、許容範囲内にあると考えられ、現在の光ファイバ画像における対応する光ファイバユニットの中心位置をキャリブレーションしない。上記閾値の大きさは、需要に応じて設定されてもよい。本実施例におけるキャリブレーションは、位置のキャリブレーションとして理解されてもよい。

【0043】

いくつかの実施例では、差分が一定の閾値に達した場合に、各原点の近傍範囲内の階調値が最大の位置を現在の光ファイバ画像における対応する光ファイバユニットのキャリブレーション後の中心位置として直接用いてもよい。

【0044】

いくつかの実施例では、すでに位置キャリブレーションが完了した現在の光ファイバ画像における各光ファイバユニットの中心位置を記憶し、光ファイバ中心参照位置を得る。この光ファイバ中心参照位置は、上記した予め保存された光ファイバ中心参照位置でもあり、最新の光ファイバ中心参照位置でもある。

【0045】

ステップ１０１とステップ１０２によって、光ファイバドリフトのキャリブレーションを迅速かつ効率的に実現し、光ファイバドリフトによる画像再構成偏差を弱めることができる。光ファイバドリフト現象が深刻である場合に、本願のキャリブレーション方法によれば、光ファイバドリフトによる位置偏差が、後続の光ファイバ画像の処理に与える影響を完全に解消することができる。

【0046】

図３の（ａ）～（ｃ）は、元のメッシュ付き光ファイバ画像と、ドリフトキャリブレーションが行われていないがメッシュが除去された後の光ファイバ画像と、本願の実施例による光ファイバ画像キャリブレーション方法で光ファイバのドリフトキャリブレーションが行われかつメッシュが除去された後の光ファイバ画像との比較図を示す。光ファイバ画像において各光ファイバユニットに対応してメッシュが形成され、一般的にはメッシュ除去処理を実行する必要がある。具体的に、光ファイバユニットの中心位置での階調値に基づいて補間して他の位置の階調値を得、それによって、メッシュ除去効果を実現することができる。それからわかるように、本願のいずれか１つの実施例によるキャリブレーション方法は、光ファイバユニットの中心位置のオフセット変化による、メッシュ除去アルゴリズムが実行された後の画像の品質への悪影響を解消することができる。

【0047】

いくつかの実施例では、現在の光ファイバ画像において、光ファイバ中心参照位置と、その近傍範囲内における階調値に基づいて決定されたターゲット位置と、の位置差分状況に基づいて、この現在の光ファイバ画像における各光ファイバユニットの中心位置をキャリブレーションすることは、この現在の光ファイバ画像において、この各光ファイバユニットの中心参照位置を原点として、それぞれ各原点の近傍範囲内において検索し、各近傍範囲内の階調値が最大の位置を決定することと、この各近傍範囲内の階調値が最大の位置と、この現在の光ファイバ画像における各光ファイバユニットの中心参照位置と、の位置差分状況に基づいて、この現在の光ファイバ画像における各光ファイバユニットの中心位置をキャリブレーションすることとを含む。本実施例では、階調値に基づいて決定されたターゲット位置とは、階調値が最大の位置を意味する。上記した、差分状況に基づいて現在の光ファイバ画像における各光ファイバユニットの中心位置をキャリブレーションする実現形態は、これに組み合わせられてもよい。

【0048】

具体的には、各原点の近傍範囲とは、各原点に隣接するＮ個の画素からなる範囲を意味し、Ｎの大きさは、実際の需要に応じて設定されてもよく、例えばＮは１０に等しい。前述したように、光ファイバ全体は、一般的には数万個の光ファイバユニットからなり、各光ファイバユニットは、いずれも、それぞれの中心参照位置を有し、これを原点とした近傍範囲も合計数万個ある。

【0049】

なお、得られた差分状況結果の数は、光ファイバ画像における対応する光ファイバユニットの数と同じである。現在の光ファイバ画像における各光ファイバユニットの中心位置をキャリブレーションするか否かは、この光ファイバユニットの中心位置に対応する差分結果に依存するため、現在の光ファイバ画像におけるすべての光ファイバユニットの中心位置をキャリブレーションする可能性もあり、現在の光ファイバ画像における一部の光ファイバユニットの中心位置のみをキャリブレーションする可能性もあり、さらに現在の光ファイバ画像におけるすべての光ファイバユニットの中心位置をいずれもキャリブレーションしない可能性もある。例えば、現在の光ファイバ画像におけるある光ファイバユニットＡの中心位置に対応する差分結果が一定の閾値に達した場合に、この光ファイバユニットＡの中心位置をキャリブレーションし、この差分結果が一定の閾値に達していない場合に、この光ファイバユニットＡの中心位置をキャリブレーションしない。この光ファイバユニットＡは、現在の光ファイバ画像におけるいずれか１つの光ファイバユニットであってもよい。

【0050】

現在の光ファイバ画像において、すでに決定された原点（即ち、各光ファイバユニットの中心参照位置）をベースとして近傍検索を行い、近傍において、キャリブレーション後の中心位置である可能性が高いものを検索する。近傍検索を行うには、一方が検索範囲で、他方が検索判断基準である２つのキーパラメータを設定してもよい。検索範囲が光ファイバユニット自体のサイズよりも大きくないために、前者は、光ファイバユニットのサイズ範囲に基づいて動的に選択されてもよい。後者は、複数の形態を用いてもよく、選択的に、各近傍範囲内において階調値が最大の位置をキャリブレーション後の現在の光ファイバ画像における各光ファイバユニットの中心位置として検索してもよい。発明者らは、理想的な条件における光ファイバユニットの中心位置の信号階調値が光ファイバユニットの全サイズ範囲内の各点の階調値に比べて最大であることを考慮し、光ファイバユニット自体のサイズよりも大きくない検索範囲を設定して検索階調極大値と組み合わせることによって、現在の光ファイバ画像における各光ファイバユニットの実際の中心位置を効率的かつ正確に見つけることができ、それによって、これに基づいて光ファイバのドリフトキャリブレーションを実現する。

【0051】

以下、１つの光ファイバユニットを例にして、図４の（ａ）を合わせて例示的に説明すると、光ファイバユニット３０１は、光ファイバ全体における１つの光ファイバユニットであり、バツ状マーク位置３０２は、光ファイバユニット３０１の中心参照位置を表し、この中心参照位置は、先に取得された光ファイバ画像から抽出されてもよく、予め保存された光ファイバ中心参照位置から取得されてもよい。図４の（ａ）は、中心参照位置即ちバツ状マーク位置３０２を現在の光ファイバ画像に表示することを示し、バツ状マーク位置３０２は、現在の光ファイバ画像における光ファイバユニット３０１のキャリブレーションが行われていない中心位置である。バツ状マーク位置３０２を原点として、光ファイバユニット３０１のサイズ内において検索近傍範囲３０４を設定し、近傍範囲３０４内の最大階調値の位置を円点マーク位置３０３として検索する。円点マーク位置３０３とバツ状マーク位置３０２との間の距離差分が一定の閾値に達した場合に、現在の光ファイバ画像において階調値が最大の位置（即ち、円点マーク位置３０３）を光ファイバユニット３０１のキャリブレーション後の中心位置とする。円点マーク位置３０３とバツ状マーク位置３０２との間の距離差分が一定の閾値に達していない場合、光ファイバユニット３０１の中心位置をキャリブレーションせず、即ち、光ファイバユニット３０１の中心位置は、依然としてバツ状マーク位置３０２である。上記過程によって、光ファイバユニット３０１の中心位置に対するキャリブレーションを完了させる。

【0052】

本願のキャリブレーション方法によれば、光ファイバドリフトによる画像の品質劣化を回避し、画像収集過程における画像の品質の一致性を確保することができる。

【0053】

ドリフトキャリブレーションの完了後、ステップ１０３において、現在決定された輝度キャリブレーション係数に基づいて、すでに位置キャリブレーションが完了した現在の光ファイバ画像に対して輝度キャリブレーションを行うことができる。

【0054】

ステップ１０１～ステップ１０３を実行することによって、顕微内視鏡で物体を観測する過程において、収集された光ファイバ画像に対して光ファイバのドリフトキャリブレーションを迅速かつ効率的に実現することができるだけではなく、さらにパラメータのリアルタイムなキャリブレーションを迅速かつ効率的に実現することができ、それによって、観測過程における光ファイバ画像の品質を改善し、光ファイバ画像の品質の一致性を確保して、後続診断の精度を高める。

【0055】

本願は、光ファイバを介して自然物体を観察する連続性原理に基づいて、光ファイバ画像に対してリアルタイムに輝度キャリブレーションを行う。具体的に、光ファイバビーム全体を構成する各光ファイバユニットのサイズが極めて小さく、各光ファイバユニット間の間隔距離がミクロンオーダーであることを考慮すると、自然画像の観察については、このスケールで自然画像に突然変異が生じない、つまりこのスケールで観測して得られた自然画像が連続していると近似して考えられる。

【0056】

いくつかの実施例では、輝度キャリブレーション係数は、予め保存された利得係数とバイアス係数を取得し、この予め保存された利得係数とバイアス係数に基づいて輝度キャリブレーション係数を決定するステップによって決定されてもよい。

【0057】

具体的には、輝度キャリブレーション係数は、利得係数とバイアス係数からなるため、本実施例は、輝度キャリブレーション係数も予め保存され、輝度キャリブレーションをすべき光ファイバ画像に対して輝度キャリブレーションを行うときに直接呼び出すとし理解されてもよく、この形態は、光ファイバ画像パラメータに対する迅速かつリアルタイムなキャリブレーションを実現することができる。

【0058】

いくつかの実施例では、輝度キャリブレーション係数は、時間に伴って変化する一連の光ファイバ画像の階調値に対して回帰フィッティングを行い、利得係数とバイアス係数を決定するステップ、及び、決定された利得係数とバイアス係数に基づいて、輝度キャリブレーション係数を決定するステップによって決定されてもよい。一例として、限定ではないが、回帰フィッティングは、線形回帰フィッティングであってもよい。このように決定された輝度キャリブレーション係数によって、すでに位置キャリブレーションが完了した現在の光ファイバ画像に対してリアルタイムに輝度キャリブレーションを行い、実際に輝度バランスのとれた光ファイバ画像を得、良好なキャリブレーション効果を実現し、それによって、光ファイバ画像の品質の一致性を確保することができる。

【0059】

具体的には、輝度キャリブレーション係数は、利得係数とバイアス係数からなる。本願における輝度キャリブレーション係数は、時間に伴って変化する一連の光ファイバ画像に基づいてリアルタイムに計算され、画像数が増加するにつれて更新されていく。１フレームの光ファイバ画像を新たに得るたびに、現在の輝度キャリブレーション係数に基づいて、新たに得られた光ファイバ画像に対して輝度キャリブレーションを行う。

【0060】

選択的に、すでに位置キャリブレーションが完了した、時間に伴って変化する一連の光ファイバ画像を選択してその階調値の回帰フィッティングを行ってもよいし、位置キャリブレーションが行われていない、時間に伴って変化する一連の光ファイバ画像を選択してその階調値の回帰フィッティングを行ってもよい。選択的に、すでに位置キャリブレーションが完了した、時間に伴って変化する一連の光ファイバ画像を選択してその階調値の回帰フィッティングを行うと、得られた利得係数とバイアス係数の精度がより高いため、利得係数とバイアス係数に基づいて決定された輝度キャリブレーション係数もより正確であり、上記輝度キャリブレーション係数を用いて光ファイバ画像キャリブレーションを行うと、さらに画像キャリブレーションの効果を高めることができる。

【0061】

いくつかの実施例では、光ファイバ画像における各光ファイバユニットの中心位置の時間に伴う輝度の変化及び光ファイバ画像における各光ファイバユニットの中心位置の間の輝度関係の時間に伴う変化に基づいて、利得係数とバイアス係数を決定してもよい。

【0062】

例えば、下記式（１）と式（２）に基づいて利得係数とバイアス係数を決定してもよく、

【数5】

式（３）に基づいて、すでに位置キャリブレーションが完了した現在の光ファイバ画像に対して輝度キャリブレーションを行ってもよく、

【数6】

ｕ_ｉ（ｔ）は、ｔフレーム目の光ファイバ画像におけるｉ番目の光ファイバユニットの中心位置のキャリブレーション後の階調値を表し、ｖ_ｉ（ｔ）は、ｔフレーム目の光ファイバ画像におけるｉ番目の光ファイバユニットの中心位置の階調値を表し、ｖ_ｊ（ｔ）は、ｔフレーム目の光ファイバ画像におけるｊ番目の光ファイバユニットの中心位置の階調値を表し、α_ｉは、ｉ番目の光ファイバユニットの中心位置の階調値の利得係数を表し、β_ｉは、ｉ番目の光ファイバユニットの中心位置の階調値のバイアス係数を表し、α_ｊは、ｊ番目の光ファイバユニットの中心位置の階調値の利得係数を表し、β_ｊは、ｊ番目の光ファイバユニットの中心位置の階調値のバイアス係数を表し、ε_ｉｊ（ｔ）は、ｔフレーム目の光ファイバ画像におけるｉ番目の光ファイバユニットの中心位置とｊ番目の光ファイバユニットの中心位置との階調値とフィッティング曲線との誤差項を表す。

【0063】

なお、いくつかの場合に、ｉ番目の光ファイバユニットの中心位置に対する線形回帰フィッティングを破棄すると、α_ｉとβ_ｉの値がＮＵＬＬになり、ｕ_ｉ（ｔ）がｖ_ｉ（ｔ）に等しく、このとき、ｉ番目の光ファイバユニットの中心位置の階調値をキャリブレーションしないことを表す。

【0064】

具体的に、式（１）～式（３）に基づいて、各光ファイバユニットペアの中心位置、例えばｉ番目の光ファイバユニットの中心位置とｊ番目の光ファイバユニットの中心位置に対して、この光ファイバユニットペアの中心位置の、時間領域上の一連の光ファイバ画像における階調値情報に基づいて、過決定方程式を求めて利得係数α_ｉとバイアス係数β_ｉをｉ番目の光ファイバユニットの中心位置の階調値の輝度キャリブレーション係数として取得することができる。例えば、１つの光ファイバユニットの中心位置の、異なる光ファイバペアにおけるキャリブレーション係数（通光性能の差分に密に関連）の異なりによって、各光ファイバユニットの中心位置の階調値の輝度キャリブレーション係数を反復的に求めることができる。

【0065】

いくつかの実施例では、すでに位置キャリブレーションが完了した現在の光ファイバ画像に対して輝度キャリブレーションを行うことは、現在の光ファイバ画像において、キャリブレーション後の各光ファイバユニットの中心位置を頂点として各光ファイバユニットに対応するグラフィックスメッシュを分割することと、この現在の光ファイバ画像における頂点以外の各位置に対して、それが位置するグラフィックスメッシュに含まれるこのキャリブレーション後の各光ファイバユニットの中心位置のキャリブレーション後の階調値に基づいて、距離に基づく加重補間を利用して、キャリブレーション後の階調値を決定することと、をさらに含む。これによって、現在の光ファイバ画像における各光ファイバユニットの中心位置以外の他の位置の階調値キャリブレーションが完了し、ドリフトと輝度がキャリブレーションされ且つメッシュが除去された後の光ファイバ画像を得ることができ、この光ファイバ画像は、平滑度が高く、ノイズが小さく、即ち画像の品質がより良い。

【0066】

例えば、グラフィックスメッシュは、ドロネー（ｄｅｌａｕｎａｙ）三角メッシュにより構築された三角形メッシュであってもよく、図４の（ｂ）に示すように、三角メッシュ３０７ａ－３０７ｆ－３０７ｇ、三角メッシュ３０７ａ－３０７ｂ－３０７ｇ、三角メッシュ３０７ｂ－３０７ｇ－３０７ｃ、三角メッシュ３０７ｇ－３０７ｃ－３０７ｄ、三角メッシュ３０７ｅ－３０７ｇ－３０７ｄ、及び三角メッシュ３０７ｆ－３０７ｇ－３０７ｅであってもよく、３０７ａ－３０７ｇは、キャリブレーション後の各光ファイバユニットの中心位置を表し、対応する各光ファイバのグラフィックスメッシュの頂点である。

【0067】

そして、図４の（ｂ）に示すように、位置３０６に対して、それを取り囲む三角形メッシュ３０７ａ－３０７ｆ－３０７ｇの各頂点３０７ａ、３０７ｆ、及び３０７ｇのキャリブレーション後の階調値に基づいて、例えば距離に基づいて加重合計を行って、位置３０６の階調値を決定してもよく、これは、位置３０６の再構成階調値と呼ばれてもよい。

【0068】

いくつかの実施例では、ある期間に収集されたドリフトキャリブレーション後の光ファイバ画像を用い、光ファイバ画像の迅速な再構成と更新を容易にするために、各頂点と各頂点の輝度キャリブレーション係数を記憶してもよい。

【0069】

いくつかの実施例では、大量のデータを取得して、光ファイバユニットの中心位置の階調値の直交回帰フィッティングを行って輝度キャリブレーション係数を得てもよい。しかし、収集されたデータの状況によって、得られたフィッティング結果は異なる。いくつかの実施例では、時間に伴って変化する一連の光ファイバ画像の階調値に対して回帰フィッティングを行う過程において、回帰フィッティング誤差を計算してもよい。

【0070】

例えば、図５に示すように、黒い丸でマークされた光ファイバユニットの中心位置の階調値距離回帰曲線ｙ＝１．０４７９ｘ－１５２６．０２６７の偏差が小さいが、白い丸でマークされた光ファイバユニットの中心位置の階調値距離回帰曲線ｙ＝１．０４７９ｘ－１５２６．０２６７の偏差が大きいことは、白い丸でマークされた光ファイバユニットの中心位置の階調値の回帰フィッティング誤差が大きいことを意味する。ｘ軸は、ｉ番目の光ファイバユニットの中心位置の時間に伴って変化する階調値ｖ_ｉ（ｔ）を表し、ｙ軸は、ｊ番目の光ファイバユニットの中心位置の時間に伴って変化する階調値ｖ_ｊ（ｔ）を表す。いくつかの実施例では、回帰フィッティング誤差は、回帰フィッティング計算を行わずに推定した偏差であってもよく、例えば、ピアソン相関係数などを含むが、それらに限らないｖ_ｉ（ｔ）とｖ_ｊ（ｔ）の相関性パラメータで、回帰フィッティング誤差を表してもよい。

【0071】

時間に伴って変化する一連の光ファイバ画像の階調値に対して回帰フィッティングを行う過程において、回帰フィッティング誤差が予め設定される閾値よりも大きい光ファイバユニットの中心位置に対して、この回帰フィッティング誤差が予め設定される閾値よりも大きい光ファイバユニットの中心位置の階調値を破棄し、他のデータを用いて回帰フィッティングを実行することができる。このように回帰フィッティングをして得られた輝度キャリブレーション係数を用いて輝度キャリブレーションを行って得られた光ファイバ画像を図６（ａ）に示す。いくつかの実施例では、時間に伴って変化する一連の光ファイバ画像の階調値に対して回帰フィッティングを行う過程において、回帰フィッティング誤差が予め設定される閾値よりも大きい光ファイバユニットの中心位置の数が予め設定される位置の数を超える場合に、時間に伴って変化する一連の光ファイバ画像に対する線形回帰フィッティングを破棄することができ、この場合に輝度キャリブレーション係数を得ておらず、この場合に現在の光ファイバ画像におけるこの輝度キャリブレーション係数に対応する位置の階調値を保持する。回帰フィッティング誤差が予め設定される閾値よりも大きい光ファイバユニットの中心位置については、回帰フィッティングをして得られた輝度キャリブレーション係数がこの中心位置の階調値を歪めすぎていると考えられ、キャリブレーションが行われていない階調値を保持することによって、実際の階調情報を反映し、実際の階調情報に対する過度の歪みを回避することができる。このように回帰フィッティングをして得られた輝度キャリブレーション係数を用いて輝度キャリブレーションを行って得られた光ファイバ画像を図６（ｂ）に示し、より多くの実際の階調情報を保持し、画像効果により優れた一方、回帰フィッティング誤差が予め設定される閾値以下の光ファイバユニットの中心位置については、回帰フィッティングをして得られた輝度キャリブレーション係数が適切であると考えられ、輝度キャリブレーションに用いると、輝度バランスの取れた合理的な光ファイバ画像を得ることができる。

【0072】

具体的には、回帰フィッティング誤差が予め設定される閾値よりも大きい光ファイバユニットの中心位置の数が予め設定される位置の数を超える場合に、線形回帰フィッティングは、光ファイバ画像の輝度が時間に伴って変化する真の属性からすでに逸脱したと考え、それによって、時間に伴って変化する一連の光ファイバ画像に対する線形回帰フィッティングを破棄する。回帰フィッティング誤差が予め設定される閾値よりも大きい光ファイバユニットの中心位置の数が予め設定される位置の数を超える場合に、依然として回帰フィッティングによって各光ファイバユニットの中心位置の階調値の輝度キャリブレーション係数を決定しかつこれに基づいて輝度キャリブレーションを行うと、深刻な非平滑化を招き、さらに実際の画像の詳細をなくすことになる。

【0073】

上記処理によって、良好な画像の品質を得ることができるとともに、局所画像が撮像対象又はシステムの影響を受けて全体画像が破棄されることを回避し、即ち撮像品質と撮像効率を同時に高めることができる。

【0074】

図７は、本願の実施例による光ファイバ画像キャリブレーション装置７００の図を示す。この光ファイバ画像キャリブレーション装置７００は、図２に示すステップ１０１、ステップ１０２、及びステップ１０３をそれぞれ実行するように構成されている取得モジュール７０１と、ドリフトキャリブレーションモジュール７０２と、輝度キャリブレーションモジュール７０３とを含んでもよい。

【0075】

具体的に、取得モジュール７０１は、現在の光ファイバ画像及び光ファイバ中心参照位置を取得するように構成されてもよく、この現在の光ファイバ画像が現在時刻に収集された光ファイバ画像であり、この光ファイバが複数の光ファイバユニットを含み、この光ファイバ中心参照位置が各光ファイバユニットの中心参照位置を含む。ドリフトキャリブレーションモジュール７０２は、現在の光ファイバ画像において、光ファイバ中心参照位置と、その近傍範囲内における階調値に基づいて決定されたターゲット位置と、の位置差分状況に基づいて、この現在の光ファイバ画像における各光ファイバユニットの中心位置をキャリブレーションするように構成されてもよい。輝度キャリブレーションモジュール７０３は、現在決定された輝度キャリブレーション係数に基づいて、すでに位置キャリブレーションが完了した現在の光ファイバ画像に対して輝度キャリブレーションを行うように構成されてもよい。この光ファイバ画像キャリブレーション装置７００を利用することによって、顕微内視鏡で物体を観測する過程において、収集された光ファイバ画像に対して迅速かつ効率的に光ファイバのドリフトキャリブレーションを実現することができるだけではなく、さらにパラメータのリアルタイムなキャリブレーションを迅速かつ効率的に実現することができ、それによって、観測過程における光ファイバ画像の品質を改善し、光ファイバ画像の品質の一致性を確保して、後続診断の精度を高める。

【0076】

いくつかの実施例では、この取得モジュールは、選択的に、予め保存された光ファイバ中心参照位置を取得し、又は先に取得された光ファイバ画像から各光ファイバユニットの中心位置を抽出し、抽出された各光ファイバユニットの中心位置をこの光ファイバ中心参照位置とするように構成されている。

【0077】

いくつかの実施例では、この先に取得された光ファイバ画像の収集時間は、この現在の光ファイバ画像よりも早い。

【0078】

いくつかの実施例では、ドリフトキャリブレーションモジュール７０２は、選択的に、この現在の光ファイバ画像において、この各光ファイバユニットの中心参照位置を原点として、それぞれ各原点の近傍範囲内において検索し、各近傍範囲内の階調値が最大の位置を決定し、この各近傍範囲内の階調値が最大の位置と、この現在の光ファイバ画像における各光ファイバユニットの中心参照位置と、の位置差分状況に基づいて、この現在の光ファイバ画像における各光ファイバユニットの中心位置をキャリブレーションするように構成されてもよい。キャリブレーション後に、光ファイバドリフトによる画像の品質劣化を回避し、画像収集過程における画像の品質の一致性を確保することができる。

【0079】

いくつかの実施例では、光ファイバ画像キャリブレーション装置７００は、記憶モジュールをさらに含み、それは、すでに位置キャリブレーションが完了した前記現在の光ファイバ画像における各光ファイバユニットの中心位置を記憶し、前記光ファイバ中心参照位置を得るように構成されてもよい。

【0080】

いくつかの実施例では、光ファイバ画像キャリブレーション装置７００は、キャリブレーション係数決定モジュールをさらに含み、それは、予め保存された利得係数とバイアス係数を取得し、予め保存された利得係数とバイアス係数に基づいて輝度キャリブレーション係数を決定し、又は時間に伴って変化する一連の光ファイバ画像の階調値に対して回帰フィッティングを行い、利得係数とバイアス係数を決定し、決定された利得係数とバイアス係数に基づいて、輝度キャリブレーション係数を決定するように構成されてもよい。

【0081】

具体的に、例えば、キャリブレーション係数決定モジュールは、選択的に、光ファイバ画像における各光ファイバユニットの中心位置の時間に伴う輝度の変化及び光ファイバ画像における各光ファイバユニットの中心位置の間の輝度関係の時間に伴う変化に基づいて、利得係数とバイアス係数を決定するように構成されてもよい。

【0082】

いくつかの実施例では、キャリブレーション係数決定モジュールは、選択的に、下記式（１）と式（２）に基づいて利得係数とバイアス係数を決定するように構成されてもよく、

【数7】

輝度キャリブレーションモジュール７０３は、選択的に、式（３）に基づいて、すでに位置キャリブレーションが完了した現在の光ファイバ画像に対して輝度キャリブレーションを行うように構成されており、

【数8】

ｕ_ｉ（ｔ）は、ｔフレーム目の光ファイバ画像におけるｉ番目の光ファイバユニットの中心位置のキャリブレーション後の階調値を表し、ｖ_ｉ（ｔ）は、ｔフレーム目の光ファイバ画像におけるｉ番目の光ファイバユニットの中心位置の階調値を表し、ｖ_ｊ（ｔ）は、ｔフレーム目の光ファイバ画像におけるｊ番目の光ファイバユニットの中心位置の階調値を表し、α_ｉは、ｉ番目の光ファイバユニットの中心位置の階調値の利得係数を表し、β_ｉは、ｉ番目の光ファイバユニットの中心位置の階調値のバイアス係数を表し、α_ｊは、ｊ番目の光ファイバユニットの中心位置の階調値の利得係数を表し、β_ｊは、ｊ番目の光ファイバユニットの中心位置の階調値のバイアス係数を表し、ε_ｉｊ（ｔ）は、ｔフレーム目の光ファイバ画像におけるｉ番目の光ファイバユニットの中心位置とｊ番目の光ファイバユニットの中心位置との階調値とフィッティング曲線との誤差項を表す。

【0083】

いくつかの実施例では、光ファイバ画像キャリブレーション装置７００は、メッシュ分割モジュールをさらに含み、それは、この現在の光ファイバ画像において、キャリブレーション後の各光ファイバユニットの中心位置を頂点として各光ファイバユニットに対応するグラフィックスメッシュを分割し、この現在の光ファイバ画像における頂点以外の各位置に対して、それが位置するグラフィックスメッシュに含まれるこのキャリブレーション後の各光ファイバユニットの中心位置のキャリブレーション後の階調値に基づいて、距離に基づく加重補間を利用して、キャリブレーション後の階調値を決定するように構成されてもよい。それによって、最終的に平滑度が高く、ノイズが小さい光ファイバ画像を得ることができる。

【0084】

いくつかの実施例では、キャリブレーション係数決定モジュールは、具体的に、時間に伴って変化する一連の光ファイバ画像の階調値に対して回帰フィッティングを行う過程において、回帰フィッティング誤差が予め設定される閾値よりも大きい光ファイバユニットの中心位置に対して、回帰フィッティング誤差が予め設定される閾値よりも大きい光ファイバユニットの中心位置の階調値を破棄し、及び／又は、回帰フィッティング誤差が予め設定される閾値よりも大きい光ファイバユニットの中心位置の数が予め設定される位置の数を超える場合に、時間に伴って変化する一連の光ファイバ画像に対する回帰フィッティングを破棄するように構成されてもよい。このような処理によって、良好な画像の品質を得ることができるとともに、局所画像が撮像対象又はシステムの影響を受けて全体画像が破棄されることを回避し、即ち撮像品質と撮像効率を同時に高めることができる。

【0085】

図８は、本願の実施例による光ファイバ画像キャリブレーション装置８００のブロック図を示す。図８に示すように、この光ファイバ画像キャリブレーション装置８００は、プロセッサ８０４とメモリ８０５とを含んでもよく、メモリ８０５にコンピュータ実行可能な命令が記憶されてもよく、プロセッサ８０４がコンピュータ実行可能な命令を実行すると、本願のいずれか１つの実施例による光ファイバ画像キャリブレーション方法を実現することができる。例えば、プロセッサ８０４は、現在の光ファイバ画像及び光ファイバ中心参照位置を取得し、この現在の光ファイバ画像が現在時刻に収集された光ファイバの画像であり、この光ファイバが複数の光ファイバユニットを含み、この光ファイバ中心参照位置が各光ファイバユニットの中心参照位置を含み、現在の光ファイバ画像において、光ファイバ中心参照位置と、その近傍範囲内における階調値に基づいて決定されたターゲット位置と、の位置差分状況に基づいて、この現在の光ファイバ画像における各光ファイバユニットの中心位置をキャリブレーションし、現在決定された輝度キャリブレーション係数に基づいて、すでに位置キャリブレーションが完了したこの現在の光ファイバ画像に対して輝度キャリブレーションを行うように構成されてもよい。この光ファイバ画像キャリブレーション装置８００を利用することによって、顕微内視鏡で物体を観測する過程において、収集された光ファイバ画像に対して迅速かつ効率的に光ファイバのドリフトキャリブレーションを実現することができるだけではなく、さらにパラメータのリアルタイムなキャリブレーションを迅速かつ効率的に実現することができ、それによって、観測過程における光ファイバ画像の品質を改善し、光ファイバ画像の品質の一致性を確保して、後続診断の精度を高める。

【0086】

メモリ８０５は、コンピュータ可読記憶媒体の例として、コンピュータ可読記憶媒体にコンピュータ実行可能な命令が記憶されており、コンピュータ実行可能な命令がプロセッサにより実行されると、本願のいずれか１つの実施例による光ファイバ画像キャリブレーション方法を実現することができる。

【0087】

光ファイバ画像キャリブレーション装置８００は、特定用途向けコンピュータ、汎用コンピュータ又はクラウドであってもよい。例えば、光ファイバ画像キャリブレーション装置８００は、光ファイバ信号データの取得及び処理タスクを実行するためにカスタマイズされたコンピュータであってもよい。図８に示すように、光ファイバ画像キャリブレーション装置８００は、通信インターフェース８０３と、記憶装置８０６と、ディスプレイ８０７とをさらに含んでもよい。

【0088】

通信インターフェース８０３は、ネットワークアダプタ、ケーブルコネクタ、シリアルコネクタ、ＵＳＢコネクタ、パラレルコネクタ、高速データ伝送アダプタ（例えば光ファイバ、ＵＳＢ ３．０、サンダーボルトなど）、無線ネットワークアダプタ（例えばＷｉＦｉアダプタ）、電気通信（３Ｇ、４Ｇ／ＬＴＥ、５Ｇなど）アダプタなどを含んでもよい。光ファイバ画像キャリブレーション装置８００は、通信インターフェース８０３を介して他のコンポーネントに接続されてもよく、通信インターフェース８０３は、例えば顕微鏡の光ファイバコンポーネント、画像信号収集コンポーネントなどであるが、それらに限らない。いくつかの実施例では、通信インターフェース８０３は、現在の光ファイバ画像及び光ファイバ中心参照位置を受信するように構成されてもよい。いくつかの実施例では、通信インターフェース８０３は、現在の光ファイバ画像を含む一連の光ファイバ画像を受信するように構成されてもよく、一連の光ファイバ画像は、例えば先に取得された、各光ファイバユニットの中心位置を光ファイバ中心参照位置として抽出する光ファイバ画像であるが、これらに限らない。

【0089】

プロセッサ８０４は、１つ以上の汎用処理機器を含む処理機器、例えばマイクロプロセッサ、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）などであってもよい。より具体的には、このプロセッサは、複雑命令セット計算（ＣＩＳＣ）マイクロプロセッサ、縮小命令セット計算（ＲＩＳＣ）マイクロプロセッサ、超長命令ワード（ＶＬＩＷ）マイクロプロセッサ、他の命令セットを実行するプロセッサ又は命令セットの組み合わせを実行するプロセッサであってもよい。このプロセッサ８０４は、さらに１つ以上の特定用途向け処理機器、例えば特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタルシグナルプロセッサ（ＤＳＰ）、オンチップシステム（ＳｏＣ）などであってもよい。プロセッサ８０４は、メモリ８０５に通信可能に結合され、それに記憶されるコンピュータ実行可能な命令を実行して、例えば本願のいずれか１つの実施例で記述される光ファイバ画像キャリブレーション方法を実行するように構成されている。

【0090】

メモリ８０５／記憶装置８０６は、非一時的なコンピュータ可読媒体、例えばリードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、相変化ランダムアクセスメモリ（ＰＲＡＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、動的ランダムアクセスメモリ（ＤＲＡＭ）、電気消去可能プログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ）、他のタイプのランダムアクセスメモリ（ＲＡＭ）、フラッシュディスク又は他の形式のフラッシュ、キャッシュ、レジスタ、静的メモリ、光ディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、デジタル汎用光ディスク（ＤＶＤ）又は他の光学メモリ、カセットテープ又は他の磁気記憶機器、又はコンピュータ機器によってアクセス可能な情報又は命令を格納するために使用される他の任意の可能な非一時的媒体などであってもよい。

【0091】

いくつかの実施例では、記憶装置８０６は、コンピュータプログラムを実行しながら受信され、使用され又は生成されたデータなどを格納することができ、このデータは、例えば先に取得された光ファイバ画像における各光ファイバユニットの中心位置、現在の光ファイバ画像のキャリブレーション前の各光ファイバユニットの中心位置、現在の光ファイバ画像のキャリブレーション後の各光ファイバユニットの中心位置、計算して得られた利得係数、バイアス係数、光ファイバのドリフトキャリブレーション後のメッシュが除去された画像、ドリフトキャリブレーション及び輝度キャリブレーション後のメッシュが除去された画像などであるが、これらに限らない。いくつかの実施例では、メモリ８０５は、記憶装置８０６からコンピュータ実行可能な命令をロードして、本願のいずれか１つの実施例による光ファイバ画像キャリブレーション方法を実現することができる。いくつかの実施例では、メモリ８０５は、コンピュータ実行可能な命令、例えば本願のいずれか１つの実施例による光ファイバ画像キャリブレーション方法用の１つ以上のプログラムを格納することができる。本願のいずれか１つの実施例による各モジュールは、メモリ８０５及び／又は記憶装置８０６におけるプログラムモジュールとして実現されてもよい。

【0092】

いくつかの実施例では、ディスプレイ８０７は、液晶ディスプレイ（ＬＣＤ）、発光ダイオードディスプレイ（ＬＥＤ）、プラズマディスプレイ又は任意の他のタイプのディスプレイを含んでもよく、ユーザの入力と画像／データ（例えば元のメッシュ付き画像、ドリフトキャリブレーション後のメッシュが除去された画像、ドリフトキャリブレーション及び輝度キャリブレーション後のメッシュが除去された画像など）の表示のために、ディスプレイに提示されたグラフィックスユーザインタフェース（ＧＵＩ）を提供する。このディスプレイは、多くの異なるタイプの材料（例えばプラスチック又はガラス）を含んでもよく、ユーザから命令を受信するためにタッチ式であってもよい。例えば、ディスプレイは、基本的に剛性のタッチ材料（例えばゴリラガラス、Ｇｏｒｉｌｌａ Ｇｌａｓｓ(登録商標)）又は基本的に柔軟な（例えばウィローガラス、Ｗｉｌｌｏｗ Ｇｌａｓｓ(登録商標)）タッチ材料を含んでもよい。

【0093】

コンピュータ実行可能な命令を提供し、前記コンピュータ実行可能な命令がプロセッサにより実行されると、本願のいずれか１つの実施例による光ファイバ画像キャリブレーション方法を実現する。前記コンピュータ実行可能な命令は、媒体に記憶されてもよく、この媒体は、記憶媒体又は信号媒体であってもよい。前記記憶媒体は、電子的、磁気的、光学的、電磁的、赤外線的、又は半導体のシステム、装置、又は機器、又は前記のいずれかの組み合わせであってもよいが、これに限定されるものではなく、具体的には、携帯型コンピュータ磁気ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ）（又はフラッシュメモリ）、光ファイバ、携帯型光ディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光記憶機器、磁気記憶機器、又は前記いずれかの組み合わせであってもよい。前記信号媒体は、電気信号媒体、光信号媒体、電波（電磁波）媒体、又は前記いずれかの組み合わせを含んでもよいが、それらに限られない。

【0094】

なお、本明細書では例示的な実施例が記載されているが、その範囲には、本願に基づく同等の要素、修正、省略、組み合わせ（例えば、様々な実施例が交差する態様）、改変又は変更を有する任意及びすべての実施例が含まれる。特許請求の範囲の要素は、特許請求の範囲で採用された言語に基づいて広く解釈され、本明細書又は本願の実施中に記載された例に限定されず、その例は非排他的と解釈される。したがって、本明細書及び例は単なる例として認識されることを意図しており、真の範囲及び精神は、以下の特許請求の範囲及びその均等物のすべての範囲によって示される。

【0095】

本願における各ステップの順序は、限定的なものではなく、例示的なものにすぎない。本願の実現に影響を与えない場合（必要なステップ間の論理関係を破壊しない場合）には、ステップの実行順序を調整することができ、調整後に得られた様々な実施例は依然として本願の範囲内にある。

【0096】

本願で使用されるすべての用語（技術用語又は科学用語を含む）は、特に定義されない限り、本願が属する分野の当業者が理解するものと同じ意味である。また、一般的な辞書などで定義された用語は、本明細書で明示的に定義されない限り、理想化又は極度の形式化の意味を用いて解釈すべきではなく、関連する技術の文脈におけるそれらの意味と一致する意味を持つと解釈されるべきであることを理解すべきである。

【0097】

関連分野の当業者に知られている技術、方法、及び機器については詳細に議論されない可能性があるが、適切な場合には、技術、方法、及び機器は説明書の一部とみなされるべきである。

【0098】

上記説明は、限定的ではなく説明的であることを意図している。例えば、上記例（又はその１つ又は複数の態様）は、互いに組み合わせて使用することができる。例えば、当業者は、上記説明を読む際に他の実施例を使用することができる。また、上記具体的な実施形態では、本願を簡略化するために、様々な特徴をグループ化することができる。これは、保護を要求しない開示される特徴がいずれの請求項にも必要であるという意図と解釈すべきではない。むしろ、本願の主題は、特定の開示された実施例のすべての特徴よりも少なくてもよい。したがって、以下の特許請求の範囲は、例又は実施例として本発明を実施するための形態に組み込まれ、各請求項は、単独の実施例として独立しており、これらの実施例は、様々な組み合わせ又は配列で互いに組み合わせることができると考えられる。本願が保護を要求する特許請求の範囲は、添付の特許請求の範囲およびこれらの特許請求の範囲の均等物の全ての範囲を参照して決定されるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【国際調査報告】