特表2024-539117画像処理方法、装置、電子機器、およびコンピュータ可読記憶媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-28
(54)【発明の名称】画像処理方法、装置、電子機器、およびコンピュータ可読記憶媒体
(51)【国際特許分類】
G06T 5/50 20060101AFI20241018BHJP
A61B 1/045 20060101ALI20241018BHJP
A61B 1/00 20060101ALI20241018BHJP
【ＦＩ】
G06T5/50
A61B1/045 610
A61B1/00 513
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024523515
(86)(22)【出願日】2022-11-17
(85)【翻訳文提出日】2024-04-18
(86)【国際出願番号】 CN2022132625
(87)【国際公開番号】W WO2023142622
(87)【国際公開日】2023-08-03
(31)【優先権主張番号】202210114314.9
(32)【優先日】2022-01-30
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】517392436
【氏名又は名称】▲騰▼▲訊▼科技（深▲セン▼）有限公司
【氏名又は名称原語表記】ＴＥＮＣＥＮＴ ＴＥＣＨＮＯＬＯＧＹ （ＳＨＥＮＺＨＥＮ） ＣＯＭＰＡＮＹ ＬＩＭＩＴＥＤ
【住所又は居所原語表記】３５／Ｆ，Ｔｅｎｃｅｎｔ Ｂｕｉｌｄｉｎｇ，Ｋｅｊｉｚｈｏｎｇｙｉ Ｒｏａｄ，Ｍｉｄｗｅｓｔ Ｄｉｓｔｒｉｃｔ ｏｆ Ｈｉ－ｔｅｃｈ Ｐａｒｋ，Ｎａｎｓｈａｎ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ，Ｇｕａｎｇｄｏｎｇ ５１８０５７，ＣＨＩＮＡ
(74)【代理人】
【識別番号】100112656
【弁理士】
【氏名又は名称】宮田 英毅
(74)【代理人】
【識別番号】100089118
【弁理士】
【氏名又は名称】酒井 宏明
(72)【発明者】
【氏名】廖俊
(72)【発明者】
【氏名】姚建華
【テーマコード（参考）】
4C161
5B057
【Ｆターム（参考）】
4C161NN05
4C161QQ07
4C161TT07
4C161WW04
4C161WW07
5B057AA07
5B057BA02
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CC01
5B057CE03
5B057CE08
5B057CE10
(57)【要約】
本願は画像処理方法、装置、電子機器、コンピュータ可読記憶媒体、およびコンピュータプログラム製品を提供し、画像処理方法は、各種の狭帯域フィルタにより対象物に対して収集処理を行い、対象物を含む狭帯域チャネル画像を取得することと、前記多種類の狭帯域フィルタに一対一で対応する複数の狭帯域チャネル画像に対して融合処理を行い、対象物の輪郭を含むカラー画像を取得することと、を含む。
【特許請求の範囲】
【請求項1】
多種類の狭帯域フィルタを含む電子機器によって実行される画像処理方法であって、前記画像処理方法は、
各種の前記狭帯域フィルタにより対象物に対して収集処理を行い、前記対象物を含む狭帯域チャネル画像を取得することと、
前記多種類の狭帯域フィルタに一対一で対応する複数の狭帯域チャネル画像に対して融合処理を行い、前記対象物の輪郭を含むカラー画像を取得することと、
を含むことを特徴とする画像処理方法。
【請求項2】
前記電子機器は感光性チップを含み、前記多種類の狭帯域フィルタはマトリクス形式で前記感光性チップに規則的に配置され、各種の前記狭帯域フィルタにより対象物に対して収集処理を行い、前記対象物を含む狭帯域チャネル画像を取得することは、
前記感光性チップにより前記対象物に対して画像収集処理を行い、前記対象物を含む画像を取得することと、
前記感光性チップにおける各種の前記狭帯域フィルタに基づき、前記対象物を含む画像に対してチャネル分割処理を行い、各種の前記狭帯域フィルタに対応する中間チャネル画像を取得することと、
各種の前記狭帯域フィルタに対応する中間チャネル画像に対して補間処理を行い、各種の前記狭帯域フィルタに対応する狭帯域チャネル画像を取得することと、
を含むことを特徴とする請求項１に記載の画像処理方法。
【請求項3】
前記感光性チップにおける各種の前記狭帯域フィルタに基づき、前記対象物を含む画像に対してチャネル分割処理を行い、各種の前記狭帯域フィルタに対応する中間チャネル画像を取得することは、前記感光性チップにおけるいずれか１種類の前記狭帯域フィルタに対して、
前記狭帯域フィルタの前記感光性チップにおける位置を特定し、
前記狭帯域フィルタの前記感光性チップにおける位置に基づき、前記対象物を含む画像に対して画素抽出処理を行い、前記狭帯域フィルタの画素を取得し、
前記狭帯域フィルタの前記感光性チップにおける配置に基づき、前記狭帯域フィルタの画素に対して配列処理を行い、前記狭帯域フィルタに対応する中間チャネル画像を取得する、
ことを含むことを特徴とする請求項２に記載の画像処理方法。
【請求項4】
前記複数の狭帯域チャネル画像のサイズは同一であり、前記複数の狭帯域チャネル画像は前記対象物を含む画像に対してチャネル分割処理を行って得られ、前記多種類の狭帯域フィルタに一対一で対応する複数の狭帯域チャネル画像に対して融合処理を行い、前記対象物の輪郭を含むカラー画像を取得することは、
前記対象物を含む画像におけるいずれか１つの画素に対して、
各前記狭帯域チャネル画像のそれぞれ対応する前記画素の画素値を特定し、
複数の前記狭帯域チャネル画像のそれぞれ対応する前記画素の画素値に対して合成処理を行い、前記画素のマルチチャネル画素値を取得し、
複数の前記画素のマルチチャネル画素値に対してスティッチング処理を行い、前記対象物の輪郭を含むカラー画像を取得する、
ことを含むことを特徴とする請求項１に記載の画像処理方法。
【請求項5】
前記多種類の狭帯域フィルタに一対一で対応する複数の狭帯域チャネル画像に対して融合処理を行い、前記対象物の輪郭を含むカラー画像を取得することは、前記多種類の狭帯域フィルタにおける一部の狭帯域フィルタを特定することと、
前記一部の狭帯域フィルタに対応する狭帯域チャネル画像に対して融合処理を行い、前記対象物の輪郭を含むカラー画像を取得することと、
を含むことを特徴とする請求項１に記載の画像処理方法。
【請求項6】
前記多種類の狭帯域フィルタにおける一部の狭帯域フィルタを特定することは、前記多種類の狭帯域フィルタのフィルタリング指標を表示することと、
前記フィルタリング指標に対する選択操作に応答して、選択されたフィルタリング指標に対応する狭帯域フィルタを前記一部の狭帯域フィルタとすることと、
を含むことを特徴とする請求項５に記載の画像処理方法。
【請求項7】
前記多種類の狭帯域フィルタにおける一部の狭帯域フィルタを特定することは、前記多種類の狭帯域フィルタが使用される周波数を取得することと、
前記多種類の狭帯域フィルタが使用される周波数に基づき、前記多種類の狭帯域フィルタを降順で並べ、降順で並べた結果において前に配列された多種類の狭帯域フィルタを前記一部の狭帯域フィルタとすることと、
を含むことを特徴とする請求項５に記載の画像処理方法。
【請求項8】
前記狭帯域フィルタの種類が少なくとも４種類である場合、前記多種類の狭帯域フィルタに一対一で対応する複数の狭帯域チャネル画像に対して融合処理を行い、前記対象物の輪郭を含むカラー画像を取得することは、前記多種類の狭帯域フィルタにおける任意の３種類の狭帯域フィルタを特定することと、
前記任意の３種類の狭帯域フィルタに対応する狭帯域チャネル画像に対して合成処理を行い、候補カラー画像を取得することと、
各前記候補カラー画像に対してエッジ検出処理を行い、各前記候補カラー画像のエッジ特徴を取得することと、
前記エッジ特徴が最多の候補カラー画像を、前記対象物の輪郭を含むカラー画像とすることと、
を含むことを特徴とする請求項１に記載の画像処理方法。
【請求項9】
前記電子機器はさらに広帯域フィルタを含み、前記画像処理方法はさらに、
前記広帯域フィルタにより前記対象物に対して収集処理を行い、前記対象物を含む広帯域チャネル画像を取得することと、
前記広帯域チャネル画像に基づき、前記対象物の輪郭を含むカラー画像に対して画像強調処理を行い、強調後の前記カラー画像を取得することと、
を含むことを特徴とする請求項１に記載の画像処理方法。
【請求項10】
各種の前記狭帯域フィルタにより対象物に対して収集処理を行い、前記対象物を含む狭帯域チャネル画像を取得することは、各種の前記狭帯域フィルタにより病理組織に対して収集処理を行い、前記病理組織を含む狭帯域チャネル病理画像を取得することを含み、
前記多種類の狭帯域フィルタに一対一で対応する複数の狭帯域チャネル画像に対して融合処理を行い、前記対象物の輪郭を含むカラー画像を取得することは、
前記多種類の狭帯域フィルタに一対一で対応する複数の狭帯域チャネル病理画像に対して融合処理を行い、前記病理組織の輪郭を含むカラー病理画像を取得すること、
を含むことを特徴とする請求項１に記載の画像処理方法。
【請求項11】
一部密封された空間を形成する筐体と、前記筐体内部の、感光信号を出力するための感光性チップに位置し、光信号を収集する多種類の狭帯域フィルタと、
前記筐体の内部に位置し、前記感光性チップにより出力された感光信号を受信するプロセッサであって、前記感光信号は前記多種類の狭帯域フィルタにより収集された対象物の光信号であり、前記感光信号に基づき、前記対象物を含む狭帯域チャネル画像を生成し、前記多種類の狭帯域フィルタに一対一で対応する複数の狭帯域チャネル画像に対して融合処理を行い、前記対象物の輪郭を含むカラー画像を取得するプロセッサと、を含む
ことを特徴とする電子機器。
【請求項12】
前記多種類の狭帯域フィルタはマトリクス形式で前記感光性チップに規則的に配置され、前記プロセッサはさらに、
前記感光信号に基づき、前記対象物を含む画像を生成し、
前記感光性チップにおける各種の前記狭帯域フィルタに基づき、前記対象物を含む画像に対してチャネル分割処理を行い、各種の前記狭帯域フィルタに対応する中間チャネル画像を取得し、
各種の前記狭帯域フィルタに対応する中間チャネル画像に対して補間処理を行い、各種の前記狭帯域フィルタに対応する狭帯域チャネル画像を取得する、
ことを特徴とする請求項１１に記載の電子機器。
【請求項13】
前記筐体の内部に設置され、前記多種類の狭帯域フィルタが収集した狭帯域波を前記感光性チップに集めるためのアクロマートレンズをさらに含むことを特徴とする請求項１１に記載の電子機器。
【請求項14】
前記アクロマートレンズはさらに、前記アクロマートレンズの表面に設置され、前記アクロマートレンズの焦点距離を調整するフォーカスリング、または
前記アクロマートレンズに設置され、前記アクロマートレンズの焦点距離を調整する液体リング
を含むことを特徴とする請求項１３に記載の電子機器。
【請求項15】
前記筐体の内部に設置され、前記感光性チップおよび前記プロセッサを保護するウインドウをさらに含み、前記ウインドウのタイプは、ロングパスフィルタ、ポラライザ、およびアッテネータの少なくとも１つを含む
ことを特徴とする請求項１１に記載の電子機器。
【請求項16】
前記筐体の内部に設置され、少なくとも１つの光源を提供するための光源装置であって、前記光源のタイプは広帯域光源、および狭帯域光源の少なくとも１つを含む光源装置をさらに含み、前記光源装置の照明モードは、常時点灯モード、およびフラッシュモードの少なくとも１つを含む
ことを特徴とする請求項１１に記載の電子機器。
【請求項17】
各種の前記狭帯域フィルタにより対象物に対して収集処理を行い、前記対象物を含む狭帯域チャネル画像を取得するように構成された収集モジュールと、前記多種類の狭帯域フィルタに一対一で対応する複数の狭帯域チャネル画像に対して融合処理を行い、前記対象物の輪郭を含むカラー画像を取得するように構成された融合モジュールと、
を含むことを特徴とする画像処理装置。
【請求項18】
前記画像処理装置は、実行可能なコマンドを記憶するメモリと、
前記メモリに記憶された実行可能なコマンドを実行すると、請求項１から１０のいずれか１項に記載の画像処理方法が実現されるプロセッサと、
を含むことを特徴とする電子機器。
【請求項19】
実行可能なコマンドが記憶され、プロセッサにより実行されると、請求項１から１０のいずれか１項に記載の画像処理方法が実現される、ことを特徴とするコンピュータ可読記憶媒体。
【請求項20】
コンピュータプログラムまたはコマンドを含み、前記コンピュータプログラムまたはコマンドがプロセッサにより実行されると、請求項１から１０のいずれか１項に記載の画像処理方法が実現される、ことを特徴とするコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、出願番号が２０２２１０１１４３１４．９、出願日が２０２２年１月３０日の中国特許出願に基づいて提出され、中国特許出願の優先権を主張する。中国特許出願の全ての内容は参考として本願に引用される。
【0002】
本願は、グラフィック画像処理技術に関し、特に画像処理方法、装置、電子機器、コンピュータ可読記憶媒体およびコンピュータプログラム製品に関する。
【背景技術】
【0003】
画像処理技術の進歩に伴い、電子機器はより豊かで、鮮やかな画像を実現できる。文字に比べ、画像はより豊かで、より表現力のある情報をもたらすので、ユーザの好評を博している。
【0004】
電子機器により対象物の画像を収集することで、収集された画像に対象物が含まれる。収集した画像により対象物の位置を特定することで、対象物の位置に基づき、後続の操作を行う。例えば、病理画像については、病理画像により病理部位を迅速に特定することで、病理部位に基づき、後続の正確な病理サンプリングを行う。
【0005】
しかしながら、関連技術において、電子機器により収集された画像が対象物とその他の非対象物とを明確に画定できないことで、画像のイメージング効果が低下している。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本願の実施例は、十分効果的に対象物を表示し、画像のイメージング効果を高めることができる画像処理方法、装置、電子機器、コンピュータ可読記憶媒体およびコンピュータプログラム製品を提供する。
【課題を解決するための手段】
【0007】
本願の実施例の技術案は、以下のように実現される。
【0008】
本願の実施例は、多種類の狭帯域フィルタを含む電子機器によって実行される画像処理方法であって、前記画像処理方法は、各種の前記狭帯域フィルタにより対象物に対して収集処理を行い、前記対象物を含む狭帯域チャネル画像を取得することと、前記多種類の狭帯域フィルタに一対一で対応する複数の狭帯域チャネル画像に対して融合処理を行い、前記対象物の輪郭を含むカラー画像を取得することと、を含む画像処理方法を提供する。
【0009】
本願の実施例は、多種類の前記狭帯域フィルタにより対象物に対して収集処理を行い、前記対象物を含む狭帯域チャネル画像を取得するように構成された収集モジュールと、前記多種類の狭帯域フィルタに一対一で対応する複数の狭帯域チャネル画像に対して融合処理を行い、前記対象物の輪郭を含むカラー画像を取得するように構成された融合モジュールと、を含む画像処理装置を提供する。
【0010】
本願の実施例は、コンピュータが実行可能なコマンドを記憶するメモリと、前記メモリに記憶されたコンピュータが実行可能なコマンドを実行すると、本願の実施例が提供する画像処理方法が実現されるプロセッサと、を含む電子機器を提供する。
【0011】
本願の実施例は、一部密封された空間を形成する筐体と、前記筐体内部の、感光信号を出力するための感光性チップに位置し、光信号を収集する多種類の狭帯域フィルタと、前記筐体の内部に位置し、前記感光性チップにより出力された感光信号を受信するプロセッサであって、前記感光信号は前記多種類の狭帯域フィルタにより収集された対象物の光信号であり、前記感光信号に基づき、前記対象物を含む狭帯域チャネル画像を生成し、前記多種類の狭帯域フィルタに一対一で対応する複数の狭帯域チャネル画像に対して融合処理を行い、前記対象物の輪郭を含むカラー画像を取得するプロセッサと、を含む電子機器を提供する。
【0012】
本願の実施例は、コンピュータが実行可能なコマンドが記憶され、プロセッサにより実行されると、本願の実施例が提供する画像処理方法が実現される、コンピュータ可読記憶媒体を提供する。
【0013】
本願の実施例は、コンピュータプログラムまたはコンピュータが実行可能なコマンドを含み、前記コンピュータプログラムまたはコンピュータが実行可能なコマンドがプロセッサにより実行されると、本願の実施例が提供する画像処理方法が実現される、コンピュータプログラム製品を提供する。
【発明の効果】
【0014】
本願の実施例は、以下の有益な効果を有する。
【0015】
狭帯域フィルタにより対象物を収集処理することで対象物を正確に収集することができ、多種類の狭帯域フィルタに対応する狭帯域チャネル画像を融合して、対象物の輪郭を含むカラー画像を取得することで、電子機器により収集したカラー画像が対象物とカラー画像における非対象物とを明確に画定することで、対象物を十分効果的に表示し、画像のイメージング効果を高める。
【図面の簡単な説明】
【0016】
【発明を実施するための形態】
【0017】
本願の目的、技術案および利点をより明確にするため、以下に図面を組み合わせて本願をさらに詳細に説明する。説明した実施例は本願に対する限定と見なされるものではなく、当業者が創造的な労力を果たすことなく得られたあらゆる他の実施例は、本願の保護範囲に属する。
【0018】
以下の説明において、記載された「第１／第２」という用語は類似する対象を区別するにすぎず、対象に対する特定の順序を示すものではない。なお、「第１／第２」は許容される状況において特定の順序または前後の順序を互換可能であり、ここで記載される本願の実施例は図示または説明される以外の順序で実施することができる。
【0019】
別に定義がある場合を除き、本文で用いられるあらゆる技術的および科学的用語は、本願の技術分野に属する技術者が通常理解する意味と同義である。本文において用いられる専門用語は本願の実施例を説明するためのものであり、本願を限定するためのものではない。
【0020】
本願の実施例をさらに詳細に説明する前に、本願の実施例において記載される名詞および専門用語について説明する。本願の実施例において記載される名詞および専門用語は、以下の解釈が適用される。
【0021】
（１）「・・・に応答する」とは、実行する操作が依存する条件または状態に応答することを意味し、依存される条件または状態を満たした場合、１つまたは複数の操作がリアルタイムで実行されることでもよいし、所定の遅延を有して実行されることでもよい。特に説明がない場合、実行される複数の操作の実行順序は限定されない。
【0022】
（２）「病理画像」とは、体の器官、組織または細胞の病理形態を表す画像である。病理画像に基づき、病変発生の原因、発病のメカニズム、病変の進展過程等を探ることができる。病理画像には、病巣のスライス画像（病巣の変化を観察するために、一定の大きさの病巣組織を切り取って形成された画像）、内視鏡画像等が含まれる。
【0023】
（３）「狭帯域フィルタ」とは、狭帯域光フィルタとも呼ばれ、バンドパスフィルタから細分化された光フィルタである。狭帯域光フィルタは特定の波長帯において光信号の通過を許容し、この波長帯から離れた両側の光信号は阻止される。狭帯域光フィルタの通過帯域は比較的狭く、中心波長値の５％以下であり、狭帯域光フィルタの通過帯域半値幅は１０ナノメートルより小さい。
【0024】
関連技術において、癌切除手術（例えば、保存的手術）の手術中に腫瘍辺縁の位置を正確に把握し、腫瘍エリアを完全に切除して、患者の病状の再発を防止し、再手術を避けることができる。術後の組織の病理分析は、腫瘍診断の王道である。患者の手術中に切除された組織は、適切な体積の組織ブロックに切り出され、医師による選別後、ホルマリン漬け等の方法を用いて組織ブロックを固定する。その後、脱水、包理、薄切り、染色等の一連の作業を経て、最終的に顕微鏡で観察可能な病理切片を作成する。患者の正確な病巣情報を取得するために、医者が組織ブロックを選別する過程は特に重要である。病巣が含まれる組織ブロックが選別から漏れると、医者がより正確な判断を行うことが制限され、大量の組織ブロックを選出すると、切片作成の作業量が大幅に増加し、医療効率が低下する。
【0025】
医師が手術中に腫瘍等の病巣辺縁を検出すること、および術後に病理サンプルを選別することの主な基準は、主として以下の２つの側面に分けられる。医療条件が有限の医院については、医師は主に裸眼の観察および触診の感覚により腫瘍エリアを判別し、組織ブロックの選別を行う。この方法は経験不足の医師にとって難易度が極めて高い作業であり、特に腫瘍床が隠れている場合、病理医の目視によるだけでは正常な組織エリアと病巣エリアとを判別できず、さらに触診の感覚は非常に主観的な判断である。一方で、例えば、光学イメージングプラットフォームのように、放射線画像の方法を用いて病巣エリアを識別し、病理サンプリングを補助することがある。このプラットフォームは、切除した組織のＸ線透過画像（図１に示すように、帯状物１０１は位置をマークするためのマーカーピン）を提供し、手術中に医師がより正確に病巣を探しだすことをサポートでき、生体検査のプロセスにおける病理サンプリングにも役立つ。しかしながら、Ｘ線画像の解読は主に医師の経験に依存するため、一定の主観性が存在し、医師によって解読結果に異論が存在することもある。また、Ｘ線機器の価格も安くはない。
【0026】
上記の課題を解決するために、本願の実施例は十分効果的に対象物を表示し、画像のイメージング効果を高めることができる画像処理方法、装置、電子機器、コンピュータ可読記憶媒体およびコンピュータプログラム製品を提供する。
【0027】
本願の実施例が提供する画像処理方法は、端末単体により実現されてもよいし、端末とサーバとが協働して実現してもよい。例えば、端末が単独で以下に記載の画像処理方法を実行し、または端末がサーバに画像収集要求（対象物の狭帯域チャネル画像を含む）を送信して、サーバが受信した画像収集要求に応じて画像処理方法を実行し、多種類の狭帯域フィルタに対応する狭帯域チャネル画像に基づいて融合処理を行い、対象物の輪郭を含むカラー画像を取得する。
【0028】
本願の実施例が提供する電子機器は、イメージング機能を有する各種タイプの端末またはサーバであってよい。ここで、サーバは独立した物理サーバであってもよく、複数の物理サーバによって構成されるサーバクラスタまたは分散システムであってもよく、クラウドサービス、クラウドデータベース、クラウドコンピューティング、クラウドファンクション、クラウドストレージ、ネットワークサービス、クラウド通信、ミドルウェアサービス、ドメイン名サービス、セキュリティサービス、コンテンツ配信ネットワーク（Ｃｏｎｔｅｎｔ Ｄｅｌｉｖｅｒｙ Ｎｅｔｗｏｒｋ，ＣＤＮ）、およびビッグデータおよび人工知能プラットフォーム等の基本的なクラウドコンピューティングサービスを提供するクラウドサーバであってもよく、ここで、クラウドサービスは端末が呼び出しを行うための画像処理サービスであってもよい。端末はスマートカメラ、スマートフォン、タブレットコンピュータ、ラップトップパソコン、デスクトップパソコン、スマートスピーカ、スマート音声インタラクションデバイス、車載端末等であってもよいが、これらに限定されない。端末およびサーバは、有線または無線通信により直接または間接的に接続されてもよく、本願では限定しない。
【0029】
図２を参照する。図２は、本願の実施例が提供する画像処理システム１００のアーキテクチャ図である。端末２００はネットワーク３００を介してサーバ１００に接続される。ここで、ネットワーク３００は、広域ネットワークまたはローカルエリアネットワークであってよく、あるいは両者の組み合わせであってもよい。
【0030】
いくつかの実施例において、電子機器がプレゼンテーション画像機能を有する端末であることを例にしており、本願の実施例が提供する画像処理方法は、端末２００により実現される。例えば、ユーザは端末２００における狭帯域フィルタにより対象物に対して収集処理を行い、対象物を含む狭帯域チャネル画像（シングルチャネル画像とも称する）を取得し、多種類の狭帯域フィルタに対応する狭帯域チャネル画像に基づいて融合処理を行い、対象物の輪郭を含むカラー画像を取得する。例えば、病理画像については、端末２００における狭帯域フィルタにより病理組織に対して収集処理を行い、病理組織を含む狭帯域チャネル画像を取得し、多種類の狭帯域フィルタに対応する狭帯域チャネル画像に基づいて融合処理を行い、病理組織の輪郭を含むカラー画像（すなわち、病理画像）を取得する。病理画像により病理部位を迅速に特定することで、病理部位に基づいて後続の正確な病理サンプリングを行う。
【0031】
いくつかの実施例において、本願の実施例が提供する画像処理方法は、端末とサーバとにより協働で実現してもよい。例えば、ユーザは端末２００における狭帯域フィルタにより対象物に対して収集処理を行い、対象物を含む狭帯域チャネル画像を取得し、端末２００は対象物を含む狭帯域チャネル画像をサーバ１００に送信する。サーバ１００は多種類の狭帯域フィルタに対応する狭帯域チャネル画像に基づいて融合処理を行い、対象物の輪郭を含むカラー画像を取得し、カラー画像を端末２００に送信し、端末２００はカラー画像を表示する。例えば、病理画像については、端末２００における狭帯域フィルタにより病理組織に対して収集処理を行い、病理組織を含む狭帯域チャネル画像を取得し、端末２００は狭帯域チャネル画像をサーバ１００に送信する。サーバ１００は多種類の狭帯域フィルタに対応する狭帯域チャネル画像に基づいて融合処理を行い、病理組織の輪郭を含むカラー画像（すなわち、病理画像）を取得し、病理画像を端末２００に送信して表示する。これにより、病理画像により病理部位を迅速に特定し、病理部位に基づいて後続の正確な病理サンプリングを行う。
【0032】
いくつかの実施例において、端末またはサーバはコンピュータプログラムを実行することにより、本願の実施例が提供する画像処理方法を実現できる。例えば、コンピュータプログラムは操作システムにおけるネイティブプログラムまたはソフトウェアモジュールであってよく、ネイティブ（Ｎａｔｉｖｅ）アプリケーション（ＡＰＰ，Ａｐｐｌｉｃａｔｉｏｎ）、すなわち操作システムにインストールされることで実行可能なプログラムであってもよく、ミニプログラム、すなわちブラウザ環境にダウンロードすることで実行可能なプログラムであってもよく、任意のＡＰＰに組み込むことができるアプレットであってもよい。要するに、上記コンピュータプログラムは、任意の形式のアプリケーションプログラム、モジュール、またはプラグインであってよい。
【0033】
本願の実施例はクラウド技術（Ｃｌｏｕｄ Ｔｅｃｈｎｏｌｏｇｙ）によって実現される。クラウド技術は、クラウドコンピューティングのビジネスモデルの適用に基づくネットワーク技術、情報技術、統合技術、管理プラットフォーム技術、および応用技術等の総称であり、リソースプールを構成して、必要に応じて用いることができ、柔軟性があり便利である。クラウドコンピューティング技術は、重要な柱となる。技術ネットワークシステムのバックエンドサービスは、大量のリソースの計算、保存を要する。
【0034】
いくつかの実施例において、複数のサーバは１つのブロックチェーンを構成することができ、サーバ１００はブロックチェーンのノードであり、ブロックチェーンにおける各ノード間には情報接続が存在してもよく、ノード間は上記情報接続により情報の伝送を行うことができる。ここで、本願の実施例が提供する画像処理方法に関するデータ（例えば、画像処理のロジック、カラー画像）はブロックチェーンに保存され、ブロックチェーンは改ざんできない特性を有するため、ブロックチェーンにおけるデータの正確性が保たれる。
【0035】
図３を参照する。図３は、本願の実施例が提供する画像処理装置の構造模式図であり、装置がイメージング機能を有する端末であることを例に説明する。図３に示す画像処理装置は、少なくとも１つのプロセッサ５１０と、メモリ５５０と、少なくとも１つのネットワークインタフェース５２０とを含む。画像処理装置５００における各構成要素は、バスシステム５４０により結合されている。なお、バスシステム５４０はこれらの構成要素間の通信接続を実現するために用いられる。バスシステム５４０はデータバスを含むほか、電源バス、制御バス、および状態信号バスをさらに含む。ただし、明確に説明するために、図３では各種バスをバスシステム５４０として示す。
【0036】
プロセッサ５１０は、例えば汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ，Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、または他のプログラマブルロジックデバイス、ディスクリートゲートまたはトランジスタロジックデバイス、ディスクリートハードウェアコンポーネント等、信号の処理能力を有する集積回路チップであってよい。ここで、汎用プロセッサは、マイクロプロセッサまたは任意の常套のプロセッサ等であってよい。
【0037】
メモリ５５０は取り外し可能であっても、取り外し不可であっても、その組み合わせであってもよい。例示的なハードウェア機器は、ソリッドステートメモリ、ハードディスクドライブ、光ディスクドライブ等を含む。メモリ５５０は例えば、物理的位置においてプロセッサ５１０から離れた１つまたは複数のストレージ機器を含む。
【0038】
メモリ５５０は揮発性メモリ、または不揮発性メモリを含み、揮発性および不揮発性メモリの双方を含んでもよい。不揮発性メモリは読み取り専用メモリ（ＲＯＭ，Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）であってよく、揮発性メモリはランダムアクセスメモリ（ＲＡＭ，Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であってよい。本願の実施例に記載のメモリ５５０は、適切なタイプの任意のメモリを含む。
【0039】
いつくかの実施例において、メモリ５５０はデータを保存して各種操作をサポートすることができ、これらのデータの例として、プログラム、モジュールおよびデータ構造、あるいはそのサブセットまたはスーパーセットを含む。以下に模式的に説明する。
【0040】
操作システム５５１は例えば、フレーム層、コアライブラリ層、ドライバ層等の各種基本システムサービスを処理、およびハードウェア関連タスクを実行するためのシステムプログラムを含み、各種基本サービスを実現、およびハードウェアに基づくタスクを処理するために用いられる。
【0041】
ネットワーク通信モジュール５５２は、１つまたは複数（有線または無線）のネットワークインタフェース５２０を介して他の電子機器に接続するものであり、例示的なネットワークインタフェース５２０はブルートゥース（登録商標）、ワイヤレス互換性認証（Ｗｉ－Ｆｉ（登録商標））、およびユニバーサル・シリアル・バス（ＵＳＢ（登録商標），Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等を含む。
【0042】
プレゼンテーションモジュール５５３は、ユーザインタフェース５３０に関連する１つまたは複数の出力装置（例えば、ディスプレイ、スピーカ等）を介して、情報を表現することができる（例えば、周辺機器、表示内容、情報を操作するためのユーザインタフェース）。
【0043】
入力処理モジュール５５４は、１つまたは複数の入力装置５３２のうちの１つからの、１つまたは複数のユーザ入力またはインタラクションを検出し、検出した入力またはインタラクションを翻訳するために用いられる。
【0044】
いくつかの実施例において、本願の実施例が提供する画像処理装置は、ソフトウェア方式で実現される。図３にはメモリ５５０に保存される画像処理装置５５５が示され、当該画像処理装置５５５はプログラムおよびプラグイン等の形式のソフトウェアであってよく、収集モジュール５５５１と、融合モジュール５５５２とを含む。これらのモジュールは論理的であるため、実現される機能に応じて、任意の組み合わせ、またはさらなる分割を行うことができる。以下、各モジュールの機能を説明する。
【0045】
以下、本願の実施例が提供する電子機器のハードウェア構造を引き続き説明する。
【0046】
図４を参照する。図４は、本願の実施例が提供する電子機器４０のハードウェア構造の模式図であり、電子機器４０は、一部密封された空間を形成する筐体４１と、筐体４１の内部の、感光信号を出力するための感光性チップに位置し、光信号を収集するための多種類の狭帯域フィルタ４２と、筐体４１の内部に位置し、感光性チップにより出力され、多種類の狭帯域フィルタにより収集された対象物の光信号である感光信号を受信するためのプロセッサであって、感光信号に基づき、対象物を含む狭帯域チャネル画像を生成し、多種類の狭帯域フィルタ４２と一対一で対応する複数の狭帯域チャネル画像に対して融合処理を行うことで、対象物の輪郭を含むカラー画像が得られるプロセッサ４３とを含む。
【0047】
狭帯域フィルタにより対象物を収集処理することで対象物を正確に収集することができ、多種類の狭帯域フィルタに対応する狭帯域チャネル画像を融合して、対象物の輪郭を含むカラー画像を取得することで、電子機器により収集したカラー画像が対象物とカラー画像における非対象物とを明確に画定することで、対象物を十分効果的に表示し、画像のイメージング効果を高める。
【0048】
ここで、電子機器３０は、例えば携帯電話、カメラ等のイメージング機能を有する任意の電子機器であってよい。ここで、電子機器４０の筐体４１はブラケット式の筐体であってよく（図９Ａに示すようなブラケット９０４を含む）、ブラケットによって電子機器を固定できることで、電子機器の揺れを避ける。電子機器４０の筐体４１は、ハンディ式の筐体であってもよく（図９Ｂに示すようなハンドル９０５を含む）、ハンドルによって電子機器を持つことができ、機敏な撮影に便利である。ここで、感光性チップは赤外線感光性チップであってよく、通常光の感光性チップであってもよい。赤外線感光性チップは通常光の感光性チップに対して感光効果がより高い。
【0049】
なお、狭帯域チャネル画像は２つ次元の特性を示し、１つ目の次元の特性は対象物（例えば、病理組織）の異なる狭帯域光波スペクトルに対する吸収ピークが異なることを用いる特性であり、２つ目の次元の特性は、これらの吸収ピークの範囲内の光波の対象物に対する浸透深さが異なる特性である。そのため、狭帯域チャネル画像の対比効果が際立つ。
【0050】
例えば、１４５０ナノメートル（ｎｍ）フィルタについては、対象物の輪郭が際立ち、光透過波長が１４５０ｎｍの狭帯域チャネル画像を取得でき、１３００ｎｍフィルタについては、対象物の輪郭が際立ち、光透過波長が１３００ｎｍの狭帯域チャネル画像を取得でき、１０５０ｎｍフィルタについては、対象物の輪郭が際立ち、光透過波長が１０５０ｎｍの狭帯域チャネル画像を取得できる。
【0051】
なお、各狭帯域フィルタのサイズは感光性チップにおける画素のサイズとマッチしており（すなわち、感光性チップにおける画素のサイズは、各狭帯域フィルタのサイズ以上）、例えば、感光性チップにおける画素の辺長が５マイクロメートルであれば、各狭帯域フィルタの小区画の辺長は５マイクロメートルであってよく、感光性チップにおける画素のサイズが８マイクロメートル×８マイクロメートルであれば、各狭帯域フィルタのサイズは８マイクロメートル×８マイクロメートルであってよい。これにより、感光性チップにおける各画素にいずれも１つの狭帯域フィルタがあることを保証する。
【0052】
いくつかの実施例において、多種類の狭帯域フィルタはマトリクス形式で感光性チップに規則的に配置されている。プロセッサはさらに、感光信号に基づき、対象物を含む画像を生成し、感光性チップにおける各種狭帯域フィルタに基づき、対象物を含む画像に対してチャネル分割処理を行い、各種狭帯域フィルタに対応する中間チャネル画像を取得し、各種狭帯域フィルタに対応する中間チャネル画像に対して補間処理を行い、各種狭帯域フィルタに対応する狭帯域チャネル画像を取得する。
【0053】
一例として、上記の感光性チップにおける各種狭帯域フィルタに基づき、対象物を含む画像に対してチャネル分割処理を行い、各種狭帯域フィルタに対応する中間チャネル画像を取得することは、以下の技術案により実現できる。感光性チップにおけるいずれか１種類の狭帯域フィルタに対して、狭帯域フィルタの感光性チップにおける位置を特定し、狭帯域フィルタの感光性チップにおける位置に基づき、対象物を含む画像に対して対応チャネルの画素抽出処理を行い、狭帯域フィルタの画素を取得し、狭帯域フィルタの感光性チップにおける配置に基づき、狭帯域フィルタの画素に対して配列処理を行い、狭帯域フィルタに対応する中間チャネル画像を取得する。
【0054】
図６に示すように、フィルタ行列６０３は多種類の狭帯域フィルタ（図６に示す１４５０ｎｍ狭帯域フィルタ、１３００ｎｍ狭帯域フィルタ、１０５０ｎｍ狭帯域フィルタ）を含み、フィルタ行列６０３は２×２周期で感光性チップに繰り返し配置され、規則的に配置された狭帯域チャネル画像を収集する。
【0055】
一例として、図８に示すように、カスタマイズされたフィルタ行列８０１は、多種類の狭帯域フィルタ（１４５０ｎｍ狭帯域フィルタ８０２、１３００ｎｍ狭帯域フィルタ８０３、１０５０ｎｍ狭帯域フィルタ８０４、広帯域フィルタ８０６）を含む。１４５０ｎｍ狭帯域フィルタ８０２を例に説明する。１４５０ｎｍ狭帯域フィルタ８０２によりカバーされる、１４５０ｎｍチャネルに対応する画素を、対象物を含む画像から抽出して、１４５０ｎｍフィルタに対応する画素とし、１４５０ｎｍ狭帯域フィルタの感光性チップにおける配置に基づき、１４５０ｎｍ狭帯域フィルタの画素に対して配列処理を行い、１４５０ｎｍフィルタに対応する中間チャネル画像を取得する。例えば、１４５０ｎｍ狭帯域フィルタの感応性チップにおける配置が（０，２）、（０，４）、（０，６）、（０，８）の位置であれば、抽出した画素を（０，２）、（０，４）、（０，６）、（０，８）の位置に配列し、１４５０ｎｍフィルタに対応する中間チャネル画像８０５を取得する。
【0056】
一例として、図８に示すように、引き続き１４５０ｎｍ狭帯域フィルタを例に説明する。中間チャネル画像８０５の空の画素を補間処理し、すなわち空の画素に画素値を付与する。付与された画素値は中間チャネル画像８０５における空の画素ではない画素の画素値である。
【0057】
例えば、１４５０ｎｍ狭帯域フィルタ、１３００ｎｍ狭帯域フィルタ、１０５０狭帯域フィルタを例にすると、収集した対象物を含む画像に対して、１４５０ｎｍフィルタにカバーされた画素を対象物を含む画像から抽出して、対応する１４５０ｎｍフィルタの画素とし、狭帯域フィルタの感光性チップにおける配置に基づき、狭帯域フィルタの画素に対して配列処理を行い、対応する１４５０ｎｍフィルタに対応する中間チャネル画像を取得し、１４５０ｎｍの中間チャネル画像を補間処理し、１４５０ｎｍの狭帯域チャネル画像（すなわち、光透過波長が１４５０ｎｍの狭帯域チャネル画像）を取得する。１３００ｎｍフィルタにカバーされた画素を対象物を含む画像から抽出して、１３００ｎｍフィルタに対応する画素とし、狭帯域フィルタの感光性チップにおける配置に基づき、狭帯域フィルタの画素に対して配列処理を行い、１３００ｎｍフィルタに対応する中間チャネル画像を取得し、１３００ｎｍの中間チャネル画像を補間処理し、１３００ｎｍの狭帯域チャネル画像（すなわち、光透過波長が１３００ｎｍの狭帯域チャネル画像）を取得する。１０５０ｎｍフィルタにカバーされた画素を対象物を含む画像から抽出して、１０５０ｎｍフィルタに対応する画素とし、狭帯域フィルタの感光性チップにおける配置に基づき、狭帯域フィルタの画素に対して配列処理を行い、１０５０ｎｍフィルタに対応する中間チャネル画像を取得し、１０５０ｎｍの中間チャネル画像を補間処理し、１０５０ｎｍの狭帯域チャネル画像（すなわち、光透過波長が１０５０ｎｍの狭帯域チャネル画像）を取得する。
【0058】
いくつかの実施例において、複数の狭帯域チャネル画像のサイズは同一である。複数の狭帯域チャネル画像は、対象物を含む画像に対してチャネル分割処理を行って得られる。プロセッサはさらに、前記対象物を含む画像におけるいずれか１つの画素に対して、各狭帯域チャネル画像の対応するそれぞれの画素の画素値を特定し、複数の狭帯域チャネル画像に対応する画素の画素値に対して合成処理を行い、画素のマルチチャネル画素値を取得し、複数の画素のマルチチャネル画素に対してスティッチング処理を行い、対象物の輪郭を含むカラー画像を取得する。本願の実施例により、同一画素の複数の画素値を効果的に合成することで、カラー画像のイメージング効果を高めることができる。
【0059】
一例として、引き続き図８と組み合わせて説明する。複数の狭帯域チャネル画像のサイズは同一である。複数の狭帯域チャネル画像は対象物を含む画像（オリジナル画像）に対してチャネル分割処理を行って得られる。すなわち、複数の狭帯域チャネル画像のサイズは、オリジナル画像のサイズと同一である。いずれか１つの画素がオリジナル画像において（０，０）の位置にある画素であることを例に説明する。複数の狭帯域チャネル画像の、（０，０）の位置の画素に対応する画素値をそれぞれ特定し、すなわち複数の画素値を特定する。合成処理は複数の画素値の平均値演算処理である。平均結果を（０，０）の位置の画素に対応するマルチチャネル画素値とする。上記の方式に基づき、（０，１）等の位置の画素に対応するマルチチャネル画素値が得られる。オリジナル画像における全ての位置の画素に対応するマルチチャネル画素値をスティッチング処理し、最終的なカラー画像を取得する。
【0060】
例えば、１４５０ｎｍ狭帯域フィルタ、１３００ｎｍ狭帯域フィルタ、１０５０ｎｍ狭帯域フィルタを例にすると、狭帯域チャネル画像は光透過波長が１４５０ｎｍの狭帯域チャネル画像と、光透過波長が１３００ｎｍの狭帯域チャネル画像と、光透過波長が１０５０ｎｍの狭帯域チャネル画像とを含み、光透過波長が１４５０ｎｍの狭帯域チャネル画像と、光透過波長が１３００ｎｍの狭帯域チャネル画像と、光透過波長が１０５０ｎｍの狭帯域チャネル画像とのサイズは同一である。各狭帯域チャネル画像の同一画素それぞれに対応する画素値を特定し、複数の狭帯域チャネル画像の同一画素それぞれに対応する画素値に対して合成処理を行い、当該同一画素のマルチチャネル画素値を取得し、画素の位置に従って画素のマルチチャネル画素値をスティッチングし、対象物の輪郭を含むカラー画像を取得することにより、光透過波長が１４５０ｎｍの狭帯域チャネル画像と、光透過波長が１３００ｎｍの狭帯域チャネル画像と、光透過波長が１０５０ｎｍの狭帯域チャネル画像とをカラー画像として合成する。
【0061】
いくつかの実施例において、電子機器はさらに、筐体の内部に設置され、多種類の狭帯域フィルタが収集した狭帯域波を感光性チップに集めるためのアクロマートレンズを含む。本願の実施例により、狭帯域波を集めることで、電子機器は後段において狭帯域チャネル画像を収集できる。
【0062】
図４に示すように、電子機器４０はアクロマートレンズ４４（例えば、赤外線アポクロマートレンズ）を含む。ここで、アクロマートレンズ４４は、いくつかの狭帯域波長が感光性チップの表面に同時にはっきりと集まることを確保し、画像の明瞭度をより高くすることができる。
【0063】
アクロマートレンズ４４は通常のレンズであってもよく、通常のレンズはアクロマートの機能は有しておらず、すなわちいくつかの狭帯域波長が感光性チップの表面に同時にはっきりと集まることを確保できない。
【0064】
いくつかの実施例において、アクロマートレンズはさらに、アクロマートレンズの表面に設置され、アクロマートレンズの焦点距離を調整するためのフォーカスリング、または、アクロマートレンズ上に設置され、アクロマートレンズの焦点距離を調整するための液体レンズを含む。
【0065】
図４に示すように、電子機器４０はアクロマートレンズ４４（例えば、赤外線アポクロマートレンズ）を含む。図１２Ａに示すように、赤外線アポクロマートレンズにおけるフォーカスリング１２０１を運用して手動で回転させ、レンズの焦点を合わせる。図１２Ｂに示すように、赤外線アポクロマートレンズに追加で液体レンズ１２０２を取り付け、電子機器と組み合わせて焦点面の探索を行うことで、レンズのオートフォーカスを実現できる。
【0066】
いくつかの実施例において、電子機器はさらに、筐体の内部に設置され、感光性チップおよびプロセッサを保護するためのウインドウを含む。ここで、ウインドウのタイプは、ロングパスフィルタ、ポラライザ、およびアッテネータの少なくとも１つを含む。
【0067】
図４に示すように、電子機器４０はウインドウ４５を含む。ウインドウ９０３は、可視光をフィルタリングするためのロングパスフィルタ（例えば、赤外線ロングパスフィルタ）であってよく、偏光を収集するためのポラライザであってもよく、または、入射光を減衰するアッテネータ等であってもよい。
【0068】
いくつかの実施例において、電子機器はさらに、筐体の内部に設置され、少なくとも１つの光源を提供するための光源装置を含む。光源のタイプは、広帯域光源、および狭帯域光源の少なくとも１つを含む。ここで、光源装置の照明モードは、常時点灯モード、およびフラッシュモードの少なくとも１つを含む。
【0069】
図４に示すように、光源装置４６が提供する光源は、広帯域光源であってよく、同時に点灯する複数の狭帯域光源であってもよい。本願の実施例の電子機器は狭帯域フィルタを採用するため、異なる波長の光源を別々に点灯させて撮影してマルチスペクトル情報を取得する必要がなく、全ての光源装置を同時に点灯する、または広帯域光源を直接使用して照射した後、狭帯域フィルタのマトリクスによってフィルタリングしてマルチスペクトル画像を取得できる。
【0070】
例えば、光源装置の照射モードが常時点灯モードである場合、常時点灯モードの輝度を長時間一定に保つことができ、リアルタイムでサンプルを観察すること、および動画を録画することに適している。光源装置の照射モードがフラッシュモードである場合、フラッシュモードは非常に短い時間内に極めて大きな光源パワをバーストさせることができ、動的サンプルの収集に適している、または環境光が強い場面に適している。フラッシュモードでは、カメラは非常に小さい（約１／１０００００ｓ（秒））シャッタースピードを選択するだけで、ぶれのない画像の収集を保証できる。
【0071】
上記の通り、本願の実施例が提供する画像処理方法は電子機器によって実施され、電子機器は多種類の狭帯域フィルタを含む。図５Ａを参照する。図５Ａは本願の実施例が提供する画像処理方法のフローチャートである。図５Ａに示すステップと組み合わせて説明する。
【0072】
なお、電子機器は、例えば携帯電話、カメラ等のイメージング機能を有する任意の電子機器であってよい。狭帯域フィルタはバンドパスフィルタから細分化された光フィルタであり、特定の波長帯において光信号の通過を許可し、この波長帯から離れた両側の光信号を阻止する。例えば、９８０ｎｍ狭帯域フィルタ、１０００ｎｍ狭帯域フィルタ、１０５０ｎｍ狭帯域フィルタ、１０６４ｎｍ狭帯域フィルタ、１０８０ｎｍ狭帯域フィルタ等がある。
【0073】
ステップ１０１において、各種狭帯域フィルタにより対象物に対して収集処理を行い、対象物を含む狭帯域チャネル画像を取得する。
【0074】
例えば、狭帯域フィルタにより対象物に対して収集処理を行うことで得られた狭帯域チャネル画像は、対象物および他の非対象物を明確に区分することができ、対象物を十分効果的に表示できる。
【0075】
いくつかの実施例において、電子機器は感光性チップを含み、多種類の狭帯域フィルタはマトリクス形式で感光性チップに規則的に配置されている。ステップ１０１において、各種狭帯域フィルタにより対象物に対して収集処理を行い、対象物を含む狭帯域チャネル画像を取得することは、感光性チップにより対象物に対して画像収集処理を行い、対象物を含む画像を取得することと、感光性チップにおける各種狭帯域フィルタに基づき、対象物を含む画像に対してチャネル分割処理を行い、各種狭帯域フィルタに対応する中間チャネル画像を取得することと、各種狭帯域フィルタに対応する中間チャネル画像に対して補間処理を行い、各種狭帯域フィルタに対応する狭帯域チャネル画像を取得することと、によって実現できる。本願の実施例によって、各種狭帯域フィルタに対応する狭帯域チャネル画像を正確に取得できる。
【0076】
図６に示すように、フィルタ行列は多種類の狭帯域フィルタ（図６に示す１４５０ｎｍ狭帯域フィルタ、１３００ｎｍ狭帯域フィルタ、１０５０ｎｍ狭帯域フィルタ）を含み、フィルタ行列は２×２周期で感光性チップに繰り返し配置され、規則的に配置された狭帯域チャネル画像を収集する。
【0077】
一例として、図８に示すように、カスタマイズされたフィルタ行列８０１は、多種類の狭帯域フィルタ（１４５０ｎｍ狭帯域フィルタ８０２、１３００ｎｍ狭帯域フィルタ８０３、１０５０ｎｍ狭帯域フィルタ８０４、広帯域フィルタ８０６）を含む。１４５０ｎｍ狭帯域フィルタ８０２を例に説明する。１４５０ｎｍ狭帯域フィルタ８０２によりカバーされる対応する１４５０ｎｍチャネルの画素を、対象物を含む画像から抽出して１４５０ｎｍフィルタに対応する画素とし、１４５０ｎｍ狭帯域フィルタの感光性チップにおける配置に基づき、１４５０ｎｍ狭帯域フィルタの画素に対して配列処理を行い、１４５０ｎｍフィルタに対応する中間チャネル画像を取得する。例えば、１４５０ｎｍ狭帯域フィルタの感応性チップにおける配置が（０，２）、（０，４）、（０，６）、（０，８）の位置であれば、抽出した画素を（０，２）、（０，４）、（０，６）、（０，８）の位置に配列し、１４５０ｎｍフィルタに対応する中間チャネル画像８０５を取得する。
【0078】
一例として、図８に示すように、引き続き１４５０ｎｍ狭帯域フィルタを例に説明する。中間チャネル画像８０５の空の画素を補間処理し、すなわち空の画素に画素値を付与する。付与された画素値は中間チャネル画像８０５における空の画素ではない画素の画素値である。
【0079】
例えば、１４５０ｎｍ狭帯域フィルタ、１３００ｎｍ狭帯域フィルタ、１０５０狭帯域フィルタを例にすると、収集した対象物を含む画像に対して、１４５０ｎｍフィルタにカバーされた画素を対象物を含む画像から抽出して、１４５０ｎｍフィルタに対応する画素とし、狭帯域フィルタの感光性チップにおける配置に基づき、狭帯域フィルタの画素に対して配列処理を行い、１４５０ｎｍフィルタに対応する中間チャネル画像を取得し、１４５０ｎｍの中間チャネル画像を補間処理し、１４５０ｎｍの狭帯域チャネル画像（すなわち、光透過波長が１４５０ｎｍの狭帯域チャネル画像）を取得する。１３００ｎｍフィルタにカバーされた画素を対象物を含む画像から抽出して、１３００ｎｍフィルタに対応する画素とし、狭帯域フィルタの感光性チップにおける配置に基づき、狭帯域フィルタの画素に対して配列処理を行い、１３００ｎｍフィルタに対応する中間チャネル画像を取得し、１３００ｎｍの中間チャネル画像を補間処理し、１３００ｎｍの狭帯域チャネル画像（すなわち、光透過波長が１３００ｎｍの狭帯域チャネル画像）を取得する。１０５０ｎｍフィルタにカバーされた画素を対象物を含む画像から抽出して、１０５０ｎｍフィルタに対応する画素とし、狭帯域フィルタの感光性チップにおける配置に基づき、狭帯域フィルタの画素に対して配列処理を行い、１０５０ｎｍフィルタに対応する中間チャネル画像を取得し、１０５０ｎｍの中間チャネル画像を補間処理し、１０５０ｎｍの狭帯域チャネル画像（すなわち、光透過波長が１０５０ｎｍの狭帯域チャネル画像）を取得する。
【0080】
いくつかの実施例において、上記の感光性チップにおける各種狭帯域フィルタに基づき、対象物を含む画像に対してチャネル分割処理を行い、各種狭帯域フィルタに対応する中間チャネル画像を取得することは、以下の技術案により実現できる。感光性チップにおけるいずれか１種類の狭帯域フィルタに対して、狭帯域フィルタの感光性チップにおける位置を特定し、狭帯域フィルタの感光性チップにおける位置に基づき、対象物を含む画像に対して画素抽出処理を行い、狭帯域フィルタの画素を取得し、狭帯域フィルタの感光性チップにおける配置に基づき、狭帯域フィルタの画素に対して配列処理を行い、狭帯域フィルタに対応する中間チャネル画像を取得する。本願の実施例により、狭帯域フィルタの感光性チップにおける配置を利用して狭帯域フィルタの画素を配列することで、正確な中間チャネル画像を得られる。
【0081】
一例として、上記の狭帯域フィルタの感光性チップにおける位置に基づき、対象物を含む画像に対して画素抽出処理を行い、狭帯域フィルタの画素を取得することは、狭帯域フィルタの感光性チップにおける位置に基づき、対象物を含む画像に対してチャネルに対応する画素抽出処理を行い、狭帯域フィルタの画素を取得することにより実現できる。当該チャネルが狭帯域フィルタに対応するチャネルであることにより、チャネル分割を実現できる。
【0082】
一例として、図８に示すように、カスタマイズされたフィルタ行列８０１は、多種類の狭帯域フィルタ（１４５０ｎｍ狭帯域フィルタ８０２、１３００ｎｍ狭帯域フィルタ８０３、１０５０ｎｍ狭帯域フィルタ８０４、広帯域フィルタ８０６）を含む。１４５０ｎｍ狭帯域フィルタ８０２を例に説明する。１４５０ｎｍ狭帯域フィルタ８０２によりカバーされる、１４５０ｎｍチャネルに対応する画素を、対象物を含む画像から抽出して１４５０ｎｍフィルタに対応する画素とし、１４５０ｎｍ狭帯域フィルタの感光性チップにおける配置に基づき、１４５０ｎｍ狭帯域フィルタの画素に対して配列処理を行い、１４５０ｎｍフィルタに対応する中間チャネル画像を取得する。例えば、１４５０ｎｍ狭帯域フィルタの感応性チップにおける配置が（０，２）、（０，４）、（０，６）、（０，８）の位置であれば、抽出した画素を（０，２）、（０，４）、（０，６）、（０，８）の位置に配列し、１４５０ｎｍフィルタに対応する中間チャネル画像８０５を取得する。
【0083】
例えば、１４５０ｎｍ狭帯域フィルタ、１３００ｎｍ狭帯域フィルタ、１０５０ｎｍ狭帯域フィルタを例にすると、狭帯域フィルタの感光性チップにおける位置において、対象物を含む画像の画素を抽出し、狭帯域フィルタの画素を取得し、狭帯域フィルタの感光性チップにおける配置に従い、狭帯域フィルタの画素を配列して、狭帯域フィルタに対応する中間チャネル画像、すなわち光透過波長が１４５０ｎｍの狭帯域チャネル画像、光透過波長が１３００ｎｍの狭帯域チャネル画像、光透過波長が１０５０ｎｍの狭帯域チャネル画像を取得する。
【0084】
ステップ１０２において、多種類の狭帯域フィルタに一対一で対応する複数の狭帯域チャネル画像に対して融合処理を行い、対象物の輪郭を含むカラー画像を取得する。
【0085】
例えば、多種類の狭帯域フィルタに対応する狭帯域チャネル画像が得られた後、多種類の狭帯域フィルタに対応する狭帯域チャネル画像を合成して、カラー画像を取得することで、電子機器により収集したカラー画像が対象物とカラー画像における非対象物とを明確に画定することで、対象物を十分効果的に表示し、画像のイメージング効果を高める。
【0086】
いくつかの実施例において、多種類の狭帯域フィルタに一対一で対応する複数の狭帯域チャネル画像のサイズは同一である。多種類の狭帯域フィルタに一対一で対応する複数の狭帯域チャネル画像に対して融合処理を行い、対象物の輪郭を含むカラー画像を取得することは、対象物を含む画像におけるいずれか１つの画素に対して、各狭帯域チャネル画像の対応するそれぞれの画素の画素値を特定し、複数の狭帯域チャネル画像の対応する画素の画素値に対して合成処理を行い、画素のマルチチャネル画素値を取得し、複数の画素のマルチチャネル画素に対してスティッチング処理を行い、対象物の輪郭を含むカラー画像を取得することによって実現できる。本願の実施例により、画素の次元から合成することにより、正確なイメージング効果を有するカラー画像を取得できる。
【0087】
一例として、引き続き図８と組み合わせて説明する。複数の狭帯域チャネル画像のサイズは同一である。複数の狭帯域チャネル画像は対象物を含む画像（オリジナル画像）に対してチャネル分割処理を行って得られる。すなわち、複数の狭帯域チャネル画像のサイズは、オリジナル画像のサイズと同一である。いずれか１つの画素がオリジナル画像において（０，０）の位置にある画素であることを例に説明する。複数の狭帯域チャネル画像の、（０，０）の位置の画素に対応する画素値をそれぞれ特定し、すなわち複数の画素値を特定する。合成処理は複数の画素値の平均値演算処理である。平均結果を（０，０）の位置の画素に対応するマルチチャネル画素値とする。上記の方式に基づき、（０，１）等の位置の画素に対応するマルチチャネル画素値が得られる。オリジナル画像における全ての位置の画素に対応するマルチチャネル画素値をスティッチング処理し、最終的なカラー画像を取得する。
【0088】
例えば、１４５０ｎｍ狭帯域フィルタ、１３００ｎｍ狭帯域フィルタ、１０５０ｎｍ狭帯域フィルタを例にすると、狭帯域チャネル画像は光透過波長が１４５０ｎｍの狭帯域チャネル画像と、光透過波長が１３００ｎｍの狭帯域チャネル画像と、光透過波長が１０５０ｎｍの狭帯域チャネル画像とを含み、光透過波長が１４５０ｎｍの狭帯域チャネル画像と、光透過波長が１３００ｎｍの狭帯域チャネル画像と、光透過波長が１０５０ｎｍの狭帯域チャネル画像とのサイズは同一である。多種類の狭帯域フィルタに対応する狭帯域チャネル画像に対応するいずれか１つの画素の画素値を特定し、複数の対応する画素の画素値に対して合成処理を行い、いずれか１つの画素のマルチチャネル画素値を取得し、画素の位置に従って画素のマルチチャネル画素値をスティッチングし、対象物の輪郭を含むカラー画像を取得することにより、光透過波長が１４５０ｎｍの狭帯域チャネル画像と、光透過波長が１３００ｎｍの狭帯域チャネル画像と、光透過波長が１０５０ｎｍの狭帯域チャネル画像とをカラー画像として合成する。
【0089】
いくつかの実施例において、多種類の狭帯域フィルタに一対一で対応する複数の狭帯域チャネル画像を融合して、対象物の輪郭を含むカラー画像を取得することは、多種類の狭帯域フィルタにおける一部の狭帯域フィルタを特定することと、一部の狭帯域フィルタに対応する狭帯域チャネル画像に対して融合処理を行い、対象物の輪郭を含むカラー画像を取得することと、により実現できる。本願の実施例により、カラー画像のイメージング効果を高めることができる。
【0090】
例えば、全ての狭帯域フィルタに対応する狭帯域チャネル画像が合成されたカラー画像のイメージング効果が良いのではなく、本願の実施例は一部の狭帯域フィルタに対応する狭帯域チャネルの画像のみを合成することで、イメージング効果が最良のカラー画像を取得できる。
【0091】
いくつかの実施例において、上記の多種類の狭帯域フィルタにおける一部の狭帯域フィルタを特定することは、多種類の狭帯域フィルタのフィルタリング指標を表示することと、フィルタリング指標に対する選択操作に応答して、選択されたフィルタリング指標に対応する狭帯域フィルタを一部の狭帯域フィルタにすることと、により実現できる。
【0092】
例えば、多種類の狭帯域フィルタのフィルタリング指標、例えば９８０ｎｍ、１０００ｎｍ、１０５０ｎｍ、１０６４ｎｍ、１０５０ｎｍ、１０８０ｎｍ、１３００ｎｍ、１４５０ｎｍを表示し、任意の３つのフィルタリング指標、例えば１０５０ｎｍ、１３００ｎｍ、１４５０ｎｍを手動で選択すると、１０５０ｎｍ、１３００ｎｍ、１４５０ｎｍにそれぞれ対応する狭帯域フィルタを一部の狭帯域フィルタとし、１０５０ｎｍ狭帯域フィルタ、１３００ｎｍ狭帯域フィルタ、１４５０ｎｍ狭帯域フィルタに対応する狭帯域チャネル画像を合成し、カラー画像を取得することで、ユーザの選択に基づき、ユーザの要求に符合するカラー画像を合成する。
【0093】
いくつかの実施例において、上記の多種類の狭帯域フィルタにおける一部の狭帯域フィルタを特定することは、多種類の狭帯域フィルタが使用される周波数を取得することと、多種類の狭帯域フィルタが使用される周波数に基づき、多種類の狭帯域フィルタを降順で並べ、降順で並べた結果において前に配列された多種類の狭帯域フィルタを一部の狭帯域フィルタとすること、とにより実現できる。
【0094】
例えば、多種類の狭帯域フィルタが使用される周波数を取得し、多種類の狭帯域フィルタが使用される周波数に基づき、多種類の狭帯域フィルタを降順で並べ、降順で並べた結果において前に配列された３種類の狭帯域フィルタを一部の狭帯域フィルタとする。例えば、１０５０ｎｍ狭帯域フィルタ、１３００ｎｍ狭帯域フィルタ、１４５０ｎｍ狭帯域フィルタが降順で並べた結果において前に配列された３種類の狭帯域フィルタである場合、１０５０ｎｍ、１３００ｎｍ、１４５０ｎｍにそれぞれ対応する狭帯域フィルタを一部の狭帯域フィルタとし、１０５０ｎｍ狭帯域フィルタ、１３００ｎｍ狭帯域フィルタ、１４５０ｎｍ狭帯域フィルタに対応する狭帯域チャネル画像を合成し、カラー画像を取得することで、ユーザの好みに基づき、ユーザの要求に符合したカラー画像を自動的に合成する。
【0095】
いくつかの実施例において、狭帯域フィルタの種類が４種類の場合、多種類の狭帯域フィルタに一対一で対応する複数の狭帯域チャネル画像に対して融合処理を行い、対象物の輪郭を含むカラー画像を取得することは、多種類の狭帯域フィルタにおける任意の３種類の狭帯域フィルタを特定することと、任意の３種類の狭帯域フィルタに対応する狭帯域画像に対して合成処理を行い、候補カラー画像を取得することと、各候補カラー画像に対してエッジ検出処理を行い、各候補カラー画像のエッジ特徴を取得することと、エッジ特徴が最多の候補カラー画像を、目標物の輪郭を含むカラー画像とすることと、により実現できる。
【0096】
例えば、狭帯域フィルタ画像を合成する方法が多種類あり、１つずつ手動で試すのは煩雑過ぎることから、合成効率を高めるために、本願の実施例は任意の３種類の狭帯域フィルタに対応する狭帯域チャネル画像に対して合成処理を行い、候補カラー画像を取得し、全ての候補カラー画像に対してエッジ検出処理を行い、各候補カラー画像のエッジ特徴を取得でき、エッジ特徴が多い候補カラー画像であるほど、エッジが際立ち、イメージング効果も良いので、エッジ特徴が最多の対応する候補カラー画像を対象物の輪郭を含むカラー画像とする。
【0097】
なお、エッジ検出は画像における輝度の変化が明らかな画素ポイント（すなわち、輝度の変化が変化閾値を超えている画素ポイント）を検出するために用いられ、画素ポイントの集合が輪郭（すなわち、エッジ）として表される。画像のエッジ検出は、データ量を大幅に減少させ、且つ無関係の情報を取り除き、画像の重要な構造属性（すなわち、エッジ）を保留できる。ここで、本願の実施例のエッジ検出処理では、一次微分エッジ演算子、Ｒｏｂｅｒｔｓエッジ検出演算子、Ｐｒｅｗｉｔｔエッジ検出演算子、二次微分演算子等の演算子が用いられる。
【0098】
図５Ｂを参照する。図５Ｂは、本願の実施例が提供する画像処理方法のフローチャートである。図５Ｂは、図５Ａがステップ１０３～ステップ１０４をさらに含むことと、電子機器が広帯域フィルタをさらに含むことと、を示す。ステップ１０３において、狭帯域フィルタにより対象物に対して収集処理を行い、対象物を含む広帯域チャネル画像を取得する。ステップ１０５において、広帯域チャネル画像に基づき、対象物の輪郭を含むカラー画像に対して画像強調処理を行い、強調後のカラー画像を取得する。
【0099】
図６に示すように、フィルタ行列は多種類の狭帯域フィルタ（図６に示す１４５０ｎｍ狭帯域フィルタ、１３００ｎｍ狭帯域フィルタ、１０５０ｎｍ狭帯域フィルタ）、および広帯域フィルタ６０４を含み、フィルタ行列は２×２周期で感光性チップ６０２に繰り返し配置される。狭帯域チャネル画像は、光透過波長が１４５０ｎｍの狭帯域チャネル画像と、光透過波長が１３００ｎｍの狭帯域チャネル画像と、光透過波長が１０５０ｎｍの狭帯域チャネル画像とを含み、光透過波長が１４５０ｎｍの狭帯域チャネル画像と、光透過波長が１３００ｎｍの狭帯域チャネル画像と、光透過波長が１０５０ｎｍの狭帯域チャネル画像と、広帯域チャネル画像とは、サイズが同一である。光透過波長が１４５０ｎｍの狭帯域チャネル画像と、光透過波長が１３００ｎｍの狭帯域チャネル画像と、光透過波長が１０５０ｎｍの狭帯域チャネル画像とをカラー画像として合成すると、合成後のカラー画像と、広帯域チャネル画像とはサイズが同一である。カラー画像に対応するいずれか１つの画素の画素値、および広帯域チャネル画像に対応するいずれか１つの画素の画素値を特定し、カラー画像に対応するいずれか１つの画素の画素値と、広帯域チャネル画像に対応するいずれか１つの画素の画素値との間の比率をいずれか１つの画素の強調値とし、画素の位置に従って画素の強化値をスティッチングし、強化後のカラー画像を取得する。
【0100】
いくつかの実施例において、病理サンプリングのイメージングシーンについて、各種狭帯域フィルタにより病理組織に対して収集処理を行い、病理組織を含む狭帯域チャネル病理画像を取得し、多種類の狭帯域フィルタに一対一で対応する複数の狭帯域チャネル病理画像に対して融合処理を行い、病理組織の輪郭を含むカラー病理画像を取得することで、カラー病理画像によって、手術中に残った病巣の検出、および手術後の病理サンプリングを補助し、手術の成功率および手術後の病理サンプリングの正確性、一致性を高め、病理サンプリングの難易度を下げることもできる。
【0101】
以下、本願の実施例の実際の適用シーンにおける例示的な適用を説明する。
【0102】
本願の実施例は各種イメージングシーンに適用でき、例えば、病理サンプリングのイメージングシーンについて、電子機器を用いて病理組織をイメージングし、イメージングされた画像により、手術中に残留した病巣の検出、および手術後の病理サンプリングを補助する。
【0103】
以下、病理サンプリングのイメージングシーンを例に説明する。
【0104】
医師が手術中に腫瘍等の病巣辺縁を検出すること、および術後に病理サンプルを選別することの主な基準は、主として以下の２つの側面に分けられる。医療条件が有限の医院については、医師は主に裸眼の観察および触診の感覚により腫瘍エリアを判別し、組織ブロックの選別を行う。この方法は経験不足の医師にとって難易度が極めて高い作業であり、特に腫瘍床が隠れている場合、病理医の目視によるだけでは正常な組織エリアと病巣エリアとを判別できず、さらに触診の感覚は非常に主観的な判断である。一方で、例えば、光学イメージングプラットフォームのように、放射線画像の方法を用いて病巣エリアを識別し、病理サンプリングを補助することがある。このプラットフォームは、切除した組織のＸ線透過画像を提供し、手術中に医師がより正確に病巣を探しだすことをサポートでき、生体検査のプロセスにおける病理サンプリングにも役立つ。しかしながら、Ｘ線画像の解読は主に医師の経験に依存するため、一定の主観性が存在し、医師によって解読結果に異論が存在することもある。また、Ｘ線機器の価格も安くはない。
【0105】
上記の課題を解決するために、本願の実施例は、狭帯域フィルタによりカスタマイズしたオンチップモザイク感光性チップを用いて作成した短波赤外線カメラ（狭帯域赤外線カラーカメラとも呼ばれ、電子機器により実現される）によって、手術中に残留した病巣の検出および手術後の病理サンプリングを補助する。当該スナップショット式補助サンプリングシステムは、異なる波長の画像レジストレーションを行う必要がなく、高速でリアルタイムのイメージングを行うことができ、環境光を遮断する必要がなく、オープンな作業が可能で、非常に便利である。フラッシュ撮影モードはぶれを除去し、環境光の影響をさらに弱めることができる。本願の実施例はさらに、手術の成功率および手術後の病理サンプリングの正確性と一致性とを高め、病理サンプリングの難易度を下げることができ、ハードウェアのコストは放射線画像システムより低い。
【0106】
図６に示すように、本願の実施例は、短波赤外線カメラ６０１上でカスタマイズ化されたパッチ６０２（短波赤外線カメラ上の感光性チップにフィルタ行列を貼り付けたもの）を提供し、貼られるフィルタは２×２周期で繰り返されるフィルタ行列６０３である。各２×２フィルタ行列は、１４５０ｎｍ狭帯域フィルタ、１３００ｎｍ狭帯域フィルタ、１０５０ｎｍ狭帯域フィルタ、および１つの広帯域フィルタを含む。ここで、広帯域フィルタは短波赤外線波長帯が完全に透過される通常のガラス、または他の類似材料、または輝度減衰機能を有する材料である。前の３つの狭帯域波長帯（１４５０ｎｍ狭帯域フィルタ、１３００ｎｍ狭帯域フィルタ、１０５０ｎｍ狭帯域フィルタ）は、赤外線カラーの３つのチャネルを合成するために用いられ、広帯域は狭帯域フィルタリング効果のない灰色の狭帯域チャネル画像を出力できる。
【0107】
図６に示すように、短波赤外線感光性チップにはモザイクマトリクスが貼られており、これらのモザイクマトリクスは２×２を単位とし、各２×２のフィルタ行列は４つの小さい長方形単位を有し、３つの単位がそれぞれ１４５０ｎｍ、１３００ｎｍ、１０５０ｎｍ狭帯域フィルタで、４つ目の単位が通常のガラス、または通常のグレースケール画像を提供するための輝度減衰機能を有する窓である。各単位の大きさは、いずれも貼られた感光性チップの画素の大きさと同じであり、貼付時に一対一で対応するよう確保する。図６における２×２フィルタ行列における３つの狭帯域フィルタは１０５０ｎｍ、１３００ｎｍ、１４５０ｎｍであり、実際の使用において狭帯域波長帯を変更することもできる。ここでの３つの波長帯（１０５０ｎｍ、１３００ｎｍ、１４５０ｎｍ）は、補助サンプリングに効果的な３つの経験的バンドにすぎない。
【0108】
なお、各フィルタのサイズは感光性チップにおける画素のサイズと一致しており、例えば、感光性チップにおける画素の辺長が５マイクロメートルであれば、図６における各フィルタの小区画の辺長は５マイクロメートルであってよく、感光性チップにおける画素の辺長が８マイクロメートルであれば、図６における各フィルタの小区画の辺長は８マイクロメートルであってよい。これにより、各画素にいずれも１つのフィルタがあることを保証する。収集された各フレーム画像に対し、１４５０ｎｍフィルタにカバーされる画素を抽出し、得られた画像は光透過波長が１４５０ｎｍの狭帯域チャネル画像であり、１３００ｎｍフィルタにカバーされる画素を抽出し、得られた画像は光透過波長が１３００ｎｍの狭帯域チャネル画像であり、１０５０ｎｍフィルタにカバーされる画素を抽出し、得られた画像は光透過波長が１０５０ｎｍの狭帯域チャネル画像である。
【0109】
図７に示すように、これら３つのチャネルの狭帯域チャネル画像は１枚のカラー画像に直接合成できる。また、広帯域フィルタに対応する全ての画素が抽出され、得られたグレースケール画像は波長の区別のない画像を収集するために用いられる。当然のことながら、外部照明の光源の選択により、特定の波長帯の画像を収集するために用いられてもよい。
【0110】
図８に示すように、収集された各フレーム画像は、１０５０ｎｍ、１３００ｎｍ、１４５０ｎｍ狭帯域フィルタによりチャネル分割され、チャネル分割後、補間処理が行われ、光透過波長が１４５０ｎｍの狭帯域チャネル画像と、光透過波長が１３００ｎｍの狭帯域チャネル画像と、光透過波長が１０５０ｎｍの狭帯域チャネル画像とが得られ、光透過波長が１４５０ｎｍの狭帯域チャネル画像と、光透過波長が１３００ｎｍの狭帯域チャネル画像と、光透過波長が１０５０ｎｍの狭帯域チャネル画像とを合成し、狭帯域赤外線カラー画像が得られる。
【0111】
本願の実施例に示すスナップショット式短波赤外線カメラは、狭帯域赤外線カラー画像をリアルタイムで捕捉できるが、現在のマルチスペクトルシステムおよびハイパースペクトルシステムはリアルタイムで行うことは難しい。
【0112】
図９Ａはブラケット式イメージングシステムを示し、当該ブラケット式イメージングシステムは、カスタマイズされた短波赤外線カメラ９０１（図６に示すカスタマイズされた感光性チップ）と、赤外線アポクロマートレンズ９０２と、ウインドウ９０３と、ブラケット９０４とを含む。
【0113】
ここで、赤外線アポクロマートレンズ９０２は、いくつかの狭帯域波長が感光性チップの表面に同時にはっきりと集まることを保つことができる。ウインドウ９０３は、可視光をフィルタリングするための赤外線ロングパスフィルタであってよく、偏光を収集するためのポラライザであってもよく、または、入射光を減衰するためのアッテネータ等であってもよい。
【0114】
図９Ｂはハンディ式イメージングシステムを示し、当該ハンディ式イメージングシステムは、カスタマイズされた短波赤外線カメラ９０１（図６に示すカスタマイズされた感光性チップ）と、赤外線アポクロマートレンズ９０２と、ウインドウ９０３と、ハンドル９０５とを含む。ここで、赤外線アポクロマートレンズ９０２は、いくつかの狭帯域波長が感光性チップの表面に同時にはっきりと集まることを保つことができる。ウインドウ９０３は、可視光をフィルタリングするための赤外線ロングパスフィルタであってよく、偏光を取得するためのポラライザであってもよく、または、入射光を減衰するためのアッテネータ等であってもよい。
【0115】
なお、図９Ａおよび図９Ｂにおけるレンズは、通常のレンズであってよく、赤外線アポクロマートレンズであってもよい。通常のレンズを使用する場合、異なる波長は屈折率が異なるため、画像の明瞭度は一定の影響を受けるが、赤外線アポクロマートレンズを用いれば、明瞭度の問題を解決できる。赤外線アポクロマートレンズはコーティングおよび材料プロセスにより、異なる波長の光線を同一平面に集めさせ、画像の明瞭度をより高めることができる。
【0116】
図１０Ａに示す通常のレンズは、異なる波長の光線は屈折率が異なるため、それらが通常のレンズを透過して異なる平面に集まることで、ある波長の画像が明瞭である一方、他の波長の画像が不明瞭になる。図１０Ｂに示す赤外線アポクロマートレンズは、レンズにコーティング処理がなされ、材料の選択と作成プロセスのこだわりにより、一定の範囲内（例えば、４００～１７００ｎｍ）において波長の光線を１つの平面に集中させることができ、通常のレンズによる色収差の出現を回避できる。
【0117】
なお、図９Ａおよび図９Ｂに示す光源は、広帯域光源であってよく、同時に点灯する複数の狭帯域光源であってもよい。図６のようなスナップショット式短波赤外線カメラがあれば、異なる波長の光源をそれぞれ点灯させて撮影し、マルチスペクトル情報を取得する必要がない。一方で、全ての光源を同時に点灯する、または広帯域光源を直接使用して照射した後、フィルタ行列によってフィルタリングしてマルチスペクトル画像を取得する。
【0118】
図１１Ａに示す常時点灯モード（光源の照射モード）は、常時点灯モードの輝度を長時間一定に保つことができ、リアルタイムでサンプルを観察すること、および動画を録画することに適している。図１１Ｂに示すフラッシュモード（光源の照射モード）は、フラッシュモードが非常に短い時間内に極めて大きな光源パワをバーストさせることができ、動的サンプルの収集に適している、または環境光が強い場面に適している。フラッシュモードでは、カメラは非常に小さい（約１／１０００００ｓ（秒））シャッタースピードを選択するだけで、ぶれのないサンプル画像の収集を保証できる。
【0119】
図１２Ａに示すように、赤外線アポクロマートレンズにおけるフォーカスリング１２０１を運用して手動で回転させ、レンズの焦点を合わせる。図１２Ｂに示すように、赤外線アポクロマートレンズに追加で液体レンズ１２０２を取り付け、カメラと組み合わせて焦点面の探索を行うことで、レンズのオートフォーカスを実現できる。
【0120】
図１３に示すように、本願の実施例は狭帯域赤外線カラーカメラが撮影した合成赤外線カラー画像と、通常のカラーカメラが撮影したカラー画像との比較図を提供する。中空臓器組織は主に、結腸がん組織、直腸がん組織、胃がん組織、および食道がん組織を含み、上記の異なる腫瘍組織において、狭帯域赤外線カラー画像は比較的良い組織境界の区別度を有し、イメージングされた色が類似し、中空臓器の筋板の識別に対して、大きなメリットを示す。腫瘍の境界を判断する場合、狭帯域赤外線カラー画像は、通常のカラー画像よりも明瞭である。ここで、１０５０ｎｍ、１３００ｎｍ、１４５０ｎｍにより合成されたカラー画像は、腫瘍組織の範囲を明瞭に表示でき、異なる組織は黄色からオレンジ色の異なる強さの色で表現され、乳腺の病例において、狭帯域赤外線カラー画像は通常のカラー画像より、腫瘍の輪郭および腫瘍組織が明瞭に表現されている。表示される輪郭と、全視野デジタル病理スライド（Ｗｈｏｌｅ Ｓｌｉｄｅ Ｉｍａｇｅ，ＷＳＩ）とは、マッチング度が最高である。
【0121】
以上のように、本願の実施例が提供する技術案は、赤外線マルチスペクトル狭帯域を利用してカラー画像を合成し、医師に肉眼では観察できない情報を提供して切除組織の病巣エリアの予測を行い、手術中の腫瘍周縁の特定および手術後の病理サンプリングの補助に対して新たな解決案を提供する。医師の裸眼による観察および触診による方法より確実であり、一致性もさらに保障される。本願の実施例のシステムは、スナップショット式イメージングシステムであり、リアルタイムのイメージング（例えば、１２０ｆｐｓ（毎秒伝送フレーム数））が可能であり、異なるスペクトルの画像レジストレーションの課題を直接解決し、時間も節約できる。また、狭帯域フィルタ行列の別のメリットは、室内光源の影響をよりよくフィルタリングでき、スペクトルの純度を保証できることで、医師にオープンなスペースで作業をさせることができ、遮光ボックスが不要で、環境の制限を受けない。フラッシュの設計により、環境光の影響をさらに除去でき（短時間露光で環境光の影響を除去する）、動的サンプルの撮影に多大なメリットを有する（例えば、人の呼吸、または震えによる動き）。一方、イメージングシステムは損傷も、接触も、電離放射線もなく、環境光の影響をほぼ受けず、オープンなスペースで使いやすく、ハードウェアシステムのコストも放射線システムのコストより低い。本願の実施例のイメージングシステムは、通常のカラー画像よりも、手術後に切除してホルマリンにより固定された腫瘍組織のサンプリング補助性が大きく、サンプリングを行う医師に、より多くの腫瘍床の情報を提供し、サンプリング効率を高めることができる。
【0122】
以上、本願の実施例が提供する電子機器の例示的な応用および実施と組み合わせて、本願の実施例が提供する画像処理方法を説明した。以下、本願の実施例が提供する画像処理装置における各モジュールが協働で画像処理を実現する方法を引き続き説明する。
【0123】
収集モジュール５５５１は、多種類の狭帯域フィルタにより対象物に対して収集処理を行い、対象物を含む狭帯域画像を取得するように構成される。融合モジュール５５５２は、多種類の狭帯域フィルタに一対一で対応する複数の狭帯域チャネル画像に対して融合処理を行い、対象物の輪郭を含むカラー画像を取得するように構成される。
【0124】
いくつかの実施例において、画像処理装置は感光性チップを含み、多種類の狭帯域フィルタはマトリクス形式で感光性チップに規則的に配置されている。収集モジュール５５５１はさらに、感光性チップにより対象物に対して画像収集処理を行い、対象物を含む画像を取得し、感光性チップにおける各種狭帯域フィルタに基づき、対象物を含む画像に対してチャネル分割処理を行い、各種狭帯域フィルタに対応する中間チャネル画像を取得し、各種狭帯域フィルタに対応する中間チャネル画像に対して補間処理を行い、各種狭帯域フィルタに対応する狭帯域チャネル画像を取得するように構成される。
【0125】
いくつかの実施例において、収集モジュール５５５１はさらに、感光性チップにおけるいずれか１種類の狭帯域フィルタに対して、狭帯域フィルタの感光性チップにおける位置を特定し、狭帯域フィルタの感光性チップにおける位置に基づき、対象物を含む画像に対して画素抽出処理を行い、狭帯域フィルタの画素を取得し、狭帯域フィルタの感光性チップにおける配置に基づき、狭帯域フィルタの画素に対して配列処理を行い、狭帯域フィルタに対応する中間チャネル画像を取得するように構成される。
【0126】
いくつかの実施例において、多種類の狭帯域フィルタに一対一で対応する複数の狭帯域チャネル画像のサイズは同一である。融合モジュール５５５２はさらに、狭帯域チャネル画像におけるいずれか１つの画素に対して、各狭帯域チャネル画像の対応する画素の画素値を特定し、対応する画素の複数の画素値に対して合成処理を行い、画素のマルチチャネル画素値を取得し、複数の画素のマルチチャネル画素値に対してスティッチング処理を行い、対象物の輪郭を含むカラー画像を取得するように構成される。
【0127】
いくつかの実施例において、融合モジュール５５５２はさらに、多種類の狭帯域フィルタにおける一部の狭帯域フィルタを特定し、一部の狭帯域フィルタに対応する狭帯域チャネル画像に対して融合処理を行い、対象物の輪郭を含むカラー画像を取得するように構成される。
【0128】
いくつかの実施例において、融合モジュール５５５２はさらに、多種類の狭帯域フィルタのフィルタリング指標を表示し、フィルタリング指標に対する選択操作に応答して、選択されたフィルタリング指標に対応する狭帯域フィルタを一部の狭帯域フィルタにするように構成される。
【0129】
いくつかの実施例において、融合モジュール５５５２はさらに、多種類の狭帯域フィルタが使用される周波数を取得し、多種類の狭帯域フィルタが使用される周波数に基づき、多種類の狭帯域フィルタを降順で並べ、降順で並べた結果において前に配列された多種類の狭帯域フィルタを一部の狭帯域フィルタとするように構成される。
【0130】
いくつかの実施例において、狭帯域フィルタの種類が４種類の場合、融合モジュール５５５２はさらに、多種類の狭帯域フィルタにおける任意の３種類の狭帯域フィルタを特定し、任意の３種類の狭帯域フィルタに対応する狭帯域画像に対して合成処理を行い、候補カラー画像を取得し、各候補カラー画像に対してエッジ検出処理を行い、各候補カラー画像のエッジ特徴を取得し、エッジ特徴が最多の候補カラー画像を、目標物の輪郭を含むカラー画像とするように構成される。
【0131】
いくつかの実施例において、画像処理装置はさらに広帯域フィルタを含み、多種類の狭帯域フィルタに一対一で対応する複数の狭帯域チャネル画像に対して融合処理を行い、対象物の輪郭を含むカラー画像を取得した後、収集モジュール５５５１はさらに、広帯域フィルタにより対象物に対して収集処理を行い、対象物を含む広帯域チャネル画像を取得し、広帯域チャネル画像に基づき、対象物の輪郭を含むカラー画像に対して画像強調処理を行い、強調後のカラー画像を取得するように構成される。
【0132】
いくつかの実施例において、収集モジュール５５５１はさらに、各種狭帯域フィルタにより病理組織に対して収集処理を行い、病理組織を含む狭帯域チャネル病理画像を取得するように構成される。融合モジュール５５５２はさらに、多種類の狭帯域フィルタに一対一で対応する複数の狭帯域チャネル病理画像に対して融合処理を行い、病理組織の輪郭を含むカラー病理画像を取得するように構成される。
【0133】
本願の実施例はコンピュータプログラム製品を提供し、当該コンピュータプログラム製品は、コンピュータプログラム、またはコンピュータコマンドを含み、当該コンピュータが実行可能なコマンドはコンピュータ可読記憶媒体に記憶される。電子機器のプロセッサはコンピュータ可読記憶媒体から当該コンピュータが実行可能なコマンドを読み出し、プロセッサは当該コンピュータが実行可能なコマンドを実行して、当該電子機器に本願の実施例の上記画像処理方法を実行させる。
【0134】
本願の実施例は、コンピュータが実行可能なコマンドを記憶しているコンピュータ可読記憶媒体を提供する。ここで、コンピュータが実行可能なコマンドが記憶されており、コンピュータが実行可能なコマンドがプロセッサにより実行されると、プロセッサにより本願の実施例が提供する画像処理方法、例えば図５Ａ～図５Ｂに示す画像処理方法が実行される。
【0135】
いくつかの実施例において、コンピュータ可読記憶媒体は、ＦＲＡＭ（登録商標）、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、磁気面メモリ、光ディスク、またはＣＤ－ＲＯＭ等のメモリであってよく、上記メモリの１つ、または任意の組み合わせを含む各種機器であってもよい。
【0136】
いくつかの実施例において、コンピュータが実行可能なコマンドは、プログラム、ソフトウェア、ソフトウェアモジュール、スクリプト、またはコードの形式を採用し、任意の形式のプログラミング言語（コンパイラ言語やインタプリタ言語、または宣言型言語や手続き型言語を含む）に従って編集され、任意の形式に従って展開され、スタンドアローンとして展開されたプログラム、またはモジュール、コンポーネント、サブルーチンとして展開されたもの、またはコンピューティング環境において使用されることに適した他のユニットを含む。
【0137】
一例として、実行可能なコマンドは、ファイルシステムにおけるファイルに対応してもよく、必ずしも対応しなくてもよく、他のプログラムまたはデータを保存するファイルの一部に記憶されてもよく、例えば、ハイパーテキストマークアップ言語（ＨＴＭＬ，Ｈｙｐｅｒ Ｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）ドキュメントにおける１つまたは複数のスクリプトに記憶され、議論されたプログラム専用の単一のファイルに記憶され、または複数の連携ファイル（例えば、１つまたは複数のモジュール、サブプログラムまたはコード部分を記憶するファイル）に記憶される。
【0138】
一例として、コンピュータが実行可能なコマンドは、１つの電子機器で実行され、または１つの地点に位置する複数の電子機器で実行され、または複数の地点に分布し、通信ネットワークを介して相互に接続された複数の電子機器で実行されるように展開される。
【0139】
以上は本願の実施例にすぎず、本願の保護範囲を限定するものではない。本願の精神および範囲内で行われるいかなる修正、等価交換および改良等は、いずれも本願の保護範囲に含まれる。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図10A】
【図10B】
【図11A】
【図11B】
【図12A】
【図12B】
【図13】
【手続補正書】
【提出日】2024-04-18
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
光信号の通過する波長帯の異なる多種類の狭帯域フィルタを含む電子機器によって実行される画像処理方法であって、前記画像処理方法は、
多種類の前記狭帯域フィルタの各々により対象物の光信号である感光信号の収集処理を行い、前記対象物を含む狭帯域チャネル画像を取得することと、
多種類の前記狭帯域フィルタに一対一で対応する複数の狭帯域チャネル画像に対して融合処理を行い、前記対象物の輪郭を含むカラー画像を取得することと、
を含むことを特徴とする画像処理方法。
【請求項2】
前記電子機器は感光性チップを含み、多種類の前記狭帯域フィルタはマトリクス形式で前記感光性チップに規則的に配置され、多種類の前記狭帯域フィルタの各々により前記対象物の光信号である感光信号の収集処理を行い、前記対象物を含む狭帯域チャネル画像を取得することは、
前記感光信号に基づいて前記対象物を含む画像を取得することと、
前記感光性チップにおける多種類の前記狭帯域フィルタに基づき、前記対象物を含む画像に対してチャネル分割処理を行い、多種類の前記狭帯域フィルタに対応する中間チャネル画像を取得することと、
多種類の前記狭帯域フィルタに対応する中間チャネル画像に対して補間処理を行い、多種類の前記狭帯域フィルタに対応する狭帯域チャネル画像を取得することと、
を含むことを特徴とする請求項１に記載の画像処理方法。
【請求項3】
前記感光性チップにおける多種類の前記狭帯域フィルタに基づき、前記対象物を含む画像に対してチャネル分割処理を行い、多種類の前記狭帯域フィルタに対応する中間チャネル画像を取得することは、前記感光性チップにおけるそれぞれの前記狭帯域フィルタに対して、
前記狭帯域フィルタの前記感光性チップにおける位置を特定し、
前記狭帯域フィルタの前記感光性チップにおける位置に基づき、前記対象物を含む画像に対して画素抽出処理を行い、前記狭帯域フィルタの画素を取得し、
前記狭帯域フィルタの前記感光性チップにおける配置に基づき、前記狭帯域フィルタの画素に対して配列処理を行い、前記狭帯域フィルタに対応する中間チャネル画像を取得する、
ことを含むことを特徴とする請求項２に記載の画像処理方法。
【請求項4】
前記複数の狭帯域チャネル画像のサイズは同一であり、前記複数の狭帯域チャネル画像は前記対象物を含む画像に対してチャネル分割処理を行って得られ、多種類の前記狭帯域フィルタに一対一で対応する複数の狭帯域チャネル画像に対して融合処理を行い、前記対象物の輪郭を含むカラー画像を取得することは、
前記対象物を含む画像におけるそれぞれの画素に対して、
各前記狭帯域チャネル画像のそれぞれ対応する前記画素の画素値を特定し、
複数の記狭帯域チャネル画像のそれぞれ対応する前記画素の画素値に対して合成処理を行い、前記画素のマルチチャネル画素値を取得し、
複数の前記画素のマルチチャネル画素値に対してスティッチング処理を行い、前記対象物の輪郭を含むカラー画像を取得する、
ことを含むことを特徴とする請求項１に記載の画像処理方法。
【請求項5】
多種類の前記狭帯域フィルタに一対一で対応する複数の狭帯域チャネル画像に対して融合処理を行い、前記対象物の輪郭を含むカラー画像を取得することは、多種類の前記狭帯域フィルタにおける一部の狭帯域フィルタを特定することと、
前記一部の狭帯域フィルタに対応する狭帯域チャネル画像に対して融合処理を行い、前記対象物の輪郭を含むカラー画像を取得することと、
を含むことを特徴とする請求項１に記載の画像処理方法。
【請求項6】
多種類の前記狭帯域フィルタにおける前記一部の狭帯域フィルタを特定することは、多種類の前記狭帯域フィルタのフィルタリング指標を表示することと、
前記フィルタリング指標に対する選択操作に応答して、選択されたフィルタリング指標に対応する前記狭帯域フィルタを前記一部の狭帯域フィルタとすることと、
を含むことを特徴とする請求項５に記載の画像処理方法。
【請求項7】
多種類の前記狭帯域フィルタにおける前記一部の狭帯域フィルタを特定することは、多種類の前記狭帯域フィルタが使用される周波数を取得することと、
多種類の前記狭帯域フィルタが使用される周波数に基づき、多種類の前記狭帯域フィルタを降順で並べ、降順で並べた結果において前に配列された多種類の前記狭帯域フィルタを前記一部の狭帯域フィルタとすることと、
を含むことを特徴とする請求項５に記載の画像処理方法。
【請求項8】
前記狭帯域フィルタの種類が少なくとも４種類である場合、多種類の前記狭帯域フィルタに一対一で対応する複数の狭帯域チャネル画像に対して融合処理を行い、前記対象物の輪郭を含むカラー画像を取得することは、多種類の前記狭帯域フィルタにおける任意の３種類の狭帯域フィルタを特定することと、
前記任意の３種類の狭帯域フィルタに対応する狭帯域チャネル画像に対して合成処理を行い、候補カラー画像を取得することと、
各前記候補カラー画像に対してエッジ検出処理を行い、各前記候補カラー画像のエッジ特徴を取得することと、
前記エッジ特徴が最多の候補カラー画像を、前記対象物の輪郭を含むカラー画像とすることと、
を含むことを特徴とする請求項１に記載の画像処理方法。
【請求項9】
前記電子機器はさらに広帯域フィルタを含み、前記画像処理方法はさらに、
前記広帯域フィルタにより前記対象物の光信号である感光信号の収集処理を行い、前記対象物を含む広帯域チャネル画像を取得することと、
前記広帯域チャネル画像に基づき、前記対象物の輪郭を含むカラー画像に対して画像強調処理を行い、強調後の前記カラー画像を取得することと、
を含むことを特徴とする請求項１に記載の画像処理方法。
【請求項10】
多種類の前記狭帯域フィルタの各々により前記対象物の光信号である感光信号の収集処理を行い、前記対象物を含む狭帯域チャネル画像を取得することは、多種類の前記狭帯域フィルタの各々により前記対象物である病理組織の光信号である感光信号の収集処理を行い、前記病理組織を含む狭帯域チャネル病理画像を取得することを含み、
多種類の前記狭帯域フィルタに一対一で対応する複数の狭帯域チャネル画像に対して融合処理を行い、前記対象物の輪郭を含むカラー画像を取得することは、
多種類の前記狭帯域フィルタに一対一で対応する複数の狭帯域チャネル病理画像に対して融合処理を行い、前記病理組織の輪郭を含むカラー病理画像を取得すること、
を含むことを特徴とする請求項１に記載の画像処理方法。
【請求項11】
一部密封された空間を形成する筐体と、前記筐体内部の、感光信号を出力するための感光性チップに位置し、光信号を収集する多種類の狭帯域フィルタと、
前記筐体の内部に位置し、前記感光性チップにより出力された感光信号を受信するプロセッサであって、多種類の前記狭帯域フィルタにより収集された対象物の光信号である前記感光信号に基づき、前記対象物を含む狭帯域チャネル画像を生成し、多種類の前記狭帯域フィルタに一対一で対応する複数の狭帯域チャネル画像に対して融合処理を行い、前記対象物の輪郭を含むカラー画像を取得するプロセッサと、を含む、
ことを特徴とする電子機器。
【請求項12】
多種類の前記狭帯域フィルタはマトリクス形式で前記感光性チップに規則的に配置され、前記プロセッサはさらに、
前記感光信号に基づき、前記対象物を含む画像を生成し、
前記感光性チップにおける多種類の前記狭帯域フィルタに基づき、前記対象物を含む画像に対してチャネル分割処理を行い、多種類の前記狭帯域フィルタに対応する中間チャネル画像を取得し、
多種類の前記狭帯域フィルタに対応する中間チャネル画像に対して補間処理を行い、多種類の前記狭帯域フィルタに対応する狭帯域チャネル画像を取得する、
ことを特徴とする請求項１１に記載の電子機器。
【請求項13】
前記筐体の内部に設置され、多種類の前記狭帯域フィルタが収集した狭帯域波を前記感光性チップに集めるためのアクロマートレンズをさらに含むことを特徴とする請求項１１に記載の電子機器。
【請求項14】
前記アクロマートレンズはさらに、前記アクロマートレンズの表面に設置され、前記アクロマートレンズの焦点距離を調整するフォーカスリング、または
前記アクロマートレンズに設置され、前記アクロマートレンズの焦点距離を調整する液体リング
を含むことを特徴とする請求項１３に記載の電子機器。
【請求項15】
前記筐体の内部に設置され、前記感光性チップおよび前記プロセッサを保護するウインドウをさらに含み、前記ウインドウのタイプは、ロングパスフィルタ、ポラライザ、およびアッテネータの少なくとも１つを含む
ことを特徴とする請求項１１に記載の電子機器。
【請求項16】
前記筐体の内部に設置され、少なくとも１つの光源を提供するための光源装置であって、前記光源のタイプは広帯域光源、および狭帯域光源の少なくとも１つを含む光源装置をさらに含み、前記光源装置の照明モードは、常時点灯モード、およびフラッシュモードの少なくとも１つを含む
ことを特徴とする請求項１１に記載の電子機器。
【請求項17】
光信号の通過する波長帯の異なる多種類の狭帯域フィルタの各々により対象物の光信号である感光信号の収集処理を行い、前記対象物を含む狭帯域チャネル画像を取得するように構成された収集モジュールと、多種類の前記狭帯域フィルタに一対一で対応する複数の狭帯域チャネル画像に対して融合処理を行い、前記対象物の輪郭を含むカラー画像を取得するように構成された融合モジュールと、
を含むことを特徴とする画像処理装置。
【請求項18】
実行可能なコマンドを記憶するメモリと、前記メモリに記憶された実行可能なコマンドを実行すると、請求項１から１０のいずれか１項に記載の画像処理方法が実現されるプロセッサと、
を含むことを特徴とする請求項１７に記載の画像処理装置。
【請求項19】
コンピュータに、
光信号の通過する波長帯の異なる多種類の狭帯域フィルタを含むコンピュータによって実行されるプログラムを記憶するコンピュータ可読記憶媒体であって、
多種類の前記狭帯域フィルタの各々により対象物の光信号である感光信号の収集処理を行い、前記対象物を含む狭帯域チャネル画像を取得するステップと、
多種類の前記狭帯域フィルタに一対一で対応する複数の狭帯域チャネル画像に対して融合処理を行い、前記対象物の輪郭を含むカラー画像を取得するステップと、
を前記コンピュータに実行させるための前記プログラムを記憶する、
ことを特徴とするコンピュータ可読記憶媒体。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【0002】
本願は、グラフィック画像処理技術に関し、特に画像処理方法、装置、電子機器、およびコンピュータ可読記憶媒体に関する。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【0006】
本願の実施例は、十分効果的に対象物を表示し、画像のイメージング効果を高めることができる画像処理方法、装置、電子機器、およびコンピュータ可読記憶媒体を提供する。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【0008】
本願の実施例は、光信号の通過する波長帯の異なる多種類の狭帯域フィルタを含む電子機器によって実行される画像処理方法であって、前記画像処理方法は、多種類の前記狭帯域フィルタの各々により対象物の光信号である感光信号の収集処理を行い、前記対象物を含む狭帯域チャネル画像を取得することと、
多種類の前記狭帯域フィルタに一対一で対応する複数の狭帯域チャネル画像に対して融合処理を行い、前記対象物の輪郭を含むカラー画像を取得することと、
を含む画像処理方法を提供する。
多種類の前記狭帯域フィルタに一対一で対応する複数の狭帯域チャネル画像に対して融合処理を行い、前記対象物の輪郭を含むカラー画像を取得することと、
を含む画像処理方法を提供する。
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【0009】
本願の実施例は、光信号の通過する波長帯の異なる多種類の狭帯域フィルタの各々により対象物の光信号である感光信号の収集処理を行い、前記対象物を含む狭帯域チャネル画像を取得するように構成された収集モジュールと、多種類の前記狭帯域フィルタに一対一で対応する複数の狭帯域チャネル画像に対して融合処理を行い、前記対象物の輪郭を含むカラー画像を取得するように構成された融合モジュールと、を含む画像処理装置を提供する。
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【0011】
本願の実施例は、一部密封された空間を形成する筐体と、前記筐体内部の、感光信号を出力するための感光性チップに位置し、光信号を収集する多種類の狭帯域フィルタと、前記筐体の内部に位置し、前記感光性チップにより出力された感光信号を受信するプロセッサであって、多種類の前記狭帯域フィルタにより収集された対象物の光信号である前記感光信号に基づき、前記対象物を含む狭帯域チャネル画像を生成し、多種類の前記狭帯域フィルタに一対一で対応する複数の狭帯域チャネル画像に対して融合処理を行い、前記対象物の輪郭を含むカラー画像を取得するプロセッサと、を含む電子機器を提供する。
【手続補正8】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【0012】
本願の実施例は、コンピュータに、光信号の通過する波長帯の異なる多種類の狭帯域フィルタを含むコンピュータによって実行されるプログラムを記憶するコンピュータ可読記憶媒体であって、多種類の前記狭帯域フィルタの各々により対象物の光信号である感光信号の収集処理を行い、前記対象物を含む狭帯域チャネル画像を取得するステップと、多種類の前記狭帯域フィルタに一対一で対応する複数の狭帯域チャネル画像に対して融合処理を行い、前記対象物の輪郭を含むカラー画像を取得するステップと、を前記コンピュータに実行させるための前記プログラムを記憶するコンピュータ可読記憶媒体を提供する。
【手続補正9】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】削除
【補正の内容】
【手続補正10】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【0016】
【手続補正11】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【0029】
図２を参照する。図２は、本願の実施例が提供する画像処理システム１０のアーキテクチャ図である。端末２００はネットワーク３００を介してサーバ１００に接続される。ここで、ネットワーク３００は、広域ネットワークまたはローカルエリアネットワークであってよく、あるいは両者の組み合わせであってもよい。
【手続補正12】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【0030】
いくつかの実施例において、電子機器がイメージング機能を有する端末であることを例にしており、本願の実施例が提供する画像処理方法は、端末２００により実現される。例えば、ユーザは端末２００における狭帯域フィルタにより対象物に対して収集処理を行い、対象物を含む狭帯域チャネル画像（シングルチャネル画像とも称する）を取得し、多種類の狭帯域フィルタに対応する狭帯域チャネル画像に基づいて融合処理を行い、対象物の輪郭を含むカラー画像を取得する。例えば、病理画像については、端末２００における狭帯域フィルタにより病理組織に対して収集処理を行い、病理組織を含む狭帯域チャネル画像を取得し、多種類の狭帯域フィルタに対応する狭帯域チャネル画像に基づいて融合処理を行い、病理組織の輪郭を含むカラー画像（すなわち、病理画像）を取得する。病理画像により病理部位を迅速に特定することで、病理部位に基づいて後続の正確な病理サンプリングを行う。
【手続補正13】
【補正対象書類名】明細書
【補正対象項目名】００５３
【補正方法】変更
【補正の内容】
【0053】
一例として、上記の感光性チップにおける各種狭帯域フィルタに基づき、対象物を含む画像に対してチャネル分割処理を行い、各種狭帯域フィルタに対応する中間チャネル画像を取得することは、以下の技術案により実現できる。感光性チップにおけるそれぞれの狭帯域フィルタに対して、狭帯域フィルタの感光性チップにおける位置を特定し、狭帯域フィルタの感光性チップにおける位置に基づき、対象物を含む画像に対して対応チャネルの画素抽出処理を行い、狭帯域フィルタの画素を取得し、狭帯域フィルタの感光性チップにおける配置に基づき、狭帯域フィルタの画素に対して配列処理を行い、狭帯域フィルタに対応する中間チャネル画像を取得する。
【手続補正14】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【0058】
いくつかの実施例において、複数の狭帯域チャネル画像のサイズは同一である。複数の狭帯域チャネル画像は、対象物を含む画像に対してチャネル分割処理を行って得られる。プロセッサはさらに、前記対象物を含む画像におけるそれぞれの画素に対して、各狭帯域チャネル画像の対応するそれぞれの画素の画素値を特定し、複数の狭帯域チャネル画像に対応する画素の画素値に対して合成処理を行い、画素のマルチチャネル画素値を取得し、複数の画素のマルチチャネル画素に対してスティッチング処理を行い、対象物の輪郭を含むカラー画像を取得する。本願の実施例により、同一画素の複数の画素値を効果的に合成することで、カラー画像のイメージング効果を高めることができる。
【手続補正15】
【補正対象書類名】明細書
【補正対象項目名】００５９
【補正方法】変更
【補正の内容】
【0059】
一例として、引き続き図８と組み合わせて説明する。複数の狭帯域チャネル画像のサイズは同一である。複数の狭帯域チャネル画像は対象物を含む画像（オリジナル画像）に対してチャネル分割処理を行って得られる。すなわち、複数の狭帯域チャネル画像のサイズは、オリジナル画像のサイズと同一である。それぞれの画素がオリジナル画像において（０，０）の位置にある画素であることを例に説明する。複数の狭帯域チャネル画像の、（０，０）の位置の画素に対応する画素値をそれぞれ特定し、すなわち複数の画素値を特定する。合成処理は複数の画素値の平均値演算処理である。平均結果を（０，０）の位置の画素に対応するマルチチャネル画素値とする。上記の方式に基づき、（０，１）等の位置の画素に対応するマルチチャネル画素値が得られる。オリジナル画像における全ての位置の画素に対応するマルチチャネル画素値をスティッチング処理し、最終的なカラー画像を取得する。
【手続補正16】
【補正対象書類名】明細書
【補正対象項目名】００６７
【補正方法】変更
【補正の内容】
【0067】
図４に示すように、電子機器４０はウインドウ４５を含む。ウインドウ４５は、可視光をフィルタリングするためのロングパスフィルタ（例えば、赤外線ロングパスフィルタ）であってよく、偏光を収集するためのポラライザであってもよく、または、入射光を減衰するアッテネータ等であってもよい。
【手続補正17】
【補正対象書類名】明細書
【補正対象項目名】００８０
【補正方法】変更
【補正の内容】
【0080】
いくつかの実施例において、上記の感光性チップにおける各種狭帯域フィルタに基づき、対象物を含む画像に対してチャネル分割処理を行い、各種狭帯域フィルタに対応する中間チャネル画像を取得することは、以下の技術案により実現できる。感光性チップにおけるそれぞれの狭帯域フィルタに対して、狭帯域フィルタの感光性チップにおける位置を特定し、狭帯域フィルタの感光性チップにおける位置に基づき、対象物を含む画像に対して画素抽出処理を行い、狭帯域フィルタの画素を取得し、狭帯域フィルタの感光性チップにおける配置に基づき、狭帯域フィルタの画素に対して配列処理を行い、狭帯域フィルタに対応する中間チャネル画像を取得する。本願の実施例により、狭帯域フィルタの感光性チップにおける配置を利用して狭帯域フィルタの画素を配列することで、正確な中間チャネル画像を得られる。
【手続補正18】
【補正対象書類名】明細書
【補正対象項目名】００８６
【補正方法】変更
【補正の内容】
【0086】
いくつかの実施例において、多種類の狭帯域フィルタに一対一で対応する複数の狭帯域チャネル画像のサイズは同一である。多種類の狭帯域フィルタに一対一で対応する複数の狭帯域チャネル画像に対して融合処理を行い、対象物の輪郭を含むカラー画像を取得することは、対象物を含む画像におけるそれぞれの画素に対して、各狭帯域チャネル画像の対応するそれぞれの画素の画素値を特定し、複数の狭帯域チャネル画像の対応する画素の画素値に対して合成処理を行い、画素のマルチチャネル画素値を取得し、複数の画素のマルチチャネル画素に対してスティッチング処理を行い、対象物の輪郭を含むカラー画像を取得することによって実現できる。本願の実施例により、画素の次元から合成することにより、正確なイメージング効果を有するカラー画像を取得できる。
【手続補正19】
【補正対象書類名】明細書
【補正対象項目名】００８７
【補正方法】変更
【補正の内容】
【0087】
一例として、引き続き図８と組み合わせて説明する。複数の狭帯域チャネル画像のサイズは同一である。複数の狭帯域チャネル画像は対象物を含む画像（オリジナル画像）に対してチャネル分割処理を行って得られる。すなわち、複数の狭帯域チャネル画像のサイズは、オリジナル画像のサイズと同一である。それぞれの画素がオリジナル画像において（０，０）の位置にある画素であることを例に説明する。複数の狭帯域チャネル画像の、（０，０）の位置の画素に対応する画素値をそれぞれ特定し、すなわち複数の画素値を特定する。合成処理は複数の画素値の平均値演算処理である。平均結果を（０，０）の位置の画素に対応するマルチチャネル画素値とする。上記の方式に基づき、（０，１）等の位置の画素に対応するマルチチャネル画素値が得られる。オリジナル画像における全ての位置の画素に対応するマルチチャネル画素値をスティッチング処理し、最終的なカラー画像を取得する。
【手続補正20】
【補正対象書類名】明細書
【補正対象項目名】００９８
【補正方法】変更
【補正の内容】
【0098】
図５Ｂを参照する。図５Ｂは、本願の実施例が提供する画像処理方法のフローチャートである。図５Ｂは、図５Ａがステップ１０３～ステップ１０４をさらに含むことと、電子機器が広帯域フィルタをさらに含むことと、を示す。ステップ１０３において、広帯域フィルタにより対象物に対して収集処理を行い、対象物を含む広帯域チャネル画像を取得する。ステップ１０４において、広帯域チャネル画像に基づき、対象物の輪郭を含むカラー画像に対して画像強調処理を行い、強調後のカラー画像を取得する。
【手続補正21】
【補正対象書類名】明細書
【補正対象項目名】０１２５
【補正方法】変更
【補正の内容】
【0125】
いくつかの実施例において、収集モジュール５５５１はさらに、感光性チップにおけるそれぞれの狭帯域フィルタに対して、狭帯域フィルタの感光性チップにおける位置を特定し、狭帯域フィルタの感光性チップにおける位置に基づき、対象物を含む画像に対して画素抽出処理を行い、狭帯域フィルタの画素を取得し、狭帯域フィルタの感光性チップにおける配置に基づき、狭帯域フィルタの画素に対して配列処理を行い、狭帯域フィルタに対応する中間チャネル画像を取得するように構成される。
【手続補正22】
【補正対象書類名】明細書
【補正対象項目名】０１２６
【補正方法】変更
【補正の内容】
【0126】
いくつかの実施例において、多種類の狭帯域フィルタに一対一で対応する複数の狭帯域チャネル画像のサイズは同一である。融合モジュール５５５２はさらに、狭帯域チャネル画像におけるそれぞれの画素に対して、各狭帯域チャネル画像の対応する画素の画素値を特定し、対応する画素の複数の画素値に対して合成処理を行い、画素のマルチチャネル画素値を取得し、複数の画素のマルチチャネル画素値に対してスティッチング処理を行い、対象物の輪郭を含むカラー画像を取得するように構成される。
【国際調査報告】