特許 7646827 携帯用３次元映像測定装置、これを用いた３次元映像測定方法及び医療映像整合システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-07

(45)【発行日】2025-03-17

(54)【発明の名称】携帯用３次元映像測定装置、これを用いた３次元映像測定方法及び医療映像整合システム

(51)【国際特許分類】

   G01B 11/25 20060101AFI20250310BHJP

【ＦＩ】

G01B11/25 H

【請求項の数】 10

(21)【出願番号】P 2023522556

(86)(22)【出願日】2021-10-13

(65)【公表番号】

(43)【公表日】2023-10-27

(86)【国際出願番号】 KR2021014106

(87)【国際公開番号】W WO2022080853

(87)【国際公開日】2022-04-21

【審査請求日】2023-04-12

(31)【優先権主張番号】10-2020-0131843

(32)【優先日】2020-10-13

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】506414749

【氏名又は名称】コー・ヤング・テクノロジー・インコーポレーテッド

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】チョン、ムン ヨン

(72)【発明者】

【氏名】リュ、ソン ヨル

【審査官】仲野 一秀

(56)【参考文献】

【文献】特表２０１２－５３０２６７（ＪＰ，Ａ）

【文献】特開２０１０－５４３２０（ＪＰ，Ａ）

【文献】特開２００１－２３８８９４（ＪＰ，Ａ）

【文献】中国特許出願公開第１１０７２０９８６（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００－１１／３０

Ａ６１Ｃ １９／０４

(57)【特許請求の範囲】

【請求項1】

携帯用３次元映像測定装置において、
パターン光を出力するように構成された光源と、
前記パターン光が対象体から反射して生成された反射光を受信し、パターンが反映された前記対象体のライトフィールド画像を生成するように構成されたライトフィールドカメラと、
前記光源から出力された前記パターン光が前記対象体に照射されるように前記パターン光を反射させて、前記対象体から反射した前記反射光が前記ライトフィールドカメラに到達するように前記反射光を透過させる光路制御要素と、
通信回路と、
プロセッサと、を含み、
前記対象体のライトフィールド画像は、前記反射光の色情報及び方向情報を含む複数のサブ画像が結合された画像であり、
前記光源から出力されて前記対象体に照射される前記パターン光の光路、及び前記対象体から反射して前記ライトフィールドカメラに到達する前記反射光の光路は、前記光路制御要素と前記対象体との間の区間で同軸をなして重畳し、
前記プロセッサは、
前記ライトフィールドカメラを介して取得した前記対象体のライトフィールド画像に含まれた前記複数のサブ画像を用いて、前記対象体の表面を構成する複数の点それぞれにおける反射光の強さを測定し、
前記測定した反射光の強さに基づいて位相データを生成し、
前記生成した位相データに基づいて、前記複数の点それぞれの高さを計算することによって、前記対象体の表面に対する３次元画像を生成し、
前記通信回路を介して前記対象体の表面に対する３次元画像を外部電子装置に伝送するように構成され、
前記対象体の表面に対する３次元画像は、前記対象体に対する医療画像との整合のために用いられる画像であり、前記対象体に対する医療画像は、前記対象体に対するＣＴ画像またはＭＲＩ画像のうちの１つである、携帯用３次元映像測定装置。

【請求項2】

前記携帯用３次元映像測定装置の所定の位置から移動可能に設けられるマーカーをさらに含み、
前記プロセッサは、
前記所定の位置から前記マーカーの変位を示す情報を前記外部電子装置に伝送するように構成された、請求項１に記載の携帯用３次元映像測定装置。

【請求項3】

前記光源及び前記ライトフィールドカメラは
前記光路制御要素を基準に互いに垂直方向に配置される、
請求項１に記載の携帯用３次元映像測定装置。

【請求項4】

前記ライトフィールドカメラは、
複数のマイクロレンズが配列されたレンズアレイと、
前記レンズアレイを通過した前記反射光をキャプチャーする画像センサとを含む、請求項１に記載の携帯用３次元映像測定装置。

【請求項5】

前記光源は、
複数のパターンが形成されたパターン部と、
前記パターン部に光を照射するＬＥＤとを含む、請求項１に記載の携帯用３次元映像測定装置。

【請求項6】

前記ＬＥＤが出力する光は赤外線光である、請求項５に記載の携帯用３次元映像測定装置。

【請求項7】

前記光路制御要素は半透過鏡である、請求項１に記載の携帯用３次元映像測定装置。

【請求項8】

内部に前記光源、前記ライトフィールドカメラ及び前記光路制御要素が配置される第１ハウジングと、
前記第１ハウジングに結合され、前記光源から出力された前記パターン光が前記対象体に照射されるように開口が形成された第２ハウジングとをさらに含む、請求項１に記載の携帯用３次元映像測定装置。

【請求項9】

前記第２ハウジングは、前記第１ハウジングに対して回転可能に結合された、請求項８に記載の携帯用３次元映像測定装置。

【請求項10】

携帯用３次元映像測定装置の３次元映像の測定方法において、
光源によって出力されたパターン光を光路制御要素を介して対象体に照射する動作と、
ライトフィールドカメラによって前記パターン光が前記対象体から反射して生成された反射光を前記光路制御要素を介して受信し、パターンが反映された前記対象体のライトフィールド画像を生成する動作と、
前記対象体のライトフィールド画像に含まれた複数のサブ画像を用いて、前記対象体の表面を構成する複数の点それぞれにおける反射光の強さを測定し、前記測定した反射光の強さに基づいて位相データを生成し、前記生成した位相データに基づいて、前記複数の点それぞれの高さを計算することによって、前記対象体の表面に対する３次元画像を生成する動作と、
前記対象体の表面に対する３次元画像を外部電子装置に伝送する動作と、を含み、
前記対象体のライトフィールド画像は、前記反射光の色情報及び方向情報を含む前記複数のサブ画像が結合された画像であり、
前記光源から出力されて前記対象体に照射される前記パターン光の光路及び前記対象体から反射して前記ライトフィールドカメラに到達する前記反射光の光路は、前記光路制御要素と前記対象体との間の区間で同軸をなして重畳し、
前記対象体の表面に対する３次元画像は、前記対象体に対する医療画像との整合のために用いられる画像であり、前記対象体に対する医療画像は、前記対象体に対するＣＴ画像またはＭＲＩ画像のうちの１つである、３次元映像測定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は携帯用３次元映像測定装置に関するものである。詳しくは携帯性を有する３次元映像測定装置を提供し、測定しようとする対象体に対する精密な３次元測定を行う方法に関するものである。また、携帯用３次元映像測定装置を含む医療映像整合システムに関するものである。

【0002】

本開示は、ＷＣ３００プロジェクト技術開発支援の一環として行った研究から導き出されたものである［課題固有番号：Ｓ２４８２６７２、研究課題名：整合精度１ｍｍ以下の手術用ナビゲーション融合頭頸部手術ロボットシステムの開発］。

【背景技術】

【0003】

対象体の３次元映像を測定するための多様な方法が産業現場で活用されているが、その中には対象体に一定のパターン光を照射して発生するパターンを測定し、これから対象体の３次元映像を取得する方法が活用されている。例えば、対象体にパターン光を照射して発生するモワレ模様を測定し、これから対象体の３次元映像を取得するモワレ方式の３次元映像測定技術がある。

【0004】

近頃、手術用ナビゲーション（ｓｕｒｇｉｃａｌ ｎａｖｉｇａｔｉｏｎ）技術が医師の外科手術をサポートするために活用されているが、一般的な手術用ナビゲーション技術は、手術用器具上にマーカー（ｍａｒｋｅｒ）を配置し、患者の医療画像（例：ＣＴ画像、ＭＲＩ画像）の上に手術用器具の位置及び姿勢情報を表示する形態で情報を提供する。前記手術用ナビゲーションシステムでは、患者の特定の患部に対する３次元映像情報を取得及び処理する必要があるので、３次元映像を測定する技術が活用され得る。

【発明の概要】

【発明が解決しようとする課題】

【0005】

ステレオ（ｓｔｅｒｅｏ）カメラを用いる３次元映像測定装置の場合、固定パターンを用いた三角測量方式を通じて対象体に対する３次元映像を測定することができる。三角測量方式は他の位置で撮影された２つ以上の映像を用いて対象体に対する３次元映像を測定する方法である。例えば、対象体にパターン光を照射して、他の位置に配置された２台以上のカメラを用いてパターン光が照射された対象体に対する画像を取得し、取得した画像を用いて対象体に対する３次元映像を取得することができる。前記の３次元映像測定装置の場合、三角測量方式を用いるために、２台以上のカメラを含まなければならない。前記の３次元映像測定装置の場合、２台以上のカメラと異なる位置からパターン光を照射する光源を含まなければならない。

【0006】

共焦点（ｃｈｒｏｍａｔｉｃ ｃｏｎｆｏｃａｌ）センサを用いる３次元映像測定装置の場合、レンズの色収差を用いて対象体の深度を測定し、対象体に対する３次元映像を測定することができる。共焦点センサを用いる３次元映像の場合、対象体に対する３次元映像を取得するために、対象体の側面へのスキャニングを行わなければならない。

【課題を解決するための手段】

【0007】

本開示の多様な実施例による携帯用３次元映像測定装置は、パターン光を出力するように構成された光源、前記パターン光が対象体から反射して生成された反射光を受信して前記対象体のライトフィールド画像（ｌｉｇｈｔ ｆｉｅｌｄ ｉｍａｇｅ）を生成するように構成されたカメラ、及び前記光源から出力された前記パターン光が前記対象体に照射されるように前記パターン光を反射させて、前記対象体から反射した前記反射光が前記カメラに到達するように前記反射光を透過させる光路制御要素を含み、前記光源から出力されて前記対象体に照射される前記パターン光の光路及び前記対象体から反射して前記カメラに到達する前記反射光の光路は、前記光路制御要素と前記対象体との間の区間で同軸をなして重畳され得る。

【0008】

本開示の多様な実施例による医療映像整合システムは、パターン光を出力するように構成された光源、前記パターン光が対象体から反射して生成された反射光を受信して前記対象体のライトフィールド画像を生成するように構成されたカメラ、前記光源から出力された前記パターン光が前記対象体に照射されるように前記パターン光を反射させて、前記対象体から反射した前記反射光が前記カメラに到達するように前記反射光を透過させる光路制御要素、通信回路及びプロセッサを含む携帯用３次元映像測定装置；及び前記通信回路と通信可能に構成された外部電子装置を含み、前記光源から出力されて前記対象体に照射される前記パターン光の光路及び前記対象体から反射して前記カメラに到達する前記反射光の光路は、前記光路制御要素と前記対象体との間の区間で同軸をなして重畳し、前記プロセッサは、前記カメラを通して取得した前記対象体のライトフィールド画像を用いて、前記対象体の表面に対する３次元画像を生成し、前記通信回路を通して前記対象体の表面に対する３次元画像を前記外部電子装置に伝送するように構成され得る。

【0009】

本開示の多様な実施例による携帯用３次元映像測定装置の３次元映像測定方法は、光源によって出力されたパターン光を光路制御要素を介して対象体に照射する動作及びカメラによって前記パターン光が前記対象体から反射して生成された反射光を前記光路制御要素を介して受信し、前記対象体のライトフィールド画像を生成する動作を含むことができ、前記光源から出力されて前記対象体に照射される前記パターン光の光路及び前記対象体から反射して前記カメラに到達する前記反射光の光路は、前記光路制御要素と前記対象体との間の区間で同軸をなして重畳し得る。

【発明の効果】

【0010】

本開示の多様な実施例による３次元映像測定装置は、ライトフィールド画像を生成する１台のカメラを用いて対象体のライトフィールド画像を生成し、対象体のライトフィールド画像を用いて対象体の表面に対する３次元画像を生成することができる。本開示の多様な実施例による３次元映像測定装置は、１台のカメラのみを用いて具現され得るので、既存の２台以上のカメラを含んで具現されるステレオ方式の３次元映像測定装置に比べて小型化が可能である。また、１台のカメラのみを用いて具現され得るので、３次元映像測定装置の生産価格を下げることができ、重さを減らして携帯性を高めることができる。

【0011】

本開示の多様な実施例によれば、小型化された３次元映像測定装置を用いて対象体を撮影する場合、使用者は３次元映像測定装置を移動させやすくなり、３次元映像測定装置の撮影の姿勢を変更しやすくなり得る。上記の場合、使用者は３次元映像測定装置を用いて対象体の多様な姿勢（例：横になった姿勢、うつ伏せの姿勢）を撮影することができる。

【0012】

本開示の多様な実施例による３次元映像測定装置は、ライトフィールド画像を生成するカメラを用いるので、一度の測定でも対象体に対する３次元画像を生成することができる。

【0013】

本開示の多様な実施例による３次元映像測定装置は、パターン光を照射する光源の光軸と対象体から反射した光を受信するカメラの光軸が一部区間で同軸を形成するので、取得される対象体のライトフィールド画像の歪み現象を最小化でき、装置を小型化して具現できる。光源の光軸とカメラの光軸が一部区間で同軸を形成する場合、光源から照射されるパターン光の傾きによりライトフィールド画像が歪む現象が発生しないことができる。

【0014】

本開示の多様な実施例による３次元映像測定装置は、パターン光を照射する光源の光軸と、対象体から反射した光を受信するカメラの光軸が一部区間で同軸を形成するので、パターン光が対象体に均一に照射され得、光量の損失を最小化することができる。

【図面の簡単な説明】

【0015】

【図1】本開示の多様な実施例による医療映像整合システムを示したブロック図である。

【図2a】多様な実施例による携帯用３次元映像測定装置の断面図である。

【図2b】多様な実施例による携帯用３次元映像測定装置の断面図である。

【図3】多様な実施例による携帯用３次元映像測定装置の断面図である。

【図4】本開示の多様な実施例による医療映像整合システムの動作フローチャートである。

【図5】本開示の多様な実施例による医療映像整合システムの動作フローチャートである。

【図6】本開示の多様な実施例による携帯用３次元映像測定装置の動作フローチャートである。

【図7】本開示の多様な実施例による医療映像整合システムが用いられる例示を示した図面である。

【図8】本開示の多様な実施例によるカメラの構造を説明するための図面である。

【図9】本開示の多様な実施例によるカメラのレンズアレイを説明するための図面である。

【図10】本開示の多様な実施例によるカメラによって取得されたライトフィールド画像に含まれた複数のサブ画像の被写体深度が異なって形成される過程を示した図面である。

【図11】本開示の多様な実施例による互いに異なる被写体深度を有する複数のサブ画像を含むライトフィールド画像を説明するための図面である。

【発明を実施するための形態】

【0016】

本開示の実施例は本開示の技術的思想を説明するための目的で例示されたものである。本開示による権利範囲が以下に提示される実施例やこれら実施例に関する具体的説明により限定されるものではない。

【0017】

本開示に用いられる全ての技術用語及び科学用語は、特に定義されない限り、本開示が属する技術分野において通常の知識を有する者に一般的に理解される意味を有する。本開示に用いられる全ての用語は、本開示をより一層明確に説明するために選択されたものであり、本開示による権利範囲を制限するために選択されたわけではない。

【0018】

本開示で用いられる「含む」、「備える」、「有する」等のような表現は、該表現が含まれる語句または文章で特に言及されない限り、他の実施例を含む可能性を内包する開放型用語（ｏｐｅｎ－ｅｎｄｅｄ ｔｅｒｍｓ）であると理解されるべきである。

【0019】

本開示で記述された単数型の表現は、特に言及されない限り複数型の意味を含むことができ、これは請求の範囲に記載された単数型の表現にも同様に適用される。

【0020】

本開示で用いられる「第１」、「第２」等の表現は複数の構成要素を相互に区分するために用いられ、該構成要素の順序または重要度を限定するものではない。

【0021】

本開示で用いられる用語「部」は、ソフトウェア、またはＦＰＧＡ（ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）のようなハードウェアの構成要素を意味する。しかし、「部」はハードウェア及びソフトウェアに限定されるものではない。「部」はアドレッシングできる保存媒体にあるように構成されてもよく、１つまたはそれ以上のプロセッサ（１１０）を再生させるように構成されてもよい。よって、一例として、「部」はソフトウェア構成要素、オブジェクト指向のソフトウェア構成要素、クラス構成要素及びタスク構成要素のような各構成要素と、プロセッサ（１１０）、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバー、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ及び変数を含む。構成要素と「部」内で提供される機能は、さらに小さい数の構成要素及び「部」に結合されるか、追加の構成要素と「部」にさらに分離され得る。

【0022】

本開示で用いられる「～に基づいて」という表現は、該表現が含まれる語句または文章で記述される、決定、判断の行為または動作に影響を与える１つ以上の因子の記述に用いられ、この表現は決定、判断の行為または動作に影響を与える追加の因子を排除しない。

【0023】

本開示で、ある構成要素が他の構成要素に「連結されて」いる、または「接続されて」いると言及された場合、前記ある構成要素が前記他の構成要素に直接的に連結または接続され得、または、新たな他の構成要素を媒介に連結または接続され得るものとして理解されるべきである。

【0024】

以下、添付した図面を参照して本開示の実施例を説明する。添付の図面で、同一または対応する構成要素には同一の参照符号が付与されている。また、以下の実施例の説明において、同一または対応する構成要素の重複した記述は省略され得る。しかし、構成要素に関する記述が省略されても、その構成要素がある実施例に含まれないことを意図するわけではない。

【0025】

図示されたフローチャートにおいてプロセス段階、方法段階、アルゴリズムなどが逐次説明されたが、そのようなプロセス、方法及びアルゴリズムは、任意の適した順序で作動するように構成され得る。言い換えれば、本開示の多様な実施例で説明されるプロセス、方法及びアルゴリズムの各段階が、本開示で記述された順序で行われる必要はない。また、一部の段階が非同時に行われると説明されたとしても、他の実施例ではこのような一部の段階が同時に行われ得る。また、図面での描写によるプロセスの例示は、例示されたプロセスがそれに対する他の変化及び修正を除くことを意味せず、例示されたプロセスまたはその段階のうち任意のものが本開示の多様な実施例のうちの１つ以上に必須であることを意味せず、例示されたプロセスが望ましいということを意味しない。

【0026】

図１は本開示の多様な実施例による医療映像整合システム（１０）を示したブロック図である。

【0027】

図１を参照すると、多様な実施例による医療映像整合システム（１０）は携帯用３次元映像測定装置（１００）及び外部電子装置（２０）を含むことができる。携帯用３次元映像測定装置（１００）及び外部電子装置（２０）は互いに通信連結されて多様なデータ（例：画像）を送受信することができる。図１に示された構成のうち、一部が省略または置換されても、本文書に開示された多様な実施例を具現するにおいては支障がない。

【0028】

多様な実施例による携帯用３次元映像測定装置（１００）は、プロセッサ（１１０）、光源（１２０）、カメラ（１３０）、光路制御要素（１４０）、または、通信回路（１５０）を含むことができる。携帯用３次元映像測定装置（１００）は第１ハウジング（図示せず）及び第２ハウジング（図示せず）をさらに含むことができる。

【0029】

多様な実施例によるプロセッサ（１１０）は、携帯用３次元映像測定装置（１００）の各構成要素の制御及び／または通信に関する演算やデータ処理を行うことができる構成であってもよい。プロセッサ（１１０）は、例えば、携帯用３次元映像測定装置（１００）の各構成要素と作動的に連結され得る。プロセッサ（１１０）は携帯用３次元映像測定装置（１００）の他の構成要素から受信された命令またはデータをメモリ（図示せず）にロード（ｌｏａｄ）し、メモリに保存された命令またはデータを処理して、結果データを保存することができる。

【0030】

多様な実施例による光源（１２０）はパターン光を出力することができる。光源（１２０）は対象体にパターン光を照射することができる。パターン光は対象体に対する３次元画像を測定するために特定の模様を有する光であるか、一定、または特定の周期のパターンを有する光であり得る。パターン光は、例えば、ランダムドット（ｒａｎｄｏｍ ｄｏｔ）形態のパターン光、チェック形態のパターン光、縞模様の明るさが正弦波形態のパターン光、明るい部分と暗い部分が繰り返し示されるオン・オフ（ｏｎ－ｏｆｆ）形態のパターン光、または、明るさの変化が三角波形態の三角波パターン光を含むことができる。ただし、これはあくまで説明のためのものであり、パターン光の形態はこれに制限されない。

【0031】

多様な実施例による光源（１２０）は複数のパターンが形成されたパターン部及びパターン部に光を照射するＬＥＤを含むことができる。光源（１２０）はＬＥＤから出力された光を集光させてパターン部に照射されるように構成された集光レンズ（ｃｏｎｄｅｎｓｉｎｇ ｌｅｎｓ）をさらに含むことができる。ＬＥＤから出力された光は複数のパターンが形成されたパターン部を通過してパターンが反映され得る。ＬＥＤは、例えば、赤外線光を放出することができるが、これに制限されはしない。

【0032】

多様な実施例によるカメラ（１３０）は対象体の画像を撮影する構成であり得る。カメラ（１３０）は対象体を撮影して対象体の画像データを取得でき、前記取得した画像データを加工して対象体の３次元画像を取得できる。例えば、カメラ（１３０）はパターン光が照射された対象体を撮影して対象体の画像を取得できる。プロセッサ（１１０）はパターン光を利用した位相変移方式に基づいて対象体の３次元画像を生成できる。例えば、光源（１２０）を介して一定の形態のパターン光を対象体に照射した場合、対象体の表面の屈曲によって表面に現れる光の強さが変わり得る。前記の場合、カメラ（１３０）は、パターンが反映された対象体のライトフィールド画像を生成でき、プロセッサ（１１０）はそこから位相データを生成して対象体の表面を構成する各点の高さを計算することで、対象体の表面に対する３次元画像を生成できる。

【0033】

多様な実施例によるカメラ（１３０）は、ライトフィールド画像（ｌｉｇｈｔ ｆｉｅｌｄ ｉｍａｇｅ）を生成するライトフィールドカメラ（１３０）であり得る。ライトフィールドカメラ（１３０）は対象体を撮影した後に対象体の深度を事後的に決定して、互いに異なる対象体の深度を有する画像を組み合わせるように構成され得る。ライトフィールドカメラ（１３０）の画像センサは事後的かつ可変的な対象体深度を有し得る。

【0034】

多様な実施例によるカメラ（１３０）は、集光レンズ、レンズアレイ（ｌｅｎｓ ａｒｒａｙ）及び画像センサを含むことができる。集光レンズは、例えば、対象体から入り込む光を集光することができる。レンズアレイは、例えば、複数のマイクロレンズが配列されたレンズであり得る。画像センサは、例えば、レンズアレイを通過した光をキャプチャーして、キャプチャーした光を用いてライトフィールド画像を生成することができる。画像センサは複数のマイクロレンズのそれぞれに対応する領域で区分され得る。画像センサは、例えば、ＣＣＤ（ｃｈａｒｇｅ－ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）センサまたはＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ－ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサを含むことができる。カメラ（１３０）に含まれた構成要素それぞれに関する具体的な説明は図８～図１１で述べることにする。

【0035】

多様な実施例によるカメラ（１３０）で生成するライトフィールド画像は光の色情報と方向情報を共に保存する複数のサブ画像を含むことができる。例えば、対象体にパターン光が照射されて対象体から反射した反射光がカメラ（１３０）に受信された場合、ライトフィールド画像は反射光の色情報及び方向情報を含む複数のサブ画像が結合された画像であり得る。カメラ（１３０）はライトフィールド画像に含まれた複数のサブ画像を用いて再焦点（ｒｅｆｏｃｕｓｉｎｇ）過程を進めることができる。例えば、カメラ（１３０）は再焦点過程でライトフィールド画像のピクセルのうちから所望の対象体の深度、及びそれにより逆算される光路及び方向に対応するピクセルの生成情報を組み合わせて所望の深度の画像を生成できる。例えば、カメラ（１３０）は再焦点過程で対象体の全領域に対して焦点が合う画像を生成することもできる。カメラ（１３０）に正確な撮影対象領域の像を結ばせるためには、携帯用３次元映像測定装置（１００）と対象体の撮影対象領域との距離が適宜調節される必要があるが、ライトフィールド画像を生成するカメラ（１３０）を用いる場合、対象体の深度を事後的に決定でき、対象体の全領域に対して焦点が合うライトフィールド画像を生成することができるので、事前に焦点距離を調節する必要がない。ライトフィールド画像を生成するカメラ（１３０）の場合、一般レンズを用いるカメラ（１３０）に比べて測定可能な深さの範囲（ｄｅｐｔｈ ｒａｎｇｅ）が広く、一度の撮影で対象体の３次元画像を取得できる。

【0036】

多様な実施例による光路制御要素（１４０）は光源（１２０）から出力されたパターン光が対象体に照射されるようにパターン光を特定の方向に反射させることができる。光路制御要素（１４０）は対象体から反射した反射光がカメラ（１３０）に到達するように反射光を透過させることができる。光路制御要素（１４０）は、例えば、半透過鏡であり得る。多様な実施例によれば、光源（１２０）及びカメラ（１３０）は光路制御要素（１４０）を基準に互いに垂直方向に配置され得る。

【0037】

多様な実施例による第１ハウジングは内部に光源（１２０）、カメラ（１３０）及び光路制御要素（１４０）が配置され得る。多様な実施例による第２ハウジングは、第１ハウジングに結合され、光源（１２０）から出力されたパターン光が対象体に照射されるように開口が形成され得る。第２ハウジングは第１ハウジングに対して回転可能に結合され得る。第１ハウジングまたは第２ハウジングは、携帯用３次元映像測定装置（１００）が使用者にとって移動と運搬及び使用が容易になる構成（例：取っ手）が結合され得る。

【0038】

多様な実施例によれば、通信回路（１５０）は外部電子装置（２０）と通信チャネルを設立し、外部電子装置（２０）と多様なデータを送受信できる。多様な実施例によれば、通信回路（１５０）はセルラー通信モジュールを含みセルラーネットワーク（例：３Ｇ、ＬＴＥ、５Ｇ、ＷｉｂｒｏまたはＷｉｍａｘ）に連結されるように構成できる。多様な実施例によれば、通信回路（１５０）は近距離通信モジュールを含み近距離通信（例：Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ（ＢＬＥ）、ＵＷＢ）を用いて外部電子装置（２０）とデータを送受信できるが、これに制限されない。

【0039】

多様な実施例によるプロセッサ（１１０）はカメラ（１３０）を介して取得した対象体のライトフィールド画像を用いて対象体の表面に対する３次元画像を生成できる。例えば、照射されたパターン光は、対象体の撮影領域の表面の屈曲によって実際の撮影対象領域の表面に現れる光の強さが変わり得る。プロセッサ（１１０）は対象体のライトフィールド画像を用いて、対象体の表面の屈曲により変わった光の強さを測定し、これから位相データを生成して表面を構成する各点の高さを計算することができる。プロセッサ（１１０）は対象体の表面を構成する各点の高さを計算することによって、対象体の表面に対する３次元画像を生成することができる。

【0040】

多様な実施例によるプロセッサ（１１０）は通信回路（１５０）を介して対象体の表面に対する３次元画像を外部電子装置（２０）に伝送することができる。

【0041】

多様な実施例による外部電子装置（２０）はコントローラ（２１）、結像装置（２３）、ストレージ（２５）及び通信回路（２７）を含むことができる。多様な実施例によるコントローラ（２１）は外部電子装置（２０）の各構成要素の制御及び／または通信に関する演算やデータ処理を行える構成であり得る。コントローラ（２１）は、例えば、外部電子装置（２０）の各構成要素と作動的に連結され得る。

【0042】

多様な実施例による結像装置（２３）は、携帯用３次元映像測定装置（１００）に付着されたマーカー（図示せず）のパターン面の少なくとも一部を撮像してパターン面の少なくとも一部に対するパターン画像を結像することができる。結像装置（２３）は、例えば、マーカーの少なくとも一部に対する画像の結像が可能で、少なくとも２台以上のカメラを含むことができる。外部電子装置（２０）は結像されたパターン画像を用いてマーカーまたはマーカーが付着された携帯用３次元映像測定装置（１００）の位置及び／または姿勢を決定することができる。

【0043】

例えば、外部電子装置（２０）はマーカーのパターン画像が取得される場合、パターン画像からマーカーのパターンを構成する基本単位として、サブパターンのうち少なくとも１つが抽出され得る。抽出された少なくとも１つのサブパターンの全体のパターン内における位置が決定され、決定されたサブパターンの全体のパターン内の位置に基づいてマーカーの姿勢が決定され得る。ここで、マーカーの姿勢は、マーカーの結像装置（２３）に対する相対的な３次元的方向ないし方位を意味し得る。例えば、マーカーまたは携帯用３次元映像測定装置（１００）の位置は、少なくとも２台以上のカメラを含む結像装置（２３）によって結像された画像のうち、ステレオスコピック関係を有する２つの画像に基づいた三角法（ｔｒｉａｎｇｕｌａｔｉｏｎ）を用いて決定され得る。前記のようにマーカーの位置及び姿勢が決定されると、マーカーと前記マーカーが付着された携帯用３次元映像測定装置（１００）との間の幾何学的関係に基づいて、マーカーが付着された携帯用３次元映像測定装置（１００）の位置及び姿勢が決定され得る。

【0044】

多様な実施例によるストレージ（２５）は外部電子装置（２０）の少なくとも１つの構成要素（例：コントローラ（２１））によって用いられる多様なデータを保存することができる。例えば、ストレージ（２５）は、コントローラ（２１）により、携帯用３次元映像測定装置（１００）から受信した対象体の表面に対する３次元画像を保存することができる。例えば、ストレージ（２５）は、コントローラ（２１）により、医療装置（図示せず）から受信した医療画像（例：ＣＴ画像、ＭＲＩ画像）を保存することができる。

【0045】

多様な実施例による外部電子装置（２０）の通信回路（２７）は携帯用３次元映像測定装置（１００）と通信チャネルを設立して、携帯用３次元映像測定装置（１００）と多様なデータを送受信することができる。多様な実施例によれば、外部電子装置（２０）の通信回路（２７）はセルラー通信モジュールを含みセルラーネットワーク（例：３Ｇ、ＬＴＥ、５Ｇ、ＷｉｂｒｏまたはＷｉｍａｘ）に連結されるように構成できる。多様な実施例によれば、外部電子装置（２０）の通信回路（２７）は近距離通信モジュールを含み近距離通信（例：Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ（ＢＬＥ）、ＵＷＢ）を用いて携帯用３次元映像測定装置（１００）とデータを送受信できるが、これに制限されない。

【0046】

多様な実施例による外部電子装置（２０）のコントローラ（２１）は携帯用３次元映像測定装置（１００）から受信した対象体の表面に対する３次元画像と、対象体に対する医療画像間の映像整合を行うことができる。携帯用３次元映像測定装置（１００）が生成した対象体の表面に対する３次元画像は、先に医療画像に含まれたターゲットの外部の表面またはその一部であり得る。例えば、医療画像が対象体の頭の３次元形状をモデリングした画像である場合、対象体の表面に対する３次元画像は対象体の頭の表面にある目、鼻、口、耳などの外部形状を測定した画像であり得る。

【0047】

多様な実施例によれば、対象体の表面に対する３次元画像は、携帯用３次元映像測定装置（１００）に関する固有座標系（例えば、ｘ１ｙ１ｚ１座標系）を有し得る。対象体の表面に対する３次元画像の座標系は、医療画像の座標系（例えば、ｘ２ｙ２ｚ２）と異なり得、外部電子装置（２０）の座標系（例えば、ｘ０ｙ０ｚ０）と異なり得る。外部電子装置（２０）の座標系は、例えば、外部電子装置（２０）の結像装置の座標系を意味し得る。具体的な映像整合方法は以下の図４で説明することにする。

【0048】

図２ａ及び図２ｂは多様な実施例による携帯用３次元映像測定装置（１００）の断面図である。具体的に図２ａ及び図２ｂは携帯用３次元映像測定装置（１００）の構成要素を、配置関係を説明するために一部構成要素のみを概略的に示した図面である。図１で説明した内容と重複する内容は省略する。

【0049】

図２ａを参照すると、多様な実施例による携帯用３次元映像測定装置（１００）は光源（１２０）、カメラ（１３０）及び光路制御要素（１４０）を含むことができる。携帯用３次元映像測定装置（１００）は、内部に光源（１２０）、カメラ（１３０）及び光路制御要素（１４０）が配置される第１ハウジング（２１０）及び第１ハウジング（２１０）に結合され、光源（１２０）から出力されたパターン光が対象体（０）に照射されるように開口（２２５）が形成された第２ハウジング（２２０）を含むことができる。多様な実施例による光源（１２０）及びカメラ（１３０）は、光路制御要素（１４０）を基準に互いに垂直方向に配置され得る。多様な実施例によれば、光を集光させるための少なくとも１つの集光レンズ（２３１、２３５）が光路制御要素（１４０）周辺に配置され得る。

【0050】

多様な実施例による光源（１２０）は複数のパターンが形成されたパターン部（１２３）、パターン部（１２３）に光を照射するＬＥＤ（１２１）を含むことができる。光源（１２０）はパターン部（１２３）及びＬＥＤ（１２１）の間に、ＬＥＤ（１２１）から出力された光を集光させてパターン部（１２３）に照射されるように構成された集光レンズ（１２５）をさらに含むことができる。ＬＥＤ（１２１）から出力された光はパターン部（１２３）を通過してパターンが反映され得る。多様な実施例によれば、光源（１２０）から出力されたパターン光は光路制御要素（１４０）に入射し得る。光路制御要素（１４０）に入射されたパターン光は対象体（０）に照射されるように第２ハウジング（２２０）方向に反射され得る。第２ハウジング（２２０）内部に入射したパターン光は、反射鏡（２４０）により反射して第２ハウジング（２２０）の開口（２２５）を介して対象体（０）に照射され得る。

【0051】

多様な実施例によれば、対象体（０）に照射されたパターン光は対象体（０）によって反射され得る。対象体（０）から反射した反射光は再び開口（２２５）を介して第２ハウジング（２２０）内部に入射され得る。前記反射光は反射鏡（２４０）により反射して光路制御要素（１４０）に入射し得る。光路制御要素（１４０）に入射された反射光は光路制御要素（１４０）を通過してカメラ（１３０）に到達することができる。光路制御要素（１４０）を通過した反射光は集光レンズ（１３７）を通過して、複数のマイクロレンズが配列されたレンズアレイ（１３５）を通過し得る。画像センサ（１３１）はレンズアレイ（１３５）を通過した反射光をキャプチャーすることができる。画像センサ（１３１）は反射光をキャプチャーして、対象体（０）のライトフィールド画像を生成することができる。前記対象体（０）のライトフィールド画像は対象体（０）に照射されたパターンに関する画像であり得る。プロセッサ（１１０）は対象体（０）のライトフィールド画像を用いて対象体（０）の表面に対する３次元画像を生成でき、通信回路（１５０）を介して対象体（０）の表面に対する３次元画像を外部電子装置（２０）に伝送することができる。

【0052】

多様な実施例によれば、光源（１２０）から出力されて対象体（０）に照射されるパターン光の光路（２５０）及び対象体（０）から反射してカメラ（１３０）に到達する反射光の光路（２６０）は、光路制御要素（１４０）と対象体（０）との間の区間で同軸をなして重畳できる。対象体（０）に照射されるパターン光の光路（２５０）と、対象体（０）から反射した反射光の光路（２６０）が同軸をなす場合、携帯用３次元映像測定装置（１００）の小型化が可能であり、対象体（０）に対する正確な画像を取得することができる。例えば、対象体（０）に照射されるパターン光の光路（２５０）と、対象体（０）から反射した反射光の光路（２６０）が同軸をなさない場合、パターン光が斜めに対象体（０）に照射されるか、対象体（０）から反射した反射光がカメラ（１３０）に斜めに到達し得る。斜めに照射されたパターン光によって対象体（０）に形成されたパターンは、垂直に照射されたパターン光によって、対象体（０）に形成されたパターンに比べて歪んだ形状を有し得る。前記の場合、対象体（０）に対する歪んだ画像が取得され得る。一方、対象体（０）に照射されるパターン光の光路（２５０）と対象体（０）から反射した反射光の光路（２６０）が同軸をなす場合、使用者は３次元映像測定装置（１００）を用いて対象体（０）に対する歪みのない正確な画像を取得することができる。

【0053】

多様な実施例によれば、携帯用３次元映像測定装置（１００）が対象体（０）に照射されるパターン光の光路（２５０）と対象体（０）から反射した反射光の光路（２６０）が同軸をなす場合、対象体（０）の撮影が容易になり得る。小型化された３次元映像測定装置（１００）を用いて対象体（０）を撮影する場合、使用者は３次元映像測定装置を移動しやすくなり、３次元映像測定装置の撮影の姿勢を変更しやすくなり得る。前記の場合、使用者は３次元映像測定装置（１００）を用いて対象体の多様な姿勢（例：横になった姿勢、うつ伏せの姿勢）を撮影することができる。

【0054】

多様な実施例によれば、携帯用３次元映像測定装置（１００）が対象体（０）に照射されるパターン光の光路（２５０）と、対象体（０）から反射した反射光の光路（２６０）が同軸をなす場合、２台以上のカメラを用いた三角測量方式を通じて対象体に対する画像を取得するのではなく、１台のカメラ（１３０）を用いて対象体に対する画像を取得できるため、既存の２台以上のカメラを含んで具現されるステレオ方式の３次元映像測定装置に比べて小型化が可能であり、生産価格を下げられ、重さを減らして携帯性を高めることができる。

【0055】

多様な実施例による３次元映像測定装置（１００）は、対象体（０）に照射されるパターン光の光路（２５０）と対象体（０）から反射した反射光の光路（２６０）が同軸をなすため、パターン光が対象体（０）に均一に照射され得、光量の損失を最小化することができる。

【0056】

図２ｂを参照すると、多様な実施例による携帯用３次元映像測定装置（１００）は、図２ａに示された別途の反射鏡（２４０）を含まないことができる。前記の場合、光路制御要素（１４０）から反射したパターン光は、追加の反射なしで前記パターン光の光路（２５０）上に形成された開口（２２５）を介して対象体（０）に照射され得る。携帯用３次元映像測定装置（１００）は、図２ａ及び図２ｂに示された構造以外にも、対象体（０）に照射されるパターン光の光路（２５０）と、対象体から反射した反射光の光路（２６０）が同軸をなし得る多様な構造が適用され得る。

【0057】

図３は多様な実施例による携帯用３次元映像測定装置（１００）の断面図である。具体的に、図３は携帯用３次元映像測定装置（１００）の構成要素を、配置関係を説明するために一部構成要素のみを概略的に示した図面である。図２で説明した内容と重複する内容は省略する。

【0058】

多様な実施例による携帯用３次元映像測定装置（１００）はマーカー（３１０）をさらに含むことができる。例えば、マーカー（３１０）は携帯用３次元映像測定装置（１００）の第１ハウジング（２１０）に付着され得る。マーカー（３１０）はパターンが形成されたパターン面及びマーカー（３１０）の外部から見た方向によって固有に現れるパターンの、少なくとも一部がマーカー（３１０）の外部から識別可能なように構成されたレンズを含むことができる。マーカー（３１０）のレンズはボールレンズ（ｂａｌｌ ｌｅｎｓ）であってもよく、パターン面は曲面形状を有してもよい。

【0059】

多様な実施例による外部電子装置（２０）は結像装置（２３）を介してマーカー（３１０）のパターン面の少なくとも一部を撮像し、パターン面の少なくとも一部に対するパターン画像を結像することができる。外部電子装置（２０）は結像したパターン画像に基づいて、マーカー（３１０）が付着された携帯用３次元映像測定装置（１００）の位置（ｌｏｃａｔｉｏｎまたはｃｏｏｒｄｉｎａｔｅ）及び姿勢（ｐｏｓｔｕｒｅまたはｏｒｉｅｎｔａｔｉｏｎ）を決定することができる。携帯用３次元映像測定装置（１００）の位置は、直交座標系のｘ、ｙ、ｚ軸上での座標のような空間座標で定義され得る。携帯用３次元映像測定装置（１００）の姿勢は、ロール（ｒｏｌｌ）、ピッチ（ｐｉｔｃｈ）、ヨー（ｙａｗ）で定義され得る。外部電子装置（２０）は結像装置（２３）を介して携帯用３次元映像測定装置（１００）に付着されたマーカー（３１０）を撮像することにより、携帯用３次元映像測定装置（１００）の位置及び姿勢をトラッキング（ｔｒａｃｋｉｎｇ）することができる。

【0060】

例えば、外部電子装置（２０）は結像装置（２３）を介して、携帯用３次元映像測定装置（１００）に付着されたマーカー（３１０）のパターン面の少なくとも一部に対する画像を結像することができる。例えば、外部電子装置（２０）の結像装置（２３）は、マーカー（３１０）のボールレンズを介してマーカー（３１０）の外部から視覚的に識別されるパターンの少なくとも一部に対するパターン画像を結像することができる。パターン面の少なくとも一部に対するパターン画像が取得されれば、外部電子装置（２０）はパターン面の少なくとも一部に対するパターン画像から抽出された情報を処理してマーカー（３１０）の位置及び姿勢を決定することができる。外部電子装置（２０）はマーカー（３１０）の位置及び姿勢に基づいてマーカー（３１０）が付着された携帯用３次元映像測定装置（１００）の位置及び姿勢を決定することができる。パターン面の少なくとも一部に対する画像を用いてマーカー（３１０）の位置及び姿勢を計算する具体的な方法は、一般的なオプティカルトラッキング方法と同一であってもよい。

【0061】

多様な実施例によるマーカー（３１０）は、携帯用３次元映像測定装置（１００）の所定の位置から移動可能に設けられ得る。プロセッサ（１１０）は、通信回路（１５０）を介して、携帯用３次元映像測定装置（１００）の前記所定の位置からマーカー（３１０）の変位を示す情報を外部電子装置（２０）に伝送することができる。外部電子装置（２０）はマーカー（３１０）の変位を示す情報を受信し、受信したマーカー（３１０）の変位を示す情報に基づいて携帯用３次元映像測定装置（１００）の位置または姿勢を補正することができる。補正された携帯用３次元映像測定装置（１００）の位置または姿勢に関する情報は対象体（０）の表面に対する３次元画像と医療画像間の映像整合に用いられ得る。

【0062】

対象体（０）の表面に対する３次元画像は携帯用３次元映像測定装置（１００）に関する固有座標系（例えば、ｘ１ｙ１ｚ１座標系）を有することができる。対象体（０）の表面に対する３次元画像の座標系は、医療画像の座標系（例えば、ｘ２ｙ２ｚ２）と異なり得、外部電子装置（２０）の座標系（例えば、ｘ０ｙ０ｚ０）と異なり得る。

【0063】

多様な実施例による医療映像整合システム（１０）は、医療画像の座標系（例えば、ｘ２ｙ２ｚ２）と対象体（０）の表面に対する３次元画像の座標系（例えば、ｘ１ｙ１ｚ１）を外部電子装置（２０）の座標系（例えば、ｘ０ｙ０ｚ０）に変換ないし整列することができる。外部電子装置（２０）は座標系が互いに異なる医療画像と対象体（０）の表面に対する３次元画像の整合を行うことができる。医療画像と対象体（０）の表面に対する３次元画像の整合を行うために、外部電子装置（２０）は医療画像から表面画像を抽出し、前記抽出した表面画像と受信した対象体（０）の表面に対する３次元画像間の整合を行うことができる。ここでの医療画像から抽出した表面画像は、医療画像の座標系（例えば、ｘ２ｙ２ｚ２）と同一になり得る。また、外部電子装置（２０）は、携帯用３次元映像測定装置（１００）に付着されたマーカー（３１０）を媒介として、対象体（０）の表面に対する３次元画像の座標系（例えば、ｘ１ｙ１ｚ１）を外部電子装置（２０）の座標系（例えば、ｘ０ｙ０ｚ０）に変換することができる。また、医療画像及び医療画像から抽出された表面画像も外部電子装置（２０）の座標系（例えば、ｘ０ｙ０ｚ０）に変換することができる。外部電子装置（２０）は、多様な映像整合アルゴリズムを用いて、対象体（０）の表面に対する３次元画像と医療画像との間の整合を行うことができる。例えば、外部電子装置（２０）はＩＣＰ（ｉｎｔｅｒａｃｔｉｖｅ ｃｌｏｓｅｓｔ ｐｏｉｎｔ）アルゴリズムを用いて整合を行うことができる。

【0064】

多様な実施例による携帯用３次元映像測定装置（１００）はベアリング（３２０）及びセンサ（３３０）をさらに含むことができる。多様な実施例による第２ハウジング（２２０）は第１ハウジング（２１０）に対して回転可能に結合され得る。ベアリング（３２０）は第２ハウジング（２２０）が第１ハウジング（２１０）に対して回転可能に結合するための機械要素であり得る。第２ハウジング（２２０）は、ベアリング（３２０）の中心軸を基準に回転でき、第１ハウジング（２１０）とは無関係に回転することができる。センサ（３３０）は第２ハウジング（２２０）が第１ハウジング（２１０）に対して回転した角度をセンシングするセンサであり得る。センサ（３３０）は、例えば、ジャイロセンサ、エンコーダ（ｅｎｃｏｄｅｒ）であってもよい。多様な実施例によるプロセッサ（１１０）は、通信回路（１５０）を介して第２ハウジング（２２０）が第１ハウジング（２１０）に対して回転した角度に関する情報を外部電子装置（２０）に伝送することができる。

【0065】

図４は本開示の多様な実施例による医療映像整合システム（１０）の動作フローチャートである。

【0066】

動作フローチャート４００を参照すると、多様な実施例による外部電子装置（２０）は、動作４０１において、医療装置から対象体の医療画像を受信して保存することができる。医療画像は、例えば、ＣＴ画像、ＭＲＩ画像であってもよい。

【0067】

多様な実施例による携帯用３次元映像測定装置（１００）は、動作４０３で、対象体にパターン光を照射することができる。例えば、携帯用３次元映像測定装置（１００）は光源（１２０）を介してパターン光を出力することができる。光源（１２０）を介して出力されたパターン光は光路制御要素（１４０）により反射して対象体に照射され得る。

【0068】

多様な実施例による携帯用３次元映像測定装置（１００）は、動作４０５において、対象体から反射した反射光を受信して対象体のライトフィールド画像を生成することができる。例えば、対象体から反射した反射光は光路制御要素（１４０）を介してカメラ（１３０）に到達することができる。カメラ（１３０）は反射光を受信して対象体のライトフィールド画像を生成することができる。

【0069】

多様な実施例による携帯用３次元映像測定装置（１００）は、動作４０７において、対象体のライトフィールド画像を用いて対象体の表面に対する３次元画像を生成することができる。例えば、プロセッサ（１１０）は対象体のライトフィールド画像に含まれたパターン光の光の強さを測定して、測定したパターン光の光の強さに基づいて位相データを生成することができる。プロセッサ（１１０）は生成した位相データに基づいて対象体の表面を構成する各点の高さを計算することによって、対象体の表面に対する３次元画像を生成することができる。

【0070】

多様な実施例による携帯用３次元映像測定装置（１００）は、動作４０９において、対象体の表面に対する３次元画像を外部電子装置（２０）に伝送することができる。例えば、携帯用３次元映像測定装置（１００）のプロセッサ（１１０）は、通信回路（１５０）を介して、対象体の表面に対する３次元画像を外部電子装置（２０）に伝送することができる。

【0071】

多様な実施例による外部電子装置（２０）は、動作４１１において、携帯用３次元測定装置から受信した対象体の表面に対する３次元画像と、既に保存済みの対象体の医療画像間の映像整合を行うことができる。

【0072】

図５は本開示の多様な実施例による医療映像整合システムの動作フローチャートである。図４で説明した内容と重複する内容は省略する。

【0073】

動作フローチャート５００を参照すると、多様な実施例による外部電子装置（２０）は、動作５０１において、医療装置から対象体の医療画像を受信して保存することができる。

【0074】

多様な実施例による携帯用３次元映像測定装置（１００）は、動作５０３において、対象体にパターン光を照射することができる。

【0075】

多様な実施例による携帯用３次元映像測定装置（１００）は、動作５０５において、対象体から反射した反射光を受信して対象体のライトフィールド画像を生成することができる。

【0076】

多様な実施例による携帯用３次元映像測定装置（１００）は、動作５０７において、対象体のライトフィールド画像を用いて対象体の表面に対する３次元画像を生成することができる。

【0077】

多様な実施例による携帯用３次元映像測定装置（１００）は、動作５０９において、対象体の表面に対する３次元画像を外部電子装置（２０）に伝送することができる。

【0078】

多様な実施例による外部電子装置（２０）は、動作５１１において、携帯用３次元映像測定装置（１００）に付着されたマーカー（３１０）のパターン面の少なくとも一部の画像を結像することができる。例えば、外部電子装置（２０）は、結像装置を介して、マーカー（３１０）のパターン面の少なくとも一部のパターン画像を結像することができる。

【0079】

多様な実施例による外部電子装置（２０）は、動作５１３で、結像したパターン画像に基づいて、マーカー（３１０）が付着された携帯用３次元映像測定装置（１００）の位置及び姿勢を決定することができる。例えば、外部電子装置（２０）は、パターン面の少なくとも一部に対するパターン画像から抽出された情報を処理して、マーカー（３１０）の位置及び姿勢を決定することができる。外部電子装置（２０）はマーカー（３１０）の位置及び姿勢に基づいて、マーカー（３１０）が付着された携帯用３次元映像測定装置（１００）の位置及び姿勢を決定することができる。

【0080】

多様な実施例による外部電子装置（２０）は、動作５１５において、対象体の表面に対する３次元画像と対象体の医療画像との間の映像整合を行うことができる。例えば、外部電子装置（２０）は携帯用３次元映像測定装置（１００）に付着されたマーカー（３１０）を媒介として、対象体の表面に対する３次元画像の座標系を外部電子装置（２０）の座標系に変換することができる。外部電子装置（２０）は医療画像の座標系を外部電子装置（２０）の座標系に変換することができる。座標系の変換を完了した後、外部電子装置（２０）は対象体の表面に対する３次元画像と対象体の医療画像間の映像整合を行うことができる。

【0081】

図６は本開示の多様な実施例による携帯用３次元映像測定装置（１００）の動作フローチャートである。

【0082】

動作フローチャート６００を参照すると、多様な実施例による携帯用３次元映像測定装置（１００）は、動作６１０において、光源（１２０）により出力されたパターン光を対象体に照射することができる。例えば、携帯用３次元映像測定装置（１００）は光源（１２０）を介してパターン光を出力することができる。出力されたパターン光は光路制御要素（１４０）により反射して対象体に照射されることができる。

【0083】

多様な実施例による携帯用３次元映像測定装置（１００）は、動作６２０において、パターン光が対象体から反射して生成された反射光を受信することができる。例えば、対象体に照射されたパターン光は、対象体によって反射して再び携帯用３次元映像測定装置（１００）に入射され得る。反射光は光路制御要素（１４０）を通過してカメラ（１３０）に到達することができる。

【0084】

多様な実施例による携帯用３次元映像測定装置（１００）は、動作６３０において、カメラ（１３０）を介して反射光を受信し、対象体のライトフィールド画像を生成することができる。多様な実施例による携帯用３次元映像測定装置（１００）は、動作６４０において、対象体のライトフィールド画像に基づいて、対象体の表面に対する３次元画像を生成することができる。多様な実施例による携帯用３次元映像測定装置（１００）は、動作６５０において、対象体の表面に対する３次元画像を外部電子装置に伝送することができる。

【0085】

図７は本開示の多様な実施例による医療映像整合システム（１０）が用いられる例示を示した図面である。

【0086】

図７を参照すると、医師（ｄｏｃｔｏｒ、Ｄ）は携帯用３次元映像測定装置（１００）を用いて患者（ｐａｔｉｅｎｔ、Ｐ）の表面に対する３次元画像を取得することができる。例えば、医師（Ｄ）は携帯用３次元映像測定装置（１００）を用いて患者（Ｐ）の表面にパターン光を照射することができる。照射されたパターン光によって、患者（Ｐ）の表面にはパターン（７１０）が形成され得る。携帯用３次元映像測定装置（１００）は患者（Ｐ）から反射した反射光を受信して患者（Ｐ）のライトフィールド画像を生成することができる。患者（Ｐ）のライトフィールド画像は、例えば、照射されたパターン（７１０）に関する複数のサブ画像が結合された画像であり得る。携帯用３次元映像測定装置（１００）は患者（Ｐ）のライトフィールド画像を用いて患者（Ｐ）の表面に対する３次元画像を生成することができる。携帯用３次元映像測定装置（１００）は生成した患者（Ｐ）の表面に対する３次元画像を外部電子装置（２０）に伝送することができる。

【0087】

多様な実施例による外部電子装置（２０）は、結像装置を介して携帯用３次元映像測定装置（１００）に付着されたマーカー（３１０）のパターン面の少なくとも一部を撮像してパターン面の少なくとも一部に対するパターン画像を結像することができる。外部電子装置（２０）は結像したパターン画像に基づいてマーカー（３１０）が付着された携帯用３次元映像測定装置（１００）の位置及び姿勢を決定することができる。

【0088】

多様な実施例による外部電子装置（２０）は患者（Ｐ）の表面に対する３次元画像の座標系を外部電子装置（２０）の座標系に変換ないし整列することができる。例えば、外部電子装置（２０）はマーカー（３１０）を介して決定した携帯用３次元映像測定装置（１００）の位置及び姿勢に基づいて、患者（Ｐ）の表面に対する３次元画像の座標系を外部電子装置（２０）の座標系に変換することができる。

【0089】

多様な実施例による外部電子装置（２０）は医療装置から受信した患者（Ｐ）の医療画像の座標系を外部電子装置（２０）の座標系に変換ないし整列することができる。多様な実施例による外部電子装置（２０）は患者（Ｐ）の表面に対する３次元画像と患者（Ｐ）の医療画像間の座標系を互いに統一することによって映像整合を行うことができる。

【0090】

図８は本開示の多様な実施例によるカメラ（１３０）の構造を説明するための図面である。

【0091】

図８を参照すると、カメラ（１３０）は対象体（８１０）から順に配置される、集光レンズ（１３７）、レンズアレイ（１３５）、及び画像センサ（１３１）を含むことができる。カメラ（１３０）はライトフィールド画像を取得するための１つの配置構造として、例示的なものであり、ライトフィールド画像を取得するために示された構造と異なる構造が適用され得るのは当然のことである。

【0092】

多様な実施例による集光レンズ（１３７）は対象体（８１０）から反射した反射光を集光する構成であり、集光レンズ（１３７）は対象体（８１０）から反射した反射光が１つのポイントに集光されるように、１つの焦点距離を有する凸レンズになり得る。集光レンズ（１３７）が複数のレンズなどを用いて具現された場合には、公知の薄レンズ理論（ｔｈｉｎ ｌｅｎｓ ｔｈｅｏｒｙ）により複数のレンズを１つの薄いレンズとして定義することができる。これにより、集光レンズ（１３７）の直径、焦点距離及び中心はこのように定義された１つの薄いレンズの直径、焦点距離及び中心でそれぞれ示すことができる。

【0093】

多様な実施例によるレンズアレイ（１３５）は、集光レンズ（１３７）を通過して入ってくる光を分散させ、互いに異なる位置に形成される複数のポイントに集光させることができる。レンズアレイは複数のマイクロレンズで構成され得る。例えば、レンズアレイ（１３５）は集光レンズ（１３７）の焦点距離よりさらに集光レンズ（１３７）に近くに配置され得る。例えば、レンズアレイ（１３５）は集光レンズ（１３７）から、集光レンズ（１３７）の焦点距離よりさらに遠くに配置され得る。

【0094】

多様な実施例によるレンズアレイ（１３５）は集光レンズ（１３７）の焦点距離に対応する位置に配置され得る。前記の場合、集光レンズ（１３７）から入ってくる光の焦点は複数のマイクロレンズ（１３５ａ）の１つに形成され得る。また、画像センサ（１３１）はレンズアレイ（１３５）に含まれたそれぞれのマイクロレンズ（１３５ａ）の焦点距離に対応する位置に固定されて設けられ得る。

【0095】

多様な実施例による画像センサ（１３１）はレンズアレイ（１３５）を通過した光をセンシングすることができる。また、画像センサ（１３１）は複数のポイントに対応する複数のサブ画像を含むライトフィールド画像を取得することができる。画像センサ（１３１）は任意の物体の結像画像を取得するように構成された任意の種類の少なくとも１つの結像素子を含むことができ、画像センサ（１３１）は複数の画素（ｆｉｘｅｌ、１３１ａ）で構成され得る。

【0096】

多様な実施例による画像センサ（１３１）は１回の撮影時に、例えば、写真集合体ファイルのフォーマット（ｆｏｒｍａｔ）を有するライトフィールド画像を出力することができる。写真集合体ファイルは複数のマイクロレンズの焦点に対応する位置に対象体の焦点が形成され、互いに異なる被写体の深度を有する複数のサブ画像を含むことができる。それぞれのサブ画像にはＸ、Ｙ座標により光の色情報と方向情報が共に保存され得る。

【0097】

多様な実施例によるそれぞれのサブ画像は、互いに異なる被写体深度を有するが、同一の対象体を撮影することができる。それぞれのサブ画像で見られる対象体の姿は実質的に同一であり得、互いに鮮明に見える部分とぼやけて見える部分の位置で差が発生し得る。鮮明に見える部分は対応するマイクロレンズ（１３５ａ）の焦点が形成されて被写体深度を有する部分であり、ぼやけて見える部分はこれを除いた部分になり得る。

【0098】

多様な実施例によるライトフィールドカメラは対象体を撮影した後に被写体深度を事後的に決定し、互いに異なる被写体深度を有する画像を組み合わせるように構成され得る。従って、ライトフィールドカメラの画像センサは事後的かつ可変的な被写体深度を有し得る。また、ライトフィールドカメラで生成するライトフィールド画像は光の色情報と方向情報を共に保存する複数のサブ画像を含むことができる。

【0099】

他の実施例で、カメラ（１３０）は複数のサブ画像を用いて再焦点（ｒｅｆｏｃｕｓｉｎｇ）過程を進めることができる。再焦点過程でライトフィールド画像のピクセルのうちから所望の被写体深度、及びそれによって逆算される光路ないし方向に対応するピクセルの色情報を組み合わせて、所望の深度の画像を新たに抽出することができる。これを通じて、照射されたパターンが鮮明に識別可能な画像を生成することができる。

【0100】

図９は本開示の多様な実施例によるカメラ（１３０）のレンズアレイ（１３５）を説明するための図面である。

【0101】

多様な実施例によれば、レンズアレイ（１３５）に含まれた複数のマイクロレンズ（１３５ａ）はＮ個（Ｎは１以上の自然数）で提供され得る。即ち、Ｎ個は複数個を意味し得る。例えば、レンズアレイ（１３５）には各行に対してｉ個のマイクロレンズが配置され、各列に対してｊ個のマイクロレンズが配置され得る。よって、Ｎ個のマイクロレンズはｉ＊ｊ個の行列で構成され得る。例えば、より細かいライトフィールドを形成するために、レンズアレイ（１３５）は略１０００＊１０００個のマイクロレンズが配列される形態を有することができる。マイクロレンズの配列及び個数は集光レンズ（１３７）及びマイクロレンズの多様な条件（例：物性、撮影環境、サブ画像の要求される解像度、または画像センサの画素数）により変わり得る。

【0102】

多様な実施例によるＮ個の複数のマイクロレンズは、集光レンズ（１３７）を通過して入ってくる光をＮ個のポイントに分散させることができる。図８に示された画像センサ（１３１）はＮ個のマイクロレンズが形成するＮ個のポイントに対応するＮ個の区域に区分され得る。Ｎ個のマイクロレンズそれぞれの焦点は画像センサ（１３１）のＮ個の区域に分散するように形成され得る。

【0103】

多様な実施例によれば、Ｎ個の区域でＮ個のサブ画像を結像する場合、ライトフィールド画像は互いに異なる被写体深度を有するＮ個のサブ画像を含むことができる。また、プロセッサはＮ個の画像のうち、所定の位置に被写体深度が形成された画像を選択することができる。

【0104】

図１０は本開示の多様な実施例によるカメラ（１３０）によって取得されたライトフィールド画像に含まれる、複数のサブ画像の被写体深度が異なって形成される過程を示した図面である。

【0105】

多様な実施例によるカメラ（１３０）は集光レンズ（１３７）、レンズアレイ（１３５）、及び画像センサ（１３１）を含むことができる。第１対象体（１０１０）は第２対象体（１０２０）に比べて集光レンズ（１３７）に近く配置され得る。

【0106】

多様な実施例によれば、第１対象体（１０１０）の 上段から出た光は集光レンズ（１３７）を介して集光され、レンズアレイ（１３５）の下側に配置されたマイクロレンズ（１３５ｃ）に焦点が形成され得る。マイクロレンズ（１３５ｃ）から出た光は画像センサ（１３１）の下側に配置された区域（Ａ１）に到達することができる。これにより、第１対象体（１０１０）の上端から出た光の光量は主に下側区域（Ａ１）に分布することになり、残りの区域に光量が少なく分布し得る。即ち、下側区域（Ａ１）に含まれた各画素（１３１ｅ、１３１ｆ、１３１ｇ）には第１対象体（１０１０）の上端の姿が鮮明に結像され得る。

【0107】

多様な実施例によれば、第２対象体（１０２０）の上端から出た光は集光レンズ（１３７）を介して集光され、レンズアレイ（１３５）の中間部分のマイクロレンズ（１３５ｂ）に焦点が形成され得る。マイクロレンズ（１３５ｂ）から出た光は画像センサ（１３１）の中間部分に配置された区域（Ａ２）に到達することができる。これにより、第２対象体（１０２０）の上端から出た光の光量は主に中間区域（Ａ２）に分布することになり、残りの区域に光量が少なく分布し得る。即ち、中間区域（Ａ２）に含まれる各画素（１３１ｂ、１３１ｃ、１３１ｄ）には第２対象体（１０２０）の上端の姿が鮮明に結像され得る。

【0108】

下側区域（Ａ１）には第２対象体（１０２０）から出る光の光量が少なく分布するため、第２対象体（１０２０）に対する姿はぼやけた状態で結像され得る。また、中間区域（Ａ２）には第１対象体（１０１０）から出る光の光量が少なく分布するので、第１対象体（１０１０）に対する姿はぼやけた状態で結像され得る。従って、下側区域（Ａ１）は第１対象体（１０１０）に対して被写体深度が形成されたサブ画像を出力し、中間区域（Ａ２）は第２対象体（１０２０）に対して被写体深度が形成されたサブ画像を出力することができる。

【0109】

上述の内容によると、多様な実施例によるカメラを介して対象体を撮影すると、互いに異なる被写体深度を有する複数のサブ画像を含むライトフィールド画像を生成することができる。

【0110】

図１１は本開示の多様な実施例による、互いに異なる被写体深度を有する複数のサブ画像を含むライトフィールド画像（１１００）を説明するための図面である。

【0111】

図１１を参照すると、多様な実施例によるライトフィールド画像（１１００）は画像センサ（１３１）で互いに異なる位置の区域（Ｃ１、Ｃ２、Ｃ３、Ｃ４）に被写体深度が形成された複数のサブ画像を含む写真集合体ファイルとして出力され得る。複数の区域（Ｃ１、Ｃ２、Ｃ３、Ｃ４）はサブ画像内で互いに異なる位置になり得、状況に応じては少なくとも２つの区域が互いに同一の位置になり得る。写真集合体ファイルは互いに物理的に分離された複数のサブ画像を単に集めた集合体フォーマットになり得る。これとは異なり、写真集合体ファイルは新たな拡張子形式で複数のサブ画像が互いに一体に結合されたフォーマットになり得る。多様な実施例によれば、それぞれのサブ画像は互いに異なる被写体深度を有するように、光の色情報と方向情報を含むことができる。図１１に示された矢印の方向は、被写体深度が形成される距離が増加する方向を示すことができる。

【0112】

上記の方法は特定の実施例を通して説明されたが、上記の方法は、また、コンピュータで読み取れる記録媒体に、コンピュータが読み取れるコードとして具現することが可能である。コンピュータが読み取れる記録媒体はコンピュータシステムによって読み取り可能なデータが保存される全種類の記録装置を含む。コンピュータが読み取れる記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ－ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などが含まれ得る。また、コンピュータが読み取れる記録媒体はネットワークで連結されたコンピュータシステムに分散して、分散方式でコンピュータが読み取れるコードが保存されて実行され得る。そして、前記実施例を具現するための機能的な（ｆｕｎｃｔｉｏｎａｌ）プログラム、コード及びコードセグメントは本開示が属する技術分野のプログラマーによって容易に推論され得る。

【0113】

以上、一部の実施例と添付の図面に示された例により本開示の技術的思想が説明されたが、本開示が属する技術分野において通常の知識を有する者が理解できる本開示の技術的思想及び範囲を逸脱しない範囲で多様な置換、変形及び変更がなされるという点を理解する必要がある。また、そのような置換、変形及び変更は添付の請求の範囲内に属するものと考えられるべきである。

【図1】

【図2a】

【図2b】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】