特開 2023-159674 データセット取得装置およびデータセット取得方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023159674

(43)【公開日】2023-11-01

(54)【発明の名称】データセット取得装置およびデータセット取得方法

(51)【国際特許分類】

   H04N 23/90 20230101AFI20231025BHJP

   G06T 1/00 20060101ALI20231025BHJP

   H04N 5/222 20060101ALI20231025BHJP

   H04N 23/56 20230101ALI20231025BHJP

【ＦＩ】

H04N5/247

G06T1/00 510

H04N5/222 100

H04N5/225 600

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022069525

(22)【出願日】2022-04-20

(71)【出願人】

【識別番号】000003193

【氏名又は名称】ＴＯＰＰＡＮホールディングス株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100139686

【弁理士】

【氏名又は名称】鈴木 史朗

(74)【代理人】

【識別番号】100169764

【弁理士】

【氏名又は名称】清水 雄一郎

(74)【代理人】

【識別番号】100147267

【弁理士】

【氏名又は名称】大槻 真紀子

(72)【発明者】

【氏名】三好 裕樹

(72)【発明者】

【氏名】稲村 崇

(72)【発明者】

【氏名】堀内 智博

(72)【発明者】

【氏名】田中 貴也

【テーマコード（参考）】

5B057

5C122

【Ｆターム（参考）】

5B057BA15

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CE17

5B057DA17

5B057DB02

5B057DB06

5B057DB09

5B057DC25

5C122DA13

5C122EA42

5C122FA18

5C122FB13

5C122FB23

5C122GD01

5C122GD11

5C122GG01

(57)【要約】

【課題】撮像時の光軸が一致した複数種類の画像データを効率よく取得できるデータセット取得装置を提供する。
【解決手段】データセット取得装置１は、内部空間を有するフレーム１０と、フレームに取り付けられたスライダ１１と、スライダに取り付けられた第一撮像部および第二撮像部と、第一撮像部および第二撮像部と接続された記憶部７０と、光源を有し、フレームに取り付けられた照明部５０とを備え、第一撮像部のピント面と第二撮像部のピント面とが一致している。
【選択図】図１

【特許請求の範囲】

【請求項1】

内部空間を有するフレームと、
前記フレームに取り付けられたスライダと、
前記スライダに取り付けられた第一撮像部および第二撮像部と、
前記第一撮像部および前記第二撮像部と接続された記憶部と、
光源を有し、前記フレームに取り付けられた照明部と、
を備え、
前記第一撮像部のピント面と前記第二撮像部のピント面とが一致している、
データセット取得装置。

【請求項2】

内部空間を有するフレームと、
前記フレームに取り付けられた第一撮像部および第二撮像部と、
前記第一撮像部および前記第二撮像部と接続された記憶部と、
光源を有し、前記フレームに取り付けられた照明部と、
を備え、
前記第一撮像部の撮像光軸と前記第二撮像部の撮像光軸とが交差しており、かつ交差する点にハーフミラーが配置され、
前記第一撮像部のピント面と前記第二撮像部のピント面とが一致している、
データセット取得装置。

【請求項3】

撮像の対象物が載置される載置面を有するステージをさらに備え、
前記載置面と前記第一撮像部および前記第二撮像部との距離を調節可能に構成されている、
請求項１または２に記載のデータセット取得装置。

【請求項4】

光を出射する第一照射部および第二照射部を有し、前記第一照射部から出射された光と、前記第二照射部から出射された光とが前記ピント面上で交差するように前記フレームに取り付けられた高さ表示部をさらに備える、
請求項１または２に記載のデータセット取得装置。

【請求項5】

前記光源を複数有する、
請求項１または２に記載のデータセット取得装置。

【請求項6】

請求項５に記載のデータセット取得装置を用いたデータセットの取得方法であって、
対象物に対して、前記第一撮像部または前記第二撮像部により前記照明部の照明態様が異なる３以上の撮像データを取得し、
前記撮像データに基づいて、前記第一撮像部により取得した第一画像のデータおよび前記第二撮像部により取得した第二画像のデータの少なくとも一方を補正する、
データセット取得方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、データセット取得装置、より詳しくは、複数の画像データを含むデータセットを取得するデータセット取得装置に関する。このデータセット取得装置を用いたデータセット取得方法についても言及する。

【背景技術】

【0002】

市販のデジタルカメラ画像から、対象物の色や分光の情報を高精度に取得できると、正しい色伝達を行うことができる。このため、医療、印刷、デジタルアーカイブ等の分野での活用が期待されている。

【0003】

ヒトの眼とカメラのセンサとでは分光感度が異なるため、カメラで取得した画像の色彩は、ヒトが認識する色彩とは完全に一致しないことが少なくない。
この問題に関連して、色再現推定対象物の画像を含む画像データから、色再現推定対象物の分光反射率を推定する方法が提案されている（例えば、特許文献１参照。）

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第４７１５２８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載の技術を用いて色推定の精度を高めるためには、大量の学習情報が必要になる。
この場合の学習情報は、例えば分光情報を含む被写体のデータ（点測定データや所定面積の画像データ）である。このようなデータの取得方法はいくつかあるが、いずれも一長一短ある。
接触型分光測色器は、接触した点のデータしか取得できないため、効率が良くない。２次元分光放射輝度計は一定範囲（面）のデータを取得できるため、接触型分光測色器よりも効率が良いが、解像度が十分でない。デジタルカメラは解像度の高いデータを取得できるが、通常はＲ、Ｇ、Ｂの３バンドしかないため、分光情報が十分でない。

【0006】

上記の状況を踏まえると、撮像時の光軸が一致した２次元分光放射輝度計の分光データとデジタルカメラの画像データとをセットにすることで、解像度と分光情報とを両立したデータセットとすることが期待できる。
しかし、２つの画像は別々の装置で取得されるため、光軸を一致させつつ取得することは容易でなく、各装置のピント合わせも煩雑となりやすい。

【0007】

本発明は、撮像時の光軸が一致した複数種類の画像データを効率よく取得できるデータセット取得装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の第一の態様は、内部空間を有するフレームと、フレームに取り付けられたスライダと、スライダに取り付けられた第一撮像部および第二撮像部と、第一撮像部および第二撮像部と接続された記憶部と、光源を有し、フレームに取り付けられた照明部とを備えるデータセット取得装置である。
このデータセット取得装置においては、第一撮像部のピント面と第二撮像部のピント面とが一致している。

【0009】

本発明に係る他のデータセット取得装置は、内部空間を有するフレームと、フレームに取り付けられた第一撮像部および第二撮像部と、第一撮像部および第二撮像部と接続された記憶部と、光源を有し、フレームに取り付けられた照明部とを備える。
第一撮像部の撮像光軸と第二撮像部の撮像光軸とは交差しており、かつ交差する点にハーフミラーが配置されている。
さらに、第一撮像部のピント面と第二撮像部のピント面とが一致している。

【0010】

本発明の第二の態様は、第一の態様にかかり、かつ光源を複数有するデータセット取得装置を用いたデータセットの取得方法である。
この方法においては、対象物に対して、第一撮像部または第二撮像部により照明部の照明態様が異なる３以上の撮像データを取得し、撮像データに基づいて、第一撮像部により取得した第一画像のデータおよび第二撮像部により取得した第二画像のデータの少なくとも一方を補正する。

【発明の効果】

【0011】

本発明によれば、撮像時の光軸が一致した複数種類の画像データを効率よく取得できる。

【図面の簡単な説明】

【0012】

【図1】本発明の第一実施形態に係るデータセット取得装置を示す模式図である。

【図2】（a）および（ｂ）は、高さ表示部から投影される光の例を示す図である。

【図3】同データ取得装置の使用時の一過程を示す図である。

【図4】本発明の第二実施形態に係るデータセット取得装置を示す模式図である。

【発明を実施するための形態】

【0013】

本発明の第一実施形態について、図１から図３を参照しながら説明する。
図１は、本実施形態に係るデータセット取得装置（以下、単に「取得装置」と称する。）１を模式的に示す図である。取得装置１は、フレーム１０と、ステージ２０と、デジタルカメラ（第一撮像部）３０と、２次元分光放射輝度計（第二撮像部）４０と、照明部５０と、高さ表示部６０と、記憶部７０とを備えている。

【0014】

フレーム１０は、複数の垂直部材（柱）と複数の水平部材（梁）とを組み合わせて構成され、例えば図１に示すように、略縦長直方体の外形を有し、かつ内部に空間を有する。フレーム１０の材質に特に制限はなく、金属、合成樹脂、木材等を単独または組み合わせて使用できる。

【0015】

ステージ２０は、フレーム１０の内部空間内に配置されており、被写体が載置面２０ａ上に置かれる。ステージ２０は、載置面２０ａの高さを一定範囲内で変更できるように構成されている。高さを変更可能とする構造について特に制限はなく、公知の各種構造を適宜選択して採用できる。

【0016】

フレーム１０の上部には、フレーム１０に対して水平方向に移動可能なスライダ１１が取り付けられており、デジタルカメラ３０および２次元分光放射輝度計４０がスライダ１１に取り付けられている。これにより、デジタルカメラ３０および２次元分光放射輝度計４０は、フレーム１０に対して水平方向に移動可能である。さらに、スライダ１１とステージ２０とは、デジタルカメラ３０および２次元分光放射輝度計４０が載置面２０ａの上方に移動できる位置に配置されている。

【0017】

照明部５０は、複数の光源を有する。本実施形態において、照明部５０は、異なる位置に取り付けられた第一光源５１、第二光源５２および第三光源５３を有する。各光源５１、５２、５３は、いずれも分光情報が既知である。分光情報が既知であれば使用する光源の種類に特に制限はないが、演色性が高く、かつ可視域全体にエネルギーを有する光を発するものが好ましい。
なお、図１において、第三光源５３はデジタルカメラ３０よりも奥に位置している。

【0018】

本実施形態に係る高さ表示部６０は、第一レーザー照射部（第一照射部）６１と第二レーザー照射部（第二照射部）６２との２つのレーザー照射機構を有する。各レーザー照射部６１、６２は、ステージ２０の載置面２０ａに向かってレーザー光を出射できるようにフレーム１０に取り付けられている。

【0019】

記憶部７０は、デジタルカメラ３０および２次元分光放射輝度計４０と接続されている。接続態様は、有線、無線のいずれでもよい。記憶部７０は、少なくともデジタルカメラ３０および２次元分光放射輝度計４０が取得した画像データを保存できればよく、記憶媒体等で構成できるが、記憶部としてコンピュータを用い、照明部５０や高さ表示部６０等の取得装置の各部と接続して、接続した部位の動作や制御を行えるように構成してもよい。

【0020】

デジタルカメラ３０および２次元分光放射輝度計４０は、図１に示すように、各々のピント面が同一の高さｈに位置するようにスライダ１１に取り付けられている。なお、本発明において、「ピント面が一致する」とは、ピントが同一の高さにある状態だけでなく、一方の撮像部のピントが他方の撮像部の被写界深度内に位置する状態が互いに確保されている状態も含む。
第一レーザー照射部６１および第二レーザー照射部６２は、出射されるレーザー光が高さｈの位置で交差するように取り付けられている。

【0021】

上記のように構成された本実施形態の取得装置１の使用時の動作について説明する。
まず、フレーム１０の内部に照明部５０以外の光が入らない環境を確保する。具体的には、取得装置１を暗室内に配置する、フレームの周囲を暗幕で覆う等の方法で行える。

【0022】

次に、撮像する対象物をステージ２０の載置面２０ａ上に位置させ、高さ表示部６０からレーザー光を照射する。対象物の上面が高さｈの位置にない場合、図２の（a）に示すように、第一レーザー照射部６１による光Ｌ１と第二レーザー照射部６２による光Ｌ２とは、離間した状態で対象物上に投影される。使用者が、ステージ２０を操作して載置面２０ａの高さを変化させると、光Ｌ１と光Ｌ２との距離が変化し、対象物の上面が高さｈの位置に来ると、図２の（a）に示すように、光Ｌ１と光Ｌ２とが概ね重なる。
使用者は、高さ表示部６０の光を目安にして、対象物上面の高さがｈとなるように、ステージ２０を調節する。調節が終了したら、高さ表示部６０を消灯する。

【0023】

使用者は、デジタルカメラ３０を対象物の直上に配置し、デジタルカメラ３０で対象物を撮像する。これにより、対象物の第一画像が取得され、記憶部７０に送信される。第一画像は、空間解像度の高い３チャンネルの色情報を含んでいる。また、予め対象物の上面の高さがデジタルカメラ３０のピント面の高さと一致しているため、ピント合わせの動作が必要なく、スムーズに撮像を行える。

【0024】

続いて使用者は、スライダ１１を操作して図３に示すように２次元分光放射輝度計４０を対象物の直上に移動させ、２次元分光放射輝度計４０で対象物を撮像する。これにより、第一画像と撮像時の光軸が一致した対象物の第二画像が取得され、記憶部７０に送信される。第二画像は、第一画像に対して、対象物に関する波長分解能の高い分光データを含んでいるが、第一画像よりも空間解像度が低い。
２次元分光放射輝度計４０のピント面の高さはデジタルカメラ３０のピント面の高さと同一であるため、２次元分光放射輝度計４０を対象物の直上に移動させた後にピント合わせをする必要はなく、そのまま撮像を行える。

【0025】

第一画像および第二画像を受信した記憶部７０は、第一画像と第二画像とを組にしてデータセットにしつつ順次保存する。
第一画像および第二画像の記憶部への送信タイミングや頻度、記憶部におけるデータセット生成のタイミングや頻度に制限はなく、所望の態様に設定されてよい。

【0026】

以上説明したように、本実施形態に係る取得装置１によれば、スライダ１１を操作してデジタルカメラ３０および２次元分光放射輝度計４０を順次対象物の上方に移動させることにより、煩雑なピント合わせをせずに効率よく第一画像および第二画像を取得できる。その結果、学習情報となるデータセットを効率よく取得でき、大量取得も容易である。

【0027】

また、高さ表示部６０を備えるため、上面に投影される高さ表示部６０の光を指標として、ステージ２０に載置された対象物の上面の高さを、簡便にデジタルカメラ３０および２次元分光放射輝度計４０のピント面の高さに一致させることができる。

【0028】

取得装置１の使用時において、第一画像と第二画像とはいずれが先に取得されてもよい。
また、取得装置１は、第一画像取得時の光軸と第二画像取得時の光軸とを一致させやすく構成されてもよい。例えば、スライダ１１の摺動範囲を一定範囲に設定する。その際に、摺動範囲の一端までスライダ１１を移動させると２次元分光放射輝度計４０が載置面２０ａの直上に移動した第一状態となり、摺動範囲の他端までスライダ１１を移動させると、デジタルカメラ３０が載置面２０ａの直上に移動し、かつデジタルカメラ３０の光軸が第一状態における２次元分光放射輝度計４０の光軸と一致するようにデジタルカメラ３０および２次元分光放射輝度計４０の取り付け位置を調整する。このようにすると、スライダ１１の細かい位置調整を必要とせずに、第一画像取得時の光軸と第二画像取得時の光軸とを簡便に一致させることができる。あるいは、上記条件を満足するスライダの位置を示す指標をフレームに設ける等の方法も可能である。

【0029】

本発明の第二実施形態について、図４を参照して説明する。以降の説明において、既に説明したものと共通する構成等については、同一の符号を付して重複する説明を省略する。
図４は、本実施形態に係る取得装置１０１の模式図である。取得装置１０１は、フレーム１０に代えてフレーム１１０を備える。また、スライダおよびステージを備えない点でも第一実施形態の取得装置１と異なっている。

【0030】

フレーム１１０は、キャスター１１２を有する下部１１１と、下部１１１に取り付けられる上部１１５とを有する。上部１１５の垂直部材１１６は管状になっており、下部の垂直部材１１３の上端部が垂直部材１１６内に進入している。

【0031】

フレーム１１０の上部１１５には、デジタルカメラ３０、２次元分光放射輝度計４０、照明部５０、および高さ表示部６０が取り付けられている。デジタルカメラ３０および２次元分光放射輝度計４０は、上部１１５の側方および上側にそれぞれ固定されている。固定されたデジタルカメラ３０および２次元分光放射輝度計４０の撮像光軸は直交しており、交差する位置にハーフミラー１２０が配置されている。これにより、ハーフミラー１２０を透過した２次元分光放射輝度計４０の光軸とハーフミラー１２０で反射されたデジタルカメラ３０の光軸とが完全に一致している。

【0032】

上記のように構成された本実施形態の取得装置の使用時の動作について説明する。
取得装置１０１は、ステージを備えないため、他の構造物に載置された対象物に対して撮像を行う。例えば、ベッドに寝ている被験者の腹部を撮像の対象とする場合は、図４に示すように、ベッドＢの上に取得装置１０１を移動させ、腹部をフレーム１１０の内部空間内に位置させる。
その後、フレーム１１０の内部に照明部５０以外の光が入らない環境を確保する。

【0033】

続いて、高さ表示部６０の光を見ながら、フレーム１１０の上部１１５を下部１１１に対して上下させ、腹部上面をデジタルカメラ３０および２次元分光放射輝度計４０のピント面と同じ高さに調節し、上部１１５を下部１１１に対して固定する。

【0034】

続いて、第一画像および第二画像を取得する。デジタルカメラ３０および２次元分光放射輝度計４０は、撮像光軸が一致した状態でフレーム１１０に固定されているため、順次撮像することにより第一画像および第二画像を効率よく取得できる。

【0035】

以上説明したように、本実施形態に係る取得装置１０１は、第一実施形態の取得装置１と同様に、学習情報となるデータセットを効率よく取得できる。
さらに、取得装置１０１においては、デジタルカメラ３０および２次元分光放射輝度計４０を移動させることなく第一画像および第二画像を取得できるため、移動により第一画像および第二画像の撮像光軸にずれが出る懸念もない。

【0036】

取得装置１０１はステージを備えないが、フレーム１１０がキャスター１１２を有するため、載置された対象物のところまで簡便に移動できる。

【0037】

取得装置１０１はステージを備えてもよいし、キャスター１１２を備えなくてもよい。

【0038】

分光放射輝度から分光反射率に変換する際、一般に白色板の測定値で割り算することで算出するが、撮像対象物が上面に凹凸を有する等の場合、平坦な白色板との向きの違いが部位ごとに生じるため、部位によっては算出するスケールが適切でなくなる可能性がある。
上述した取得装置のように、照明部が複数の光源を備える場合は、特許第５４８２６１２号に記載の方法を応用することで、このような場合であっても部位ごとの適切なスケールを取得できる。

【0039】

具体的には、照明部５０の照射態様が異なる３通り（例えば、第一光源５１のみ点灯した状態、第二光源５２のみ点灯した状態、および第三光源５３のみ点灯した状態等）以上の照明態様で取得した複数の撮像対象物の撮像データを取得し、これらの撮像データに基づいて、各点の拡散反射率を取得する。この拡散反射率を用いて、２次元分光放射輝度計４０により取得した第二画像における各点の分光反射率を補正することにより、各点の分光反射率をより適切に取得できる。

【0040】

以上、本発明の各実施形態および実施例について説明したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の構成の変更、組み合わせなども含まれる。以下にいくつか変更を例示するが、これらはすべてではなく、それ以外の変更も可能である。これらの変更は自由に組み合わせることができる。

【0041】

・本発明に係る取得装置は、第一撮像部および第二撮像部に加えて、さらに別の撮像部を備えてもよい。このようにすることで、特性の異なる３つ以上の画像データを含むデータセットを効率よく取得できる。

【0042】

・第一画像と第二画像とは、撮像光軸が一致していればよく、撮像範囲は必ずしも一致していなくてもよい。

【0043】

・第一撮像部および第二撮像部の組み合わせも、上述したデジタルカメラと２次元分光放射輝度計には限定されず、取得するデータセットの内容に基づいて適宜決定されてよい。さらに、取得するデータセットの内容に基づいて、照明部の光源の種類、数、組み合わせ、配置などが変更されてもよい。
撮像部の組み合わせとしては、例えば以下のａからｃを例示できるが、これには限られず、他の組み合わせも可能である。
ａ．ＲＧＢデジタルカメラ＋二次元色彩色度計
ｂ．ＲＧＢデジタルカメラ＋ハイパースペクトルカメラ
ｃ．分光感度の異なる複数のＲＧＢデジタルカメラ

【0044】

・高さ表示部から投影される光の形状にも特に制限はなく、例えば十字型やスポット等の他の形状であってもよい。

【0045】

・本発明において、光源の分光情報は既知であることが好ましいが、光源以外の光の入らない撮像が確保されていれば光源の分光情報は既知でなくてもよい。光源の分光情報が未知であっても、二次元分光放射輝度計と標準白色板とを用いることで光源の分光分布を取得できる。

【符号の説明】

【0046】

１、１０１ データセット取得装置
１０、１１０ フレーム
１１ スライダ
２０ ステージ
２０a 載置面
３０ デジタルカメラ（第一撮像部）
４０ ２次元分光放射輝度計（第二撮像部）
５０ 照明部
５１ 第一光源
５２ 第二光源
５３ 第三光源
６０ 高さ表示部
６１ 第一レーザー照射部（第一照射部）
６２ 第二レーザー照射部（第二照射部）
７０ 記憶部
１２０ ハーフミラー

【図1】

【図2】

【図3】

【図4】