特開 2024-134526 計測方法、計測システムおよび計測用プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024134526

(43)【公開日】2024-10-03

(54)【発明の名称】計測方法、計測システムおよび計測用プログラム

(51)【国際特許分類】

   G01B 11/245 20060101AFI20240926BHJP

   G01J 3/52 20060101ALI20240926BHJP

   G06T 1/00 20060101ALI20240926BHJP

【ＦＩ】

G01B11/245 H

G01J3/52

G06T1/00 510

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2024026687

(22)【出願日】2024-02-26

(31)【優先権主張番号】P 2023044259

(32)【優先日】2023-03-20

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】501203344

【氏名又は名称】国立研究開発法人農業・食品産業技術総合研究機構

(74)【代理人】

【識別番号】100096884

【弁理士】

【氏名又は名称】末成 幹生

(72)【発明者】

【氏名】本山 三知代

(72)【発明者】

【氏名】鈴木 孝洋

(72)【発明者】

【氏名】林 篤司

(72)【発明者】

【氏名】高地 伸夫

【テーマコード（参考）】

2F065

2G020

5B057

【Ｆターム（参考）】

2F065AA04

2F065AA53

2F065BB05

2F065BB15

2F065CC16

2F065EE00

2F065FF01

2F065FF05

2F065FF09

2F065FF61

2F065JJ03

2F065JJ05

2F065JJ19

2F065JJ26

2F065LL50

2F065QQ24

2F065QQ31

2F065SS13

2F065UU05

2F065UU09

2G020AA08

2G020DA02

2G020DA03

2G020DA04

2G020DA15

2G020DA34

2G020DA51

5B057CA12

5B057CB13

5B057CC01

5B057CE11

5B057CE16

5B057DA07

(57)【要約】      （修正有）

【課題】移動する対象の撮影画像の明るさと色の補正を有効に行う。
【解決手段】撮影空間１２０を囲み、撮影空間１２０を移動する枝肉１０１を撮影するカメラ群１１０を用いた計測方法であって、撮影空間１２０を移動するキャリブレーションターゲット２００をカメラ群１１０により複数回撮影することで、キャリブレーションターゲット２００から見た複数の異なる視点からのキャリブレーションターゲット２００の撮影画像を得、キャリブレーションターゲット２００の撮影画像に基づき、複数の視点のそれぞれにおける明るさと色に関するキャリブレーションデータを得、キャリブレーションターゲットと同じ経路で撮影空間１２０内を移動する枝肉１０１をカメラ群１１０により複数回撮影して枝肉１０１の画像データを得、前記キャリブレーションデータにより、枝肉１０１の画像データの補正を行う。
【選択図】図１

【特許請求の範囲】

【請求項1】

特定の空間を囲み、前記空間を移動する対象を撮影する複数のカメラを用いた計測方法であって、
前記空間を移動するキャリブレーションターゲットを前記複数のカメラにより複数回撮影することで、前記キャリブレーションターゲットから見た複数の異なる視点からの前記キャリブレーションターゲットの撮影画像を得、
前記キャリブレーションターゲットの前記撮影画像に基づき、前記複数の視点のそれぞれにおける明るさと色に関するキャリブレーションデータを得、
前記キャリブレーションターゲットと同じ経路で前記空間内を移動する計測対象物を前記複数のカメラにより複数回撮影して前記計測対象物の画像データを得、
前記キャリブレーションデータにより、前記計測対象物の前記画像データの補正を行い、
前記キャリブレーションデータを得た前記キャリブレーションターゲットの前記空間における位置と、前記画像データを得た前記空間における前記計測対象物の位置が同じ位置である計測方法。

【請求項2】

前記計測対象物が枝肉であり、
前記枝肉と前記キャリブレーションターゲットは、最初に前記キャリブレーションターゲットが前記空間を通過し、次に前記枝肉が前記空間を通過する請求項１に記載の計測方法。

【請求項3】

前記キャリブレーションターゲットが前記空間を通過する際に前記キャリブレーションデータが取得され、
前記枝肉が前記空間を通過する際に前記画像データが取得される請求項２に記載の計測方法。

【請求項4】

前記キャリブレーションデータは、前記キャリブレーションターゲットの前記空間における複数の位置において取得され、
前記画像データは、前記計測対象物の前記空間における前記複数の位置において取得される請求項１に記載の計測方法。

【請求項5】

前記計測対象物の特定の部位が写った撮影画像は、前記特定の部位が前記複数のカメラにより前記複数の位置において撮影されることで、複数得られ、
前記複数得られた前記特定の部位が写った前記撮影画像を統計処理することで、前記特定の部位の画像の明るさと色の補正が行われる請求項４に記載の計測方法。

【請求項6】

前記統計処理は、明るさおよび色の平均値を求める処理または中間値を求める処理または最頻値を求める処理である請求項５に記載の計測方法。

【請求項7】

前記空間は照明が行われており、
前記空間内の位置の違いにより、前記キャリブレーションデータが異なる請求項１に記載の計測方法。

【請求項8】

前記計測対象物が枝肉であり、
前記キャリブレーションターゲットは前記枝肉を柱状の形状および大きさに近似した構造を有する請求項１に記載の計測方法。

【請求項9】

特定の空間を囲み、前記空間を移動する対象を撮影する複数のカメラと、
前記空間を移動するキャリブレーションターゲットを前記複数のカメラにより複数回撮影することで、前記キャリブレーションターゲットから見た複数の異なる視点からの前記キャリブレーションターゲットの撮影画像を得る手段と、
前記キャリブレーションターゲットの前記撮影画像に基づき、前記複数の視点のそれぞれにおける明るさと色に関するキャリブレーションデータを得る手段と、
前記キャリブレーションターゲットと同じ経路で前記空間内を移動する計測対象物を前記複数のカメラにより複数回撮影して前記計測対象物の画像データを得る手段と、
前記キャリブレーションデータにより、前記計測対象物の前記画像データの補正を行う手段と
を備え、
前記キャリブレーションデータを得た前記キャリブレーションターゲットの前記空間における位置と、前記画像データを得た前記計測対象物の前記空間における位置が同じ位置である計測システム。

【請求項10】

特定の空間を囲み、前記空間を移動する対象を撮影する複数のカメラを用いた計測をコンピュータに実行させるプログラムであって、
コンピュータに
前記空間を移動するキャリブレーションターゲットを前記複数のカメラにより複数回撮影することで、前記キャリブレーションターゲットから見た複数の異なる視点からの前記キャリブレーションターゲットの撮影画像の取得と、
前記キャリブレーションターゲットの前記撮影画像に基づき、前記複数の視点のそれぞれにおける明るさと色に関するキャリブレーションデータの取得と、
前記キャリブレーションターゲットと同じ経路で前記空間内を移動する計測対象物を前記複数のカメラにより複数回撮影することで得た前記計測対象物の画像データの取得と、
前記キャリブレーションデータによる前記計測対象物の前記画像データの補正と
を実行させ、
前記キャリブレーションデータを得た前記キャリブレーションターゲットの前記空間における位置と、前記画像データを得た前記計測対象物の前記空間における位置が同じ位置である計測用プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動する対象に対する三次元写真計測の技術に関する。

【背景技術】

【0002】

食肉流通の分野において、移動する枝肉の三次元写真計測を行う技術が知られている（例えば、特許文献１や特許文献２を参照）。また、三次元写真計測における色彩の誤差を低減するためのキャリブレーション（校正処理）について特許文献３に記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０―１４４１２２号公報

【特許文献2】ＷＯ２０１８―１６７０８９号公報

【特許文献3】特開２０１２－１９４１２６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば、枝肉の三次元写真計測を行う場合、得られる三次元データの正確性に加えて、画像における色彩の再現性の高さが求められる。これは、肉質の判定には、枝肉の色の情報が重要だからである。色情報の再現性に関する工夫が特許文献３に記載されている。

【0005】

ところで、枝肉を対象とする場合、吊り下げられて移動してくる枝肉を複数のカメラが配置された領域に導き入れ、そこで三次元写真測量のための撮影が行われる（特許文献１および２を参照）。この際、枝肉は多数あり、次々と移動してくるので、移動する枝肉を対象に撮影を行う必要がある。なぜなら、撮影の度にラインを停止させることは非効率だからである。

【0006】

対象が移動する場合、対象の位置によって照明の当たり具合が変化するので、対象の位置によって照明の反射の状態が変化する。特許文献３の技術では、カメラに対して停止している対象を前提としているため、上記の異なる位置における照明の反射の状態が変化する事態に対応できない。

【0007】

このような背景において、本発明は、移動する対象の撮影画像の明るさと色の補正を有効に行うことができる技術の提供を目的とする。

【課題を解決するための手段】

【0008】

本発明は、特定の空間を囲み、前記空間を移動する対象を撮影する複数のカメラを用いた計測方法であって、前記空間を移動するキャリブレーションターゲットを前記複数のカメラにより複数回撮影することで、前記キャリブレーションターゲットから見た複数の異なる視点からの前記キャリブレーションターゲットの撮影画像を得、前記キャリブレーションターゲットの前記撮影画像に基づき、前記複数の視点のそれぞれにおける明るさと色に関するキャリブレーションデータを得、前記キャリブレーションターゲットと同じ経路で前記空間内を移動する計測対象物を前記複数のカメラにより複数回撮影して前記計測対象物の画像データを得、前記キャリブレーションデータにより、前記計測対象物の前記画像データの補正を行い、前記キャリブレーションデータを得た前記キャリブレーションターゲットの前記空間における位置と、前記画像データを得た前記空間における前記計測対象物の位置が同じ位置である計測方法である。

【0009】

本発明において、前記計測対象物が枝肉であり、前記枝肉と前記キャリブレーションターゲットは、最初に前記キャリブレーションターゲットが前記空間を通過し、次に前記枝肉が前記空間を通過する態様が挙げられる。本発明において、前記キャリブレーションターゲットが前記空間を通過する際に前記キャリブレーションデータが取得され、前記枝肉が前記空間を通過する際に前記画像データが取得される態様が挙げられる。

【0010】

本発明において、前記キャリブレーションデータは、前記キャリブレーションターゲットの前記空間における複数の位置において取得され、前記画像データは、前記計測対象物の前記空間における前記複数の位置において取得される態様が挙げられる。本発明において、前記計測対象物の特定の部位が写った撮影画像は、前記特定の部位が前記複数のカメラにより前記複数の位置において撮影されることで、複数得られ、前記複数得られた前記特定の部位が写った前記撮影画像を統計処理することで、前記特定の部位の画像の明るさと色の補正が行われる態様が挙げられる。

【0011】

本発明において、前記統計処理は、明るさおよび色の平均値を求める処理または中間値を求める処理である態様が挙げられる。本発明において、前記空間は照明が行われており、前記空間内の位置の違いにより、前記キャリブレーションデータが異なる態様が挙げられる。本発明において、前記計測対象物が枝肉であり、前記キャリブレーションターゲットは前記枝肉を柱状の形状および大きさに近似した構造を有する態様が挙げられる。

【0012】

本発明は、特定の空間を囲み、前記空間を移動する対象を撮影する複数のカメラと、前記空間を移動するキャリブレーションターゲットを前記複数のカメラにより複数回撮影することで、前記キャリブレーションターゲットから見た複数の異なる視点からの前記キャリブレーションターゲットの撮影画像を得る手段と、前記キャリブレーションターゲットの前記撮影画像に基づき、前記複数の視点のそれぞれにおける明るさと色に関するキャリブレーションデータを得る手段と、前記キャリブレーションターゲットと同じ経路で前記空間内を移動する計測対象物を前記複数のカメラにより複数回撮影して前記計測対象物の画像データを得る手段と、前記キャリブレーションデータにより、前記計測対象物の前記画像データの補正を行う手段とを備え、前記キャリブレーションデータを得た前記キャリブレーションターゲットの前記空間における位置と、前記画像データを得た前記計測対象物の前記空間における位置が同じ位置である計測システムである。

【0013】

本発明は、特定の空間を囲み、前記空間を移動する対象を撮影する複数のカメラを用いた計測をコンピュータに実行させるプログラムであって、コンピュータに前記空間を移動するキャリブレーションターゲットを前記複数のカメラにより複数回撮影することで、前記キャリブレーションターゲットから見た複数の異なる視点からの前記キャリブレーションターゲットの撮影画像の取得と、前記キャリブレーションターゲットの前記撮影画像に基づき、前記複数の視点のそれぞれにおける明るさと色に関するキャリブレーションデータの取得と、前記キャリブレーションターゲットと同じ経路で前記空間内を移動する計測対象物を前記複数のカメラにより複数回撮影することで得た前記計測対象物の画像データの取得と、前記キャリブレーションデータによる前記計測対象物の前記画像データの補正とを実行させ、前記キャリブレーションデータを得た前記キャリブレーションターゲットの前記空間における位置と、前記画像データを得た前記計測対象物の前記空間における位置が同じ位置である計測用プログラムである。

【発明の効果】

【0014】

本発明によれば、移動する対象の撮影画像の明るさと色の補正を有効に行うことができる。

【図面の簡単な説明】

【0015】

【図1】実施形態のシステムの概要を示す図である。

【図2】キャリブレーションターゲットの外観図である。

【図3】データ処理装置のブロック図である。

【図4】処理の手順の一例を示すフローチャートである。

【図5】処理の手順の一例を示すフローチャートである。

【図6】枝肉のカラー三次元モデル画像の表示画像を示す図面代用写真である。

【図7】枝肉のカラー三次元モデル画像の表示画像を示す図面代用写真である。

【図8】枝肉のカラー三次元モデル画像の表示画像を示す図面代用写真である。

【図9】枝肉のカラー三次元モデル画像の表示画像を示す図面代用写真である。

【発明を実施するための形態】

【0016】

（概要）
三次元写真計測に基づく枝肉の三次元モデルでは、肉質の判定のために色情報が正確に再現できることが重要となる。本発明者らの実験によれば、枝肉の位置により（枝肉は移動する）、照明の反射のムラが生じ、色情報の再現に支障が出ていた。そこで、明るさの情報や色の情報に関して、予めキャリブレーションを行い事前に画像データの明るさと色に関する補正データを取得しておく。

【0017】

搬送され移動する枝肉は、搬送経路を囲むように複数のカメラを配置したカメラサークルの中を移動する。この際に三次元写真計測のための撮影が行われる。カメラサークルの内側（枝肉の移動経路）は、照明機器によって照明が行われている。この照明は、ムラが生じないように注意深く設置されているが、現実問題としてカメラサークルの中の位置によって枝肉に当たる照明の具合は異なる。

【0018】

そこで、複数の位置において、キャリブレーションターゲットを用いた明るさと色に関するキャリブレーションデータを得る。そして、キャリブレーション撮影時におけるキャリブレーションターゲットの位置で枝肉の撮影を行う。

【0019】

例えば、移動する枝肉が、ある時刻Ｔ１において、カメラサークルの中の位置Ｙ１にあり、時刻Ｔ２に位置Ｙ２にあるとする。

【0020】

この場合、キャリブレーションターゲットが位置Ｙ１に位置している状態で得たキャリブレーションデータを用いて、位置Ｙ１に位置する枝肉を撮影することで得た画像データの明るさと色の補正を行う。同様に、キャリブレーションターゲットが位置Ｙ２に位置している状態で得たキャリブレーションデータを用いて、位置Ｙ２に位置する枝肉を撮影することで得た画像データの明るさと色の補正を行う。

【0021】

枝肉の位置により、照明の当たり具合は異なる。これは、枝肉の位置により、枝肉と照明装置の位置関係が異なるからである。これはキャリブレーションターゲットについても言える。よって、キャリブレーションターゲットの位置の違いにより、キャリブレーションデータも異なる。

【0022】

従って、枝肉の位置に対応したキャリブレーションデータを用いることで、上記の照明の当たり具合の差に起因する明るさと色の誤差の発生が抑えられる。

【0023】

（システムの構成）
図１には、吊るされてＹ軸正の方向に搬送されるキャリブレーションターゲット２００と枝肉１０１が示されている。なお、枝肉１０１の後ろ（Ｙ軸負の方向）には、更に多数の枝肉があるが図示省略されている。枝肉１０１の種類は特に限定されない。例えば、牛や豚の枝肉の例が挙げられる。

【0024】

キャリブレーションターゲット２００と枝肉１０１は、多数のカメラにより構成されたカメラ群（カメラサークル）１１０により撮影される。カメラ群１１０は、撮影空間１２０を囲むように配置された多数のカメラによって構成されている。撮影空間１２０は、略円柱状の空間である。

【0025】

撮影空間１２０をキャリブレーションターゲット２００と枝肉１０１は通過し、その際にカメラ群１１０によるキャリブレーションターゲット２００と枝肉１０１の撮影が行われる。この際に得られる撮影画像を用いてキャリブレーションターゲット２００を用いたキャリブレーションデータ（外部標定要素の算出用のデータ、撮影画像の明るさと色の補正の為のデータ）の取得と、枝肉１０１の三次元写真計測が行われる。

【0026】

カメラ群１１０を構成するカメラのそれぞれは、撮影空間を移動するキャリブレーションターゲット２００と枝肉１０１を死角なく撮影でき、且つ、上下左右で隣接するカメラの撮影範囲が一部で重複するように、位置と向きが調整されている。すなわち、上下左右で隣接する２台のカメラがステレオカメラとなるように設定されている。カメラ群１１０を構成するカメラのそれぞれは、データ処理装置３００と通信回線を介して接続されている。通信回線は、有線回線または無線回線を用いる。

【0027】

撮影空間１２０は、照明装置１２１～１２４により照明が行われている。撮影空間１２０内を通過するキャリブレーションターゲット２００と枝肉１０１は、照明装置１２１～１２４により照明される。

【0028】

キャリブレーションターゲット２００と枝肉１０１は、搬送手段１０３に吊り下げられ、図のＹ軸正の方向に搬送される。搬送手段１０３は、例えば搬送レール１０５、搬送レール１０５に固定され、搬送レールから枝肉１０１を吊り下げて保持する吊り下げハンガー１０４を有する。搬送レール１０５が図示しない自動や手動の手段により駆動されて図のＹ軸方向に移動することで、枝肉１０１はＹ軸正の方向に移動する。この移動機構は、他の枝肉およびキャリブレーションターゲット２００も同じである。

【0029】

カメラ群１１０を構成するカメラは、カラーの静止画の撮影が可能なデジタルスチールカメラである。カラー動画を撮影するカメラを用いることもできる。この場合、動画を構成するフレーム画像を利用して三次元写真計測が行われる。カメラ群１１０の各カメラの内部標定要素は予め取得されている。

【0030】

図２は、キャリブレーションターゲット２００の外観図である。キャリブレーションターゲット２００は、カメラ群１１０を構成する各カメラの外部標定要素の算出および明るさと色に関する補正情報であるキャリブレーションデータの取得のためのターゲットである。キャリブレーションターゲット２００は、枝肉１０１の形状と大きさに近似させた略円柱または多角柱（図１の場合は八角柱）構造を有し、その表面（側面および上面）には、カラー表示された多数の識別ターゲットが配置されている。各識別ターゲットは、個別に撮影画像による識別が可能で、またその中心位置が特定でき、また予め定められた色彩パターンや明るさ（明度）を決める表示パターンを有している。この各識別ターゲットは、標定用ターゲットとして機能する。

【0031】

キャリブレーションターゲット２００は、その形状と大きさを枝肉１０１に近似させた柱状の構造としている。キャリブレーションターゲットと計測対象物の形状および大きさが異なると、照明の当たり具合に差が生じ、キャリブレーションの誤差が増える。キャリブレーションターゲットとして、なるべく計測対象物に近い形状と大きさのものを採用することで、この問題が抑制され、明るさと色に関する補正の精度をより高めることができる。

【0032】

キャリブレーションターゲット２００として、上下方向（軸方向）の径が一定でなく、枝肉の形状に合わせて縮径部や拡径部を有した形状も可能である。図６の図面代用写真にあるように、吊るされた枝肉は上下方向における径は一定ではない。そこで、キャリブレーションターゲットとして、上下方向における径が一定でない柱形状（略円柱形状や多角形形状）を採用し、より枝肉の形状に合わせたものを利用してもよい。

【0033】

上記識別ターゲットは、明るさと色に関するキャリブレーションデータを与えるための表示パターンを有する。例えば、明るさのキャリブレーションデータを与える識別ターゲットに予め設定された明るさと、当該識別ターゲットの撮影画像の明るさとが比較される。ここで、設定された明るさと当該識別ターゲットの撮影画像の明るさとに差があれば、その差を是正する補正データをキャリブレーションデータとして得、実際の撮影画像をこの補正データにより補正する。これにより、明るさに関するキャリブレーション（校正）が行われる。

【0034】

また、色（ＲＧＢ）のキャリブレーションデータを与える識別ターゲットの既知の色（ＲＧＢ）と、当該識別ターゲットの撮影画像の色とが比較される。ここで、当該識別ターゲットの撮影画像のＲＧＢデータと、上記既知のＲＧＢデータに差があれば、その差を是正する補正データをキャリブレーションデータとして得、実際の撮影画像の色調をこの補正データにより補正することで、色（ＲＧＢ）に関するキャリブレーション（校正）が行われる。なお、キャリブレーションターゲット２００における各識別ターゲットの位置（各識別ターゲットの位置関係や離間距離）、キャリブレーションターゲット２００の形状および寸法は既知のデータとして予め取得されている。

【0035】

キャリブレーションターゲット２００の表面に配置された複数の識別ターゲットを基準点として用いた相互標定および絶対標定により、カメラ群１１０を構成する各カメラの位置と姿勢が算出される。また、キャリブレーションターゲット２００の表面に配置された複数の識別ターゲットの明るさと色彩情報を用いて、各カメラの撮影画像における明るさと色の補正情報であるキャリブレーションデータが得られる。

【0036】

安価なカメラを用いた場合、撮影画像における明るさと色の再現性に微妙なバラツキが生じやすい。上記の明るさ（明度）と色（色調）の補正情報を得ることで、この問題に対応できる。

【0037】

明るさと色の補正情報は、撮影空間１２０の複数の位置において得られる。キャリブレーションターゲット２００は、撮影空間１２０内をＹ軸正の方向に向かって移動し、その際にカメラ群１１０によるキャリブレーションターゲット２００の撮影が繰り返し行われる。なお、撮影は、各カメラが略同期して同時に行う。

【0038】

例えば、キャリブレーションターゲット２００が特定の距離（例えば１ｃｍ～１０ｃｍ）進む毎に、キャリブレーションターゲット２００の撮影が行われ、各位置において明るさと色に関するキャリブレーションデータを得る。

【0039】

明るさと色に関するキャリブレーションデータは、枝肉１０１の撮影画像の色の再現性を高めるために必要とされる。枝肉１０１は照明されているが、枝肉１０１の位置により、照明の反射の具合が微妙に変化し（これは、照明装置との距離、照明光の入射角度や重なり具合の違いに起因する）、位置が異なると、同じ部位でも撮影画像中の明るさや色合いが微妙に異なる場合がある。これは、画像から読み取られる質感や肉質の評価に影響する。

【0040】

この問題に対応するために、本実施形態では、特定の距離の間隔で細かく明るさと色に関するキャリブレーションデータを得る。すなわち、撮影空間１２０内におけるＹ軸上の位置Ｙ１での各カメラにおける明るさと色に関するキャリブレーションデータ、位置Ｙ２での各カメラにおける明るさと色に関するキャリブレーションデータ、位置Ｙ３での各カメラにおける明るさと色に関するキャリブレーションデータ、・・・・位置Ｙｎ（ｎは、１以上の自然数）での各カメラにおける明るさと色に関するキャリブレーションデータを取得する。これにより、計測対象の位置の違いによる画像中での明るさや色の再現性の差を是正する。

【0041】

（演算装置）
三次元写真計測に係るデータ処理は、図１のデータ処理装置３００において行われる。データ処理装置３００は、ＣＰＵ、記憶装置、各種インターフェースを有するコンピュータにより実現されている。データ処理装置３００を構成するコンピュータは、汎用のものを利用しても良いし、専用のハードウェアを用意してもよい。また、データ処理サーバを演算装置３００として利用してもよい。

【0042】

図３は、データ処理装置３００のブロック図である。データ処理装置３００は、画像データ取得部３０１、キャリブレーションターゲットの位置算出部３０２、キャリブレーションデータ取得部３０３、枝肉の位置算出部３０４、キャリブレーションデータに基づく撮影画像の明るさと色の補正部３０５、多視点からの撮影画像に基づく撮影画像の明るさと色の補正部３０６、カラー画像化三次元モデルの作成部３０７、カメラ制御部３０８を備える。

【0043】

図３のブロック図に示す各機能部は、専用のソフトウェアがデータ処理装置３００を構成するコンピュータにより実行されることで実現される。図３のブロック図に示す機能部の一部または全部を専用のハードウェア（電子回路）により構成することもできる。

【0044】

画像データ取得部３０１は、カメラ群１１０の各カメラが撮影したキャリブレーションターゲット２００と枝肉１０１の撮影画像の画像データを取得する。

【0045】

キャリブレーションターゲットの位置算出部３０２は、撮影空間１２０における複数の位置におけるキャリブレーションターゲット２００の位置を算出する。キャリブレーションターゲット２００の位置は、その中心軸のＹ軸上における位置として把握される。

【0046】

以下、具体的なキャリブレーションターゲット２００の位置の算出手順の一例を説明する。ここで、時刻Ｔｎにおけるキャリブレーションターゲット２００のＹ軸上における位置をＹｎとする。キャリブレーションターゲット２００の位置は、Ｙ軸上に制限されているので、Ｙ軸上の位置により、対象物（キャリブレーションターゲットと枝肉）の位置は特定できる。この位置は、カメラ群１１０（撮影空間１２０）に固定されたローカル座標系における座標として記述される。

【0047】

まず、撮影空間１２０をＹ軸正の方向に通過（移動）するキャリブレーションターゲット２００を特定の時間間隔で繰り返しカメラ群１１０により撮影し、各時刻におけるキャリブレーションターゲット２００の撮影画像を得る。

【0048】

そして、時刻Ｔｎにおいて撮影されたカメラ群１１０の撮影画像に基づく、３次元写真計測の原理に基づき、カメラ群１１０の各カメラとキャリブレーションターゲット２００の位置関係及び各カメラの向き（光軸の方向）を求める。

【0049】

具体的には、以下の処理が行われる。カメラ群１１０を構成する各カメラは、上下左右で隣接する２台のカメラがステレオカメラとなるように設定されている。このため、ステレオカメラが多数存在することになる。各カメラにおいて三次元写真計測の原理により、三次元点群が得られる。上述のようにカメラ群１１０は多数のステレオカメラを備えるので、各ステレオカメラで得られた三次元点群を統合することで、撮影対象の三次元点群が得られる。

【0050】

この際、キャリブレーションターゲット２００は、多数の標定用ターゲットを備えているので、この標定用ターゲットを用いた標定処理により、カメラ群１１０の各カメラとキャリブレーションターゲット２００の位置と姿勢の関係が求まる。標定処理については、例えば特開2013-186816号公報に記載されている。

【0051】

同様の処理を繰り返すことで、時刻Ｔ２におけるカメラ群１１０の各カメラとキャリブレーションターゲット２００の位置と姿勢の関係、時刻Ｔ３におけるカメラ群１１０の各カメラとキャリブレーションターゲット２００の位置と姿勢の関係・・・時刻Ｔｎ（ｎ＝１，２，３・・）におけるカメラ群１１０の各カメラとキャリブレーションターゲット２００の位置と姿勢の関係が求まる。

【0052】

キャリブレーションターゲット２００における識別ターゲットの位置、キャリブレーションターゲット２００の形状および寸法は既知である。また、カメラ群１１０は、固定されている。よって、カメラ群１１０の各カメラとキャリブレーションターゲット２００の位置関係が求まることで、カメラ群１１０に対するキャリブレーションターゲット２００位置を求めることができる。すなわち、カメラ群１１０に固定されたローカル座標系におけるキャリブレーションターゲットの位置を求めることができる。

【0053】

こうして、時刻Ｔｎにおけるキャリブレーションターゲット２００の位置Ｙｎが求まる。この処理がキャリブレーションターゲットの位置算出部３０２において行われる。

【0054】

キャリブレーションデータ取得部３０３は、上述した位置Ｙｎにおける明るさと色に関するキャリブレーションデータを取得する。

【0055】

例えば、カメラ群１１０の中の一つのカメラに着目する。このカメラがキャリブレーションターゲット２００を撮影した撮影画像から、明るさと色に関するキャリブレーションデータを得る。

【0056】

具体的には、以下の処理が行われる。まず、キャリブレーションターゲット２００が備えた識別ターゲットの明るさと色の情報は予め取得されている。

【0057】

識別ターゲットの実際の撮影画像の明るさ（明度）と当該識別ターゲットの予め取得されている明るさ（明度）が比較される。ここで、両者が同一であれば、補正は必用なく、明るさに関するキャリブレーションデータはなしとなる。他方において、両者が同一でなければ、本来の明るさの画像とするための補正が必要であり、その補正に必要なデータが明るさに関するキャリブレーションデータとなる。

【0058】

例えば、ある識別ターゲットの撮影画像の明るさ（明度）が、当該識別ターゲットに予め設定されている明るさよりも暗いとする。この場合、当該識別ターゲットを撮影した撮影画像の画像データにおいて、該当する部分の明るさがより明るくなるように補正することで、実際の明るさに近づけた当該部分の画像が得られる。この補正に必要なデータが、明るさに関するキャリブレーションデータとなる。

【0059】

なお、識別ターゲットは多数あり、その位置によって、同じ条件であるとは限らない。これは、照明の当たり具合が場所により異なるからである。よって、あるカメラが撮影した画像中の各場所によって、上記のキャリブレーションデータが得られる。

【0060】

同様な方法により、色に関するキャリブレーションデータも得られる。そして、キャリブレーションデータは、カメラ群１１０を構成する全てのカメラに関して取得される。また、各カメラのキャリブレーションデータは、上記のＹ１～Ｙｎ（ｎ＝１，２，３，・・）の各位置において求められる。以上の処理がキャリブレーションデータ取得部３０３において行われる。

【0061】

枝肉の位置算出部３０４は、撮影空間１２０を移動する枝肉（例えば、枝肉１０１）の位置を算出する。枝肉の位置は、枝肉を吊るすハンガー（例えば、吊り下げハンガー１０４）のＹ軸上の位置として把握される。枝肉１０１の位置を算出する原理は、キャリブレーションターゲット２００の場合と同じである。

【0062】

カメラ群１１０により、撮影空間１２０を通過（移動）する枝肉１０１の撮影が行われる。ここで、キャリブレーションターゲット２００を利用した標定により、撮影空間１２０におけるカメラ群１１０の各カメラの位置と姿勢は算出されている。よって、上記の撮影により得られた撮影画像に基づく３次元写真計測により、枝肉１０１の撮影空間における位置が算出される。

【0063】

例えば、０．５秒毎にカメラ群１１０による撮影が行われるとする。この場合、０．５秒毎における枝肉１０１の位置が三次元写真計測により算出される。

【0064】

キャリブレーションデータに基づく撮影画像の明るさと色の補正部３０５は、キャリブレーションデータに基づき、各撮影画像における明るさと色を補正する。

【0065】

例えば、撮影空間１２０を移動する枝肉１０１が位置Ｙ１に位置するタイミングにおいて、カメラ群１１０による撮影が行われたとする。この撮影時に得られた各撮影画像に対する明るさと色の補正は、位置Ｙ１にキャリブレーションターゲット２００が位置している時に取得されたキャリブレーションデータを利用して行われる。

【0066】

これにより、Ｙ軸上の位置の違いによるキャリブレーション誤差が抑えられる。Ｙ軸上の位置が違うと、照明の当たり具合の違いが生じ、撮影画像における被写体の明るさや色合いに差が生じる問題が生じる。この問題は、キャリブレーションデータの取得時におけるキャリブレーションターゲット２００の位置と、撮影時の枝肉１０１の位置を揃えることで抑制される。

【0067】

キャリブレーションデータの取得時におけるキャリブレーションターゲット２００の位置と、撮影時の枝肉１０１の位置は正確に同じ位置であることが望ましい。例えば、キャリブレーションデータが得られたキャリブレーションターゲットの位置をＹｎ、枝肉の撮影位置をＹｎ’とする。撮影は間欠的に行われるので、Ｙｎ，Ｙｎ’は飛び飛びの値となる。Ｙｎ＝Ｙｎ’が理想であるが、必ずしもそうなるとは限らない。

【0068】

そこで、搬送手段１０３によるキャリブレーションターゲット２００と枝肉１０１の移動速度と、カメラ群１１０の撮影の間隔を調整し、ＹｎとＹｎ’の差が極力小さくなるようにする。具体的には、ＹｎとＹｎ’の差が５ｃｍ以下、好ましくは３ｃｍ以下となるように、上記移動速度と撮影の間隔を設定する。本実施形態では、ＹｎとＹｎ’の差が５ｃｍ以下であれば、両者は同じ位置にあると見なす。

【0069】

多視点からの撮影画像に基づく撮影画像の明るさと色の補正部３０６は、数多くの視点から得られた撮影画像に基づく、撮影画像の明るさと色の補正を行う。例えば、枝肉１０１のある部位は、カメラ群１１０に含まれる複数のカメラから撮影される。また、枝肉１０１は移動しており、この部位の撮影は、異なる複数の時刻においても行われる。よって、この部位の撮影画像は、非常に数多く得られる。

【0070】

例えば、第１の撮影タイミングにおける枝肉１０１のある部位の撮影画像が２０枚あるとする。時間差をおいた別のタイミングの当該部位の撮影画像もあるので、その数は数倍以上となる。

【0071】

ここで、多数あるこの部位の撮影画像を比較し、明るさと色の補正を行う。なお、対象とする撮影画像は、キャリブレーションデータによる補正後のものとする。以下、具体的な処理の詳細を説明する。

【0072】

例えば、枝肉１０１が撮影空間１２０の位置Ｙｎ（ｎ＝１，２，３・・）に位置する場合に得られた撮影画像があるとする。この場合、枝肉１０１の特定の部位が写った全ての撮影画像を対象に、当該部位を写した画像の明るさを比較する。

【0073】

ここで、全て同じ明るさであれば、特に処理が必要ない。明るさに差がある場合、対象となった全ての撮影画像の当該部位の画像の明るさの平均値を求め、対象となる全ての撮影画像において、当該部位の画像の明るさを、上記平均値に置き換える。ここで、平均値の代わりに中央値を採用することもできる。また、平均値の代わりに最頻値を採用することもできる。

【0074】

色情報についても同様の処理が行われる。すなわち、多数の撮影画像の同一部位の色彩に差がある場合、対象となる全ての撮影画像において、当該部位の色彩情報を対象となる撮影画像における当該部位の色彩の平均値や中央値や最頻値に置き換える。

【0075】

このようにして、多視点からの撮影画像に基づく撮影画像の明るさと色の補正が行われる。これにより、明るさと色の再現における異常値を排除でき、実際の肉質の質感の再現性を高めることができる。

【0076】

平均値や中央値や最頻値を利用する方法において、異常値を排除した上で平均値や中央値や最頻値を算出する方法や、偏差に閾値を設け、閾値の範囲内の値を用いて平均値や中央値や最頻値を求める方法も可能である。

【0077】

カラー画像化された三次元モデルの作成部３０７は、カメラ群１１０が撮影した枝肉１０１の撮影画像に基づく枝肉１０１のカラー画像化三次元モデルを作成する。カラー画像化三次元モデルは、カラー画像（ＲＧＢ画像）と三次元モデルを統合することで作成される。

【0078】

以下、カラー画像化三次元モデルについて説明する。まず、カメラ群１１０が撮影した枝肉１０１の多数の撮影画像の中から、視点が異なり、撮影範囲が一部重複した複数の撮影画像をステレオ画像として抽出する。そして、このステレオ画像から特徴点を抽出し、ステレオ画像間における特徴点の対応関係の特定を行う。

【0079】

このステレオ画像には、同じ時刻に撮影された異なる２台以上のカメラの撮影画像に基づくステレオ画像と、異なる時刻に撮影された異なる視点の２以上の撮影画像に基づくステレオ画像が含まれる。

【0080】

ステレオ画像を撮影したカメラの位置と向きはキャリブレーションターゲット２００を用いた標定により既知であるので、対応関係が特定された特徴点の位置が前方交会法により求められる。この処理がすべての撮影画像に対して行われることで、枝肉１０１の三次元点群が得られる。この三次元点群から枝肉１０１の三次元モデルが作成される。この三次元モデルは、輪郭線やＴＩＮ(Triangulated Irregular Network)により対象をモデル化したデータである。三次元点群から三次元モデルを作成する技術については、例えばWO2011/070927号公報、特開2012-230594号公報、特開2014-35702号公報に記載されている。

【0081】

この三次元モデルを画像表示する際、その視点の位置として、カメラ群１１０を構成するカメラの１つを選択し、そのカメラが撮影したカラー画像（ＲＧＢ画像）を当該三次元モデルの画像として画面表示する。視点の位置は飛び飛びとなるが、カメラ群１１０は多数あり、また枝肉１０１が移動中に繰り返し撮影が行われるので、視点の数は多く確保できる。この画像表示を可能にするデータがカラー画像化三次元モデルである。

【0082】

図６は、枝肉のカラー画像化三次元モデルを表示ディスプレイ上に画像表示した場合の図面代用写真である。図６には、吊り下げられた状態の枝肉を水平方向から見た様子が示されている。図６（Ａ）～（Ｃ）は、視点の違いである。図６（Ａ）の状態で、枝肉を上方から見て時計回りに少し回転させたものが図６（Ｂ）であり、更に時計回りに回転させたものが図６（Ｃ）である。例えば、図６（Ａ）の場合、図６（Ａ）の視点にあるカメラのカラー撮影画像が選択され、当該枝肉の三次元モデルのカラー画像として表示される。

【0083】

図１のシステムでは、枝肉は移動し、複数の位置において枝肉１０１の三次元写真計測が行われる。このため、枝肉のカラー画像化三次元モデルも複数作成が可能となる。

【0084】

カメラ制御部３０８は、カメラ群１１０を構成するカメラの撮影動作を制御する。カメラ制御部３０８は、カメラ群１１０を構成する多数のカメラが同期して同時に撮影を行うように制御を行う。カメラ制御部３０８は、時計を持ち、撮影画像のデータは、撮影時刻と関連付けされたデータとして画像データ取得部３０１において取得される。

【0085】

（処理の一例）
以下、データ処理装置３００において行われる処理の一例を説明する。図４および図５は、処理の手順の一例を示すフローチャートである。図４および図５に示すフローチャートを実行するためのプログラムは、適当な記憶媒体またはデータ処理装置３００を構成するコンピュータの記憶装置に記憶され、データ処理装置３００を構成するコンピュータにより読み取られて実行される。

【0086】

データ処理装置３００は、次の２つの処理を行う。第１の処理は、撮影画像の明るさと色に関するキャリブレーションデータの取得に係る処理である。第２の処理は、枝肉の三次元データを求める処理である。第２の処理において、第１の処理で取得したキャリブレーションデータを利用しての撮影画像の明るさと色の補正が行われる。

【0087】

第１の処理と第２の処理に先立ち、図１に示すシステムにおいて、撮影空間１２０内をＹ軸の方向（搬送方向）に沿ってキャリブレーションターゲット２００を通過させ、次いで枝肉１０１を通過させる。枝肉１０１の後ろには、さらに複数の図示しない枝肉があり、次々と撮影空間１２０を通過させる。

【0088】

キャリブレーションターゲット２００と枝肉１０１が撮影空間１２０を通過するタイミングでカメラ群１１０によるキャリブレーションターゲット２００と枝肉１０１の撮影を行う。この際、各カメラは繰り返しの連続撮影を行う。ここで、各カメラにおける撮影間隔とキャリブレーションターゲット２００と枝肉１０１の搬送速度は、各カメラにおける時間軸上で隣接する撮影画像において、撮影対象であるキャリブレーションターゲット２００または枝肉１０１が一部で重複して撮影され、ステレオ画像となるように設定される。同様な撮影は、図示しない他の枝肉に対しても行われる。

【0089】

（１）キャリブレーションデータの取得
以下、第１の処理を説明する。図４は、第１の処理（明るさと色に関するキャリブレーションデータを取得する処理）の一例を示すフローチャートである。まず、キャリブレーションターゲット２００を撮影した画像データをカメラ群１１０の各カメラから取得する（ステップＳ１０１）。画像データは、図３の画像データ取得部３０１において行われる。

【0090】

次に、キャリブレーションターゲット２００の位置データの算出を行う（ステップＳ１０２）。この処理は、図３のキャリブレーションターゲットの位置算出部３０２において行われる。

【0091】

キャリブレーションターゲット２００の位置は、その中心軸（略円柱もしくは八角柱の中心軸）のＹ軸上における位置として把握される。ステップＳ１０２では、時刻Ｔ１における位置Ｙ１、時刻Ｔ２における位置Ｙ２、時刻Ｔ３における位置Ｙ３、時刻Ｔ４における位置Ｙ４・・・・を求める。

【0092】

この処理は、時刻Ｔ１に撮影した撮影画像群、時刻Ｔ２に撮影した撮影画像群、時刻Ｔ３に撮影した撮影画像群、時刻Ｔ４に撮影した撮影画像群、・・・を用いて行われる。

【0093】

時刻の間隔は、距離に換算して、例えば５ｃｍとする。各時刻（各位置）において三次元モデルが作成されるので、上記の時間の間隔が短いと、得られる三次元モデルの情報が多くなり、最終的に得られる三次元モデルの精度を高めることができる。また、より多くの視点を確保できる。ただし、扱うデータ量は多くなり、演算の負担も大きくなる。上記の時間の間隔が長いと逆の傾向となる。

【0094】

上記の場合、撮影空間１２０におけるＹ軸方向の５ｃｍ刻みの位置におけるキャリブレーションターゲット２００の位置が特定される。

【0095】

また、キャリブレーションターゲット２００の撮影画像から画像の明るさと色に関するキャリブレーションデータを取得する（ステップＳ１０３）。キャリブレーションデータは、上記のＹ１～Ｙｎ（ｎ＝１，２，３，・・）の各位置におけるものが取得される。この処理は、図３のキャリブレーションデータ取得部３０３において行われる。

【0096】

ステップＳ１０１～Ｓ１０３により、Ｙ１～Ｙｎ（ｎ＝１，２，３，・・）の各位置における明るさと色に関するキャリブレーションデータが得られる。

【0097】

（２）枝肉の三次元データを得るための処理
以下、枝肉の三次元データを得るための処理の手順の一例を示す。図５は枝肉の三次元データを得るための処理（第２の処理）の一例を示すフローチャートである。なお、以下では枝肉１０１を対象に説明を行うが、枝肉１０１の後ろ（Ｙ軸負の方向）にある他の枝肉についても同様の処理が行われる。

【0098】

まず、枝肉１０１の撮影画像の画像データを取得する（ステップＳ２０１）。この処理は、図１の画像データ受付部３０１において行われる。

【0099】

次に、枝肉１０１の位置の算出を行う（ステップＳ２０２）。この処理は、図３の枝肉の位置算出部３０４において行われる。枝肉１０１の位置は、吊り下げハンガー１０４のＹ軸上の位置として把握される。ここでは、枝肉１０１の位置を、ステップＳ２０１において得た撮影画像に基づいて算出する。枝肉１０１は移動しているので、各撮影タイミングに対応した枝肉１０１の位置が算出される。

【0100】

次に、ステップＳ２０１において取得した画像データに対して、キャリブレーションデータに基づく枝肉の撮影画像の明るさと色の補正を行う（ステップＳ２０３）。この処理は、図３のキャリブレーションデータに基づく撮影画像の明るさと色の補正部３０６において行われる。

【0101】

この補正は、キャリブレーションデータ取得時におけるキャリブレーションターゲット２００の位置と同じ位置（あるいは極力近い位置）に枝肉１０１が位置している状態で得た枝肉１０１の撮影画像に対して行われる。

【0102】

例えば、キャリブレーションデータが位置Ｙｃで得られているとする。つまり、位置Ｙｃにキャリブレーションターゲット２００が位置しているタイミングでキャリブレーションデータが得られているとする。この場合、Ｙｃに最も近い位置（理想的には同一位置）に枝肉１０１があるタイミングで枝肉１０１を撮影した画像を対象に明るさと色の補正（キャリブレーション）が行われる。

【0103】

キャリブレーションターゲット２００の撮影時の位置は、キャリブレーションターゲットの位置算出部３０２において算出され、枝肉１０１の撮影時の位置は、枝肉の位置算出部３０４において算出されている。したがって、上記Ｙｃに元も近い位置で撮影された枝肉１０１の画像データを特定できる。

【0104】

枝肉１０１の撮影画像に対するキャリブレーションは、複数の枝肉の位置における画像データを対象に行う。例えば、移動する枝肉１０１の第１の位置、第２の位置、・・・第ｎの位置において得た撮影画像に対して上記の明るさと色に関するキャリブレーションが行われる。このキャリブレーションを行った撮影画像に基づき、カラー画像化三次元モデルが作成される。

【0105】

次に、ステップＳ２０３の処理の対象となった撮影画像に対して、多視点からの撮影画像に基づく明るさと色の補正を行う（ステップＳ２０４）。この処理は、図３の多視点からの撮影画像に基づく撮影画像の明るさと色の補正部３０６において行われる。

【0106】

次に、枝肉のカラー画像化三次元モデルの作成を行う（ステップＳ２０５）。この処理は、図３のカラー画像化三次元モデルの作成部３０７において行われる。この処理は、ステップＳ２０４の処理の対象となった撮影画像に基づき行われる。

【0107】

（優位性）
本実施形態では、移動するキャリブレーションターゲットを撮影することで特定の位置においてキャリブレーションデータを得、移動する枝肉の前記特定の位置での撮影画像の明るさと色に関するキャリブレーションを上記のキャリブレーションデータを用いて行う。

【0108】

この場合、「枝肉位置＝キャリブレーションデータ取得位置」の条件で明るさと色彩に関するキャリブレーションが行われるので、位置の違いによるキャリブレーション条件の差に起因する補正誤差が抑えられる。これにより、移動する枝肉の撮影画像に対する明るさと色の補正を有効に行うことができる。

【0109】

また、本実施形態では、移動する枝肉を連続撮影するので、カメラの数を何倍にも増やした効果が得られる。このため、補正しきれない明るさ情報や色情報、イレギュラーな明るさ情報や色情報を利用せず、他のカメラ位置（視点）から撮影した画像の明るさ情報や色情報で補う等の処理が可能となる。また、同じ部位に関して視点の異なる多数の撮影画像が得られるので、その部位の明るさ情報や色情報を多数の撮影画像に基づく統計処理（平均化や中央値や最頻値の利用）により得、これにより明るさや色彩の情報の再現性を高めることができる。

【0110】

（摘要）
以上述べた技術は、撮影空間１２０を囲み、撮影空間１２０を移動する枝肉１０１を撮影するカメラ群１１０を用いた計測方法であって、撮影空間１２０を移動するキャリブレーションターゲット２００をカメラ群１１０により複数回撮影することで、キャリブレーションターゲット２００から見た複数の異なる視点からのキャリブレーションターゲット２００の撮影画像を得、キャリブレーションターゲット２００の撮影画像に基づき、複数の視点のそれぞれにおける明るさと色に関するキャリブレーションデータを得、キャリブレーションターゲットと同じ経路で撮影空間１２０内を移動する枝肉１０１をカメラ群１１０により複数回撮影して枝肉１０１の画像データを得、前記キャリブレーションデータにより、枝肉１０１の画像データの補正を行い、前記キャリブレーションデータを得たキャリブレーションターゲット２００の撮影空間１２０における位置と、前記画像データを得た枝肉１０１の撮影空間１２０における位置が同じ位置（または選択できる最も近い位置）であることを特徴とする。

【0111】

（実証試験結果）
以下、本発明の効果を確認する実証試験の結果を説明する。図７は、枝肉を全周から標準光源（Ｄ６５、昼光色）により照明した環境下において得たカラー画像化三次元モデルの図面代用写真である。

【0112】

図７のカラー画像化三次元モデルは以下のようにして得た。まず、図１のシステムにおける撮影空間１２０の中央の位置にキャリブレーションターゲット２００を配置してキャリブレーションデータを得た。このキャリブレーションデータは、照明装置１２１～１２４として上記標準光源を用いて取得した。

【0113】

次に、上記キャリブレーションデータを得たキャリブレーションターゲット２００の位置に枝肉１０１を配置し、カメラ群１１０によるカラー撮影を行い、図７に示すカラー画像化三次元モデルを作成した。この際、上記のキャリブレーションデータを用いて各撮影画像の明るさと色の補正を行った。

【0114】

図８は、図７のカラー画像化三次元モデルを得た条件において、Ｘ軸方向からの照明を緑色光源によるものに変更した場合に得たカラー画像化三次元モデルの図面代用写真である。なお、他の光源は標準光源を使用している。

【0115】

図８のカラー画像化三次元モデルは、Ｘ軸方向からの緑色の照明に関するキャリブレーションデータが利用されていないので、Ｘ軸方向からの緑色の照明の影響が表れている。

【0116】

図９は、図８のカラー画像化三次元モデルを得た条件において、本発明を用いての撮影画像の明るさと色の補正を行った場合に得たカラー画像化三次元モデルの図面代用写真である。

【0117】

以下、図９のカラー画像化三次元モデルを得た際の条件を説明する。まず、図８のカラー画像化三次元モデルを得た条件、すなわちＸ軸方向からの緑色の照明および他の方向からは標準光源からの照明が行われた条件において、撮影空間１２０の中央の位置にキャリブレーションターゲット２００を配置し、キャリブレーションデータを得た。

【0118】

次に、上記キャリブレーションターゲット２００を配置した位置（撮影空間１２０の中央の位置）に枝肉１０１を配置し、図８のカラー画像化三次元モデルを得た条件、すなわちＸ軸方向からの緑色の照明および他の方向からは標準光源からの照明が行われた条件下における枝肉１０１のカメラ群１１０によるカラー撮影を行った。

【0119】

次に、上記のカラー撮影により得た複数のカラー撮影画像に対する上記のキャリブレーションデータを用いた明るさと色の補正を行い、当該明るさと色の補正を行った複数のカラー撮影画像に基づくカラー画像化三次元モデルの作成を行った。このカラー画像化三次元モデルが図９に示されている。

【0120】

図９のカラー画像化三次元モデルでは、図８に示される緑色光源の影響が消え、図７に示す標準光源の照明下において得られたカラー画像化三次元モデルと同等の見た目が得られている。

【0121】

これは、緑色光源の影響を加味したキャリブレーションデータを用いた撮影画像の明るさと色の補正により、意図的な照明のムラである緑色照明の影響が是正されたことを示している。

【0122】

図７～図９に示す実証試験の結果から、本発明を利用することで、枝肉の正確な色の再現が可能なカラー画像化三次元モデルが得られることが確認できる。

【0123】

なお、図９のデータを得る過程において、キャリブレーションデータを得たキャリブレーションターゲット２００の位置と撮影時における枝肉１０１の位置がずれると、上記の補正効果に誤差が生じる。

【0124】

例えば、キャリブレーションデータを得たキャリブレーションターゲット２００の位置より、撮影時における枝肉１０１の位置がＹ軸の方向においてずれているとする。この場合、キャリブレーションターゲット２００と枝肉１０１のＸ軸およびＹ軸の方向に面する部分において、緑色の照明の当たり具合に違いが出る。このため、これらの部分におけるキャリブレーションデータによる緑色照明の影響が補正しきれず、緑色照明の影響が残る。この影響は、キャリブレーションデータを得たキャリブレーションターゲット２００の位置と撮影時における枝肉１０１の位置のずれが大きい程、強く出る傾向となる。

【0125】

（変形例１）
以下のような方法も可能である。例えば、枝肉の大きさと形状を複数に分類し、各分類に応じた形状と大きさのキャリブレーションターゲットを用意する。例えば、径の異なる略円柱状または多角柱形状のキャリブレーションターゲットを複数用意する。また、枝肉の形状と大きさに合わせ、上下方向の位置における径が異なる略円柱状または多角柱形状のキャリブレーションターゲットを複数用意する。この場合、図１において、各分類に応じた複数のキャリブレーションターゲットが並ぶ状態となる。そして、各キャリブレーションターゲットに関して、キャリブレーションデータを得る。

【0126】

枝肉の計測においては、カメラ群１１０が得た撮影画像に基づく三次元写真計測により、枝肉の大きさと形状のデータを得、上記の分類のどれに対応するかを判定し、利用するキャリブレーションターゲット（キャリブレーションデータ）を決める。これにより、枝肉の形状や寸法に応じたキャリブレーションデータを利用でき、キャリブレーションの精度を高めることができる。本変型例を後述の変形例２に適用することもできる。

【0127】

（変形例２）
吊り下げられた状態におけるキャリブレーションターゲットの形状を実際の枝肉に似せた形状とし、当該キャリブレーションターゲットのキャリブレーションデータの取得位置および水平方向における向きと、当該枝肉の撮影位置および水平方向における向きを合わせる方法も可能である。

【0128】

図６～図９に示すように、枝肉１０１の水平断面形状は、腹腔部分、肩部、臀部等がある関係で単純な形状ではなく、また背側・腹側において一定な形状ではない。この形状の複雑さの影響をキャリブレーションデータに取り込む方法として、キャリブレーションターゲット２００をより枝肉１０１の外観に似せた形状とする方法が考えられる。

【0129】

この場合、視点の位置によって、キャリブレーションターゲットの見た目の形状は異なる。例えば、図７（Ａ）と図７（Ｂ）は、視点の位置が水平方向において９０°異なり、枝肉の見た目は異なる。この場合、キャリブレーションデータを得たキャリブレーションターゲットの位置と撮影時の枝肉の位置を合わせても、図７（Ａ）の向きに対応するキャリブレーションターゲットの向きで得たキャリブレーションデータを、図７（Ｂ）の枝肉の向きで撮影した画像データに適用すると、明るさと色の修正に誤差が生じる。これは、向きの違いによる表面の凹凸の違いの影響があるからである。

【0130】

この誤差を低減するために、キャリブレーションデータの取得タイミングにおけるキャリブレーションターゲット２００の位置と撮影時の枝肉１０１の位置を合わせることに加えて、水平方向における向き（鉛直軸周りの角度位置）も合わせる。

【0131】

図１のシステムを利用する場合、撮影空間１２０内を移動するキャリブレーションターゲット２００の向きと枝肉１０１の向きを合わせる（一致あるいは略一致させる）。これにより、位置Ｙｎ（ｎ＝１，２，３，４・・）において行われるキャリブレーションデータの取得、および位置Ｙｎにおいて行われる枝肉の撮影において、キャリブレーションターゲット２００の向きと枝肉１０１の向きを合わせることができ、上記の向きの違いによるキャリブレーション時の誤差の発生を抑えることができる。

【0132】

キャリブレーションデータの取得タイミングにおけるキャリブレーションターゲット２００の水平方向における向き（鉛直軸周りの角度位置）と、撮影時の枝肉１０１の水平方向における向き（鉛直軸周りの角度位置）を合わせる方法として、以下の方法がある。

【0133】

第１の方法では、キャリブレーションターゲット２００と枝肉１０１の水平方向における向きの調整が可能な吊り下げ構造とし、水平方向における向きを合わせてキャリブレーションターゲット２００と枝肉１０１の搬送を行う。

【0134】

第２の方法では、水平方向における向きを異ならせた複数のキャリブレーションターゲットを用意し、各向きにおけるキャリブレーションデータを取得し、撮影時の枝肉１０１の向きに応じて、対応する向きのキャリブレーションデータを利用する。

【0135】

これらの方法によれば、キャリブレーションデータの取得タイミングにおけるキャリブレーションターゲット２００の水平方向における向きと、撮影時の枝肉１０１の水平方向における向きを合わせる（あるいは概略合わせる）ことができる。

【符号の説明】

【0136】

１０１…枝肉、１０３…搬送手段、１０４…ハンガー、１０５…レール、１１０…カメラ群、１２０…撮影空間、１２１～１２４…照明装置、２００…キャリブレーションターゲット、３００…データ処理装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】