(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-08-22
(45)【発行日】2022-08-30
(54)【発明の名称】画像処理装置、画像処理プログラム及び画像処理方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20220823BHJP
G06T 7/70 20170101ALI20220823BHJP
【ＦＩ】
G06T7/00 C
G06T7/70 Z
【請求項の数】
6
(21)【出願番号】P 2021524766
(86)(22)【出願日】2020-05-25
(86)【国際出願番号】 JP2020020532
(87)【国際公開番号】W WO2020246288
(87)【国際公開日】2020-12-10
【審査請求日】2021-05-10
(31)【優先権主張番号】P 2019107026
(32)【優先日】2019-06-07
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000148357
【氏名又は名称】株式会社前川製作所
(74)【代理人】
【識別番号】100165179
【弁理士】
【氏名又は名称】田▲崎▼ 聡
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(74)【代理人】
【識別番号】100211122
【弁理士】
【氏名又は名称】白石 卓也
(72)【発明者】
【氏名】海野 達哉
(72)【発明者】
【氏名】木村 憲一郎
【審査官】小太刀 慶明
(56)【参考文献】
【文献】中国特許出願公開第１０８０９０８７７（ＣＮ，Ａ）
【文献】国際公開第２０１３／１３６９９４（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１０／００５６８９８（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１５／０３３２４６４（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｖ ２０／００
(57)【特許請求の範囲】
【請求項1】
所定の姿勢と所定の形状を取る被写体の内部構造が所定区域内において撮像された透視画像、前記所定の姿勢との関係が既知である第一姿勢と、前記所定の形状との関係が既知である第一形状とを取る前記被写体の前記内部構造の一部が露出している露出位置を含む前記被写体の外観が前記所定区域内において撮像された第一参照画像、及び前記所定の姿勢と異なる第二姿勢と、前記所定の形状と異なる第二形状との少なくとも一方を取る前記被写体の前記露出位置を含む前記被写体の外観が前記所定区域とは異なる場所で撮像された第二参照画像を取得する取得部と、前記透視画像に描出されている前記被写体の特徴を示す特徴データを抽出し、前記第一参照画像に描出されている前記被写体の特徴を示す第一参照データを抽出し、前記第二参照画像に描出されている前記被写体の特徴を示す第二参照データを抽出し、前記第一参照データを使用して前記第一参照画像において前記特徴データにより示される特徴が位置する箇所を特定し、前記第一参照データから導出される前記被写体の前記第一姿勢と前記第二参照データから導出される前記被写体の前記第二姿勢との関係及び前記第一参照データから導出される前記被写体の前記第一形状と前記第二参照データから導出される前記被写体の前記第二形状との関係の少なくとも一方を使用して前記第二姿勢と、前記第二形状との少なくとも一方を取る前記被写体において前記特徴データにより示される特徴が位置する箇所を特定する特定部と、
を備える画像処理装置。
【請求項2】
前記特定部は、前記第一参照データを使用して前記第一姿勢を特定する処理及び前記第二参照データを使用して前記第二姿勢を特定する処理の少なくとも一方を実行する、請求項１に記載の画像処理装置。
【請求項3】
前記特定部は、前記被写体に所定の処理が施されても前記被写体における位置が一定のままである特徴を示す前記第一参照データ及び前記被写体に前記所定の処理が施されても前記被写体における位置が一定のままである特徴を示す前記第二参照データの少なくとも一方を抽出する、請求項２に記載の画像処理装置。
【請求項4】
前記特定部は、第一直線の上に位置する二つの第一特徴点及び前記第一直線の上に位置する点と異なる前記第一特徴点を示す前記第一参照データを抽出する処理及び第二直線の上に位置する二つの第二特徴点及び前記第二直線の上に位置する点と異なる前記第二特徴点を示す前記第二参照データを抽出する処理の少なくとも一方を実行する、請求項２又は請求項３に記載の画像処理装置。
【請求項5】
コンピュータに、所定の姿勢と所定の形状を取る被写体の内部構造が所定区域内において撮像された透視画像、前記所定の姿勢との関係が既知である第一姿勢と、前記所定の形状との関係が既知である第一形状とを取る前記被写体の前記内部構造の一部が露出している露出位置を含む前記被写体の外観が前記所定区域内において撮像された第一参照画像、及び前記所定の姿勢と異なる第二姿勢と、前記所定の形状と異なる第二形状との少なくとも一方を取る前記被写体の前記露出位置を含む前記被写体の外観が前記所定区域とは異なる場所で撮像された第二参照画像を取得する取得機能と、
前記透視画像に描出されている前記被写体の特徴を示す特徴データを抽出し、前記第一参照画像に描出されている前記被写体の特徴を示す第一参照データを抽出し、前記第二参照画像に描出されている前記被写体の特徴を示す第二参照データを抽出し、前記第一参照データを使用して前記第一参照画像において前記特徴データにより示される特徴が位置する箇所を特定し、前記第一参照データから導出される前記被写体の前記第一姿勢と前記第二参照データから導出される前記被写体の前記第二姿勢との関係及び前記第一参照データから導出される前記被写体の前記第一形状と前記第二参照データから導出される前記被写体の前記第二形状との関係の少なくとも一方を使用して前記第二姿勢と、前記第二形状との少なくとも一方を取る前記被写体において前記特徴データにより示される特徴が位置する箇所を特定する特定機能と、
を実現させる画像処理プログラム。
【請求項6】
所定の姿勢と所定の形状を取る被写体の内部構造が所定区域内において撮像された透視画像、前記所定の姿勢との関係が既知である第一姿勢と、前記所定の形状との関係が既知である第一形状とを取る前記被写体の前記内部構造の一部が露出している露出位置を含む前記被写体の外観が前記所定区域内において撮像された第一参照画像、及び前記所定の姿勢と異なる第二姿勢と、前記所定の形状と異なる第二形状との少なくとも一方を取る前記被写体の前記露出位置を含む前記被写体の外観が前記所定区域とは異なる場所で撮像された第二参照画像を取得する取得ステップと、前記透視画像に描出されている前記被写体の特徴を示す特徴データを抽出し、前記第一参照画像に描出されている前記被写体の特徴を示す第一参照データを抽出し、前記第二参照画像に描出されている前記被写体の特徴を示す第二参照データを抽出し、前記第一参照データを使用して前記第一参照画像において前記特徴データにより示される特徴が位置する箇所を特定し、前記第一参照データから導出される前記被写体の前記第一姿勢と前記第二参照データから導出される前記被写体の前記第二姿勢との関係及び前記第一参照データから導出される前記被写体の前記第一形状と前記第二参照データから導出される前記被写体の前記第二形状との関係の少なくとも一方を使用して前記第二姿勢と、前記第二形状との少なくとも一方を取る前記被写体において前記特徴データにより示される特徴が位置する箇所を特定する特定ステップと、
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理プログラム及び画像処理方法に関する。
【背景技術】
【0002】
近年、被写体を立体的に描出している立体画像と、当該被写体を描出している画像とを組み合わせて使用する技術が様々な分野で活用されている。例えば、特許文献１には、放射線透過画像において検査位置の透過像の位置を特定するステップと、透過像の位置から３次元画像における検査位置を特定するステップとを有する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１９－０６０８０８号公報
【0004】
しかし、特許文献１に係る技術は、被検査体である基板を保持した基板保持部と検出器とを放射線発生器に対して相対移動させて透過画像を複数取得し、これらの透過画像の全てに共通するパターンやマークの像の再構成画像上における位置を特定して検査面画像を決定している。つまり、特許文献１に係る技術は、複数の透過画像に共通するパターンやマークの像が無い限り、検査面画像を決定することができない。
【0005】
一方、例えば、食品加工の分野では、食品加工ラインのレイアウト、生産効率等に関する制約から、被写体の画像を撮像し、被写体にロボットアームによる搬送、カット等の処理を施した後、当該画像を使用することが要求されることがある。ところが、当該処理により被写体の姿勢及び形状の少なくとも一方が変化することがあるため、当該画像を使用し得ないことがある。
【発明の概要】
【発明が解決しようとする課題】
【0006】
そこで、本発明は、被写体の姿勢及び形状の少なくとも一方が変化する前に撮像された画像を被写体の姿勢及び形状の少なくとも一方が変化した後でも使用可能にすることができる画像処理装置、画像処理プログラム及び画像処理方法を提供することを課題とする。
【課題を解決するための手段】
【0007】
（１）上記課題を解決するために、本発明の一態様に係る画像処理装置は、所定の姿勢と所定の形状を取る被写体の内部構造が所定区域内において撮像された透視画像、前記所定の姿勢との関係が既知である第一姿勢と、前記所定の形状との関係が既知である第一形状とを取る前記被写体の前記内部構造の一部が露出している露出位置を含む前記被写体の外観が前記所定区域内において撮像された第一参照画像、及び前記所定の姿勢と異なる第二姿勢と、前記所定の形状と異なる第二形状との少なくとも一方を取る前記被写体の前記露出位置を含む前記被写体の外観が前記所定区域とは異なる場所で撮像された第二参照画像を取得する取得部と、前記透視画像に描出されている前記被写体の特徴を示す特徴データを抽出し、前記第一参照画像に描出されている前記被写体の特徴を示す第一参照データを抽出し、前記第二参照画像に描出されている前記被写体の特徴を示す第二参照データを抽出し、前記第一参照データを使用して前記第一参照画像において前記特徴データにより示される特徴が位置する箇所を特定し、前記第一参照データから導出される前記被写体の前記第一姿勢と前記第二参照データから導出される前記被写体の前記第二姿勢との関係及び前記第一参照データから導出される前記被写体の前記第一形状と前記第二参照データから導出される前記被写体の前記第二形状との関係の少なくとも一方を使用して前記第二姿勢と、前記第二形状との少なくとも一方を取る前記被写体において前記特徴データにより示される特徴が位置する箇所を特定する特定部と、を備える。
【0008】
（２）上記（１）の態様に係る画像処理装置において、前記特定部は、前記第一参照データを使用して前記第一姿勢を特定する処理及び前記第二参照データを使用して前記第二姿勢を特定する処理の少なくとも一方を実行してもよい。
【0009】
（３）上記（２）の態様に係る画像処理装置において、前記特定部は、前記被写体に所定の処理が施されても前記被写体における位置が一定のままである特徴を示す前記第一参照データ及び前記被写体に前記所定の処理が施されても前記被写体における位置が一定のままである特徴を示す前記第二参照データの少なくとも一方を抽出してもよい。
【0010】
（４）上記（２）又は（３）のいずれか一つの態様に係る画像処理装置において、前記特定部は、第一直線の上に位置する二つの第一特徴点及び前記第一直線の上に位置する点と異なる前記第一特徴点を示す前記第一参照データを抽出する処理及び第二直線の上に位置する二つの第二特徴点及び前記第二直線の上に位置する点と異なる前記第二特徴点を示す前記第二参照データを抽出する処理の少なくとも一方を実行してもよい。
【0011】
（５）上記課題を解決するために、本発明の一態様に係る画像処理プログラムは、コンピュータに、所定の姿勢と所定の形状を取る被写体の内部構造が所定区域内において撮像された透視画像、前記所定の姿勢との関係が既知である第一姿勢と、前記所定の形状との関係が既知である第一形状とを取る前記被写体の前記内部構造の一部が露出している露出位置を含む前記被写体の外観が前記所定区域内において撮像された第一参照画像、及び前記所定の姿勢と異なる第二姿勢と、前記所定の形状と異なる第二形状との少なくとも一方を取る前記被写体の前記露出位置を含む前記被写体の外観が前記所定区域とは異なる場所で撮像された第二参照画像を取得する取得機能と、前記透視画像に描出されている前記被写体の特徴を示す特徴データを抽出し、前記第一参照画像に描出されている前記被写体の特徴を示す第一参照データを抽出し、前記第二参照画像に描出されている前記被写体の特徴を示す第二参照データを抽出し、前記第一参照データを使用して前記第一参照画像において前記特徴データにより示される特徴が位置する箇所を特定し、前記第一参照データから導出される前記被写体の前記第一姿勢と前記第二参照データから導出される前記被写体の前記第二姿勢との関係及び前記第一参照データから導出される前記被写体の前記第一形状と前記第二参照データから導出される前記被写体の前記第二形状との関係の少なくとも一方を使用して前記第二姿勢と、前記第二形状との少なくとも一方を取る前記被写体において前記特徴データにより示される特徴が位置する箇所を特定する特定機能と、を実現させる。
【0012】
（６）上記課題を解決するために、本発明の一態様に係る画像処理方法は、所定の姿勢と所定の形状を取る被写体の内部構造が所定区域内において撮像された透視画像、前記所定の姿勢との関係が既知である第一姿勢と、前記所定の形状との関係が既知である第一形状とを取る前記被写体の前記内部構造の一部が露出している露出位置を含む前記被写体の外観が前記所定区域内において撮像された第一参照画像、及び前記所定の姿勢と異なる第二姿勢と、前記所定の形状と異なる第二形状との少なくとも一方を取る前記被写体の前記露出位置を含む前記被写体の外観が前記所定区域とは異なる場所で撮像された第二参照画像を取得する取得ステップと、前記透視画像に描出されている前記被写体の特徴を示す特徴データを抽出し、前記第一参照画像に描出されている前記被写体の特徴を示す第一参照データを抽出し、前記第二参照画像に描出されている前記被写体の特徴を示す第二参照データを抽出し、前記第一参照データを使用して前記第一参照画像において前記特徴データにより示される特徴が位置する箇所を特定し、前記第一参照データから導出される前記被写体の前記第一姿勢と前記第二参照データから導出される前記被写体の前記第二姿勢との関係及び前記第一参照データから導出される前記被写体の前記第一形状と前記第二参照データから導出される前記被写体の前記第二形状との関係の少なくとも一方を使用して前記第二姿勢と、前記第二形状との少なくとも一方を取る前記被写体において前記特徴データにより示される特徴が位置する箇所を特定する特定ステップと、を含む。
【発明の効果】
【0013】
本発明によれば、被写体の姿勢及び形状の少なくとも一方が変化する前に撮像された画像を被写体の姿勢及び形状の少なくとも一方が変化した後でも使用可能にすることができる。
【図面の簡単な説明】
【0014】
【図1】本発明の実施形態に係る食品加工ラインの一例を示す図である。
【図2】本発明の実施形態に係る画像処理装置の機能的な構成の一例を示す図である。
【図3】本発明の実施形態に係るＸ線画像から抽出された特徴点及び第一立体画像から抽出された第一特徴点の一例を示す図である。
【図4】本発明の実施形態に係る第二立体画像から抽出された第二特徴点の一例を示す図である。
【図5】本発明の実施形態に係る被写体及び当該被写体の特徴を描出しているＸ線画像の一例を示す図である。
【図6】本発明の実施形態に係る被写体及び当該被写体の特徴を描出している第一立体画像の一例を示す図である。
【図7】本発明の実施形態に係る被写体及び当該被写体の特徴を描出している第二立体画像の一例を示す図である。
【図9】本発明の実施形態に係る被写体及び当該被写体の特徴を描出している第二立体画像の一例を示す図である。
【図11】本発明の実施形態に係る画像処理装置が実行する処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0015】
図１から図１０を参照しながら、実施形態に係る画像処理装置について説明する。図１は、本発明の実施形態に係る食品加工ラインの一例を示す図である。図１に示すように、食品加工ライン１は、ベルトコンベア１１と、ベルトコンベア１２と、ベルトコンベア１３と、Ｘ線撮像装置２０と、第一立体画像撮像装置２１と、第二立体画像撮像装置２２と、多関節ロボット３１と、多関節ロボット３２とを備える。以下の説明では、被写体Ｐが恥骨、尾骨及びヒトの骨盤に相当する寛骨を含む豚もも肉である場合を例に挙げて説明する。
【0016】
ベルトコンベア１１、ベルトコンベア１２及びベルトコンベア１３は、いずれもベルトを回転させ被写体Ｐを搬送する。また、ベルトコンベア１１、ベルトコンベア１２及びベルトコンベア１３は、いずれも必要に応じてベルトを停止させることにより、被写体Ｐの搬送を停止させる。ベルトコンベア１１及びベルトコンベア１３は、被写体Ｐを真っ直ぐ搬送するベルトコンベアである。一方、ベルトコンベア１２は、被写体Ｐが搬送される方向を９０度変化させるベルトコンベアである。
【0017】
Ｘ線撮像装置２０は、ベルトコンベア１１で被写体Ｐを搬送中に、姿勢が変わらない状態で被写体ＰにＸ線を照射し、被写体ＰのＸ線画像を撮像する。Ｘ線撮像装置２０は、Ｘ線管及びＸ線検出器を備える。Ｘ線画像は、所定の姿勢及び所定の形状を取る被写体Ｐを描出している画像の一例であり、少なくとも被写体Ｐに含まれる肉及び骨を描出している。また、Ｘ線画像は、Ｘ線撮像装置２０の内部又は外部に設けられている記憶媒体に格納される。Ｘ線画像の使用方法は、後述する。また、Ｘ線撮像装置２０には、Ｘ線の漏洩を防ぎ、作業員や周囲に配置されている設備を防護するために設けられたＸ線遮蔽設備が付帯している。
【0018】
第一立体画像撮像装置２１は、ベルトコンベア１１上で静止し、Ｘ線撮像装置２０によりＸ線画像が撮像される姿勢と同一の姿勢及び同一の形状を取る被写体Ｐを立体的に描出する第一立体画像を撮像する。第一立体画像は、所定の姿勢との関係が既知である第一姿勢及び所定の形状との関係が既知である第一形状を取る被写体を描出している第一参照画像の一例である。また、第一立体画像は、例えば、各画素にＸ軸方向の奥行きを示すグレースケールが割り当てられている画像、各画素にＹ軸方向の奥行きを示すグレースケールが割り当てられている画像及び各画素にＺ軸方向の奥行きを示すグレースケールが割り当てられている画像を含む。ここで言うＸ軸、Ｙ軸及びＺ軸は、いずれも三次元座標を規定する座標軸である。第一立体画像は、第一立体画像撮像装置２１、Ｘ線撮像装置２０の内部又は外部に設けられている記憶媒体に格納される。第一立体画像の使用方法は、後述する。
【0019】
被写体Ｐは、Ｘ線撮像装置２０によるＸ線画像の撮像及び第一立体画像撮像装置２１による第一立体画像の撮像が完了した後、ベルトコンベア１１及びベルトコンベア１２により搬送させ、ベルトコンベア１３上に載置される。
【0020】
ベルトコンベア１３に載置された被写体Ｐの姿勢は、Ｘ線撮像装置２０によるＸ線画像の撮像及び第一立体画像撮像装置２１による第一立体画像の撮像が実行されている場合における被写体Ｐの姿勢と異なる。なぜなら、被写体Ｐの姿勢は、ベルトコンベア１１、ベルトコンベア１２又はベルトコンベア１３に搬送される際の振動、ベルトコンベア１１とベルトコンベア１２との継ぎ目又はベルトコンベア１２とベルトコンベア１３との継ぎ目を乗り越える際の振動により変化するからである。
【0021】
第二立体画像撮像装置２２は、ベルトコンベア１３上に載置された被写体Ｐを立体的に描出する第二立体画像を撮像する。また、第二立体画像撮像装置２２は、多関節ロボット３１及び多関節ロボット３２の少なくとも一方による処理を一時的に停止させた状態で第二立体画像を撮像する。第二立体画像は、上述した所定の姿勢と異なる第二姿勢及び上述した所定の形状と異なる第二形状の少なくとも一方を取る被写体Ｐを描出している第二参照画像の一例である。また、第二立体画像は、例えば、上述した第一立体画像と同様、各画素にＸ軸方向の奥行きを示すグレースケールが割り当てられている画像、各画素にＹ軸方向の奥行きを示すグレースケールが割り当てられている画像及び各画素にＺ軸方向の奥行きを示すグレースケールが割り当てられている画像を含む。また、第二立体画像は、Ｘ線画像が撮像された場所と異なる場所で撮像されている。第二立体画像の使用方法は、後述する。
【0022】
多関節ロボット３１は、例えば、垂直多関節型ロボットであり、先端に被写体Ｐを把持するために使用されるハンドが取り付けられている。多関節ロボット３２は、例えば、垂直多関節型ロボットであり、先端に被写体Ｐに含まれる肉をカットするために使用されるナイフが取り付けられている。多関節ロボット３１は、被写体Ｐを把持したり、移動させたりすることにより、被写体Ｐの位置及び姿勢を適宜調整する。多関節ロボット３２は、被写体Ｐの位置及び姿勢が調整された状態で被写体Ｐに含まれる肉をカットし、被写体Ｐから尾骨や寛骨を除去する。多関節ロボット３１及び多関節ロボット３２は、例えば、後述する画像処理装置１００により特定される第二立体画像内での特徴点の位置に基づいて、これらの処理を実行する。
【0023】
【0024】
画像処理装置１００が有する機能の少なくとも一部、取得部１０１及び特定部１０２は、回路部（circuitry）を含むハードウェアがソフトウェアプログラムを実行することにより実現される。ここで言うハードウェアは、例えば、ＣＰＵ（Central Processing Unit）、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）である。また、上述したプログラムは、記憶媒体を備える記憶装置に格納されている。ここで言う記憶媒体は、例えば、ＨＤＤ（Hard Disk Drive）、フラッシュメモリ、ＲＯＭ（Read Only Memory）、ＤＶＤ（Digital Versatile Disc）である。さらに、上述したプログラムは、画像処理装置１００が有する機能の一部を実現する差分プログラムであってもよい。
【0025】
取得部１０１は、所定の姿勢及び所定の形状を取る被写体Ｐを描出している画像を取得する。また、取得部１０１は、所定の姿勢との関係が既知である第一姿勢及び所定の形状との関係が既知である第一形状を取る被写体を描出している第一参照画像を取得する。例えば、取得部１０１は、所定の姿勢と同一の姿勢及び所定の形状と同一の形状を取る被写体Ｐを立体的に描出している第一立体画像を取得する。さらに、取得部１０１は、所定の姿勢と異なる第二姿勢及び所定の形状と異なる第二形状の少なくとも一方を取る被写体を描出している第二参照画像を取得する。例えば、取得部１０１は、所定の姿勢と異なる姿勢を取る被写体Ｐを立体的に描出している第二立体画像を取得する。ここで言う所定の姿勢は、例えば、Ｘ線撮像装置２０によるＸ線画像の撮像及び第一立体画像撮像装置２１による第一立体画像の撮像が実行されている場合における被写体Ｐの姿勢である。
【0026】
図３は、本発明の実施形態に係るＸ線画像から抽出された特徴点及び第一立体画像から抽出された第一特徴点の一例を示す図である。特定部１０２は、Ｘ線画像に描出されている被写体Ｐの特徴を示す特徴データを抽出する。例えば、特定部１０２は、Ｘ線画像に描出されている被写体Ｐ上の特徴点を示す特徴データを抽出する。ここで言う特徴点は、例えば、Ｘ線画像に描出されている被写体Ｐの骨Ｂと肉Ｎとの境界の形状の特徴を表している点である。特定部１０２は、例えば、図３に示した点Ｆ１１、点Ｆ１２、点Ｆ１３、点Ｆ１４及び点Ｆ１５を特徴点として示す特徴データを抽出する。なお、特定部１０２がＸ線画像から特徴データを抽出する手段は、特に限定されない。
【0027】
また、特定部１０２は、第一参照画像に描出されている被写体Ｐの特徴を示す第一参照データを抽出する。例えば、特定部１０２は、第一立体画像に描出されている被写体Ｐ上の第一特徴点を示す第一参照データを抽出する。ここで言う第一特徴点は、第一直線の上に位置する二つの点及び第一直線の上に位置する点と異なる点であり、被写体Ｐの表面に位置する点である。また、第一特徴点は、被写体Ｐに所定の処理、例えば、多関節ロボット３１及び多関節ロボット３２により実行される処理が施されても被写体Ｐにおける特徴点との位置関係が一定である点であることが好ましい。このような点の例として、尾骨切断面の端部に位置する点、恥骨の切断面の端部に位置する点が挙げられる。特定部１０２は、例えば、図３に示した点Ｃ１１、点Ｃ１２及び点Ｃ１３を第一特徴点として示す第一参照データを抽出する。なお、特定部１０２が第一立体画像から第一参照データを抽出する手段は、特に限定されない。
【0028】
次に、特定部１０２は、第一参照データを使用して第一参照画像において特徴データにより示される特徴が位置する箇所を特定する。例えば、特定部１０２は、第一特徴点を使用して第一立体画像における特徴点の位置を特定する。次に、特定部１０２は、図３に示した点Ｃ１１を原点とし、点Ｃ１１から点Ｃ１２に向かう座標軸を第一軸Ａ１１とし、点Ｃ１１から点Ｃ１３に向かう座標軸を第二軸Ａ１２とする。また、特定部１０２は、第一軸Ａ１１、第二軸Ａ１２及び第三軸Ａ１３が右手系を形成するように第三軸Ａ１３を決定する。そして、特定部１０２は、第一軸Ａ１１、第二軸Ａ１２及び第三軸Ａ１３により規定される三次元座標における点Ｆ１１、点Ｆ１２、点Ｆ１３、点Ｆ１４及び点Ｆ１５各々の座標を算出する。
【0029】
特定部１０２は、第一参照データから導出される被写体Ｐの第一姿勢を特定する。具体的には、特定部１０２は、図３に示した点Ｃ１１、点Ｃ１２及び点Ｃ１３を示す第一参照データを使用して第一立体画像により示される被写体Ｐの姿勢を特定する。また、特定部１０２は、第一参照データから導出される被写体Ｐの第一形状を特定する。例えば、特定部１０２は、第一参照画像にエッジ検出を施して検出された被写体Ｐの輪郭を被写体Ｐの第一形状として特定する。
【0030】
図４は、本発明の実施形態に係る第二立体画像から抽出された第二特徴点の一例を示す図である。特定部１０２は、第二参照画像に描出されている被写体Ｐの特徴を示す第二参照データを抽出する。例えば、特定部１０２は、第二立体画像に描出されている被写体Ｐ上の第二特徴点を示す第二参照データを抽出する。ここで言う第二特徴点は、第二直線の上に位置する二つの点及び第二直線の上に位置する点と異なる点であり、被写体Ｐの表面に位置する点である。また、第二特徴点は、第一特徴点と同様、被写体Ｐに所定の処理、例えば、多関節ロボット３１及び多関節ロボット３２により実行される処理が施されても被写体Ｐにおける特徴点との位置関係が一定である点であることが好ましい。特定部１０２は、例えば、図４に示した点Ｃ２１、点Ｃ２２及び点Ｃ２３を第二特徴点として示す第二参照データを抽出する。なお、特定部１０２が第二立体画像から第二参照データを抽出する手段は、特に限定されない。
【0031】
また、特定部１０２は、図４に示した点Ｃ２１を原点とし、点Ｃ２１から点Ｃ２２に向かう座標軸を第一軸Ａ２１とし、点Ｃ２１から点Ｃ２３に向かう座標軸を第二軸Ａ２２とする。また、特定部１０２は、第一軸Ａ２１、第二軸Ａ２２及び第三軸Ａ２３が右手系を形成するように第三軸Ａ２３を決定する。
【0032】
特定部１０２は、第二参照データから導出される被写体Ｐの第二姿勢を特定する。具体的には、特定部１０２は、図４に示した点Ｃ２１、点Ｃ２２及び点Ｃ２３を示す第二参照データを使用して第二立体画像により示される被写体Ｐの姿勢を特定する。また、特定部１０２は、第二参照データから導出される被写体Ｐの第二形状を特定する。例えば、特定部１０２は、第二参照画像にエッジ検出を施して検出された被写体Ｐの輪郭を被写体Ｐの第二形状として特定する。
【0033】
そして、特定部１０２は、第二姿勢及び第二形状の少なくとも一方を取る被写体Ｐにおいて特徴データにより示される特徴が位置する箇所を特定する。この時、特定部１０２は、第一参照データから導出される被写体Ｐの第一姿勢と第二立体画像から導出される被写体Ｐの第二姿勢との関係及び第一参照データから導出される被写体Ｐの第一形状と第二参照データから導出される被写体Ｐの第二形状との関係の少なくとも一方を使用する。また、この場合に特定部１０２により特定される箇所は、第二参照画像上の位置であってもよいし、第二姿勢及び第二形状の少なくとも一方を取る被写体を撮像したＸ線画像上の位置であってもよい。
【0034】
例えば、特定部１０２は、第一軸Ａ１１、第二軸Ａ１２及び第三軸Ａ１３により規定される三次元座標系と第一軸Ａ２１、第二軸Ａ２２及び第三軸Ａ２３により規定される三次元座標系との対応関係を導出する。そして、特定部１０２は、当該対応関係を使用して図３に示した点Ｆ１１、点Ｆ１２、点Ｆ１３、点Ｆ１４及び点Ｆ１５各々を図４に示した第一軸Ａ２１、第二軸Ａ２２及び第三軸Ａ２３により規定される三次元座標上の点Ｆ２１、点Ｆ２２、点Ｆ２３、点Ｆ２４及び点Ｆ２５に変換する。点Ｆ２１、点Ｆ２２、点Ｆ２３、点Ｆ２４及び点Ｆ２５は、多関節ロボット３１及び多関節ロボット３２が上述した処理を実行する際の基準となる。
【0035】
次に、特徴データにより示される被写体Ｐの特徴、第一参照データにより示される被写体Ｐの特徴、第二参照データにより示される被写体Ｐの特徴及び第二姿勢及び第二形状の少なくとも一方を取る被写体Ｐにおいて特徴データにより示される特徴が位置する箇所の一例について説明する。
【0036】
図５は、本発明の実施形態に係る被写体及び当該被写体の特徴を描出しているＸ線画像の一例を示す図である。図５に示した被写体は、骨と、当該骨の周りに付いている肉を含んでいる。図５に示した点Ａ、点Ｊ、点Ｃ、点Ｄ、点Ｅ、点Ｆ、点Ｇ、点Ｈ、点Ｎ８、点Ｃ５、点Ｃ４、点Ｎ７及び点Ｃ１は、いずれも特徴データにより示される特徴点の一例である。
【0037】
図６は、本発明の実施形態に係る被写体及び当該被写体の特徴を描出している第一立体画像の一例を示す図である。図６に示した第一立体画像は、図５に示した被写体と同じであり、当該被写体と同一の姿勢及び同一の形状を取る被写体の三次元的な外形を描出している画像である。図６に示した点ｃ１、点ｃ４、点ｃ５、点ｎ７及び点ｎ８は、いずれも第一参照データにより示される第一特徴点の一例であり、被写体の表面上に位置する骨の断面上の点である。
【0038】
図７は、本発明の実施形態に係る被写体及び当該被写体の特徴を描出している第二立体画像の一例を示す図である。図７に示した第二立体画像は、図５及び図６に示した被写体と同じであり、当該被写体と異なる姿勢及び異なる形状を取る被写体の三次元的な外形を描出している画像である。図７に示した点ｃ1、点ｃ４、点ｃ５、点ｎ７及び点ｎ８は、いずれも第二参照データにより示される第二特徴点の一例であり、被写体の表面上に位置する骨の断面上の点である。
【0039】
また、図７に示した点ｃ1、点ｎ７及び点ｎ８は、それぞれ三つの特徴点を使用した特徴ベースマッチングにより図６に示した点ｃ1、点ｎ７及び点ｎ８と対応付けられている。そして、これら三つの点の対応関係は、図６に示した第一立体画像に描出されている被写体の姿勢及び形状と、図７に示した第二立体画像に描出されている被写体の姿勢及び形状との関係を決定付けている。なお、特徴ベースマッチングは、複数の画像からエッジ、角等の特徴を抽出し、これらの特徴の関係から複数の画像間でのマッチングを実行する技術である。
【0040】
図８は、図７に示した被写体において特徴データにより示される特徴が位置する箇所の一例を示す図である。図８に示した画像は、図７に示した被写体と同じであり、当該被写体と同一の姿勢及び同一の形状を取る被写体を描出しているＸ線画像である。図８に示した点Ａ、点Ｊ、点Ｃ、点Ｄ、点Ｅ、点Ｆ、点Ｇ、点Ｈ、点Ｎ８、点Ｃ５、点Ｃ４、点Ｎ７及び点Ｃ１は、それぞれ図５に示した点Ａ、点Ｊ、点Ｃ、点Ｄ、点Ｅ、点Ｆ、点Ｇ、点Ｈ、点Ｎ８、点Ｃ５、点Ｃ４、点Ｎ７及び点Ｃ１と同じ点である。
【0041】
図９は、本発明の実施形態に係る被写体及び当該被写体の特徴を描出している第二立体画像の一例を示す図である。図９に示した第二立体画像は、図５及び図６に示した被写体と同じであり、当該被写体と異なる姿勢及び異なる形状を取る被写体の三次元的な外形を描出している画像である。ただし、図９に示した第二立体画像に描出されている被写体は、図７に示した第二立体画像に描出されている被写体よりも図５に示した被写体からの姿勢の変化及び形状の変化が大きい。図９に示した点ｃ４、点ｃ５及び点ｃ８は、いずれも第二参照データにより示される第二特徴点の一例であり、被写体の表面上に位置する骨の断面上の点である。
【0042】
また、図９に示した点ｃ４、点ｃ５及び点ｃ８は、それぞれ三つの特徴点を使用した特徴ベースマッチングにより図６に示した点ｃ４、点ｃ５及び点ｃ８と対応付けられている。そして、これら三つの点の対応関係は、図６に示した第一立体画像に描出されている被写体の姿勢及び形状と、図９に示した第二立体画像に描出されている被写体の姿勢及び形状との関係を決定付けている。
【0043】
図１０は、図９に示した被写体において特徴データにより示される特徴が位置する箇所の一例を示す図である。図１０に示した画像は、図９に示した被写体と同じであり、当該被写体と同一の姿勢及び同一の形状を取る被写体を描出しているＸ線画像である。図１０に示した点Ａ、点Ｊ、点Ｃ、点Ｄ、点Ｅ、点Ｆ、点Ｇ、点Ｈ、点Ｎ８、点Ｃ５、点Ｃ４、点Ｎ７及び点Ｃ１は、それぞれ図５に示した点Ａ、点Ｊ、点Ｃ、点Ｄ、点Ｅ、点Ｆ、点Ｇ、点Ｈ、点Ｎ８、点Ｃ５、点Ｃ４、点Ｎ７及び点Ｃ１と同じ点である。
【0044】
次に、図１１を参照しながら、実施形態に係る画像処理装置が実行する処理の一例を説明する。図１１は、本発明の実施形態に係る画像処理装置が実行する処理の一例を示すフローチャートである。なお、画像処理装置１００は、図１１に示した処理を多関節ロボット３１及び多関節ロボット３２による処理が実行される前に実行する。また、画像処理装置１００は、多関節ロボット３１及び多関節ロボット３２による処理を一時的に停止させて図１１に示した処理を実行してもよい。
【0045】
ステップＳ１０において、取得部１０１は、Ｘ線画像、第一参照画像及び第二参照画像を取得する。
【0046】
ステップＳ２０において、特定部１０２は、Ｘ線画像に描出されている被写体Ｐの特徴を示す特徴データを抽出する。
【0047】
ステップＳ３０において、特定部１０２は、第一参照画像に描出されている被写体Ｐの特徴を示す第一参照データを抽出する。
【0048】
ステップＳ４０において、特定部１０２は、第一参照データを使用して第一参照画像において特徴データにより示される特徴が位置する箇所を特定する。
【0049】
ステップＳ５０において、特定部１０２は、第二参照画像に描出されている被写体Ｐの特徴を示す第二参照データを抽出する。
【0050】
ステップＳ６０において、特定部１０２は、第一参照データから導出される被写体Ｐの第一姿勢と第二参照データから導出される被写体Ｐの第二姿勢との関係及び第一参照データから導出される被写体Ｐの第一形状と第二参照データから導出される被写体Ｐの第二形状との関係の少なくとも一方を使用して第二姿勢及び第二形状の少なくとも一方を取る被写体において特徴データにより示される特徴が位置する箇所を特定する。
【0051】
以上、実施形態に係る画像処理装置１００について説明した。画像処理装置１００は、画像に描出されている被写体Ｐから特徴データを抽出し、第一参照画像に描出されている被写体Ｐから第一参照データを抽出し、第二参照画像に描出されている被写体Ｐから第二参照データを抽出する。画像処理装置１００は、第一参照データを使用して第一参照画像において特徴データにより示される特徴が位置する箇所を特定する。そして、画像処理装置１００は、被写体Ｐの第一姿勢と被写体Ｐの第二姿勢との関係及び被写体Ｐの第一形状と被写体Ｐの第二形状との関係の少なくとも一方を使用して第二姿勢及び第二形状の少なくとも一方を取る被写体Ｐにおいて特徴データにより示される特徴が位置する箇所を特定する。
【0052】
また、画像処理装置１００は、第一参照データを使用して第一参照画像に描出されている被写体Ｐの第一姿勢を特定し、第二参照画像に描出されている被写体Ｐの第二姿勢を特定する。さらに、画像処理装置１００は、第一直線の上に位置する二つの第一特徴点及び第一直線の上に位置する点と異なる第一特徴点を示す第一参照データを抽出し、第二直線の上に位置する二つの第二特徴点及び第二直線の上に位置する点と異なる第二特徴点を示す第二参照データを抽出する。
【0053】
したがって、画像処理装置１００は、被写体Ｐの姿勢及び形状の少なくとも一方が変化する前に撮像された画像を被写体の姿勢及び形状の少なくとも一方が変化した後でも使用可能にすることができる。また、これにより、画像処理装置１００は、食品加工ライン１に適用された場合、食品加工ライン１のレイアウトの自由度を向上させることができる。すなわち、画像処理装置１００は、Ｘ線撮像装置やＸ線を遮蔽する設備の数を削減したりすることができる。
【0054】
また、画像処理装置１００は、被写体Ｐに所定の処理が施されても被写体Ｐにおける位置が一定のままである第一特徴点を抽出し、被写体Ｐに所定の処理が施されても被写体Ｐにおける位置が一定のままである第二特徴点の少なくとも一方を抽出する。したがって、画像処理装置１００は、被写体Ｐに所定の処理が施され、被写体Ｐの形状、位置、姿勢等が変化しても、第一特徴点や第二特徴点をより正確に抽出し、第一特徴点や第二特徴点を使用する処理をより正確に実行することができる。
【0055】
なお、上述した実施形態では、画像処理装置１００が所定の姿勢及び所定の形状を取る被写体Ｐを描出しているＸ線画像から特徴データを抽出する場合を例に挙げたが、これに限定されない。画像処理装置１００は、Ｘ線撮像装置２０を使用して撮像したＸ線画像ではなく、例えば、Ｘ線ＣＴ（Computed Tomography）装置を使用して被写体Ｐを撮像したＣＴ画像又は磁気共鳴イメージング（ＭＲＩ：Magnetic Resonance Imaging）装置を使用して被写体Ｐを撮像したＭＲＩ画像から特徴データを抽出してもよい。或いは、画像処理装置１００は、被写体Ｐを撮像した超音波画像、赤外線画像、マイクロ波画像、紫外線画像又はテラヘルツ画像から特徴データを抽出してもよい。
【0056】
また、特徴データが抽出される画像を撮像するＸ線撮像装置２０等の撮像装置は、被写体Ｐの姿勢及び形状の少なくとも一方が変化する場所が当該画像を撮像する場所と異なる場合であっても、食品加工ライン１上の一箇所のみに設置されていることが好ましい。なぜなら、食品加工ライン１は、このような撮像装置が複数設置された場合、全体の管理コストが増加してしまい、画像を生成する処理負荷が増加するため、生産効率が低下してしまうからである。
【0057】
また、このような撮像装置が放射線を出力する場合、食品加工ライン１は、多関節ロボット３１、多関節ロボット３２等のロボット等に使用されているアクチュエータが放射線により意図しない動作をしてしまうことを避けるため、放射線を遮蔽する設備を必要とする。このため、食品加工ライン１は、当該設備を設置するスペースを確保する必要に迫られ、当該設備の管理コストが全体の管理コストに加算されてしまう。さらに、放射線を遮蔽する設備が鉛等、食品への混入を避ける必要がある物質を含む場合、食品加工ライン１は、当該設備を設置することが困難になる。
【0058】
また、上述した実施形態では、第一立体画像が撮像される場所と第二立体画像が撮像される場所とが異なる場合を例に挙げたが、これに限定されない。すなわち、第一立体画像が撮像される場所と第二立体画像が撮像される場所とが同じであってもよい。
【0059】
また、上述した実施形態では、第一立体画像が第一立体画像撮像装置２１により撮像され、第二立体画像が第二立体画像撮像装置２２により撮像される場合を例に挙げたが、これに限定されない。すなわち、第一立体画像及び第二立体画像は、同一の撮像装置により撮像されてもよい。
【0060】
また、上述した実施形態では、特徴データが被写体Ｐ上の特徴点を示すデータである場合を例に挙げたが、これに限定されない。例えば、特徴データは、Ｘ線画像に描出されている被写体Ｐ上に位置する特徴的な領域である特徴領域、被写体Ｐの特徴的な形状である特徴形状を示すデータであってもよい。
【0061】
また、上述した実施形態では、第一参照データが被写体Ｐ上の第一特徴点を示すデータである場合を例に挙げたが、これに限定されない。例えば、第一参照データは、第一参照画像に描出されている被写体Ｐ上に位置する特徴的な領域である第一特徴領域、被写体Ｐの特徴的な形状である第一特徴形状を示すデータであってもよい。
【0062】
また、上述した実施形態では、第二参照データが被写体Ｐ上の第二特徴点を示すデータである場合を例に挙げたが、これに限定されない。例えば、第二参照データは、第二参照画像に描出されている被写体Ｐ上に位置する特徴的な領域である第二特徴領域、被写体Ｐの特徴的な形状である第二特徴形状を示すデータであってもよい。
【0063】
また、上述した実施形態では、第一参照画像が第一立体画像である場合を例に挙げて説明したが、これに限定されない。すなわち、第一参照画像は、被写体Ｐを立体的に描出している第一立体画像以外の画像であってもよい。
【0064】
また、上述した実施形態では、第二参照画像が第二立体画像である場合を例に挙げて説明したが、これに限定されない。すなわち、第二参照画像は、被写体Ｐを立体的に描出している第二立体画像以外の画像であってもよい。
【0065】
また、上述した実施形態では、第一立体画像及び第二立体画像に特徴ベースマッチングを適用して第一特徴点と第二特徴点とを対応付ける場合を例に挙げて説明したが、これに限定されない。画像処理装置１００は、第一立体画像及び第二立体画像に領域ベースマッチングを適用して第一特徴点と第二特徴点とを対応付けてもよい。領域ベースマッチングは、複数の画像間で類似している領域を探索し、当該領域を使用して複数の画像をマッチングさせる技術である。
【0066】
以上、本発明の実施形態について図面を参照しながら説明した。ただし、画像処理装置１００は、上述した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形、置換、組み合わせ又は設計変更を加えることができる。
【符号の説明】
【0067】
１００…画像処理装置、１０１…取得部、１０２…特定部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】