(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-14
(45)【発行日】2023-07-25
(54)【発明の名称】学習モデルの構築装置、学習モデルの構築方法及び学習モデルの構築プログラム
(51)【国際特許分類】
G01N 23/04 20180101AFI20230718BHJP
G01N 23/10 20180101ALI20230718BHJP
【FI】
G01N23/04
G01N23/10
(21)【出願番号】P 2019237491
(22)【出願日】2019-12-26
【審査請求日】2022-09-22
(73)【特許権者】
【識別番号】000202361
【氏名又は名称】綜合警備保障株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】田島 和博
(72)【発明者】
【氏名】井下田 吉男
【審査官】横尾 雅一
(56)【参考文献】
【文献】特開平07-073328(JP,A)
【文献】特開2016-134803(JP,A)
【文献】特開2010-257450(JP,A)
【文献】特開2013-210844(JP,A)
【文献】国際公開第2019/220825(WO,A1)
【文献】米国特許出願公開第2016/0189003(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 23/00 - G01N 23/2276
G06T 1/00
G06T 7/00 - G06T 7/90
G01J 3/00 - G01J 3/52
G01N 21/00 - G01N 21/61
G01N 21/84 - G01N 21/958
JSTPlus/JMEDPlus/JST7580(JDreamIII)
(57)【特許請求の範囲】
【請求項1】
第1の画像フォーマットの第1の画像情報を、色相情報、彩度情報及び輝度情報を含む第2の画像フォーマットの第2の画像情報に変換するフォーマット変換部と、
色相環上の所定の角度毎に前記色相情報を分割し、分割した角度毎に、前記色相情報、前記彩度情報及び前記輝度情報のヒストグラムを作成するヒストグラム作成部と、
第1の色合いに対応する前記色相情報、前記彩度情報及び前記輝度情報のヒストグラムで示される各画素値の出現率に、前記第1の色合いとは異なる第2の色合いに対応する前記色相情報、前記彩度情報及び前記輝度情報のヒストグラムで示される各画素値の出現率を合わせ込むための、前記色相情報、前記彩度情報及び前記輝度情報の色補正情報を作成する色補正情報作成部と、
前記色相情報、前記彩度情報及び前記輝度情報の各前記色補正情報を、前記第1の画像フォーマットに対応する色補正情報に変換する変換部と、
前記第1の色合いとは異なる第2の色合いの前記第1の画像フォーマットの第1の画像情報を、前記変換部により変換された各前記色補正情報に基づいて、前記第1の色合いの前記第1の画像情報に変換する色変換部と、
前記第1の色合いに変換された前記第1の画像情報を、オブジェクト判定用の前記第1の画像情報として記憶部に蓄積して記憶する学習部と
を有することを特徴とする学習モデルの構築装置。
【請求項2】
前記ヒストグラム作成部は、各画素値のヒストグラムのうち、画素値の数が所定数以上のヒストグラムの画素値の一部を、左右のヒストグラムに分散させて各前記ヒストグラムを作成すること
を特徴とする請求項1に記載の学習モデルの構築装置。
【請求項3】
フォーマット変換部が、第1の画像フォーマットの第1の画像情報を、色相情報、彩度情報及び輝度情報を含む第2の画像フォーマットの第2の画像情報に変換するフォーマット変換ステップと、
ヒストグラム作成部が、色相環上の所定の角度毎に前記色相情報を分割し、分割した角度毎に、前記色相情報、前記彩度情報及び前記輝度情報のヒストグラムを作成するヒストグラム作成ステップと、
色補正情報作成部が、第1の色合いに対応する前記色相情報、前記彩度情報及び前記輝度情報のヒストグラムで示される各画素値の出現率に、前記第1の色合いとは異なる第2の色合いに対応する前記色相情報、前記彩度情報及び前記輝度情報のヒストグラムで示される各画素値の出現率を合わせ込むための、前記色相情報、前記彩度情報及び前記輝度情報の色補正情報を作成する色補正情報作成ステップと、
変換部が、前記色相情報、前記彩度情報及び前記輝度情報の各前記色補正情報を、前記第1の画像フォーマットに対応する色補正情報に変換する変換ステップと、
色変換部が、前記第1の色合いとは異なる第2の色合いの前記第1の画像フォーマットの第1の画像情報を、前記変換部により変換された各前記色補正情報に基づいて、前記第1の色合いの前記第1の画像情報に変換する色変換ステップと、
学習部が、前記第1の色合いに変換された前記第1の画像情報を、オブジェクト判定用の前記第1の画像情報として記憶部に蓄積して記憶する学習ステップと、
を有することを特徴とする学習モデルの構築方法。
【請求項4】
コンピュータを、
第1の画像フォーマットの第1の画像情報を、色相情報、彩度情報及び輝度情報を含む第2の画像フォーマットの第2の画像情報に変換するフォーマット変換部と、
色相環上の所定の角度毎に前記色相情報を分割し、分割した角度毎に、前記色相情報、前記彩度情報及び前記輝度情報のヒストグラムを作成するヒストグラム作成部と、
第1の色合いに対応する前記色相情報、前記彩度情報及び前記輝度情報のヒストグラムで示される各画素値の出現率に、前記第1の色合いとは異なる第2の色合いに対応する前記色相情報、前記彩度情報及び前記輝度情報のヒストグラムで示される各画素値の出現率を合わせ込むための、前記色相情報、前記彩度情報及び前記輝度情報の色補正情報を作成する色補正情報作成部と、
前記色相情報、前記彩度情報及び前記輝度情報の各前記色補正情報を、前記第1の画像フォーマットに対応する色補正情報に変換する変換部と、
前記第1の色合いとは異なる第2の色合いの前記第1の画像フォーマットの第1の画像情報を、前記変換部により変換された各前記色補正情報に基づいて、前記第1の色合いの前記第1の画像情報に変換する色変換部と、
前記第1の色合いに変換された前記第1の画像情報を、オブジェクト判定用の前記第1の画像情報として記憶部に蓄積して記憶する学習部として機能させること、
を特徴とする学習モデルの構築プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、学習モデルの構築装置、学習モデルの構築方法及び学習モデルの構築プログラムに関する。
【背景技術】
【0002】
今日において、例えば空港又は工場等で、荷物又は製造物等を開被又は破壊することなく、収納物又は内部構造等を視認可能な物体検査装置が知られている。このような物体検査装置では、特許文献1(特開平11-230918号公報)に開示されているように、一例としてX線で撮像された透視画像が用いられる。
【0003】
透視画像は、検査を行う物体に照射したX線の減衰率(原子番号に応じて異なる)及び物体の密度に応じて着色される。また、複数の透視画像に基づいて、収納物又は内部構造等を学習した学習モデルが生成される。そして、この学習モデルに基づいて、検査時に撮像された透視画像で示される内容物又は内部構造等を判定して判定画像を表示する。検査員は、この判定画像に基づいて、荷物又は製造物等の内容物又は内部構造等を判断し、必要に応じて開被検査等を行う。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
判定精度の高い学習モデルの生成には多くの透視画像を必要とする。そこで、自ら撮影した透視画像だけでなく、第三者が撮影した透視画像を学習用の透視画像に加えることで、学習用の透視画像の数を増やすことが考えられる。
【0006】
しかし、今日において使用されている物体検査装置は、透視画像に対する着色処理が、物体検査装置のメーカ毎に異なる。このため、作成される学習モデルの色合いも、元となる透視画像を撮像した物体検査装置のメーカ毎に異なるものとなる。従って、例えばA社で製造された物体検査装置で撮像された透視画像と、B社で製造された物体検査装置の透視画像をそのままの色合いで学習モデルの生成に用いると、判定精度が低い学習モデルが生成されてしまうという問題があった。
【0007】
本発明は、上述の課題に鑑みてなされたものであり、透視画像に対する各メーカ間の着色処理の差を補正して内容物等の正確な判定結果を得ることを可能とした学習モデルの構築装置、学習モデルの構築方法及び学習モデルの構築プログラムの提供を目的とする。
【課題を解決するための手段】
【0008】
上述した課題を解決し、目的を達成するために、本発明は、第1の画像フォーマットの第1の画像情報を、色相情報、彩度情報及び輝度情報を含む第2の画像フォーマットの第2の画像情報に変換するフォーマット変換部と、色相環上の所定の角度毎に色相情報を分割し、分割した角度毎に、色相情報、彩度情報及び輝度情報のヒストグラムを作成するヒストグラム作成部と、第1の色合いに対応する色相情報、彩度情報及び輝度情報のヒストグラムで示される各画素値の出現率に、第1の色合いとは異なる第2の色合いに対応する色相情報、彩度情報及び輝度情報のヒストグラムで示される各画素値の出現率を合わせ込むための、色相情報、彩度情報及び輝度情報の色補正情報を作成する色補正情報作成部と、色相情報、彩度情報及び輝度情報の各色補正情報を、第1の画像フォーマットに対応する色補正情報に変換する変換部と、第1の色合いとは異なる第2の色合いの第1の画像フォーマットの第1の画像情報を、変換部により変換された各色補正情報に基づいて、第1の色合いの第1の画像情報に変換する色変換部と、第1の色合いに変換された第1の画像情報を、オブジェクト判定用の第1の画像情報として記憶部に蓄積して記憶する学習部と、を有する。
【発明の効果】
【0009】
本発明は、透視画像に対する各メーカ間の着色処理の差を補正して内容物等の正確な判定結果を得ることが可能な学習モデルを構築できる。
【図面の簡単な説明】
【0010】
【
図1】
図1は、実施の形態となる物体検査システムのシステム構成図である。
【
図2】
図2は、実施の形態となる物体検査システムに設けられている物体検査装置のハードウェア構成を示す図である。
【
図3】
図3は、実施の形態となる物体検査システムに設けられている解析装置のハードウェア構成を示す図である。
【
図4】
図4は、色補正テーブル作成部が色補正テーブル作成プログラムを実行することで、ソフトウェア的に実現される各機能の機能ブロック図である。
【
図5】
図5は、別機種画像の色補正用の色補正テーブルの作成工程の概要を示す図である。
【
図6】
図6は、別機種画像の色補正用の色補正テーブルにより色補正した別機種画像に基づいて、別機種画像で示される荷物の内容等を判定する判定動作の概要を示す図である。
【
図7】
図7は、色補正テーブルの作成動作の流れを示すフローチャートである。
【
図8】
図8は、RGB値をHLS値に変換する際に用いられる演算式を示す図である。
【
図9】
図9は、RGB値をHSV値に変換する際に用いられる演算式を示す図である。
【
図10】
図10は、色相Hの色補正テーブルの作成動作を説明するための図である。
【
図11】
図11は、色相Hの固定幅毎に輝度L及び彩度Sの色補正テーブルを作成する動作を説明するための図である。
【
図12】
図12は、ヒストグラムに画素数が集中している箇所が存在することで生ずる不都合を説明するための図である。
【
図13】
図13は、色補正テーブル形成部における、ヒストグラムの分散処理を説明するための図である。
【
図14】
図14は、HSV空間における色相Hと輝度値Vの特性を示す図である。
【
図15】
図15は、色補正テーブルにより色変換処理した別機種画像に基づく、物体の内容物等の判定動作の流れを示すフローチャートである。
【
図16】
図16は、主機種画像の色合いを、別機種画像の色合いに補正するための色補正テーブルの形成動作の流れを示すフローチャートである。
【
図17】
図17は、主機種となる物体検査装置において、主機種画像の色合いを、別機種画像の色合いに変換して、物体の内容物等の判定を行う判定動作の流れを示すフローチャートである。
【
図18】
図18は、主機種学習画像の学習動作を示す模式図である。
【
図19】
図19は、主機種学習画像に基づく内容物等の判定動作を示す図である。
【
図20】
図20は、別機種学習画像の学習動作を示す模式図である。
【
図21】
図21は、別機種学習画像に基づく内容物等の判定動作を示す図である。
【発明を実施するための形態】
【0011】
以下、図面を参照して、本発明の学習モデルの構築装置、学習モデルの構築方法及び学習モデルの構築プログラムを適用した実施の形態の物体検査システムを説明する。
【0012】
(システム構成)
図1は、実施の形態の物体検査システムのシステム構成図である。この
図1に示すように、物体検査システムは、物体検査装置1及び解析装置2を有している。物体検査装置1及び解析装置2は、有線又は無線で相互に接続されている。
【0013】
なお、物体検査装置1及び解析装置2は、例えばインターネット等のパブリック網又はLAN等のプライベート網を介して接続されていてもよい。また、この例では、物体検査装置1及び解析装置2を、それぞれ別の装置として説明するが、物体検査装置1に解析装置2の機能を設け、物理的に一つの装置(物体検査装置)としてもよい。
【0014】
物体検査装置1は、本体16、荷物4の入口16a及び荷物4の出口16bを有している。また,物体検査装置1は、モニタ装置14を有している。本体16は、入口16aから搬入された荷物4を、ローラコンベアにより出口16bまで移動させる間、荷物4に例えばX線を照射して透視画像を形成する。この透視画像は、解析装置2に送信される。
【0015】
解析装置2は、物体検査装置1により形成された複数の透視画像を学習することで、荷物4の内部の収納物等を判別するための学習画像を記憶している。物体検査装置1から透視画像が供給されると、解析装置2は、記憶している学習画像に基づいて、透視画像で示される荷物4の内部の収納物等を判定する。そして、この判定結果となる判定画像を、物体検査装置1のモニタ装置14に供給する。これにより、荷物4の内部の収納物等を示す判定画像をモニタ装置14に表示することができる。
【0016】
検査員は、この判定画像に基づいて荷物4の収納物を判断し、必要に応じて開被検査等を行う。
【0017】
(物体検査装置のハードウェア構成)
図2は、物体検査装置1のハードウェア構成を示す図である。この
図2に示すように、物体検査装置1は、荷物4に対してX線を照射するX線源21、入口16aから搬入された荷物4を出口16bまで移動させるローラコンベア22を有している。また、物体検査装置1は、荷物4を透過したX線を検出するX線検出器23、X線検出器23のX線検出出力に対応するRGBフォーマットの透視画像(RGB画像)を形成する画像処理部24を有している。透視画像(RGB画像)は、上述のように解析装置2に供給され、内部の収納物等の判定に用いられる。また、物体検査装置1は、解析装置2からの判定画像を表示するモニタ装置14を有している。
【0018】
なお、
図2に示すハードウェアのうち、例えば画像処理部24等の一部のハードウェアをソフトウェアで実現してもよい。
【0019】
(解析装置のハードウェア構成)
図3は、解析装置2のハードウェア構成を示す図である。この
図3に示すように、解析装置2は、取得部31、画像学習部32、色補正テーブル作成部33、記憶部34、色補正部35及び判定部36を有する。
【0020】
取得部31は、所定のメーカが製造している物体検査装置である主機種で形成された透視画像(主機種画像)を取得する。また、取得部31は、このような主機種を製造するメーカとは異なるメーカで製造された別機種で形成された透視画像(別機種画像)を取得する。
【0021】
画像学習部32は、複数の主機種画像を学習し、荷物4の内部の収納物等を判別するための学習画像(主機種学習画像)を記憶部34に記憶させる。この主機種学習画像は、学習される毎に追加されて、記憶部34に記憶される。また、この主機種学習画像は、別機種の透視画像の色合いを、主機種の透視画像の色合いに補正するための色補正テーブルを作成する際に用いられる。
【0022】
また、画像学習部32は、複数の別機種画像を学習し、荷物4の内部の収納物等を判別するための学習画像(別機種学習画像)を記憶部34に記憶させる。この別機種学習画像は、学習される毎に追加されて、記憶部34に記憶される。また、この別機種学習画像は、主機種の透視画像の色合いを、別機種の透視画像の色合いに補正するための色補正テーブルを作成する際に用いられる。
【0023】
色補正テーブル作成部33は、取得部31を介して取得された複数の別機種画像、及び、記憶部34に記憶されている主機種学習画像に基づいて、別機種画像の色合いを、主機種学習画像の色合いに色補正するための「別機種→主機種色補正テーブル」を作成して、記憶部34に記憶する。また、色補正テーブル作成部33は、取得部31を介して取得された複数の主機種画像、及び、記憶部34に記憶されている別機種学習画像に基づいて、主機種画像の色合いを、別機種学習画像の色合いに色補正するための「主機種→別機種色補正テーブル」を作成して、記憶部34に記憶する。
【0024】
記憶部34には、上述の主機種学習画像、別機種学習画像、別機種→主機種色補正テーブル及び主機種→別機種色補正テーブルの他、主機種及び別機種の透視画像を学習して、主機種学習画像及び別機種学習画像を作成するための「画像学習プログラム」が記憶されている。また、記憶部34には、色合いを補正した主機種の透視画像で示される内容物(オブジェクト)等の判定動作、及び、色合いを補正した別機種の透視画像で示される内容物等の判定動作を制御するための「画像判定プログラム」が記憶されている。さらに、記憶部34には、別機種→主機種色補正テーブル及び主機種→別機種色補正テーブルを作成するための「色補正テーブル作成プログラム」が記憶されている。
【0025】
色補正部35は、別機種→主機種色補正テーブルに基づいて、別機種の透視画像を、主機種の色合いの透視画像に補正する。また、色補正部35は、主機種→別機種色補正テーブルに基づいて、主機種の透視画像を、別機種の色合いの透視画像に補正する。
【0026】
解析部の一例である判定部36は、主機種の色合いに色補正された別機種画像の内容物等を主機種学習画像に基づいて判定し、判定画像をモニタ装置14に供給する。また、判定部36は、別機種の色合いに色補正された主機種画像の内容物等を別機種学習画像に基づいて判定し、判定画像をモニタ装置14に供給する。
【0027】
なお、
図3に示した各部31~36のうち、一部をソフトウェアで実現してもよい。
【0028】
(色補正テーブル作成部のソフトウェア構成)
図4は、色補正テーブル作成部33が、記憶部34に記憶されている色補正テーブル作成プログラムを実行することで、ソフトウェア的に実現される各機能の機能ブロック図である。この
図4に示すように、色補正テーブル作成部33は、色補正テーブル作成プログラムを実行することで、HLS変換部41、Hヒストグラム作成部42、固定幅分割部43及びSLヒストグラム作成部44の各機能を実現する。また、色補正テーブル作成部33は、色補正テーブル作成プログラムを実行することで、ランキング化部45、同率順位検出部46、変換テーブル形成部47及びRGB変換部48の各機能を実現する。各部41~48の詳細な動作は、後述する。
【0029】
(別機種画像の判定動作)
次に、別機種で形成された透視画像(別機種画像)の色合いを、主機種の透視画像の色合いに補正し、この色合いを補正した別機種画像及び主機種学習画像に基づいて、別機種画像で示される荷物の内容等を判定する判定動作を説明する。
【0030】
図5は、別機種画像の色補正用の色補正テーブルの作成工程の概要を示す図である。主機種となる物体検査装置1は、
図5(a)に示すように、撮像した複数の透視画像及び外部から供給された主機種となる物体検査装置1用の透視画像を学習して記憶部34に記憶している(主機種学習画像)。主機種となる物体検査装置1の色補正テーブル作成部33は、この主機種学習画像に基づいて、
図5(c)に示すように、色相(Hue)、輝度(Lightness)、彩度(Saturation)のHLSヒストグラムをそれぞれ作成する。
【0031】
また、色補正テーブル作成部33は、
図5(b)に示すように別機種の物体検査装置100からの未学習の画像(別機種未学習画像)に基づいて、
図5(d)に示すように、色相(Hue)、輝度(Lightness)、彩度(Saturation)のHLSヒストグラムをそれぞれ作成する。
【0032】
次に、色補正テーブル作成部33は、主機種学習画像から作成したHLSヒストグラムで示される各画素値の出現率と、別機種未学習画像から作成したHLSヒストグラムで示される各画素値の出現率とを比較する。主機種学習画像のHLSヒストグラムと、別機種未学習画像のHLSヒストグラムとの間において、出現率が同じであるということは、同じ画素値であることを意味する。このため、色補正テーブル作成部33は、主機種学習画像のHLSヒストグラムの出現率と同じ出現率となる別機種未学習画像のHLSヒストグラムの画素値を、その出現率の主機種学習画像の画素値に補正するための色補正情報を作成する。色補正テーブル作成部33は、このような色補正情報を、出現率毎及びHLSのヒストグラム毎に記憶させた色補正テーブル(別機種→主機種色補正テーブル)を作成する(
図5(e))。
【0033】
このような別機種→主機種色補正テーブルを作成することで、主機種となる物体検査装置1において、別機種未学習画像に基づく内容物等の判定を行うことができる。
図6が、この判定動作の概要を示す図である。
図6(a)に示すように、別機種の物体検査装置100で撮像された透視画像(別機種未学習画像)が、主機種の物体検査装置1に供給されると、主機種の物体検査装置1の色補正部35は、別機種→主機種色補正テーブルを参照して(
図6(b))、別機種の透視画像の色合いを、主機種の物体検査装置1用の色合いに補正する(
図6(c))。
【0034】
主機種の物体検査装置1の判定部36は、主機種の物体検査装置1用の色合いに補正された別機種の透視画像に基づいて、別機種の透視画像で示される物体の内容物等を判定する(
図6(d)、
図6(e))。これにより、主機種の物体検査装置1において、別機種の透視画像に基づき内容物等の正確な判定を行うことができる。
【0035】
(色補正テーブルの形成動作の詳細)
図7のフローチャートに、上述の色補正テーブルの作成動作の流れを示す。色補正テーブル作成部33は、記憶部34に記憶されている色補正テーブル作成プログラムを実行することで、
図4に示す各機能(HLS変換部41~RGB変換部48)に基づいて、
図7のフローチャートのステップS1から各処理を実行する。
【0036】
まず、ステップS1では、
図4に示すHLS変換部41が、記憶部34に記憶されている主機種の物体検査装置1の複数の主機種学習済み画像のRGB値をHLS値に変換し、Hヒストグラム作成部42が、
図5(c)に示したようなH(色相)のヒストグラムを作成する。すなわち、主機種学習済み画像の各画素値は、赤色(R)、緑色(G)、青色(B)のRGB色空間の値となっている。このため、HLS変換部41は、主機種学習済み画像のRGB色空間の値となっている各画素値を、色相(Hue)、輝度(Lightness)、彩度(Saturation)のHLS色空間の値に変換する(HLS変換処理)。Hヒストグラム作成部42は、HLS変換されたHLSの各値のうち、色相(Hue)のヒストグラムを形成する。
【0037】
図8は、RGB値をHLS値に変換する際に用いられる演算式を示す図である。この
図8に示すように、HLS変換部41は、RGBの各最大値(max)を「Vmax」とし、RGBの各最小値(min)を「Vmin」とし、「(Vmax+Vmin)/2」の演算を行うことで輝度Lを算出する。
【0038】
また、HLS変換部41は、算出した輝度Lの値が0.5未満の場合(L<0.5)、「(Vmax-Vmin)/(Vmax+Vmin)」の演算を行うことで彩度Sを算出する。これに対して、HLS変換部41は、算出した輝度Lの値が0.5以上の場合(L≧0.5)、「(Vmax-Vmin)/(2-(Vmax+Vmin))」の演算を行うことで彩度Sを算出する。
【0039】
また、HLS変換部41は、Rの値がVmaxである場合(Vmax=R)、「(60(G-B))/(Vmax-Vmin)」の演算を行うことで、色相Hを算出する。また、HLS変換部41は、Gの値がVmaxである場合(Vmax=G)、「(120+60(B-R))/(Vmax-Vmin)」の演算を行うことで、色相Hを算出する。また、HLS変換部41は、Bの値がVmaxである場合(Vmax=B)、「(240+60(R-G))/(Vmax-Vmin)」の演算を行うことで、色相Hを算出する。
【0040】
なお、主機種学習済み画像のRGB色空間の画像を、色相(Hue)、彩度(Saturation)、明度(Value)のHSV色空間の値に変換し、色相(Hue)のヒストグラムを形成してもよい(HSV変換)。
【0041】
HSV変換を行う場合、
図9に示すように、RGBの各最大値(max)を明度Vとする。また、このVの値が「0」ではない場合に、「(V-min(RGB))/V」の演算を行うことで彩度Sが算出される。また、Vの値が「0」の場合は、彩度Sも「0」とされる。
【0042】
また、Rの値がVである場合(V=R)、「(60(G-B))/(V-min(R,G,B))」の演算により、色相Hが算出される。また、Gの値がVである場合(V=G)、「(120+60(B-R))/(V-min(R,G,B))」の演算により、色相Hが算出される。また、Bの値がVである場合(V=B)、「(240+60(R-G))/(V-min(R,G,B))」の演算により、色相Hが算出される。
【0043】
次に、Hヒストグラム作成部42により、色相Hのヒストグラムが作成されると、ステップS2において、固定幅分割部43が、色相Hのヒストグラムを、色相環の例えば0度~29度、30度~59度、60度~89度・・・330度~359度の30度毎に12分割する。これにより、色相Hのヒストグラムを、赤色、赤黄色、黄色・・・・紫、赤紫等のように、同じ色合いの範囲毎に分割できる。なお、12分割は一例であり、色相Hのヒストグラムを、36度毎の10分割としてもよい。
【0044】
SLヒストグラム作成部44は、分割された色毎に、彩度S及び輝度Lのヒストグラムをそれぞれ作成する。これにより、主機種学習済み画像の色相Hのヒストグラム、及び、色相Hの固定幅毎(30度毎)の彩度S及び輝度Lのヒストグラムがそれぞれ作成されたこととなる。
【0045】
次に、ステップS3において、
図4に示すHLS変換部41が、別機種の物体検査装置の複数の別機種未学習画像のRGB値をHLS値に変換し、Hヒストグラム作成部42が、
図5(d)に示したようなH(色相)のヒストグラムを、上述と同様に作成する。
【0046】
Hヒストグラム作成部42により、別機種未学習画像の色相Hのヒストグラムが作成されると、ステップS4において、固定幅分割部43が、別機種未学習画像の色相Hのヒストグラムを、色相環の例えば0度~29度、30度~59度、60度~89度・・・の固定幅毎に分割する。SLヒストグラム作成部44は、分割された色相Hの固定幅毎に、別機種未学習画像の彩度S及び輝度Lのヒストグラムをそれぞれ作成する。
【0047】
これにより、別機種未学習画像の色相Hのヒストグラム、及び、各色相Hの固定幅毎の彩度S及び輝度Lのヒストグラムがそれぞれ作成されたこととなる。
【0048】
次に、ステップS5において、ランキング化部45が、主機種学習画像の色相H、彩度S及び輝度Lのヒストグラム、及び、別機種未学習画像の色相H、彩度S及び輝度Lのヒストグラムに現れている画素値毎の出現率を、
図10に示すようにランキング化する。また、ステップS6において、同率順位検出部46が、ランキング化された各画素値のうち、同率順位の画素値を検出する。そして、変換テーブル形成部47が、ランキング化された各画素値に基づいて、別機種未学習画像の色相H、彩度S及び輝度Lの各画素値を、主機種学習画像の色相H、彩度S及び輝度Lの各画素値に対応させた、別機種画像の色相H、彩度S、輝度Lの各画素値を補正するための色補正テーブル(変換テーブル)を形成する。
【0049】
図10の例を用いて具体的に説明すると、この
図10の例の場合、主機種学習画像の色相Hのヒストグラムには、4の画素値が2つ存在し(2つが同率1位)、5の画素値が5つ存在し(5つが同率3位)、6の画素値が6つ存在(6つが同率8位)している例を示している。
【0050】
また、この
図10の例の場合、別機種未学習画像の色相Hのヒストグラムには、1の画素値が2つ存在し(2つが同率1位)、2の画素値が4つ存在し(4つが同率3位)、5の画素値が4つ存在し(4つが同率7位)、6の画素値が3つ存在(3つが同率11位)している例を示している。
【0051】
変換テーブル形成部47は、まず、別機種未学習画像の色相Hの各順位の画素値を、主機種学習画像に対応する順位の画素値に変換するためのHの色補正テーブルを形成する。すなわち、
図10の例の場合、主機種学習画像の色相Hのヒストグラムで出現率が1位となっている画素の画素値は「4」であり、別機種未学習画像の色相Hのヒストグラムで出現率が1位となっている画素の画素値は「1」である。このため、変換テーブル形成部47は、別機種未学習画像で出現率が1位となっている「1」の画素値を、主機種学習画像で出現率が1位となっている「4」の画素値に変換する色補正情報を色補正テーブルに記憶させる(画素値1→画素値4)。
【0052】
なお、別機種未学習画像の「0」の画素値は、主機種学習画像においても「0」の画素値に変換される(0→0)。また、一例ではあるが、色補正テーブルに記憶される色補正情報は、8ビットの情報として記憶される。
【0053】
同様に、
図10の例の場合、主機種学習画像の色相Hのヒストグラムで出現率が3位となっている画素の画素値は「5」であり、別機種未学習画像の色相Hのヒストグラムで出現率が3位から7位までの画素の画素値は「2」から「5」である。このため、変換テーブル形成部47は、別機種未学習画像の色相Hのヒストグラムで出現率が3位となっている「2」から「5」の画素値を、主機種学習画像の色相Hのヒストグラムで出現率が3位となっている「5」の画素値に変換する色補正情報を色補正テーブルに記憶させる(画素値2→画素値5、画素値3→画素値5、画素値4→画素値5、画素値5→画素値5)。
【0054】
同様に、
図10の例の場合、主機種学習画像の色相Hのヒストグラムで出現率が8位となっている画素の画素値は「6」であり、別機種未学習画像の色相Hのヒストグラムで出現率が11位となっている画素の画素値は「6」である。このため、変換テーブル形成部47は、別機種未学習画像の色相Hのヒストグラムで出現率が11位となっている「6」の画素値を、主機種学習画像の色相Hのヒストグラムで出現率が8位となっている「6」の画素値に変換する色補正情報を色補正テーブルに記憶させる(画素値6→画素値6)。
【0055】
次に、変換テーブル形成部47は、
図11に示すように、0度~29度、30度~59度、60度~89度・・・の色相Hに対応する輝度Lの色補正テーブルを、上述の色相Hの色補正テーブルと同様に、別機種未学習画像の輝度Lのヒストグラム及び主機種学習画像の輝度Lのヒストグラムに基づいて作成する。色相Hの0度~29度の範囲、30度~59度の範囲、60度~89度の範囲・・・は、略同じ色合いの範囲である。このため、同じ色毎に、別機種未学習画像の輝度Lを、主機種学習画像の輝度Lに変換するための色補正テーブルが作成されることとなる。
【0056】
また、変換テーブル形成部47は、
図11に示すように、0度~29度、30度~59度、60度~89度・・・の色相Hに対応する彩度Sの色補正テーブルを、上述の色相Hの色補正テーブルと同様に、別機種未学習画像の彩度Sのヒストグラム及び主機種学習画像の彩度Sのヒストグラムに基づいて作成する。色相Hの0度~29度の範囲、30度~59度の範囲、60度~89度の範囲・・・は、略同じ色合いの範囲である。このため、同じ色毎に、別機種未学習画像の彩度Sを、主機種学習画像の彩度Sに変換するための色補正テーブルが作成されることとなる。
【0057】
(色補正テーブル形成時の調整動作)
ここで、一部に画素値が集中しているヒストグラムから色相H、輝度L及び彩度Sの色補正テーブルを形成すると、正確な色補正テーブルとは、ならない不都合を生ずる。
【0058】
すなわち、
図12の例を用いて説明すると、主機種学習画像のヒストグラムでは、「0」の画素値の画素の出現率が1位であるため、別機種未学習画像のヒストグラムで出現率が1位となっている「1」の画素値の6つの画素が、色補正テーブルにより、「0」の画素値の画素に変換される。
【0059】
同様に、
図12の例において、主機種学習画像のヒストグラムでは、「5」の画素値の画素の出現率が7位であるため、別機種未学習画像のヒストグラムで出現率が7位及び9位の「3」及び「5」の画素値の7つの画素が、色補正テーブルにより、「5」の画素値の画素に変換される。これにより、別機種未学習画像のヒストグラムを色補正テーブルで変換することで、主機種学習画像のヒストグラムとは異なるヒストグラムとなる不都合を生ずる。
【0060】
このため、変換テーブル形成部47は、
図13(a)に示すように別機種未学習画像のヒストグラムのうち、所定数以上集中している画素値を、
図13(b)に示すように左右の画素値に分散させる(=ノイズを重畳させる)。
【0061】
すなわち、
図13(a)の例は、「1」の画素値が6つ存在し、「5」の画素値が5つ存在し、それぞれ所定数以上となっている。このため、変換テーブル形成部47は、
図13(b)に示すように、画素値が「1」の6つの画素のうち、1つを「0」の画素値とし、さらに一つを、「3」の画素値に分散させる。同様に、変換テーブル形成部47は、
図13(b)に示すように、画素値が「5」の5つの画素のうち、1つを「4」の画素値とし、さらに一つを、「6」の画素値に分散させる。
【0062】
ノイズ重畳前(分散前)は、
図13(c)に示す主機種学習画像のヒストグラムに基づく色補正テーブルにより、
図13(d)に示すように、同じ画素値が集中する不都合が生じていた。
【0063】
しかし、ノイズを重畳させて色補正テーブルを形成することで、別機種画像のヒストグラムを、
図13(e)に示すように、主機種学習画像のヒストグラムに近似させることができる。
【0064】
このように色相H、輝度L及び彩度Sの色補正テーブルが形成されると、
図7のフローチャートのステップS7において、
図4に示すRGB変換部48が、色相H、輝度L及び彩度Sの色補正テーブルのHLS値をRGB値に変換して各色補正テーブルに記憶し直す。これにより、別機種画像を主機種画像の色合いに補正するための、R用の色補正テーブル、G用の色補正テーブル、B用の色補正テーブルがそれぞれ形成され、
図7のフローチャートに示した色補正テーブルの形成動作が終了する。各色用の色補正テーブルは、「別機種→主機種色補正テーブル」として、
図3に示した記憶部34に記憶される。
【0065】
(HSV値を用いた場合の色補正テーブルの形成動作)
上述の色補正テーブルの形成動作の説明は、色相H、輝度L及び彩度Sの各画素値を用いた場合の説明であった。上述のように、色相H、輝度L及び彩度Sの代りに、色相H,彩度S、輝度(明度)Vの各画素値を用いてもよい。
【0066】
まず、
図14に、HSV空間における色相Hと輝度値Vの特性を示す。この
図14に示すように、物体を構成する物質の原子番号が高くなると色相Hの値が高くなり、物体の厚みが厚くなると輝度値Vが高くなる。ただ、部品の劣化ノイズ又はJPEG(Joint Photographic Experts Group)画像の圧縮ノイズ等により、色相H及び輝度値Vの各値は、単調増加(機種間で現れる色合いの登場順が同じであること)とはならず、X線が透過しない物体は、有機物と同じ値となる場合が多い。
【0067】
すなわち、実施の形態の物体検査システムにおいては、HSVの各画素値は単調増加すると仮定しているが、白、黒、灰色に近い値は、色相Hの値が変わり易く、単調増加を仮定することが困難となる。
【0068】
具体的には、黒色(0,0,0)にノイズが「1」重畳しただけで、色相Hの値は、以下のように大きく変動する。
【0069】
RGB=(1,0,0)→H=0(赤)
RGB=(0,1,0)→H=120(緑)
RGB=(0,0,1)→H=240(青)
【0070】
このため、HSV値を用いる場合、輝度値Vが50以下の画素を、一旦、紫色(色相H=300度)の画素に変換し、この変換した画素を、色補正テーブルの作成後にオレンジ色に変換して戻し、画素値を黒に近づける処理を行っている。
【0071】
具体的には、HSV値を用いる場合、色補正テーブル作成部33は、まず、主機種学習画像の全てのRGB画像にノイズを重畳してHSV空間の画像情報に変換する。そして、輝度値が50以下の画素をH=150(紫)に変換し、上述と同様に、色相H,彩度S,輝度値Vのヒストグラムをそれぞれ作成する。また、変換テーブル形成部47は、色相H,彩度S,輝度値Vのヒストグラムに基づいて、各画素の出現率のランキングを作成する。
【0072】
次に、変換テーブル形成部47は、別機種未学習画像の全ての画像にノイズを重畳して、HSV空間へ変換し、輝度値が50以下の画素をH=150(紫)に変換する。そして、上述と同様に、色相H,彩度S,輝度値Vのヒストグラムをそれぞれ作成する。また、変換テーブル形成部47は、色相H,彩度S,輝度値Vのヒストグラムに基づいて、各画素の出現率のランキングを作成する。
【0073】
次に、変換テーブル形成部47は、上述と同様に、ランキングに基づいて、別機種未学習画像の色相Hのヒストグラムを、主機種学習画像の色相Hのヒストグラムに変換するための色補正テーブルを形成する。また、変換テーブル形成部47は、色相Hを上述のように例えば30度毎の固定幅に分割し、別機種未学習画像の彩度Sのヒストグラムを、主機種学習画像の彩度Sのヒストグラムに変換するための色補正テーブル、及び、別機種未学習画像の輝度値Vのヒストグラムを、主機種学習画像の輝度値Vのヒストグラムに変換するための色補正テーブルを、固定幅毎に形成する。
【0074】
次に、変換テーブル形成部47は、紫色に変換した画素をオレンジ色に変換することで、画素値を黒に近似させる(輝度値を例えば1/3にする)。これにより、白、黒、灰色に近い値に対して、ノイズの重畳による色相Hの値の大幅な変動を防止でき、HSVの各画素値の単調増加を維持できる。
【0075】
なお、別機種未学習画像がエッジ強調処理されている場合、変換テーブル形成部47は、ぼかし処理を行う。
【0076】
(判定動作)
次に、
図15のフローチャートに、主機種となる物体検査装置1における判定動作の流れを示す。この
図15のフローチャートに示す各部の動作は、記憶部34に記憶されている画像判定プログラムに基づく動作である。すなわち、まず、
図3に示す取得部31が、取得された画像が(
図6(a)参照)、別機種画像であるか否かを判別する(ステップS11)。取得された画像が主機種画像である場合(ステップS11:No)、処理がステップS13に進む。取得された画像が別機種画像である場合(ステップS11:Yes)、処理がステップS12に進む。
【0077】
ステップS12では、色補正部35が、取得された別機種画像の各画素値を、記憶部34に記憶されている別機種→主機種変換テーブルで示される各画素値に変換処理する(
図6(b)、
図6(c)参照)。これにより、別機種画像の色合いを、主機種画像の色合いに変換処理することができる。
【0078】
次に、判定部36は、記憶部34に記憶されている主機種学習画像に基づいて、色合いが変換処理された別機種画像で示される物体の内容物等、又は、ステップS11で取得された主機種画像で示される物体の内容物等の判定を行う(
図6(d)、
図6(e)参照)。そして、判定部36は、この判定結果となる判定画像を、
図1及び
図2に示す物体検査装置1のモニタ装置14に送信する。
【0079】
図6(e)に示す例は、荷物の中に、危険物となるナイフが含まれていた場合の判定画像の一例である。別機種画像に基づく判定を行う場合でも、別機種→主機種変換テーブルにより、別機種画像の色合いが主機種画像の色合いに変換されているため、判定部36で別機種画像用の特別な判定動作を行わなくても、通常の主機種用の判定動作を行うだけで、正確な判定を行うことができる。検査員は、このような判定画像に基づいて、開被検査の有無を判断し、必要に応じて荷物の開被検査等を行う。
【0080】
(主機種画像の色補正テーブルの形成動作)
上述の説明は、別機種画像の色合いを、主機種画像の色合いに補正する色補正テーブルを形成する例であったが、主機種画像の色合いを、別機種画像の色合いに補正する色補正テーブルを形成することもできる。
図16が、この主機種画像の色補正用の色補正テーブルの形成動作の流れを示すフローチャートである。色補正テーブル作成部33は、記憶部34に記憶されている色補正テーブル作成プログラムを実行することで、
図4に示す各機能(HLS変換部41~RGB変換部48)に基づいて、
図16のフローチャートのステップS21から各処理を実行する。
【0081】
まず、ステップS21では、
図4に示すHLS変換部41が、記憶部34に記憶されている別機種の物体検査装置の複数の別機種画像のRGB値をHLS値に変換し、Hヒストグラム作成部42が、
図5(c)に示したH(色相)のヒストグラムを作成する。
【0082】
次に、Hヒストグラム作成部42により、色相Hのヒストグラムが作成されると、ステップS22において、固定幅分割部43が、色相Hのヒストグラムを、色相環の例えば0度~29度、30度~59度、60度~89度・・・330度~359度の30度毎に12分割する。
【0083】
SLヒストグラム作成部44は、分割された色毎に、彩度S及び輝度Lのヒストグラムをそれぞれ作成する。これにより、別機種画像の色相Hのヒストグラム、及び、色相Hの固定幅毎(30度毎)の彩度S及び輝度Lのヒストグラムがそれぞれ作成されたこととなる。
【0084】
次に、ステップS23において、
図4に示すHLS変換部41が、主機種の物体検査装置1の複数の主機種画像のRGB値をHLS値に変換し、Hヒストグラム作成部42が、
図5(d)に示したようなH(色相)のヒストグラムを、上述と同様に作成する。
【0085】
Hヒストグラム作成部42により、主機種画像の色相Hのヒストグラムが作成されると、ステップS24において、固定幅分割部43が、主機種画像の色相Hのヒストグラムを、例えば0度~29度、30度~59度、60度~89度・・・の固定幅毎に分割する。SLヒストグラム作成部44は、分割された色相Hの固定幅毎に、主機種画像の彩度S及び輝度Lのヒストグラムをそれぞれ作成する。
【0086】
これにより、主機種未学習画像の色相Hのヒストグラム、及び、各色相Hの固定幅毎の彩度S及び輝度Lのヒストグラムがそれぞれ作成されたこととなる。
【0087】
次に、ステップS25において、ランキング化部45が、主機種画像の色相H、彩度S及び輝度Lのヒストグラム、及び、別機種画像の色相H、彩度S及び輝度Lのヒストグラムに現れている画素値毎の出現率を、
図10に示すようにランキング化する。また、ステップS26において、同率順位検出部46が、ランキング化された各画素値のうち、同率順位の画素値を検出する。そして、変換テーブル形成部47が、ランキング化された各画素値に基づいて、主機種画像の色相H、彩度S及び輝度Lの各画素値を、別機種画像の色相H、彩度S及び輝度Lの各画素値に対応させた、主機種画像の色相H、彩度S、輝度Lの各画素値を補正するための色補正テーブル(変換テーブル)を形成する。
【0088】
次に、変換テーブル形成部47は、
図11に示したように、0度~29度、30度~59度、60度~89度・・・の色相Hに対応する輝度Lの色補正テーブルを、上述の色相Hの色補正テーブルと同様に、主機種画像の輝度Lのヒストグラム及び別機種画像の輝度Lのヒストグラムに基づいて作成する。色相Hの0度~29度の範囲、30度~59度の範囲、60度~89度の範囲・・・は、略同じ色合いの範囲である。このため、同じ色毎に、主機種画像の輝度Lを、別機種画像の輝度Lに変換するための色補正テーブルが形成されることとなる。
【0089】
また、変換テーブル形成部47は、
図11に示したように、0度~29度、30度~59度、60度~89度・・・の色相Hに対応する彩度Sの色補正テーブルを、上述の色相Hの色補正テーブルと同様に、主機種画像の彩度Sのヒストグラム及び別機種画像の彩度Sのヒストグラムに基づいて作成する。色相Hの0度~29度の範囲、30度~59度の範囲、60度~89度の範囲・・・は、略同じ色合いの範囲である。このため、同じ色毎に、主機種画像の彩度Sを、別機種画像の彩度Sに変換するための色補正テーブルが作成されることとなる。
【0090】
次に、このように色相H、輝度L及び彩度Sの色補正テーブルが形成されると、
図16のフローチャートのステップS27において、
図4に示すRGB変換部48が、色相H、輝度L及び彩度Sの色補正テーブルのHLS値をRGB値に変換して各色補正テーブルに記憶し直す。これにより、主機種画像の色合いを別機種画像の色合いに補正するための、R用の色補正テーブル、G用の色補正テーブル、B用の色補正テーブルがそれぞれ形成され、
図16のフローチャートに示した色補正テーブルの形成動作が終了する。各色用の色補正テーブルは、「主機種→別機種色補正テーブル」として、
図3に示した記憶部34に記憶される。
【0091】
(判定動作)
次に、
図17のフローチャートに、主機種となる物体検査装置1において、主機種画像の色合いを、別機種画像の色合いに変換して、物体の内容物等の判定を行う判定動作の流れを示す。この
図17のフローチャートに示す各部の動作は、記憶部34に記憶されている画像判定プログラムに基づく動作である。すなわち、まず、
図3に示す取得部31が、取得された画像が主機種画像であるか否かを判別する(ステップS31)。取得された画像が主機種画像である場合(ステップS31:Yes)、処理がステップS32に進む。取得された画像が別機種画像である場合(ステップS31:No)、処理がステップS33に進む。
【0092】
ステップS32では、色補正部35が、取得された主種画像の各画素値を、記憶部34に記憶されている主機種→別機種変換テーブルで示される各画素値に変換処理する。これにより、主機種画像の色合いを、別機種画像の色合いに変換処理することができる。
【0093】
次に、判定部36は、記憶部34に記憶されている別機種学習画像に基づいて、別機種画像の色合いに変換処理された主機種画像で示される物体の内容物等の判定を行う。または、判定部36は、記憶部34に記憶されている「別機種学習画像」に基づいて、ステップS31で取得された別機種画像で示される物体の内容物等の判定を行う。そして、判定部36は、この判定結果となる判定画像を、
図1及び
図2に示す物体検査装置1のモニタ装置14に送信する。なお、「別機種学習画像」の形成動作は、
図20及び
図21を用いて後述する。
【0094】
このように、主機種→別機種変換テーブルにより、主機種画像の色合いを別機種画像の色合いに変換し、別機種学習画像に基づいて判定を行うことができる。検査員は、このような判定画像に基づいて、開被検査の有無を判断し、必要に応じて荷物の開被検査等を行う。
【0095】
(主機種学習画像の学習動作)
次に、判定部36により、物体の内容物等の判定に用いられる主機種学習画像の学習動作を説明する。
図18は、主機種学習画像の学習動作の模式図である。主機種学習画像の学習は、2通りの方法で学習(記憶)できる。まず、主機種となる物体検査装置1で撮像が行われる毎に、撮像された全ての透視画像又は選択された透視画像を記憶部34に記憶する。これにより、物体検査装置1で撮像が行われる毎に、主機種となる物体検査装置1で撮像された透視画像が、主機種学習画像として記憶部34に蓄積される。
【0096】
また、別機種となる物体検査装置からの透視画像(別機種画像)が供給された場合、
図18に示すように、上述の別機種→主機種変換テーブルにより、別機種画像の色合いを主機種画像の色合いに変換する。画像学習部32は、色合いの変換された別機種画像を、主機種学習画像として記憶部34に蓄積する。上述のように、別機種→主機種変換テーブルを形成することで、主機種となる物体検査装置1及び別機種となる物体検査装置の両方の透視画像を、主機種学習画像として学習(記憶)することができる。
【0097】
図19は、このように学習した主機種学習画像に基づいて、内容物等の判定を行っている様子を示す模式図である。主機種となる物体検査装置1により透視画像が撮像された場合、判定部36は、
図19(a)に示すように、記憶部34に記憶されている主機種学習画像に基づいて判定を行う。また、別機種となる物体検査装置からの透視画像(別機種画像)が供給された場合、判定部36は、
図19(b)に示すように、別機種→主機種変換テーブルにより、別機種画像の色合いを主機種画像の色合いに変換したうえで、記憶部34に記憶されている主機種学習画像に基づいて判定を行う。上述のように、別機種→主機種変換テーブルを有しているため、主機種となる物体検査装置1及び別機種となる物体検査装置の両方の透視画像を、主機種学習画像に基づいて判定することができる。
【0098】
(別機種学習画像の学習動作)
次に、判定部36により、物体の内容物等の判定に用いられる別機種学習画像の学習動作を説明する。
図20は、別機種学習画像の学習動作の模式図である。別機種学習画像の学習は、主機種となる物体検査装置1で撮像された撮像画像(主機種画像)の色合いを、上述の主機種→別機種変換テーブルにより、別機種となる物体検査装置の別機種画像の色合いに変換する。画像学習部32は、色合いが変換された主機種画像を、別機種学習画像として記憶部34に記憶する。これにより、物体検査装置1で撮像が行われる毎に、主機種→別機種変換テーブルにより形成された別機種画像が、別機種学習画像として記憶部34に蓄積される。
【0099】
図21は、このように学習した別機種学習画像に基づいて、内容物等の判定を行っている様子を示す模式図である。別機種となる物体検査装置の別機種画像が主機種となる物体検査装置1に供給された場合、判定部36は、
図21に示すように、記憶部34に記憶されている別機種学習画像に基づいて判定を行う。別機種学習画像は、主機種→別機種変換テーブルにより、別機種画像用の色合いに変換された画像である。このため、別機種画像の色合いを補正処理することなく、内容物等の判定を行うことができる。従って、高速判定を可能とすることができる。
【0100】
(実施の形態の効果)
以上の説明から明らかなように、実施の形態の物体検査システムは、第1の画像フォーマット(RGBフォーマット)の第1の画像情報を、色相H、彩度S及び輝度Lを含む第2の画像フォーマット(HLSフォーマット)の第2の画像情報に変換するフォーマット変換部(HLS変換部41)を有する。
【0101】
また色相Hのヒストグラムを作成する第1のヒストグラム作成部(Hヒストグラム作成部42)と、色相環上の所定の角度毎に(固定幅毎に)色相情報を分割する固定幅分割部43を有する。また、分割した角度毎に、彩度S及び輝度Lのヒストグラムを作成する第2のヒストグラム作成部(SLヒストグラム作成部)44を有する。
【0102】
また、第1の色合い(主機種画像の色合い)に対応する色相Hのヒストグラム、彩度S及び輝度Lのヒストグラムで示される各画素値の出現率に、第1の色合いとは異なる第2の色合い(別機種画像の色合い)に対応する色相Hのヒストグラム、彩度S及び輝度Lのヒストグラムで示される各画素値の出現率を合わせ込むための、色相H、彩度S及び輝度Lの色補正情報(色補正テーブル)を作成する色補正情報作成部(ランキング化部45、同率順位検出部46及び変換テーブル形成部47)を有する。
【0103】
また、色相H、彩度S及び輝度Lの各色補正情報を、第1の画像フォーマット(RGBフォーマット)に対応する色補正情報に変換する変換部(RGB変換部48)と、第1の色合い(主機種画像の色合い)とは異なる第2の色合いの第1の画像フォーマットの第1の画像情報(別機種画像)を、変換部により変換された各色補正情報に基づいて、第1の色合いの第1の画像情報(主機種画像)に変換する色変換部(色補正部35)を有する。
【0104】
また、第1の色合いに変換された第1の画像情報(別機種画像)を、オブジェクト判定用の第1の画像情報(主機種学習画像)として記憶部に蓄積して記憶する学習部(画像学習部32)を有する。
【0105】
これにより、透視画像に対する各メーカ間の着色処理の差を補正して内容物等の正確な判定結果を得ることが可能な学習モデルを構築できる。また、同じ色合いの色相毎(上述の固定幅毎)に、色彩S及び輝度Lのヒストグラムを作成しているため、色変換後の別機種画像に、存在しない色が出現する不都合を防止できる。このため、内容物等の判定結果の正確性の向上を図ることが可能な学習モデルを構築できる。
【0106】
また、実施の形態の物体検査システムは、第1のヒストグラム作成部(Hヒストグラム作成部42)及び第2のヒストグラム作成部(SLヒストグラム作成部44)は、各画素値のヒストグラムのうち、画素値の数が所定数以上のヒストグラムの画素値の一部を、左右のヒストグラムに分散させて各前記ヒストグラムを作成する(
図13参照)。これにより、正確な変換が可能な色補正テーブルを作成できる。
【0107】
最後に、上述の実施の形態は、一例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。また、実施の形態及び実施の形態の変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0108】
1 物体検査装置
2 解析装置
4 荷物
14 モニタ装置
16 物体検査装置の本体
16a 荷物の入口
16b 荷物の出口
21 X線源
22 ローラコンベア
23 X線検出器
24 画像処理部
31 取得部
32 画像学習部
33 色補正テーブル作成部
34 記憶部
35 色補正部
36 判定部
41 HLS変換部
42 Hヒストグラム作成部
43 固定幅分割部
44 SLヒストグラム作成部
45 ランキング化部
46 同率順位検出部
47 変換テーブル形成部
48 RGB変換部