特開 2024-80712 情報処理装置、情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024080712

(43)【公開日】2024-06-17

(54)【発明の名称】情報処理装置、情報処理方法およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240610BHJP

【ＦＩ】

G06T7/00 350B

【審査請求】有

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022193867

(22)【出願日】2022-12-05

(71)【出願人】

【識別番号】518106124

【氏名又は名称】コネクテッドロボティクス株式会社

(74)【代理人】

【識別番号】110002871

【氏名又は名称】弁理士法人坂本国際特許商標事務所

(72)【発明者】

【氏名】ユ ジンジェ

(72)【発明者】

【氏名】ペイショットデカルヴァリオ ガブリエル

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA03

5L096CA04

5L096CA17

5L096DA02

5L096KA04

(57)【要約】

【課題】 広範な対象物に対して高精度な推論を行うことができる情報処理装置等を提供する広い検査範囲を確保できる検査装置等を提供する。
【解決手段】 照明光により照明される対象物をカメラにより撮影して画像を取得する画像取得部と、画像取得部における撮影の光学的条件を制御する条件制御部と、画像取得部により取得された画像に基づく学習を行う学習部と、学習部での学習により得られるアルゴリズムに基づいて、画像取得部により取得された画像に対する推論を実行する推論部と、を備え、推論部は、複数の光学的条件を適用して撮影することで取得された複数の画像に対する推論を実行する。
【選択図】図１

【特許請求の範囲】

【請求項1】

照明光により照明される対象物をカメラにより撮影して画像を取得する画像取得部と、
前記画像取得部における撮影の光学的条件を制御する条件制御部と、
前記画像取得部により取得された画像に基づく学習を行う学習部と、
前記学習部での学習により得られるアルゴリズムに基づいて、前記画像取得部により取得された画像に対する推論を実行する推論部と、
を備え、
前記推論部は、複数の前記光学的条件を適用して撮影することで取得された複数の前記画像に対する推論を実行する、情報処理装置。

【請求項2】

前記光学的条件には、前記照明光の光量または前記カメラの露出が含まれる、請求項１に記載の情報処理装置。

【請求項3】

前記推論部では、前記学習部での学習に用いた画像の撮影に用いた前記光学的条件よりも拡張された前記光学的条件で撮影された前記画像に対する推論を実行する、請求項１または２に記載の情報処理装置。

【請求項4】

前記推論部は、前記複数の前記画像に対する推論を組み合わせた結果を出力する、請求項１または２に記載の情報処理装置。

【請求項5】

前記照明光は前記対象物を透過する透過光であり、
前記学習部での学習および前記推論部での推論は、前記対象物における異物に関する、請求項１または２に記載の情報処理装置。

【請求項6】

照明光により照明される対象物をカメラにより撮影して画像を取得する画像取得ステップと、
前記画像取得ステップにおける撮影の光学的条件を制御する条件制御ステップと、
前記画像取得ステップにより取得された画像に基づく学習を行う学習ステップと、
前記学習ステップでの学習により得られるアルゴリズムに基づいて、前記画像取得ステップにより取得された画像に対する推論を実行する推論ステップと、
を備え、
前記推論ステップでは、同一の前記対象物に複数の前記光学的条件を適用して撮影することで取得された複数の前記画像に対する推論を実行する、情報処理方法。

【請求項7】

照明光により照明される対象物をカメラにより撮影して画像を取得する画像取得ステップと、
前記画像取得ステップにおける撮影の光学的条件を制御する条件制御ステップと、
前記画像取得ステップにより取得された画像に基づく学習を行う学習ステップと、
前記学習ステップでの学習により得られるアルゴリズムに基づいて、前記画像取得ステップにより取得された画像に対する推論を実行する推論ステップと、
をコンピュータに実行させ、
前記推論ステップでは、同一の前記対象物に複数の前記光学的条件を適用して撮影することで取得された複数の前記画像に対する推論を実行する、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、情報処理方法およびプログラムに関する。

【背景技術】

【0002】

特許文献１には、被測定物品の下方から透過光を当てて異物検査を行う技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５－２１９０９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記の技術では、複数の光学的条件を組み合わせて検査を行う点の開示はない。このため、形状等が１つずつ異なる不定形の検査対象や、光学的な不均一性を有する検査対象に対して、高精度の検査を行うことは困難である。

【0005】

そこで、１つの側面では、本開示は、広範な対象物に対して高精度な推論を行うことができる情報処理装置等を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示の一態様によれば、
照明光により照明される対象物をカメラにより撮影して画像を取得する画像取得部と、
前記画像取得部における撮影の光学的条件を制御する条件制御部と、
前記画像取得部により取得された画像に基づく学習を行う学習部と、
前記学習部での学習により得られるアルゴリズムに基づいて、前記画像取得部により取得された画像に対する推論を実行する推論部と、
を備え、
前記推論部は、複数の前記光学的条件を適用して撮影することで取得された複数の前記画像に対する推論を実行する、情報処理装置が提供される。

【発明の効果】

【0007】

１つの側面では、本開示によれば、広範な対象物に対して高精度な推論を行うことができる。

【図面の簡単な説明】

【0008】

【図1】本実施例の情報処理装置の構成例を示す図である。

【図2】対象物をカメラにより撮影する様子を示す図である。

【図3】学習部での学習に用いられる教師画像の例を示す図である。

【図4】魚肉の検査を行う際の情報処理装置における動作を示すフローチャートである。

【図5】厚みが均等でない魚肉を例示する図である。

【図5A】ステップＳ１１０において推論部から推論結果として出力される画像を例示する図である。

【図5B】ステップＳ１１０において推論部から推論結果として出力される画像を例示する図である。

【図5C】ステップＳ１１０において推論部から推論結果として出力される画像を例示する図である。

【図5D】ステップＳ１１８において生成、出力される合成画像を例示する図である。

【発明を実施するための形態】

【0009】

本開示は、半透明の食品における異物の検査への適用例であり、具体的には、生の魚肉中のアニサキス（寄生虫）を検査する例を示す。しかし、本発明における対象物は、これに限定されない。例えば、サラダの葉の検査や、骨やプラスチックなどの不要な異物を見つけるためのさまざまな種類の肉の検査など、他の状況にも適用されうる。また、対象物は、食品に限定されない。

【0010】

アニサキスの検査において、現在、人間が検査プロセスを実行している。しかし、アニサキスは小さく、半透明で、表面ではなく肉の内部にある可能性がある。このため、検査には、非常に時間がかかり、不正確である。 また、検査工程は人が行うため、人の主観による検査基準のバラツキがある。さらに、検査員の状態を常に万全に保つことは難しく、検査員の疲労等の状態は、検査の速度と精度に影響を与える変数となる。 したがって、検査プロセスの標準化を保証することは困難である。

【0011】

このような問題の解決を図ることを目的として、本開示では、装置（ハードウェアのセットアップ）、画像処理およびＡＩ処理の方法を提示する。例えば、本開示は、半透明物体の表面および内部の望ましくない異物の視覚化を改善する装置およびイメージング方法を示す。また、本開示は、人間が半透明の食品内の不要な異物を特定するのを支援することを目的としたＡＩ学習および推論方法を示す。これにより、検査プロセスを標準化し、検査の精度を向上させ、検査をスピードアップすることができる。

【0012】

本発明は、複数の光学的条件の下で撮影された複数の画像を用いる点を１つの特徴としている。このため、とくに、本発明は、対象物が不定形である場合や、対象物の厚み、光透過率、色合いなどの条件に個体差がある場合、１つの対象物の中でもその部位によって上記の条件にばらつきがある場合などにも好適である。

【0013】

以下、添付図面を参照しながら実施例について説明する。

【0014】

図１は、本実施例の情報処理装置の構成例を示す図、図２は、対象物をカメラにより撮影する様子を示す図である。

【0015】

図１に示すように、情報処理装置１０は、対象物５０をカメラ２０により撮影して画像を取得する画像取得部１１と、画像取得部１１により取得された画像に基づく学習を行う学習部１２と、学習部１２での学習により得られるアルゴリズムに基づいて、画像取得部１１により得られた画像に対する推論を実行する推論部１３と、情報処理装置１０の各部を制御する制御部１５と、画像処理部１６と、を備える。本実施例では、制御部１５は、画像取得部１１における撮影の光学的条件を制御する条件制御部としても機能する。

【0016】

情報処理装置１０は、所定のプログラムが実装された単一のコンピュータまたは複数のコンピュータにより構成することができる。コンピュータは、例えば、サーバや端末装置の形態であってもよい。

【0017】

図２に示すように、カメラ２０により撮影される対象物５０は、反射光用照明装置３１からの反射光、または透過光用照明装置３２からの透過光により照明される。

【0018】

反射光用照明装置３１として、例えば、ＬＥＤを用いた照明装置が使用できる。なお、本実施例では、透過光用照明装置３２からの透過光により対象物５０を照明する例を示しており、この場合には、反射光用照明装置３１を省略することができる。

【0019】

透過光用照明装置３２は、対象物５０が置かれる、光透過性を有するテーブル面３２ａを備え、テーブル面３２ａの下方に配置された光源からの照明光がテーブル面３２ａを介して対象物５０に照射される。例えば、透過光用照明装置３２として、ＬＥＤを用いたライトテーブルが使用できる。

【0020】

図１に示すように、反射光用照明装置３１、透過光用照明装置３２およびカメラ２０は、制御部１５により制御される。すなわち、制御部１５は、対象物５０を照明する反射光用照明装置３１からの反射光の光量を制御する。また、制御部１５は、対象物５０を照明する透過光用照明装置３２からの透過光の光量を制御する。さらに、制御部１５はカメラ２０の露出を制御する。このように、制御部１５は、反射光用照明装置３１および透過光用照明装置３２からの照明光の光量と、カメラ２０の露出とを制御することにより、画像取得部１１における撮影の光学的条件を制御する。

【0021】

このように、本実施例では、透過光の強度とカメラ２０の露出を制御して、さまざまな厚さの半透明の食品の内部構造を可視化することを可能としている。不要な異物（例えば、アニサキス）は食品とは異なる光透過性指数を持っているため、この方法により、不要な異物を露出させ、食品の内部にある場合でも異物を視認可能とすることができる。

【0022】

以下に説明するように、本実施例では、推論部１３では、学習部１２での学習に用いた画像（教師画像）の撮影に用いた光学的条件よりも拡張された光学的条件で撮影された画像に対する推論を実行する。推論部１３は、ＡＩモデルを適用して食品内の不要な異物を自動的に検出し、例えば、異物を取り除くためのオペレーターの作業を支援する。

【0023】

図３は、学習部での学習に用いられる教師画像の例を示す図である。

【0024】

図３の例では、対象物５０としての魚肉５０Ａの内部または表面に存在するアニサキス６が、透過光用照明装置３２からの透過光によってカメラ２０により撮影された画像（教師画像）に現れている。この画像は、人間の目視によってアニサキス６が明瞭に検知できるよう、透過光用照明装置３２からの透過光と、カメラ２０の露出とが制御部１５により最適化あるいは十分に調整された状態の画像である。例えば、この画像は、魚肉５０Ａが撮影される領域内のうち、アニサキス６が存在する部位と、アニサキス６が存在しない部位との間のコントラストが最も強く、あるいは目視での識別に十分な強さのコントラストが得られている画像である。

【0025】

また、人間の目視によって、アニサキス６が明瞭に検知できるような画像を得るために、魚肉５０Ａの状態が適切に調整されてもよい。例えば、魚肉５０Ａの全体にわたり上記の適切なコントラストが容易に得られるように、魚肉５０Ａは、その厚みが均等（例えば、３０ｍｍ）とされてもよい。また、同様の観点から、魚肉５０Ａとして、その全体において均質（例えば、光透過率、色合いが均質）な肉質を有するものが選択されてもよい。

【0026】

教師画像は、人間によるラベリング（例えば、アニサキスの存在する部位と存在しない部位を特定するラベリング）と対応付けられて、学習部１２による学習の対象とされ、学習部１２においてアニサキスの検査のためのアルゴリズムが構築される。なお、教師画像には、アニサキス６が含まれないことが目視で明瞭に判別できる画像が含まれてもよい。

【0027】

本実施例において、教師画像のバリエーションを画像処理部１６による画像処理によって増加させることができる。これにより、推論部１３における推論における精度の向上を図ることができる。

【0028】

例えば、図３に示すような目視での検査に適合する画像の明るさを画像処理部１６での画像処理により変化させることができる。この場合、アニサキスの存在する部位と存在しない部位の明るさを独立して変化させてもよい。画像処理により生成された異なるコントラストの画像を教師画像として用いることにより、推論部１３における推論における精度の向上を図ることもできる。また、元々アニサキス６が存在しない領域に、アニサキス６の画像を埋め込んだ合成画像を教師画像として用いてもよい。さらに、魚肉５０Ａおよびアニサキス１５の画像に、回転や移動などのパラメータを付加して、教師画像を生成することもできる。パラメータにバリエーションを与えることにより、魚肉５０Ａの向きや形状、およびアニサキス６の位置、方向や形状にかかわらず、アニサキス６を見逃さずに検出することが可能となる。

【0029】

このように教師画像を画像処理を用いて生成することにより、人間によるラベリングの対象となる元の画像データの個数を増加させずに、教師画像のバリエーションを拡大させることができる。これにより、人手による作業負担を抑制しつつ、検査精度を向上させることができる。

【0030】

図４は、魚肉の検査を行う際の情報処理装置における動作を示すフローチャートである。図４に示す処理では、Ｎ個の光学的条件の下で対象物５０としての魚肉５０Ａをカメラ２０で撮影し、それぞれの光学的条件で撮影された画像に対し、アニサキス６の有無とアニサキス６が存在する部位について、推論部１３による推論を実行する。図４に示す処理は、図２に示すように、透過光用照明装置３２のテーブル面３２ａ上に対象物５０としての魚肉５０Ａを載置した状態で、制御部１５の制御に従って開始される。

【0031】

図４のステップＳ１０２では、制御部１５は、ｋの値を１に設定する。

【0032】

ステップＳ１０４では、制御部１５は、ｋの値と光学的条件とを対応付ける対応テーブルにアクセスし、現在のｋの値に対応付けられた光学的条件を取得する。対応テーブルは、例えば、ユーザによってあらかじめ設定され、情報処理装置１０に格納される。対応テーブルには、透過光用照明装置３２の光量と、カメラ２０の露出とが、それぞれｋの値に対応付けられて記憶されている。

【0033】

ステップＳ１０６では、制御部１５は、透過光用照明装置３２の光量と、カメラ２０の露出とを、ステップＳ１０４で取得された光学的条件に示される値に設定する。

【0034】

ステップＳ１０８では、制御部１５は、カメラ２０により魚肉５０Ａを撮影し、撮影された画像を画像取得部１１に取得させる。また、制御部１５は、透過光用照明装置３２の光量をゼロにする。

【0035】

ステップＳ１１０では、推論部１３は、ステップＳ１０８で取得された画像に対し、学習部１２において構築されたアルゴリズムに基づいて推論を実行し、推論結果として、アニサキス６の有無とアニサキス６が存在する部位を示す画像を出力する。

【0036】

ステップＳ１１２では、制御部１５は、ステップＳ１１０において推論部１３から出力された推論結果の画像を情報処理装置１０に保存する。

【0037】

ステップＳ１１４では、制御部１５は、ｋの値がＮか否か判断し、判断が肯定されれば処理をステップＳ１１８へ進め、判断が否定されれば処理をステップＳ１１６へ進める。

【0038】

ステップＳ１１６では、制御部１５は、ｋの値に１を加算し、処理をステップＳ１０４へ進める。

【0039】

一方、ステップＳ１１８では、制御部１５は、ステップＳ１１２において保存された推論結果の画像を合成して、合成画像として出力し、処理を終了する。

【0040】

図５は、厚みが均等でない魚肉を例示する図、図５Ａ～図５Ｃは、ステップＳ１１０において推論部から推論結果として出力される画像を例示する図、図５Ｄは、ステップＳ１１８において生成、出力される合成画像を例示する図である。

【0041】

図５に示す例では、魚肉５０Ａの厚みは均一でなく、カメラ２０の方向から見たときに、魚肉５０Ａは、厚みのある領域５１と、領域５１の周囲の領域５２と、魚肉５０Ａの周辺部の領域５３とを有する。

【0042】

この場合、各領域５１～５３に対して、アニサキス６を視認しやすい光学的条件は互いに異なったものとなる。例えば、図５Ａでは、光学的条件が領域５３に適しており、領域５３に存在するアニサキス６は容易に視認できる。しかし、領域５１および領域５２は、画像の明るさが不足し、アニサキス６の存在する部位と存在しない部位との間でのコントラストが確保できない。このため、領域５１および領域５２に存在するアニサキス６の存在を認識することが困難となる。図５Ｂでは、光学的条件が領域５２に適しており、領域５２に存在するアニサキス６は容易に視認できる。しかし、領域５１は画像が暗すぎ、領域５３は画像が明るすぎる。このため、領域５１および領域５３に存在するアニサキス６の存在を認識することが困難となる。図５Ｃでは、光学的条件が領域５１に適しており、領域５１に存在するアニサキス６は容易に視認できる。しかし、領域５２および領域５３は画像が明すぎ、領域５２および領域５３に存在するアニサキス６の存在を認識することが困難となる。

【0043】

本実施例によれば、光学的条件を、例えば、少しずつ変化させながら、魚肉５０Ａの画像（透過画像）を取得している。このため、特定の部位に存在するアニサキス６を確実に視認することができる光学的条件、すなわち推論部１３によって特定の部位に存在するアニサキス６を確実に検出することができるような望ましい光学的条件が図４の一連の処理において確実に訪れる。そして、この光学的条件によって撮影された画像に対して推論部１３による推論を行うことができる（ステップＳ１１０）。したがって、アニサキス６を見逃すことなく、確実に検出することができる。

【0044】

なお、上記の望ましい光学的条件は、例えば、教師画像に近似した画像が得られる光学的条件であるといえる。具体的には、アニサキス６の存在する部位と存在しない部位との間のコントラストが教師画像に近似する画像や、当該コントラストが所定の閾値を超える画像が該当する。

【0045】

本実施例では、教師画像の撮影に用いた光学的条件よりも拡張した光学的条件を適用して推論を実行する。すなわち、教師画像の撮影に用いた光学的条件に縛られずに光学的条件を変化させることにより、教師画像に近似した画像、あるいは推論を容易に実行できる画像に対し、推論部１３による推論を適用することが可能となる。このため、高精度にアニサキス６を検出できる。本実施例では、教師画像を得るための撮影時に選択した露出および透過光量の組み合わせを拡張して、ＡＩモデルでより広い探索空間をカバーすることにより、推論部１３での推論の精度を向上させている。例えば、推論の対象となる魚肉の形状が不定形であったり、魚肉の厚みが均一でなかったりする場合でも推論部１３での推論の精度を向上させることができる。また、教師画像のために使用された魚肉の厚みと、推論の対象となる魚肉の厚みや色合いが異なる場合や、両者の魚肉の種類（魚の種類）が異なる場合にも、推論の精度を維持することができる。

【0046】

本実施例において、教師画像の撮影に用いた光学的条件よりも拡張した光学的条件とは、後者の光学的条件（推論の対象となる画像を撮影する際の光学的条件）に対応する露出および透過光量の組み合わせが、前者の光学的条件（教師画像の撮影に用いた光学的条件）に対応する露出および透過光量の組み合わせにないものを含むことを意味する。この場合、後者の光学的条件に対応する露出および透過光量の組み合わせが、前者の光学的条件に対応する露出および透過光量の組み合わせに一致しているものを含んでいてもよい。

【0047】

推論時に用いる光学的条件（推論の対象となる画像を撮影する際の光学的条件）は、ユーザが目視に基づいてキャリブレーションを行って決定してもよい。また、推論時に用いる光学的条件は、推論部１３による推論結果を利用して決定してもよい。推論時に用いる光学的条件は、例えば、推論部１３による検査プロセスを実行する前に設定することができる。また、推論時に用いる光学的条件は、検査プロセスの実行中に、推論部１３による推論結果を考慮しつつ、更新することもできる。

【0048】

本実施例では、図５Ｄに示すような合成画像を、ステップＳ１１８において生成、出力している。これにより、魚肉５０Ａの領域全体に対する最終的な検査結果を１つの画像として把握することができる。合成画像を生成するアルゴリズムは任意であるが、上記のコントラストが適切となる光学的条件を領域ごとに１つ選択し、各領域に対して、選択された光学的条件での画像に対する推論結果を結合してもよい。図５Ａ～図５Ｄで示した例が、このような方法を示している。なお、図５Ａ～図５Ｄでは、説明の便宜のため、領域の数を３つに限定しているが、実際には、光学的条件の数に対応したより多数の領域に分割されうる。

【0049】

また、アニサキス６の検出を目的とする場合には、図４に示す処理において誤検出は許容されるが、検出漏れは許容されないという検出特性を持たせることが望ましい。したがって、特定の部位（領域）に対して、複数の光学的条件で得られた画像に対する推論を適用してもよい。例えば、複数の光学的条件で得られた画像に対する推論のうち、アニサキス６の存在がある程度の確度で疑われるような結果を示すものがある場合には、その特定の部位（領域）にアニサキス６の存在が疑われる（アニサキス６を検出する）という判断を採用してもよい。

【0050】

図５～図５Ｄでは、厚みが均等でない魚肉５０Ａの例を示しているが、厚みや形状等が一定でない複数の魚肉について同じ検査（例えば、図４に示す処理）を繰り返した場合でも、アニサキス６を高精度に検出できるという効果が変わらないことは明らかである。例えば、一般的に、魚の切り身は魚の大きさによりその厚みが異なり、色合いや光透過性も魚の大きさや種類により異なる。しかし、本実施例によれば、推論時に拡張された光学的条件を適用することにより、常に望ましい画像に対する推論をすることが可能となる。したがって、本実施例によれば、検査対象（対象物）に対する汎用性を確保できる。なお、光学的条件を変化させるレンジおよび光学的条件を変化させる細かさは、対象物５０や推論の目的に応じて適宜、選択される。例えば、対象物５０の厚みや光透過性の変動幅が大きい場合には、それに対応可能な広範なレンジで光学的条件を変化させる必要がある。

【0051】

以上説明したように、本実施例によれば、推論部１３は、複数の光学的条件を適用して撮影し、撮影により取得された複数の画像に対する推論を実行する。このため、高精度な推論結果を得ることができる。また、複数の光学的条件を適用して撮影することにより、例えば、教師画像に近似する画像を得ることが可能となるため、いたずらに教師画像の数を増大させることなく、高精度の推論が可能となる。したがって、教師画像の作成やラべリングのための作業負担を軽減できる。

【0052】

以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素の全部又は複数を組み合わせることも可能である。

【符号の説明】

【0053】

１０ 情報処理装置
１１ 画像取得部
１２ 学習部
１３ 推論部
１５ 制御部
１６ 画像処理部
２０ カメラ
３１ 反射光用照明装置
３２ 透過光用照明装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図5A】

【図5B】

【図5C】

【図5D】