特許 7464509 オブジェクト検出装置、オブジェクト検出システム及びオブジェクト検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-01

(45)【発行日】2024-04-09

(54)【発明の名称】オブジェクト検出装置、オブジェクト検出システム及びオブジェクト検出方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240402BHJP

【ＦＩ】

G06T7/00 350C

【請求項の数】 8

(21)【出願番号】P 2020194858

(22)【出願日】2020-11-25

(65)【公開番号】P2022083513

(43)【公開日】2022-06-06

【審査請求日】2023-05-11

(73)【特許権者】

【識別番号】000233055

【氏名又は名称】株式会社日立ソリューションズ

(74)【代理人】

【識別番号】110000062

【氏名又は名称】弁理士法人第一国際特許事務所

(72)【発明者】

【氏名】▲とう▼ 紫薇

(72)【発明者】

【氏名】孔 全

(72)【発明者】

【氏名】秋良 直人

(72)【発明者】

【氏名】吉永 智明

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】特開２０１９－０２１３１３（ＪＰ，Ａ）

【文献】John B. Sigman, et al.，Background Adaptive Faster R-CNN for Semi-Supervised Convolutional Object Detection of Threats in X-Ray Images，arxiv，米国，2020年10月02日，https://arxiv.org/pdf/2010.01202.pdf

【文献】Yuhu Shan, et al.，Pixel and Feature Level Based Domain Adaption for Object Detection in Autonomous Driving，arxiv，米国，2019年08月11日，https://arxiv.org/pdf/1810.00345.pdf

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

(57)【特許請求の範囲】

【請求項1】

Ｘ線画像におけるオブジェクトを検出するためのオブジェクト検出装置であって、
ソースドメインに対応するソースドメイン画像と、ターゲットドメインに対応するターゲットドメイン画像とを含む入力画像セットを受け付ける画像入力部と、
前記入力画像セットに対するドメイン変換処理を行い、前記ソースドメイン画像を前記ターゲットドメインに変換した疑似ターゲットドメイン画像と、前記ターゲットドメイン画像を前記ソースドメイン画像に変換した疑似ソースドメイン画像とを含む変換画像セットを生成するドメイン変換部と、
前記入力画像セットと、前記変換画像セットとで画像ペアを生成するペア生成部と、
前記画像ペアに含まれる各画像について、特徴マップを抽出する特徴抽出部と、
前記特徴マップに基づいて、前記画像ペアに含まれる各画像におけるオブジェクトのカテゴリー及び位置を示す予測結果を生成する検出予測部と、
所定のＸ線画像を解析することで、前記Ｘ線画像におけるオブジェクトのカテゴリー及び位置を示す検出結果を生成するオブジェクト検出部と、
を含むことを特徴とするオブジェクト検出装置。

【請求項2】

前記ペア生成部は、
前記入力画像セットと、前記変換画像セットとの中から、撮影内容が所定の類似度基準を満たす第１の画像及び第２の画像をポジティブペアとし、
前記入力画像セットと、前記変換画像セットとの中から、撮影内容が所定の類似度基準を満たさない第３の画像及び第４の画像をネガティブペアとする、
ことを特徴とする、請求項１に記載のオブジェクト検出装置。

【請求項3】

前記特徴抽出部は、
前記ポジティブペアに含まれる第１の画像について第１の特徴マップを抽出し、
前記ポジティブペアに含まれる第２の画像について第２の特徴マップを抽出し、
前記ネガティブペアに含まれる第３の画像について第３の特徴マップを抽出し、
前記ネガティブペアに含まれる第４の画像について第４の特徴マップを抽出し、
前記オブジェクト検出装置は、
前記第１の特徴マップと前記第２の特徴マップとの乖離度である第１の乖離度を計算し、
前記第３の特徴マップと前記第４の特徴マップとの乖離度である第２の乖離度を計算する画像乖離度計算部と、
を更に含むことを特徴とする、請求項２に記載のオブジェクト検出装置。

【請求項4】

前記オブジェクト検出装置は、
前記ポジティブペアに含まれる第１の画像及び第２の画像について、前記第１の乖離度を減算させるための第１の適応損失パラメータを計算し、
前記ネガティブペアに含まれる第３の画像及び第４の画像について、前記第２の乖離度を向上させるための第２の適応損失パラメータを計算するための適応損失計算部と、
を更に含むことを特徴とする、請求項３に記載のオブジェクト検出装置。

【請求項5】

前記予測結果と、前記オブジェクトの実際のカテゴリー及び実際の位置を示すグラウンドトゥルースとを比較することで、前記オブジェクト検出部による検出損失を示す検出損失パラメータを計算するための検出損失計算部と、
前記検出損失パラメータと、前記第１の適応損失パラメータ及び前記第２の適応損失パラメータとを用いて、前記オブジェクト検出部のパラメータを更新することで前記オブジェクト検出部を訓練するパラメータ更新部と、
を更に含むことを特徴とする、請求項４に記載のオブジェクト検出装置。

【請求項6】

前記オブジェクト検出部が深層ニューラルネットワークである、
ことを特徴とする、請求項５に記載のオブジェクト検出装置。

【請求項7】

Ｘ線画像におけるオブジェクトを検出するためのオブジェクト検出システムであって、
Ｘ線画像を解析し、オブジェクトを検出するためのオブジェクト検出装置と、
前記Ｘ線画像を撮影し、前記オブジェクト検出装置に送信するためのＸ線装置とが通信ネットワークを介して接続されており、
前記オブジェクト検出装置は、
ソースドメインに対応するソースドメイン画像と、ターゲットドメインに対応するターゲットドメイン画像とを含む入力画像セットを受け付ける画像入力部と、
前記入力画像セットに対するドメイン変換処理を行い、前記ソースドメイン画像を前記ターゲットドメインに変換した疑似ターゲットドメイン画像と、前記ターゲットドメイン画像を前記ソースドメイン画像に変換した疑似ソースドメイン画像とを含む変換画像セットを生成するドメイン変換部と、
前記入力画像セットと、前記変換画像セットとで画像ペアを生成するペア生成部と、
前記画像ペアに含まれる各画像について、特徴マップを抽出する特徴抽出部と、
前記特徴マップに基づいて、前記画像ペアに含まれる各画像におけるオブジェクトのカテゴリー及び位置を示す予測結果を生成する検出予測部と、
前記Ｘ線装置から受信した前記Ｘ線画像を解析することで、前記Ｘ線画像におけるオブジェクトのカテゴリー及び位置を示す検出結果を生成し、前記検出結果を所定の通知先に送信するオブジェクト検出部と、
を含むことを特徴とするオブジェクト検出システム。

【請求項8】

Ｘ線画像におけるオブジェクトを検出するためのオブジェクト検出方法であって、
ソースドメインに対応するソースドメイン画像と、ターゲットドメインに対応するターゲットドメイン画像とを含む入力画像セットを受け付ける工程と、
前記入力画像セットに対するドメイン変換処理を行い、前記ソースドメイン画像を前記ターゲットドメインに変換した疑似ターゲットドメイン画像と、前記ターゲットドメイン画像を前記ソースドメイン画像に変換した疑似ソースドメイン画像とを含む変換画像セットを生成する工程と、
前記入力画像セットと、前記変換画像セットとの中から、撮影内容が所定の類似度基準を満たす第１の画像及び第２の画像をポジティブペアとし、前記入力画像セットと、前記変換画像セットとの中から、撮影内容が所定の類似度基準を満たさない第３の画像及び第４の画像をネガティブペアとすることで画像ペアを生成する工程と、
前記ポジティブペアに含まれる第１の画像について第１の特徴マップを抽出し、前記ポジティブペアに含まれる第２の画像について第２の特徴マップを抽出し、前記ネガティブペアに含まれる第３の画像について第３の特徴マップを抽出し、前記ネガティブペアに含まれる第４の画像について第４の特徴マップを抽出する工程と、
前記第１の特徴マップと前記第２の特徴マップとの乖離度である第１の乖離度を計算し、
前記第３の特徴マップと前記第４の特徴マップとの乖離度である第２の乖離度を計算する工程と、
前記ポジティブペアに含まれる第１の画像及び第２の画像について、前記第１の乖離度を減算させるための第１の適応損失パラメータを計算し、前記ネガティブペアに含まれる第３の画像及び第４の画像について、前記第２の乖離度を向上させるための第２の適応損失パラメータを計算する工程と、
前記第１の特徴マップ、前記第２の特徴マップ、前記第３の特徴マップ、及び前記第４の特徴マップに基づいて、前記画像ペアに含まれる各画像におけるオブジェクトのカテゴリー及び位置を示す予測結果を生成する工程と、
前記予測結果と、前記オブジェクトの実際のカテゴリー及び実際の位置を示すグラウンドトゥルースとを比較することで、オブジェクト検出による検出損失を示す検出損失パラメータを計算する工程と、
前記検出損失パラメータと、前記第１の適応損失パラメータ及び前記第２の適応損失パラメータとを用いて、オブジェクト検出用の深層ニューラルネットワークのパラメータを更新することでオブジェクト検出用の深層ニューラルネットワークを訓練する工程と、
訓練済みの前記オブジェクト検出用の深層ニューラルネットワークを用いて、所定のＸ線画像を解析することで、前記Ｘ線画像におけるオブジェクトのカテゴリー及び位置を示す検出結果を生成する工程と、
を含むことを特徴とするオブジェクト検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、オブジェクト検出装置、オブジェクト検出システム及びオブジェクト検出方法に関する。

【背景技術】

【0002】

近年、ＩＴ化の進展に伴い、社会に多数のセンサが配置され、極めて大量のデータが蓄積されている。そうした中、集積された画像データを活用する様々な方策が検討されている。特に、写真、動画、画像等の映像コンテンツが増える中、その映像におけるオブジェクトを自在に特定し、オブジェクトのカテゴリーや位置を正確に検出するニーズが高まっている。

【0003】

オブジェクト検出手段の一つとして、いわゆる深層ニューラルネットワーク（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；ＤＮＮ）が知られている。ＤＮＮの発展により、オブジェクト検出は、例えばＸ線画像解析等、様々な場面で活用することが可能となった。

【0004】

しかし、ＤＮＮで高精度のオブジェクト検出を実現するためには、ＤＮＮを訓練するためのラベル付き学習データが大量に必要となり、ＤＮＮを応用する場面によっては、このようなラベル付き学習データを入手することが困難な場合や、膨大なコストや労力を要する場合がある。そのため、入手が比較的に容易なドメインの学習データは大量に入手されるのに対して、入手が困難なドメインの学習データは少量となり、学習データが少ないドメインでのオブジェクト検出精度が限定される。

【0005】

上記の課題を解決するために、入手しやすいドメインのラベル付き学習データを活用し、ＤＮＮを訓練する手段として、例えば特開２０１９－０３２８２１号公報（特許文献１）がある。

【0006】

特許文献１には「コストがかかり、退屈であり、ミスを起こしやすい手作業による訓練データのラベル付けの必要性を減らす方法を提供する。方法は、対象カメラにより撮影された画像を画風目標画像として用い、あらゆる写実的な入力画像を変換後画像に変換する画風変換を行う画風変換ネットワークを訓練する。変換後画像は、入力画像の内容を有し、入力画像の写実品質が維持されており、画風目標画像の画風と一致する画風である。訓練済みの画風変換ネットワークを用いて、原訓練データセットの訓練画像を変換後訓練画像に変換し、各変換後訓練画像を原訓練データセットの対応する訓練画像の訓練ラベルでラベル付けして、水増し訓練データセットを作成し、水増し訓練データセットを用いて、特定の作業を行うようにディープニューラルネットワーク（ＤＮＮ）を訓練する」技術が記載されている。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２０１９－０３２８２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

特許文献１では、画風変換ネットワークを用いて、特定のソースドメインに対応するラベル付き画像をターゲットのドメイン（特許文献１に記載の「目標画風」）に変換することで、当該ターゲットドメインに対応するラベル付き画像を取得し、このように取得した画像データを用いてＤＮＮを訓練することが記載されている。

【0009】

しかし、特許文献１は、ターゲットドメインターゲットドメインに変換した疑似ターゲットドメインの画像（特許文献１に記載の「画風目標画像」）と、実際のターゲットドメインとの間で良好な近似精度が実現できることを前提としており、Ｘ線画像等のような、ソースドメインとターゲットドメインとの差が大きい（いわゆる「ドメインギャップ」が存在する）画像の場合、ターゲットドメインに変換した疑似ターゲットドメインの画像のラベルを用いてＤＮＮを訓練したとしても、ターゲットドメインの画像に対するオブジェクト検出精度が限定されてしまう。

【0010】

そこで、本開示は、入手しやすいドメインのラベル付き学習データを活用し、ソースドメインとターゲットドメインとのドメインギャップを短縮させた上でＤＮＮを訓練する。これによって、本開示は、Ｘ線画像等のような、ソースドメインとターゲットドメインとの差が大きい画像の場合であっても、高精度なオブジェクト検出手段を提供することを目的とする。

【課題を解決するための手段】

【0011】

上記の課題を解決するために、代表的な本開示のオブジェクト検出装置の一つは、Ｘ線画像におけるオブジェクトを検出するためのオブジェクト検出装置であって、ソースドメインに対応するソースドメイン画像と、ターゲットドメインに対応するターゲットドメイン画像とを含む入力画像セットを受け付ける画像入力部と、前記入力画像セットに対するドメイン変換処理を行い、前記ソースドメイン画像を前記ターゲットドメインに変換した疑似ターゲットドメイン画像と、前記ターゲットドメイン画像を前記ソースドメイン画像に変換した疑似ソースドメイン画像とを含む変換画像セットを生成するドメイン変換部と、前記入力画像セットと、前記変換画像セットとで画像ペアを生成するペア生成部と、前記画像ペアに含まれる各画像について、特徴マップを抽出する特徴抽出部と、前記特徴マップに基づいて、前記画像ペアに含まれる各画像におけるオブジェクトのカテゴリー及び位置を示す予測結果を生成する検出予測部と、所定のＸ線画像を解析することで、前記Ｘ線画像におけるオブジェクトのカテゴリー及び位置を示す検出結果を生成するオブジェクト検出部とを含む。

【発明の効果】

【0012】

本開示によれば、入手しやすいドメインのラベル付き学習データを活用し、ソースドメインとターゲットドメインとのドメインギャップを短縮させた上でＤＮＮを訓練することで、Ｘ線画像等のような、ソースドメインとターゲットドメインとの差が大きい画像の場合であっても、高精度なオブジェクト検出手段を提供することができる。
上記以外の課題、構成及び効果は、以下の発明を実施するための形態における説明により明らかにされる。

【図面の簡単な説明】

【0013】

【図1】図１は、本開示の実施形態を実施するためのコンピュータシステムを示す図である。

【図2】図２は、本開示の実施形態に係るオブジェクト検出システムの構成の一例を示す図である。

【図3】図３は、本開示の実施形態に係るＸ線画像の一例を示す図である。

【図4】図４は、本開示の実施形態に係るオブジェクト検出装置におけるオブジェクト検出学習部の論理構成を示す図である。

【図5】図５は、本開示の実施形態に係るドメイン変換部によるドメイン変換処理の一例を示す図である。

【図6】図６は、本開示の実施形態に係る画像ペア生成部による画像ペア生成処理の一例を示す図である。

【図7】図７は、本開示の実施形態に係るドメインギャップ短縮の一例を示す図である。

【図8】図８は、本開示の実施形態に係るオブジェクト検出部訓練方法の一例を示す図である。

【図9】図９は、本開示の実施形態に係るオブジェクト検出処理の一例を示す図である。

【発明を実施するための形態】

【0014】

以下、図面を参照して、本開示の実施形態について説明する。なお、この実施形態により本開示が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。

【0015】

上述したように、ＤＮＮを訓練するためのラベル付き学習データが大量に必要となり、ＤＮＮを応用する場面によっては、このようなラベル付き学習データを入手することが困難な場合や、膨大なコストや労力を要する場合がある。そのため、入手が比較的に容易なドメインの学習データは大量に入手されるのに対して、入手が困難なドメインの学習データは少量となり、学習データが少ないドメインでのオブジェクト検出精度が限定される。
従って、入手が困難なターゲットドメインの学習データを収集せずに、入手しやすいドメイン（以下、「ソースドメイン」という；英：「ｓｏｕｒｃｅ ｄｏｍａｉｎ」）のラベル付き学習データのみを活用し、任意のターゲットドメイン（英：「ｔａｒｇｅｔ ｄｏｍａｉｎ」）に対して高精度のオブジェクト検出結果を生成できるＤＮＮを訓練する手段があれば望ましい。

【0016】

ここでの「ドメイン」とは、画像の表示を規定するパラメータの集合を意味する。例えば、画像の色、鮮鋭度（シャープネス）、解像度、明るさ、コントラスト等の各種表示設定は、画像のドメインを規定するパラメータとなる。つまり、ドメインとは、データの集まりを意味するものである。
ソースドメインに対応するソースドメイン画像と、ターゲットドメインに対応するターゲットドメイン画像とで、上述した表示設定のパラメータが大きく相違すると、ソースドメインとターゲットドメインとの間でいわゆる「ドメインギャップ」が存在する。

【0017】

このようなドメインギャップが存在すると、例えばオブジェクト検出用のＤＮＮがソースドメインのラベル付きデータによって訓練されたとしても、ラベル無しのドメインであるターゲットドメインの画像に対しては高精度のオブジェクト検出結果を生成することができない。

【0018】

そこで、上記の課題を鑑み、本開示の実施形態では、ラベル付きのソースドメイン画像及びラベル無しのターゲットドメイン画像を含む入力画像セットに加えて、ソースドメイン画像をターゲットドメインに変換した疑似ターゲットドメイン画像と、ターゲットドメイン画像をソースドメインに変換した疑似ソースドメイン画像とを含む変換画像セット用いてオブジェクト検出用のＤＮＮを訓練する。これによって、本開示の実施形態では、ソースドメインとターゲットドメインとのドメインギャップを短縮すると共に、ターゲットドメインの画像についても高精度のオブジェクト検出結果を生成することができる。

【0019】

次に、図１を参照して、本開示の実施形態を実施するためのコンピュータシステム３００について説明する。本明細書で開示される様々な実施形態の機構及び装置は、任意の適切なコンピューティングシステムに適用されてもよい。コンピュータシステム３００の主要コンポーネントは、１つ以上のプロセッサ３０２、メモリ３０４、端末インターフェース３１２、ストレージインタフェース３１４、Ｉ／Ｏ（入出力）デバイスインタフェース３１６、及びネットワークインターフェース３１８を含む。これらのコンポーネントは、メモリバス３０６、Ｉ／Ｏバス３０８、バスインターフェースユニット３０９、及びＩ／Ｏバスインターフェースユニット３１０を介して、相互的に接続されてもよい。

【0020】

コンピュータシステム３００は、プロセッサ３０２と総称される１つ又は複数の汎用プログラマブル中央処理装置（ＣＰＵ）３０２Ａ及び３０２Ｂを含んでもよい。ある実施形態では、コンピュータシステム３００は複数のプロセッサを備えてもよく、また別の実施形態では、コンピュータシステム３００は単一のＣＰＵシステムであってもよい。各プロセッサ３０２は、メモリ３０４に格納された命令を実行し、オンボードキャッシュを含んでもよい。

【0021】

ある実施形態では、メモリ３０４は、データ及びプログラムを記憶するためのランダムアクセス半導体メモリ、記憶装置、又は記憶媒体（揮発性又は不揮発性のいずれか）を含んでもよい。メモリ３０４は、本明細書で説明する機能を実施するプログラム、モジュール、及びデータ構造のすべて又は一部を格納してもよい。例えば、メモリ３０４は、オブジェクト検出アプリケーション３５０を格納していてもよい。ある実施形態では、オブジェクト検出アプリケーション３５０は、後述する機能をプロセッサ３０２上で実行する命令又は記述を含んでもよい。

【0022】

ある実施形態では、オブジェクト検出アプリケーション３５０は、プロセッサベースのシステムの代わりに、またはプロセッサベースのシステムに加えて、半導体デバイス、チップ、論理ゲート、回路、回路カード、および/または他の物理ハードウェアデバイスを介してハードウェアで実施されてもよい。ある実施形態では、オブジェクト検出アプリケーション３５０は、命令又は記述以外のデータを含んでもよい。ある実施形態では、カメラ、センサ、または他のデータ入力デバイス（図示せず）が、バスインターフェースユニット３０９、プロセッサ３０２、またはコンピュータシステム３００の他のハードウェアと直接通信するように提供されてもよい。

【0023】

コンピュータシステム３００は、プロセッサ３０２、メモリ３０４、表示システム３２４、及びＩ／Ｏバスインターフェースユニット３１０間の通信を行うバスインターフェースユニット３０９を含んでもよい。Ｉ／Ｏバスインターフェースユニット３１０は、様々なＩ／Ｏユニットとの間でデータを転送するためのＩ／Ｏバス３０８と連結していてもよい。Ｉ／Ｏバスインターフェースユニット３１０は、Ｉ／Ｏバス３０８を介して、Ｉ／Ｏプロセッサ（ＩＯＰ）又はＩ／Ｏアダプタ（ＩＯＡ）としても知られる複数のＩ／Ｏインタフェースユニット３１２，３１４，３１６、及び３１８と通信してもよい。

【0024】

表示システム３２４は、表示コントローラ、表示メモリ、又はその両方を含んでもよい。表示コントローラは、ビデオ、オーディオ、又はその両方のデータを表示装置３２６に提供することができる。また、コンピュータシステム３００は、データを収集し、プロセッサ３０２に当該データを提供するように構成された1つまたは複数のセンサ等のデバイスを含んでもよい。

【0025】

例えば、コンピュータシステム３００は、心拍数データやストレスレベルデータ等を収集するバイオメトリックセンサ、湿度データ、温度データ、圧力データ等を収集する環境センサ、及び加速度データ、運動データ等を収集するモーションセンサ等を含んでもよい。これ以外のタイプのセンサも使用可能である。表示システム３２４は、単独のディスプレイ画面、テレビ、タブレット、又は携帯型デバイスなどの表示装置３２６に接続されてもよい。

【0026】

Ｉ／Ｏインタフェースユニットは、様々なストレージ又はＩ／Ｏデバイスと通信する機能を備える。例えば、端末インタフェースユニット３１２は、ビデオ表示装置、スピーカテレビ等のユーザ出力デバイスや、キーボード、マウス、キーパッド、タッチパッド、トラックボール、ボタン、ライトペン、又は他のポインティングデバイス等のユーザ入力デバイスのようなユーザＩ／Ｏデバイス３２０の取り付けが可能である。ユーザは、ユーザインターフェースを使用して、ユーザ入力デバイスを操作することで、ユーザＩ／Ｏデバイス３２０及びコンピュータシステム３００に対して入力データや指示を入力し、コンピュータシステム３００からの出力データを受け取ってもよい。ユーザインターフェースは例えば、ユーザＩ／Ｏデバイス３２０を介して、表示装置に表示されたり、スピーカによって再生されたり、プリンタを介して印刷されたりしてもよい。

【0027】

ストレージインタフェース３１４は、１つ又は複数のディスクドライブや直接アクセスストレージ装置３２２（通常は磁気ディスクドライブストレージ装置であるが、単一のディスクドライブとして見えるように構成されたディスクドライブのアレイ又は他のストレージ装置であってもよい）の取り付けが可能である。ある実施形態では、ストレージ装置３２２は、任意の二次記憶装置として実装されてもよい。メモリ３０４の内容は、ストレージ装置３２２に記憶され、必要に応じてストレージ装置３２２から読み出されてもよい。Ｉ／Ｏデバイスインタフェース３１６は、プリンタ、ファックスマシン等の他のＩ／Ｏデバイスに対するインターフェースを提供してもよい。ネットワークインターフェース３１８は、コンピュータシステム３００と他のデバイスが相互的に通信できるように、通信経路を提供してもよい。この通信経路は、例えば、ネットワーク３３０であってもよい。

【0028】

ある実施形態では、コンピュータシステム３００は、マルチユーザメインフレームコンピュータシステム、シングルユーザシステム、又はサーバコンピュータ等の、直接的ユーザインターフェースを有しない、他のコンピュータシステム（クライアント）からの要求を受信するデバイスであってもよい。他の実施形態では、コンピュータシステム３００は、デスクトップコンピュータ、携帯型コンピュータ、ノートパソコン、タブレットコンピュータ、ポケットコンピュータ、電話、スマートフォン、又は任意の他の適切な電子機器であってもよい。

【0029】

次に、図２を参照して、本開示の実施形態に係るオブジェクト検出システムについて説明する。

【0030】

図２は、本開示の実施形態に係るオブジェクト検出システム２００の構成の一例を示す図である。図２に示すように、本開示に係るオブジェクト検出システム２００は、主にＸ線装置２１１、通信ネットワーク２０２、及びオブジェクト検出装置２０１からなる。Ｘ線装置２１１及びオブジェクト検出装置２０１は、通信ネットワーク２０２を介して接続されている。

【0031】

通信ネットワーク２０２は、例えばローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、衛星ネットワーク、ケーブルネットワーク、Ｗｉ―Ｆｉネットワーク、またはそれらの任意の組み合わせを含むものであってもよい。また、Ｘ線装置２１１とオブジェクト検出装置２０１の接続は、有線であってもよく、無線であってもよい。

【0032】

Ｘ線装置２１１は、Ｘ線画像を撮影する装置である。Ｘ線装置２１１は、例えばＸ線を放射するＸ線発生器と、反射するＸ線を検出し、解析するＸ線検出器とからなる。本開示に係るＸ線装置２１１の種類は特に限定されず、荷物用のＸ線装置であってもよく、後方散乱Ｘ線検査装置であってもよく、医療用のＸ線装置であってもよい。Ｘ線装置２１１は、所定の被写体のＸ線画像を撮影し、通信ネットワーク２０２を介してオブジェクト検出装置２０１に送信するように構成されている。
なお、図２では、Ｘ線画像を処理する構成として、Ｘ線装置２１１を含む場合の構成を一例として示しているが、本開示はこれに限定されず、Ｘ線装置２１１は、例えば任意のカメラ、センサ、又はオブジェクト検出の対象となる入力画像を提供する他の装置であってもよい。

【0033】

オブジェクト検出装置２０１は、例えばＸ線装置２１１から送信されるＸ線画像におけるオブジェクトのカテゴリー及び位置を検出するためのコンピューティングデバイスである。オブジェクト検出装置２０１は、例えばデスクトップコンピュータ、サーバコンピュータ、ラップトップコンピューター、タブレットコンピュータ、ワークステーション、携帯端末、または他の種類のコンピューティングデバイスとして構成されてもよい。

【0034】

図２に示すように、オブジェクト検出装置２０１は、メモリ２０７に格納された命令を実行するためのプロセッサ２０３と、オブジェクト検出装置２０１の内部・外部デバイス間の通信を制御するためのＩ／Ｏインターフェース２０４と、通信ネットワーク２０２を介しての通信を制御するためのネットワークインターフェース２０５と、ユーザからの入力を受け付けるためのユーザＩ／Ｏインターフェース２０６と、本開示の実施形態に係るオブジェクト検出手段のそれぞれの機能を実行するための機能部を格納するメモリ２０７と、これらの構成要素の双方通信を制御するためのバス２１２とを含む。

【0035】

また、図２に示すように、オブジェクト検出装置２０１のメモリ２０７は、ソースドメインに対応するソースドメイン画像と、ターゲットドメインに対応するターゲットドメイン画像とを含む入力画像セットや、Ｘ線装置から送信されるＸ線画像等を受け付ける画像入力部２０８と、入力画像セットに対するドメイン変換処理を行い、ソースドメイン画像をターゲットドメインに変換した疑似ターゲットドメイン画像と、ターゲットドメイン画像をソースドメイン画像に変換した疑似ソースドメイン画像とを含む変換画像セットを生成するドメイン変換部２１０と、高精度の疑似ターゲットドメイン画像及び疑似ソースドメイン画像を生成するようにドメイン変換部２１０を学習するドメイン変換学習部２１５と、検出精度を向上させるようにオブジェクト検出部２２０を学習するオブジェクト検出学習部２２５と、学習された後、Ｘ線装置２１１から送信されるＸ線画像におけるオブジェクトのカテゴリーや位置を検出するオブジェクト検出部２２０と、ソースドメイン画像を格納するためのソースドメイン画像ストレージ部２３０と、ターゲットドメイン画像を格納するためのターゲットドメイン画像ストレージ部２３５と、疑似ソースドメイン画像を格納するための疑似ソースドメイン画像ストレージ部２４０と、疑似ターゲットドメイン画像を格納するための疑似ターゲットドメイン画像ストレージ部２４５とを含む。

【0036】

本開示の実施形態に係るオブジェクト検出部２２０は、深層ニューラルネットワークとして構成されてもよい。後述するように、ラベル付きのソースドメイン画像及びラベル無しのターゲットドメイン画像を含む入力画像セットに加えて、ソースドメイン画像をターゲットドメインに変換した疑似ターゲットドメイン画像と、ターゲットドメイン画像をソースドメインに変換した疑似ソースドメイン画像とを含む変換画像セット用いてオブジェクト検出部２２０となる深層ニューラルネットワークを訓練することで、ソースドメインとターゲットドメインとのドメインギャップを短縮すると共に、ターゲットドメインの画像についても高精度のオブジェクト検出結果を生成することができる。

【0037】

なお、オブジェクト検出装置２０１に含まれるそれぞれの機能部は、図１に示すコンピュータシステム３００におけるオブジェクト検出アプリケーション３５０を構成するソフトウエアモジュールであってもよく、独立した専用ハードウェアデバイスであってもよい。また、上記の機能部は、同一のコンピューティング環境に実施されてもよく、分散されたコンピューティング環境に実施されてもよい。

【0038】

以上説明したオブジェクト検出システム２００によれば、入手しやすいドメインのラベル付き学習データを活用し、ソースドメインとターゲットドメインとのドメインギャップを短縮させた上でＤＮＮを訓練することで、通信ネットワーク２０２を介してＸ線装置２１１等の外部装置から受信したＸ線画像におけるオブジェクトのカテゴリー及び位置を検出することができる。

【0039】

次に、図３を参照して、本開示の実施形態に係るＸ線画像について説明する。

【0040】

図３は、本開示の実施形態に係るＸ線画像の一例を示す図である。
上述したように、本開示の実施形態に係るオブジェクト検出装置（例えば、図２に示すオブジェクト検出装置２０１）は、ソースドメイン（例えば、ラベル付き学習データが豊富なドメイン）に対応するラベル付き画像であるソースドメイン画像と、ターゲットドメイン（例えば、ラベル付き学習データが少ないドメイン）に対応するラベル無し画像であるターゲットドメイン画像とを入力とする。これらのソースドメイン画像と、ターゲットドメイン画像は、後述するように、オブジェクト検出装置を訓練する際に用いられる学習データの一部となる。

【0041】

図３は、本開示の実施形態に係るソースドメイン画像３６１及びターゲットドメイン画像３６２の一例を示す。ソースドメイン画像３６１は、ラベル付きの画像であるため、ソースドメイン画像３６１における各オブジェクトのカテゴリー及び位置を示すメタデータは、ソースドメイン画像３６１に添付されている。
一方、ターゲットドメイン画像３６２は、ラベル無しの画像であるため、ターゲットドメイン画像３６２における各オブジェクトのカテゴリー及び位置が不明である。

【0042】

ソースドメイン画像３６１及びターゲットドメイン画像３６２は、例えば、異なるＸ線装置によって撮影された、又は、同一のＸ線装置で異なる撮影設定で撮影されたため、ドメインが異なるＸ線画像となっている。このため、ソースドメイン画像３６１とターゲットドメイン画像３６２とで、色、鮮鋭度（シャープネス）等、様々な表示設定が相違しており、ソースドメインとターゲットドメインとの間でいわゆる「ドメインギャップ」が存在する。

【0043】

このようなドメインギャップが存在すると、例えばオブジェクト検出用のＤＮＮがソースドメインのラベル付きデータによって訓練されたとしても、ラベル無しのドメインであるターゲットドメインの画像に対しては高精度のオブジェクト検出結果を生成することができない。
そこで、後述するように、本開示では、ソースドメインとターゲットドメインとの距離を短縮し、ドメインギャップを縮小することで、ラベル無しのドメインの画像に対しても、高精度のオブジェクト検出結果を生成することが可能となる。

【0044】

次に、図４を参照して、本開示の実施形態に係るオブジェクト検出装置におけるオブジェクト検出学習部の論理構成について説明する。

【0045】

図４は、本開示の実施形態に係るオブジェクト検出装置２０１におけるオブジェクト検出学習部２２５の論理構成を示す図である。
上述したように、本開示の実施形態に係るオブジェクト検出装置２０１におけるオブジェクト検出学習部２２５は、検出精度を向上させるようにオブジェクト検出部（例えば、図２に示すオブジェクト検出部２２０）のパラメータを調整することでオブジェクト検出部を訓練するための機能部である。

【0046】

図４に示すように、オブジェクト検出学習部２２５は、ペア生成部３６５、特徴抽出部３６８、画像乖離度計算部３６９、適応損失計算部３７０、検出予測部３７１、検出損失計算部３７２、及びパラメータ更新部３７３を含む。

【0047】

まず、ペア生成部３６５は、ソースドメイン画像３６１と、ターゲットドメイン画像３６２とを含む入力画像セットと、当該入力画像セットに対するドメイン変換処理を施すことによって得られる、疑似ソースドメイン画像３６３と、疑似ターゲットドメイン画像３６４とを含む変換画像セットとを入力する。図３を参照して説明したように、ソースドメイン画像３６１は、所定のソースドメインに対応するラベル付き画像であり、ターゲットドメイン画像３６２は、ソースドメインと異なるドメインであるターゲットドメインに対応するラベル無し画像である。
なお、図４では、説明の便宜上、ペア生成部３６５は、ソースドメイン画像３６１と、ターゲットドメイン画像３６２、疑似ソースドメイン画像３６３、及び疑似ターゲットドメイン画像３６４を１つずつ入力する場合を一例として示しているが、本開示はこれに限定されない。実際には、ペア生成部３６５は、ソースドメイン画像３６１と、ターゲットドメイン画像３６２、疑似ソースドメイン画像３６３、及び疑似ターゲットドメイン画像３６４のそれぞれについて、複数の画像を含むバッチを入力してもよい。

【0048】

疑似ソースドメイン画像３６３は、上述したドメイン変換部（例えば、図２に示すドメイン変換部２１０）を用いて、ターゲットドメイン画像３６２をソースドメインに変換することで得られた画像である。
なお、疑似ソースドメイン画像３６３は、ラベル無しの画像であるターゲットドメイン画像３６２から変換された画像であるため、ターゲットドメイン画像３６２と同様に、ラベル無しの画像である。

【0049】

疑似ターゲットドメイン画像３６４は、上述したドメイン変換部を用いて、ソースドメイン画像３６１をターゲットドメインに変換することで得られた画像である。
なお、疑似ターゲットドメイン画像３６４は、ラベル付きの画像であるソースドメイン画像３６１から変換された画像であるため、ソースドメイン画像３６１と同様に、ラベル付きの画像である。また、本開示では、入力画像セットに対するドメイン変換処理を施すことで得られる変換画像セットにおける各画像を「疑似」と呼ぶのは、実際のソースドメイン及びターゲットドメインと完全には一致しないからである。

【0050】

ソースドメイン画像３６１と、ターゲットドメイン画像３６２と、疑似ソースドメイン画像３６３と、疑似ターゲットドメイン画像３６４とを入力したペア生成部３６５は、画像ペアを生成する。より具体的には、ペア生成部３６５は、入力画像セットに含まれる各画像と、変換画像セットに含まれる各画像とを組み合わせたペアを生成してもよい。また、ペア生成部３６５は、
入力画像セットと、変換画像セットとの中から、撮影内容（オブジェクトのカテゴリーや配置）が所定の類似度基準を満たす画像をポジティブペア３６６とし、入力画像セットと、変換画像セットとの中から、撮影内容が所定の類似度基準を満たさない画像をネガティブペア３６７とする。
なお、画像ペアの詳細については、図６を参照して説明するため、ここではその説明を省略する。

【0051】

特徴抽出部３６８は、ペア生成部によって生成された画像ペアを入力した後、これらの画像ペアに含まれる各画像について、特徴マップを抽出する。ここでは、画像ペアに含まれる各画像の特徴マップを抽出する手段は、例えばいわゆる畳み込みニューラルネットワーク等の既存の手段を用いてもよく、本開示では特に限定されない。特徴抽出部３６８によって作成される各画像の特徴マップは、画像乖離度計算部３６９と、検出予測部３７１とに転送される。

【0052】

画像乖離度計算部３６９は、各画像ペアに含まれるそれぞれの画像の特徴マップを比較することで、当該画像ペアのそれぞれの画像の特徴分布の乖離度を計算する。ここでの乖離度とは、画像の特徴分布の距離を示す値であり、画像ペアの特徴分布の乖離度が大きい程、上述したドメインギャップが大きいことを示す。
なお、画像ペアの特徴分布の乖離度の計算の詳細については後述するため、ここではその説明を省略する。

【0053】

適応損失計算部３７０は、ペア生成部３６５によって生成される画像ペアの中で、ポジティブペアの乖離度を減算させる第１の適応損失パラメータと、ネガティブペアの乖離度を向上させる第２の適応損失パラメータとを計算する。
なお、適応損失パラメータの計算の詳細については後述するため、ここではその説明を省略する。

【0054】

検出予測部３７１は、特徴抽出部３６８によって生成された各画像ペアの特徴マップから、各画像におけるオブジェクトのカテゴリー及び位置を予測し、オブジェクトの予測したカテゴリー及び位置を示す予測結果を生成する。ここでの検出予測部３７１として、例えばオブジェクト検出部２２０を構成する深層ニューラルネットワークを訓練前の状態で用いてもよい。

【0055】

検出損失計算部３７２は、検出予測部３７１によって生成された予測結果と、オブジェクトの実際のカテゴリー及び実際の位置を示すグラウンドトゥルースとを比較することで、検出予測部３７１による検出損失を示す検出損失パラメータを計算する。
なお、検出損失パラメータの計算の詳細については後述するため、ここではその説明を省略する。

【0056】

パラメータ更新部３７３は、適応損失計算部３７０によって計算される第１の適応損失パラメータ及び第２の適応損失パラメータと、検出損失計算部３７２によって計算される検出損失パラメータに基づいて、オブジェクト検出部（例えば、図２に示すオブジェクト検出部２２０）を構成する深層ニューラルネットワークのパラメータを調整することで、オブジェクト検出部を訓練する。

【0057】

以上説明したオブジェクト検出学習部２２５の構成によれば、適応損失パラメータと、検出損失パラメータとに基づいてオブジェクト検出部を訓練することで、オブジェクト検出部は、予測結果とグラウンドトゥルースとの差を最小化するように学習され、ターゲットドメインの画像についても、高精度のオブジェクト検出結果を生成することができるようになる。また、このように、入手しやすいドメインのラベル付き学習データのみを用いてオブジェクト検出部を訓練することができるため、入手が困難なターゲットドメインの学習データを収集することが不要となり、深層ニューラルネットワークによるオブジェクト検出手段を導入するコストを抑えることができる。

【0058】

次に、図５を参照して、本開示の実施形態に係るドメイン変換部によるドメイン変換処理について説明する。

【0059】

図５は、本開示の実施形態に係るドメイン変換部２１０によるドメイン変換処理の一例を示す図である。上述したように、本開示の実施形態に係るドメイン変換部２１０は、ソースドメイン（例えば、ラベル付き学習データが豊富なドメイン）に対応するラベル付き画像であるソースドメイン画像５０５をターゲットドメインに変換した疑似ターゲットドメイン画像５１１と、ターゲットドメイン（例えば、ラベル付き学習データが少ないドメイン）に対応するラベル無し画像であるターゲットドメイン画像５０７をソースドメインに変換した疑似ソースドメイン画像５０９とを生成する。

【0060】

図５は、本開示の実施形態に係るソースドメイン画像５０５、ターゲットドメイン画像５０７、疑似ソースドメイン画像５０９、及び疑似ターゲットドメイン画像５１１の一例をしている。また、図５に示す各画像における三角及び丸は、画像における２種類のカテゴリーのオブジェクト（例えば、水筒と腕時計）を示している。
なお、図５では、説明の便宜上、２種類のカテゴリーのオブジェクトを含む画像を一例として示しているが、本開示はこれに限定されず、任意の数のカテゴリーを含む画像であってもよい。

【0061】

ソースドメイン画像５０５とターゲットドメイン画像５０７とは、例えば、異なるＸ線装置によって撮影された、又は、同一のＸ線装置で異なる撮影設定で撮影されたため、ドメインが異なるＸ線画像となっている。このため、ソースドメイン画像５０５とターゲットドメイン画像５０７とで、色、鮮鋭度（シャープネス）等、様々な表示設定が相違しており、ソースドメインとターゲットドメインとの間ではドメインギャップが存在し、それぞれの画像の特徴分布が大きく乖離している。

【0062】

このようなドメインギャップが存在すると、例えばオブジェクト検出用のＤＮＮがソースドメインのラベル付きデータによって訓練されたとしても、ラベル無しのドメインであるターゲットドメインの画像に対しては高精度のオブジェクト検出結果を生成することができない。
そこで、本開示では、ドメイン変換部を用いて、それぞれの画像に対するドメイン変換処理を行うことで、ドメインギャップを短縮し、ソースドメインとターゲットドメインとを接近させることができる。

【0063】

本開示に係るドメイン変換処理では、ドメイン変換部は、画像におけるオブジェクトの位置等を変えずに、それぞれの画像の色、明るさ、鮮鋭度（シャープネス）等の表示設定パラメータを、他方の画像のドメインに整合させるように調整する。より具体的には、ドメイン変換部２１０は、ソースドメイン画像５０５の色、明るさ、鮮鋭度等をターゲットドメインに整合させるように調整し、疑似ターゲットドメイン画像５１１を生成する。同様に、ドメイン変換部２１０は、ターゲットドメイン画像５０７の色、明るさ、鮮鋭度等の表示設定パラメータをソースドメインに整合させるように調整し、疑似ソースドメイン画像５０９を生成する。

【0064】

このドメイン変換処理によれば、画像間のドメインギャップが短縮される。また、このように画像間のドメインギャップが短縮された画像をオブジェクト検出用のＤＮＮを訓練するために用いることで、例えばターゲットドメインに対応する大量の学習データを収集しなくても、ターゲットドメインの画像にについて高精度のオブジェクト検出結果を生成することが可能となる。

【0065】

次に、図６を参照して、本開示の実施形態に係る画像ペア生成部による画像ペア生成処理について説明する。

【0066】

図６は、本開示の実施形態に係るペア生成部による画像ペア生成処理の一例を示す図である。上述したように、本開示の実施形態に係る画像ペア生成部（例えば、図４に示す画像ペア生成部３６５）は、ソースドメイン画像と、ターゲットドメイン画像とを含む入力画像セットと、疑似ソースドメイン画像と、疑似ターゲットドメイン画像とを含む変換画像セットとを入力し、入力画像セットに含まれる各画像と、変換画像セットに含まれる各画像とを組み合わせたペアを生成してもよい。

【0067】

一例として、ソースドメイン画像６０５Ａ、ソースドメイン画像６０５Ｂ、及びソースドメイン画像６０５Ｃとの３つのソースドメイン画像と、これらの３つのソースドメイン画像をターゲットドメインに変換した疑似ターゲットドメイン画像６１０Ａ、疑似ターゲットドメイン画像６１０Ｂ、及び疑似ターゲットドメイン画像６１０Ｃとの３つのターゲットドメイン画像があるとする。この場合、画像ペア生成部は、ソースドメイン画像６０５Ａと疑似ターゲットドメイン画像６１０Ａ、ソースドメイン画像６０５Ａと疑似ターゲットドメイン画像６１０Ｂ、ソースドメイン画像６０５Ａと疑似ターゲットドメイン画像６１０Ｃ、ソースドメイン画像６０５Ｂと疑似ターゲットドメイン画像６１０Ａ、ソースドメイン画像６０５Ｂと疑似ターゲットドメイン画像６１０Ｂ、ソースドメイン画像６０５Ｂと疑似ターゲットドメイン画像６１０Ｃ、ソースドメイン画像６０５Ｃと疑似ターゲットドメイン画像６１０Ａ、ソースドメイン画像６０５Ｃと疑似ターゲットドメイン画像６１０Ｂ、及びソースドメイン画像６０５Ｃと疑似ターゲットドメイン画像６１０Ｃとの９つの画像ペアを生成する。

【0068】

また、画像ペア生成部は、この９つのペアの中から、撮影内容（オブジェクトの形状や配置）が所定の類似度基準を満たす画像をポジティブペア６１２とし、撮影内容が所定の類似度基準を満たさない画像をネガティブペア６１４とする。ここでの類似度基準とは、ユーザに予め設定されてもよい。また、画像の類似度は、既存の画像類似度アルゴリズムによって判定されてもよく、ここでは特に限定されない。
図５では、ポジティブペア６１２は実線で示され、ネガティブペア６１４は点線で示される。このように、それぞれのソースドメイン画像と、当該ソースドメイン画像から生成された疑似ターゲットドメイン画像とがポジティブペア６１２となり、それ以外の画像の組み合わせはネガティブペア６１４となる。

【0069】

より具体的には、ソースドメイン画像６０５Ａと疑似ターゲットドメイン画像６１０Ａ、ソースドメイン画像６０５Ｂと疑似ターゲットドメイン画像６１０Ｂ、及びソースドメイン画像６０５Ｃと疑似ターゲットドメイン画像６１０Ｃとがポジティブペア６１２となり、ソースドメイン画像６０５Ａと疑似ターゲットドメイン画像６１０Ｂ、ソースドメイン画像６０５Ａと疑似ターゲットドメイン画像６１０Ｃ、ソースドメイン画像６０５Ｂと疑似ターゲットドメイン画像６１０Ａ、ソースドメイン画像６０５Ｂと疑似ターゲットドメイン画像６１０Ｃ、ソースドメイン画像６０５Ｃと疑似ターゲットドメイン画像６１０Ａ、及びソースドメイン画像６０５Ｃと疑似ターゲットドメイン画像６１０Ｂとがネガティブペア６１４となる。

【0070】

後述するように、ペア生成部によって生成される画像ペアの中で、ポジティブペア６１２の乖離度を減算させ、ネガティブペア６１４の乖離度を向上させることで、オブジェクトのカテゴリーの識別力（つまり、検出精度）を高めつつ、ドメインギャップを短縮することができる。

【0071】

次に、図７を参照して、本開示の実施形態に係るドメインギャップ短縮について説明する。

【0072】

図７は、本開示の実施形態に係るドメインギャップ短縮の一例を示す図である。上述したように、本開示の実施形態に係る適応損失計算部（例えば、図３に示す適応損失計算部３７０）と、検出損失計算部（例えば、図３に示す検出損失計算部３７２）とによって生成されるパラメータに基づいてオブジェクト検出部のパラメータを更新することで、異なるドメインに対応する画像のドメインギャップを短縮することができる。

【0073】

図７は、適応損失計算部及び検出損失計算部によるドメインギャップ短縮の一例を示す。上述したように、適応損失計算部は、ペア生成部によって生成される画像ペアの中で、ポジティブペアの乖離度を減算させる第１の適応損失パラメータと、ネガティブペアの乖離度を向上させる第２の適応損失パラメータとを計算し、オブジェクト検出部は、これらのパラメータに基づいて訓練される。
これにより、図７に示すように、ポジティブペアの乖離度を減算させると、ソースドメイン画像５０５及び疑似ターゲットドメイン画像５１１と、ターゲットドメイン画像５０７及び疑似ソースドメイン画像５０９との間で、同一のカテゴリーの特徴分布が互いに接近する。また、ネガティブペアの乖離度を向上させると、ソースドメイン画像５０５及び疑似ターゲットドメイン画像５１１と、ターゲットドメイン画像５０７及び疑似ソースドメイン画像５０９との間で、異なるカテゴリーの特徴分布が更に乖離する。

【0074】

また、検出損失計算部は、上述したように、検出予測部によって生成された予測結果と、オブジェクトの実際のカテゴリー及び実際の位置を示すグラウンドトゥルースとを比較することで、検出損失パラメータを計算し、オブジェクト検出部は、このパラメータに基づいて訓練される。これにより、オブジェクト検出部は、異なるカテゴリーをより高精度で認識できるようになる。

【0075】

このように、適応損失計算部及び検出損失計算部によるパラメータを用いてオブジェクト検出部のパラメータを更新し、画像のドメインギャップを短縮することで、オブジェクト検出部は、ラベル無しのターゲットドメインの画像に対しても、高精度のオブジェクト検出結果を生成することができるようになる。

【0076】

次に、図８を参照して、本開示の実施形態に係るオブジェクト検出部訓練方法について説明する。

【0077】

図８は、本開示の実施形態に係るオブジェクト検出部訓練方法８００の一例を示す図である。図８に示すオブジェクト検出部訓練方法８００は、例えば図２に示すオブジェクト検出装置２０１の各機能部によって実行され、オブジェクト検出部を学習させるための方法である。

【0078】

まず、ステップＳ８１０では、画像入力部（例えば、図２に示す画像入力部２０８）は、
ソースドメインに対応するソースドメイン画像とターゲットドメインに対応するターゲットドメイン画像とを含む入力画像セットを受け付ける。ここで、ソースドメイン画像と、ターゲットドメイン画像とは、例えば学習用にユーザに選択された画像であってもよく、過去にオブジェクト検出装置に接続されているＸ線装置から送信された画像の中で、学習用に選択された画像であってもよい。
なお、ソースドメイン画像及びターゲットドメイン画像の詳細については、図３を参照して説明したため、ここではその説明を省略する。

【0079】

次に、ステップＳ８２０では、ドメイン変換部（例えば、図２に示すドメイン変換部２１０）は、ステップＳ８１０で画像入力部によって受け付けられた入力画像セットに対するドメイン変換処理を行い、ソースドメイン画像をターゲットドメインに変換した疑似ターゲットドメイン画像と、ターゲットドメイン画像をソースドメイン画像に変換した疑似ソースドメイン画像とを含む変換画像セットを生成する。
なお、ドメイン変換処理の詳細については、図５を参照して説明したため、ここではその説明を省略する。

【0080】

次に、ステップＳ８３０では、ペア生成部（例えば、図４に示すペア生成部３６５）は、ソースドメイン画像と、ターゲットドメイン画像と、疑似ソースドメイン画像と、疑似ターゲットドメイン画像とを入力し、画像ペアを生成する。例えば、上述したように、ペア生成部は、入力画像セットと、変換画像セットとの中から、撮影内容（オブジェクトのカテゴリーや配置）が所定の類似度基準を満たす画像をポジティブペアとし、入力画像セットと、変換画像セットとの中から、撮影内容が所定の類似度基準を満たさない画像をネガティブペアとする。
なお、画像ペアを生成する処理の詳細については、図６を参照して説明したため、ここではその説明を省略する。

【0081】

次に、ステップＳ８４０では、特徴抽出部（例えば、図４に示す特徴抽出部３６８）は、ステップＳ８３０で生成された画像ペアに含まれる各画像について、特徴マップを抽出する。ここでの特徴抽出部は、画像におけるオブジェクトのカテゴリー及び配置に応じて特徴マップを抽出するように、学習された畳み込みニューラルネットワークであってもよい。また、ここでの特徴マップとは、例えば１次元ベクトルであってもよく、２次元又は３次元のマトリックス表現であってもよい。

【0082】

次に、ステップＳ８５０では、画像乖離度計算部（例えば、図４に示す画像乖離度計算部３６９）は、ステップＳ８４０で生成された特徴マップを用いて、各画像ペアの乖離度を計算する。ここでの乖離度とは、画像の特徴分布の距離を示す値であり、画像ペアの特徴分布の乖離度が大きい程、上述したドメインギャップが大きいことを示す。ここでの乖離度を計算する手法として、例えば数式１に示すように、多次元空間に投影される２つのベクトル間の角度のコサインを計算するコサイン類似度法を用いてもよい。

【数1】

ここで、ｕ及びｖは、ソースドメインＳのｉ番目の画像の特徴マップfⁱ _s及び疑似ターゲットドメインＴ’のｉ番目の画像の特徴マップfⁱ _Ｔ’におけるベクトルであってもよい。このように、画像乖離度計算部、ペア生成部によって生成される各ポジティブペア及び各ネガティブペアについて、当該ペアの乖離度を計算する。
例えば、第１の画像に対応する第１の特徴マップ及び第２の画像に対応する第２の特徴マップとを含むポジティブペアがあり、第３の画像に対応する第３の特徴マップ及び第４の画像に対応する第４の特徴マップを含むネガティブペアがある場合、画像乖離度計算部は、第１の特徴マップと第２の特徴マップとの乖離度である第１の乖離度を計算し、第３の特徴マップと第４の特徴マップとの乖離度である第２の乖離度を計算してもよい。

【0083】

次に、適応損失計算部（例えば、図４に示す適応損失計算部３７０）は、ポジティブペアに含まれる画像の乖離度（例えば、第１の乖離度）を減算させるための第１の適応損失パラメータを計算し、ネガティブペアに含まれる画像の乖離度（例えば、第２の乖離度）を向上させるための第２の適応損失パラメータを計算する。

【0084】

ポジティブペアに含まれる画像の乖離度を減算させるのは、撮影内容（オブジェクトのカテゴリー及び配置）が類似している画像について、ドメインギャップを短縮させるためのドメイン不変特徴（ｄｏｍａｉｎ ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅｓ；つまり、ドメインによって変化しない特徴）を特徴抽出部に抽出させるように訓練するためである。これにより、ソースドメインと疑似ターゲットドメイン、及びターゲットドメインと疑似ソースドメインとの特徴分布が接近する。
また、ネガティブペアに含まれる画像の乖離度を向上させるのは、撮影内容（オブジェクトのカテゴリー及び配置）が類似していない画像について、異なる特徴を特徴抽出部に抽出させるように訓練するためである。これにより、異なるオブジェクトの識別力（つまり、検出精度）を向上させることができる。

【0085】

ここでの適応損失パラメータは、例えば以下の数式２から求められる。
なお、以下の数式２は、ソースドメイン及び疑似ターゲットドメインの適応損失パラメータＬ_adp ^S,T’
を計算するための数式であるが、ターゲットドメイン及び疑似ソースドメインの適応損失パラメータＬ_adp ^S’,Tを計算するために用いられてもよい。

【数2】

数式２では、分子はポジティブペアの乖離度（例えば、第１の乖離度）であり、分母は、ネガティブペアの乖離度（例えば、第２の乖離度）である。従って、ポジティブペアの乖離度を減算し、ネガティブペアの乖離度を向上すると、適応損失パラメータがより小さい値となる。
なお、分母に示されるネガティブペアの乖離度は、複数のネガティブペアの乖離度の和であってもよい。１つのポジティブペアに対して、多数のネガティブペアの乖離度を合わせて数式２の分母とすることで、異なるオブジェクトの識別力（つまり、検出精度）を更に向上させることができる。

【0086】

次に、ステップＳ８６０では、検出予測部（例えば、図４に示す検出予測部３７１）は、ステップＳ８４０で生成された各画像ペアの特徴マップを用いて、各画像におけるオブジェクトのカテゴリー及び位置を予測し、オブジェクトの予測したカテゴリー及び位置を示す予測結果を生成する。ここでの検出予測部は、例えば所定の対象領域（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ、 ＲＯＩ）についての領域提案を生成するＲＰＮ（Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋ）と、各ＲＯＩのカテゴリーを特定する分類器（ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｈｅａｄ）と、各ＲＯＩのバウンディングボックスの座標を調整するためのボックス回帰器（Ｂｏｘ ｒｅｇｒｅｓｓｉｏｎ ｈｅａｄ）とを含むＦａｓｔｅｒ Ｒ－ＣＮＮであってもよい。

【0087】

次に、検出損失計算部（例えば、図４に示す検出損失計算部３７２）は、検出予測部
によって生成された予測結果と、オブジェクトの実際のカテゴリー及び実際の位置を示すグラウンドトゥルースとを比較することで、検出予測部による検出損失パラメータを計算する。ここでの検出損失パラメータは、検出予測部によって生成された予測結果と、オブジェクトの実際のカテゴリー及び実際の位置を示すグラウンドトゥルースとの距離を計算することで得られるＲＰＮ損失、分類損失（ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｌｏｓｓ）、及び回帰損失（Ｒｅｇｒｅｓｓｉｏｎ ｌｏｓｓ）を含んでもよい。
なお、ここでの検出損失パラメータは、ラベル付きのデータ（つまり、ソースドメイン画像及び疑似ターゲットドメイン画像）についてのみ計算される。

【0088】

次に、ステップＳ８７０では、パラメータ更新部（例えば、図４に示すパラメータ更新部３７３）は、適応損失計算部によって計算される第１の適応損失パラメータ及び第２の適応損失パラメータと、検出損失計算部によって計算される検出損失に基づいて、オブジェクト検出部のパラメータを調整することで、オブジェクト検出部を訓練する。

【0089】

以上説明したオブジェクト検出部訓練方法８００によれば、適応損失パラメータと、検出損失パラメータとに基づいてオブジェクト検出部のパラメータを調整することで、オブジェクト検出部は、予測結果とグラウンドトゥルースとの差を最小化するために訓練され、例えばラベル付き学習データが少ないターゲットドメインの画像についても、高精度のオブジェクト検出結果を生成することができるようになる。

【0090】

次に、図９を参照して、本開示の実施形態に係るオブジェクト検出処理について説明する。

【0091】

図９は、本開示の実施形態に係るオブジェクト検出処理９００の一例を示す図である。図９に示すオブジェクト検出処理９００は、例えば図８に示すオブジェクト検出部訓練方法８００で訓練されたオブジェクト検出装置の各機能部によって実行され、所定のＸ線画像におけるオブジェクトのカテゴリー及び位置を検出するための処理である。

【0092】

まず、ステップＳ９１０では、画像入力部（例えば、図２に示す画像入力部２０８）は、
ターゲットドメイン画像を受け付ける。ここでは、画像入力部は、例えばターゲットドメインでのＸ線画像を取得するように構成されたＸ線装置から送信される画像を入力してもよい。

【0093】

次に、ステップＳ９２０では、特徴抽出部（例えば、図４に示す特徴抽出部３６８）は、ステップＳ９１０で画像入力部によって受け付けられたターゲットドメイン画像について、特徴マップを抽出する。上述したように、ここでの特徴抽出部は、画像におけるオブジェクトのカテゴリー及び配置に応じて特徴マップを抽出するように、学習された畳み込みニューラルネットワークであってもよい。また、ここでの特徴マップとは、例えば１次元ベクトルであってもよく、２次元又は３次元のマトリックス表現であってもよい。

【0094】

次に、ステップＳ９３０では、オブジェクト検出部（例えば、図２に示すオブジェクト検出部２２０）は、ステップＳ９２０で抽出された特徴マップに基づいて、ターゲットドメイン画像における各オブジェクトのカテゴリー及び位置を検出し、これらの各オブジェクトのカテゴリー及び位置を示すデータを検出結果として生成する。

【0095】

次に、ステップＳ９４０では、オブジェクト検出部は、ステップＳ９３０で生成した検出結果情報を出力する。ここでは、オブジェクト検出部は、検出結果を、例えば通信ネットワークを介して、所定の通知先（Ｘ線装置の管理者等）に送信してもよい。

【0096】

以上説明したオブジェクト検出処理９００によれば、オブジェクト検出装置は、ラベル無し学習データが少ないターゲットドメインのＸ線画像についても、高精度のオブジェクト検出結果を生成することができる。

【0097】

以上、本開示の実施の形態について説明したが、本開示は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

【符号の説明】

【0098】

２００ オブジェクト検出システム
２０１ オブジェクト検出装置
２０２ 通信ネットワーク
２０３ プロセッサ
２０４ Ｉ／Ｏインターフェース
２０５ ネットワークインターフェース
２０６ ユーザＩ／Ｏインターフェース
２０７ メモリ
２０８ 画像入力部
２１０ ドメイン変換部
２１１ Ｘ線装置
２１５ ドメイン変換学習部
２２０ オブジェクト検出部
２２５ オブジェクト検出学習部
２３０ ソースドメイン画像ストレージ部
２３５ ターゲットドメイン画像ストレージ部
２４０ 疑似ソースドメイン画像ストレージ部
２４５ 疑似ターゲットドメイン画像ストレージ部
３６１ ソースドメイン画像
３６２ ターゲットドメイン画像
３６３ 疑似ソースドメイン画像
３６４ 疑似ターゲットドメイン画像
３６５ ペア生成部
３６６ ポジティブペア
３６７ ネガティブペア
３６８ 特徴抽出部
３６９ 画像乖離度計算部
３７０ 適応損失計算部
３７１ 検出予測部
３７２ 検出損失計算部
３７３ パラメータ更新部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】