ホーム > 特許ランキング > 同方威視技術股▲分▼有限公司
▶ 同方威視技術股▲分▼有限公司の特許一覧 ▶ 清華大学の特許一覧
特開2023-164353放射画像識別モデルをオンラインでトレーニングするための方法、放射画像識別方法及び装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023164353
(43)【公開日】2023-11-10
(54)【発明の名称】放射画像識別モデルをオンラインでトレーニングするための方法、放射画像識別方法及び装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20231102BHJP
G01N 23/046 20180101ALI20231102BHJP
G01N 23/10 20180101ALI20231102BHJP
【ＦＩ】
G06T7/00 350C
G06T7/00 600
G01N23/046
G01N23/10
【審査請求】有
【請求項の数】25
【出願形態】ＯＬ
(21)【出願番号】P 2023071395
(22)【出願日】2023-04-25
(31)【優先権主張番号】202210478943.X
(32)【優先日】2022-04-29
(33)【優先権主張国・地域又は機関】CN
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡ
２．ＰＹＴＨＯＮ
(71)【出願人】
【識別番号】503414751
【氏名又は名称】同方威視技術股▲分▼有限公司
(71)【出願人】
【識別番号】502192546
【氏名又は名称】清華大学
【氏名又は名称原語表記】Ｔｓｉｎｇｈｕａ Ｕｎｉｖｅｒｓｉｔｙ
【住所又は居所原語表記】Ｔｓｉｎｇｈｕａ Ｕｎｉｖｅｒｓｉｔｙ，Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ，Ｂｅｉｊｉｎｇ １０００８４，Ｐ．Ｒ．Ｃｈｉｎａ
(74)【代理人】
【識別番号】100132241
【弁理士】
【氏名又は名称】岡部 博史
(74)【代理人】
【識別番号】100135703
【弁理士】
【氏名又は名称】岡部 英隆
(74)【代理人】
【識別番号】100227927
【弁理士】
【氏名又は名称】中村 拓
(72)【発明者】
【氏名】陳 志強
(72)【発明者】
【氏名】張 麗
(72)【発明者】
【氏名】鄭 ▲アオ▼
(72)【発明者】
【氏名】趙 驥
(72)【発明者】
【氏名】唐 虎
(72)【発明者】
【氏名】孫 運達
(72)【発明者】
【氏名】雷 蕾
(72)【発明者】
【氏名】王 朔
【テーマコード（参考）】
2G001
5L096
【Ｆターム（参考）】
2G001AA01
2G001BA11
2G001CA01
2G001FA02
2G001FA06
2G001HA07
2G001HA08
2G001HA14
2G001JA09
2G001KA06
2G001LA10
2G001PA11
5L096AA03
5L096AA06
5L096AA09
5L096BA08
5L096BA18
5L096CA18
5L096DA02
5L096DA03
5L096FA06
5L096FA69
5L096GA51
5L096HA11
5L096JA03
5L096JA11
5L096KA04
(57)【要約】 （修正有）
【課題】放射画像識別モデルをオンラインでトレーニングするための方法及び装置、放射画像識別方法及び装置、電子機器、コンピュータ可読記憶媒体及びプログラム製品を提供する。
【解決手段】方法は、放射検査現場で第二放射画像を収集することと、収集した第二放射画像をオンラインでマークし、第二放射画像の不完全なマーク情報であって第二放射画像における一部の興味のある対象を指示する第二マーク情報を有する現場収集データを形成することと、放射検査システムに予め記憶され、第一放射画像を含むプリセットデータと現場収集データとをオンラインで合成してトレーニングデータセットを形成することと、形成したトレーニングデータセットを利用して、放射画像識別モデルをオンラインでトレーニングすることと、を含む。
【選択図】図４
【解決手段】方法は、放射検査現場で第二放射画像を収集することと、収集した第二放射画像をオンラインでマークし、第二放射画像の不完全なマーク情報であって第二放射画像における一部の興味のある対象を指示する第二マーク情報を有する現場収集データを形成することと、放射検査システムに予め記憶され、第一放射画像を含むプリセットデータと現場収集データとをオンラインで合成してトレーニングデータセットを形成することと、形成したトレーニングデータセットを利用して、放射画像識別モデルをオンラインでトレーニングすることと、を含む。
【選択図】図４
【特許請求の範囲】
【請求項1】
放射画像識別モデルをオンラインでトレーニングするための方法であって、
前記放射画像識別モデルは、放射検査システムに応用され、前記放射検査システムは、放射検査現場に配置され、前記放射検査システムにプリセットデータが予め記憶され、前記プリセットデータは第一放射画像を含み、
前記方法は、
放射検査現場で第二放射画像を収集することと、
前記第二放射画像をオンラインでマークすることにより、第二マーク情報を有する現場収集データを形成し、ここで、前記第二マーク情報は、前記第二放射画像の不完全なマーク情報であり、前記第二マーク情報は、前記第二放射画像における一部の興味のある対象を指示することと、
前記プリセットデータと前記現場収集データをオンラインで合成してトレーニングデータセットを形成することと、
前記トレーニングデータセットを利用して前記放射画像識別モデルをオンラインでトレーニングすることと、を含む
放射画像識別モデルをオンラインでトレーニングするための方法。
前記放射画像識別モデルは、放射検査システムに応用され、前記放射検査システムは、放射検査現場に配置され、前記放射検査システムにプリセットデータが予め記憶され、前記プリセットデータは第一放射画像を含み、
前記方法は、
放射検査現場で第二放射画像を収集することと、
前記第二放射画像をオンラインでマークすることにより、第二マーク情報を有する現場収集データを形成し、ここで、前記第二マーク情報は、前記第二放射画像の不完全なマーク情報であり、前記第二マーク情報は、前記第二放射画像における一部の興味のある対象を指示することと、
前記プリセットデータと前記現場収集データをオンラインで合成してトレーニングデータセットを形成することと、
前記トレーニングデータセットを利用して前記放射画像識別モデルをオンラインでトレーニングすることと、を含む
放射画像識別モデルをオンラインでトレーニングするための方法。
【請求項2】
前記プリセットデータにおける第一放射画像は、
前記プリセットデータにおける第一放射画像が第一マーク情報を有し、前記第一マーク情報が前記第一放射画像における全ての興味のある対象を指示することと、
前記プリセットデータにおける第一放射画像はいかなる興味のある対象を含まないことと、
前記プリセットデータが複数の第一放射画像を含み、前記複数の第一放射画像におけるいくつかの第一放射画像が第一マーク情報を有し、前記第一マーク情報が前記第一放射画像における全ての興味のある対象を指示し、前記複数の第一放射画像におけるいくつかの第一放射画像がいかなる興味のある対象を含まないことと、という状況のうちの少なくとも一つを含む
請求項１に記載の方法。
前記プリセットデータにおける第一放射画像が第一マーク情報を有し、前記第一マーク情報が前記第一放射画像における全ての興味のある対象を指示することと、
前記プリセットデータにおける第一放射画像はいかなる興味のある対象を含まないことと、
前記プリセットデータが複数の第一放射画像を含み、前記複数の第一放射画像におけるいくつかの第一放射画像が第一マーク情報を有し、前記第一マーク情報が前記第一放射画像における全ての興味のある対象を指示し、前記複数の第一放射画像におけるいくつかの第一放射画像がいかなる興味のある対象を含まないことと、という状況のうちの少なくとも一つを含む
請求項１に記載の方法。
【請求項3】
前記プリセットデータ及び前記現場収集データをオンラインで合成してトレーニングデータを形成することは、
前記第二放射画像から前記第二マーク情報に対応する興味のある対象を抽出することと、
前記第二マーク情報及び抽出された興味のある対象を前記プリセットデータに含まれる第一放射画像に合成することにより、前記トレーニングデータセットを形成することと、を含む
請求項１又は２に記載の方法。
前記第二放射画像から前記第二マーク情報に対応する興味のある対象を抽出することと、
前記第二マーク情報及び抽出された興味のある対象を前記プリセットデータに含まれる第一放射画像に合成することにより、前記トレーニングデータセットを形成することと、を含む
請求項１又は２に記載の方法。
【請求項4】
前記第一マーク情報は前記第一放射画像における全ての種別の全ての興味のある対象を指示し、
前記第二マーク情報は前記第二放射画像における一部の種別の興味のある対象を指示し、又は、前記第二マーク情報は前記第二放射画像における一部の種別の一部の興味のある対象を指示する
請求項２に記載の方法。
前記第二マーク情報は前記第二放射画像における一部の種別の興味のある対象を指示し、又は、前記第二マーク情報は前記第二放射画像における一部の種別の一部の興味のある対象を指示する
請求項２に記載の方法。
【請求項5】
前記第一マーク情報は前記第一放射画像にマークされた少なくとも一つの第一マーク枠及び少なくとも一つの第一ラベルを含み、前記少なくとも一つの第一マーク枠はそれぞれ前記第一放射画像における全ての興味のある対象の位置を指示し、前記少なくとも一つの第一ラベルはそれぞれ前記第一放射画像における全ての興味のある対象の種別を指示する
請求項２又は４に記載の方法。
請求項２又は４に記載の方法。
【請求項6】
前記第二マーク情報は前記第二放射画像にマークされた少なくとも一つの第二マーク枠及び少なくとも一つの第二ラベルを含み、前記少なくとも一つの第二マーク枠はそれぞれ前記第二放射画像における一部の興味のある対象の位置を指示し、前記少なくとも一つの第二ラベルはそれぞれ前記第二放射画像における一部の興味のある対象の種別を指示する
請求項５に記載の方法。
請求項５に記載の方法。
【請求項7】
前記第二マーク情報及び抽出された興味のある対象を前記プリセットデータに含まれる第一放射画像に合成することにより、前記トレーニングデータセットを形成することは、具体的に、
抽出された興味のある対象を前記第一放射画像に挿入することにより、トレーニング用の放射画像を形成することと、
前記トレーニング用の放射画像において第三マーク枠及び第三ラベルを生成し、ここで、前記第三マーク枠が前記第二マーク枠に基づいて生成され、前記第三ラベルが前記第二ラベルと同じであり、前記第三マーク枠で囲まれた興味のある対象の種別を指示することと、
前記第一マーク枠、前記第一ラベル、前記第三マーク枠及び前記第三ラベルを有するトレーニング用の放射画像に基づいて、前記トレーニングデータセットを形成することと、を含む
請求項６に記載の方法。
抽出された興味のある対象を前記第一放射画像に挿入することにより、トレーニング用の放射画像を形成することと、
前記トレーニング用の放射画像において第三マーク枠及び第三ラベルを生成し、ここで、前記第三マーク枠が前記第二マーク枠に基づいて生成され、前記第三ラベルが前記第二ラベルと同じであり、前記第三マーク枠で囲まれた興味のある対象の種別を指示することと、
前記第一マーク枠、前記第一ラベル、前記第三マーク枠及び前記第三ラベルを有するトレーニング用の放射画像に基づいて、前記トレーニングデータセットを形成することと、を含む
請求項６に記載の方法。
【請求項8】
前記第一放射画像は透明領域及び不透明領域を含み、
抽出された興味のある対象を前記第一放射画像に挿入することにより、トレーニング用の放射画像を形成することは、具体的に、
前記第一放射画像の透明領域から挿入要求を満たす領域を選択して少なくとも一つの候補挿入領域とすることと、
データ合成規則に基づいて、前記少なくとも一つの候補挿入領域から一つを選択して挿入領域とすることと、
抽出された興味のある対象を前記挿入領域に挿入することと、を含む
請求項７に記載の方法。
抽出された興味のある対象を前記第一放射画像に挿入することにより、トレーニング用の放射画像を形成することは、具体的に、
前記第一放射画像の透明領域から挿入要求を満たす領域を選択して少なくとも一つの候補挿入領域とすることと、
データ合成規則に基づいて、前記少なくとも一つの候補挿入領域から一つを選択して挿入領域とすることと、
抽出された興味のある対象を前記挿入領域に挿入することと、を含む
請求項７に記載の方法。
【請求項9】
前記挿入要求を満たすことは、
前記候補挿入領域の面積又は体積が前記挿入すべき興味のある対象の面積又は体積以上であることを含む
請求項８に記載の方法。
前記候補挿入領域の面積又は体積が前記挿入すべき興味のある対象の面積又は体積以上であることを含む
請求項８に記載の方法。
【請求項10】
前記データ合成規則は、前記第一放射画像において周辺物体の候補挿入領域に対する隠蔽度が所定の要求に合致することを含む
請求項８に記載の方法。
請求項８に記載の方法。
【請求項11】
前記方法は、
前記第二放射画像の不完全なマーク情報に基づいて前記第二放射画像の準完全なマーク情報を形成することと、
準完全なマーク情報を有する第二放射画像を前記トレーニングデータセットの一部として決定することと、をさらに含む
請求項１、２、４のいずれか一項に記載の方法。
前記第二放射画像の不完全なマーク情報に基づいて前記第二放射画像の準完全なマーク情報を形成することと、
準完全なマーク情報を有する第二放射画像を前記トレーニングデータセットの一部として決定することと、をさらに含む
請求項１、２、４のいずれか一項に記載の方法。
【請求項12】
前記第二放射画像の不完全なマーク情報に基づいて前記第二放射画像の準完全なマーク情報を形成することは、具体的に、
前記第二放射画像におけるマークされていない興味のある対象を検出することと、
前記マークされていない興味のある対象と前記第二マーク情報に対応する興味のある対象との間の類似度を計算することと、
前記類似度が類似度閾値要求を満たす場合、前記第二マーク情報を利用して前記マークされていない興味のある対象をマークして、前記第二放射画像の準完全なマーク情報を形成することと、を含む
請求項１１に記載の方法。
前記第二放射画像におけるマークされていない興味のある対象を検出することと、
前記マークされていない興味のある対象と前記第二マーク情報に対応する興味のある対象との間の類似度を計算することと、
前記類似度が類似度閾値要求を満たす場合、前記第二マーク情報を利用して前記マークされていない興味のある対象をマークして、前記第二放射画像の準完全なマーク情報を形成することと、を含む
請求項１１に記載の方法。
【請求項13】
抽出された興味のある対象を前記第一放射画像に挿入することにより、トレーニング用の放射画像を形成することは、具体的に、
抽出された興味のある対象に対してデータの拡張操作を行い、拡張データを形成し、ここで、前記抽出された興味のある対象の数がｎであり、前記拡張データに含まれた興味のある対象の数がＮであり、Ｎ＝ｍ*ｎであり、ここで、ｎが１以上の正の整数であり、ｍが２以上の正の整数であることと、
前記拡張データに含まれるＮ個の興味のある対象をそれぞれ前記第一放射画像に挿入することにより、複数のトレーニング用の放射画像を形成することと、を含む
請求項８に記載の方法。
抽出された興味のある対象に対してデータの拡張操作を行い、拡張データを形成し、ここで、前記抽出された興味のある対象の数がｎであり、前記拡張データに含まれた興味のある対象の数がＮであり、Ｎ＝ｍ*ｎであり、ここで、ｎが１以上の正の整数であり、ｍが２以上の正の整数であることと、
前記拡張データに含まれるＮ個の興味のある対象をそれぞれ前記第一放射画像に挿入することにより、複数のトレーニング用の放射画像を形成することと、を含む
請求項８に記載の方法。
【請求項14】
前記データの拡張操作は、反転、回転、及び数値ジッター操作という操作のうちの少なくとも一種を含む
請求項１３に記載の方法。
請求項１３に記載の方法。
【請求項15】
前記トレーニングデータセットは、第一トレーニングデータサブセットと第二トレーニングデータサブセットを含み、前記第一トレーニングデータサブセットと前記第二トレーニングデータサブセットは異なるデータ分布を有し、前記第一トレーニングデータサブセットはプリセットデータを含み、前記第二トレーニングデータサブセットは放射検査現場で収集されたマークされていない第三放射画像を含み、
前記方法は、さらに、
前記第一トレーニングデータサブセットを利用して前記放射画像識別モデルをトレーニングすることと、
第二トレーニングデータサブセットを利用して前記第一トレーニングデータサブセットによりトレーニングされた放射画像識別モデルをトレーニングすることと、を含み、
ここで、第二トレーニングデータサブセットを利用して前記第一トレーニングデータサブセットによりトレーニングされた放射画像識別モデルをトレーニングする過程において、前記放射画像識別モデルの特徴層のパラメータを調整することにより、前記第一トレーニングデータサブセットと前記第二トレーニングデータサブセットとの間の距離を最小化する
請求項１、２、４のいずれか一項に記載の方法。
前記方法は、さらに、
前記第一トレーニングデータサブセットを利用して前記放射画像識別モデルをトレーニングすることと、
第二トレーニングデータサブセットを利用して前記第一トレーニングデータサブセットによりトレーニングされた放射画像識別モデルをトレーニングすることと、を含み、
ここで、第二トレーニングデータサブセットを利用して前記第一トレーニングデータサブセットによりトレーニングされた放射画像識別モデルをトレーニングする過程において、前記放射画像識別モデルの特徴層のパラメータを調整することにより、前記第一トレーニングデータサブセットと前記第二トレーニングデータサブセットとの間の距離を最小化する
請求項１、２、４のいずれか一項に記載の方法。
【請求項16】
前記プリセットデータは、放射検査における典型的なサンプルを含み、前記典型的なサンプルは、遺伝的方法により選別されて得られるものである
請求項１、２、４のいずれか一項に記載の方法。
請求項１、２、４のいずれか一項に記載の方法。
【請求項17】
前記第二放射画像をオンラインでマークすることは、
前記第二放射画像における未知の種別の興味のある対象を自動的に検出することと、
前記第二放射画像における未知の種類の興味のある対象をマークすることを注意させる注意信号を送信することと、を含む
請求項１、２、４のいずれか一項に記載の方法。
前記第二放射画像における未知の種別の興味のある対象を自動的に検出することと、
前記第二放射画像における未知の種類の興味のある対象をマークすることを注意させる注意信号を送信することと、を含む
請求項１、２、４のいずれか一項に記載の方法。
【請求項18】
前記トレーニングデータセットを利用して前記放射画像識別モデルをオンラインでトレーニングすることは、
前記トレーニングデータセットを利用して複数の候補モデルをトレーニングすることと、
所定の指標に基づいて前記複数の候補モデルを選別することと、
前記複数の候補モデルのうちの所定の指標を満たす一つを前記放射画像識別モデルとして決定することと、を含む
請求項１、２、４のいずれか一項に記載の方法。
前記トレーニングデータセットを利用して複数の候補モデルをトレーニングすることと、
所定の指標に基づいて前記複数の候補モデルを選別することと、
前記複数の候補モデルのうちの所定の指標を満たす一つを前記放射画像識別モデルとして決定することと、を含む
請求項１、２、４のいずれか一項に記載の方法。
【請求項19】
放射画像識別方法であって、
前記放射画像識別方法は放射検査システムに適用され、前記放射検査システムは放射検査現場に配置され、
前記方法は、
放射検査現場で識別すべき放射画像を収集することと、
前記識別すべき放射画像を放射画像識別モデルに入力し、ここで、前記放射画像識別モデルが請求項１、２、４のいずれか一項に記載の方法でトレーニングして得られるものであることと、
前記放射画像識別モデルを利用して前記識別すべき放射画像を識別することと、を含む
放射画像識別方法。
前記放射画像識別方法は放射検査システムに適用され、前記放射検査システムは放射検査現場に配置され、
前記方法は、
放射検査現場で識別すべき放射画像を収集することと、
前記識別すべき放射画像を放射画像識別モデルに入力し、ここで、前記放射画像識別モデルが請求項１、２、４のいずれか一項に記載の方法でトレーニングして得られるものであることと、
前記放射画像識別モデルを利用して前記識別すべき放射画像を識別することと、を含む
放射画像識別方法。
【請求項20】
放射画像識別モデルをオンラインでトレーニングするための装置であって、
前記放射画像識別モデルは放射検査システムに適用され、前記放射検査システムは放射検査現場に配置され、前記放射検査システムにプリセットデータが予め記憶され、前記プリセットデータは第一放射画像を含み、前記装置は、
放射検査現場で第二放射画像を収集する収集モジュールと、
前記第二放射画像をオンラインでマークすることにより、前記第二放射画像の不完全なマーク情報であって前記第二放射画像における一部の興味のある対象を指示する第二マーク情報を有する現場収集データを形成するオンラインマークモジュールと、
前記プリセットデータと前記現場収集データをオンラインで合成してトレーニングデータセットを形成するオンライン合成モジュールと、
前記トレーニングデータセットを利用して前記放射画像識別モデルをオンラインでトレーニングするトレーニングモジュールと、を含む
放射画像識別モデルをオンラインでトレーニングするための装置。
前記放射画像識別モデルは放射検査システムに適用され、前記放射検査システムは放射検査現場に配置され、前記放射検査システムにプリセットデータが予め記憶され、前記プリセットデータは第一放射画像を含み、前記装置は、
放射検査現場で第二放射画像を収集する収集モジュールと、
前記第二放射画像をオンラインでマークすることにより、前記第二放射画像の不完全なマーク情報であって前記第二放射画像における一部の興味のある対象を指示する第二マーク情報を有する現場収集データを形成するオンラインマークモジュールと、
前記プリセットデータと前記現場収集データをオンラインで合成してトレーニングデータセットを形成するオンライン合成モジュールと、
前記トレーニングデータセットを利用して前記放射画像識別モデルをオンラインでトレーニングするトレーニングモジュールと、を含む
放射画像識別モデルをオンラインでトレーニングするための装置。
【請求項21】
放射画像識別装置であって、
前記放射画像識別装置は放射検査システムに適用され、前記放射検査システムは放射検査現場に配置され、
前記装置は、
放射検査現場で識別すべき放射画像を収集する収集モジュールと、
前記識別すべき放射画像を、請求項１、２、４のいずれか一項に記載の方法でトレーニングして得られる放射画像識別モデルに入力する入力モジュールと、
前記放射画像識別モデルを利用して前記識別すべき放射画像を識別する識別モジュールと、を含む
放射画像識別装置。
前記放射画像識別装置は放射検査システムに適用され、前記放射検査システムは放射検査現場に配置され、
前記装置は、
放射検査現場で識別すべき放射画像を収集する収集モジュールと、
前記識別すべき放射画像を、請求項１、２、４のいずれか一項に記載の方法でトレーニングして得られる放射画像識別モデルに入力する入力モジュールと、
前記放射画像識別モデルを利用して前記識別すべき放射画像を識別する識別モジュールと、を含む
放射画像識別装置。
【請求項22】
一つ又は複数のプロセッサと、
一つ又は複数のプログラムを記憶する記憶装置と、を含み、
前記一つ又は複数のプログラムが前記一つ又は複数のプロセッサにより実行される場合、前記一つ又は複数のプロセッサに請求項１、２、４のいずれか一項に記載の方法を実行させる
電子機器。
一つ又は複数のプログラムを記憶する記憶装置と、を含み、
前記一つ又は複数のプログラムが前記一つ又は複数のプロセッサにより実行される場合、前記一つ又は複数のプロセッサに請求項１、２、４のいずれか一項に記載の方法を実行させる
電子機器。
【請求項23】
前記電子機器は放射検査機器である
請求項２２に記載の電子機器。
請求項２２に記載の電子機器。
【請求項24】
プロセッサにより実行される時にプロセッサに請求項１、２、４のいずれか一項に記載の方法を実行させる実行可能な命令が記憶される
コンピュータ可読記憶媒体。
コンピュータ可読記憶媒体。
【請求項25】
プロセッサにより実行される場合に請求項１、２、４のいずれか一項に記載の方法を実現するコンピュータプログラムを含む
コンピュータプログラム製品。
コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理技術分野に関し、具体的には放射画像識別モデルをオンラインでトレーニングするための方法及び装置、放射画像識別方法及び装置、電子機器、コンピュータ可読記憶媒体及びプログラム製品に関する。
【背景技術】
【0002】
放射撮像技術の広範な応用は、特異的な物品識別に大きな利便性をもたらすが、急速に増加した包みの数及び通過率の要求は、従来の人工による図判別に巨大な圧力を生成し、より自動化の識別方法が期待されている。放射画像のインテリジェント識別技術が現れ、該技術はディープラーニングに基づく目標検出方法を利用して収集された放射画像に対して自動識別と警報を行い、人力負担を大幅に軽減する。
【0003】
現在、ディープラーニングに基づく放射画像識別方法は、放射検査現場に配置された後、ユーザの需要が変化するたびに、現場で収集されたデータを放射画像インテリジェント識別システムの開発者に返信する必要があり、開発者により手動でマークされ、手動でマークされた結果に基づいてモデルトレーニングを行い、次にトレーニングされたモデルを放射検査現場に更新した後、現場で使用することができ、このフローは実施周期が長く、効率が低くかつユーザ（即ち放射画像インテリジェント識別システムの使用者）によるデータ秘匿に対する需要を満たすことができない。また、放射検査現場で収集されたデータ量が非常に大きく、従来のマーク方式は、全ての興味のある種別の全ての物体をマークする必要があり、マーク作業に必要な人力が多く、かつマークの効率が低い。
【0004】
本部分に開示された以上の情報は、本開示の発明構想の背景に対する理解に用いられ、したがって、以上の情報は従来の技術を構成しない情報を含むことができる。
【発明の概要】
【0005】
上記技術的問題の少なくとも一つの態様に鑑み、放射画像識別モデルをオンラインでトレーニングするための方法及び装置、放射画像識別方法及び装置、電子機器、コンピュータ可読記憶媒体及びプログラム製品を提供する。
【0006】
一態様では、放射画像識別モデルをオンラインでトレーニングするための方法を提供する。前記放射画像識別モデルは、放射検査システムに応用され、前記放射検査システムは、放射検査現場に配置され、前記放射検査システムにプリセットデータが予め記憶され、前記プリセットデータは第一放射画像を含み、前記方法は、
放射検査現場で第二放射画像を収集することと、
前記第二放射画像をオンラインでマークすることにより、第二マーク情報を有する現場収集データを形成し、ここで、前記第二マーク情報は、前記第二放射画像の不完全なマーク情報であり、前記第二マーク情報は、前記第二放射画像における一部の興味のある対象を指示することと、
前記プリセットデータと前記現場収集データをオンラインで合成してトレーニングデータセットを形成することと、
前記トレーニングデータセットを利用して前記放射画像識別モデルをオンラインでトレーニングすることと、を含む。
放射検査現場で第二放射画像を収集することと、
前記第二放射画像をオンラインでマークすることにより、第二マーク情報を有する現場収集データを形成し、ここで、前記第二マーク情報は、前記第二放射画像の不完全なマーク情報であり、前記第二マーク情報は、前記第二放射画像における一部の興味のある対象を指示することと、
前記プリセットデータと前記現場収集データをオンラインで合成してトレーニングデータセットを形成することと、
前記トレーニングデータセットを利用して前記放射画像識別モデルをオンラインでトレーニングすることと、を含む。
【0007】
いくつかの例示的な実施例によれば、前記プリセットデータにおける第一放射画像は、
前記プリセットデータにおける第一放射画像が第一マーク情報を有し、前記第一マーク情報が前記第一放射画像における全ての興味のある対象を指示することと、
前記プリセットデータにおける第一放射画像はいかなる興味のある対象を含まないことと、
前記プリセットデータが複数の第一放射画像を含み、前記複数の第一放射画像におけるいくつかの第一放射画像が第一マーク情報を有し、前記第一マーク情報が前記第一放射画像における全ての興味のある対象を指示し、前記複数の第一放射画像におけるいくつかの第一放射画像がいかなる興味のある対象を含まないことと、という状況のうちの少なくとも一つを含む。
前記プリセットデータにおける第一放射画像が第一マーク情報を有し、前記第一マーク情報が前記第一放射画像における全ての興味のある対象を指示することと、
前記プリセットデータにおける第一放射画像はいかなる興味のある対象を含まないことと、
前記プリセットデータが複数の第一放射画像を含み、前記複数の第一放射画像におけるいくつかの第一放射画像が第一マーク情報を有し、前記第一マーク情報が前記第一放射画像における全ての興味のある対象を指示し、前記複数の第一放射画像におけるいくつかの第一放射画像がいかなる興味のある対象を含まないことと、という状況のうちの少なくとも一つを含む。
【0008】
いくつかの例示的な実施例によれば、前記プリセットデータ及び前記現場収集データをオンラインで合成してトレーニングデータを形成することは、
前記第二放射画像から前記第二マーク情報に対応する興味のある対象を抽出することと、
前記第二マーク情報及び抽出された興味のある対象を前記プリセットデータに含まれる第一放射画像に合成することにより、前記トレーニングデータセットを形成することと、を含む。
前記第二放射画像から前記第二マーク情報に対応する興味のある対象を抽出することと、
前記第二マーク情報及び抽出された興味のある対象を前記プリセットデータに含まれる第一放射画像に合成することにより、前記トレーニングデータセットを形成することと、を含む。
【0009】
いくつかの例示的な実施例によれば、前記第一マーク情報は前記第一放射画像における全ての種別の全ての興味のある対象を指示し、前記第二マーク情報は前記第二放射画像における一部の種別の興味のある対象を指示し、又は、前記第二マーク情報は前記第二放射画像における一部の種別の一部の興味のある対象を指示する。
【0010】
いくつかの例示的な実施例によれば、前記第一マーク情報は前記第一放射画像にマークされた少なくとも一つの第一マーク枠及び少なくとも一つの第一ラベルを含み、前記少なくとも一つの第一マーク枠はそれぞれ前記第一放射画像における全ての興味のある対象の位置を指示し、前記少なくとも一つの第一ラベルはそれぞれ前記第一放射画像における全ての興味のある対象の種別を指示する。
【0011】
いくつかの例示的な実施例によれば、前記第二マーク情報は前記第二放射画像にマークされた少なくとも一つの第二マーク枠及び少なくとも一つの第二ラベルを含み、前記少なくとも一つの第二マーク枠はそれぞれ前記第二放射画像における一部の興味のある対象の位置を指示し、前記少なくとも一つの第二ラベルはそれぞれ前記第二放射画像における一部の興味のある対象の種別を指示する。
【0012】
いくつかの例示的な実施例によれば、前記第二マーク情報及び抽出された興味のある対象を前記プリセットデータに含まれる第一放射画像に合成することにより、前記トレーニングデータセットを形成することは、具体的に、
抽出された興味のある対象を前記第一放射画像に挿入することにより、トレーニング用の放射画像を形成することと、
前記トレーニング用の放射画像において第三マーク枠及び第三ラベルを生成し、ここで、前記第三マーク枠が前記第二マーク枠に基づいて生成され、前記第三ラベルが前記第二ラベルと同じであり、前記第三マーク枠で囲まれた興味のある対象の種別を指示することと、
前記第一マーク枠、前記第一ラベル、前記第三マーク枠及び前記第三ラベルを有するトレーニング用の放射画像に基づいて、前記トレーニングデータセットを形成することと、を含む。
抽出された興味のある対象を前記第一放射画像に挿入することにより、トレーニング用の放射画像を形成することと、
前記トレーニング用の放射画像において第三マーク枠及び第三ラベルを生成し、ここで、前記第三マーク枠が前記第二マーク枠に基づいて生成され、前記第三ラベルが前記第二ラベルと同じであり、前記第三マーク枠で囲まれた興味のある対象の種別を指示することと、
前記第一マーク枠、前記第一ラベル、前記第三マーク枠及び前記第三ラベルを有するトレーニング用の放射画像に基づいて、前記トレーニングデータセットを形成することと、を含む。
【0013】
いくつかの例示的な実施例によれば、前記第一放射画像は透明領域及び不透明領域を含み、抽出された興味のある対象を前記第一放射画像に挿入することにより、トレーニング用の放射画像を形成することは、具体的に、
前記第一放射画像の透明領域から挿入要求を満たす領域を選択して少なくとも一つの候補挿入領域とすることと、
データ合成規則に基づいて、前記少なくとも一つの候補挿入領域から一つを選択して挿入領域とすることと、
抽出された興味のある対象を前記挿入領域に挿入することと、を含む。
前記第一放射画像の透明領域から挿入要求を満たす領域を選択して少なくとも一つの候補挿入領域とすることと、
データ合成規則に基づいて、前記少なくとも一つの候補挿入領域から一つを選択して挿入領域とすることと、
抽出された興味のある対象を前記挿入領域に挿入することと、を含む。
【0014】
いくつかの例示的な実施例によれば、前記挿入要求を満たすことは、前記候補挿入領域の面積又は体積が前記挿入すべき興味のある対象の面積又は体積以上であることを含む。
【0015】
いくつかの例示的な実施例によれば、前記データ合成規則は、前記第一放射画像において周辺物体の候補挿入領域に対する隠蔽度が所定の要求に合致することを含む。
【0016】
いくつかの例示的な実施例によれば、前記方法は、
前記第二放射画像の不完全なマーク情報に基づいて前記第二放射画像の準完全なマーク情報を形成することと、
準完全なマーク情報を有する第二放射画像を前記トレーニングデータセットの一部として決定することと、をさらに含む。
前記第二放射画像の不完全なマーク情報に基づいて前記第二放射画像の準完全なマーク情報を形成することと、
準完全なマーク情報を有する第二放射画像を前記トレーニングデータセットの一部として決定することと、をさらに含む。
【0017】
いくつかの例示的な実施例によれば、前記第二放射画像の不完全なマーク情報に基づいて前記第二放射画像の準完全なマーク情報を形成することは、具体的に、
前記第二放射画像におけるマークされていない興味のある対象を検出することと、
前記マークされていない興味のある対象と前記第二マーク情報に対応する興味のある対象との間の類似度を計算することと、
前記類似度が類似度閾値要求を満たす場合、前記第二マーク情報を利用して前記マークされていない興味のある対象をマークして、前記第二放射画像の準完全なマーク情報を形成することと、を含む。
前記第二放射画像におけるマークされていない興味のある対象を検出することと、
前記マークされていない興味のある対象と前記第二マーク情報に対応する興味のある対象との間の類似度を計算することと、
前記類似度が類似度閾値要求を満たす場合、前記第二マーク情報を利用して前記マークされていない興味のある対象をマークして、前記第二放射画像の準完全なマーク情報を形成することと、を含む。
【0018】
いくつかの例示的な実施例によれば、抽出された興味のある対象を前記第一放射画像に挿入することにより、トレーニング用の放射画像を形成することは、具体的に、
抽出された興味のある対象に対してデータの拡張操作を行い、拡張データを形成し、ここで、前記抽出された興味のある対象の数がｎであり、前記拡張データに含まれた興味のある対象の数がＮであり、Ｎ＝ｍ*ｎであり、ここで、ｎが１以上の正の整数であり、ｍが２以上の正の整数であることと、
前記拡張データに含まれるＮ個の興味のある対象をそれぞれ前記第一放射画像に挿入することにより、複数のトレーニング用の放射画像を形成することと、を含む。
抽出された興味のある対象に対してデータの拡張操作を行い、拡張データを形成し、ここで、前記抽出された興味のある対象の数がｎであり、前記拡張データに含まれた興味のある対象の数がＮであり、Ｎ＝ｍ*ｎであり、ここで、ｎが１以上の正の整数であり、ｍが２以上の正の整数であることと、
前記拡張データに含まれるＮ個の興味のある対象をそれぞれ前記第一放射画像に挿入することにより、複数のトレーニング用の放射画像を形成することと、を含む。
【0019】
いくつかの例示的な実施例によれば、前記データ拡張操作は、反転、回転、及び数値ジッター操作という操作のうちの少なくとも一種を含む。
【0020】
いくつかの例示的な実施例によれば、前記トレーニングデータセットは、第一トレーニングデータサブセットと第二トレーニングデータサブセットを含み、前記第一トレーニングデータサブセットと前記第二トレーニングデータサブセットは異なるデータ分布を有し、前記第一トレーニングデータサブセットはプリセットデータを含み、前記第二トレーニングデータサブセットは放射検査現場で収集されたマークされていない第三放射画像を含み、
前記方法は、さらに、
前記第一トレーニングデータサブセットを利用して前記放射画像識別モデルをトレーニングすることと、
第二トレーニングデータサブセットを利用して前記第一トレーニングデータサブセットによりトレーニングされた放射画像識別モデルをトレーニングすることと、を含み、
ここで、第二トレーニングデータサブセットを利用して前記第一トレーニングデータサブセットによりトレーニングされた放射画像識別モデルをトレーニングする過程において、前記放射画像識別モデルの特徴層のパラメータを調整することにより、前記第一トレーニングデータサブセットと前記第二トレーニングデータサブセットとの間の距離を最小化する。
前記方法は、さらに、
前記第一トレーニングデータサブセットを利用して前記放射画像識別モデルをトレーニングすることと、
第二トレーニングデータサブセットを利用して前記第一トレーニングデータサブセットによりトレーニングされた放射画像識別モデルをトレーニングすることと、を含み、
ここで、第二トレーニングデータサブセットを利用して前記第一トレーニングデータサブセットによりトレーニングされた放射画像識別モデルをトレーニングする過程において、前記放射画像識別モデルの特徴層のパラメータを調整することにより、前記第一トレーニングデータサブセットと前記第二トレーニングデータサブセットとの間の距離を最小化する。
【0021】
いくつかの例示的な実施例によれば、前記プリセットデータは、放射検査における典型的なサンプルを含み、前記典型的なサンプルは、遺伝的方法により選別されて得られる。
【0022】
いくつかの例示的な実施例によれば、前記第二放射画像をオンラインでマークすることは、
前記第二放射画像における未知の種別の興味のある対象を自動的に検出することと、
前記第二放射画像における未知の種類の興味のある対象をマークすることを注意させる注意信号を送信することと、を含む。
前記第二放射画像における未知の種別の興味のある対象を自動的に検出することと、
前記第二放射画像における未知の種類の興味のある対象をマークすることを注意させる注意信号を送信することと、を含む。
【0023】
いくつかの例示的な実施例によれば、前記トレーニングデータセットを利用して前記放射画像識別モデルをオンラインでトレーニングすることは、
前記トレーニングデータセットを利用して複数の候補モデルをトレーニングすることと、
所定の指標に基づいて前記複数の候補モデルを選別することと、
前記複数の候補モデルのうちの所定の指標を満たす一つを前記放射画像識別モデルとして決定することと、を含む。
前記トレーニングデータセットを利用して複数の候補モデルをトレーニングすることと、
所定の指標に基づいて前記複数の候補モデルを選別することと、
前記複数の候補モデルのうちの所定の指標を満たす一つを前記放射画像識別モデルとして決定することと、を含む。
【0024】
別の態様において、放射画像識別方法を提供し、前記放射画像識別方法は放射検査システムに適用され、前記放射検査システムは放射検査現場に配置され、前記方法は、
放射検査現場で識別すべき放射画像を収集することと、
前記識別すべき放射画像を放射画像識別モデルに入力し、ここで、前記放射画像識別モデルが上記の方法でトレーニングして得られるものであることと、
前記放射画像識別モデルを利用して前記識別すべき放射画像を識別することと、を含む。
放射検査現場で識別すべき放射画像を収集することと、
前記識別すべき放射画像を放射画像識別モデルに入力し、ここで、前記放射画像識別モデルが上記の方法でトレーニングして得られるものであることと、
前記放射画像識別モデルを利用して前記識別すべき放射画像を識別することと、を含む。
【0025】
別の態様において、放射画像識別モデルをオンラインでトレーニングするための装置を提供する。前記放射画像識別モデルは放射検査システムに適用され、前記放射検査システムは放射検査現場に配置され、前記放射検査システムにプリセットデータが予め記憶され、前記プリセットデータは第一放射画像を含み、前記装置は、
放射検査現場で第二放射画像を収集する収集モジュールと、
前記第二放射画像をオンラインでマークすることにより、前記第二放射画像の不完全なマーク情報であって、前記第二放射画像における一部の興味のある対象を指示する第二マーク情報を有する現場収集データを形成するオンラインマークモジュールと、
前記プリセットデータと前記現場収集データをオンラインで合成してトレーニングデータセットを形成するオンライン合成モジュールと、
前記トレーニングデータセットを利用して前記放射画像識別モデルをオンラインでトレーニングするトレーニングモジュールと、を含む。
放射検査現場で第二放射画像を収集する収集モジュールと、
前記第二放射画像をオンラインでマークすることにより、前記第二放射画像の不完全なマーク情報であって、前記第二放射画像における一部の興味のある対象を指示する第二マーク情報を有する現場収集データを形成するオンラインマークモジュールと、
前記プリセットデータと前記現場収集データをオンラインで合成してトレーニングデータセットを形成するオンライン合成モジュールと、
前記トレーニングデータセットを利用して前記放射画像識別モデルをオンラインでトレーニングするトレーニングモジュールと、を含む。
【0026】
いくつかの例示的な実施例によれば、前記プリセットデータ及び前記現場収集データをオンラインで合成してトレーニングデータを形成することは、
前記第二放射画像から前記第二マーク情報に対応する興味のある対象を抽出することと、
前記第二マーク情報及び抽出された興味のある対象を前記プリセットデータに含まれる第一放射画像に合成することにより、前記トレーニングデータセットを形成することと、を含む。
前記第二放射画像から前記第二マーク情報に対応する興味のある対象を抽出することと、
前記第二マーク情報及び抽出された興味のある対象を前記プリセットデータに含まれる第一放射画像に合成することにより、前記トレーニングデータセットを形成することと、を含む。
【0027】
別の態様では、放射画像識別装置を提供する。前記放射画像識別装置は放射検査システムに適用され、前記放射検査システムは放射検査現場に配置され、前記装置は、
放射検査現場で識別すべき放射画像を収集する収集モジュールと、
前記識別すべき放射画像を、前記のような方法でトレーニングして得られる放射画像識別モデルに入力する入力モジュールと、
前記放射画像識別モデルを利用して前記識別すべき放射画像を識別する識別モジュールと、を含む。
放射検査現場で識別すべき放射画像を収集する収集モジュールと、
前記識別すべき放射画像を、前記のような方法でトレーニングして得られる放射画像識別モデルに入力する入力モジュールと、
前記放射画像識別モデルを利用して前記識別すべき放射画像を識別する識別モジュールと、を含む。
【0028】
別の態様において、
一つ又は複数のプロセッサと、
一つ又は複数のプログラムを記憶する記憶装置と、を含み、
ここで、前記一つ又は複数のプログラムが前記一つ又は複数のプロセッサにより実行される場合、前記一つ又は複数のプロセッサに前記のような方法を実行させる電子機器を提供する。
一つ又は複数のプロセッサと、
一つ又は複数のプログラムを記憶する記憶装置と、を含み、
ここで、前記一つ又は複数のプログラムが前記一つ又は複数のプロセッサにより実行される場合、前記一つ又は複数のプロセッサに前記のような方法を実行させる電子機器を提供する。
【0029】
いくつかの例示的な実施例によれば、前記電子機器は放射検査機器である。
【0030】
別の態様において、プロセッサにより実行される時にプロセッサに前記のような方法を実行させる実行可能な命令が記憶されるコンピュータ可読記憶媒体を提供する。
【0031】
別の態様において、プロセッサにより実行される場合に前記のような方法を実現するコンピュータプログラムを含むコンピュータプログラム製品を提供する。
【0032】
本開示の実施例において、現場で収集された不完全なマークデータを直接利用してそれによる悪影響を除去することができ、このようにしてユーザのマーク負担を大幅に低減することができる。具体的には、不完全なマーク又は極度の不完全なマークのデータを利用することができ、すなわちデータセットにおける各種別はいずれも完全なマークを必要としておらず、又は一枚の画像における興味のある種別の一部の物体のみをマークすることができ、マーク負担を最大限に減少し、システムのロバスト性を向上させる。また、現場で収集されたデータが現場からでないことを保証することができ、すなわち現場で収集されたデータを返信する必要がなく、それによりユーザのセキュリティニーズを満たす。
【図面の簡単な説明】
【0033】
本発明をよりよく理解するために、以下の図面に基づいて本発明を詳細に説明する。
【0034】
【発明を実施するための形態】
【0035】
以下に本発明の具体的な実施例を詳細に説明し、注意すべきこととして、ここで説明された実施例は単に例を挙げて説明するために用いられ、本発明を限定するものではない。以下の説明において、本発明の完全な理解を提供するために、多くの特定の詳細を説明する。しかしながら、これらの特定の詳細を採用して本発明を実行する必要がないことは、当業者にとって明らかである。他の実施例において、本発明を混同することを回避するために、公知の構造、材料又は方法を具体的に説明しない。
【0036】
明細書において、「一つの実施例」、「実施例」、「一つの例示」又は「例示」に対する言及は、該実施例又は例示を組み合わせて説明された特定の特徴、構造又は特性が本発明の少なくとも一つの実施例に含まれることを意味している。したがって、全ての明細書の各箇所に現れる「一つの実施例において」、「実施例において」、「一つの例示」又は「例示」というフレーズは必ずしも同一の実施例又は例示を指すとは限らない。また、任意の適切な組み合わせ及び／又はサブ組み合わせで特定の特徴、構造又は特性を一つ又は複数の実施例又は例示に組み合わせることができる。また、当業者であれば理解すべきこととして、ここで使用される用語「及び／又は」は一つ又は複数の関連して列挙された項目の任意及び全ての組み合わせを含む。
【0037】
ここで使用される用語は、具体的な実施例を説明するためだけであり、本開示を限定することを意図するものではない。ここで使用される用語「含む」、「包含」等は、前記特徴、ステップ、操作及び／又は部品の存在を示すが、一つ又は複数の他の特徴、ステップ、操作又は部品の存在又は追加を排除するものではない。
【0038】
ここで使用される全ての用語（技術及び科学的用語を含む）は、特に定義されない限り、当業者が一般的に理解する意味を有する。注意すべきこととして、ここで使用される用語は、本明細書の文脈と一致する意味を有すると解釈すべきであり、理想化又は厳格な方式で解釈されるべきではない。
【0039】
発明者らは研究により、放射撮像技術の広範な応用は、特異的な物品識別に大きな利便性をもたらすが、急速に増加した包みの数及び通過率の要求は、従来の人工図判別に巨大な圧力を生成し、より自動化の識別方法が必要であることを発見した。
【0040】
ＧＰＵハードウェア技術の急速な発展に伴い、ディープラーニングという方法は、各業界に入り、その出現は、業界の基礎研究手段を革新的に変更する。ディープラーニング方法の基礎である人工ニューラルネットワークは、その基本的なユニット「ニューロン」の概念は既に知られている。ニューラルネットワークの発展初期に、一般的には全接続の方式を採用して隣接するニューロンを接続する。しかしながら、画像処理タスクに対して、このような接続方式は、パラメータ量の需要に対して非常に巨大で許容できない。この問題を解決するために、生物視覚モデルにおける局部感知特性の発見を受け、畳み込みニューラルネットワークモデルが提案される。該モデルは、畳み込みの計算方式を導入することにより、その局所的な接続、重み値共有の特性を利用し、ネットワークのパラメータ量を大幅に低減しかつ複雑なコンピュータビジョンタスクに対する処理を可能にする。
【0041】
コンピュータビジョンの分野において、ディープラーニング方法の重要な応用シーンは目標検出であり、即ち一枚の入力画像に対して、アルゴリズムは、物体の位置情報（囲み枠又はエッジ輪郭）及びその属する種別を与えることができ、これは禁止品識別、自動運転、異常検出などの面で重要な応用を有する。目標検出問題に対して、古典的な解決方法は、正確率が高い二段階方法であるＲＣＮＮシリーズと、速度が速い一段階方法であるＳＳＤとＹＯＬＯシリーズを有する。近年、多くの研究者は、このいくつかの方法に基づいて改善し、様々な変化方法を提供して検出効果と検出速度を両立させる。
【0042】
放射撮像技術及びディープラーニング技術の発展に伴い、放射画像のインテリジェント識別技術が生成し、該技術は、ディープラーニングに基づく目標検出方法を利用して収集された放射画像に対して自動識別及び警報を行い、人力負担を大幅に軽減する。例えば、ＣＴ走査技術は、放射線を利用して物体内部の三次元構造情報を検出し、コストが低く、破壊がなく、かつ直感的に物体内部構造を検出する能力を有し、医学イメージング、安全検査、工業探傷などの多くの分野においていずれも顕著な成果を取得する。ここで、安全検査ＣＴの二重エネルギー材料識別技術は、物体原子番号などの材料情報を識別することができ、危険物検出の能力を大幅に向上させる。ＣＴ技術の広範な応用は、特異的な物品識別に大きな利便性をもたらすが、急速に増加した包みの数及び通過率の要求は従来の人工図判別に巨大な圧力を生成し、より自動化の識別方法が必要である。ＣＴインテリジェント識別技術が生成し、該技術は、ディープラーニングに基づく目標検出方法を利用してＣＴ走査データに対して自動識別と警報を行い、人工負担を大幅に軽減する。
【0043】
発明者らは研究により、ディープラーニングに基づく放射画像のインテリジェント識別技術が実際の応用過程において少なくとも以下の問題のうちの少なくとも一つの態様が存在することを発見した。
【0044】
(１)放射画像インテリジェント識別システムは、放射検査現場に配置された後、ユーザが需要を更新するたびに、現場で収集されたデータを放射画像インテリジェント識別システムの開発者に返信する必要があり、開発者により手動でマークされ、手動でマークされた結果に基づいてモデルトレーニングを行い、次にトレーニングされたモデルを放射検査現場に更新した後、現場で使用することができ、この一過程は、実施周期が長く、効率が低くかつユーザ（即ち放射画像インテリジェント識別システムの使用者）によるデータ秘匿に対する需要を満たすことができない。
【0045】
(２)放射検査現場で収集されたデータ量が非常に大きく、従来のマーク方式は、全ての興味のある種別の全ての物体をマークする必要があり、マーク作業に必要な人力が多く、かつマーク効率が低い。全ての興味のある種別を全てマークしなければ、現場で収集されたデータを十分に利用できないという問題がある。
【0046】
(３)現場の使用過程においてユーザの需要の連続的な変化及びいくつかの突発事象の影響に伴い、検出する必要がある物体の種別が絶えず更新され、従来の放射画像インテリジェント識別システムは、ユーザの需要に応じて従来を基礎として検出可能な種別が増加することに柔軟に、便利に満たすことができない。
【0047】
(４)異なる使用現場で収集されたデータ分布は同じではなく、具体的には、物体種別、数量分布等が異なる。従来の放射画像インテリジェント識別システムは、現場データに基づいてモデルを最適な検出効果に調整することができない。
【0048】
上記問題の少なくとも一つの態様を解決するために、本開示の実施例は、放射画像識別モデルをオンラインでトレーニングするための方法を提供した。前記放射画像識別モデルは、放射検査システムに応用され、前記放射検査システムは、放射検査現場に配置され、前記放射検査システムにはプリセットデータが予め記憶され、前記プリセットデータは、第一放射画像を含み、前記方法は、放射検査現場で第二放射画像を収集することと、前記第二放射画像をオンラインでマークして、前記第二放射画像の不完全なマーク情報であって前記第二放射画像における一部の興味のある対象を指示する第二マーク情報を有する現場収集データを形成することと、前記プリセットデータ及び前記現場収集データをオンラインで合成してトレーニングデータセットを形成することと、前記トレーニングデータセットを利用して前記放射画像識別モデルをオンラインでトレーニングすることと、を含む。
【0049】
本開示の実施例において、現場で収集された不完全なマークデータを直接利用してそれによる悪影響を除去することができ、このようにして、ユーザのマーク負担を大幅に低減することができる。具体的には、不完全なマーク又は極度の不完全なマークのデータを利用することができ、すなわちデータセットにおける各種別はいずれも完全にマークする必要がなく、又は一枚の画像における興味のある種別の一部の物体のみをマークすることができ、マーク負担を最大程度に減少し、システムのロバスト性を向上させる。また、現場で収集されたデータが現場から出ないことを保証することができ、すなわち現場で収集されたデータを返信する必要がなく、それによりユーザのセキュリティニーズを満たす。
【0050】
本開示の実施例は、さらに放射画像識別方法を提供し、前記放射画像識別方法は、放射検査システムに応用され、前記放射検査システムは放射検査現場に配置され、前記方法は、放射検査現場で識別すべき放射画像を収集することと、前記識別すべき放射画像を、前記のような方法でトレーニングして得られる放射画像識別モデルに入力することと、前記放射画像識別モデルを利用して前記識別すべき放射画像を識別することと、を含む。
【0051】
本開示の実施例において、大量の現場収集データによりトレーニングされた放射画像識別モデルを利用することにより、放射画像識別の正確度を向上させることができる。
【0052】
以下、ＣＴ放射検査を例として、本開示の実施例を詳細に説明し、理解されることとして、本開示の実施例は、ＣＴ放射検査シーンに限定されず、それは様々な放射検査シーンに適用することができる。例えば、Ｘ線機の安全検査、テラヘルツ（ミリ波）人体の安全検査などに適用することができる。さらに例えば、それは、様々な異なる検査対象を含む放射検査シーンに適用することができ、車両放射検査、荷物／包み放射検査、人体放射検査等を含むが、これらに限定されない。説明すべきものとして、ここで放射検査シーンの説明は、網羅的な説明ではなく、ここでの説明は本開示の保護範囲を限定するものと理解すべきではない。
【0053】
説明すべきものとして、本開示の実施例は、目標検出タスクに限定されず、さらに画像分類、画像分割などのタスクに適用することができる。同様に、検出の対象に対してもデータの次元を制限せず、以下の実施例における例示的な三次元データであってもよく、二次元データ、擬似三次元データ（深さデータ）などであってもよい。このように、本明細書において、特に説明しない限り、「画像識別」は目標検出、画像分類、画像分割などの様々なタスクを含むがこれらに限定されない。
【0054】
図１は、本発明の実施形態に係る放射検査システムの構造概略図である。図１において、ＣＴ走査装置は、前記放射検査システムの一例として概略的に示される。図１に示すように、本実施形態に係るＣＴ走査装置は、フレーム２０、載置機構４０、コントローラ５０、データプロセッサ６０（例えばコンピュータ）などを含む。フレーム２０は、例えばＸ線機のような検査用Ｘ線を発する放射線源１０と、及び検出及び収集装置３０を含む。載置機構４０は、被検査対象（例えば被検査荷物）７０を載置して、フレーム２０の放射線源１０と検出及び収集装置３０との間の走査領域を通過し、同時にフレーム２０が被検査対象７０の前進方向の周りを回転し、それにより放射線源１０からの放射線が被検査対象７０を透過し、被検査対象７０にＣＴ走査を行うことができる。検出及び収集装置３０は例えば全体モジュール構造を有する検出器及びデータ収集器であり、例えば平板検出器であって、被検査液体物品を透過する放射線を検出し、アナログ信号を取得し、かつアナログ信号をデジタル信号に変換し、それによりＸ線に対する被検査対象７０の投影データを出力する。コントローラ５０は、システム全体の各部の同期動作を制御する。データプロセッサ６０は、データ収集器により収集されたデータを処理し、データを処理しかつ再構成し、結果を出力する。
【0055】
図１に示すように、放射線源１０は被検査物体を置く可能な一側に配置され、検出及び収集装置３０は被検査対象７０の他側に配置され、検出器及びデータ収集器を含み、被検査対象７０の透過データ及び／又は多角度投影データを取得する。データ収集器はデータ増幅フォーミング回路を含み、（電流）積分方式又はパルス（カウント）方式で動作することができる。検出及び収集装置３０のデータ出力ケーブルは、コントローラ５０及びデータプロセッサ６０に接続され、トリガコマンドに基づいて収集されたデータをデータプロセッサ６０に記憶する。
【0056】
本開示の実施例において、データプロセッサ６０に放射画像識別システム８０が配置されてもよく、放射画像識別システム８０に放射画像識別モデルが配置され、前記放射画像識別システム８０は放射画像識別モデルを利用して収集された現場データ（例えば放射画像）を識別することができ、前記識別は目標検出を含むことができ、例えば、前記放射画像における興味のある対象を検出する。例えば、前記興味のある対象は、様々な禁制品であってもよい。理解すべきこととして、前記興味のある対象の具体的な種別は、前記放射検査システムに配置された放射検査現場に依存し、又は、前記興味のある対象の具体的な種別は、前記放射検査システムの使用者（本明細書においてユーザとも呼ばれる）により具体的な放射検査の必要に基づいて決定され、それは放射検査の必要に伴って動的に調整することができる。
【0057】
本開示の実施例において、放射線源１０は、例えばＸ線機であってもよく、撮像の解像度に応じて適切なＸ線機の焦点サイズを選択することができる。他の実施例では、Ｘ線機を用いずに、直線加速器等を用いてＸ線ビームを発生させてもよい。
【0058】
検出及び収集装置３０は、Ｘ線検出器及びデータ収集回路等を含む。Ｘ線検出器は、固体検出器を使用してもよく、ガス検出器又は他の検出器を使用してもよく、本開示の実施例はこれに限定されない。データ収集回路は、読み出し回路、収集トリガ回路及びデータ伝送回路などを含む。
【0059】
コントローラ５０とデータプロセッサ６０の組み合わせは、例えば制御プログラム及びデータ処理プログラムがインストールされたコンピュータ機器を含み、ＣＴ走査装置の実行過程の制御を完了することを担当し、機械回転、電気制御、安全連動制御等を含み、投影データからＣＴ画像を再構成し、放射画像識別モデルをトレーニングし、かつトレーニングされた放射画像識別モデルを利用して放射画像等を識別する。
【0060】
図２は、本発明のいくつかの例示的な実施例に係る再構成走査方式を実現するＣＴ走査装置の概略図である。図２に示すように、放射線源１０からのＸ線は、視野４５における被検査対象７０の一部を透過した後、検出及び収集装置３０により受信され、電気信号に変換されてさらに減衰値を示すデジタル信号に変換され、投影データとして、コンピュータにより再構成され、品質の高い画像を取得する。
【0061】
本開示の実施例によれば、上記ＣＴ走査装置を利用して被検査対象に対してＣＴ走査を行い、元減衰信号を取得する。一行の検出器に対応する減衰信号データは、二次元画像の形式で表示されてもよく、図３は、本開示の実施例に基づいて得られた減衰信号データの例を示す。図３に示すような元減衰信号の横軸方向は、検出器列方向画素配列（例えば１から２５６まで）を示し、縦軸は、角度（例えば１度から３６０度まで）を示す。元減衰信号は、前処理されて投影データとなる。例えば、ＣＴ走査装置により投影データに対して負対数変換などの前処理を行って投影データを取得することができる。その後、データプロセッサ６０は再構成プログラムを実行し、例えば、分野内の主流解析再構成方法を用いて、再構成画像を取得することができ、該再構成画像は本開示の実施例に言及された放射画像である。
【0062】
本開示の実施例において、データプロセッサ６０は、上記再構成画像（即ち放射画像）に対して画像識別（例えば目標検出）を行うことにより、放射画像における興味のある対象（例えば禁止品）を識別することができる。具体的には、前記データプロセッサ６０に放射画像識別システム８０が配置されてもよく、放射画像識別システム８０に放射画像識別モデルが配置され、前記放射画像識別システム８０は放射画像識別モデルを利用して前記放射画像を識別することができる。
【0063】
図４は、本開示の実施例に係る放射画像識別モデルをオンライントでレーニングする方法の概略フローチャートである。本開示の実施例において、前記放射画像識別モデルは、放射検査システム（例えば図１に示すＣＴ走査装置）に適用され、前記放射検査システムは、放射検査現場に配置され、前記放射検査システムにプリセットデータが予め記憶され、前記プリセットデータは第一放射画像を含む。放射画像識別モデルをオンラインでトレーニングするための方法は以下の操作Ｓ４１０～Ｓ４４０を含むことができる。
【0064】
本開示の実施例において、前記プリセットデータにおける第一放射画像は、以下の少なくとも一つを含む：前記プリセットデータにおける第一放射画像に第一マーク情報が付き、前記第一マーク情報は前記第一放射画像における全ての興味のある対象を指示するために用いられる。前記プリセットデータにおける第一放射画像はいかなる興味のある対象を含まない。前記プリセットデータは複数の第一放射画像を含み、前記複数の第一放射画像中のいくつかの第一放射画像に第一マーク情報が付き、前記第一マーク情報は前記第一放射画像における全ての興味のある対象を指示するために用いられ、前記複数の第一放射画像中のいくつかの第一放射画像はいかなる興味のある対象を含まない。すなわち、前記プリセットデータにおける第一放射画像には、前記第一放射画像における全ての興味のある対象を指示する第一マーク情報が付き、及び／又は、前記プリセットデータにおける第一放射画像はいかなる興味のある対象を含まなくてもよく、この場合、前記第一放射画像は背景情報のみを提供する。
【0065】
操作Ｓ４１０において、放射検査現場で第二放射画像を収集する。
【0066】
本開示の実施例において、前記放射画像識別モデルは開発者によって提供され、前記放射検査システムにプリセットデータが予め記憶され、前記プリセットデータは開発者によって予め設定されたセキュリティパケットにおけるデータであってもよく、ユーザにより確認された現場データであってもよい。次に、前記放射画像識別モデルは放射検査システムに配置される。実際の応用時に、放射画像識別モデルが配置された放射検査システムは放射検査現場に置き、ユーザが放射検査現場で使用することに用いられる。例えば、前記放射検査現場は空港、地下鉄などの安全検査現場であってもよく、港、埠頭、車両検査ステーションなどの検査現場であってもよく、本開示の実施例は放射検査現場を特に制限しない。
【0067】
例えば、操作Ｓ４１０において、前記放射検査システムを用いるユーザは、図１に示す放射検査システムを操作し、収集された投影データを再構成し、それにより放射画像を取得する。このようにして、放射検査現場で第二放射画像を収集することを実現する。
【0068】
本開示の実施例において、前記プリセットデータは開発者によって提供され、非現場で収集されたデータであり、前記第二放射画像は現場で収集される。
【0069】
例えば、予約されたセキュリティパケットは、前期に収集された異なる現場のデータ及び実験室で作成された特定のデータ等を可能な限り含むことができる。
【0070】
本開示の実施例において、前記プリセットデータは放射検査における典型的なサンプルを含み、前記典型的なサンプルは遺伝的方法により選別されて得られる。具体的には、以下の遺伝的方法に限定されず前記典型的なサンプルを得ることができる。典型的なサンプル数をＱに設定し、完全なトレーニングデータセットに対して、本発明者らはその中から数がＱのサンプルをランダムに抽出し、合計でｑ回抽出し、それぞれｑ個の独立したモデルをトレーニングすることができる。次にモデルのテストデータでの量子化指標表現（正確率、誤報率など）に基づいて、本発明者らは、表現が良好なｑ／２個のモデルを選別し、かつ対応するこのｑ／２組のデータをランダムに乱し、その中からｑ組のデータを再びにサンプリングし（各組は依然としてＱ個である）、再びモデルトレーニング、選別及びデータ再度サンプリングを行う。トレーニングされた最適なモデルの指標が明らかに向上しないか又は数がＱである典型的なサンプルを選別するまで、この過程を繰り返す。
【0071】
本開示の実施例において、システム内に各種別の典型的なサンプルを予め設定し、新規種別のデータ又は従来種別の報告忘れ誤りのデータを添加した後、全てのデータを統合して前記モデルをトレーニングし、それにより持続的に学習する機能を実現し、すなわち検出種別を自動的に追加するか又は従来の種別の検出性能を向上させることができるとともに、他の種別の検出効果を低下させない。
【0072】
操作Ｓ４２０において、前記第二放射画像をオンラインでマークすることにより、第二マーク情報を有する現場収集データを形成し、ここで、前記第二マーク情報は、前記第二放射画像の不完全なマーク情報であり、前記第二マーク情報は、前記第二放射画像における一部の興味のある対象を指示するために用いられる。
【0073】
説明すべきものとして、本明細書において、「オンライン」は、放射検査現場で行われた操作を示し、それはデータ返信などが必要である「オンラインでない」又は「オフライン」操作に対するものである。例えば、「オンラインでマークする」とは、放射検査現場で行われたマークを示し、すなわち、データを開発者に返信する必要がない場合に放射検査現場で行われたマークを表示する。同様に、「オンラインで合成する」とは、放射検査現場で行われた合成を示し、すなわち、データを開発者に返信する必要がない場合に放射検査現場で行われた合成を表示する。「オンラインでトレーニングする」とは、放射検査現場で行われたトレーニングを示し、すなわち、データを開発者に返信する必要がない状況で放射検査現場で行われたトレーニングを表示する。
【0074】
説明すべきものとして、本明細書において、「非完全なマーク情報」は、該マーク情報がマークされた画像中の一部の興味のある対象のみを指示し、マークされた画像中の全ての興味のある対象を指示しないことを示す。相対的に、「完全なマーク情報」は、該マーク情報がマークされた画像中の全ての興味のある対象を指示することを示す。例えば、放射画像における興味のある対象の種別を例とし、ある放射画像にｋ個の種別の興味のある対象があり、ｋが１以上の正の整数であり、例えば、ｋが５、８、１０などに等しいことができる。例えば、前記ｋ個の種別はそれぞれ各放射検査現場の所定の禁止品の種別に対応することができる。マークを行う場合、マーク情報が該放射画像中のｋ個の種別の全ての興味のある対象を完全に反映すれば、該マーク情報は完全なマーク情報であると考えることができる。すなわち、「完全なマーク」、「完全なマーク情報」等の表記は画像中の全ての種別の全ての物体がマークされたことを表すことができる。マークを行う場合、マーク情報は該放射画像中のｋ個の種別の興味のある対象を完全に反映せず、例えば、マーク情報は該放射画像中のｐ個の種別の興味のある対象（ｐ＜ｋ）だけを反映し、例えば、ｐは１であってもよく、又は、マーク情報が放射画像におけるある種別の全ての対象を反映しない場合、該マーク情報は不完全なマーク情報であると考えることができる。つまり、「不完全なマーク」、「不完全なマーク情報」等の表記は、画像中の全ての種別をマークしておらず、又は画像中のいずれか又はいくつかの種別の全ての物体をマークしていないことを示すことができる。いくつかの例において、本明細書における「不完全なマーク」、「不完全なマーク情報」等の表記は、画像のうちのいずれかの一種類の物体のみをマークすることを含み、即ち、極端に不完全な状況を含むことができる。
【0075】
該操作Ｓ４２０において、第二放射画像を返信する必要がない状況で、オンラインで前記第二放射画像をマークすることにより、現場収集データを形成することができる。
【0076】
本開示の実施例において、前記プリセットデータは、完全なマーク情報を有するデータであり、操作Ｓ４２０で形成された前記現場収集データは、不完全なマーク情報を有するデータである。例えば、前記プリセットデータにおいて、前記第一マーク情報は、前記第一放射画像中の全ての種別の全ての興味のある対象を指示する。操作Ｓ４２０で形成された前記現場収集データにおいて、前記第二マーク情報は前記第二放射画像における一部の種別の興味のある対象を指示し、又は、前記第二マーク情報は、前記第二放射画像における一部の種別の一部の興味のある対象を指示する。
【0077】
例えば、前記第一放射画像における全ての興味のある対象はｕ１個の種別を含み、ｕ１は１以上の正の整数であり、ｕ１個の種別のうちの一つの種別ｕｉにおいて、該種別の興味のある対象の数はｖｕｉである。具体的には、前記第一放射画像において、１番目の種別の興味のある対象の数はｖ１であり、２番目の種別の興味のある対象の数はｖ２であり、これによって類推し、ｕ１番目の種別の興味のある対象の数はｖｕ１である。前記第一マーク情報は、前記第一放射画像における全ての種別の全ての興味のある対象を指示する。すなわち、第一マーク情報は全てのｕ１個の種別の興味のある対象を指示し、かつ、第一マーク情報は、各種別における全ての数の興味のある対象を示す。具体的には、第一マーク情報は、１番目の種別のｖ１個の興味のある対象、２番目の種別のｖ２個の興味のある対象、これによって類推し、ｕ１番目の種別のｖｕ１個の興味のある対象を指示する。
【0078】
例えば、前記第二放射画像における全ての興味のある対象はｕ２個の種別を含み、ｕ２個の種別のうちの一つの種別ｕｉにおいて、該種別の興味のある対象の数はｗｉである。具体的には、前記第二放射画像において、１番目の種別の興味のある対象の数はｗ１であり、２番目の種別の興味のある対象の数はｗ２であり、これによって類推し、ｕ２番目の種別の興味のある対象の数はｗｕ２である。前記第二マーク情報は、前記第二放射画像における一部の種別の興味のある対象を指示するために用いられ、又は、前記第二マーク情報は、前記第二放射画像における一部の種別の一部の興味のある対象を指示するために用いられる。即ち、第二マーク情報は、全てのｕ２個の種別のうちの一部の種別の興味のある対象を示し、例えば、前記第二マーク情報は、前記第二放射画像におけるｕ３個の種別の興味のある対象を指示するために用いられ、ｕ２は２以上の正の整数であり、ｕ３は正の整数でありかつ１≦ｕ３＜ｕ２である。また例えば、前記第二マーク情報は、前記第二放射画像におけるｕｉ番目の種別の興味のある対象のうちの一部の興味のある対象を指示するために用いられる。例えば、前記第二マーク情報が前記第二放射画像におけるｕｉ番目の種別の興味のある対象を指示する場合、第二放射画像において、ｕｉ番目の種別の興味のある対象の数はｗｕｉであり、しかし、前記第二マーク情報はｗｕｉ個の興味のある対象のうちの１～ｗｕｉ個を示すことができ、例えば、前記第二マーク情報は、ｗｕｉ個の興味のある対象のうちの１つのみを示すことができ、又は、前記第二マーク情報はｗｕｉ個の興味のある対象のうちのｗｕｉ個を示すことができる。
【0079】
本開示の実施例において、前記第二放射画像をオンラインでマークすることは、前記第二放射画像における未知の種別の興味のある対象を自動的に検出することと、前記第二放射画像における未知の種別の興味のある対象をマークすることを注意させる注意信号を送信することと、を含む。このように、潜在的な未知物体を自動的に識別することができ、多くの場合に、ユーザは物体の位置を手動でマークする必要がなく、対応するラベルを与えるだけでよく、それによりシステムのユーザ友好度を向上させることができる。
【0080】
例えば、オンラインでマークする段階において、ラベルと重ならないがスコアが高い包囲枠を保留し、かつそのラベルを未知の種別にマークし、モデルの後続の分類過程に関与し、それによりそれを背景として定義して抑制することを回避する。
【0081】
例えば、前記第一マーク情報は、前記第一放射画像にマークされた少なくとも一つの第一マーク枠及び少なくとも一つの第一ラベルを含み、前記少なくとも一つの第一マーク枠はそれぞれ前記第一放射画像における全ての興味のある対象の位置を指示するために用いられ、前記少なくとも一つの第一ラベルは、それぞれ前記第一放射画像における全ての興味のある対象の種別を指示するために用いられる。図５は、本開示のいくつかの例示的な実施例に係るプリセットデータにおける放射画像の概略図である。図５に示すとおり、前記第一放射画像は２つの種別の興味のある対象を含み、それぞれタブレットコンピュータ及び腕時計である。前記第一マーク情報は、タブレットコンピュータをマークするための第一マーク枠１１及び第一ラベル「タブレットコンピュータ」、及び腕時計をマークするための第一マーク枠１２及び第一ラベル「腕時計」を含む。
【0082】
例えば、前記第二マーク情報は、前記第二放射画像にマークされた少なくとも一つの第二マーク枠及び少なくとも一つの第二ラベルを含み、前記少なくとも一つの第二マーク枠はそれぞれ前記第二放射画像における一部の興味のある対象の位置を指示するために用いられ、前記少なくとも一つの第二ラベルはそれぞれ前記第二放射画像における一部の興味のある対象の種別を指示するために用いられる。図６Ａは、本開示のいくつかの例示的な実施例に係る現場収集データにおける放射画像の概略図である。図６Ａに示すように、前記第二放射画像は３つの種別の興味のある対象を含み、それぞれガン、第一カッター（例えば包丁）及び第二カッター（例えばナイフ）である。前記第二マーク情報は、第二カッター（例えば「ナイフ」）をマークするための第二マーク枠１３及び第二ラベル「カッター」を含む。即ち、第二マーク情報は、前記第二放射画像中の１つの種別の１つの興味のある対象のみをマークし、それは不完全なマーク情報である。
【0083】
説明すべきものとして、図５、図６Ａ、図６Ｂに示された興味のある対象の種別及びマーク枠は、本開示の実施例を説明するために示された概略図であり、本開示の実施例に対する制限であると理解すべきではない。他の実施例において、画像に他の種別の興味のある対象及び対応するマーク枠を含むことができる。
【0084】
操作Ｓ４３０において、前記プリセットデータと前記現場収集データをオンラインで合成してトレーニングデータセットを形成する。
【0085】
操作Ｓ４４０において、前記トレーニングデータセットを利用して前記放射画像識別モデルをオンラインでトレーニングする。
【0086】
図７は、本開示のいくつかの例示的な実施例に係る放射画像識別モデルをオンラインでトレーニングするための方法におけるオンライン合成ステップの概略フローチャートである。図７に示すとおり、前記操作Ｓ４３０は操作Ｓ７１０～Ｓ７２０を含むことができる。
【0087】
操作Ｓ７１０において、前記第二放射画像から前記第二マーク情報に対応する興味のある対象を抽出する。
【0088】
操作Ｓ７２０において、前記第二マーク情報及び抽出された興味のある対象を前記プリセットデータに含まれる第一放射画像に合成することにより、前記トレーニングデータセットを形成する。
【0089】
本開示の実施例において、現場で収集された不完全なマークデータを直接利用してそれによる悪影響を除去することができ、このようにしてユーザのマーク負担を大幅に低減することができる。具体的には、不完全なマーク又は極度の不完全なマークのデータを利用することができ、すなわちデータセットにおける各種別はいずれも完全にマークする必要がなく、又は一枚の画像における興味のある種別の一部の物体のみをマークすることができ、マーク負担を最大限に減少し、システムのロバスト性を向上させる。また、現場で収集されたデータが現場から出ないことを保証することができ、すなわち現場で収集されたデータを返信する必要がなく、それによりユーザのセキュリティニーズを満たす。
【0090】
本開示の実施例において、ユーザと対話する時、ユーザが興味のある対象の種別の完全なマーク情報を提供する必要がなく、すなわちユーザはある画像サンプルに興味のある種別の一つのサンプルのみをマークすればよい。このような対話要求はユーザの負担を大幅に軽減し、システムのロバスト性を向上させる。
【0091】
図８は、本開示のいくつかの例示的な実施例に係る放射画像識別モデルをオンラインでトレーニングするための方法におけるオンライン合成ステップの詳細なフローチャートである。図６Ｂは、本開示のいくつかの例示的な実施例に係る合成データにおける放射画像の概略図である。図６Ｂ及び図８に示すとおり、前記操作Ｓ７２０は操作Ｓ８１０～Ｓ８３０を含むことができる。
【0092】
操作Ｓ８１０において、抽出された興味のある対象を前記第一放射画像に挿入することにより、トレーニング用の放射画像を形成する。例えば、図６Ｂを参照し、図６Ａに示されたカッターを図５に示す第一放射画像に挿入することにより、図６Ｂに示すトレーニング用の放射画像を形成する。
【0093】
例えば、図５に示すとおり、前記第一放射画像は透明領域及び不透明領域を含む。
【0094】
前記操作Ｓ８１０は、具体的に、前記第一放射画像の透明領域から挿入要求を満たす領域を選択して少なくとも一つの候補挿入領域とすることと、データ合成規則に基づいて、前記少なくとも一つの候補挿入領域から一つを選択して挿入領域とすることと、抽出された興味のある対象を前記挿入領域に挿入することと、を含むことができる。
【0095】
例えば、前記挿入要求を満たすことは、前記候補挿入領域の面積又は体積が前記挿入すべきの興味のある対象の面積又は体積以上であることを含む。
【0096】
例えば、前記データ合成規則は、前記第一放射画像において周辺物体の候補挿入領域に対する隠蔽度が指定要求に合致することを含む。
【0097】
該実施例において、データ挿入操作に対して、再構成値（即ち減衰係数）及び透明度閾値に基づいてプリセットデータにおける放射画像の透明領域及び不透明領域を分割し、さらに透明領域において面積（二次元画像に対する）又は体積（三次元画像に対する）が要求を満たす部分を候補挿入領域として選別し、同時に該位置から視平面までの距離及びその周囲の物体の多少に基づいて挿入領域の隠蔽度を定量化し、最終的に所定の隠蔽度を満たす一つの挿入領域を決定する。本開示の実施例において、前記データ挿入操作は、データの物理的意味から、合成データの合理性と真実性を保証する。挿入領域の隠蔽性の定量化は、異なる難易度（即ち遮蔽レベル）のデータを生成することができ、さらに合成データの豊富性を保証する。
【0098】
操作Ｓ８２０において、前記トレーニング用の放射画像に第三マーク枠及び第三ラベルを生成し、ここで、前記第三マーク枠は前記第二マーク枠に基づいて生成され、前記第三ラベルは前記第二ラベルと同じであり、前記第三マーク枠で囲まれた興味のある対象の種別を指示するために用いられる。
【0099】
操作Ｓ８３０において、前記第一マーク枠、前記第一ラベル、前記第三マーク枠及び前記第三ラベルを有するトレーニング用の放射画像に基づいて、前記トレーニングデータセットを形成する。
【0100】
図６Ｂを参照すると、前記トレーニング用の放射画像は３つの種別の興味のある対象を含み、それぞれタブレットコンピュータ、腕時計及びカッターである。ここで、タブレットコンピュータ、腕時計は第一放射画像に内蔵された興味のある対象であり、カッターは第二放射画像から抽出されかつ挿入された興味のある対象である。図６Ａ及び図６Ｂを参照すると、興味のある対象である「カッター」のラベルは不変であり、「カッター」のままである。興味のある対象である「カッター」の第三マーク枠１４の位置は図６Ａにおける「カッター」の第二マーク枠１３の位置と異なり、図６Ｂにおいて、興味のある対象である「カッター」の第三マーク枠１４の位置は挿入領域に基づいて決定される。
【0101】
従来の放射画像のインテリジェント識別方法において、完全なマーク情報を有するデータをトレーニングデータとしてモデルをトレーニングする必要があり、これは、勿論、マークの作業量を大幅に増加させる。不完全なマーク情報を有するデータをトレーニングデータとすると、トレーニング過程において、トレーニングデータにおけるマークされない興味のある対象を放射画像の背景として誤って識別し、トレーニングされたモデルの精度が低い。本開示の実施例において、不完全なマーク情報を直接利用することができ、すなわちデータにおけるマーク領域を有する情報のみを使用し、不完全なマーク情報を有する第二放射画像を分割し、部分的にマークされた興味のある対象を抽出し、かつプリセットデータに挿入し、興味のある種別の物体を含むトレーニングデータを合成する。このようにして、第二放射画像における興味のある対象を完全にマークする必要がない場合に、不完全なマークによるモデル性能の低下という問題を解決することができる。
【0102】
本開示の実施例において、前記抽出された興味のある対象を前記第一放射画像に挿入することにより、トレーニング用の放射画像を形成することは、具体的に、抽出された興味のある対象に対してデータ拡張操作を行うことにより、拡張データを形成することと、前記拡張データに含まれるＮ個の興味のある対象をそれぞれ前記第一放射画像に挿入することにより、複数のトレーニング用の放射画像を形成することとを含むことができ、ここで、前記抽出された興味のある対象の数はｎであり、前記拡張データに含まれる興味のある対象の数はＮであり、Ｎ＝ｍ*ｎであり、ここで、ｎは１以上の正の整数であり、ｍは２以上の正の整数である。
【0103】
例えば、前記データ拡張操作は、反転、回転、及び数値ジッター操作、のうちの少なくとも一種を含む。
【0104】
すなわち、本開示の実施例において、分割して抽出された興味のある対象を異なる姿勢でプリセットデータに挿入することができ、このようなポリシーで、少量のマークを与えるだけで大量のデータを生成してモデルのオンライントレーニングに用いることができる。
【0105】
【0106】
操作Ｓ９１０において、前記第二放射画像の不完全なマーク情報に基づいて前記第二放射画像の準完全なマーク情報を形成する。
【0107】
説明すべきものとして、本明細書において、「準完全なマーク情報」は、不完全なマーク情報がアルゴリズムにより処理された後に生成された完全なマーク情報を示す。完全なマーク情報と類似し、準完全なマーク情報は、マークされた画像における全ての興味のある対象を指示する。完全なマーク情報は、直接的にマークされ、準完全なマーク情報は、不完全なマーク情報により変換して生成される。
【0108】
操作Ｓ９２０において、準完全なマーク情報を有する第二放射画像を前記トレーニングデータセットの一部として決定する。
【0109】
【0110】
操作Ｓ１０１０において、前記第二放射画像におけるマークされない興味のある対象を検出する。
【0111】
操作Ｓ１０２０において、前記マークされていない興味のある対象と前記第二マーク情報に対応する興味のある対象との間の類似度を計算する。
【0112】
操作Ｓ１０３０において、前記類似度が類似度閾値要求を満たす場合、前記第二マーク情報を利用して前記マークされていない興味のある対象をマークして、前記第二放射画像の準完全なマーク情報を形成する。
【0113】
本開示の実施例において、現場データにおけるアルゴリズムにより検出された未知物体とユーザがマークした新しい種別の物体との類似度を計算し、類似度測定は、選択可能であり、特徴空間におけるユークリッド距離に限定されなくてもよく、距離が一定の閾値より小さい場合に該未知物体が新たに追加された種別に属すると判定し、これにより新たに追加された種別の準完全なマーク情報を生成して後続のトレーニングに用いることができる。
【0114】
図１１は、本開示の他の例示的な実施例に係る放射画像識別モデルをオンラインでトレーニングする方法の概略フローチャートである。図１１に示すとおり、前記方法はさらに操作Ｓ１１１０～Ｓ１１２０を含むことができる。前記トレーニングデータセットは、第一トレーニングデータサブセットと第二トレーニングデータサブセットを含み、前記第一トレーニングデータサブセットと前記第二トレーニングデータサブセットは異なるデータ分布を有し、前記第一トレーニングデータサブセットはプリセットデータを含み、前記第二トレーニングデータサブセットは放射検査現場で収集されたマークされていない第三放射画像を含む。
【0115】
操作Ｓ１１１０において、前記第一トレーニングデータサブセットを利用して前記放射画像識別モデルをトレーニングする。
【0116】
操作Ｓ１１２０において、第二トレーニングデータサブセットを利用して前記第一トレーニングデータサブセットによりトレーニングされた放射画像識別モデルをトレーニングし、ここで、第二トレーニングデータサブセットを利用して前記第一トレーニングデータサブセットによりトレーニングされた放射画像識別モデルをトレーニングする過程において、前記放射画像識別モデルの特徴層のパラメータを調整することにより、前記第一トレーニングデータサブセットと前記第二トレーニングデータサブセットとの間の距離を最小化する。
【0117】
異なる現場で収集されたデータの分布が異なるため、性能の最適化を達成するために、本開示の実施例が提供する方法において、ドメイン遷移機能を実現することができ、これにより、トレーニングされたモデルは異なる現場で最もよい効果を取得することができる。具体的には、教師なしのドメイン自己適応方法を採用することができ、トレーニングセットは、一部のラベルありの元データとラベルなしの現場実際収集データを含み、ここで、ラベルありの元データは、モデルの検出性能をトレーニングすることを担当し、ラベルなしの現場実際収集データは、モデルが差別なく二つの部分のデータ（元データと現場実際収集データ）をトレーニングすることを担当し、特徴層でこの二つの部分のデータの距離を最小化することにより、異なる現場データ間の差を減少させ、元データを利用してトレーニングされたモデルは、異なる現場で最適な検出効果を取得することができる。
【0118】
教師なしのドメイン自己適応方法において、ソースタスク及び目標タスクが同じであるが、ソースドメイン及び目標ドメインのデータ分布が異なり、かつソースドメインに大量のマークされたサンプルがあり、目標ドメインにマークされたサンプルがない（又は非常に少ない）。ソースドメインにおける大量のマークサンプルから学習された知識を目標ドメインに移行する必要があり、同じタスクを実現する。
【0119】
例えば、本開示の実施例において、特徴に基づく自己適応方法を採用することができる。具体的には、ソースドメインサンプル及び目標ドメインサンプルを一つのマッピング関数により同一の特徴空間に調整することができ、この特徴空間にサンプルを整列することができる。
【0120】
本開示の実施例において、実例に基づく自己適応方法を採用してもよい。具体的には、実例に基づく自己適応（Ｉｎｓｔａｎｃｅ Ａｄａｐｔｉｏｎ）方法において、ソースドメインにいくつかのサンプル及び目標ドメインサンプルが類似することを考慮すると、ソースドメインの全てのサンプルの損失関数をトレーニングする時にいずれも一つの重み（すなわち「重視」の程度を示す）を乗算し、目標ドメインと類似するサンプルほど、この重みが大きくなる。パラメータの遷移によりモデルは目標ドメインでより良好に動作することができる。
【0121】
例えば、ＫＬダイバージェンス（即ちＫＬ Ｄｉｖｅｒｇｅｎｃｅ）、Ｈダイバージェンス（即ちＨ－ｄｉｖｅｒｇｅｎｃｅ）及びワッサースタイン距離（即ちＷａｓｓｅｒｓｔｅｉｎ ｄｉｓｔａｎｃｅ）等のアルゴリズムを採用してソースドメインと目標ドメインデータとの間の距離を判断することができる。
【0122】
図１２は、本開示のいくつかの例示的な実施例に係る放射画像識別モデルをオンラインでトレーニングするための方法のオンライントレーニングステップの概略フローチャートである。図１２に示すように、前記方法はさらに操作Ｓ１２１０～Ｓ１２３０を含むことができる。
【0123】
操作Ｓ１２１０において、前記トレーニングデータセットを利用して複数の候補モデルをトレーニングする。
【0124】
操作Ｓ１２２０において、所定の指標に基づいて前記複数の候補モデルを選別する。
【0125】
操作Ｓ１２３０において、前記複数の候補モデルのうちの所定の指標を満たす一つを前記放射画像識別モデルとして決定する。
【0126】
例えば、前記複数の候補モデルは、既知の様々なディープラーニングに基づくモデルから選択されることができ、ＲＣＮＮシリーズモデル、ＳＳＤ及びＹＯＬＯシリーズモデルを含むがそれらに限定されない。前記所定指標は、モデル推定時間、正確率、リコール率、メモリ占用などの既知のモデル選別指標を含むことができる。
【0127】
本開示の実施例はさらに放射画像識別方法を提供し、前記放射画像識別方法は、放射検査システムに応用され、前記放射検査システムは、放射検査現場に配置される。説明すべきものとして、以下に説明する放射画像識別方法は上記放射画像識別モデルのトレーニング方法と対応し、本明細書がより簡潔にするために、以下に放射画像識別方法の説明は、いくつかの例示的な説明を省略し、これらの省略された部分について、衝突しない状況で、上記放射画像識別モデルのトレーニング方法の対応する部分を参照することができる。
【0128】
図１３は、本開示の例示的な実施例に係る放射画像識別方法の概略フローチャートである。
【0129】
図１３に示すように、本開示の例示的な実施例に係る放射画像識別方法は、操作Ｓ１３１０～操作Ｓ１３３０を含むことができ、該放射画像識別方法はプロセッサにより実行されてもよく、プロセッサを含む任意の電子機器によって実行されてもよい。例えば、上記放射検査装置により実行されてもよい。
【0130】
操作Ｓ１３１０において、放射検査現場で識別すべき放射画像を収集する。
【0131】
操作Ｓ１３２０において、前記識別すべき放射画像を放射画像識別モデルに入力し、ここで、前記放射画像識別モデルは前記のような方法でトレーニングして得られる。
【0132】
操作Ｓ１３３０において、前記放射画像識別モデルを利用して前記識別すべき放射画像を識別する。
【0133】
上記放射画像識別モデルのトレーニング方法に基づいて、本開示はさらに放射画像識別モデルのトレーニング装置を提供する。以下、この装置について、図１６を用いて詳細に説明する。
【0134】
図１４は、本開示の例示的な実施例に係る放射画像識別モデルをオンラインでトレーニングするための装置の構造ブロック図である。図１４を参照すると、前記装置１４００は、収集モジュール１４１０、オンラインマークモジュール１４２０、オンライン合成モジュール１４３０、トレーニングモジュール１４４０を含む。
【0135】
収集モジュール１４１０は、放射検査現場で第二放射画像を収集する。いくつかの例示的な実施例において、収集モジュール１４１０は、前述の操作Ｓ４１０及びそのサブ操作を実行し、ここで説明を省略する。
【0136】
オンラインマークモジュール１４２０は、前記第二放射画像をオンラインでマークすることにより、第二マーク情報を有する現場収集データを形成し、ここで、前記第二マーク情報は、前記第二放射画像の不完全なマーク情報であり、前記第二マーク情報は、前記第二放射画像における一部の興味のある対象を指示するために用いられる。いくつかの例示的な実施例において、オンラインマークモジュール１４２０は、前述の操作Ｓ４２０及びそのサブ操作を実行し、ここでは説明を省略する。
【0137】
オンライン合成モジュール１４３０は、前記プリセットデータ及び前記現場収集データをオンラインで合成してトレーニングデータセットを形成する。いくつかの例示的な実施例において、オンライン合成モジュール１４３０は、前述の操作Ｓ４３０及びそのサブ操作を実行し、ここで説明を省略する。
【0138】
トレーニングモジュール１４４０は、前記トレーニングデータセットを利用して前記放射画像識別モデルをオンラインでトレーニングする。いくつかの例示的な実施例において、トレーニングモジュール１４４０は、前述の操作Ｓ４４０及びそのサブ操作を実行し、ここで説明を省略する。
【0139】
本開示の実施例において、前記プリセットデータ及び前記現場収集データをオンラインで合成してトレーニングデータを形成することは、前記第二放射画像から前記第二マーク情報に対応する興味のある対象を抽出することと、前記第二マーク情報及び抽出された興味のある対象を前記プリセットデータに含まれる第一放射画像に合成することにより、前記トレーニングデータセットを形成することと、を含む。
【0140】
図１５は、本発明の例示的な実施例に係る放射画像識別装置の構成ブロック図である。図１５に示すように、前記放射画像識別装置１５００は、収集モジュール１５１０、入力モジュール１５２０、識別モジュール１５３０を含む。
【0141】
収集モジュール１５１０は、放射検査現場で識別すべき放射画像を収集する。いくつかの例示的な実施例において、収集モジュール１５１０は、前述の操作Ｓ１３１０及びそのサブ操作を実行し、ここで説明を省略する。
【0142】
入力モジュール１５２０は、前記識別すべき放射画像を放射画像識別モデルに入力し、ここで、前記放射画像識別モデルは、前記のような方法でトレーニングして得られる。いくつかの例示的な実施例において、入力モジュール１５２０は、前述の操作Ｓ１３２０及びそのサブ操作を実行し、ここで説明を省略する。
【0143】
識別モジュール１５３０は、前記放射画像識別モデルを利用して前記識別すべき放射画像を識別する。いくつかの例示的な実施例において、識別モジュール１５３０は、前述の操作Ｓ１３３０及びそのサブ操作を実行し、ここでは説明を省略する。
【0144】
本開示の実施例によれば、前記装置１４００に含まれる収集モジュール１４１０、オンラインマークモジュール１４２０、オンライン合成モジュール１４３０及びトレーニングモジュール１４４０、及び前記放射画像識別装置１５００に含まれる収集モジュール１５１０、入力モジュール１５２０及び識別モジュール１５３０のうちの任意の複数のモジュールを一つのモジュールに統合して実現することができ、又はそのうちのいずれか一つのモジュールを複数のモジュールに分割することができる。又は、これらのモジュールのうちの一つ又は複数のモジュールの少なくとも一部の機能は他のモジュールの少なくとも一部の機能と結合されてもよく、かつ一つのモジュールにおいて実現されてもよい。本開示の実施例によれば、前記装置１４００に含まれる収集モジュール１４１０、オンラインマークモジュール１４２０、オンライン合成モジュール１４３０及びトレーニングモジュール１４４０、及び前記放射画像識別装置１５００に含まれる収集モジュール１５１０、入力モジュール１５２０及び識別モジュール１５３０のうちの少なくとも一つは少なくとも部分的にハードウェア回路、例えばフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）、オンチップシステム、基板上のシステム、パッケージ上のシステム、専用集積回路（ＡＳＩＣ）に実現されてもよく、又は回路を集積するか又はパッケージ化する如何なる他の合理的な方式等のハードウェア又はファームウェアで実現されてもよく、又はソフトウェア、ハードウェア及びファームウェアの三つの実現方式のうちのいずれか一種又はそのうちの任意のいくつかの適切な組み合わせで実現されてもよい。又は、前記装置１４００に含まれる収集モジュール１４１０、オンラインマークモジュール１４２０、オンライン合成モジュール１４３０及びトレーニングモジュール１４４０、及び前記放射画像識別装置１５００に含まれる収集モジュール１５１０、入力モジュール１５２０及び識別モジュール１５３０のうちの少なくとも一つは少なくとも部分的にコンピュータプログラムモジュールとして実現され、該コンピュータプログラムモジュールが実行される場合、対応する機能を実行することができる。
【0145】
図１６は、本開示の例示的な実施例に係る放射画像識別モデルをオンラインでトレーニングする方法又は放射画像識別方法を実現する電子機器の構成ブロック図を概略的に示す。
【0146】
図１６に示すように、本開示の実施例に係る電子機器１６００は、プロセッサ１６０１を含み、それはリードオンリーメモリ（ＲＯＭ）１６０２に記憶されたプログラム又は記憶部１６０８からランダムアクセスメモリ（ＲＡＭ）１６０３にロードされたプログラムに基づいて、様々な適切な動作及び処理を実行することができる。プロセッサ１６０１は例えば汎用マイクロプロセッサ（例えばＣＰＵ）、コマンドセットプロセッサ及び／又は関連チップセット及び／又は専用マイクロプロセッサ（例えば、専用集積回路（ＡＳＩＣ））等を含むことができる。プロセッサ１６０１はさらにキャッシュ用途のためのボードメモリを含むことができる。プロセッサ１６０１は、本開示の実施例に係る方法の流れに応じて異なる動作を実行するための単一の処理ユニットまたは複数の処理ユニットであってもよい。
【0147】
例えば、前記電子機器は受動式テラヘルツ撮像装置であってもよい。
【0148】
ＲＡＭ １６０３には、電子機器１６００の操作に必要な様々なプログラム及びデータが記憶される。プロセッサ１６０１、ＲＯＭ １６０２、およびＲＡＭ １６０３は、バス１６０４により相互に接続されている。プロセッサ１６０１は、ＲＯＭ １６０２及び／又はＲＡＭ １６０３中のプログラムを実行することにより、本開示の実施例に係る方法の流れに係る各種の操作を実行する。なお、前記プログラムはＲＯＭ １６０２及びＲＡＭ １６０３以外の一つ又は複数のメモリに記憶されてもよい。プロセッサ１６０１は、前記一又は複数のメモリに記憶されたプログラムを実行することにより、本開示の実施例に係る方法の流れに従った各種の操作を実行してもよい。
【0149】
本開示の実施例によれば、電子機器１６００はさらに入力／出力（Ｉ／Ｏ）インタフェース１６０５を含み、入力／出力（Ｉ／Ｏ）インタフェース１６０５もバス１６０４に接続される。電子機器１６００はさらに、Ｉ／Ｏインタフェース１６０５に接続された以下の部品のうちの一つ又は複数を含むことができる。前記部品は、キーボード、マウス等を含む入力部分１６０６と、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）等及びスピーカ等を含む出力部分１６０７と、ハードディスク等を含む記憶部１６０８と、LＡＮカード、モデム等のネットワークインタフェースカードを含む通信部１６０９とを含む。通信部１６０９は、インターネット等のネットワークを介して通信処理を行う。ドライバ１６１０は、必要に応じてＩ／Ｏインタフェース１６０５に接続されている。リムーバブルメディア１６１１は、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等であり、必要に応じてドライバ１６１０にインストールされ、それによりそれから読み出されたコンピュータプログラムが必要に応じて記憶部１６０８にインストールされる。
【0150】
本開示はさらにコンピュータ可読記憶媒体を提供した。該コンピュータ可読記憶媒体は上記実施例に記載の機器／装置／システムに含まれるものであってもよく、単独で存在し、該機器／装置／システムに組み込まれていなくてもよい。上記コンピュータ可読記憶媒体には一つ又は複数のプログラムが載置され、上記一つ又は複数のプログラムが実行される時、本開示の実施例に係る方法を実現する。
【0151】
本開示の実施例によれば、コンピュータ可読記憶媒体は不揮発性のコンピュータ可読記憶媒体であってもよく、例えば、携帯式コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、携帯型コンパクト磁気ディスクリードオンリーメモリ（ＣＤ-ＲＯＭ）、光記憶デバイス、磁気メモリデバイス、又は上記任意の適切な組み合わせを含むがそれらに限定されない。本開示において、コンピュータ可読記憶媒体は、プログラムを含むか又は記憶する任意の有形の媒体であってもよく、該プログラムは命令実行システム、装置又はデバイスにより使用され、又はそれと組み合わせて使用されてもよい。例えば、本開示の実施例によれば、コンピュータ可読記憶媒体は、上記ＲＯＭ １６０２及び／又はＲＡＭ １６０３及び／又はＲＯＭ １６０２及びＲＡＭ １６０３以外の一つ又は複数のメモリを含むことができる。
【0152】
本開示の実施例はさらにコンピュータプログラム製品を含み、それはコンピュータプログラムを含み、該コンピュータプログラムはフローチャートに示す方法を実行するためのプログラムコードを含む。コンピュータプログラム製品がコンピュータシステムで実行される場合、該プログラムコードはコンピュータシステムに本開示の実施例が提供する方法を実現するために用いられる。
【0153】
このコンピュータプログラムがプロセッサ１６０１によって実行されると、本開示の実施例に係るシステム／装置に限定されている上記機能が実行される。本開示の実施例によれば、上記システム、装置、モジュール、ユニットなどはコンピュータプログラムモジュールにより実現することができる。
【0154】
一つの実施例において、該コンピュータプログラムは、光記憶装置、磁気記憶装置等の有形の記憶媒体に依存することができる。別の実施例において、該コンピュータプログラムはネットワーク媒体に信号の形式で伝送し、配布し、かつ通信部１６０９によりダウンロード及びインストールされ、及び／又は取り外し可能な媒体１６１１からインストールされてもよい。該コンピュータプログラムに含まれるプログラムコードは任意の適切なネットワーク媒体で伝送することができ、無線、有線等を含むがそれらに限定されなく、上記任意の適切な組み合わせであってもよい。
【0155】
このような実施例において、該コンピュータプログラムは、通信部１６０９によりネットワークからダウンロード及びインストールされ、及び／又はリムーバブルメディア１６１１からインストールされる。該コンピュータプログラムがプロセッサ１６０１により実行される時、本開示の実施例のシステムに限定された上記機能を実行する。本開示の実施例によれば、上記システム、機器、装置、モジュール、ユニットなどはコンピュータプログラムモジュールにより実現することができる。
【0156】
本開示の実施例によれば、一種以上のプログラミング言語の任意の組み合わせで本開示の実施例が提供するコンピュータプログラムを実行するためのプログラムコードを作成することができ、具体的には、高級過程及び／又は対象向けのプログラミング言語、及び／又はアセンブリ／機械言語を利用してこれらの計算プログラムを実施することができる。プログラミング言語はＪａｖａ、Ｃ＋＋、ｐｙｔｈｏｎ、「Ｃ」言語又は類似するプログラミング言語を含むがこれらに限定されない。プログラムコードは、完全にユーザ計算装置に実行されてもよく、部分的にユーザ装置で実行されてもよく、部分的に遠隔計算装置で実行されてもよく、又は遠隔計算装置又はサーバで完全に実行されてもよい。遠隔計算装置に関する状況において、遠隔計算装置は、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介して、ユーザ計算装置に接続されてもよく、又は、外部計算装置に接続されてもよい（例えばインターネットサービスプロバイダを利用してインターネットを介して接続される）。
【0157】
図面のフローチャート及びブロック図は、本開示の様々な実施例に係るシステム、方法及びコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能及び操作を示す。この点において、フローチャート又はブロック図における各ブロックは一つのモジュール、プログラムセグメント、又はコードの一部を表すことができ、上記モジュール、プログラムセグメント、又はコードの一部は一つ又は複数の所定の論理機能を実現するための実行可能な命令を含む。注意すべきこととして、いくつかの代替の実現において、ブロックにマークされた機能は図面と異なる順序で発生することができる。例えば、二つの連続的に示されるブロックは実際に基本的に並行して実行されてもよく、それらは逆の順序で実行されてもよく、このような機能に依存する。注意すべきこととして、ブロック図又はフローチャートにおける各ブロック、及びブロック図又はフローチャートにおけるブロックの組み合わせは、所定の機能又は操作を実行する専用のハードウェアに基づくシステムで実現されてもよく、又は専用ハードウェアとコンピュータ指令の組み合わせで実現されてもよい。
【0158】
当業者であれば理解されるように、本開示の各実施例及び／又は請求項に記載の特徴は様々な組み合わせ又は／又は結合を行うことができ、このような組み合わせ又は結合が本開示に明確に記載されていなくてもよい。特に、本開示の精神及び教示から逸脱することなく、本開示の各実施例及び／又は請求項に記載の特徴は様々な組み合わせ及び／又は結合を行うことができる。これらの組み合わせ及び／又は組み合わせは、全て本開示の範囲に属するものとする。
【0159】
以上、本開示の実施例について説明した。しかし、これらの実施例は説明の目的のためだけであり、本開示の範囲を限定するものではない。以上に各実施例をそれぞれ説明したが、これは各実施例における措置を有利に組み合わせて使用することができないことを意味するものではない。本開示の範囲は、特許請求の範囲およびその均等物によって限定されるものである。本開示の範囲から逸脱することなく、当業者は様々な代替及び修正を行うことができ、これらの代替及び修正はいずれも本開示の範囲内にあるべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】