特許7282409スケール値の変化量解析に基づく自転車非破壊検査装置、方法、およびコンピュータ読み取り可能な記録媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-19
(45)【発行日】2023-05-29
(54)【発明の名称】スケール値の変化量解析に基づく自転車非破壊検査装置、方法、およびコンピュータ読み取り可能な記録媒体
(51)【国際特許分類】
G01N 23/18 20180101AFI20230522BHJP
G01N 23/04 20180101ALI20230522BHJP
【ＦＩ】
G01N23/18
G01N23/04
【請求項の数】
15
(21)【出願番号】P 2021204296
(22)【出願日】2021-12-16
(65)【公開番号】P2023043814
(43)【公開日】2023-03-29
【審査請求日】2021-12-16
(31)【優先権主張番号】10-2021-0123908
(32)【優先日】2021-09-16
(33)【優先権主張国・地域又は機関】KR
【早期審査対象出願】
(73)【特許権者】
【識別番号】521550770
【氏名又は名称】ライトブラザーズ・カンパニー・リミテッド
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】ヒ・ス・キム
【審査官】嶋田 行志
(56)【参考文献】
【文献】特開２０２１－０５６１３６（ＪＰ，Ａ）
【文献】特開平０３－２０９５８２（ＪＰ，Ａ）
【文献】特開平０３－２０９５８３（ＪＰ，Ａ）
【文献】特開２０１７－１５１０８３（ＪＰ，Ａ）
【文献】特開２０１７－１６１４９９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｎ ２３／００－Ｇ０１Ｎ ２３／２２７６
ＪＳＴＰｌｕｓ／ＪＳＴ７５８０／ＪＳＴＣｈｉｎａ（ＪＤｒｅａｍＩＩＩ）
(57)【特許請求の範囲】
【請求項1】
所定の動作を行うようにする命令語を格納する１つ以上のメモリ；及び前記１つ以上のメモリと動作可能に連結されて前記命令語を実行するように設定された１つ以上のプロセッサを含み、前記プロセッサの動作は、
自転車の部品にＸ線を放射する非破壊撮影装置の駆動を制御する制御信号を伝送する動作；
前記制御信号に基づいて前記非破壊撮影装置が前記自転車の部品に向かって前記Ｘ線を放射するように前記非破壊撮影装置の照射位置を制御する動作；
前記自転車の部品に放射されたＸ線が透過された透過量情報を取得する動作；
前記透過量情報に基づいてグレースケール画像を生成する動作；
前記グレースケール画像に表された前記自転車の部品の一端から前記部品の延長された方向に沿って他端に至るまでグレースケールの値の変化量を測定する動作；及び、
前記グレースケールの値の変化量が閾値以上に発生する領域を異常領域として探知する動作を含み、
前記透過量情報を取得する動作において、
前記プロセッサは、
自転車の部品別スペック情報がマッピングされている自転車部品別の画像データセットに基づいて学習された第１神経網モデルに前記自転車の全体画像を入力して前記自転車の部品を特定する動作；および、
前記特定された部品に対して前記Ｘ線が放射される位置を調節して前記特定された部品別Ｘ線の透過量情報を取得する動作を含む、
非破壊検査装置。
【請求項2】
前記制御信号は、カーボンで形成された自転車の部品のグレースケールが得られるように、非破壊撮影装置のＸ線を発生するＸ線チューブに印加される電圧、電流および前記Ｘ線チューブが有する焦点距離がそれぞれ６０ｋＶ以上７０ｋＶ以下の範囲の電圧、１１．０ｍＡ以上１２．０ｍＡ以下の範囲の電流、０．４ｍｍ以上１．０ｍｍ以下の範囲の焦点（ＦＯＣ）に設定されることを特徴とする請求項１に記載の非破壊検査装置。
【請求項3】
前記グレースケール画像を生成する動作において、前記プロセッサは、
取得されたＸ線の透過量情報の最大値を３５００ ａ．ｕ．ｉｎｔｅｎｓｉｔｙ（ａｒｂｉｔｒａｒｙ ｕｎｉｔ ｉｎｔｅｎｓｉｔｙ）、最小値を０ ａ．ｕ．ｉｎｔｅｎｓｉｔｙで定義し、第１テンプレート、第２テンプレート、第３テンプレート、第４テンプレート、及び第５テンプレートのうち、前記自転車の部品に基づいていずれかのテンプレートを選択し、前記第１テンプレートが選択されると、前記Ｘ線の透過量の再調整された強度（ｒｅｓｃａｌｅｄ ｉｎｔｅｎｓｉｔｙ）が２２１６以上２５００以下である前記部品の部位のみをグレースケールに変換し、前記第２テンプレートが選択されると、前記Ｘ線の透過量の再調整された強度（ｒｅｓｃａｌｅｄ ｉｎｔｅｎｓｉｔｙ）が２１０８以上３２９４以下である前記部品の部位のみをグレースケールに変換し、前記第３テンプレートが選択されると、前記Ｘ線の透過量の再調整された強度（ｒｅｓｃａｌｅｄ ｉｎｔｅｎｓｉｔｙ）が１８９３以上２８７８以下である前記部品の部位のみをグレースケールに変換し、前記第４テンプレートが選択されると、前記Ｘ線の透過量の再調整された強度（ｒｅｓｃａｌｅｄ ｉｎｔｅｎｓｉｔｙ）が１２５７以上２８７８以下である前記部品の部位のみをグレースケールに変換し、前記第５テンプレートが選択されると、前記Ｘ線の透過量の再調整された強度（ｒｅｓｃａｌｅｄ ｉｎｔｅｎｓｉｔｙ）が３１以上２４１０以下である前記部品の部位のみをグレースケールに変換する動作を含むことを特徴とする請求項１に記載の非破壊検査装置。
【請求項4】
前記変化量を測定する動作において、前記プロセッサは、
前記一端から前記部品の延長方向に沿って他端に向かう方向における前記一端からの距離をｘ軸、各位置における測定されたグレースケールの値をｙ軸として、グレースケールの値の変化量を測定した２次元グラフ情報を生成する動作を含むことを特徴とする請求項１に記載の非破壊検査装置。
【請求項5】
前記探知する動作において、前記プロセッサは、
前記２次元グラフ情報のうち所定範囲内のｘ軸においてｙ軸の変化量が既設定された閾値以上に発生した場合、前記既設定された閾値以上にｙ軸変化量が発生したｘ軸の長さに対応する部分を異常領域として探知する動作を含むことを特徴とする請求項４に記載の非破壊検査装置。
【請求項6】
前記変化量を測定する動作において、前記プロセッサは、
前記一端から前記部品を切断する切断線の長さをｚ軸、前記切断線が前記部品の延長方向に沿って他端に至るまで移動させた距離をｘ軸、前記切断線が移動しながら測定されたグレースケールの値をｙ軸としてグレースケールの値の変化量を測定した３次元グラフ情報を生成する動作を含むことを特徴とする請求項１に記載の非破壊検査装置。
【請求項7】
前記探知する動作において、前記プロセッサは、
前記３次元グラフ情報のうち所定範囲内のｘ軸においてｙ軸の変化量が既設定された閾値以上に発生した場合、前記既設定された閾値以上にｙ軸変化量が発生したｘ軸の長さに対応する部分を異常領域として探知する動作を含むことを特徴とする請求項６に記載の非破壊検査装置。
【請求項8】
前記探知する動作において、前記プロセッサは、
前記既設定された閾値以上にｙ軸変化量が発生したｘ軸の長さ及びｚ軸の長さからなる３次元領域を異常領域として探知する動作を含むことを特徴とする請求項７に記載の非破壊検査装置。
【請求項9】
前記透過量情報を取得する動作において、前記プロセッサは、
自転車の部品別スペック情報がマッピングされている自転車部品別の画像データセットに基づいて学習された第１神経網モデルに前記自転車の全体画像を入力して前記自転車の部品を特定する動作；及び、
前記特定された部品を前記Ｘ線が放射される位置に調節して前記特定された部品別Ｘ線の透過量情報を取得する動作を含み、
前記部品別スペック情報は、
前記部品の種類を特定する情報及び前記部品に対して非破壊検査を行うように非破壊撮影装置のＸ線を発生するＸ線チューブに印加される電圧、電流、および前記Ｘ線チューブが有する焦点距離に関する情報を含むことを特徴とする請求項１に記載の非破壊検査装置。
【請求項10】
前記第１神経網は、画像判別アルゴリズムに基づいて学習が行われ、
前記自転車部品別の画像データセットは、
画像の一部にフレーム、ホイール、および駆動系に対してラベリングされたデータセットを含むことを特徴とする請求項９に記載の非破壊検査装置。
【請求項11】
前記プロセッサの動作は、前記異常領域として探知する動作の後、前記異常領域の画像に基づいて前記異常領域の種類を判別する動作をさらに含み、
前記異常領域の種類を判別する動作において、
前記プロセッサは、
自転車部品別異常画像データセットに基づいて学習された第２神経網モデルに前記異常領域の画像を入力して前記異常領域のクラスを判別する動作を含むことを特徴とする請求項１に記載の非破壊検査装置。
【請求項12】
前記異常領域の種類を判別する動作において、前記プロセッサは、
自転車部品別異常画像データセットに基づいて学習された第２神経網モデルに前記異常領域の画像を入力して前記異常領域のクラスを判別する動作；及び、
前記異常領域を含む部品のスペック情報に前記異常領域のクラスに基づく減価情報を反映して価格を算定する動作をさらに含み、
前記部品別スペック情報は、
前記部品の価格を特定する情報を含むことを特徴とする請求項１１に記載の非破壊検査装置。
【請求項13】
前記第２神経網は、画像判別アルゴリズムに基づいて学習が行われ、
前記自転車部品別の異常画像データセットは、
画像の一部に部品の破損、修理、補強、接合、および気孔に対してラベリングされたデータセットを含むことを特徴とする請求項１２に記載の非破壊検査装置。
【請求項14】
非破壊検査装置が行う非破壊検査方法において、自転車の部品にＸ線を放射する非破壊撮影装置の駆動を制御する制御信号を伝送する段階；
前記制御信号に基づいて前記非破壊撮影装置が前記自転車の部品に向かって前記Ｘ線を放射するように前記非破壊撮影装置の照射位置を制御する段階；
前記自転車の部品に放射されたＸ線が透過された透過量情報を取得する段階；
前記透過量情報に基づいてグレースケール画像を生成する段階；
前記グレースケール画像に表された前記自転車の部品の一端から前記部品の延長された方向に沿って他端に至るまでグレースケールの値の変化量を測定する段階；及び、
前記グレースケールの値の変化量が閾値以上に発生する領域を異常領域として探知する段階を含み、
前記透過量情報を取得する動作において、
前記プロセッサは、
自転車の部品別スペック情報がマッピングされている自転車部品別の画像データセットに基づいて学習された第１神経網モデルに前記自転車の全体画像を入力して前記自転車の部品を特定する動作；および、
前記特定された部品に対して前記Ｘ線が放射される位置を調節して前記特定された部品別Ｘ線の透過量情報を取得する動作を含む、
非破壊検査方法。
【請求項15】
請求項１４の方法をプロセッサが行うようにする命令語を含むコンピュータプログラムが記録されたコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本文書の実施例は、Ｘ線透過量のスケール変化分析に基づいて自転車の部品に対する非破壊検査を行う技術に関する。
【背景技術】
【0002】
自転車は、人がペダルを踏んで動くようになる移動手段であって、軽く頑丈な材質で製作されるほど移動効率および安定性が高くなる。これにより、最近は重量が軽いながらも比較的強度の強いカーボン複合材（Ｃａｒｂｏｎ Ｃｏｍｐｏｓｉｔｅ）で製作された自転車が開発・製造されている。
【0003】
一方、自転車の部品の中には、カーボン複合材の厚さが１ｍｍにもならないほど非常に薄く製作される部品もあるため、製造過程でカーボン複合材内部に気孔が発生したり、使用中において使用者の重量や衝撃により簡単に部品に亀裂が発生することもある。
【0004】
このような気孔や亀裂等が発生した異常部分は、自転車の安定性に大きな影響を与える。例えば、異常部分の欠陥は、危なく自転車の運行中に破損して大きな事故につながる可能性があり、異常な問題があるのに正常なものに化けて中古市場で取引され、このような問題を知らずに自転車を取引した買い手が事故や被害を受ける可能性がある。
【0005】
ただし、このようなカーボン複合材の異常部分は非常に微細であるため、専門家以外の人は確認が難しいうえに、自転車の接合部分を一々分解して検査しないと内部を確認できず、その検査過程もかかる時間および費用が相当なものであるという問題がある。
【先行技術文献】
【特許文献】
【0006】
【文献】韓国登録特許第１０－２１５７２３３号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本文書の実施例は、上述した問題を解決するために、非破壊検査（Ｎｏｎ－ｄｅｓｔｒｕｃｔｉｖｅ Ｉｎｓｐｅｃｔｉｏｎ）によって自転車の異常部分を自動的に検出する技術を提供しようとする。
【0008】
特に、異常部分を自動的に正確に検出するためには、自転車から分析対象となる情報自体を分析に容易に取得する技術と、取得された情報を加工して情報の意味を分析する技術と、が求められる。そのために、本文書の実施例は、カーボンに対する非破壊検査に適した画像を生成する前処理情報取得過程と前処理情報取得過程とを通じて得た情報を加工して部品の異常部分を検出する技術を提示する。
【0009】
ただし、本発明が解決しようとする課題は、以上で言及したところに限定されず、言及されてはいないが、以下の記載から本発明の属する技術分野における通常の知識を有する者に明確に理解され得る目的を含むことができる。
【課題を解決するための手段】
【0010】
一実施例に係る非破壊検査装置は、所定の動作を行うようにする命令語を格納する１つ以上のメモリ；および前記１つ以上のメモリと動作可能に連結されて前記命令語を実行するように設定された１つ以上のプロセッサを含み、前記プロセッサの動作は、自転車の部品にＸ線を放射して透過された透過量情報を取得する動作；前記透過量情報に基づいてグレースケール画像を生成する動作；前記グレースケール画像に表された前記自転車の部品の一端から前記部品の延長された方向に沿って他端に至るまでグレースケールの値（ｇｒａｙ ｖａｌｕｅ）の変化量を測定する動作；および、前記グレースケールの値の変化量が閾値以上に発生する領域を異常領域として探知する動作を含むことができる。
【0011】
また、前記Ｘ線はカーボンで形成された自転車の部品のグレースケールが得られるように、６０ｋＶ以上７０ｋＶ以下の範囲の電圧、１１．０ｍＡ以上１２．０ｍＡ以下の範囲の電流、０．４ｍｍ以上１．０ｍｍ以下の範囲の焦点（ＦＯＣ）に設定され得る。
【0012】
また、前記グレースケール画像を生成する動作において、前記プロセッサは、Ｘ線透過量の強度を最小値０以上最大値３５００以下のａ．ｕ．ｉｎｔｅｎｓｉｔｙ（ａｒｂｉｔｒａｒｙ ｕｎｉｔ ｉｎｔｅｎｓｉｔｙ）に再調整（ｒｅｓｃａｌｅ）し、第１テンプレート、第２テンプレート、第３テンプレート、第４テンプレート、および第５テンプレートのうち、前記自転車の部品に基づいていずれかのテンプレートを選択し、前記第１テンプレートが選択されると、前記Ｘ線の透過量の再調整された強度（ｒｅｓｃａｌｅｄ ｉｎｔｅｎｓｉｔｙ）が２２１６以上２５００以下である前記部品の部位のみをグレースケールに変換し、前記第２テンプレートが選択されると、前記Ｘ線の透過量の再調整された強度（ｒｅｓｃａｌｅｄ ｉｎｔｅｎｓｉｔｙ）が２１０８以上３２９４以下である前記部品の部位のみをグレースケールに変換し、前記第３テンプレートが選択されると、前記Ｘ線の透過量の再調整された強度（ｒｅｓｃａｌｅｄ ｉｎｔｅｎｓｉｔｙ）が１８９３以上２８７８以下である前記部品の部位のみをグレースケールに変換し、前記第４テンプレートが選択されると、前記Ｘ線の透過量の再調整された強度（ｒｅｓｃａｌｅｄ ｉｎｔｅｎｓｉｔｙ）が１２５７以上２８７８以下である前記部品の部位のみをグレースケールに変換し、前記第５テンプレートが選択されると、前記Ｘ線の透過量の再調整された強度（ｒｅｓｃａｌｅｄ ｉｎｔｅｎｓｉｔｙ）が３１以上２４１０以下である前記部品の部位のみをグレースケールに変換する動作を含むことができる。
【0013】
また、前記変化量を測定する動作において、前記プロセッサは、前記一端に位置する一点が前記部品の延長方向に沿って他端に至るまで移動した距離をｘ軸、前記一点が移動するように制御しながら測定されたグレースケールの値（ｇｒａｙ ｖａｌｕｅ）をｙ軸として、グレースケールの値の変化量を測定した２次元グラフ情報を生成する動作を含むことができる。
【0014】
また、前記探知する動作において、前記プロセッサは、前記２次元グラフ情報のうち所定範囲内のｘ軸においてｙ軸の変化量が既に設定されている閾値以上に発生した場合、前記既に設定されている閾値以上にｙ軸変化量が発生したｘ軸の長さに対応する部分を異常領域として探知する動作を含むことができる。
【0015】
また、前記変化量を測定する動作において、前記プロセッサは、前記一端から前記部品を切断する切断線の長さをｚ軸、前記切断線が前記部品の延長方向に沿って他端に至るまで移動させた距離をｘ軸、前記切断線が移動しながら測定されたグレースケールの値をｙ軸としてグレースケールの値の変化量を測定した３次元グラフ情報を生成する動作を含むことができる。
【0016】
また、前記探知する動作において、前記プロセッサは、前記３次元グラフ情報のうち所定範囲内のｘ軸においてｙ軸の変化量が既に設定されている閾値以上に発生した場合、前記既に設定されている閾値以上にｙ軸変化量が発生したｘ軸の長さに対応する部分を異常領域として探知する動作を含むことができる。
【0017】
また、前記探知する動作において、前記プロセッサは、前記既に設定されている閾値以上にｙ軸変化量が発生したｘ軸の長さおよびｚ軸の長さからなる３次元領域を異常領域として探知する動作を含むことができる。
【0018】
また、前記透過量情報を取得する動作において、前記プロセッサは、自転車の部品別スペック情報がマッピングされている自転車部品別の画像データセットに基づいて学習された第１神経網モデルに前記自転車の全体画像を入力して前記自転車の部品を特定する動作；および、前記特定された部品を前記Ｘ線が放射される位置に調節して前記特定された部品別Ｘ線の透過量情報を取得する動作を含み、前記部品別スペック情報は、前記部品の種類を特定する情報および前記部品に対して非破壊検査を行うように既に設定されているＸ線の電圧、電流、および焦点距離に関する情報を含むことができる。
【0019】
また、前記第１神経網は、画像判別アルゴリズムに基づいて学習が行われ、前記自転車部品別の画像データセットは、画像の一部にフレーム、ホイール、および駆動系に対してラベリングされたデータセットを含むことができる。
【0020】
また、前記プロセッサの動作は、前記異常領域として探知する動作の後、前記異常領域の画像に基づいて前記異常領域の種類を判別する動作をさらに含むことができる。
【0021】
また、前記異常領域の種類を判別する動作において、前記プロセッサは、自転車部品別異常画像データセットに基づいて学習された第２神経網モデルに前記異常領域の画像を入力して前記異常領域のクラスを判別する動作；および、前記異常領域を含む部品のスペック情報に前記異常領域のクラスに基づく減価情報を反映して価格を算定する動作をさらに含み、前記部品別スペック情報は、前記部品の価格を特定する情報を含むことができる。
【0022】
また、前記第２神経網は、画像判別アルゴリズムに基づいて学習が行われ、前記自転車部品別の異常画像データセットは、画像の一部に部品の破損、修理、補強、接合、および気孔に対してラベリングされたデータセットを含むことができる。
【0023】
一実施例に係る非破壊検査装置が行う非破壊検査方法は、自転車の部品にＸ線を放射して透過された透過量情報を取得する段階；前記透過量情報に基づいてグレースケール画像を生成する段階；前記グレースケール画像に表された前記自転車の部品の一端から前記部品の延長された方向に沿って他端に至るまでグレースケールの値の変化量を測定する段階；および、前記グレースケールの値の変化量が閾値以上に発生する領域を異常領域として探知する段階を含むことができる。
【発明の効果】
【0024】
本文書の実施例によれば、自転車を分解しなくても簡単に部品の異常部分を検出することができ、異常部分の種類を判別することができる。これによって、自転車製造時の検収過程を効果的に短縮しながら検収精度を向上させることができる。
【0025】
また、認証された機関が本文書の技術を使用することにより、自転車中古取引市場で自転車の品質を認証して健全な取引文化を獲得し、自転車使用者の安全を確保することができる。
【0026】
本発明で得られる効果は、以上で言及した効果に限定されず、言及されていないまた他の効果は、以下の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。
【図面の簡単な説明】
【0027】
【図1】一実施例による非破壊検査装置の機能ブロック図である。
【図2】一実施例によって自転車の全体画像に含まれる自転車の部品を分類する第１神経網の例示図である。
【図3】一実施形態によって部品の異常領域を探知した結果画像でありながら、異常領域の種類を判別する第２神経網の学習に使用される画像の例示図である。
【図4】一実施例による非破壊検査装置が非破壊検査方法を行う動作のフローチャートである。
【図5A】対象に対して取得された情報から生成された各グレースケール画像の例示図である。
【図6】Ｘ線の透過量の強度（ｉｎｔｅｎｓｉｔｙ）を異にして部品をグレースケールに変換したグレースケール画像の例示図である。
【図7】一実施例によって自転車部品の一端に位置した切断線が部品の方向に沿って他端に至るまで移動するように制御しながらグレースケールの値（ｇｒａｙ ｖａｌｕｅ）の変化量を測定する動作を説明するための例示図である。
【図8A】一実施例によって定常状態の部品を検出した動作の例示図である。
【図8B】一実施例によって定常状態の部品を検出した動作の例示図である。
【図8C】一実施例によって定常状態の部品を検出した動作の例示図である。
【図9A】一実施例によって異常領域を含む部品を検出した動作の例示図である。
【図9B】一実施例によって異常領域を含む部品を検出した動作の例示図である。
【図9C】一実施例によって異常領域を含む部品を検出した動作の例示図である。
【図10】一実施例によって測定されたグレースケールの値の変化量に基づいて生成された３次元グラフ情報の例示図である。
【図11】一実施例によって自転車部品の一端に位置する一点が部品の方向に沿って他端に至るまで移動するように制御しながらグレースケールの値の変化量を側定する動作を説明するための例示図である。
【発明を実施するための形態】
【0028】
以下、本発明の様々な実施例が添付された図面を参照して記載される。しかし、これは本発明を特定の実施形態に限定することを意図するのではなく、本発明の実施例の様々な変更（ｍｏｄｉｆｉｃａｔｉｏｎ）、同等物（ｅｑｕｉｖａｌｅｎｔ）、および／または代替物（ａｌｔｅｒｎａｔｉｖｅ）を含むものと理解されるべきである。
【0029】
図１は、一実施例に係る非破壊検査装置１００の機能ブロック図である。
【0030】
図１を参照すると、一実施例による非破壊検査装置１００は、メモリ１１０、プロセッサ１２０、入出力インターフェース１３０および通信インターフェース１４０を含むことができる。
【0031】
メモリ１１０は、画像ＤＢ１１１、スペック情報（ＳＰＥＣＩＦＩＣＡＴＩＯＮ ＩＮＦＯＲＡＭＴＩＯＮ）ＤＢ１１２、神経網ＤＢ１１３および命令語ＤＢ１１４を含むことができる。
【0032】
画像ＤＢ１１１は、自転車の全体画像、自転車の部品画像、自転車のＸ線撮影画像、自転車のＸ線撮影画像のうち異常領域が特定された画像のデータを格納することができる。画像ＤＢ１１１に格納された画像は、後術する第１神経網および第２神経網の学習に使用されることができる。
【0033】
スペック情報ＤＢ１１２は、自転車部品の詳細情報を格納することができる。例えば、部品の詳細情報は、材質、用途、メーカー、生産年度、各部品のブランド、カテゴリ、年式、動作方式、色、素材、モデル名、サイズ、最小推奨キー、最大推奨キー、ジオメトリ、製造時に排出される炭素量、価格、部品について非破壊検査を行うために設定する必要のあるＸ線の電圧、電流、および焦点距離、部品に対して取得されたＸ線透過量情報からグレースケールに変換するために設定する必要があるテンプレート情報を含むことができる。
【0034】
神経網ＤＢ１１３は、学習された神経網を格納することができる。例えば、神経網ＤＢ１１３は、自転車の部品別スペック情報がマッピングされている自転車部品別画像データセットに基づいて学習され、所定の自転車画像が入力されると、自転車画像に含まれた部品のクラスを特定（ｅｘ．フレーム、ホイール、および駆動系など）し、各部品のスペック情報を出力する第１神経網モデルを含むことができる。例えば、神経網ＤＢ１１３は、自転車部品別異常画像データセットに基づいて学習され、所定の異常領域画像を入力すると、当該異常領域のクラス（ｅｘ．破損、修理、補強、接合、および気孔など）を特定する第２神経網モデルを含むことができる。
【0035】
命令語ＤＢ１１４は、プロセッサ１２０の動作を実行させ得る命令語を格納することができる。例えば、命令語ＤＢ１１４は、後述するプロセッサ１２０の動作と対応する動作を実行するようにするコンピュータコードを格納することができる。
【0036】
プロセッサ１２０は、非破壊検査装置１００の全般的な動作を制御することができる。プロセッサ１２０は、検査モジュール１２１、神経網モジュール１２２、画像モジュール１２３および制御モジュール１２４を具現することができる。プロセッサ１２０は、メモリ１１０に格納された命令語を実行して検査モジュール１２１、神経網モジュール１２２、画像モジュール１２３、および制御モジュール１２４を駆動させることができる。
【0037】
検査モジュール１２１は、Ｘ線を用いて製品の撮影を行う非破壊撮影装備（ｅｘ．Ｘ－ＲＡＹ ＣＴ ＳＣＡＮＮＥＲ）と連動でき、非破壊撮影装備を制御することができる。例えば、検査モジュール１２１は、自転車の部品にＸ線を放射するように非破壊撮影装備を制御し、自転車の部品を透過したＸ線の透過量情報を取得することができる。非破壊検査装置１００は、非破壊撮影装備と有無線で連結され得る。
【0038】
神経網モジュール１２２は、実施例による第１神経網および第２神経網を学習および制御することができる。
【0039】
図２は、一実施例によって自転車の全体画像に含まれた自転車の部品を分類する第１神経網の例示図である。
【0040】
図２を参照すると、神経網モジュール１２２は自転車の全体画像において自転車を構成する各部品の位置がバウンディングボックスで特定され部品を特定するクラスがラベリングされた学習画像に基づいて、画像判別アルゴリズムを用いて第１神経網を学習させることができる。第１神経網の学習が完了すると、自転車画像が第１神経網に入力される場合、畳み込み演算によって画像の特徴値が抽出され、抽出された特徴値に基づいて入力された画像に含まれた自転車部品の位置を特定でき、特定された部品にマッピングされたスペック情報を出力することができる。
【0041】
一例として、第１神経網は、自転車の全体画像から個々の部品（ｅｘ．フレーム、クランク、フロントディレーラー、リアディレーラー、ホイール、レバーなど）を特定および分類することができ、互いに連動して動作する個々の部品のセット（ｅｘ．フレームセット、駆動系、ホイールセット、コンポーネントなど）をグループ化できる。神経網モジュール１２２は、分類された個々の部品と個々の部品のセットとに基づいて、入力された自転車画像に含まれた部品の情報を集合の形で格納することができる。例えば、神経網モジュール１２２はフレームセットに対応する要素の集合｛フォーク、フレーム｝、グループセットに対応する要素の集合｛フロントディレーラー、リアディレーラー、ブレーキ、レバー、クランク、カセット、チェーン｝、ホイールセットに対応する要素の集合｛タイヤ、ハブ｝、コンポーネントに対応する要素の集合｛ステム、シートポスト、ハンドルバー、サドル｝の形で、入力された自転車画像に含まれた部品情報をグループ化して特定することができる。
【0042】
神経網モジュール１２２は、特定された各部品に対応するスペック情報をスペック情報ＤＢ１１２から検索し、特定された各部品に対応するスペック情報をマッピングして格納することができる。
【0043】
図３は、一実施例によって部品の異常領域を探知した結果画像であり、異常領域の種類を判別する第２神経網の学習に使用される画像の例示図である。
【0044】
図３を参照すると、第２神経網の学習に使用される画像は、学習のために直接ラベリングした画像を含むか、または本発明の実施例（ｅｘ．図４のＳ１０１０～Ｓ１０４０の過程）により、自動的に異常領域が特定され、異常領域の種類がラベリングされた画像を含むことができる。異常領域の種類のクラスは、気孔、多気孔、塗装修理、レジン過多、剥離、繊維損傷、繊維不一致、繊維修理、熱損傷、異物、接合部の損傷、しわおよび脱接合に関するクラスを含むことができる。
【0045】
図３を参照すると、神経網モジュール１２２は、異常領域がバウンディングボックスで特定されて異常領域の種類のクラスがラベリングされた学習画像に基づいて所定の画像判別アルゴリズムを用いて第２神経網を学習させることができる。第２神経網の学習が完了すると、異常領域の特定された画像が第２神経網に入力される場合、第２神経網は畳み込み演算によって画像の特徴値を抽出し、抽出された特徴値に基づいて入力された画像に含まれた異常領域の位置および種類を特定することができる。
【0046】
画像モジュール１２３は、非破壊撮影装備から取得した透過量情報に基づいて撮影された自転車部品のグレースケール画像を生成することができる。
【0047】
制御モジュール１２４は、生成されたグレースケール画像を分析して撮影された部品に異常領域が含まれているか判別し、判別された異常領域の種類を特定することができる。制御モジュール１２４は、異常領域の種類に基づいて修理すべき方法を決定したり、該当部品の価格を算定することができる。
【0048】
上述した検査モジュール１２１、神経網モジュール１２２、画像モジュール１２３および制御モジュール１２４によって行われる動作は、プロセッサ１２０によって行われる動作として理解され得る。
【0049】
入出力インターフェース１３０は、非破壊検査装置１００を制御する管理者が特定の情報を入力するようにしたり、管理者に特定の情報を出力したりするハードウェアインターフェースまたはソフトウェアインターフェースを含むことができる。
【0050】
通信インターフェース１４０は、非破壊検査装置１００が通信網を介して外部装置（ｅｘ．非破壊撮影装備）と情報を送受信できるようにする。そのために、通信インターフェース１４０は、無線通信モジュールまたは有線通信モジュールを含むことができる。
非破壊検査装置１００は、プロセッサ１２０を介して演算を行い、ネットワークを介して情報を送受信することができる様々な形態の装置で実現され得る。例えば、携帯用通信装置、スマートフォン、コンピュータ装置、携帯用マルチメディア装置、ノートパソコン、タブレットＰＣなどを含むことができる。
非破壊検査装置１００は、プロセッサ１２０を介して演算を行い、ネットワークを介して情報を送受信することができる様々な形態の装置で実現され得る。例えば、携帯用通信装置、スマートフォン、コンピュータ装置、携帯用マルチメディア装置、ノートパソコン、タブレットＰＣなどを含むことができる。
【0051】
【0052】
図４は、一実施例に係る非破壊検査装置１００が非破壊検査方法を行う動作のフローチャートである。
【0053】
図４を参照すると、検査モジュール１２１は自転車の部品にＸ線を放射するように非破壊撮影装備を制御し、自転車の部品を透過したＸ線の透過量情報を獲得することができる（Ｓ１０１０）。
【0054】
検査モジュール１２１は、制御モジュール１２４または神経網モジュール１２２が異常部分を高精度で検出できるように、自転車の各部品に対応するＸ線制御を行って異常領域の判定に容易な情報を生成する。Ｘ線の性質をどのように制御するかにより、図５Ａ～図５Ｃに示すように異常領域に関する情報が含まれるか失われる可能性があるためである。
【0055】
【0056】
図５Ａ～図５Ｃを参照すると、Ｘ線の透過量が低すぎると図５Ａのような画像が生成され、Ｘ線の透過量が高すぎると図５Ｃのような画像が生成されるため、Ｘ線の性質を部品に適合するように調節して図５Ｂのような画像を得ることが重要である。
【0057】
検査モジュール１２１撮影対象である各部品の特性に基づいて各部品別にＸ線の性質を調節することができる。例えば、検査モジュール１２１はカーボンから形成された自転車の部品を撮影する場合、Ｘ線放射時６０ｋＶ以上７０ｋＶ以下の範囲の電圧、１１．０ｍＡ以上１２．０ｍＡ以下の範囲の電流、０．４ｍｍ以上１．０ｍｍ以下の範囲の焦点（ＦＯＣ）環境に設定されるように非破壊撮影装備を制御してＸ線を放射することができる。
【0058】
検査モジュール１２１がＸ線撮影動作を行う前に、神経網モジュール１２２は自転車の部品別スペック情報がマッピングされている自転車部品別画像データセットに基づいて学習された第１神経網モデルに非破壊検査対象の自転車の全体画像を撮影および入力して、検査対象の自転車の部品の位置および部品の種類を特定することができる。検査モジュール１２１は、特定された部品別スペック情報をスペック情報ＤＢ１１２で検索することができる。部品別スペック情報は、各部品に対して非破壊検査を行うように既に設定されているＸ線の電圧、電流、および焦点距離に関する情報を含むことができる。検査モジュール１２１は、特定された部品の位置にＸ線が放射される位置を調節して、スペック情報に格納された情報を基にＸ線の性質を制御して、各部品に対して分析に適合する透過量情報を取得することができる。
【0059】
次に、画像モジュール１２３は、取得された透過量情報に基づいてグレースケール画像を生成することができる（Ｓ１０２０）。
【0060】
画像モジュール１２３は、制御モジュール１２４または神経網モジュール１２２が異常部分を高精度で検出できるように、取得された透過量情報のうちいかなる範囲の情報を活用してグレースケールに変換するかを判断し、異常領域の判断に容易な画像を生成する。取得された透過量情報のうちいかなる範囲に該当する情報をグレースケールに変換するのかにより、異常領域に関する情報が含まれるか失われる可能性があるためである。
【0061】
図６は、Ｘ線の透過量の強度（ｉｎｔｅｎｓｉｔｙ）を異にして部品をグレースケールに変換したグレースケール画像の例示図である。
【0062】
図６を参照すると、画像モジュール１２３はＸ線透過量の強度を最小値０以上最大値３５００以下のａ．ｕ．ｉｎｔｅｎｓｉｔｙ（ａｒｂｉｔｒａｒｙ ｕｎｉｔ ｉｎｔｅｎｓｉｔｙ）に再調整（ｒｅｓｃａｌｅ）し、第１テンプレート、第２テンプレート、第３テンプレート、第４テンプレート、および第５テンプレートのうち、自転車の部品に応じていずれかのテンプレートを選択し、第１テンプレートが選択されると、Ｘ線の透過量の再調整された強度（ｒｅｓｃａｌｅｄ ｉｎｔｅｎｓｉｔｙ）が２２１６以上２５００以下である部品の部位のみをグレースケールに変換し、第２テンプレートが選択されると、Ｘ線の透過量の再調整された強度（ｒｅｓｃａｌｅｄ ｉｎｔｅｎｓｉｔｙ）が２１０８以上３２９４以下である部品の部位のみをグレースケールに変換し、第３テンプレートが選択されると、Ｘ線の透過量の再調整された強度（ｒｅｓｃａｌｅｄ ｉｎｔｅｎｓｉｔｙ）が１８９３以上２８７８以下である部品の部位のみをグレースケールに変換し、第４テンプレートが選択されると、Ｘ線の透過量の再調整された強度（ｒｅｓｃａｌｅｄ ｉｎｔｅｎｓｉｔｙ）が１２５７以上２８７８以下である部品の部位のみをグレースケールに変換し、第５テンプレートが選択されると、Ｘ線の透過量の再調整された強度（ｒｅｓｃａｌｅｄ ｉｎｔｅｎｓｉｔｙ）が３１以上２４１０以下である部品の部位のみをグレースケールに変換することができる。
【0063】
例えば、第１テンプレートを利用した変換はコントラストが大きく暗いグレースケール画像を生成するため、外郭線の形態や厚さなどのように側面または断面を確認しなければならない部品の場合、該当部品の検査に第１テンプレートが使用されるようにスペック情報に格納されることができる。
【0064】
第２テンプレートを利用した変換はコントラストが少なく暗いグレースケール画像を生成するため、面の状態を綿密に確認する必要がある部品の場合、その部品の検査に第２テンプレートが使用されるようにスペック情報に格納されることができる。
【0065】
第３テンプレートを利用した変換はコントラストおよび明るさがバランスのいいグレースケール画像を生成するため、全般的な面および線の要素を全て検討する必要がある部品の場合、その部品の検査に第３テンプレートが使用されるようにスペック情報に格納されることができる。
【0066】
第４テンプレートを利用した変換はコントラストが比較的大きく明るいグレースケール画像を生成するため、比較的厚さがあったり重なった構造によりＸ線の透過が少ない部品の場合、該当部品の検査に第４テンプレートが使用されるようにスペック情報に格納されることができる。
【0067】
第５テンプレートを利用した変換はコントラストが少なく明るいグレースケール画像を生成するため、三重以上に重なっている厚い部品および金属類の要素が混合されて製造される部品の場合、該当部品の検査に第５テンプレートが使用されるようにスペック情報に格納されることができる。
【0068】
次に、制御モジュール１２４は、グレースケール画像に表現された自転車の部品の一端からその部品の延長された方向に沿って他端に至るまでのグレースケールの値の変化量を測定し（Ｓ１０３０）、グレースケールの値の変化量が閾値以上に発生する領域を異常領域として探知することができる（Ｓ１０４０）。
【0069】
図７は、一実施例によって自転車部品の一端ａに位置する切断線が部品の延長方向に沿って他端ｂに至るまで移動するように制御しながらグレースケールの値の変化量を測定する動作を説明するための例示図である。
【0070】
図７を参照すると、制御モジュール１２４はグレースケール画像で認識された部品の外郭面と直交する切断線に沿ってグレースケールの値を測定する。
【0071】
図８Ａ～図８Ｃは、一実施例により定常状態の部品を測定した例示図である。図８Ａ～図８Ｃは、理解の便宜のために、３つの部分ａ、ｂ、ｃの離隔された切断線の位置で測定されたグレースケールの値を測定した例示である。
【0072】
図８Ａ～図８Ｃを参照すると、制御モジュール１２４は、グレースケール画像で認識された部品の外郭面と直交する切断線に沿ってグレースケールの値を測定する。図８Ａ～図８Ｃの３つの部分ａ、ｂ、ｃの測定値に関するグラフを参照すると、各切断線の位置で測定されたグレースケールの値は急激に変化せずほぼ一定に保たれることが確認できる。
【0073】
図９Ａ～図９Ｃは、一実施例によって異常領域を含む部品を測定した例示図である。図９Ａ～図９Ｃは、理解の便宜のために３つの部分ａ、ｂ、ｃの離間した切断線の位置で測定されたグレースケールの値を測定した例示である。
【0074】
図９Ａ～図９Ｃを参照すると、制御モジュール１２４はグレースケール画像で認識された部品の外郭面と直交する切断線に沿ってグレースケールの値を測定するように制御する。図９Ａ～図９Ｃの３つの部分ａ、ｂ、ｃの測定値に関するグラフを参照すると、ｂの切断線の位置に関するグラフの一領域において、ａまたはｃの切断線の位置に関するグラフの形状に比べてグレースケールの大きさが急激に変化した領域が存在することが確認できる。
【0075】
本発明の実施例は、適合した性質のＸ線によって撮影されたグレースケール画像において異常領域にスケール値が急激に変化する区間が一つ以上発生することに着目して、図１０のように連続して測定されたグレースケールの値の変化量に基づいて異常領域を探知することができる。
【0076】
図１０は、一実施例によって測定されたグレースケールの値の変化量に基づいて生成された３次元グラフ情報の例示図である。
【0077】
図１０を参照すると、制御モジュール１２４は、部品の一端から部品を切断する切断線の長さをｚ軸、切断線が部品の延長方向に沿って一端から他端に至るまで移動させた距離をｘ軸、切断線が移動しながら測定されたグレースケールの値をｙ軸にして、グレースケールの値の変化量を測定した３次元グラフ情報を生成することができる。制御モジュール１２４は、３次元グラフ情報のうち所定範囲内のｘ軸においてｙ軸の変化量が既に設定されている閾値以上に変化した地点が少なくとも１領域発生した場合、既に設定されている閾値以上にｙ軸変化量が発生したｘ軸長さに該当する部分を異常領域として探知することができる。また、制御モジュール１２４は、既に設定されている閾値以上にｙ軸変化量が発生したｘ軸長さおよびｚ軸長さからなる３次元領域を異常領域として探知することができる。
【0078】
図１１は、一実施例によって自転車部品の一端ａに位置した一点が部品の延長方向に沿って他端ｂに至るまで移動するように制御しながらグレースケールの値の変化量を測定する動作を説明するための例示図である。
【0079】
図１１を参照すると、制御モジュール１２４はグレースケール画像で認識された部品の外郭面と平行な方向に沿ってグレースケールの値を測定する。制御モジュール１２４は、一端に位置した一点が前記部品の延長方向に沿って他端に至るまで移動した距離をｘ軸、一点が移動しながら測定されたグレースケールの値をｙ軸として、グレースケールの値の変化量を測定した２次元グラフ情報を生成することができる。制御モジュール１２４は、２次元グラフ情報のうち所定の範囲内のｘ軸においてｙ軸の変化量が既に設定されている閾値以上に変化した地点が少なくとも１地点発生した場合、既に設定されている閾値以上にｙ軸変化量が発生したｘ軸長さに該当する部分を異常領域として探知することができる。
【0080】
次に、制御モジュール１２４は、特定された異常領域の画像に基づいて異常領域の種類を判別することができる（Ｓ１０５０）。
【0081】
一例として、制御モジュール１２４は、自転車部品別異常画像データセットに基づいて学習された第２神経網モデルに探知された異常領域の画像を入力して異常領域のクラスを判別することができる。制御モジュール１２４は異常領域を含む部品のスペック情報に異常領域のクラスに基づいた減価情報を反映して価格を算定することができる。例えば、特定された部品のスペック情報を基に導出された元の価格に、探知された異常領域のクラスが気孔である場合は１０％価格下落、接合の場合は１５％の価格下落などの減価情報を反映して、異常領域の存在に応じた価格を再算定することができる。制御モジュール１２４は、当該部品の異常領域の種類に応じて修理する方法をスペック情報ＤＢ１１２で検索して、該当部品の異常領域を修理する方法、または修理価格を案内するように出力することができる。
【0082】
上述の実施例によると、自転車の分解がなくても簡単に部品の異常部分を検出することができ、異常部分の種類を判別することができる。これにより、自転車製造時の検収過程を効果的に短縮しながら、検収精度を向上させることができる。さらに、認定機関が本文書の技術を使用することによって自転車中古取引市場で自転車の品質を認証し、健全な取引文化を築き、自転車ユーザーの安全を保証することができる。
【0083】
本文書の様々な実施例およびそれに使用されている用語は、本文書に記載された技術的特徴を特定の実施例に限定することではなく、該当実施例の様々な変更、均等物、または代替物を含むものと理解されるべきである。図面の説明と関連し、類似または関連する構成要素に対しては同様の参照番号が使用され得る。アイテムに対応する名詞の単数形は、関連する文脈上明らかに異なる指示がない限り、１つのアイテムまたは複数のアイテムを含むことができる。
【0084】
本文書において、「ＡまたはＢ」、「ＡおよびＢのうち少なくとも１つ」、「ＡまたはＢのうち少なくとも１つ、「Ａ、ＢまたはＣ、」「Ａ、ＢおよびＣのうち少なくとも１つ」、および「Ａ、Ｂ、またはＣのうち少なくとも１つ」などの語句それぞれは、その語句のうち該当する語句に一緒に列挙されている項目のすべての可能な組み合わせを含むことができる。「第１」、「第２」、または「１番目」または「２番目」などの用語は、単にその構成要素を他の側面（例：重要性または順序）で限定しない。ある（例：第１）構成要素が他の（例：第２）構成要素に、「機能的に」または「通信的に」という用語と一緒に、またはこれらの用語なしに、「カプルド（ｃｏｕｐｌｅｄ）」または「コネクテッド」と言及された場合、それはある構成要素が他の構成要素に直接（例：有線で）、無線で、または第３の構成要素を介して連結され得るということを意味する。
【0085】
本文書で使用された用語「モジュール」は、ハードウェア、ソフトウェア、またはファームウェアで実現されたユニットを含むことができ、例えば、ロジック、論理ブロック、部品、または回路などの用語と相互互換的に使用され得る。モジュールは、一体で構成された部品または、１つまたはそれ以上の機能を実行する、部品の最小単位またはその一部である。例えば、一実施例によると、モジュールはＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）の形態で実現され得る。
【0086】
本文書の様々な実施例は、機器（例：電子機器）によって読み取ることができる記憶媒体（例：メモリ）に格納された１つ以上の命令語を含むソフトウェア（例：プログラム）で実現され得る。記憶媒体は、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、メモリバッファ、ハード・ドライブ、データベース、ＥＰＲＯＭ（ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）および／または等を含むことができる。
【0087】
また、本文書の実施例のプロセッサは、記憶媒体から格納されている１つ以上の命令語のうちの少なくとも１つの命令を呼び出し、それを実行することができる。これは、機器が呼び出された少なくとも１つの命令語に従って少なくとも１つの機能を行うように運営されることを可能にする。これらの１つ以上の命令語はコンパイラーによって生成されたコードまたはインタープリターによって実行され得るコードを含むことができる。プロセッサは汎用プロセッサ、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）および／または等であり得る。
【0088】
機器で読み取ることができる記憶媒体は、非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体の形で提供され得る。ここで、「非一時的」は記憶媒体が実在（ｔａｎｇｉｂｌｅ）する装置であり、信号（例：電磁波）を含まないということを意味するだけであり、この用語は、データが記憶媒体に半永久的に格納される場合と一時的に格納される場合を区別しない。
【0089】
本文書に開示された様々な実施例による方法は、コンピュータプログラム製品（ｃｏｍｐｕｔｅｒ ｐｒｏｇｒａｍ ｐｒｏｄｕｃｔ）に含まれて提供され得る。コンピュータプログラム製品は商品として売り手と買い手との間で取引され得る。コンピュータプログラム製品は機器で読み取り可能な記憶媒体（例：ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ（ＣＤ－ＲＯＭ））の形で配布されたり、またはアプリケーションストア（例：プレイストア）を介して、または二つのユーザーデバイス（例：スマートフォンなど）間で直接、オンラインで配布（例：ダウンロード、またはアップロード）され得る。オンライン配布の場合、コンピュータプログラム製品の少なくとも一部はメーカーのサーバ、アプリケーションストアのサーバ、または中継サーバのメモリのような機器で読み取り可能な記憶媒体に少なくとも一時格納されるか、一時的に生成されることができる。
【0090】
様々な実施例によると、記載された構成要素の各々の構成要素（例：モジュールまたはプログラム）は、単数または複数の個体を含むことができる。様々な実施例によれば、前述の当該構成要素のうち１つ以上の構成要素または動作が省略されたり、または１つ以上の他の構成要素または動作が追加され得る。代替的または追加的に、複数の構成要素（例：モジュールまたはプログラム）は１つの構成要素に統合され得る。この場合、統合された構成要素は複数の構成要素の各構成要素の１つ以上の機能を、統合する前に複数の構成要素のうち当該構成要素によって行われるのと同じまたは同様に行うことができる。様々な実施例によれば、モジュール、プログラム、または他の構成要素によって行われる動作は順次、並列に、反復的に、またはヒューリスティックに行われたり、動作のうち１つ以上が異なる順序で行われたり、省略されたり、または１つ以上の他の動作が追加され得る。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図6】
【図7】
【図8A】
【図8B】
【図8C】
【図9A】
【図9B】
【図9C】
【図10】
【図11】
