(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2025-01-15
(54)【発明の名称】画像処理のためのシステムおよび方法
(51)【国際特許分類】
H04N 23/71 20230101AFI20250107BHJP
G06T 7/60 20170101ALI20250107BHJP
G06T 7/00 20170101ALI20250107BHJP
H04N 23/60 20230101ALI20250107BHJP
G01B 11/00 20060101ALI20250107BHJP
G01N 21/95 20060101ALI20250107BHJP
B60C 19/00 20060101ALI20250107BHJP
【FI】
H04N23/71
G06T7/60 150D
G06T7/00 610C
H04N23/60 500
G01B11/00 H
G01N21/95 Z
B60C19/00 H
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024525475
(86)(22)【出願日】2023-01-04
(85)【翻訳文提出日】2024-06-25
(86)【国際出願番号】 CN2023070383
(87)【国際公開番号】W WO2023134514
(87)【国際公開日】2023-07-20
(31)【優先権主張番号】202210034883.2
(32)【優先日】2022-01-13
(33)【優先権主張国・地域又は機関】CN
(31)【優先権主張番号】202210625277.8
(32)【優先日】2022-06-02
(33)【優先権主張国・地域又は機関】CN
(31)【優先権主張番号】202210944595.0
(32)【優先日】2022-08-08
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】521312237
【氏名又は名称】ゼジャン・ハーレイ・テクノロジー・カンパニー・リミテッド
(74)【代理人】
【識別番号】100108453
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】ジアウェイ・タオ
(72)【発明者】
【氏名】シャン・ジョウ
(72)【発明者】
【氏名】ボ・ジャン
(72)【発明者】
【氏名】ジュングイ・ゾウ
(72)【発明者】
【氏名】ビンカイ・ジュ
(72)【発明者】
【氏名】シウチン・ヤン
(72)【発明者】
【氏名】ユ・リウ
(72)【発明者】
【氏名】ル・ジョウ
(72)【発明者】
【氏名】ダン・ワン
(72)【発明者】
【氏名】ハイユ・リュウ
(72)【発明者】
【氏名】ジアンロン・ジャン
(72)【発明者】
【氏名】ウェンボ・ティアン
(72)【発明者】
【氏名】ミン・リ
【テーマコード(参考)】
2F065
2G051
3D131
5C122
5L096
【Fターム(参考)】
2F065AA12
2F065AA21
2F065AA24
2F065AA49
2F065AA53
2F065BB22
2F065CC13
2F065FF04
2F065GG04
2F065JJ26
2F065QQ08
2F065QQ23
2F065QQ24
2F065QQ25
2F065QQ31
2F065RR06
2G051AA90
2G051AB07
2G051AC21
2G051BA10
3D131LA22
5C122DA12
5C122DA30
5C122EA59
5C122FF01
5C122FF23
5C122FH01
5C122FH03
5C122FH10
5C122FH11
5C122FH14
5C122FH23
5C122GA01
5C122GC07
5C122HA13
5C122HA35
5C122HA88
5C122HB01
5C122HB05
5C122HB10
5L096AA02
5L096AA06
5L096AA09
5L096BA03
5L096CA02
5L096DA02
5L096EA06
5L096FA06
5L096FA17
5L096FA52
5L096FA60
5L096FA67
5L096FA69
5L096GA08
5L096GA51
5L096HA07
(57)【要約】
本開示は、画像処理のためのシステムおよび方法に関する。システムは、レーザカメラによってキャプチャされた画像を取得し得る。システムは、画像の輝度および画像の輝度に対応するレーザカメラの露光パラメータを決定し得る。システムは、画像の輝度および基準輝度に基づいてレーザカメラの露光パラメータを調整することによって、レーザカメラのターゲット露光パラメータを決定し得る。
【特許請求の範囲】
【請求項1】
システムであって、
命令のセットを含む少なくとも1つのストレージデバイスと、
前記少なくとも1つのストレージデバイスと通信する少なくとも1つのプロセッサであって、前記命令のセットを実行するときに、前記少なくとも1つのプロセッサが、前記システムに、
レーザカメラによってキャプチャされた画像を取得するステップと、
前記画像の輝度、および前記画像の前記輝度に対応する前記レーザカメラの露光パラメータを決定するステップと、
前記画像の前記輝度および基準輝度に基づいて前記レーザカメラの前記露光パラメータを調整することによって前記レーザカメラのターゲット露光パラメータを決定するステップと、
を含む動作を実行させる、少なくとも1つのプロセッサと、
を備える、システム。
【請求項2】
前記画像の前記輝度を決定する前記ステップが、
輝度閾値よりも大きい輝度値を有する前記画像内の複数のターゲット画素を決定するステップと、
前記複数のターゲット画素の前記輝度値に基づいて前記画像の前記輝度を決定するステップと、
を含む、請求項1に記載のシステム。
【請求項3】
前記画像の前記輝度および前記基準輝度に基づいて前記レーザカメラの前記露光パラメータを調整することによって前記レーザカメラの前記ターゲット露光パラメータを決定する前記ステップが、
前記画像の前記輝度が前記基準輝度に関連する基準輝度範囲内にあるかどうかを決定するステップと、
前記画像の前記輝度が前記基準輝度範囲内にあることに応答して、前記画像の前記輝度が前記基準輝度よりも大きいかどうかを決定するステップと、
前記画像の前記輝度が前記基準輝度よりも大きいことに応答して、前記レーザカメラの前記露光パラメータを減少させることによって前記レーザカメラの前記ターゲット露光パラメータを決定するステップと、
前記画像の前記輝度が前記基準輝度未満であることに応答して、前記レーザカメラの前記露光パラメータを増加させることによって前記レーザカメラの前記ターゲット露光パラメータを決定するステップと、
を含む、請求項1に記載のシステム。
【請求項4】
前記レーザカメラによってキャプチャされた前記画像が、面取り部を有するガラスの画像であり、前記動作は、
前記画像内の前記面取り部の最初の端点を決定するステップと、
前記最初の端点を補正することによって前記面取り部のターゲット端点を決定するステップと、
前記面取り部の前記ターゲット端点に基づいて、前記面取り部のサイズを決定するステップと、
をさらに含む、請求項1に記載のシステム。
【請求項5】
前記画像内の前記面取り部の最初の端点を決定する前記ステップが、
前記画像内の前記ガラスの輪郭画素を決定するステップと、
前記輪郭画素に基づいて前記面取り部の前記最初の端点を決定するステップと、
を含む、請求項4に記載のシステム。
【請求項6】
前記画像内の前記ガラスの輪郭画素を決定する前記ステップが、
グレースケール閾値よりも大きいグレースケールを有する前記画像内の第1の画素を決定するステップと、
前記第1の画素に対してガウス列の畳み込みを実行することによって第2の画素を決定するステップと、
前記第2の画素の隣接画素に基づいて前記第2の画素をフィルタリングすることによって第3の画素を決定するステップと、
前記第3の画素の各々について、重心アルゴリズムに基づいて前記第3の画素に対応する副画素を決定するステップと、
前記第3の画素に対応する副画素を前記ガラスの前記輪郭画素として指定するステップと、
を含む、請求項5に記載のシステム。
【請求項7】
前記最初の端点を補正することによって前記面取り部のターゲット端点を決定する前記ステップが、
各最初の端点について、
前記ガラスの前記輪郭画素に基づいて適合領域を決定するステップと、
前記適合領域内の輪郭画素を適合させることによって適合線を決定するステップと、
前記適合線に基づいて少なくとも1つの較正領域を決定するステップと、
前記少なくとも1つの較正領域にそれぞれ対応する少なくとも1つの基準線を決定するステップと、
前記少なくとも1つの基準線に基づいて対応するターゲット端点を決定するステップと、
を含む、請求項5に記載のシステム。
【請求項8】
前記少なくとも1つの較正領域にそれぞれ対応する少なくとも1つの基準線を決定する前記ステップが、
前記少なくとも1つの較正領域の各々について、
前記較正領域を所定の方向に沿って分割することによって複数の候補線を決定するステップと、
前記複数の候補線の各々について、前記候補線のグレースケール情報または勾配情報の少なくとも一方に基づいて前記候補線のスコアを決定するステップと、
前記複数の候補線のスコアに基づいて対応する基準線を決定するステップと、
を含む、請求項7に記載のシステム。
【請求項9】
前記少なくとも1つの基準線に基づいて対応するターゲット端点を決定する前記ステップが、
前記少なくとも1つの基準線の各々について、前記適合線と前記基準線との交点を決定するステップと、
前記少なくとも1つの基準線にそれぞれ対応する少なくとも1つの交点に基づいて、前記対応するターゲット端点を決定するステップと、
を含む、請求項8に記載のシステム。
【請求項10】
前記レーザカメラによってキャプチャされた前記画像が、タイヤの3次元(3D)画像であり、
前記動作は、
前記タイヤの基準画像を取得するステップと、
前記画像と前記基準画像とを比較することによって、前記タイヤにバルジがあるかどうかを決定するステップと、
をさらに含む、請求項1に記載のシステム。
【請求項11】
前記動作が、
前記タイヤにバルジがないことに応答して、前記画像を正常画像として指定し、前記正常画像をストレージデバイスに記憶するステップと、
前記ストレージデバイスに記憶された正常画像のカウントがカウント閾値を超えたことに応答して、前記記憶された正常画像に基づいて前記基準画像を更新するステップと、
をさらに含む、請求項10に記載のシステム。
【請求項12】
前記画像と前記基準画像とを比較することによって前記タイヤにバルジがあるかどうかを決定する前記ステップが、
前記画像を複数の領域に分割するステップであって、前記複数の領域の各々は、各々が複数の画素を含む少なくとも1つの点群を含む、ステップと、
前記複数の領域の各々について、
前記領域内の前記少なくとも1つの点群から点群をターゲット点群として選択するステップと、
前記ターゲット点群の高さと前記基準画像の点群高さとの差が高さ閾値を超えるかどうかを決定するステップと、
前記差が前記高さ閾値を超えたことに応答して、前記領域を、バルジが位置し得る異常領域として決定するステップと、
を含む、請求項10に記載のシステム。
【請求項13】
前記動作が、
複数の直接隣接する異常領域の合計幅が幅閾値よりも大きいかどうかを決定するステップと、
前記複数の直接隣接する異常領域の前記合計幅が前記幅閾値よりも大きいことに応答して、前記タイヤにバルジがあると決定するステップと、
をさらに含む、請求項12に記載のシステム。
【請求項14】
少なくとも1つのプロセッサと、少なくとも1つの記憶媒体と、ネットワークに接続された通信プラットフォームと、を含むコンピューティングデバイス上で実施される方法であって、前記方法は、
レーザカメラによってキャプチャされた画像を取得するステップと、
前記画像の輝度、および前記画像の前記輝度に対応する前記レーザカメラの露光パラメータを決定するステップと、
前記画像の前記輝度および基準輝度に基づいて前記レーザカメラの前記露光パラメータを調整することによって前記レーザカメラのターゲット露光パラメータを決定するステップと、
を含む、方法。
【請求項15】
前記画像の前記輝度を決定する前記ステップが、
輝度閾値よりも大きい輝度値を有する前記画像内の複数のターゲット画素を決定するステップと、
前記複数のターゲット画素の前記輝度値に基づいて前記画像の前記輝度を決定するステップと、
を含む、請求項14に記載の方法。
【請求項16】
前記画像の前記輝度および前記基準輝度に基づいて前記レーザカメラの前記露光パラメータを調整することによって前記レーザカメラの前記ターゲット露光パラメータを決定する前記ステップが、
前記画像の前記輝度が前記基準輝度に関連する基準輝度範囲内にあるかどうかを決定するステップと、
前記画像の前記輝度が前記基準輝度範囲内にあることに応答して、前記画像の前記輝度が前記基準輝度よりも大きいかどうかを決定するステップと、
前記画像の前記輝度が前記基準輝度よりも大きいことに応答して、前記レーザカメラの前記露光パラメータを減少させることによって前記レーザカメラの前記ターゲット露光パラメータを決定するステップと、
前記画像の前記輝度が前記基準輝度未満であることに応答して、前記レーザカメラの前記露光パラメータを増加させることによって前記レーザカメラの前記ターゲット露光パラメータを決定するステップと、
を含む、請求項14に記載の方法。
【請求項17】
前記レーザカメラによってキャプチャされた前記画像が、面取り部を有するガラスの画像であり、前記方法は、
前記画像内の前記面取り部の最初の端点を決定するステップと、
前記最初の端点を補正することによって前記面取り部のターゲット端点を決定するステップと、
前記面取り部の前記ターゲット端点に基づいて、前記面取り部のサイズを決定するステップと、
をさらに含む、請求項14に記載の方法。
【請求項18】
前記画像内の前記面取り部の最初の端点を決定する前記ステップが、
前記画像内の前記ガラスの輪郭画素を決定するステップと、
前記輪郭画素に基づいて前記面取り部の前記最初の端点を決定するステップと、
を含む、請求項17に記載の方法。
【請求項19】
前記画像内の前記ガラスの輪郭画素を決定する前記ステップが、
グレースケール閾値よりも大きいグレースケールを有する前記画像内の第1の画素を決定するステップと、
前記第1の画素に対してガウス列の畳み込みを実行することによって第2の画素を決定するステップと、
前記第2の画素の隣接画素に基づいて前記第2の画素をフィルタリングすることによって第3の画素を決定するステップと、
前記第3の画素の各々について、重心アルゴリズムに基づいて前記第3の画素に対応する副画素を決定するステップと、
前記第3の画素に対応する副画素を前記ガラスの前記輪郭画素として指定するステップと、
を含む、請求項18に記載の方法。
【請求項20】
前記最初の端点を補正することによって前記面取り部のターゲット端点を決定する前記ステップが、
各最初の端点について、
前記ガラスの前記輪郭画素に基づいて適合領域を決定するステップと、
前記適合領域内の輪郭画素を適合させることによって適合線を決定するステップと、
前記適合線に基づいて少なくとも1つの較正領域を決定するステップと、
前記少なくとも1つの較正領域にそれぞれ対応する少なくとも1つの基準線を決定するステップと、
前記少なくとも1つの基準線に基づいて対応するターゲット端点を決定するステップと、
を含む、請求項18に記載の方法。
【請求項21】
前記少なくとも1つの較正領域にそれぞれ対応する少なくとも1つの基準線を決定する前記ステップが、
前記少なくとも1つの較正領域の各々について、
前記較正領域を所定の方向に沿って分割することによって複数の候補線を決定するステップと、
前記複数の候補線の各々について、前記候補線のグレースケール情報または勾配情報の少なくとも一方に基づいて前記候補線のスコアを決定するステップと、
前記複数の候補線のスコアに基づいて対応する基準線を決定するステップと、
を含む、請求項20に記載の方法。
【請求項22】
前記少なくとも1つの基準線に基づいて対応するターゲット端点を決定する前記ステップが、
前記少なくとも1つの基準線の各々について、前記適合線と前記基準線との交点を決定するステップと、
前記少なくとも1つの基準線にそれぞれ対応する少なくとも1つの交点に基づいて、前記対応するターゲット端点を決定するステップと、
を含む、請求項21に記載の方法。
【請求項23】
前記レーザカメラによってキャプチャされた前記画像が、タイヤの3次元(3D)画像であり、前記方法は、
前記タイヤの基準画像を取得するステップと、
前記画像と前記基準画像とを比較することによって、前記タイヤにバルジがあるかどうかを決定するステップと、
をさらに含む、請求項14に記載の方法。
【請求項24】
前記方法が、
前記タイヤにバルジがないことに応答して、前記画像を正常画像として指定し、前記正常画像をストレージデバイスに記憶するステップと、
前記ストレージデバイスに記憶された正常画像のカウントがカウント閾値を超えたことに応答して、前記記憶された正常画像に基づいて前記基準画像を更新するステップと、
をさらに含む、請求項23に記載の方法。
【請求項25】
前記画像と前記基準画像とを比較することによって前記タイヤにバルジがあるかどうかを決定する前記ステップが、
前記画像を複数の領域に分割するステップであって、前記複数の領域の各々は、各々が複数の画素を含む少なくとも1つの点群を含む、ステップと、
前記複数の領域の各々について、
前記領域内の前記少なくとも1つの点群から点群をターゲット点群として選択するステップと、
前記ターゲット点群の高さと前記基準画像の点群高さとの差が高さ閾値を超えるかどうかを決定するステップと、
前記差が前記高さ閾値を超えたことに応答して、前記領域を、バルジが位置し得る異常領域として決定するステップと、
を含む、請求項23に記載の方法。
【請求項26】
前記方法が、
複数の直接隣接する異常領域の合計幅が幅閾値よりも大きいかどうかを決定するステップと、
前記複数の直接隣接する異常領域の前記合計幅が前記幅閾値よりも大きいことに応答して、前記タイヤにバルジがあると決定するステップと、
をさらに含む、請求項25に記載の方法。
【請求項27】
レーザカメラによってキャプチャされた画像を取得するように構成された取得モジュールと、
前記画像の輝度、および前記画像の前記輝度に対応する前記レーザカメラの露光パラメータを決定するように構成された決定モジュールと、
前記画像の前記輝度および基準輝度に基づいて前記レーザカメラの前記露光パラメータを調整することによって前記レーザカメラのターゲット露光パラメータを決定するように構成された調整モジュールと、
を備える、システム。
【請求項28】
前記画像の前記輝度を決定するために、前記決定モジュールが、
輝度閾値よりも大きい輝度値を有する前記画像内の複数のターゲット画素を決定し、
前記複数のターゲット画素の前記輝度値に基づいて前記画像の前記輝度を決定する、
ようにさらに構成される、請求項27に記載のシステム。
【請求項29】
前記画像の前記輝度および前記基準輝度に基づいて前記レーザカメラの前記露光パラメータを調整することによって前記レーザカメラの前記ターゲット露光パラメータを決定するために、前記調整モジュールが、
前記画像の前記輝度が前記基準輝度に関連する基準輝度範囲内にあるかどうかを決定し、
前記画像の前記輝度が前記基準輝度範囲内にあることに応答して、前記画像の前記輝度が前記基準輝度よりも大きいかどうかを決定し、
前記画像の前記輝度が前記基準輝度よりも大きいことに応答して、前記レーザカメラの前記露光パラメータを減少させることによって前記レーザカメラの前記ターゲット露光パラメータを決定し、
前記画像の前記輝度が前記基準輝度未満であることに応答して、前記レーザカメラの前記露光パラメータを増加させることによって前記レーザカメラの前記ターゲット露光パラメータを決定する、
ようにさらに構成される、請求項27に記載のシステム。
【請求項30】
前記レーザカメラによってキャプチャされた前記画像が、面取り部を有するガラスの画像であり、前記システムは、
前記画像内の前記面取り部の最初の端点を決定し、
前記最初の端点を補正することによって前記面取り部のターゲット端点を決定し、
前記面取り部の前記ターゲット端点に基づいて、前記面取り部のサイズを決定する、
ように構成された検出モジュールをさらに含む、請求項27に記載のシステム。
【請求項31】
前記画像内の前記面取り部の前記最初の端点を決定するために、前記検出モジュールが、
前記画像内の前記ガラスの輪郭画素を決定し、
前記輪郭画素に基づいて前記面取り部の前記最初の端点を決定する、
ようにさらに構成される、請求項30に記載のシステム。
【請求項32】
前記画像内の前記ガラスの輪郭画素を決定するために、前記検出モジュールが、
グレースケール閾値よりも大きいグレースケールを有する前記画像内の第1の画素を決定し、
前記第1の画素に対してガウス列の畳み込みを実行することによって第2の画素を決定し、
前記第2の画素の隣接画素に基づいて前記第2の画素をフィルタリングすることによって第3の画素を決定し、
前記第3の画素の各々について、重心アルゴリズムに基づいて前記第3の画素に対応する副画素を決定し、
前記第3の画素に対応する副画素を前記ガラスの前記輪郭画素として指定する、
ようにさらに構成される、請求項31に記載のシステム。
【請求項33】
前記最初の端点を補正することによって前記面取り部の前記ターゲット端点を決定するために、前記検出モジュールが、
各最初の端点について、
前記ガラスの前記輪郭画素に基づいて適合領域を決定し、
前記適合領域内の輪郭画素を適合させることによって適合線を決定し、
前記適合線に基づいて少なくとも1つの較正領域を決定し、
前記少なくとも1つの較正領域にそれぞれ対応する少なくとも1つの基準線を決定し、
前記少なくとも1つの基準線に基づいて対応するターゲット端点を決定する、
ようにさらに構成される、請求項31に記載のシステム。
【請求項34】
前記少なくとも1つの較正領域にそれぞれ対応する少なくとも1つの基準線を決定するために、前記検出モジュールが、
前記少なくとも1つの較正領域の各々について、
前記較正領域を所定の方向に沿って分割することによって複数の候補線を決定し、
前記複数の候補線の各々について、前記候補線のグレースケール情報または勾配情報の少なくとも一方に基づいて前記候補線のスコアを決定し、
前記複数の候補線のスコアに基づいて対応する基準線を決定する、
ようにさらに構成される、請求項33に記載のシステム。
【請求項35】
前記少なくとも1つの基準線に基づいて前記対応するターゲット端点を決定するために、前記検出モジュールが、
前記少なくとも1つの基準線の各々について、前記適合線と前記基準線との交点を決定し、
前記少なくとも1つの基準線にそれぞれ対応する少なくとも1つの交点に基づいて、前記対応するターゲット端点を決定する、
ようにさらに構成される、請求項34に記載のシステム。
【請求項36】
前記レーザカメラによってキャプチャされた前記画像が、タイヤの3次元(3D)画像であり、検出モジュールは、
前記タイヤの基準画像を取得し、
前記画像と前記基準画像とを比較することによって、前記タイヤにバルジがあるかどうかを決定する、
ようにさらに構成される、請求項27に記載のシステム。
【請求項37】
前記検出モジュールが、
前記タイヤにバルジがないことに応答して、前記画像を正常画像として指定し、前記正常画像をストレージデバイスに記憶し、
前記ストレージデバイスに記憶された正常画像のカウントがカウント閾値を超えたことに応答して、前記記憶された正常画像に基づいて前記基準画像を更新する、
ようにさらに構成される、請求項36に記載のシステム。
【請求項38】
前記画像と前記基準画像とを比較することによってタイヤにバルジがあるかどうかを決定するために、前記検出モジュールが、
前記画像を複数の領域に分割し、前記複数の領域の各々は、各々が複数の画素を含む少なくとも1つの点群を含み、
前記複数の領域の各々について、
前記領域内の前記少なくとも1つの点群から点群をターゲット点群として選択し、
前記ターゲット点群の高さと前記基準画像の点群高さとの差が高さ閾値を超えるかどうかを決定し、
前記差が前記高さ閾値を超えたことに応答して、前記領域を、バルジが位置し得る異常領域として決定する、
ようにさらに構成される、請求項36に記載のシステム。
【請求項39】
前記検出モジュールが、
複数の直接隣接する異常領域の合計幅が幅閾値よりも大きいかどうかを決定し、
前記複数の直接隣接する異常領域の前記合計幅が前記幅閾値よりも大きいことに応答して、前記タイヤにバルジがあると決定する、
ようにさらに構成される、請求項38に記載のシステム。
【請求項40】
少なくとも1つのプロセッサによって実行されると、方法を実行するように前記少なくとも1つのプロセッサに指示する実行可能命令を含む非一時的コンピュータ可読媒体であって、前記方法は、
レーザカメラによってキャプチャされた画像を取得するステップと、
前記画像の輝度、および前記画像の前記輝度に対応する前記レーザカメラの露光パラメータを決定するステップと、
前記画像の前記輝度および基準輝度に基づいて前記レーザカメラの前記露光パラメータを調整することによって前記レーザカメラのターゲット露光パラメータを決定するステップと、
を含む、非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
[関連出願の相互参照]
本出願は、2022年6月2日に出願された中国特許出願第202210625277.8号、2022年8月8日に出願された中国特許出願第202210944595.0号、および2022年1月13日に出願された中国特許出願第202210034883.2号の優先権を主張し、これらの各々の内容は、その全体が参照により本明細書に組み込まれる。
【0002】
本開示は、画像処理の分野に関し、特に、レーザカメラに関連する画像処理のためのシステムおよび方法に関する。
【背景技術】
【0003】
製造の発展に伴い、ガラスの面取り部検出、タイヤバルジ検出などの様々なシナリオで物体検出または物体試験が重要である。しかしながら、物体の画像が周囲光の影響を大きく受ける電荷結合素子(CCD)カメラを使用することによって、または検出精度が低い検出器(例えば、金属プローブ)を使用することによって、比較的高い物体検出精度または物体試験精度を達成することは困難である。したがって、検出精度が向上した物体検出に関連する画像処理のためのシステムおよび方法を提供することが望ましい。
【発明の概要】
【課題を解決するための手段】
【0004】
本開示の一態様は、画像処理のためのシステムに関する。システムは、命令のセットを含む少なくとも1つのストレージデバイスと、少なくとも1つのストレージデバイスと通信する少なくとも1つのプロセッサとを含み得る。命令のセットを実行するとき、少なくとも1つのプロセッサは、システムに動作を実施させるように指示されてもよい。動作は、レーザカメラによってキャプチャされた画像を取得するステップと、画像の輝度および画像の輝度に対応するレーザカメラの露光パラメータを決定するステップと、画像の輝度および基準輝度に基づいてレーザカメラの露光パラメータを調整することによってレーザカメラのターゲット露光パラメータを決定するステップと、を含み得る。
【0005】
いくつかの実施形態では、画像の輝度を決定するステップは、輝度閾値よりも大きい輝度値を有する画像内の複数のターゲット画素を決定するステップと、複数のターゲット画素の輝度値に基づいて画像の輝度を決定するステップと、を含み得る。
【0006】
いくつかの実施形態では、画像の輝度および基準輝度に基づいてレーザカメラの露光パラメータを調整することによってレーザカメラのターゲット露光パラメータを決定するステップは、画像の輝度が基準輝度に関連する基準輝度範囲内にあるかどうかを決定するステップと、画像の輝度が基準輝度範囲内にあることに応答して、画像の輝度が基準輝度よりも大きいかどうかを決定するステップと、画像の輝度が基準輝度よりも大きいことに応答して、レーザカメラの露光パラメータを減少させることによってレーザカメラのターゲット露光パラメータを決定するステップと、画像の輝度が基準輝度未満であることに応答して、レーザカメラの露光パラメータを増加させることによってレーザカメラのターゲット露光パラメータを決定するステップと、を含み得る。
【0007】
いくつかの実施形態では、レーザカメラによってキャプチャされた画像は、面取り部を有するガラスの画像であり、動作は、画像内の面取り部の最初の端点を決定するステップと、最初の端点を補正することによって面取り部のターゲット端点を決定するステップと、面取り部のターゲット端点に基づいて、面取り部のサイズを決定するステップと、をさらに含み得る。
【0008】
いくつかの実施形態では、画像内の面取り部の最初の端点を決定するステップは、画像内のガラスの輪郭画素を決定するステップと、輪郭画素に基づいて面取り部の最初の端点を決定するステップと、を含み得る。
【0009】
いくつかの実施形態では、画像内のガラスの輪郭画素を決定するステップは、グレースケール閾値よりも大きいグレースケールを有する画像内の第1の画素を決定するステップと、第1の画素に対してガウス列の畳み込みを実行することによって第2の画素を決定するステップと、第2の画素の隣接画素に基づいて第2の画素をフィルタリングすることによって第3の画素を決定するステップと、第3の画素の各々について、重心アルゴリズムに基づいて第3の画素に対応する副画素を決定するステップと、第3の画素に対応する副画素をガラスの輪郭画素として指定するステップと、を含み得る。
【0010】
いくつかの実施形態では、最初の端点を補正することによって面取り部のターゲット端点を決定するステップは、各最初の端点について、ガラスの輪郭画素に基づいて適合領域を決定するステップと、適合領域内の輪郭画素を適合させることによって適合線を決定するステップと、適合線に基づいて少なくとも1つの較正領域を決定するステップと、少なくとも1つの較正領域にそれぞれ対応する少なくとも1つの基準線を決定するステップと、少なくとも1つの基準線に基づいて対応するターゲット端点を決定するステップと、を含み得る。
【0011】
いくつかの実施形態では、少なくとも1つの較正領域にそれぞれ対応する少なくとも1つの基準線を決定するステップは、少なくとも1つの較正領域の各々について、較正領域を所定の方向に沿って分割することによって複数の候補線を決定するステップと、複数の候補線の各々について、候補線のグレースケール情報または勾配情報の少なくとも一方に基づいて候補線のスコアを決定するステップと、複数の候補線のスコアに基づいて対応する基準線を決定するステップと、を含み得る。
【0012】
いくつかの実施形態では、少なくとも1つの基準線に基づいて対応するターゲット端点を決定するステップは、少なくとも1つの基準線の各々について、適合線と基準線との交点を決定するステップと、少なくとも1つの基準線にそれぞれ対応する少なくとも1つの交点に基づいて、対応するターゲット端点を決定するステップと、を含み得る。
【0013】
いくつかの実施形態では、レーザカメラによってキャプチャされた画像は、タイヤの3次元(3D)画像であり、動作は、タイヤの基準画像を取得するステップと、画像と基準画像とを比較することによってタイヤにバルジがあるかどうかを決定するステップと、をさらに含み得る。
【0014】
いくつかの実施形態では、動作は、タイヤにバルジがないことに応答して、画像を正常画像として指定し、正常画像をストレージデバイスに記憶するステップと、ストレージデバイスに記憶された正常画像のカウントがカウント閾値を超えたことに応答して、記憶された正常画像に基づいて基準画像を更新するステップと、をさらに含み得る。
【0015】
いくつかの実施形態では、画像と基準画像とを比較することによってタイヤにバルジがあるかどうかを決定するステップは、画像を複数の領域に分割するステップであって、複数の領域の各々は、各々が複数の画素を含む少なくとも1つの点群を含む、ステップと、複数の領域の各々について、領域内の少なくとも1つの点群から点群をターゲット点群として選択するステップと、ターゲット点群の高さと基準画像の点群高さとの差が高さ閾値を超えるかどうかを決定するステップと、差が高さ閾値を超えたことに応答して、領域を、バルジが位置し得る異常領域として決定するステップと、を含み得る。
【0016】
いくつかの実施形態では、動作は、複数の直接隣接する異常領域の合計幅が幅閾値よりも大きいかどうかを決定するステップと、複数の直接隣接する異常領域の合計幅が幅閾値よりも大きいことに応答して、タイヤにバルジがあると決定するステップと、をさらに含み得る。
【0017】
本開示のさらなる態様は、画像処理のための方法に関する。本方法は、少なくとも1つのプロセッサと、少なくとも1つの記憶媒体と、ネットワークに接続された通信プラットフォームとを含むコンピューティングデバイス上で実施され得る。方法は、レーザカメラによってキャプチャされた画像を取得するステップと、画像の輝度および画像の輝度に対応するレーザカメラの露光パラメータを決定するステップと、画像の輝度および基準輝度に基づいてレーザカメラの露光パラメータを調整することによってレーザカメラのターゲット露光パラメータを決定するステップと、を含み得る。
【0018】
本開示のさらに別の態様は、画像処理のためのシステムに関する。システムは、取得モジュールと、決定モジュールと、調整モジュールとを含み得る。取得モジュールは、レーザカメラによってキャプチャされた画像を取得するように構成され得る。決定モジュールは、画像の輝度および画像の輝度に対応するレーザカメラの露光パラメータを決定するように構成され得る。調整モジュールは、画像の輝度および基準輝度に基づいてレーザカメラの露光パラメータを調整することによってレーザカメラのターゲット露光パラメータを決定するように構成され得る。
【0019】
本開示のさらに別の態様は、少なくとも1つのプロセッサによって実行されると、方法を実行するように少なくとも1つのプロセッサに指示する実行可能命令を含む、非一時的コンピュータ可読媒体に関する。方法は、レーザカメラによってキャプチャされた画像を取得するステップと、画像の輝度および画像の輝度に対応するレーザカメラの露光パラメータを決定するステップと、画像の輝度および基準輝度に基づいてレーザカメラの露光パラメータを調整することによってレーザカメラのターゲット露光パラメータを決定するステップと、を含み得る。
【0020】
追加の特徴は、以下の説明に部分的に記載され、部分的には、以下および添付の図面を検討することで当業者に明らかになるか、または例の生成もしくは動作によって習得され得る。本開示の特徴は、以下で説明される詳細な例に記載される方法、手段、および組み合わせの様々な態様の実施または使用によって実現および達成され得る。
【0021】
本開示は、例示的な実施形態に関してさらに説明される。これらの例示的な実施形態は、図面を参照しながら詳細に説明される。これらの実施形態は、非限定的な例示的な実施形態であり、同様の参照番号は、図面のいくつかの図を通して同様の構造を表す。
【図面の簡単な説明】
【0022】
【
図1】本開示のいくつかの実施形態による例示的な画像処理システムを示す概略図である。
【
図2A】本開示のいくつかの実施形態による例示的な撮像デバイスを示す概略図である。
【
図2B】本開示のいくつかの実施形態による、面取り部を有する例示的なガラスを示す概略図である。
【
図3】本開示のいくつかの実施形態による例示的な撮像デバイスを示す概略図である。
【
図4】本開示のいくつかの実施形態による例示的なコンピューティングデバイスの例示的なハードウェアおよび/またはソフトウェア構成要素を示す概略図である。
【
図5】本開示のいくつかの実施形態による例示的な処理デバイスを示すブロック図である。
【
図6】本開示のいくつかの実施形態によるレーザカメラの露光パラメータを決定するための例示的なプロセスを示すフローチャートである。
【
図7】本開示のいくつかの実施形態によるレーザカメラの露光パラメータを調整するための例示的なプロセスを示すフローチャートである。
【
図8】本開示のいくつかの実施形態によるガラス面取り部検出のための例示的なプロセスを示すフローチャートである。
【
図9】本開示のいくつかの実施形態による、面取り部を有するガラスの複数の画像フレームの例示的な連続融合および例示的な不連続融合を示す概略図である。
【
図10A】本開示のいくつかの実施形態による、画像内のガラスの面取り部の例示的な最初の端点を示す概略図である。
【
図10B】本開示のいくつかの実施形態による、画像内のガラスの例示的な面取り部をそれぞれ示す概略図である。
【
図10C】本開示のいくつかの実施形態による例示的なターゲット端点を示す概略図である。
【
図11A】本開示のいくつかの実施形態による2つの面取り部の例示的なサイズを示す概略図である。
【
図11B】本開示のいくつかの実施形態による、面取り部検出が実行されるガラスの例示的な位置を示す概略図である。
【
図12】本開示のいくつかの実施形態による、画像内のガラスの輪郭画素を決定するための例示的なプロセスを示すフローチャートである。
【
図13】本開示のいくつかの実施形態による、画像内の面取り部のターゲット端点を決定するための例示的なプロセスを示すフローチャートである。
【
図14】本開示のいくつかの実施形態による、ターゲット端点を決定するために最初の端点を補正するための例示的なプロセスを示す概略図である。
【
図15】本開示のいくつかの実施形態による、タイヤバルジ検出のための例示的なプロセスを示すフローチャートである。
【
図16A】本開示のいくつかの実施形態による、タイヤの例示的な画像フレームを示す概略図である。
【
図16B】本開示のいくつかの実施形態による、タイヤの3D画像の例示的な座標系を示す概略図である。
【
図17】本開示のいくつかの実施形態による、例示的なバルジ画像を示す概略図である。
【
図18】本開示のいくつかの実施形態による、タイヤの画像と基準画像とを比較することによってタイヤにバルジがあるかどうかを決定するための例示的なプロセスを示すフローチャートである。
【
図19】本開示のいくつかの実施形態による、タイヤバルジ検出のための例示的なプロセスを示すフローチャートである。
【発明を実施するための形態】
【0023】
以下の詳細な説明では、関連する開示の完全な理解を提供するために、例として多数の具体的な詳細が記載される。しかしながら、本開示がそのような詳細なしで実施され得ることは、当業者には明らかであろう。他の例では、本開示の態様を不必要に不明瞭にすることを回避するために、周知の方法、手順、システム、構成要素、および/または回路が、詳細なしに比較的高レベルで説明されている。開示された実施形態に対する様々な修正は、当業者には容易に明らかであり、本明細書で定義される一般的な原理は、本開示の趣旨および範囲から逸脱することなく他の実施形態および用途に適用され得る。したがって、本開示は、示された実施形態に限定されず、特許請求の範囲と一致する最も広い範囲が与えられるべきである。
【0024】
本明細書で使用される「システム」、「エンジン」、「ユニット」、「モジュール」、および/または「ブロック」という用語は、異なるレベルの異なる構成要素、要素、部品、セクション、またはアセンブリを昇順で区別するための1つの方法であることが理解されよう。しかしながら、用語は、それらが同じ目的を達成し得る場合、他の表現によって置き換えられてもよい。
【0025】
ユニット、エンジン、モジュール、またはブロックが別のユニット、エンジン、モジュール、またはブロックの「の上にある(on)」、「に接続されている(connected to)」、または「に結合されている(coupled to)」と言及されている場合、それは他のユニット、エンジン、モジュール、またはブロックの直接上にあるか、接続されているか、結合されているか、または通信していてもよく、あるいは、文脈上明らかに別段の指示がない限り、介在するユニット、エンジン、モジュール、またはブロックが存在してもよいことが理解されよう。本明細書で使用される場合、「および/または」という用語は、関連する列挙された項目のうちの1つまたは複数のありとあらゆる組み合わせを含む。
【0026】
本明細書で使用される用語は、特定の例および実施形態を説明することのみを目的としており、限定することを意図するものではない。本明細書で使用される場合、単数形「1つの(a)」、「1つの(an)」、および「その(the)」は、文脈が明らかにそうでないことを示さない限り、複数形も含むことが意図され得る。「含む(include)」および/または「備える(comprise)」という用語は、本開示で使用される場合、整数、デバイス、挙動、記載された特徴、ステップ、要素、動作、および/または構成要素の存在を指定するが、1つまたは複数の他の整数、デバイス、挙動、特徴、ステップ、要素、動作、構成要素、および/またはそれらの群の存在または追加を排除しないことがさらに理解されよう。
【0027】
さらに、本開示の説明では、「第1の」、「第2の」などの用語は区別の目的でのみ使用され、相対的な重要性を示すまたは暗示すると解釈することはできず、順序を示すまたは暗示すると理解することもできないことを理解されたい。
【0028】
本開示で使用されるフローチャートは、本開示のいくつかの実施形態に従ってシステムが実施する動作を示す。フローチャートの動作は、順不同で実施されてもよいことを明確に理解されたい。逆に、動作は逆の順序で、または同時に実施されてもよい。さらに、1つまたは複数の他の動作がフローチャートに追加されてもよい。1つまたは複数の動作がフローチャートから削除されてもよい。
【0029】
一般に、カメラ(例えば、CCDカメラ)の露光パラメータは、カメラでキャプチャされた画像全体の平均輝度に基づいて決定される。しかしながら、レーザカメラの場合、レーザカメラによってキャプチャされた画像には1つまたは複数の線があり、画像の他の部分は黒である。したがって、レーザカメラによってキャプチャされた画像全体の平均輝度は、画像の実際の輝度情報を反映することができない。画像全体の平均輝度に基づいてレーザカメラの露光パラメータが決定される場合、レーザカメラによってキャプチャされる次の画像は暗すぎる。したがって、本開示の一態様は、レーザカメラの露光パラメータを決定するためのシステムおよび方法を提供する。いくつかの実施形態では、システムは、レーザカメラによってキャプチャされた画像を取得し、輝度閾値よりも大きい輝度値を有する画像内の複数のターゲット画素(例えば、線内の画素)の輝度値に基づいて画像の輝度を決定し得る。システムは、画像の輝度に対応するレーザカメラの露光パラメータを決定し得る。さらに、システムは、画像の輝度および基準輝度に基づいてレーザカメラの露光パラメータを調整することによって、レーザカメラのターゲット露光パラメータを決定し得る。
【0030】
本開示の実施形態によれば、画像の輝度は、画像から、輝度閾値よりも大きい輝度値を有する複数のターゲット画素(例えば、線内の画素)を抽出することによって決定され、複数のターゲット画素の輝度値は、レーザカメラによってキャプチャされた画像内の線の実際の輝度情報を反映することができる。したがって、画像の輝度に基づいて決定されたレーザカメラのターゲット露光パラメータは、暗すぎる露出を回避することができる。
【0031】
ガラス面取り部検出の場合、CCDカメラによってキャプチャされた画像は周囲光の影響を大きく受ける可能性があり、ガラスの透明材料は多くの迷光を導入し、その結果、画質が低下し、ガラス面取り部検出精度が低下する。したがって、本開示の一態様は、レーザカメラを使用することによるガラス面取り部検出のためのシステムおよび方法を提供する。いくつかの実施形態では、システムは、レーザカメラによってキャプチャされた面取り部を有するガラスの画像を取得し、画像内の面取り部の最初の端点を決定し得る。さらに、システムは、最初の端点を補正することによって面取り部のターゲット端点を決定し、面取り部のターゲット端点に基づいて面取り部のサイズを決定し得る。
【0032】
本開示の実施形態によれば、ガラス面取り部検出は、レーザカメラによってキャプチャされた面取り部を有するガラスの画像に基づいて実施され、ガラスの透明材料によって導入された周囲光および迷光の影響を回避し、それによってガラス面取り部の検出精度を向上させる。
【0033】
タイヤバルジ検出では、タイヤに接触している検出器(例えば、金属プローブ)を使用することによる検出方式の検出精度は比較的低く、検出リスクは比較的高い。したがって、本開示の一態様は、レーザカメラを使用することによるタイヤバルジ検出のためのシステムおよび方法を提供する。いくつかの実施形態では、システムは、レーザカメラによってキャプチャされたタイヤの3次元(3D)画像およびタイヤの基準画像を取得し得る。さらに、システムは、画像と基準画像とを比較することによってタイヤにバルジがあるかどうかを決定し得る。
【0034】
本開示の実施形態によれば、レーザカメラによってキャプチャされたタイヤの画像とタイヤの基準画像とを比較することによってタイヤバルジ検出が実施され、それによって検出精度が向上し、検出中のリスクを回避または低減する。
【0035】
図1は、本開示のいくつかの実施形態による例示的な画像処理システムを示す概略図である。
図1に示すように、画像処理システム100は、サーバ110、ネットワーク120、撮像デバイス130、ユーザデバイス140、およびストレージデバイス150を含み得る。
【0036】
サーバ110は、単一のサーバであってもよいし、サーバ群であってもよい。サーバ群は、集中型であっても分散型であってもよい(例えば、サーバ110は、分散システムであってもよい)。いくつかの実施形態では、サーバ110はローカルであってもよいし、リモートであってもよい。例えば、サーバ110は、ネットワーク120を介して撮像デバイス130、ユーザデバイス140、および/またはストレージデバイス150に記憶された情報および/またはデータにアクセスし得る。別の例として、サーバ110は、記憶された情報および/またはデータにアクセスするために、撮像デバイス130、ユーザデバイス140、および/またはストレージデバイス150に直接接続され得る。いくつかの実施形態では、サーバ110は、クラウドプラットフォーム上に実装され得る。単なる一例として、クラウドプラットフォームは、プライベートクラウド、パブリッククラウド、ハイブリッドクラウド、コミュニティクラウド、分散型クラウド、インタークラウド、マルチクラウドなど、またはそれらの任意の組み合わせを含み得る。いくつかの実施形態では、サーバ110は、本開示の
図4に示す1つまたは複数の構成要素を含むコンピューティングデバイス400上に実装され得る。
【0037】
いくつかの実施形態では、サーバ110は処理デバイス112を含み得る。処理デバイス112は、画像処理に関する情報および/またはデータを処理して、本開示に記載された1つまたは複数の機能を実行し得る。例えば、処理デバイス112は、撮像デバイス130によってキャプチャされた画像を取得し得る。処理デバイス112は、画像の輝度および画像の輝度に対応する撮像デバイス130の露光パラメータを決定し得る。さらに、処理デバイス112は、画像の輝度および基準輝度に基づいて撮像デバイス130の露光パラメータを調整することによって、撮像デバイス130のターゲット露光パラメータを決定し得る。別の例として、処理デバイス112は、撮像デバイス130によってキャプチャされた画像に基づいて、物体検出動作、例えば、ガラス面取り部検出、タイヤバルジ検出を実行するように構成され得る。具体的には、ガラス面取り部検出のために、処理デバイス112は、撮像デバイス130によってキャプチャされた面取り部を有するガラスの画像を取得し、画像内の面取り部の最初の端点を決定し得る。さらに、処理デバイス112は、最初の端点を補正することによって面取り部のターゲット端点を決定し、端点のターゲット端点に基づいて面取り部のサイズを決定し得る。タイヤバルジ検出のために、処理デバイス112は、撮像デバイス130によってキャプチャされたタイヤの3次元(3D)画像およびタイヤの基準画像を取得し得る。さらに、処理デバイス112は、3D画像と基準画像とを比較することによってタイヤにバルジがあるかどうかを決定し得る。
【0038】
いくつかの実施形態では、サーバ110は不要であってもよく、サーバ110の機能の全部または一部は、画像処理システム100の他の構成要素(例えば、撮像デバイス130、ユーザデバイス140)によって実装されてもよい。例えば、処理デバイス112は、撮像デバイス130またはユーザデバイス140に統合されてもよく、処理デバイス112の機能(例えば、撮像デバイス130の露光パラメータを調整すること、撮像デバイス130によってキャプチャされた画像に基づいて物体検出を実行すること)は、撮像デバイス130またはユーザデバイス140によって実装されてもよい。
【0039】
ネットワーク120は、画像処理システム100のための情報および/またはデータの交換を容易にし得る。いくつかの実施形態では、画像処理システム100の1つまたは複数の構成要素(例えば、サーバ110、撮像デバイス130、ユーザデバイス140、ストレージデバイス150)は、ネットワーク120を介して画像処理システム100の他の構成要素(複数可)に情報および/またはデータを送信し得る。例えば、サーバ110は、ネットワーク120を介して撮像デバイス130によりキャプチャされた画像を取得してもよい。別の例として、サーバ110は、ガラスの面取り部のサイズを、ネットワーク120を介してユーザデバイス140に送信してもよい。さらなる例として、サーバ110は、タイヤにバルジがあるかどうかの判定結果を、ネットワーク120を介してユーザデバイス140に送信してもよい。いくつかの実施形態では、ネットワーク120は、任意のタイプの有線もしくは無線ネットワーク、またはそれらの任意の組み合わせであってもよい。
【0040】
撮像デバイス130は、画像を取得するように構成され得る。撮像デバイス130によって取得される画像は、2次元(2D)画像、3次元(3D)画像、4次元(4D)画像などであってもよい。いくつかの実施形態では、撮像デバイス130は、レーザカメラ131を含んでもよい。いくつかの実施形態では、レーザカメラ131は、物体132またはその一部の画像をキャプチャするように構成され得る。物体132は、生物学的物体および/または非生物学的物体を含み得る。生物学的物体は、人、動物、植物など、またはそれらの任意の組み合わせを含み得る。非生物学的物体は、天然物(例えば、石)、人工物(例えば、工業部品)など、またはそれらの任意の組み合わせを含み得る。単なる一例として、物体132は、面取り部を有するガラス、タイヤなどを含み得る。いくつかの実施形態では、撮像デバイス130は、キャプチャされた画像を、ネットワーク120を介して画像処理システム100の1つまたは複数の構成要素(例えば、サーバ110、ユーザデバイス140、ストレージデバイス150)に送信し得る。撮像デバイス130に関するさらなる説明は、本開示の他の箇所、例えば
図2A、
図3、およびそれらの説明に見出され得る。
【0041】
ユーザデバイス140は、ネットワーク120を介してサーバ110、撮像デバイス130、および/またはストレージデバイス150から情報および/またはデータを受信するように構成され得る。例えば、ユーザデバイス140は、撮像デバイス130のターゲット露光パラメータ、ガラスの面取り部のサイズ、またはタイヤにバルジがあるかどうかの判定結果をサーバ110から受信し得る。いくつかの実施形態では、ユーザデバイス140は、それを介してユーザが情報を閲覧し、ならびに/またはデータおよび/もしくは命令を画像処理システム100に入力し得るユーザインターフェースを提供し得る。例えば、ユーザは、ユーザインターフェースを介して、撮像デバイス130の露光パラメータ、ガラスの面取り部のサイズ、またはタイヤにバルジがあるかどうかの判定結果を閲覧し得る。別の例として、ユーザは、ユーザインターフェースを介して画像処理に関連する命令を入力してもよい。いくつかの実施形態では、ユーザデバイス140は、携帯電話140-1、コンピュータ140-2、ウェアラブルデバイス140-3など、またはそれらの任意の組み合わせを含み得る。いくつかの実施形態では、ユーザデバイス140は、テキスト、画像、オーディオ、ビデオ、グラフ、アニメーションなど、またはそれらの任意の組み合わせなどの人間が読み取り可能な形式で情報を表示することができるディスプレイを含み得る。ユーザデバイス140のディスプレイは、陰極線管(CRT)ディスプレイ、液晶ディスプレイ(LCD)、発光ダイオード(LED)ディスプレイ、プラズマディスプレイパネル(PDP)、3次元(3D)ディスプレイなど、またはそれらの組み合わせを含み得る。いくつかの実施形態では、ユーザデバイス140は、ネットワーク120を介して画像処理システム100の1つまたは複数の構成要素(例えば、サーバ110、撮像デバイス130、ストレージデバイス150)に接続され得る。
【0042】
ストレージデバイス150は、データおよび/または命令を記憶するように構成され得る。データおよび/または命令は、例えば、サーバ110、撮像デバイス130、および/または画像処理システム100の任意の他の構成要素から取得され得る。いくつかの実施形態では、ストレージデバイス150は、サーバ110が本開示に記載された例示的な方法を実行するために実行または使用し得るデータおよび/または命令を記憶し得る。いくつかの実施形態では、ストレージデバイス150は、大容量記憶装置、取り外し可能記憶装置、揮発性読み出しおよび書き込みメモリ、読み出し専用メモリ(ROM)など、またはそれらの任意の組み合わせを含み得る。いくつかの実施形態では、ストレージデバイス150は、本開示の他の場所で説明されるクラウドプラットフォーム上に実装され得る。
【0043】
いくつかの実施形態では、ストレージデバイス150は、画像処理システム100の1つまたは複数の構成要素(例えば、サーバ110、撮像デバイス130、ユーザデバイス140)と通信するためにネットワーク120に接続され得る。画像処理システム100の1つまたは複数の構成要素は、ネットワーク120を介してストレージデバイス150に記憶されたデータまたは命令にアクセスし得る。いくつかの実施形態では、ストレージデバイス150は、画像処理システム100の1つまたは複数の構成要素(例えば、サーバ110、撮像デバイス130、ユーザデバイス140)に直接接続され得るか、または通信し得る。いくつかの実施形態では、ストレージデバイス150は、サーバ110、撮像デバイス130、またはユーザデバイス140などの画像処理システム100の他の構成要素の一部であってもよい。
【0044】
画像処理システム100の上記の説明は、例示の目的で提供されているに過ぎず、本開示の範囲を限定することを意図するものではないことに留意されたい。当業者であれば、本開示の教示の下で複数の変形および修正を行うことができる。例えば、画像処理システム100は、1つまたは複数の追加の構成要素を含んでもよく、および/または上述した画像処理システム100の1つまたは複数の構成要素は省略されてもよい。追加的または代替的に、画像処理システム100の2つ以上の構成要素は、単一の構成要素に統合されてもよい。画像処理システム100の構成要素は、2つ以上のサブ構成要素上に実装されてもよい。しかしながら、それらの変形および修正は、本開示の範囲から逸脱しない。
【0045】
図2Aは、本開示のいくつかの実施形態による例示的な撮像デバイスを示す概略図である。
図2Aに示すように、撮像デバイス200は、運動プラットフォーム210、レーザカメラ220、リミッタ240、およびガントリ250を含み得る。いくつかの実施形態では、撮像デバイス130は、撮像デバイス200上に実装されてもよく、または撮像デバイス200は、撮像デバイス130の特定の実施形態であってもよい。
【0046】
運動プラットフォーム210は、コンベヤベルトと、コンベヤベルトを駆動して移動させるように構成されたモータとを含み得る。物体230は、運動プラットフォーム210上に配置され、コンベヤベルトと共に移動し得る。いくつかの実施形態では、物体230は、面取り部を有するガラスを含み得る。
図2Bは、本開示のいくつかの実施形態による面取り部を有する例示的なガラスを示す概略図である。
図2Bに示すように、ガラス260は、2つの面取り部261を含む。
【0047】
レーザカメラ220は、物体230がレーザカメラ220の撮像範囲に入ると、物体230の画像をキャプチャするように構成され得る。
【0048】
リミッタ240は、運動プラットフォーム210上に配置されてもよい。リミッタ240は、ある載置状態(例えば、コンベヤベルトの運動方向に平行な物体230の長さ方向)でレーザカメラ220の撮像範囲に物体230が入るように、物体230の載置状態を調整するように構成され得る。
【0049】
ガントリ250は、レーザカメラ220および/または運動プラットフォーム210を支持するように構成され得る。
【0050】
いくつかの実施形態では、レーザカメラ220は、処理、表示、または記憶のために、物体230の画像を画像処理システム100の1つまたは複数の構成要素(例えば、サーバ110、ユーザデバイス140、ストレージデバイス150)に送信し得る。いくつかの実施形態では、サーバ110(例えば、処理デバイス112)は、ガラス230の面取り部のサイズを決定するために、ガラス230の画像に基づいてガラス面取り部検出を実行し得る。ガラス面取り部検出に関するさらなる説明は、本開示の他の箇所、例えば
図8およびその説明に見出され得る。
【0051】
いくつかの実施形態では、コンベヤベルトの移動に伴って、レーザカメラ220は、物体230の複数の画像フレームをキャプチャし得る。さらに、物体230の画像は、物体230の複数の画像フレームに基づいて生成され得る。
【0052】
レーザカメラ220が設置されると、レーザカメラ220が運動プラットフォーム210に対して完全に垂直であることが保証されないため、運動プラットフォーム210と標準平面との間に特定の角度が存在する可能性があり、ガラス面取り部検出のエラーを引き起こす可能性がある。したがって、いくつかの実施形態では、レーザカメラ220は、標準物体を使用して較正されてもよい。例えば、高さ1mmおよび高さ0.9mmの2つの標準物体が運動プラットフォーム210上に配置され、レーザカメラ220は2つの標準物体の画像をキャプチャする。さらに、2つの標準物体の測定されたサイズは、2つの標準物体のキャプチャされた画像に基づいて決定されてもよい。2つの標準物体の測定されたサイズおよび実際のサイズに応じて、レーザカメラ220の設置傾斜角が決定され、レーザカメラ220の外部パラメータとして使用することにより、ガラス面取り部検出の誤差を排除または低減し得る。
【0053】
図3は、本開示のいくつかの実施形態による例示的な撮像デバイスを示す概略図である。
図3に示すように、撮像デバイス300は、レーザカメラ310と、ドラム320と、ハブ330と、モータ340と、軸受350とを含み得る。いくつかの実施形態では、撮像デバイス130は、撮像デバイス300上に実装されてもよく、または撮像デバイス300は、撮像デバイス130の特定の実施形態であってもよい。
【0054】
物体360が、ハブ330に取り付けられてもよい。いくつかの実施形態では、物体360はタイヤを含んでもよい。ハブ330は、軸受350に取り付けられてもよい。ドラム320は、路面をシミュレートするように構成されてもよい。軸受350は、物体360の耐荷重状態をシミュレートするために、物体360をドラム320に付着させるために物体360に特定の圧力を加えてもよい。モータ340は、物体360を高速で回転させるように駆動し、それによって物体360の高速移動状態をシミュレートしてもよい。レーザカメラ310は、物体360の上方に配置され、物体360の3D画像をキャプチャするように構成されてもよい。
【0055】
いくつかの実施形態では、レーザカメラ310は、処理、表示、または記憶のために、物体360の3D画像を画像処理システム100の1つまたは複数の構成要素(例えば、サーバ110、ユーザデバイス140、ストレージデバイス150)に送信し得る。
【0056】
いくつかの実施形態では、撮像デバイス300は、タイヤの耐久性試験に使用され得る。耐久試験において、撮像デバイス300は、タイヤの耐荷重状態および高速移動状態をシミュレートし得る。耐久試験が一定期間継続した後、タイヤは、それ自体の欠陥および/またはタイヤに高速および高圧で回転する際に生じる高温のためにバルジを有する可能性がある。バルジを時間内に検出できない場合、バルジはますます大きくなり、それによってタイヤのパンク、さらには撮像デバイス300の損傷をもたらす可能性がある。したがって、いくつかの実施形態では、サーバ110(例えば、処理デバイス112)は、タイヤの3D画像に基づいてタイヤバルジ検出を実行して、タイヤにバルジがあるかどうかを決定し得る。タイヤバルジ検出に関するさらなる説明は、本開示の他の箇所、例えば
図15およびその説明に見出され得る。
【0057】
図4は、本開示のいくつかの実施形態による例示的なコンピューティングデバイスの例示的なハードウェアおよび/またはソフトウェア構成要素を示す概略図である。いくつかの実施形態では、サーバ110は、コンピューティングデバイス400上に実装されてもよい。例えば、処理デバイス112は、コンピューティングデバイス400上に実装され、本開示で開示された処理デバイス112の機能を実行するように構成されてもよい。
【0058】
コンピューティングデバイス400は、本明細書に記載の画像処理システム100の任意の構成要素を実装するために使用され得る。例えば、処理デバイス112は、そのハードウェア、ソフトウェアプログラム、ファームウェア、またはそれらの組み合わせを介して、コンピューティングデバイス400上に実装されてもよい。そのようなコンピュータは1つしか示されていないが、便宜上、本明細書に記載されているような物体検出に関連するコンピュータ機能は、処理負荷を分散するためにいくつかの同様のプラットフォーム上に分散して実装されてもよい。
【0059】
コンピューティングデバイス400は、例えば、データ通信を容易にするために、それに接続されたネットワークとの間で接続されたCOMポート450を含んでもよい。コンピューティングデバイス400はまた、プログラム命令を実行するための、1つまたは複数のプロセッサ(例えば、論理回路)の形態のプロセッサ(例えば、プロセッサ420)を含んでもよい。例えば、プロセッサ420は、その中にインターフェース回路および処理回路を含んでもよい。インターフェース回路は、バス410から電子信号を受信するように構成されてもよく、電子信号は、処理回路が処理するための構造化データおよび/または命令を符号化する。処理回路は、論理計算を行い、次いで、電子信号として符号化された結論、結果、および/または命令を決定してもよい。次いで、インターフェース回路は、バス410を介して処理回路から電子信号を送出してもよい。
【0060】
コンピューティングデバイス400は、コンピューティングデバイス400によって処理および/または送信される様々なデータファイルを記憶するための、例えばディスク470、読み出し専用メモリ(ROM)430、またはランダムアクセスメモリ(RAM)440を含む異なる形態のプログラム記憶装置およびデータ記憶装置をさらに含んでもよい。コンピューティングデバイス400はまた、ROM430、RAM440、および/またはプロセッサ420によって実行される別の種類の非一時的記憶媒体に記憶されたプログラム命令を含んでもよい。本開示の方法および/またはプロセスは、プログラム命令として実装されてもよい。コンピューティングデバイス400はまた、コンピューティングデバイス400と他の構成要素との間の入力/出力をサポートするI/O構成要素460を含んでもよい。コンピューティングデバイス400はまた、ネットワーク通信を介してプログラミングおよびデータを受信してもよい。
【0061】
単なる説明のために、
図4には1つのプロセッサのみが示されている。複数のプロセッサ420も考えられる。したがって、本開示に記載されたような、1つのプロセッサ420によって実行される動作および/または方法ステップは、複数のプロセッサによって一緒にまたは別々に実行されてもよい。例えば、本開示において、コンピューティングデバイス400のプロセッサ420がステップAおよびステップBの両方を実行する場合、ステップAおよびステップBはまた、コンピューティングデバイス400において 2つの異なるプロセッサ420によって一緒にまたは別々に実行されてもよい(例えば、第1のプロセッサがステップAを実行し、第2のプロセッサがステップBを実行するか、または第1のプロセッサおよび第2のプロセッサがステップAおよびBを一緒に実行する)ことを理解されたい。
【0062】
図5は、本開示のいくつかの実施形態による例示的な処理デバイスを示すブロック図である。
図5に示すように、処理デバイス112は、取得モジュール510と、決定モジュール520と、調整モジュール530と、検出モジュール540とを含み得る。
【0063】
取得モジュール510は、レーザカメラによってキャプチャされた画像を取得するように構成され得る。画像の取得に関するさらなる説明は、本開示の他の箇所、例えば動作610およびその説明に見出され得る。
【0064】
決定モジュール520は、画像の輝度および画像の輝度に対応するレーザカメラの露光パラメータを決定するように構成され得る。画像の輝度および画像の輝度に対応するレーザカメラの露光パラメータの決定に関するさらなる説明は、本開示の他の箇所、例えば動作620およびその説明に見出され得る。
【0065】
調整モジュール530は、画像の輝度および基準輝度に基づいてレーザカメラの露光パラメータを調整することによってレーザカメラのターゲット露光パラメータを決定するように構成され得る。レーザカメラのターゲット露光パラメータの決定に関するさらなる説明は、本開示の他の箇所、例えば動作630およびその説明に見出され得る。
【0066】
検出モジュール540は、ガラス面取り部検出および/またはタイヤバルジ検出を実行するように構成され得る。ガラス面取り部検出に関するさらなる説明は、本開示の他の箇所、例えば
図8から
図14およびその説明に見出され得る。タイヤバルジ検出に関するさらなる説明は、本開示の他の箇所、例えば
図15から
図19およびその説明に見出され得る。
【0067】
上記の説明は、例示の目的で提供されているに過ぎず、本開示の範囲を限定することを意図するものではないことに留意されたい。当業者であれば、本開示の教示の下で複数の変形および修正を行うことができる。しかしながら、それらの変形および修正は、本開示の範囲から逸脱しない。いくつかの実施形態では、処理デバイス112内のモジュールは、有線接続または無線接続を介して互いに接続され得るか、または通信し得る。いくつかの実施形態では、2つ以上のモジュールが単一のモジュールとして組み合わされてもよく、モジュールのいずれか1つは2つ以上のユニットに分割されてもよい。
【0068】
図6は、本開示のいくつかの実施形態によるレーザカメラの露光パラメータを決定するための例示的なプロセスを示すフローチャートである。いくつかの実施形態では、プロセス600は、画像処理システム100によって実行され得る。例えば、プロセス600は、ストレージデバイス(例えば、ストレージデバイス150、ROM430、RAM440)に記憶された命令セット(例えば、アプリケーション)として実施され得る。いくつかの実施形態では、処理デバイス112(例えば、コンピューティングデバイス400のプロセッサ420および/または
図5に示す1つもしくは複数のモジュール)は、命令のセットを実行し得、したがって、プロセス600を実行するように指示され得る。以下に提示される図示されたプロセスの動作は、例示を意図している。いくつかの実施形態では、プロセス600は、説明されていない1つまたは複数の追加の動作で、および/または説明された動作のうちの1つまたは複数なしで達成され得る。加えて、
図6に示され、以下に説明されるプロセス600の動作の順序は、限定することを意図するものではない。
【0069】
610において、処理デバイス112(例えば、
図5に示す取得モジュール510、
図4に示すプロセッサ420)は、レーザカメラによってキャプチャされた画像を取得し得る。
【0070】
いくつかの実施形態では、処理デバイス112は、画像をキャプチャするように撮像デバイス(例えば、
図1に示す撮像デバイス130、
図2Aに示す撮像デバイス200、
図3に示す撮像デバイス300)のレーザカメラに指示し得る。具体的には、レーザカメラは、レーザ発生器を含み得る。処理デバイス112は、物体またはその一部にレーザビームを照射し、物体またはその一部によって反射されたレーザビームをキャプチャすることによって物体またはその一部の画像を取得するようにレーザカメラのレーザ発生器に指示し得る。
図1に関連して説明したように、物体は、生物学的物体(例えば、ヒト、動物、植物)および/または非生物学的物体(例えば、面取り部を有するガラス、タイヤ)を含み得る。いくつかの実施形態では、画像は、以前に取得され、ストレージデバイス(例えば、ストレージデバイス150、ROM430、RAM440、外部ストレージデバイス)に記憶されてもよい。処理デバイス112は、ネットワーク(例えば、ネットワーク130)を介してストレージデバイスから画像を検索し得る。
【0071】
620において、処理デバイス112(例えば、
図5に示す決定モジュール520、
図4に示すプロセッサ420)は、画像の輝度および画像の輝度に対応するレーザカメラの露光パラメータを決定し得る。
【0072】
本開示の他の箇所で説明したように、レーザカメラによってキャプチャされた画像には1つまたは複数の線があり、画像の他の部分は黒であるため、画像全体のグローバル輝度(例えば、平均輝度)は、画像内の線の輝度値を反映することができない。したがって、いくつかの実施形態では、処理デバイス112は、輝度閾値よりも大きい輝度値を有する画像内の複数のターゲット画素を決定し得る。輝度閾値は、画像の黒い部分の画素の輝度値より大きく、線の画素の輝度値より小さくてもよい。さらに、処理デバイス112は、複数のターゲット画素の輝度値(画像内の線の輝度値を反映することができる)に基づいて画像の輝度を決定し得る。
【0073】
いくつかの実施形態では、処理デバイス112は、複数のターゲット画素の輝度値の平均値を画像の輝度として決定し得る。例えば、処理デバイス112は、以下の式(1)に従って複数のターゲット画素の輝度値の平均値を決定し得、
【0074】
【0075】
ここで、Lは複数のターゲット画素の輝度値の平均値を指し、iは画像内の画素の輝度値を指し、kは輝度閾値を指し、maxは画像内の画素の輝度値の最大輝度値を指し、count(i)は複数のターゲット画素のカウントを指す。式(1)によれば、画像内の画素の輝度値iが輝度閾値kおよび最大輝度maxの範囲内にある場合、その画素はターゲット画素として決定され、count(i)でカウントされ得る。
【0076】
いくつかの実施形態では、処理デバイス112は、複数のターゲット画素の輝度値の加重平均値を画像の輝度として決定し得る。複数のターゲット画素の輝度値を重み付けする方法は、完全な重み付け、部分的な重み付け、統計的な重み付けなどを含んでもよいが、これらに限定されない。実施形態で開示された複数のターゲット画素の輝度値を重み付けする方法は、単なる例示であり、本開示の範囲を限定することを意図するものではないことを理解されたい。
【0077】
レーザカメラの露光パラメータは、画像の輝度を示し得る。例えば、レーザカメラの露光パラメータが大きいほど、レーザカメラによってキャプチャされた画像は明るくなる。したがって、画像の輝度に従って、処理デバイス112は、レーザカメラの露光パラメータを決定し得る。
【0078】
630において、処理デバイス112(例えば、
図5に示す調整モジュール530、
図4に示すプロセッサ420)は、画像の輝度および基準輝度に基づいてレーザカメラの露光パラメータを調整することによって、レーザカメラのターゲット露光パラメータを決定し得る。
【0079】
いくつかの実施形態では、基準輝度は、必要な視覚効果を有する画像の輝度を指してもよい。例えば、基準輝度は、適度に照らされた環境でキャプチャされた画像の輝度であってもよい。いくつかの実施形態では、基準輝度は、実際の撮像要件に従ってユーザによって決定されてもよい。いくつかの実施形態では、基準輝度は、レーザカメラの性能、例えばレーザカメラのシャッタ速度に基づいて決定されてもよい。いくつかの実施形態では、基準輝度は、以前に決定され、ストレージデバイス(例えば、ストレージデバイス150、ROM430、RAM440、外部ストレージデバイス)に記憶されてもよい。処理デバイス112は、ネットワーク(例えば、ネットワーク130)を介してストレージデバイスから基準輝度を検索してもよい。
【0080】
いくつかの実施形態では、処理デバイス112は、画像の輝度が基準輝度に関連する基準輝度範囲内にあるかどうかを決定してもよい。いくつかの実施形態では、基準輝度範囲は、基準輝度をわずかに調整することによって決定されてもよい。言い換えれば、画像の輝度は基準輝度範囲内にあり、これは、画像の輝度が基準輝度とあまり変わらないことを示す。いくつかの実施形態では、基準輝度範囲の最大値および最小値は、それぞれ基準輝度に比例してもよい。例えば、基準輝度範囲の最大値は、基準輝度に第1のプリセット値を乗算することによって決定されてもよく、基準輝度範囲の最小値は、基準輝度に第2のプリセット値を乗算することによって決定されてもよい。第1のプリセット値および/または第2のプリセット値は、画像処理システム100の実際の撮像要件またはデフォルト値に従って決定されてもよい。単なる一例として、第1のプリセット値は1.2であってもよく、第2のプリセット値は0.8であってもよい。したがって、基準輝度範囲は、[(0.8*Lr),(1.2*Lr)]であってもよく、Lrは基準輝度である。
【0081】
画像の輝度が基準輝度範囲内にある(画像の輝度が基準輝度とあまり変わらないことを示す)ことに応答して、処理デバイス112は、レーザカメラの最小露光パラメータに基づいてレーザカメラの露光パラメータをわずかに調整することによってレーザカメラのターゲット露光パラメータを決定し得る。
【0082】
具体的には、処理デバイス112は、画像の輝度が基準輝度よりも大きいかどうかを決定してもよい。画像の輝度が基準輝度よりも大きいことに応答して、処理デバイス112は、レーザカメラの露光パラメータを減少させることによってレーザカメラのターゲット露光パラメータを決定し得る。例えば、処理デバイス112は、以下の式(2)に従ってレーザカメラの露光パラメータを減少させることによってレーザカメラのターゲット露光パラメータを決定し得、
ET=|E1-Emin*ln E1| (2)
ここで、ETはレーザカメラのターゲット露光パラメータを指し、E1は画像の輝度に対応するレーザカメラの露光パラメータを指し、Eminはレーザカメラの最小露光パラメータを指す。
【0083】
画像の輝度が基準輝度よりも小さいことに応答して、処理デバイス112は、レーザカメラの露光パラメータを増加させることによってレーザカメラのターゲット露光パラメータを決定し得る。例えば、処理デバイス112は、以下の式(3)に従ってレーザカメラの露光パラメータを増加させることによってレーザカメラのターゲット露光パラメータを決定し得る。
ET=E1+Emin*ln E1 (3)
【0084】
画像の輝度が基準輝度に等しいことに応答して、処理デバイス112は、基準輝度に対応するレーザカメラの露光パラメータをレーザカメラのターゲット露光パラメータとして指定してもよい。
【0085】
本開示の実施形態では、画像の輝度が基準輝度と大きく異ならない場合、処理デバイス112は、レーザカメラの露光パラメータをわずかに調整することによってレーザカメラのターゲット露光パラメータを決定し、その結果、ターゲット露光パラメータの下でレーザカメラによってキャプチャされた画像の輝度を基準輝度に近づけることができ、それによって画質を向上させる。
【0086】
画像の輝度が基準輝度範囲内にない(画像の輝度が基準輝度と大きく異なることを示す)ことに応答して、処理デバイス112は、画像の輝度および基準輝度に基づいてレーザカメラの露光パラメータを調整することによってレーザカメラのターゲット露光パラメータを決定し得る。
【0087】
具体的には、処理デバイス112は、画像の輝度が基準輝度範囲よりも大きいかどうかを決定してもよい。画像の輝度が基準輝度範囲よりも大きいことに応答して、処理デバイス112は、以下の式(4)に従ってレーザカメラのターゲット露光パラメータを決定し得、
【0088】
【0089】
ここで、L1は画像の輝度を指し、Lrは基準輝度を指す。
【0090】
画像の輝度が基準輝度範囲未満であることに応答して、処理デバイス112は、以下の式(5)に従ってレーザカメラのターゲット露光パラメータを決定し得る。
ET=E1*ln(Lr-L1) (5)
【0091】
本開示の実施形態では、画像の輝度が基準輝度と大きく異なる場合、処理デバイス112は、画像の輝度および基準輝度に基づいてレーザカメラの露光パラメータを調整することによってレーザカメラのターゲット露光パラメータを決定し、その結果、レーザカメラのターゲット露光パラメータを、基準輝度に対応するレーザカメラの露光パラメータに近づけることができる。
【0092】
いくつかの実施形態では、処理デバイス112は、画像の輝度に対応するレーザカメラの露光パラメータがレーザカメラの最小露光パラメータ未満であるかどうかを決定し得る。画像の輝度に対応するレーザカメラの露光パラメータがレーザカメラの最小露光パラメータ未満であることに応答して、処理デバイス112は、レーザカメラの最小露光パラメータをレーザカメラのターゲット露光パラメータとして指定し得る。
【0093】
プロセス600の上記の説明は、例示の目的で提供されているに過ぎず、本開示の範囲を限定することを意図するものではないことに留意されたい。当業者であれば、本開示の教示の下で複数の変形または修正を行うことができる。しかしながら、それらの変形および修正は、本開示の範囲から逸脱しない。
【0094】
図7は、本開示のいくつかの実施形態によるレーザカメラの露光パラメータを調整するための例示的なプロセスを示すフローチャートである。いくつかの実施形態では、プロセス700は、画像処理システム100によって実行され得る。例えば、プロセス700は、ストレージデバイス(例えば、ストレージデバイス150、ROM430、RAM440)に記憶された命令セット(例えば、アプリケーション)として実施され得る。いくつかの実施形態では、処理デバイス112(例えば、コンピューティングデバイス400のプロセッサ420および/または
図5に示す1つもしくは複数のモジュール)は、命令のセットを実行し得、したがって、プロセス700を実行するように指示され得る。以下に提示される図示されたプロセスの動作は、例示を意図している。いくつかの実施形態では、プロセス700は、説明されていない1つまたは複数の追加の動作で、および/または説明された動作のうちの1つまたは複数なしで達成され得る。加えて、
図7に示され、以下に説明されるプロセス700の動作の順序は、限定することを意図するものではない。
【0095】
710において、処理デバイス112(例えば、
図5に示す取得モジュール510、
図4に示すプロセッサ420)は、レーザカメラによってキャプチャされた画像を取得し得る。画像の取得は、動作610に関連して説明したのと同様の方法で実行されてもよく、その説明はここでは繰り返されない。
【0096】
720において、処理デバイス112(例えば、
図5に示す決定モジュール520、
図4に示すプロセッサ420)は、画像の輝度L
1および画像の輝度に対応するレーザカメラの露光パラメータE
1を決定し得る。輝度L
1および露光パラメータE
1の決定は、動作620に関連して説明したのと同様の方法で実行されてもよく、その説明はここでは繰り返されない。
【0097】
730において、処理デバイス112(例えば、
図5に示す調整モジュール530、
図4に示すプロセッサ420)は、輝度L
1が基準輝度L
rと関連付けられた基準輝度範囲[L
rmin,L
rmax]内にあるかどうかを決定し得る。動作630に関連して説明したように、基準輝度範囲の最大値L
rmaxは、基準輝度L
rに第1のプリセット値(例えば、1.2)を乗算することによって決定されてもよく、基準輝度範囲の最小値L
rminは、基準輝度L
rに第2のプリセット値(例えば、0.8)を乗算することによって決定されてもよい。
【0098】
740において、輝度L
1が基準輝度範囲[L
rmin,L
rmax]内にあることに応答して、処理デバイス112(例えば、
図5に示す調整モジュール530、
図4に示すプロセッサ420)は、輝度L
1が基準輝度L
rよりも大きいかどうかを決定し得る。
【0099】
750において、輝度L
1が基準輝度L
rよりも大きいことに応答して、処理デバイス112(例えば、
図5に示す調整モジュール530、
図4に示すプロセッサ420)は、動作630に関連して説明したように、式(2)に従ってレーザカメラのターゲット露光パラメータE
Tを決定し得る。
【0100】
760において、輝度L
1が基準輝度L
rよりも小さいことに応答して、処理デバイス112(例えば、
図5に示す調整モジュール530、
図4に示すプロセッサ420)は、動作630に関連して説明したように、式(3)に従ってレーザカメラのターゲット露光パラメータE
Tを決定し得る。
【0101】
770において、輝度L
1が基準輝度範囲[L
rmin,L
rmax]内にないことに応答して、処理デバイス112(例えば、
図5に示す調整モジュール530、
図4に示すプロセッサ420)は、輝度L
1が基準輝度範囲[L
rmin,L
rmax]よりも大きいかどうかを決定し得る。
【0102】
780において、輝度L
1が基準輝度範囲[L
rmin,L
rmax]よりも大きいことに応答して、処理デバイス112(例えば、
図5に示す調整モジュール530、
図4に示すプロセッサ420)は、動作630に関連して説明したように、式(4)に従ってレーザカメラのターゲット露光パラメータE
Tを決定し得る。
【0103】
790において、輝度L
1が基準輝度範囲[L
rmin,L
rmax]よりも小さいことに応答して、処理デバイス112(例えば、
図5に示す調整モジュール530、
図4に示すプロセッサ420)は、動作630に関連して説明したように、式(5)に従ってレーザカメラのターゲット露光パラメータE
Tを決定し得る。
【0104】
いくつかの実施形態では、レーザカメラのターゲット露光パラメータETを決定した後、処理デバイス112は、ターゲット露光パラメータETに基づいて次の画像をキャプチャするようにレーザカメラに指示してもよい。
【0105】
プロセス700の上記の説明は、例示の目的で提供されているに過ぎず、本開示の範囲を限定することを意図するものではないことに留意されたい。当業者であれば、本開示の教示の下で複数の変形または修正を行うことができる。しかしながら、それらの変形および修正は、本開示の範囲から逸脱しない。
【0106】
図8は、本開示のいくつかの実施形態によるガラス面取り部検出のための例示的なプロセスを示すフローチャートである。いくつかの実施形態では、プロセス800は、画像処理システム100によって実行され得る。例えば、プロセス800は、ストレージデバイス(例えば、ストレージデバイス150、ROM430、RAM440)に記憶された命令セット(例えば、アプリケーション)として実施され得る。いくつかの実施形態では、処理デバイス112(例えば、コンピューティングデバイス400のプロセッサ420および/または
図5に示す1つもしくは複数のモジュール)は、命令のセットを実行し得、したがって、プロセス800を実行するように指示され得る。以下に提示される図示されたプロセスの動作は、例示を意図している。いくつかの実施形態では、プロセス800は、説明されていない1つまたは複数の追加の動作で、および/または説明された動作のうちの1つまたは複数なしで達成され得る。加えて、
図8に示され、以下に説明されるプロセス800の動作の順序は、限定することを意図するものではない。
【0107】
810において、処理デバイス112(例えば、
図5に示す取得モジュール510、
図4に示すプロセッサ420)は、面取り部またはその一部を有するガラスの画像を取得し得る。
【0108】
いくつかの実施形態では、処理デバイス112は、レーザカメラによってキャプチャされた面取り部またはその一部を有するガラスの複数の画像フレームに基づいて画像を決定し得る。例えば、処理デバイス112は、複数の画像フレームのいずれかを画像として指定してもよい。別の例として、処理デバイス112は、複数の画像フレームを融合することによって画像を決定してもよい。具体的には、処理デバイス112は、複数の画像フレーム内の同じ位置の画素のグレー値を平均化することによって、複数の画像フレームを融合し得る。いくつかの実施形態では、複数の画像フレームの融合は、連続融合、不連続融合など、またはそれらの任意の組み合わせを含み得る。連続融合および不連続融合に関するさらなる説明は、本開示の他の箇所、例えば
図9およびその説明に見出され得る。
【0109】
図2Aに関連して説明したように、複数の画像フレームは、ガラスが配置された運動プラットフォーム(例えば、運動プラットフォーム210)と共にガラスが移動するときにキャプチャされ得る。複数の画像フレームの融合は、撮像における運動プラットフォームのジッタによって引き起こされる誤差を低減し、それによって画像の安定性および精度を改善し得る。
【0110】
820において、処理デバイス112(例えば、
図5に示す検出モジュール540、
図4に示すプロセッサ420)は、画像内の面取り部の最初の端点を決定し得る。
【0111】
いくつかの実施形態では、処理デバイス112は、画像内のガラスの輪郭画素を決定してもよい。ガラスは透明であるため、レーザカメラによってキャプチャされた面取り部を有するガラスの画像では、ガラスの輪郭を表す複数の線のみが存在する。ガラスの輪郭画素は、ガラスの輪郭を表す複数の線上の画素を指す。具体的には、処理デバイス112は、グレースケール閾値よりも大きいグレースケールを有する画像内の第1の画素を決定し、第1の画素に対してガウス列の畳み込みを実行することによって第2の画素を決定してもよい。処理デバイス112は、第2の画素の隣接画素に基づいて第2の画素をフィルタリングすることによって第3の画素を決定してもよい。第3の画素の各々について、処理デバイス112は、重心アルゴリズムに基づいて第3の画素に対応する副画素を決定してもよい。さらに、処理デバイス112は、第3の画素に対応する副画素をガラスの輪郭画素として指定してもよい。ガラスの輪郭画素の決定に関するさらなる説明は、本開示の他の箇所、例えば
図12およびその説明に見出され得る。
【0112】
さらに、処理デバイス112は、輪郭画素に基づいて面取り部の最初の端点を決定し得る。いくつかの実施形態では、処理デバイス112は、輪郭画素から、輪郭画素の座標情報に基づいて面取り部の最初の端点を決定し得る。具体的には、処理デバイス112は、輪郭画素の座標情報に従って、輪郭画素のうち、直接隣接する2つの画素の少なくとも一方を面取り部の最初の候補端点とする座標差(例えば、デフォルト値であってもよく、ユーザによって設定されてもよいプリセット閾値よりも大きい差)が相対的に大きい画素を選択してもよい。例えば、
図10Aは、本開示のいくつかの実施形態による、画像内のガラスの面取り部の例示的な最初の端点を示す概略図である。
図10に示すように、ガラスの画像1000において、白線は、ガラスの輪郭画素を示してもよく、画素1001~1008は、面取り部1020および1030の最初の候補端点であってもよい。さらに、面取り部の最初の候補端点の座標情報に従って、処理デバイス112は、面取り部の最初の候補端点から、ターゲット座標値(例えば、デフォルト値であってもよく、またはユーザによって設定されてもよいプリセット閾値よりも大きいy座標値)が比較的大きい画素を面取り部の最初の端点として選択してもよい。例えば、
図10に示すように、ガラスの画像1000において、画素1005および1006は、面取り部1020の最初の端点であってもよく、画素1007および1008は、面取り部1030の最初の端点であってもよい。
【0113】
レーザカメラは、レーザ線をレーザカメラのレンズに反射させることによって物体の画像をキャプチャする。ガラスの面取り部は透明で傾斜している。面取り部の透明性は、画像内の面取り部上に2層の輪郭画素があることを引き起こす可能性があり、面取り部の最初の端点を決定する困難さおよび誤差を増加させる。面取り部の傾斜により、面取り部の縁部のレーザ線がレーザカメラのレンズに効果的に反射されない可能性があり、その結果、面取り部の縁部に対応する画像内の輪郭画素のグレースケールが小さくなり(すなわち、比較的暗い縁部)、したがって、面取り部の縁部に対応する画像内の輪郭画素を正確に抽出することができず、面取り部の最初の端点を決定する誤差が大きくなる。
図10Bは、本開示のいくつかの実施形態による、画像内のガラスの例示的な面取り部をそれぞれ示す概略図である。
図10Bの画像1040に示すように、面取り部1041には、2層の輪郭画素が存在するため、面取り部1041の最初の端点1042の精度が低い。
図10Bの画像1050に示すように、面取り部1051の縁部は比較的暗いため、面取り部1051の最初の端点1052の精度は低い。面取り部(例えば、面取り部1041、面取り部1051)のサイズを正確に決定するために、面取り部の最初の端点は補正され得る。
【0114】
830において、処理デバイス112(例えば、
図5に示す検出モジュール540、
図4に示すプロセッサ420)は、最初の端点を補正することによって面取り部のターゲット端点を決定し得る。
【0115】
いくつかの実施形態では、各最初の端点について、処理デバイス112は、適合領域内の輪郭画素を適合させることによって、ガラスの輪郭画素および適合線に基づいて適合領域を決定し得る。処理デバイス112は、適合線と、少なくとも1つの較正領域にそれぞれ対応する少なくとも1つの基準線とに基づいて、少なくとも1つの較正領域を決定し得る。さらに、処理デバイス112は、少なくとも1つの基準線に基づいて対応するターゲット端点を決定し得る。最初の端点の補正は、面取り部の端点の決定の精度を向上させ、それによってガラス面取り部検出の精度を向上させ得る。面取り部のターゲット端点の決定に関するさらなる説明は、本開示の他の箇所、例えば
図13およびその説明に見出され得る。
【0116】
図10Cは、本開示のいくつかの実施形態による例示的なターゲット端点を示す概略図である。
図10Cに示すように、
図10Bに示す面取り部1051の最初の端点1412および面取り部1041の最初の端点1042をそれぞれ補正することにより、面取り部1041のターゲット端点1043および面取り部1421のターゲット端点1053が決定される。補正前の最初の端点1042および1052と比較して、ターゲット端点1043および1053はより正確である。
【0117】
840において、処理デバイス112(例えば、
図5に示す検出モジュール540、
図4に示すプロセッサ420)は、面取り部のターゲット端点に基づいて面取り部のサイズを決定し得る。
【0118】
面取り部のサイズは、面取り部の幅、高さ、傾斜角など、またはそれらの組み合わせを含んでもよい。例えば、
図11Aは、本開示のいくつかの実施形態による2つの面取り部の例示的なサイズを示す概略図である。
図11Aに示すように、ガラス1100の面取り部1110のサイズは、幅w1、高さh1、傾斜角度θ1を含んでもよく、ガラス1100の面取り部1120のサイズは、幅w2、高さh2、および傾斜角θ2を含んでもよい。
【0119】
いくつかの実施形態では、面取り部のターゲット端点の各々について、処理デバイス112は、ワールド座標系におけるターゲット端点の3次元座標を決定し得る。具体的には、処理デバイス112は、ターゲット端点の座標を、画像に対応する画像座標系からワールド座標系に変換することによって、ワールド座標系におけるターゲット端点の3次元座標を決定し得る。単なる一例として、変換は、画素歪み法または画素点三角測量法によって実行されてもよい。さらに、処理デバイス112は、ワールド座標系におけるターゲット端点の3次元座標に基づいて、面取り部のサイズを決定し得る。具体的には、特定の面取り部を例にとると、処理デバイス112は、特定の面取り部の2つのターゲット端点のx座標の差を面取り部の幅として決定し、特定の面取り部の2つのターゲット端点のz座標の差を面取り部の高さとして決定し、面取り部の高さを面取り部の幅で割ることによって、面取り部の傾斜角を決定するように構成され得る。
【0120】
いくつかの実施形態では、レーザカメラによってキャプチャされた面取り部を有するガラスの複数の画像フレームの各々について、処理デバイス112は、画像フレームに対応する面取り部の候補サイズを決定し、複数の画像フレームに対応する面取り部の候補サイズを平均化することによって面取り部のサイズを決定し得、これにより、面取り部のサイズの決定の精度を向上させることができる。
【0121】
いくつかの実施形態では、ガラス上の複数の位置で面取り部検出を実行して、面取り部の複数のサイズを決定してもよく、次いで、面取り部の複数のサイズの平均値を面取り部のサイズとして決定してもよい。
図11Bは、本開示のいくつかの実施形態による、面取り部検出が実行されるガラスの例示的な位置を示す概略図である。
図11Bに示すように、面取り部1110のサイズを決定するために、ガラス1100の位置A、B、C、およびDでそれぞれ面取り部検出を実行してもよく、同様に、面取り部1120のサイズを決定するために、ガラス1100の位置A、B、C、およびDでそれぞれ面取り部検出を実行してもよい。例えば、ガラス1100の位置Aにおける面取り部1110の高さ、幅、および傾斜角度は、それぞれ0.655mm、1.150mm、および29.678°であってもよく、ガラス1100の位置Bにおける面取り部1110の高さ、幅、および傾斜角は、それぞれ0.742mm、1.337mm、および29.020°であってもよく、ガラス1100の位置Cにおける面取り部1110の高さ、幅、および傾斜角は、それぞれ0.744mm、1.345mm、および28.945°であってもよく、ガラス1100の位置Dにおける面取り部1110の高さ、幅、および傾斜角は、それぞれ0.726mm、1.294mm、および29.311°であってもよく、ガラス1100の位置Aにおける面取り部1120の高さ、幅、および傾斜角は、それぞれ0.854mm、1.276mm、および33.796°であってもよく、ガラス1100の位置Bにおける面取り部1120の高さ、幅、および傾斜角は、それぞれ0.830mm、1.224mm、および34.131°であってもよく、ガラス1100の位置Cにおける面取り部1120の高さ、幅、および傾斜角は、それぞれ0.801mm、1.190mm、および33.957°であってもよく、ガラス1100の位置Dにおける面取り部1120の高さ、幅、および傾斜角は、それぞれ0.748mm、1.118mm、および33.785°であってもよい。
【0122】
プロセス800の上記の説明は、例示の目的で提供されているに過ぎず、本開示の範囲を限定することを意図するものではないことに留意されたい。当業者であれば、本開示の教示の下で複数の変形または修正を行うことができる。しかしながら、それらの変形および修正は、本開示の範囲から逸脱しない。
【0123】
図9は、本開示のいくつかの実施形態による、面取り部を有するガラスの複数の画像フレームの例示的な連続融合および例示的な不連続融合を示す概略図である。
図9に示すように、処理デバイス112は、レーザカメラによってキャプチャされた面取り部を有するガラスの画像フレーム1~9を取得し得る。
【0124】
連続融合では、処理デバイス112は、画像フレーム1~4を融合して第1の融合画像を決定し、画像フレーム2~5を融合して第2の融合画像を決定し、画像フレーム3~6を融合して第3の融合画像を決定し、画像フレーム4~7を融合して第4の融合画像を決定し、画像フレーム5~8を融合して第5の融合画像を決定し、画像フレーム6~9を融合して第6の融合画像を決定し得る。さらに、処理デバイス112は、第1の融合画像と、第2の融合画像と、第3の融合画像と、第4の融合画像と、第5の融合画像と、第6の融合画像とを融合して、面取り部を有するガラスの画像を決定し得る。いくつかの実施形態では、面取り部を有するガラスの撮像における運動プラットフォームのジッタによって引き起こされる誤差を低減することに加えて、連続的な融合は、レーザカメラのフレームレートに影響せず、より十分な撮像データを得る。
【0125】
不連続融合では、処理デバイス112は、画像フレーム1~3を融合して第1の融合画像を決定し、画像フレーム4~6を融合して第2の融合画像を決定し、画像フレーム7~9を融合して第3の融合画像を決定し得る。さらに、処理デバイス112は、第1の融合画像、第2の融合画像、および第3の融合画像を融合して、面取り部を有するガラスの画像を決定し得る。
【0126】
図12は、本開示のいくつかの実施形態による、画像内のガラスの輪郭画素を決定するための例示的なプロセスを示すフローチャートである。いくつかの実施形態では、プロセス1200は、画像処理システム100によって実行され得る。例えば、プロセス1200は、ストレージデバイス(例えば、ストレージデバイス150、ROM430、RAM440)に記憶された命令セット(例えば、アプリケーション)として実施され得る。いくつかの実施形態では、処理デバイス112(例えば、コンピューティングデバイス400のプロセッサ420および/または
図5に示す1つもしくは複数のモジュール)は、命令のセットを実行し得、したがって、プロセス1200を実行するように指示され得る。以下に提示される図示されたプロセスの動作は、例示を意図している。いくつかの実施形態では、プロセス1200は、説明されていない1つまたは複数の追加の動作で、および/または説明された動作のうちの1つまたは複数なしで達成され得る。加えて、
図12に示され、以下に説明されるプロセス1200の動作の順序は、限定することを意図するものではない。
【0127】
1210において、処理デバイス112(例えば、
図5に示す検出モジュール540、
図4に示すプロセッサ420)は、グレースケール閾値(第1のグレースケール閾値とも呼ばれる)よりも大きいグレースケールを有する画像内の第1の画素を決定し得る。
【0128】
第1のグレースケール閾値は、画像処理システム100のデフォルト設定であってもよいし、異なる状況下で調整可能であってもよい。いくつかの実施形態では、第1のグレースケール閾値は、経験値(例えば、10、15、20、25、30など)であってもよい。
【0129】
1220において、処理デバイス112(例えば、
図5に示す検出モジュール540、
図4に示すプロセッサ420)は、第1の画素に対してガウス列の畳み込みを実行することによって第2の画素を決定し得る。
【0130】
ガウス列の畳み込みは、画像内のすべての画素ではなく、グレースケール閾値よりも大きいグレースケールを有する画像内の第1の画素に対して実行され、これによりガウス列の畳み込みの時間を短縮することができる。単なる一例として、ガウス列の畳み込みの畳み込みカーネル半径は5であってもよい。そのような場合、第1の画素の各々について、処理デバイス112は、第1の画素が位置する列内の上下5画素をそれぞれ選択し、ガウス列の畳み込みの畳み込みカーネルを使用して、選択された10画素のグレースケール値を畳み込み、選択された10画素からの最大の畳み込まれたグレースケール値を有する画素を第2の画素として決定してもよい。
【0131】
1230において、処理デバイス112(例えば、
図5に示す検出モジュール540、
図4に示すプロセッサ420)は、第2の画素の隣接画素に基づいて第2の画素をフィルタリングすることによって第3の画素を決定し得る。
【0132】
一般に、ガラスは、多くの迷光を導入し得る透明材料で作られる。迷光は、画像内にストレイ画素(分離画素とも呼ばれる)を生成してもよく、ストレイ画素の一部は第2の画素に含まれてもよい。いくつかの実施形態では、処理デバイス112は、第2の画素に含まれるストレイ画素を間引くために、第2の画素の隣接画素に基づいて第2の画素をフィルタリングしてもよい。具体的には、第2の画素の各々について、処理デバイス112は、第2の画素から一定の距離(例えば、0.003mm、0.005mm、0.007mm)内で、グレースケール閾値(第2のグレースケール閾値とも呼ばれる)より大きいグレースケールを有する隣接画素を決定してもよい。第2のグレースケール閾値は、画像処理システム100のデフォルト設定であってもよいし、異なる状況下で調整可能であってもよい。いくつかの実施形態では、第2のグレースケール閾値は、第1のグレースケール閾値と同じであっても異なっていてもよい。さらに、処理デバイス112は、第2の画素の隣接画素のカウントが閾値を超えているかどうかを決定してもよい。第2の画素の隣接画素のカウントが閾値を超える場合、処理デバイス112は、第2の画素を第3の画素として指定してもよい。第2の画素の隣接画素のカウントが閾値を超えない場合、処理デバイス112は、第2の画素をストレイ画素として決定し、第2の画素からストレイ画素を間引いてもよい。
【0133】
1240において、第3の画素の各々について、処理デバイス112(例えば、
図5に示す検出モジュール540、
図4に示すプロセッサ420)は、重心アルゴリズムに基づいて第3の画素に対応する副画素を決定し得る。
【0134】
重心アルゴリズムは、画素の輝度を向上させるように構成されてもよく、その結果、画素はより顕著で検出がより容易になり得る。いくつかの実施形態では、第3の画素の各々について、処理デバイス112は、重心アルゴリズムを使用して、第3の画素のグレースケールおよび画像に対応する画像座標系における第3の画素の座標に基づいて、第3の画素に対応する副画素を決定し得る。具体的には、処理デバイス112は、重心アルゴリズムに基づいて、第3の画素のグレースケールおよび第3の画素の座標をモデルに入力し、モデルの出力に基づいて第3の画素に対応する副画素を決定し得る。
【0135】
1250において、第3の画素の各々について、処理デバイス112(例えば、
図5に示す検出モジュール540、
図4に示すプロセッサ420)は、第3の画素に対応する副画素をガラスの輪郭画素として指定し得る。
【0136】
プロセス1200の上記の説明は、例示の目的で提供されているに過ぎず、本開示の範囲を限定することを意図するものではないことに留意されたい。当業者であれば、本開示の教示の下で複数の変形または修正を行うことができる。しかしながら、それらの変形および修正は、本開示の範囲から逸脱しない。
【0137】
図13は、本開示のいくつかの実施形態による、画像内の面取り部のターゲット端点を決定するための例示的なプロセスを示すフローチャートである。いくつかの実施形態では、プロセス1300は、画像処理システム100によって実行され得る。例えば、プロセス1300は、ストレージデバイス(例えば、ストレージデバイス150、ROM430、RAM440)に記憶された命令セット(例えば、アプリケーション)として実施され得る。いくつかの実施形態では、処理デバイス112(例えば、コンピューティングデバイス400のプロセッサ420および/または
図5に示す1つもしくは複数のモジュール)は、命令のセットを実行し得、したがって、プロセス1300を実行するように指示され得る。以下に提示される図示されたプロセスの動作は、例示を意図している。いくつかの実施形態では、プロセス1300は、説明されていない1つまたは複数の追加の動作で、および/または説明された動作のうちの1つまたは複数なしで達成され得る。加えて、
図13に示され、以下に説明されるプロセス1300の動作の順序は、限定することを意図するものではない。
【0138】
1310において、最初の端点の各々について、処理デバイス112(例えば、
図5に示す検出モジュール540、
図4に示すプロセッサ420)は、ガラスの輪郭画素に基づいて適合領域を決定し得る。
【0139】
いくつかの実施形態では、最初の端点は、2つ以上の面取り部に対応し得る。例えば、
図10Aに示すように、最初の端点1005および1006は、面取り部1020に対応し、最初の端点1007および1008は、面取り部1030に対応する。この状況では、処理デバイス112は、同じ面取り部に対応する端点を最初に識別してもよい。いくつかの実施形態では、最初の端点のうちの任意の2つについて、処理デバイス112は、2つの最初の端点間の線(例えば、2つの最初の端点を結ぶ線)上の輪郭画素のカウントが閾値(例えば、100、300、500)を超えるかどうかを決定し得る。2つの最初の端点間の線上の輪郭画素のカウントが閾値を超える場合、処理デバイス112は、2つの最初の端点がガラスの同じ輪郭に対応すると決定し、2つの最初の端点を最初の端点対として指定し得る。例えば、
図10Aに示すように、最初の端点1005、1006、および1007については、最初の端点1005と1006との間の線上の輪郭画素のカウントが閾値よりも大きく、最初の端点1005と1007との間の線上の輪郭画素のカウントが閾値よりも明らかに小さく、したがって、処理デバイス112は、最初の端点1005および1006が面取り部1020に対応すると決定し得る。
【0140】
さらに、いくつかの実施形態では、処理デバイス112は、特定の比率(例えば、1:1:1、1:2:1、1:3:1)で、最初の端点対の間のガラスの輪郭画素を3つの部分に分割し、3つの部分の中間部分を含む領域を適合領域として決定し得る。いくつかの実施形態では、処理デバイス112は、最初の端点対の間および最初の端点対の中心付近(例えば、最初の端点対の中心を適合領域の中心として)の輪郭画素の一部(例えば、30%、40%)を直接決定し、輪郭画素の一部を含む領域を適合領域として決定し得る。例えば、
図14は、本開示のいくつかの実施形態による、ターゲット端点を決定するために最初の端点を補正するための例示的なプロセスを示す概略図である。
図14に示すように、処理デバイス112は、最初の端点対AとBと間のガラスの輪郭画素を1:2:1の割合で3つの部分に分割し、3つの部分の中間部分を含む領域を最初の端点対AおよびBの適合領域1430として決定し得る。
【0141】
1320において、処理デバイス112(例えば、
図5に示す検出モジュール540、
図4に示すプロセッサ420)は、最初の端点対の適合領域内の輪郭画素を適合させることによって適合線を決定し得る。
【0142】
いくつかの実施形態では、適合線は、適合領域内の離散輪郭画素点を接続するために使用される平滑線(例えば、直線、曲線)を指してもよい。いくつかの実施形態では、処理デバイス112は、適合関数、例えば線形関数、非線形関数などに基づいて、最初の端点対の適合領域に輪郭画素を適合させてもよい。例えば、
図14に示すように、処理デバイス112は、線形関数を使用して、適合線1440を決定するために、適合領域1430内の最初の端点対AとBとの間に輪郭ピクセルを適合させてもよい。
【0143】
1330において、処理デバイス112(例えば、
図5に示す検出モジュール540、
図4に示すプロセッサ420)は、適合線に基づいて少なくとも1つの較正領域を決定し得る。
【0144】
いくつかの実施形態では、最初の端点対の各最初の端点について、処理デバイス112は、最初の端点と適合線とを接続する線(例えば、適合線の延長線)を決定し、線に基づいて少なくとも1つの較正領域を決定し得、例えば、最初の端点を中心とし、線に垂直な中心線を有する正方形領域(例えば、
図14に示す領域B1またはB2)を決定し得る。いくつかの実施形態では、処理デバイス112は、最初の端点を長手方向に沿った中心として少なくとも1つの較正領域(例えば、
図14に示す領域A1またはA2)を直接決定し得る。
【0145】
いくつかの実施形態では、少なくとも1つの較正領域の例示的な形状は、円、正方形などの規則的な形状を含んでもよい。いくつかの実施形態では、少なくとも1つの較正領域は、第1の較正領域(「長手方向較正領域」とも呼ばれる)および第2の較正領域(「通常較正領域」とも呼ばれる)を含んでもよい。
【0146】
いくつかの実施形態では、第1の較正領域および第2の較正領域のサイズは、同じであっても異なっていてもよい。例えば、少なくとも1つの較正領域の形状が円である場合、第1の較正領域および第2の較正領域は、サイズが異なる2つの領域であってもよく、2つの領域の直径は適合線に沿っている。別の例として、少なくとも1つの較正領域の形状が正方形である場合、第1の較正領域は、適合線に沿った対角線を有する領域であってもよく、第2の較正領域は、適合線に垂直な辺を有する領域であってもよい。
【0147】
いくつかの実施形態では、
図14に示すように、最初の端点Aについて、処理デバイス112は、最初の端点Aを中心として長手方向に沿って第1の正方形A1を決定し、第1の正方形A1を最初の端点Aの第1の較正領域として指定してもよく、処理デバイス112はまた、最初の端点Aを中心として適合線1440(または適合線1440の延長線)に垂直な第2の正方形B1を決定し、第2の正方形B1を最初の端点Aの第2の較正領域として指定してもよい。いくつかの実施形態では、第1の正方形A1および第2の正方形B1の辺の長さは同じであっても異なっていてもよく、これは画像処理システム100のデフォルト設定であってもよく、異なる状況下で調整可能であってもよい。
【0148】
同様に、最初の端点Bについて、処理デバイス112は、最初の端点Bを中心として長手方向に沿って第1の正方形A2を決定し、第1の正方形A2を最初の端点Bの第1の較正領域として指定してもよく、処理デバイス112はまた、最初の端点Bを中心として適合線1440(または適合線1440の延長線)に垂直な第2の正方形B2を決定し、第2の正方形B2を最初の端点Bの第2の較正領域として指定してもよい。いくつかの実施形態では、第1の正方形A2および第2の正方形B2の辺の長さは同じであっても異なっていてもよく、これは画像処理システム100のデフォルト設定であってもよく、異なる状況下で調整可能であってもよい。
【0149】
1340において、処理デバイス112(例えば、
図5に示す検出モジュール540、
図4に示すプロセッサ420)は、少なくとも1つの較正領域にそれぞれ対応する少なくとも1つの基準線を決定し得る。
【0150】
いくつかの実施形態では、少なくとも1つの較正領域の各々について、処理デバイス112は、較正領域を所定の方向に沿って分割することによって複数の候補線を決定し得る。例えば、処理デバイス112は、較正領域を所定の方向に沿って分割し、分割線を候補線として指定してもよい。単なる一例として、所定の方向は、垂直方向、水平方向、較正領域の任意の辺に垂直な方向、適合線に垂直な方向(適合線の法線方向とも呼ばれる)など、またはそれらの任意の組み合わせを含んでもよく、較正領域の分割は、等しい分割、等しくない分割など、またはそれらの任意の組み合わせを含んでもよい。
【0151】
いくつかの実施形態では、
図14に示すように、処理デバイス112は、垂直方向Yに沿って各第1の較正領域(例えば、A1またはA2)を均等に分割し、分割線を第1の較正領域の候補線として指定してもよく、各第2の校正領域(例えば、B1またはB2)を適合線1440に垂直な方向Xに沿って均等に分割し、分割線を第2の校正領域の候補線として指定する。
【0152】
いくつかの実施形態では、処理デバイス112は、分割線に対してガウス畳み込みを実行することによって較正領域の分割線を処理し得る。ガウス畳み込みの方向は、分割線の法線ベクトル方向であってもよい。さらに、処理デバイス112は、処理後の分割線を候補線として指定してもよい。
【0153】
いくつかの実施形態では、複数の候補線の各々について、処理デバイス112は、候補線のグレースケール情報または勾配情報の少なくとも一方に基づいて候補線のスコアを決定し得る。いくつかの実施形態では、処理デバイス112は、候補線上の輪郭画素の平均グレースケールを決定し、平均グレースケールを候補線のスコアとして指定し得る。いくつかの実施形態では、処理デバイス112は、候補線上の輪郭画素の平均勾配を決定し、平均勾配を候補線のスコアとして指定し得る。いくつかの実施形態では、処理デバイス112は、平均グレースケールおよび平均勾配を重み付けすることによって候補線のスコアを決定し得る。平均濃淡値および平均濃淡勾配値の重みは、実際の必要に応じて設定されてもよく、重みの合計は1に等しくてもよい。いくつかの実施形態では、
図14に示すように、較正領域(例えば、A1、A2、B1、またはB2)の候補線の各々について、処理デバイス112は、候補線のグレースケール情報および/または勾配情報の少なくとも一方に基づいて候補線のスコアを決定し得る。
【0154】
さらに、処理デバイス112は、複数の候補線のスコアに基づいて、対応する基準線を決定してもよい。例えば、処理デバイス112は、複数の候補線から、スコアが最も高い候補線を、較正領域に対応する基準線として選択してもよい。いくつかの実施形態では、
図14に示すように、較正領域(例えば、A1、A2、B1、またはB2)の各々について、処理デバイス112は、較正領域の候補線から、最も高いスコアを有する候補線を、較正領域に対応する基準線(例えば、1451、1452、1453、または1454)として選択してもよい。
【0155】
1350において、処理デバイス112(例えば、
図5に示す検出モジュール540、
図4に示すプロセッサ420)は、少なくとも1つの基準線に基づいて対応するターゲット端点を決定し得る。
【0156】
いくつかの実施形態では、少なくとも1つの基準線の各々について、処理デバイス112は、適合線の延長方向と基準線との交点を決定し、少なくとも1つの基準線にそれぞれ対応する少なくとも1つの交点に基づいて対応するターゲット端点を決定してもよい。例えば、処理デバイス112は、適合線の延長方向と第1の較正領域に対応する基準線との第1の交点と、適合線の延長方向と第2の較正領域に対応する基準線との第2の交点とを決定してもよい。さらに、処理デバイス112は、第1の交点と第2の交点との中間点を、対応するターゲット端点として決定してもよい。
【0157】
いくつかの実施形態では、
図14に示すように、最初の端点Aについて、処理デバイス112は、第1の較正領域A1に対応する適合線1440(または適合線1440の延長線)と基準線1451との第1の交点1461、および第2の較正領域B1に対応する適合線1440(または適合線1440の延長線)と基準線1453との第2の交点1463を決定し得る。さらに、処理デバイス112は、第1の交点1461および第2の交点1463の中間点を対応するターゲット端点として決定してもよい。
【0158】
同様に、最初の端点Bについて、処理デバイス112は、第1の較正領域A2に対応する適合線1440(または適合線1440の延長線)と基準線1452との第1の交点1462、および第2の較正領域B2に対応する適合線1440(または適合線1440の延長線)と基準線1454との第2の交点1464を決定し得る。さらに、処理デバイス112は、第1の交点1462および第2の交点1464の中間点を対応するターゲット端点として決定してもよい。
【0159】
プロセス1300の上記の説明は、例示の目的で提供されているに過ぎず、本開示の範囲を限定することを意図するものではないことに留意されたい。当業者であれば、本開示の教示の下で複数の変形または修正を行うことができる。しかしながら、それらの変形および修正は、本開示の範囲から逸脱しない。
【0160】
図15は、本開示のいくつかの実施形態による、タイヤバルジ検出のための例示的なプロセスを示すフローチャートである。いくつかの実施形態では、プロセス1500は、画像処理システム100によって実行され得る。例えば、プロセス1500は、ストレージデバイス(例えば、ストレージデバイス150、ROM430、RAM440)に記憶された命令セット(例えば、アプリケーション)として実施され得る。いくつかの実施形態では、処理デバイス112(例えば、コンピューティングデバイス400のプロセッサ420および/または
図5に示す1つもしくは複数のモジュール)は、命令のセットを実行し得、したがって、プロセス1500を実行するように指示され得る。以下に提示される図示されたプロセスの動作は、例示を意図している。いくつかの実施形態では、プロセス1500は、説明されていない1つまたは複数の追加の動作で、および/または説明された動作のうちの1つまたは複数なしで達成され得る。加えて、
図15に示され、以下に説明されるプロセス1500の動作の順序は、限定することを意図するものではない。
【0161】
1510において、処理デバイス112(例えば、
図5に示す取得モジュール510、
図4に示すプロセッサ420)は、タイヤまたはその一部の画像を取得し得る。
【0162】
いくつかの実施形態では、画像は3D画像であってもよい。処理デバイス112は、レーザカメラによってキャプチャされたタイヤまたはその一部の複数の画像フレームに基づいて3D画像を決定し得る。例えば、処理デバイス112は、複数の画像フレームを融合することによって3D画像を決定し得る。
図3の動作に関連して説明したように、画像フレームは、タイヤが耐荷重状態および高速(例えば、120km/h)移動状態にあるときにキャプチャされ得る。単なる一例として、処理デバイス112は、タイヤが一周回転するまでタイヤの画像フレームを連続的にキャプチャするように撮像デバイス(例えば、
図3に示す撮像デバイス300)のレーザカメラを向けることによって複数の画像フレームを取得し得る。
図16Aは、本開示のいくつかの実施形態による、タイヤの例示的な画像フレームを示す概略図である。
図16Aに示すように、画像フレーム1610内の白線セグメントの各々は、タイヤの点群を示し得る。点群は、各々が画素であってもよく、タイヤまたはその一部によって反射されたレーザ線に対応する複数の点を含み得る。
【0163】
いくつかの実施形態では、処理デバイス112は、3D画像の座標系を決定し得、3D画像内のタイヤの点群内の点の座標は、座標系に基づいて表され得る。
図16Bは、本開示のいくつかの実施形態による、タイヤの3D画像の例示的な座標系を示す概略図である。
図16Bに示すように、1621はタイヤを示し、1620はタイヤの3D画像を示す。3D画像1620の座標系のX軸方向はタイヤ1621の幅方向に沿っていてもよく、Z軸方向はタイヤ1621の厚み方向に沿っていてもよく、Y軸方向はX軸方向およびZ軸方向の平面に垂直であってもよい。
【0164】
1520において、処理デバイス112(例えば、
図5に示す検出モジュール540、
図4に示すプロセッサ420)は、タイヤの基準画像を取得し得る。
【0165】
基準画像は、バルジのないタイヤの3D画像であってもよい。いくつかの実施形態では、処理デバイス112は、非膨出状態のタイヤの複数の3D画像を取得し、複数の3D画像に基づいてタイヤの基準画像を決定し得る。例えば、タイヤ上の各位置について、処理デバイス112は、複数の3D画像内の対応する点(例えば、点群内の点)をそれぞれ決定し、複数の3D画像内の点の高さ(例えば、Z軸座標)を平均化することによってグローバル点高さを決定し得る。さらに、処理デバイス112は、タイヤのすべての位置に対応するグローバル点高さに基づいてタイヤの基準画像を決定し得る。
【0166】
一例としてタイヤ上の特定の位置をとると、処理デバイス112は、以下の式(6)に従って複数の3D画像内の対応する点の高さ(例えば、Z軸座標)を平均化し得、
【0167】
【0168】
ここで、
【0169】
【0170】
は、点のZ軸座標の平均値を指し、kは、点のカウント(すなわち、複数の3D画像のカウント)を指し、
【0171】
【0172】
は、複数の3D画像のうちの1つにおける特定の点のZ軸座標を指す。
【0173】
いくつかの実施形態では、基準画像は、以前に決定され、ストレージデバイス(例えば、ストレージデバイス150、ROM430、RAM440、外部ストレージデバイス)に記憶されてもよい。処理デバイス112は、ネットワーク(例えば、ネットワーク130)を介してストレージデバイスから基準画像を検索し得る。
【0174】
1530において、処理デバイス112(例えば、
図5に示す検出モジュール540、
図4に示すプロセッサ420)は、画像と基準画像とを比較することによってタイヤにバルジがあるかどうかを決定し得る。
【0175】
いくつかの実施形態では、画像内のタイヤの各点群について、処理デバイス112は、点群の高さと基準画像内の対応する点群の高さ(または「基準画像の点群高さ」と呼ぶことができる、基準画像内の点群の平均高さ)との間の差を決定し得る。本明細書で使用される場合、点群の高さは、点群内の点の平均Z軸座標を指してもよい。さらに、処理デバイス112は、画像内のタイヤの複数の点群に対応する複数の差を閾値と比較することによってタイヤにバルジがあるかどうかを決定し得る。複数の差のうちの1つが閾値を超える場合、処理デバイス112は、タイヤにバルジがあると決定し得る。
【0176】
一般に、タイヤのバルジの面積は比較的大きく、複数の点群が存在し得る。すべての複数の点群が処理されて差が決定され、さらに閾値と比較される場合、タイヤバルジ検出の速度は比較的低くなり得る。したがって、いくつかの実施形態では、処理デバイス112は、画像を複数の領域に分割し、その各々が少なくとも1つの点群を含み、複数の領域に基づいてタイヤにバルジがあるかどうかを決定し得る。すなわち、「点群」ではなく「領域」をタイヤバルジ検出の単位とすることで、タイヤバルジ検出の速度を大幅に向上させることができる。複数の領域に基づいてタイヤにバルジがあるかどうかを決定することに関するさらなる説明は、本開示の他の箇所、例えば
図18およびその説明に見出され得る。
【0177】
いくつかの実施形態では、タイヤにバルジがあることに応答して、処理デバイス112は、画像をバルジ画像として指定し、バルジ画像をストレージデバイスに記憶し得る。
図17は、本開示のいくつかの実施形態による、例示的なバルジ画像を示す概略図である。
図17に示すように、タイヤ1711のバルジ画像1710にはバルジが存在する。
【0178】
いくつかの実施形態では、タイヤにバルジがあることに応答して、処理デバイス112は、ユーザデバイス(例えば、
図1に示すユーザデバイス140)に警報情報を送信し得る。警報情報は、タイヤにバルジがあることを示し得る。警報情報は、バルジ画像、バルジ画像内のバルジのサイズなど、またはそれらの任意の組み合わせを含み得る。いくつかの実施形態では、警報情報は、音声情報、画像情報、テキスト情報など、またはそれらの任意の組み合わせを含み得る。ユーザは、ユーザデバイスを介して警報情報に気付いた後、撮像デバイス(例えば、
図3に示す撮像デバイス300)の電源を停止してタイヤの回転を停止させることにより、膨らんだタイヤがパンクするのを回避し得る。
【0179】
いくつかの実施形態では、タイヤにバルジがあることに応答して、処理デバイス112は、タイヤの回転を停止させるために撮像デバイスに停止命令を送信し得る。
【0180】
いくつかの実施形態では、タイヤにバルジがないことに応答して、処理デバイス112は、画像を正常画像として指定し、正常画像をストレージデバイス(例えば、ストレージデバイス150、ROM430、RAM440、外部ストレージデバイス)に記憶し得る。
【0181】
いくつかの実施形態では、ストレージデバイス内の記憶された正常画像のカウントがカウント閾値を超えることに応答して、処理デバイス112は、記憶された正常画像に基づいて基準画像を更新し、更新された基準画像に基づいてタイヤバルジ検出を実行し得、これにより、高温によるタイヤの自己拡張によって引き起こされる検出エラーを低減または回避することができる。例えば、タイヤ上の各位置について、処理デバイス112は、記憶された正常画像内の対応する点(例えば、点群内の点)をそれぞれ決定し、記憶された正常画像内の点の高さ(例えば、Z軸座標)を平均化することによってグローバル点高さを決定し得る。さらに、処理デバイス112は、タイヤのすべての位置に対応するグローバル点高さに基づいてタイヤの更新された基準画像を決定し得る。
【0182】
プロセス1500の上記の説明は、例示の目的で提供されているに過ぎず、本開示の範囲を限定することを意図するものではないことに留意されたい。当業者であれば、本開示の教示の下で複数の変形または修正を行うことができる。しかしながら、それらの変形および修正は、本開示の範囲から逸脱しない。
【0183】
図18は、本開示のいくつかの実施形態による、タイヤの画像と基準画像とを比較することによってタイヤにバルジがあるかどうかを決定するための例示的なプロセスを示すフローチャートである。いくつかの実施形態では、プロセス1800は、画像処理システム100によって実行され得る。例えば、プロセス1800は、ストレージデバイス(例えば、ストレージデバイス150、ROM430、RAM440)に記憶された命令セット(例えば、アプリケーション)として実施され得る。いくつかの実施形態では、処理デバイス112(例えば、コンピューティングデバイス400のプロセッサ420および/または
図5に示す1つもしくは複数のモジュール)は、命令のセットを実行し得、したがって、プロセス1800を実行するように指示され得る。以下に提示される図示されたプロセスの動作は、例示を意図している。いくつかの実施形態では、プロセス1800は、説明されていない1つまたは複数の追加の動作で、および/または説明された動作のうちの1つまたは複数なしで達成され得る。加えて、
図18に示され、以下に説明されるプロセス1800の動作の順序は、限定することを意図するものではない。
【0184】
1810において、処理デバイス112(例えば、
図5に示す検出モジュール540、
図4に示すプロセッサ420)は、画像を複数の領域に分割し得る。
【0185】
いくつかの実施形態では、複数の領域のサイズは同じであっても異なっていてもよい。いくつかの実施形態では、複数の領域の各々のサイズがタイヤ上の可能なバルジのサイズよりも小さいことを確実にするために、複数の領域の各々のサイズは、プリセットサイズよりも小さくてもよい。いくつかの実施形態では、プリセットサイズは、画像処理システム100のデフォルト設定であってもよく、または異なる状況下で調整可能であってもよい。いくつかの実施形態では、プリセットサイズは、複数のタイヤのバルジに関連する広範な履歴データに基づいて決定されてもよい。履歴データは、複数のタイヤの各々の各バルジのサイズを少なくとも含んでもよい。例えば、プリセットサイズは、履歴データ内のバルジの最小サイズに等しくてもよい。いくつかの実施形態では、複数の領域の各々は、各々が複数の画素(または点)を含む少なくとも1つの点群を含んでもよい。
【0186】
1820において、複数の領域の各々について、処理デバイス112(例えば、
図5に示す検出モジュール540、
図4に示すプロセッサ420)は、領域内の少なくとも1つの点群から点群をターゲット点群として選択し得る。いくつかの実施形態では、処理デバイス112は、少なくとも1つの点群から点群をターゲット点群としてランダムに選択し得る。いくつかの実施形態では、処理デバイス112は、少なくとも1つの点群のサイズに基づいて、少なくとも1つの点群から点群を選択し得る。例えば、処理デバイス112は、少なくとも1つの点群の中から最大サイズの点群を選択してもよい。
【0187】
1830において、処理デバイス112(例えば、
図5に示す検出モジュール540、
図4に示すプロセッサ420)は、ターゲット点群の高さと基準画像の点群の高さ(または基準画像内の対応する点群の高さ)との差が高さ閾値を超えるかどうかを決定し得る。
【0188】
いくつかの実施形態では、高さ閾値は、画像処理システム100のデフォルト設定であってもよく、または異なる状況下で調整可能であってもよい。例えば、タイヤ上のパターンまたはテキストの高さは通常1mm未満であり、タイヤ上のバルジの高さは通常2mmより大きいので、高さ閾値は1mmに設定されてもよく、それによってタイヤ上のパターンおよびテキストがバルジの検出に影響を与えないことを保証する。
【0189】
1840において、差が高さ閾値を超えたことに応答して、処理デバイス112(例えば、
図5に示す検出モジュール540、
図4に示すプロセッサ420)は、その領域を、バルジが位置し得る異常領域として決定し得る。
【0190】
いくつかの実施形態では、処理デバイス112は、異常領域を「NG」としてマークしてもよい。いくつかの実施形態では、差が高さ閾値を超えないことに応答して、処理デバイス112は、バルジが位置しない正常領域として領域を決定し得る。いくつかの実施形態では、処理デバイス112は、正常領域を「OK」としてマークしてもよい。
【0191】
単なる一例として、処理デバイス112は、以下の式(7)に従って動作1830および1840を実行し得、
【0192】
【0193】
ここで、
【0194】
【0195】
はターゲット点群の高さを指し、
【0196】
【0197】
は基準画像の点群の高さを指し、valueはターゲット点群の高さと基準画像の点群の高さとの差を指し、「NG」は差が高さ閾値を超えるという判定結果を指し、「OK」は差が高さ閾値を超えないという判定結果を指す。
【0198】
1850において、処理デバイス112(例えば、
図5に示す検出モジュール540、
図4に示すプロセッサ420)は、複数の直接隣接する異常領域の合計幅が幅閾値よりも大きいかどうかを決定し得る。
【0199】
いくつかの実施形態では、幅閾値は、画像処理システム100のデフォルト設定であってもよく、または異なる状況下で調整可能であってもよい。いくつかの実施形態では、幅閾値は、ユーザによって決定された経験値であってもよい。いくつかの実施形態では、幅閾値は、複数のタイヤのバルジに関連する広範な履歴データに基づいて決定されてもよい。例えば、幅閾値は、履歴データにおけるバルジの最小幅に等しくてもよい。
【0200】
いくつかの実施形態では、処理デバイス112は、複数の直接隣接する異常領域の複数の点群の座標に基づいて、複数の直接隣接する異常領域の合計幅を決定し得る。例えば、処理デバイス112は、直接隣接する複数の異常領域の複数の点群において、Y軸座標が同じ点を群として決定し得、その結果、複数の群が決定され得る。処理デバイス112は、複数の群の各々について、当該群に対応するX軸座標の和を、直接隣接する複数の異常領域の候補幅として決定し得る。さらに、処理デバイス112は、直接隣接する複数の異常領域の合計幅として、複数の群に対応する和の最大値を決定し得る。
【0201】
1860において、複数の直接隣接する異常領域の合計幅が幅閾値よりも大きいことに応答して、処理デバイス112(例えば、
図5に示す検出モジュール540、
図4に示すプロセッサ420)は、タイヤにバルジがあると決定し得る。
【0202】
複数の直接隣接する異常領域の合計幅が幅閾値以下であると決定したことに応答して、処理デバイス112(例えば、
図5に示す検出モジュール540、
図4に示すプロセッサ420)は、タイヤにバルジがないと決定し得る。
【0203】
プロセス1800の上記の説明は、例示の目的で提供されているに過ぎず、本開示の範囲を限定することを意図するものではないことに留意されたい。当業者であれば、本開示の教示の下で複数の変形または修正を行うことができる。しかしながら、それらの変形および修正は、本開示の範囲から逸脱しない。
【0204】
図19は、本開示のいくつかの実施形態による、タイヤバルジ検出のための例示的なプロセスを示すフローチャートである。いくつかの実施形態では、プロセス1900は、画像処理システム100によって実行され得る。例えば、プロセス1900は、ストレージデバイス(例えば、ストレージデバイス150、ROM430、RAM440)に記憶された命令セット(例えば、アプリケーション)として実施され得る。いくつかの実施形態では、処理デバイス112(例えば、コンピューティングデバイス400のプロセッサ420および/または
図5に示す1つもしくは複数のモジュール)は、命令のセットを実行し得、したがって、プロセス1900を実行するように指示され得る。以下に提示される図示されたプロセスの動作は、例示を意図している。いくつかの実施形態では、プロセス1900は、説明されていない1つまたは複数の追加の動作で、および/または説明された動作のうちの1つまたは複数なしで達成され得る。加えて、
図19に示され、以下に説明されるプロセス1900の動作の順序は、限定することを意図するものではない。
【0205】
1910において、処理デバイス112(例えば、
図5に示す取得モジュール510、
図4に示すプロセッサ420)は、タイヤまたはその一部の画像を取得し得る。画像の取得は、動作1510に関連して説明したのと同様の方法で実行されてもよく、その説明はここでは繰り返されない。
【0206】
1920において、処理デバイス112(例えば、
図5に示す取得モジュール510、
図4に示すプロセッサ420)は、タイヤの基準画像を取得し得る。基準画像の取得は、動作1520に関連して説明したのと同様の方法で実行されてもよく、その説明はここでは繰り返されない。
【0207】
1930において、処理デバイス112(例えば、
図5に示す検出モジュール540、
図4に示すプロセッサ420)は画像内のタイヤにバルジがあるかどうかを決定し得る。タイヤにバルジがあるかどうかの決定は、動作1530に関連して説明したのと同様に実行されてもよく、その説明はここでは繰り返されない。
【0208】
1940において、タイヤにバルジがないことに応答して、処理デバイス112(例えば、
図5に示す検出モジュール540、
図4に示すプロセッサ420)は、正常画像のカウントに1の値を加算し得る。
【0209】
1950において、処理デバイス112(例えば、
図5に示す検出モジュール540、
図4に示すプロセッサ420)は、正常画像のカウントがカウント閾値T
1を超えるかどうかを決定し得る。
【0210】
1960において、正常画像のカウントがカウント閾値T
1を超えたことに応答して、処理デバイス112(例えば、
図5に示す検出モジュール540、
図4に示すプロセッサ420)は、基準画像を更新し、正常画像のカウントを0として更新し得る。
【0211】
さらに、処理デバイス112は、動作1910に進んで、更新された基準画像および更新された正常画像のカウントに基づいてタイヤバルジ検出を実行し得る。いくつかの実施形態では、正常画像のカウントがカウント閾値T1を超えないことに応答して、処理デバイス112は動作1910に進み、タイヤバルジ検出を再び実行し得る。
【0212】
1970において、タイヤにバルジがあることに応答して、処理デバイス112(例えば、
図5に示す検出モジュール540、
図4に示すプロセッサ420)は、バルジ画像のカウントに1の値を加算し得る。
【0213】
1980において、処理デバイス112(例えば、
図5に示す検出モジュール540、
図4に示すプロセッサ420)は、バルジ画像のカウントがカウント閾値T
2を超えるかどうかを決定し得る。
【0214】
1990において、バルジ画像のカウントがカウント閾値T
2を超えたことに応答して、処理デバイス112(
図5に示す検出モジュール540、
図4に示すプロセッサ420)は、ユーザデバイス(例えば、
図1に示すユーザデバイス140)に警報情報を送信し、タイヤの回転を停止させる停止命令を送信し得る。
【0215】
いくつかの実施形態では、バルジ画像のカウントがカウント閾値T2を超えないことに応答して、処理デバイス112は動作1910に進み、タイヤバルジ検出を再び実行し得る。
【0216】
プロセス1900の上記の説明は、例示の目的で提供されているに過ぎず、本開示の範囲を限定することを意図するものではないことに留意されたい。当業者であれば、本開示の教示の下で複数の変形または修正を行うことができる。しかしながら、それらの変形および修正は、本開示の範囲から逸脱しない。
【0217】
このように基本概念を説明してきたが、この詳細な開示を読んだ後の当業者には、前述の詳細な開示が例としてのみ提示されることを意図しており、限定するものではないことはむしろ明らかであろう。本明細書で明示的に述べられていないが、様々な変更、改良、および修正が行われてもよく、当業者に意図される。これらの変更、改良、および修正は、本開示によって示唆されることを意図されており、本開示の例示的な実施形態の趣旨および範囲内にある。
【0218】
さらに、本開示の実施形態を説明するために特定の用語が使用されている。例えば、「1つの実施形態」、「一実施形態」、および/または「いくつかの実施形態」という用語は、実施形態に関連して説明される特定の特徴、構造、または特性が本開示の少なくとも1つの実施形態に含まれることを意味する。したがって、本開示の様々な部分における「一実施形態」または「1つの実施形態」または「代替の実施形態」への2つ以上の言及は、必ずしもすべてが同じ実施形態を指すとは限らないことが強調され、理解されるべきである。さらに、特定の特徴、構造、または特性は、本開示の1つまたは複数の実施形態において適切であるように組み合わされ得る。
【0219】
さらに、当業者には理解されるように、本開示の態様は、任意の新規かつ有用なプロセス、機械、製造、もしくは組成物、またはそれらの任意の新規かつ有用な改善を含む、いくつかの特許可能なクラスまたはコンテキストのいずれかで本明細書に例示および説明され得る。したがって、本開示の態様は、完全にハードウェア、完全にソフトウェア(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)、または本明細書ですべて一般に「ユニット」、「モジュール」、または「システム」と呼ばれ得るソフトウェアとハードウェアの実装形態を組み合わせて実装され得る。さらに、本開示の態様は、コンピュータ可読プログラムコードが具現化された1つまたは複数のコンピュータ可読媒体に具現化されたコンピュータプログラム製品の形態をとってもよい。
【0220】
コンピュータ可読信号媒体は、例えばベースバンドにおいて、または搬送波の一部として、コンピュータ可読プログラムコードが内部に具現化された伝搬データ信号を含んでもよい。そのような伝搬信号は、電磁的、光学的など、またはそれらの任意の適切な組み合わせを含む様々な形態のいずれかをとってもよい。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、装置、またはデバイスによって、またはそれに関連して使用するためのプログラムを通信、伝播、または伝送することができる任意のコンピュータ可読媒体であってもよい。コンピュータ可読信号媒体上に具現化されたプログラムコードは、無線、有線、光ファイバケーブル、RFなど、またはこれらの任意の適切な組み合わせを含む任意の適切な媒体を使用して送信されてもよい。
【0221】
本開示の態様のための動作を実行するためのコンピュータプログラムコードは、Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Pythonなどのオブジェクト指向プログラミング言語、「C」プログラミング言語、Visual Basic、Fortran 2103、Perl、COBOL 2102、PHP、ABAPなどの従来の手続き型プログラミング言語、Python、Ruby、およびGroovyなどの動的プログラミング言語、または他のプログラミング言語を含む1つまたは複数のプログラミング言語の任意の組み合わせで記述され得る。プログラムコードは、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアロンソフトウェアパッケージとして、部分的にユーザのコンピュータ上で、部分的にリモートコンピュータ上で、または完全にリモートコンピュータもしくはサーバ上で実行され得る。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク(LAN)またはワイドエリアネットワーク(WAN)を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、または接続は、外部コンピュータ(例えば、インターネットサービスプロバイダを使用してインターネットを介して)またはクラウドコンピューティング環境で行われてもよく、またはサービスとしてのソフトウェア(SaaS)などのサービスとして提供されてもよい。
【0222】
さらに、処理要素またはシーケンスの列挙された順序、または数字、文字、もしくは他の名称の使用は、したがって、特許請求の範囲に明記されている場合を除いて、特許請求されるプロセスおよび方法を任意の順序に限定することを意図されていない。上記の開示は、様々な例を通して、本開示の様々な有用な実施形態であると現在考えられているものを論じているが、そのような詳細はその目的のためだけのものであり、添付の特許請求の範囲は開示された実施形態に限定されず、反対に、開示された実施形態の趣旨および範囲内にある修正および均等な構成を網羅することが意図されていることを理解されたい。例えば、上述した様々な構成要素の実装はハードウェアデバイスで具現化されてもよいが、ソフトウェアのみの解決策、例えば既存のサーバまたはモバイルデバイスへのインストールとして実施されてもよい。
【0223】
同様に、本開示の実施形態の前述の説明では、様々な発明の実施形態のうちの1つまたは複数の理解を助ける開示を簡素化する目的で、様々な特徴が単一の実施形態、図、またはその説明にまとめられることがあることを理解されたい。しかしながら、この開示方法は、特許請求される主題が各請求項に明示的に記載されているよりも多くの特徴を必要とするという意図を反映すると解釈されるべきではない。むしろ、本発明の実施形態は、単一の前述の開示された実施形態のすべての特徴よりも少ない。
【0224】
いくつかの実施形態では、本出願の特定の実施形態を説明および特許請求するために使用される量または特性を表す数は、場合によっては「約(about)」、「おおよそ(approximate)」、または「実質的に(substantially)」という用語によって修飾されると理解されるべきである。例えば、「約(about)」、「おおよそ(approximate)」、または「実質的に(substantially)」は、特に明記しない限り、それが記述する値の±20%の変動を示し得る。したがって、いくつかの実施形態では、明細書および添付の特許請求の範囲に記載された数値パラメータは、特定の実施形態によって得られることが求められる所望の特性に応じて変化し得る近似値である。いくつかの実施形態では、数値パラメータは、報告された有効数字の数に照らして、通常の丸め技術を適用することによって解釈されるべきである。本出願のいくつかの実施形態の広い範囲を示す数値範囲およびパラメータは近似値であるにもかかわらず、特定の例に示される数値は、実行可能な限り正確に報告される。
【0225】
本明細書で参照される特許、特許出願、特許出願の刊行物、および論文、書籍、仕様書、出版物、文書、事物などの他の資料の各々は、それらに関連する任意の審査ファイル履歴、本文書と矛盾または対立する任意のもの、または本文書に現在または後に関連する特許請求の範囲の最も広い範囲に関して限定的な効果を有し得る任意のものを除いて、すべての目的のためにその全体が参照により本明細書に組み込まれる。例として、組み込まれた資料のいずれかに関連する用語の説明、定義、および/または使用と、本文書に関連する用語の説明、定義、および/または使用との間に矛盾または対立がある場合、本文書におけるその用語の説明、定義、および/または使用が優先するものとする。
【0226】
最後に、本明細書に開示された本出願の実施形態は、本出願の実施形態の原理の例示であることを理解されたい。使用され得る他の修正は、本出願の範囲内であり得る。したがって、限定ではなく例として、本明細書の教示に従って、本出願の実施形態の代替構成が利用されてもよい。したがって、本出願の実施形態は、正確に図示および説明されたものに限定されない。
【符号の説明】
【0227】
1 画像フレーム、2 画像フレーム、3 画像フレーム、4 画像フレーム、5 画像フレーム、6 画像フレーム、7 画像フレーム、8 画像フレーム、9 画像フレーム、100 画像処理システム、110 サーバ、112 処理デバイス、120 ネットワーク、130 撮像デバイス、131 レーザカメラ、132 物体、140 ユーザデバイス、150 ストレージデバイス、200 撮像デバイス、210 運動プラットフォーム、220 レーザカメラ、230 物体、240 リミッタ、250 ガントリ、260 ガラス、261 面取り部、300 撮像デバイス、310 レーザカメラ、320 ドラム、330 ハブ、340 モータ、350 軸受、360 物体、400 コンピューティングデバイス、410 バス、420 プロセッサ、430 ROM、440 RAM、450 COMポート、460 I/O構成要素、470 ディスク、510 取得モジュール、520 決定モジュール、530 調整モジュール、540 検出モジュール、600 プロセス、700 プロセス、800 プロセス、1000 画像、1001 画素、1002 画素、1003 画素、1004 画素、1005 画素、1006 画素、1007 画素、1008 画素、1020 面取り部、1030 面取り部、1040 画像、1041 面取り部、1042 最初の端点、1043 ターゲット端点、1050 画像、1051 面取り部、1052 最初の端点、1053 ターゲット端点、1100 ガラス、1110 面取り部、1120 面取り部、1200 プロセス、1300 プロセス、1412 最初の端点、1421 面取り部、1430 適合領域、1440 適合線、1451 基準線、1452 基準線、1453 基準線、1454 基準線、1461 交点、1462 交点、1463 交点、1464 交点、1500 プロセス、1610 画像フレーム、1620 タイヤの3D画像、1621 タイヤ、1710 バルジ画像、1711 タイヤ、1800 プロセス、1900 プロセス
【手続補正書】
【提出日】2024-06-25
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
少なくとも1つのプロセッサと、少なくとも1つの記憶媒体と、ネットワークに接続された通信プラットフォームと、を含むコンピューティングデバイス上で実施される方法であって、前記方法は、
レーザカメラによってキャプチャされた画像を取得するステップと、
前記画像の輝度、および前記画像の前記輝度に対応する前記レーザカメラの露光パラメータを決定するステップと、
前記画像の前記輝度および基準輝度に基づいて前記レーザカメラの前記露光パラメータを調整することによって前記レーザカメラのターゲット露光パラメータを決定するステップと、
を含む、方法。
【請求項2】
前記画像の前記輝度を決定する前記ステップが、
輝度閾値よりも大きい輝度値を有する前記画像内の複数のターゲット画素を決定するステップと、
前記複数のターゲット画素の前記輝度値に基づいて前記画像の前記輝度を決定するステップと、
を含む、
請求項1に記載の方法。
【請求項3】
前記画像の前記輝度および前記基準輝度に基づいて前記レーザカメラの前記露光パラメータを調整することによって前記レーザカメラの前記ターゲット露光パラメータを決定する前記ステップが、
前記画像の前記輝度が前記基準輝度に関連する基準輝度範囲内にあるかどうかを決定するステップと、
前記画像の前記輝度が前記基準輝度範囲内にあることに応答して、前記画像の前記輝度が前記基準輝度よりも大きいかどうかを決定するステップと、
前記画像の前記輝度が前記基準輝度よりも大きいことに応答して、前記レーザカメラの前記露光パラメータを減少させることによって前記レーザカメラの前記ターゲット露光パラメータを決定するステップと、
前記画像の前記輝度が前記基準輝度未満であることに応答して、前記レーザカメラの前記露光パラメータを増加させることによって前記レーザカメラの前記ターゲット露光パラメータを決定するステップと、
を含む、
請求項1に記載の方法。
【請求項4】
前記レーザカメラによってキャプチャされた前記画像が、面取り部を有するガラスの画像であり、前記方法は、
前記画像内の前記面取り部の最初の端点を決定するステップと、
前記最初の端点を補正することによって前記面取り部のターゲット端点を決定するステップと、
前記面取り部の前記ターゲット端点に基づいて、前記面取り部のサイズを決定するステップと、
をさらに含む、
請求項1に記載の方法。
【請求項5】
前記画像内の前記面取り部の最初の端点を決定する前記ステップが、
前記画像内の前記ガラスの輪郭画素を決定するステップと、
前記輪郭画素に基づいて前記面取り部の前記最初の端点を決定するステップと、
を含む、
請求項4に記載の方法。
【請求項6】
前記画像内の前記ガラスの輪郭画素を決定する前記ステップが、
グレースケール閾値よりも大きいグレースケールを有する前記画像内の第1の画素を決定するステップと、
前記第1の画素に対してガウス列の畳み込みを実行することによって第2の画素を決定するステップと、
前記第2の画素の隣接画素に基づいて前記第2の画素をフィルタリングすることによって第3の画素を決定するステップと、
前記第3の画素の各々について、重心アルゴリズムに基づいて前記第3の画素に対応する副画素を決定するステップと、
前記第3の画素に対応する副画素を前記ガラスの前記輪郭画素として指定するステップと、
を含む、
請求項5に記載の方法。
【請求項7】
前記最初の端点を補正することによって前記面取り部のターゲット端点を決定する前記ステップが、
各最初の端点について、
前記ガラスの前記輪郭画素に基づいて適合領域を決定するステップと、
前記適合領域内の輪郭画素を適合させることによって適合線を決定するステップと、
前記適合線に基づいて少なくとも1つの較正領域を決定するステップと、
前記少なくとも1つの較正領域にそれぞれ対応する少なくとも1つの基準線を決定するステップと、
前記少なくとも1つの基準線に基づいて対応するターゲット端点を決定するステップと、
を含む、
請求項5に記載の方法。
【請求項8】
前記少なくとも1つの較正領域にそれぞれ対応する少なくとも1つの基準線を決定する前記ステップが、
前記少なくとも1つの較正領域の各々について、
前記較正領域を所定の方向に沿って分割することによって複数の候補線を決定するステップと、
前記複数の候補線の各々について、前記候補線のグレースケール情報または勾配情報の少なくとも一方に基づいて前記候補線のスコアを決定するステップと、
前記複数の候補線のスコアに基づいて対応する基準線を決定するステップと、
を含む、
請求項7に記載の方法。
【請求項9】
前記少なくとも1つの基準線に基づいて対応するターゲット端点を決定する前記ステップが、
前記少なくとも1つの基準線の各々について、前記適合線と前記基準線との交点を決定するステップと、
前記少なくとも1つの基準線にそれぞれ対応する少なくとも1つの交点に基づいて、前記対応するターゲット端点を決定するステップと、
を含む、
請求項8に記載の方法。
【請求項10】
前記レーザカメラによってキャプチャされた前記画像が、タイヤの3次元(3D)画像であり、前記方法は、
前記タイヤの基準画像を取得するステップと、
前記画像と前記基準画像とを比較することによって、前記タイヤにバルジがあるかどうかを決定するステップと、
をさらに含む、
請求項1に記載の方法。
【請求項11】
前記方法が、
前記タイヤにバルジがないことに応答して、前記画像を正常画像として指定し、前記正常画像をストレージデバイスに記憶するステップと、
前記ストレージデバイスに記憶された正常画像のカウントがカウント閾値を超えたことに応答して、前記記憶された正常画像に基づいて前記基準画像を更新するステップと、
をさらに含む、
請求項10に記載の方法。
【請求項12】
前記画像と前記基準画像とを比較することによって前記タイヤにバルジがあるかどうかを決定する前記ステップが、
前記画像を複数の領域に分割するステップであって、前記複数の領域の各々は、各々が複数の画素を含む少なくとも1つの点群を含む、ステップと、
前記複数の領域の各々について、
前記領域内の前記少なくとも1つの点群から点群をターゲット点群として選択するステップと、
前記ターゲット点群の高さと前記基準画像の点群高さとの差が高さ閾値を超えるかどうかを決定するステップと、
前記差が前記高さ閾値を超えたことに応答して、前記領域を、バルジが位置し得る異常領域として決定するステップと、
を含む、
請求項10に記載の方法。
【請求項13】
前記方法が、
複数の直接隣接する異常領域の合計幅が幅閾値よりも大きいかどうかを決定するステップと、
前記複数の直接隣接する異常領域の前記合計幅が前記幅閾値よりも大きいことに応答して、前記タイヤにバルジがあると決定するステップと、
をさらに含む、
請求項12に記載の方法。
【請求項14】
レーザカメラによってキャプチャされた画像を取得するように構成された取得モジュールと、
前記画像の輝度、および前記画像の前記輝度に対応する前記レーザカメラの露光パラメータを決定するように構成された決定モジュールと、
前記画像の前記輝度および基準輝度に基づいて前記レーザカメラの前記露光パラメータを調整することによって前記レーザカメラのターゲット露光パラメータを決定するように構成された調整モジュールと、
を備える、システム。
【請求項15】
少なくとも1つのプロセッサによって実行されると、方法を実行するように前記少なくとも1つのプロセッサに指示する実行可能命令を含む非一時的コンピュータ可読媒体であって、前記方法は、
レーザカメラによってキャプチャされた画像を取得するステップと、
前記画像の輝度、および前記画像の前記輝度に対応する前記レーザカメラの露光パラメータを決定するステップと、
前記画像の前記輝度および基準輝度に基づいて前記レーザカメラの前記露光パラメータを調整することによって前記レーザカメラのターゲット露光パラメータを決定するステップと、
を含む、非一時的コンピュータ可読媒体。
【国際調査報告】