IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ガウス サージカル,インコーポレイテッドの特許一覧

特表2022-504450画像を処理するための方法およびシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-01-13
(54)【発明の名称】画像を処理するための方法およびシステム
(51)【国際特許分類】
   G06T 1/00 20060101AFI20220105BHJP
   G06K 7/12 20060101ALI20220105BHJP
   G06K 7/14 20060101ALI20220105BHJP
   G16H 30/00 20180101ALI20220105BHJP
【FI】
G06T1/00 500A
G06K7/12
G06K7/14 017
G16H30/00
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021519118
(86)(22)【出願日】2019-10-14
(85)【翻訳文提出日】2021-06-04
(86)【国際出願番号】 US2019056076
(87)【国際公開番号】W WO2020081435
(87)【国際公開日】2020-04-23
(31)【優先権主張番号】62/745,577
(32)【優先日】2018-10-15
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.QRコード
(71)【出願人】
【識別番号】521125257
【氏名又は名称】ガウス サージカル,インコーポレイテッド
【氏名又は名称原語表記】Gauss Surgical,Inc.
(74)【代理人】
【識別番号】110001302
【氏名又は名称】特許業務法人北青山インターナショナル
(72)【発明者】
【氏名】サティッシュ,シッダース
(72)【発明者】
【氏名】ミラー,ケヴィン ジェイ.
【テーマコード(参考)】
5B057
5L099
【Fターム(参考)】
5B057AA07
5B057BA02
5B057CA01
5B057CA08
5B057CA12
5B057CB01
5B057CB08
5B057CB12
5B057CE12
5B057CE17
5B057DB02
5B057DB06
5B057DB09
5L099AA26
(57)【要約】
システムは、機械可読コードの画像を処理する方法を実行する。この方法は、コード化された情報を含む機械可読コードの画像を受信するステップであって、機械可読コードが、優勢な色を有する物質によって少なくとも部分的に覆い隠されている、ステップと、優勢な色に基づいて画像の色空間を調整することにより、調整された画像を生成するステップと、画像の少なくとも機械可読コード領域を二値化するステップであって、画像の機械可読コード領域が、機械可読コードを示している、ステップと、二値化された機械可読コード領域をデコードして、コード化された情報を特定するステップとを含む。その他の装置および方法についても説明する。
【選択図】図1
【特許請求の範囲】
【請求項1】
機械の1または複数のプロセッサによって、画像内で優勢な色を有する物質によって少なくとも部分的に覆い隠されている機械可読コードを示している画像にアクセスするステップと、
前記機械の1または複数のプロセッサによって、前記機械可読コードを少なくとも部分的に覆い隠している物質の優勢な色に基づいて画像の色空間を調整することにより、画像の調整されたバージョンを生成するステップと、
前記機械の1または複数のプロセッサによって、前記画像の調整されたバージョンの少なくとも一部の領域を二値化するステップとを備え、前記領域が、前記機械可読コードを示していることを特徴とする方法。
【請求項2】
請求項1に記載の方法において、
光学センサによって、優勢な色を有する物質によって少なくとも部分的に覆い隠されている機械可読コードを示している画像をキャプチャするステップをさらに備えることを特徴とする方法。
【請求項3】
請求項1に記載の方法において、
前記機械可読コードを少なくとも部分的に覆い隠している物質の優勢な色が、実質的に赤色であることを特徴とする方法。
【請求項4】
請求項1に記載の方法において、
前記画像がカラー画像であり、
前記画像の色空間の調整は、前記物質の優勢な色に基づいて、前記カラー画像の色空間をグレースケール表現に変換することを含むことを特徴とする方法。
【請求項5】
請求項1に記載の方法において、
前記画像の少なくとも一部の領域を二値化することが、前記画像の少なくとも一部の領域のヒストグラムを色閾値処理することを含むことを特徴とする方法。
【請求項6】
請求項1に記載の方法において、
前記画像の調整されたバージョンにおいて、前記機械可読コードを示している領域の位置を特定するステップをさらに備えることを特徴とする方法。
【請求項7】
請求項6に記載の方法において、
前記画像の調整されたバージョンにおいて、前記機械可読コードを示している領域の位置を特定することが、前記画像の調整されたバージョンにおけるコーナー検出、または前記画像の調整されたバージョンにおけるエッジ検出のうちの少なくとも一方を実行することを含むことを特徴とする方法。
【請求項8】
請求項1に記載の方法において、
前記画像が、優勢な色を有する物質によって汚れた手術用布地に取り付けられた機械可読コードを示していることを特徴とする方法。
【請求項9】
請求項1に記載の方法において、
前記機械可読コードが、手術用布地の種類または手術用布地の識別子のうちの少なくとも一方を含むコード化された情報を提示していることを特徴とする方法。
【請求項10】
請求項1に記載の方法において、
前記機械可読コードを示している二値化された領域をデコードすることによって、前記機械可読コードによって提示されるコード化された情報を特定するステップをさらに備えることを特徴とする方法。
【請求項11】
請求項10に記載の方法において、
前記機械可読コードによって提示されるコード化された情報の特定に応答して、布地カウンタインデックスをインクリメントするステップをさらに備えることを特徴とする方法。
【請求項12】
1または複数のプロセッサと、命令を記憶するメモリとを備えるシステムであって、
前記命令は、前記1または複数のプロセッサによって実行されたときに、前記1または複数のプロセッサに動作を実行させ、前記動作が、
画像内で優勢な色を有する物質によって少なくとも部分的に覆い隠されている機械可読コードを示している画像にアクセスすること、
前記機械可読コードを少なくとも部分的に覆い隠している物質の優勢な色に基づいて画像の色空間を調整することにより、画像の調整されたバージョンを生成すること、並びに、
前記画像の調整されたバージョンの少なくとも一部の領域を二値化することを含み、前記領域が、前記機械可読コードを示していることを特徴とするシステム。
【請求項13】
請求項12に記載のシステムにおいて、
優勢な色を有する物質によって少なくとも部分的に覆い隠されている機械可読コードを示している画像をキャプチャするように構成された光学センサをさらに備えることを特徴とするシステム。
【請求項14】
請求項12に記載のシステムにおいて、
前記機械可読コードを少なくとも部分的に覆い隠している物質の優勢な色が、実質的に赤色であることを特徴とするシステム。
【請求項15】
請求項12に記載のシステムにおいて、
前記画像がカラー画像であり、
前記画像の色空間の調整は、前記物質の優勢な色に基づいて、前記カラー画像の色空間をグレースケール表現に変換することを含むことを特徴とするシステム。
【請求項16】
請求項12に記載のシステムにおいて、
前記画像の少なくとも一部の領域を二値化することが、前記画像の少なくとも一部の領域のヒストグラムを色閾値処理することを含むことを特徴とするシステム。
【請求項17】
請求項12に記載のシステムにおいて、
前記動作がさらに、前記画像の調整されたバージョンにおいて、前記機械可読コードを示している領域の位置を特定することを含むことを特徴とするシステム。
【請求項18】
請求項17に記載のシステムにおいて、
前記画像の調整されたバージョンにおいて、前記機械可読コードを示している領域の位置を特定することが、前記画像の調整されたバージョンにおけるコーナー検出または前記画像の調整されたバージョンにおけるエッジ検出のうちの少なくとも一方を実行することを含むことを特徴とするシステム。
【請求項19】
請求項12に記載のシステムにおいて、
前記画像が、優勢な色を有する物質によって汚れた手術用布地に取り付けられた機械可読コードを示していることを特徴とするシステム。
【請求項20】
請求項12に記載のシステムにおいて、
前記機械可読コードが、手術用布地の種類または手術用布地の識別子のうちの少なくとも一方を含むコード化された情報を提示していることを特徴とするシステム。
【請求項21】
請求項12に記載のシステムにおいて、
前記動作がさらに、前記機械可読コードを示している二値化された領域をデコードすることによって、前記機械可読コードによって提示されるコード化された情報を特定することを含むことを特徴とするシステム。
【請求項22】
請求項21に記載のシステムにおいて、
前記動作がさらに、前記機械可読コードによって提示されるコード化された情報の特定に応答して、布地カウンタインデックスをインクリメントすることを含むことを特徴とするシステム。
【請求項23】
機械の1または複数のプロセッサによって実行されたときに、前記機械に動作を実行させる命令を含む機械可読記憶媒体であって、
前記動作が、
画像内で優勢な色を有する物質によって少なくとも部分的に覆い隠されている機械可読コードを示している画像にアクセスすること、
前記機械可読コードを少なくとも部分的に覆い隠している物質の優勢な色に基づいて画像の色空間を調整することにより、画像の調整されたバージョンを生成すること、並びに、
前記画像の調整されたバージョンの少なくとも一部の領域を二値化することを含み、前記領域が、前記機械可読コードを示していることを特徴とする機械可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書に開示の主題は、概して、画像処理を容易にする専用機械の技術分野に関連し、それには、そのような専用機械のソフトウェア構成されたコンピュータ化された態様およびその態様の改善が含まれ、さらに本主題は、そのような専用機械を改良する技術に関する。
【0002】
関連出願
本出願は、2018年10月15日に出願された「METHODS AND SYSTEMS FOR PROCESSING AN IMAGE」という名称の米国仮特許出願第62/745,577号の優先権の利益を主張するものであり、その内容は引用により全体が本明細書に援用されるものとする。
【背景技術】
【0003】
アイテムに関する情報をパッケージ化する一般的な方法の1つは、アイテムを機械可読コードなどの固有の視覚的グラフィックと関連付けることである。例えば、特定のアイテムに関連付けられた機械可読コードは、そのアイテムに関する識別情報、そのアイテムに関する説明情報、またはその両方を含むことができ、機械可読コードは、関連付けられたアイテムを他の(例えば、類似の)アイテムと区別するために使用することができる。
【0004】
一般に、データを含むバーコードおよび他のグラフィックは、機械で読み取り可能であり、機械可読コードによって表される情報を解釈するためのより速く、より正確な方法を提供することができる。例えば、機械可読コードは、専用の光学スキャナによって読み取られ、解釈される。別の例として、機械可読コードは、画像処理技術によって読み取られ、解釈される。
【0005】
しかしながら、視覚的な機械可読コードを読み取るための従来の画像処理技術は、画像が機械可読コードを明確に示すことができない場合に、不正確または不完全な結果をもたらす可能性がある。例えば、いくつかの例では、機械可読コードが部分的に覆い隠されていたり、ぼやけていたりする場合がある。例えば、従来の画像処理技術では、2D機械可読コード(例えば、QRコード)が物質で汚れていると、その物質によって、2D機械可読コードのパターン化されたマトリックス中の異なる陰影の要素(例えば、ブロック)を区別することがより難しくなるため、2D機械可読コードを正確に処理することが難しい場合がある。
【図面の簡単な説明】
【0006】
いくつかの例示的な実施形態は、例示であって、添付の図面に限定されるものではない。
図1図1は、いくつかの例示的な実施形態に係る、画像を処理するためのシステムを示す概略図である。
図2図2は、いくつかの例示的な実施形態に係る、画像を処理する方法を実行する際のシステムの動作を示すフローチャートである。
図3図3A図3Hは、いくつかの例示的な実施形態に係る、図2の方法に従って画像化および処理された機械可読コードを例示する写真である。
図4図4は、いくつかの例示的な実施形態に係る、機械可読媒体から命令を読み取って、本明細書で記載の方法のうちの1または複数を実行することができる機械のコンポーネントを示すブロック図である。
【発明を実施するための形態】
【0007】
例示的な方法(例えば、手順またはアルゴリズム)は、物質(例えば、血液)で汚れた機械可読コードの画像処理を含む画像処理を容易にし、例示的なシステム(例えば、専用ソフトウェアによって構成された専用機械)は、そのような画像処理を容易にするように構成されている。実施例は、単に可能性のある態様の代表例に過ぎない。特に明示しない限り、構造(例えば、モジュールなどの構造的なコンポーネント)は任意であり、組み合わせたり、分割したりすることができ、(例えば、手順、アルゴリズム、または他の機能における)動作は、順序が異なるか、または組み合わせたり、分割したりすることができる。以下の説明では、説明のために、様々な例示的な実施形態の完全な理解を提供するために、多くの具体的な詳細が記載されている。しかしながら、当業者には、本主題がそれらの具体的な詳細なしに実施され得ることが明らかであろう。
【0008】
いくつかの例示的な実施形態において、機械可読コードの画像を処理する方法は、コード化された情報を含む機械可読コードの画像を受信するステップであって、機械可読コードが、優勢な色を有する物質によって少なくとも部分的に覆い隠されているステップと、優勢な色に基づいて画像の色空間を調整することにより、調整画像を生成するステップと、画像の少なくとも機械可読コード領域を二値化するステップとを含み、画像の機械可読コード領域が、機械可読コードを示している。本方法は、光学センサで機械可読コードの画像をキャプチャするステップ、または二値化された機械可読コード領域をデコードして、コード化された情報を特定するステップ、またはその両方をさらに含むことができる。
【0009】
特定の例示的な実施形態において、機械可読コードの画像を処理するシステムは、1または複数のプロセッサを含み、当該プロセッサが、コード化された情報を含む機械可読コードの画像を(例えば、少なくとも)受信するように構成され、機械可読コードが、優勢な色を有する物質によって少なくとも部分的に覆い隠されており、当該プロセッサがさらに、優勢な色に基づいて画像の色空間を調整することによって調整画像を生成し、画像の少なくとも機械可読コード領域を二値化するように構成され、画像の機械可読コード領域が、機械可読コードを示している。1または複数のプロセッサは、二値化された機械可読コード領域をデコードして、コード化された情報を特定するようにさらに構成することができる。いくつかの態様では、システムが、機械可読コードの画像をキャプチャするように構成された光学センサを含む。
【0010】
様々な例示的な実施形態では、受信またはキャプチャされた画像がカラー画像であり、このカラー画像の色空間をグレースケール表現に調整することによって(例えば、物質の優勢な色に関連する色チャネル、または類似する色チャネルを分離することによって)、画像を少なくとも部分的に調整することができる。機械可読コードの領域は、コーナー検出技術、エッジ検出技術、他の適切なコンピュータビジョン技術、またはそれらの任意の適切な組合せなどの技術によって、画像内で位置を特定することができる。さらに、追加の画像処理(例えば、1または複数の色閾値処理を伴うまたは伴わない二値化)を実行して、解釈(例えば、デコード)のために、画像の機械可読コードの領域をさらに処理(例えば、「クリーニング」)することができる。
【0011】
本明細書に記載の方法およびシステムは、例えば、手術用布地に関連付けられた(例えば、手術用布地に取り付けられた、手術用布地を代表する、または他の方法で手術用布地に対応する)機械可読コードの画像の処理など、様々な用途に使用することができ、機械可読コードが1または複数の体液(例えば、血液)で少なくとも部分的に覆い隠されている場合がある。例えば、機械可読コード上の物質の優勢な色は赤色であり、機械可読コードの画像が、画像の色空間内で画像の赤色チャネルを分離することによって調整されるものであってもよい。機械可読コードは、ユーザに有用な情報を提供し得る任意の適切なコード化された情報(例えば、関連する手術用布地の一意の識別子、関連する手術用布地の種類、またはその両方)を含むことができる。例えば、機械可読コードのコード化された情報を特定し、機械可読コードに関連付けられた手術用布地の識別子を判定することに応答して(例えば、その際に)、布地カウンタインデックスをインクリメントするようにしてもよい。その後、布地カウンタインデックスの値を、ディスプレイ上の出力、オーディオデバイスを介した出力、またはその両方で提示することができる。
【0012】
いくつかの例示的な実施形態では、システムは、
1または複数のプロセッサと、
命令を記憶するメモリとを備え、命令は、1または複数のプロセッサによって実行されると、1または複数のプロセッサに動作を実行させ、前記動作が、
画像内で優勢な色を有する物質によって少なくとも部分的に覆い隠されている機械可読コードを示している画像にアクセスすること、
機械可読コードを少なくとも部分的に覆い隠している物質の優勢な色に基づいて画像の色空間を調整することにより、画像の調整されたバージョンを生成すること、並びに、
画像の調整されたバージョンの少なくとも一部の領域を二値化することを含み、前記領域が、機械可読コードを示している。
【0013】
特定の例示的な実施形態では、方法は、
機械の1または複数のプロセッサによって、画像内で優勢な色を有する物質によって少なくとも部分的に覆い隠されている機械可読コードを示している画像にアクセスするステップと、
機械の1または複数のプロセッサによって、機械可読コードを少なくとも部分的に覆い隠している物質の優勢な色に基づいて画像の色空間を調整することにより、画像の調整されたバージョンを生成するステップと、
機械の1または複数のプロセッサによって、画像の調整されたバージョンの少なくとも一部の領域を二値化するステップとを備え、前記領域が、機械可読コードを示している。
【0014】
様々な例示的な実施形態では、機械可読媒体は、機械の1または複数のプロセッサによって実行されると、機械に動作を実行させる命令を含み、前記動作が、
画像内で優勢な色を有する物質によって少なくとも部分的に覆い隠されている機械可読コードを示している画像にアクセスすること、
機械可読コードを少なくとも部分的に覆い隠している物質の優勢な色に基づいて画像の色空間を調整することにより、画像の調整されたバージョンを生成すること、並びに、
画像の調整されたバージョンの少なくとも一部の領域を二値化することを含み、前記領域が、機械可読コードを示している。
【0015】
一般に、本明細書に記載の方法およびシステムは、1または複数の機械可読コードの画像を処理するために使用することができる。すなわち、画像は、光学デバイスによって読み取り可能な1または複数の機械可読コードを示している。そのような光学的に読み取り可能なコードの例には、バーコード(例えば、線形バーコードまたは他の一次元(1D)バーコード、またはQRコードなどの二次元(2D)バーコード)、および/または白と黒の要素または他の光学的に対照的な要素のパターン化されたマトリックスのように、光学的に読み取り可能な形態でコード化された情報を持つ他の適切なグラフィックが含まれる。そのような機械可読コードは、機械可読コードに関連付けられた(例えば、機械可読コードに取り付けられた、機械可読コードを代表する、または他の方法で機械可読コードに対応する)1または複数のアイテムに関する情報を提供するために、様々な用途で使用することができる。例えば、手術および他の医療処置の間に、手術用布地(例えば、患者の血液を含む様々な流体を吸収するために使用される手術用スポンジまたは他のアイテム)は、機械可読コードを含むことができ、各機械可読コードが特定の手術用布地に関連付けられるようになっている。いくつかの状況では、機械可読コードは、手術用布地に縫い付けられるか、または他の方法で取り付けられたタグに描かれている(例えば、印刷されている、織られている)場合がある。ある状況では、機械可読コードは、手術用布地自体に描かれている場合もある。機械可読コードは、製造者、種類、材料、サイズ、識別子(例えば、手術用布地の中でその手術用布地に固有のシリアル番号)またはそれらの任意の適切な組合せなど、関連する手術用布地に関するコード化された情報を含むことができる。このため、機械可読コードは、そこに含まれるコード化された情報を取得および利用するために、スキャンされて(例えば、画像化されて)、コンピュータビジョン技術などのデコードプロセスによって解釈され得る。
【0016】
状況によっては、手術用布地を追跡し、患者に誤って保持された可能性のある手術用布地を特定するために、手術用布地に関連する機械可読コードが、医療処置(例えば、外科処置)の前と後の両方でスキャンされる。このようなスキャンは、手術用布地の「前」および「後」のカウントを提供することができる。「前」と「後」のカウントの間に矛盾があると、明らかに欠落している布地を見付け、再カウントを実行し、患者のX線スキャンを実行し、または他のリスク軽減を実行するように、医療スタッフを促すことができる。
【0017】
しかしながら、医療処置中に、手術用布地上の機械可読コードが血まみれになるか、または他の方法で(例えば、他の体液で)汚れることがある。機械可読コードが暗い要素と明るい要素(例えば、マトリクスの明暗のセグメント)を含む状況では、暗い色の物質(例えば、血液)が、少なくとも部分的に機械可読コードを覆い隠して、機械可読コードの正確なスキャンに干渉するか、あるいはスキャンを妨げる可能性がある。上述した手術用布地のカウントに関して、機械可読コードのそのような潜在的に誤ったスキャンは、カウントが正しいかどうか(例えば、「後」のカウント)の不確実性につながる可能性がある。誤ったカウントは、医療スタッフが、患者に保持されている手術用布地があると誤って結論付けること、または、より悪いことには、すべての手術用布地の所在が説明されて、すべての布地が患者から取り除かれたと誤って結論付ける可能性がある。本明細書に記載の方法およびシステムは、機械可読コードの画像を処理することができ、機械可読コードの不明瞭化によるエラーに対してロバストである。
【0018】
さらに、本明細書に記載の方法およびシステムのいくつかの例示的な実施形態は、同じ医療処置または同じ医療セッション内で手術用布地を追跡するために使用することができるが、他の例示的な実施形態は、追加的または代替的に、異なる医療処置または医療セッション間で手術用布地を追跡するために使用することができる。手術用布地は、(例えば、看護師または他の人が異なる部屋間を移動するときに、または看護師等とともに)異なる医療セッション間で不注意に移動することがある。これは、初期セッション、最終セッションまたはその両方で移動する手術用布地の不注意な重複カウントなどにより、初期セッション、最終セッションまたはその両方において、不正確な布地カウントにつながる可能性がある。このため、いくつかの例示的な実施形態では、異なる医療処置中に使用された布地を識別し、手術用布地の追跡、手術用布地のカウント、またはその両方の精度を向上させるために、本明細書に記載の方法およびシステムを使用することができる。
【0019】
本明細書に記載の方法およびシステムは、病院または診療所の環境(例えば、手術室)、軍事環境(例えば、戦場)、または他の適切な医療処置の環境を含む、様々な環境で使用することができる。本明細書に記載の方法は、コンピュータで実行され、1または複数のプロセッサによって少なくとも部分的に実行され得る。図1に示すように、本明細書に記載の方法は、手術室または他の医療環境で1または複数の手術用布地の画像をキャプチャして、得られた画像を処理するように構成されたモバイルデバイス150(例えば、タブレット、スマートフォン)などのコンピュータデバイスによって少なくとも部分的に実行され得る。さらに、本明細書に記載の方法は、モバイルデバイス150とは別の(例えば、手術室内のまたは手術室外のリモートにある)1または複数のプロセッサによって実行され得る。
【0020】
機械可読コードの画像を処理する方法
図2に示すように、いくつかの例示的な実施形態によれば、機械可読コードの画像を処理する方法200が、コード化された情報を含む機械可読コードの画像を受信するステップ(動作210)を含み、機械可読コードが、優勢な色を有する物質によって少なくとも部分的に覆い隠されている。この方法200は、優勢色に基づいて、画像の色空間を調整することにより、調整された画像を生成するステップ(動作220)も含む。本方法200は、少なくとも画像の機械可読コードの領域を二値化するステップをさらに含み(動作230)、画像の機械可読コードの領域が、機械可読コードを表示している。本方法200は、二値化された機械可読コード領域をデコードして、コード化された情報を特定するステップ(動作250)をさらに含む。いくつかの態様では、本方法200が、機械可読コードの画像をキャプチャするステップ(動作208)をさらに含む。ある態様では、図2に示す動作(例えば、ステップ)が、図示の順序とは異なる順序で実行される。
【0021】
図2に示すように、本方法200のいくつかの例示的な実施形態は、機械可読コードの画像をキャプチャするステップ(動作208)、または機械可読コードの少なくとも1つの画像を生成するか、または他の方法で取得するステップを含む。機械可読コードの1または複数の画像は、適切なデータ記憶媒体(例えば、ローカルまたはリモート)のデータベースに格納されるようにしてもよい。このため、動作210における機械可読コードの画像の受信は、メモリまたは他の適切なストレージから画像を受信することを含むことができる。例えば、画像は、前もって取得されて、記憶媒体に格納されたものであってもよい。各画像は、機械可読コードに関連付けられた(例えば、取り付けられた)手術用布地全体を示すものであっても、機械可読コードに関連付けられた手術用布地の一部分のみを示すものであってもよい。手術用布地は、例えば、手術用スポンジ、手術用ドレッシング、タオルまたは他の適切な布地であってもよい。
【0022】
各画像は、単一の静止画像、またはビデオフィードからの画像フレームであってもよく、例えばカメラの視野内に、対応する機械可読コードを示している領域(例えば、機械可読コードの領域)を含むことができる。カメラは、ハンドヘルドデバイスまたはモバイルデバイス(例えば、タブレット)に含まれるものであってもよい。カメラは、テーブルなどの支持体に取り付けられるものであってもよく、あるいはオーバーヘッドカメラであってもよい。画像は、色空間(例えば、RGB、CMYKなど)内の各ピクセルの成分値を持つ、色の特性をキャプチャする光学画像であってもよい。画像は、メモリまたは適切なデータストレージモジュール(例えば、ローカルまたはリモート)に格納されて、処理されるものであってもよい。画像の処理には、1または複数の光学的基準(例えば、色基準)のセットに基づいて画像の色特性を正規化することが含まれる。色基準は、例えば、1または複数の赤の色相(例えば、異なる赤の色相のボックスを含むグリッド)を表すことができる。画像の正規化には、色基準を利用して、医療処置(例えば、外科処置)全体の照明条件の変動を補正すること、画像の照明条件をテンプレート画像に人為的に一致させること、画像の照明条件を光条件依存の流体成分濃度モデルに人為的に一致させること、またはそれらの任意の適切な組合せが含まれる。例えば、画像の正規化には、画像内にキャプチャされた色基準を特定すること、特定された色基準に関連する割り当てられた色値を決定すること、並びに、画像内の色基準の色値が、色基準に関連する割り当てられた色値と実質的に一致するように画像を調整することが含まれる。割り当てられた色値は、例えば、データベースで色基準を調べることによって決定することができる(例えば、コード、色基準のセット内の位置、導管の既知の特徴に対する位置、またはそれらの任意の適切な組合せによって識別される)。画像の調整には、例えば、露出、コントラスト、彩度、温度、色合い、またはそれらの任意の適切な組合せの調整が含まれる。
【0023】
画像の前処理
本方法200は、例えば、画像に示される機械可読コードを少なくとも部分的に覆い隠している物質の優勢な色に基づいて画像の色空間を調整することによって、調整された画像を生成するステップ(動作220)を含むことができる。いくつかの例示的な実施形態では、色(例えば、機械可読コードを少なくとも部分的に覆い隠している物質の優勢な色に類似するカラーチャネル)を分離することによる色変換が、機械可読コードの1または複数の特徴(例えば、要素またはセグメント)を覆い隠している物質の影響を軽減することができる。例えば、血液は、他の色の光(例えば、620~740nmの範囲外の他の波長の光)よりも、赤色の光(例えば、620~740nmの範囲内の波長の光、またはこの範囲の一部、例えば635~700nmの波長の光)の吸収が少なく、赤色の光の反射が多い傾向がある。機械可読コードが白の要素と黒の要素を含む例では、血液で汚れた白の要素は黒の要素と誤読される可能性がある。例えば、画像が赤、緑、青(RGB)の色成分を持っていると仮定すると、白のピクセルは赤のピクセルと実質的に同じ赤(R)の値を持っているが、白のピクセルはさらに緑(G)と青(B)の値を持っている。このため、(例えば、画像の緑(G)および青(B)チャネルを除去することにより)画像の赤(R)チャネルを分離すると、機械可読コードの血痕のある白の要素が、機械可読コードの本来の白の要素として識別できるようになり、血痕のある白の要素は、機械可読コードの黒の要素から明確になる。したがって、画像の赤色チャネルは分離されてもよく(例えば、調整された画像に保持されてもよく)、調整された画像において、機械可読コードの血液で覆い隠された白色の特徴が、機械可読コードの覆い隠されていない白色の特徴(例えば、血液で覆い隠されていない要素)と同様に見えるようになる。
【0024】
他の例示的な実施形態では、予め規定された色空間(例えば、RGB、XYZ、CIE-LAB、YCrCb、CMYKなど)の1または複数の色チャネルなど、1または複数の他の色チャネルが分離される(例えば、調整された画像に保持される)。追加的または代替的には、他のカラーマッピングを使用して画像を前処理するようにしてもよい。例えば、本方法200のいくつかの態様は、既存の色空間(例えば、RGBまたは画像のキャプチャに使用される光学センサの他の色空間)から別の色空間にマッピングする線形または非線形の方程式(例えば、予め規定された方程式)を適用する。特定の例示的な実施形態では、本方法200は、SYM回帰、ニューラルネットワーク、K近傍法、局所重み付き線形回帰、決定木回帰、またはそれらの任意の適切な組合せなどの機械学習技術を使用してデータから学習されるマッピングを適用する。
【0025】
様々な例示的な実施形態では、本方法200が、他の適切な方法で画像を調整するステップをさらに含む。いくつかの状況では、機械可読コード上の血液などの物質が、問題なことにテクスチャ情報と干渉し、偽のテクスチャを作り出し、またはその両方であり、画像の機械可読コード領域の位置特定(動作240)が、コーナー検出、エッジ検出、またはその両方に基づくものとなる。機械可読コード上の物質がコーナーを塞いで、コーナーをあまりシャープに見せず、偽のコーナーを作成し(例えば、グレア、凝血などによる)、またはそれらの任意の組合せである場合、本方法200は、(例えば、信号対雑音比を増加させることにより)高周波ノイズを低減し、エッジおよびコーナーのシャープさを維持するために高周波信号を保存または復元するステップをさらに含むことができる。例えば、高周波ノイズは、適切な平滑化アルゴリズム(例えば、ガウスぼかし、中央値ぼかし、またはそれらの任意の適切な組合せ)を使用して低減することができる。さらに、1または複数の高周波信号を保存または復元することは、例えば、適切なぼけ除去アルゴリズム(例えば、アンシャープフィルタリング、適切な最適化ベースのアルゴリズムなど)を用いて達成することができる。
【0026】
別の例として、本方法200は、適切な閾値を用いて画像にバイラテラルフィルタを適用することによって、高周波信号を保存しつつ高周波ノイズを低減することができる。追加的または代替的には、トレーニングされたニューラルネットワークまたは他の機械学習モデルは、機械可読コードの画像を入力として取り込んで、適切な前処理または調整された画像を出力することができ、モデルは、所望の方法により手動で処理された(例えば、手動で「クリーニングされた」)画像を使用してトレーニングされ得る。
【0027】
機械可読コードの位置特定
本方法200は、機械可読コードを示す画像の領域の位置を特定する(例えば、画像の機械可読コード領域の位置を特定する)ステップ(動作230)を含むことができる。この領域の位置の特定には、画像内の機械可読コードの位置、機械可読コードのサイズ、機械可読コードの外周、機械可読コードの向き、機械可読コードの他の任意の適切な物理的側面、またはそれらの任意の適切な組合せを推定することが含まれる。いくつかの例示的な実施形態では、1または複数の適切なコンピュータビジョン技術を使用して、機械可読コードの1または複数の際立った特徴、例えば、コーナー、コーナーに近い直線エッジ、互いに90度であるエッジ方向、同一直線上のエッジ、特定の空間周波数帯域、双峰性の色分布、またはそれらの任意の適切な組合せを見付ける。一例として、本方法200は、機械可読コードに関連するL字形のファインダーパターン、機械可読コードに関連する画像内の白黒交互のタイミングパターン、またはその両方を見付けることを含むことができる。
【0028】
いくつかの例示的な実施形態では、ニューラルネットワークモデル(例えば、Fast-RCNN、YOLO、SSD、またはオブジェクト検出および位置特定タスクに適した他のアーキテクチャ)または他の機械学習モデルが、未処理の画像、または(例えば、方法200の動作230など、機械可読コードの位置を特定することの一部として)上述した方法と同様に処理された前処理済みの画像から、機械可読コードの位置を予測するようにトレーニングされる。そのようなニューラルネットワークは、例えば、機械可読コードの十分な数の不明瞭な(例えば、血まみれの)画像を用いてトレーニングされ、不明瞭さに対してロバストな特徴を抽出することができる。
【0029】
いくつかの例示的な実施形態では、(例えば、方法200の動作230において機械可読コードの位置を特定することの一部として)コーナー検出アルゴリズム(例えば、Harrisコーナー検出アルゴリズム)が、画像内の座標のヒートマップ値を有するヒートマップを得るために使用される。座標のヒートマップ値は、例えば、座標の周りをスライドする際のスライドウィンドウ内の変化率(例えば、輝度の変化率)を分析することによって生成することができる。例えば、変化量をスライドウィンドウのオフセットの2次関数で近似し、あらゆる方向の変化率のうち最も低いものを求めてヒートマップ値として使用することができる。このため、高いヒートマップ値は、スライドウィンドウがどの方向にも大きく変化することを意味し(例えば、コーナー)、一方、低いヒートマップ値は、ウィンドウを大きく変化させない方向が少なくとも1つあることを意味する(例えば、ロングエッジ)。また、画像内の座標は、そのヒートマップ値が第1の所定の上側閾値を超える場合、コーナー座標(例えば、機械読取コードのコーナー)と判定され得る。さらに、画像内の座標は、そのヒートマップ値が、第1の所定の閾値よりも低い第2の所定の下側閾値を上回る場合、直線エッジ座標(例えば、側縁、上縁または下縁に沿う座標)と判定され得る。コーナー座標、およびコーナー座標に空間的に近い任意の直線エッジ座標は、対象の座標のセットと見なすことができる。様々な例示的な実施形態では、より少ないまたは多い閾値を、座標を適切に分類するために使用することができる。
【0030】
外れ値座標(例えば、機械可読コードに由来しない可能性が高い座標、または機械可読コードに対応していない座標)は、(例えば、方法200の動作230において、機械可読コードの位置を特定することの一部として)、中央値、四分位範囲、別の適切な統計的尺度またはそれらの任意の適切な組合せに基づいて、対象の座標から取り除くことができる。外れ値の座標を除去した後、機械可読コードの位置、機械可読コードの領域、機械可読コードの外周、機械可読コードの向き、またはそれらの任意の適切な組合せの初期推定として、(例えば、機械可読コードが一般に長方形であるという仮定の下で)タイトに回転した長方形を残りの対象座標の周りに適合させることができる。
【0031】
いくつかの例示的な実施形態では、(例えば、方法200の動作230において、機械可読コードの位置特定の一部として)上述した機械可読コードの属性の初期推定をその後調整することができる。例えば、機械可読コードの推定領域または機械可読コードの境界は、示された(例えば、画像化された)機械可読コードの既知のアスペクト比と同じまたは類似のアスペクト比(例えば、長さ対幅)を有するように修正され得る。追加的または代替的には、(例えば、一部の線が機械可読コードの何れかの線の方向に対して垂直になるという事実を考慮して、ハフ線の一部を90度回転させた後に)長方形内でハフ変換を行って、結果として得られたハフ線の中央の向きを取ることにより、推定された向きを改善することができる。
【0032】
なお、上述したHarrisのコーナー検出アルゴリズムの適用は、(例えば、方法200の動作230において、機械可読コードの位置を特定することの一部として)異なる機械可読コードの形状に対して修正され得ることを理解されたい。例えば、他の適切な形状を対象の座標の周りに適合させることができ、それは、示された(例えば、画像化された)機械可読コードの形状が既知の場合、それに依存し得る(例えば、円形の機械可読コードに円が適合され、三角形の機械可読コードに三角形が適合され、五角形の機械可読コードに五角形が適合される)。
【0033】
いくつかの例示的な実施形態では、(例えば、方法200の動作230において、機械可読コードの位置を特定することの一部として)、画像内の機械可読コード領域の1つの可能性のある位置を推定した後、推定された機械可読コードの位置を僅かにスケーリングする(例えば、機械可読コード領域の推定された外周を拡大または縮小する)ことによって、複数の潜在的な機械可読コード位置を推定することができる。それらの複数の潜在的な機械可読コードの位置は、少なくとも1の推定された機械可読コードの位置がデコードの成功をもたらすことを意図して、後続のプロセス(例えば、後述する二値化またはデコード)に渡すことができる。
【0034】
二値化
特定の例示的な実施形態では、方法200が、動作230で位置を特定した少なくとも領域(例えば、画像の機械可読コードの領域)を二値化するなど、更なる画像処理(動作240)を含む。本明細書において、「二値化」とは、ある画像または画像のある領域を2つの色(例えば、白などの明るい色と黒などの暗い色)のみに変換することを指している。画像の機械可読コード領域を二値画像(例えば、黒、灰色、白などの少なくとも3つの異なるグレースケールの色合いを持つグレースケール表現とは対照的に、黒と白)に変換する、位置を特定した領域の二値化は、機械可読コードの画像内の物質(例えば、血液)による残留暗色化を除去する効果がある。位置を特定された領域は、その色ヒストグラム、その向きヒストグラム、またはその両方など、その領域に局所的なまたは固有の情報に基づいて、さらに処理することができる。例えば、領域は、(例えば、領域のカラーヒストグラムに基づいて)大津の閾値処理で少なくとも部分的に二値化することができる。他の例示的な実施形態では、二値化の代わりに、ポスタリゼーションまたは3以上の色への色情報の他の量子化が使用される。
【0035】
別の例として、領域(例えば、機械可読コードの領域)を二値化することは、機械可読コードのような形状のグリッドを領域のエッジマップに適合させること、得られたグリッドブロックの中央色のヒストグラムを生成すること、並びに、生成された中央色のヒストグラムに大津の閾値処理を適用することを含むことができる。大津の閾値処理は、どのグリッドブロックが機械可読コードの明るい色の要素に対応し、どのグリッドブロックが機械可読コードの暗い色の要素に対応するのかを判定するために使用することができる。グリッドの線は、線形であるか、または非線形方程式によってパラメータ化され、例えば、グリッドは、非直線的な機械可読コード、湾曲した又は歪んだ機械可読コード、またはその両方を示す画像の領域に適合させることができる。別の例として、いくつかの例示的な実施形態では、ニューラルネットワークまたは他の適切な機械学習モデルを、未処理の画像または上述した方法と同様に処理された前処理済み画像に基づいて、機械可読コードのような形状の予測グリッドを出力するようにトレーニングすることができる。そのようなニューラルネットワークは、例えば、手作業でキュレートされた十分な数のグリッドを用いてトレーニングすることができる。
【0036】
上記の例は、大津の閾値処理を使用するものとして説明されているが、任意の適切な閾値処理技術を適用して、画像の少なくとも領域(例えば、機械可読コードの領域)を二値化できることを理解されたい。
【0037】
デコード
本明細書に記載のように処理(例えば、「クリーニング」)された画像またはその一部(例えば、少なくとも機械可読コードを示す領域)が与えられると、本方法200の特定の例示的な実施形態は、少なくとも機械可読コードを示す領域をデコードすること(動作250)を含む。これは、画像の二値化された機械可読コードの領域をデコードして、機械可読コードに存在するコード化された情報を特定するすることによって実行することができる。機械可読コードを処理(例えば、読み取りおよびデコード)するための任意の適切な技術を適用して、機械可読コードにコード化されている情報(例えば、英数字などのテキスト文字列)を取得することができる。例えば、そのようなアルゴリズムは、垂直方向および水平方向のスキャンラインを使用して、機械可読コード内のL字形のファインダーパターン、交互のタイミングパターン、またはその両方を見付けた後に、結果として得られる位置およびスケール情報を使用して、機械可読コードの各要素(例えば、コンテンツブロック)を評価することができる。その後、デコードおよび誤り訂正方法を使用して、機械可読コードの要素(例えば、コンテンツブロック)をデコードされたデータ(例えば、デコードされた文字列)に変換することができる。
【0038】
機械可読コードの複数の潜在的な位置が推定または推測されている状況では、機械可読コードのデコードが、潜在的な位置の各々について実行され、その結果が互いに比較されるものであってもよい。機械可読コードの潜在的な位置のうちの少なくとも1つがデコードに成功した場合、デコードされた文字列を返す(例えば、その後の使用のために出力する)ようにしてもよい。さらに、いくつかの例示的な実施形態では、デコードされた文字列を返すことが、潜在的な位置の間の十分な一貫性をさらに条件とすることができる。例えば、デコードされた矛盾する文字列をもたらす2つの推測が存在しない場合、または適切な数(例えば、過半数)の推測が同じ共通のデコードされた文字列をもたらす場合に、デコードされた文字列を返すようにしてもよい。
【0039】
デコードされた情報の利用
機械可読コードからデコードされた文字列が返された後、デコードされた文字列の情報は、任意の適切な方法で利用することができ、それは、コード化された情報のタイプに依存し得る。例えば、本方法200は、デコードされた情報に基づいて、布地カウンタインデックスをインクリメントする(例えば、スキャンおよびデコードされた機械可読コードが他のスキャンおよびデコードされた機械可読コードとは異なると判定された場合に、布地カウンタインデックスをインクリメントする)ことを含むことができる。いくつかの例示的な実施形態では、複数の布地カウンタインデックス(例えば、手術用スポンジのための第1のインデックス、チャックスのための第2のインデックスなど)を維持することができる。例えば、コード化された情報は、一意の識別子(例えば、シリアル番号)に加えて、布地の種類(例えば、布地のタイプ)を含むことができ、その結果、機械可読コードがスキャンおよびデコードされることに応答して、その布地の種類に対する対応する布地カウンタインデックスのみがインクリメントされる。
【0040】
さらに、本方法200は、例えば、布地カウンタインデックスを(例えば、その種類の布地のカウントとして)ディスプレイに表示することにより、布地カウンタインデックスを出力すること、またはオーディオデバイス(例えば、スピーカ)を介して可聴カウントとして布地カウンタインデックス(例えば、その種類の布地のカウント)を出力することをさらに含むことができる。
【0041】
機械可読コードの画像を処理するためのシステム
図1に示すように、いくつかの例示的な実施形態によれば、機械可読コードの画像を処理するためのシステム100が、少なくとも1つのプロセッサ152と、内部に命令が格納されたメモリ154とを含む。プロセッサ152は、格納された命令を実行するように構成されており、コード化された情報を含む機械可読コードの画像を受け取るステップであって、機械可読コードが、優勢な色を有する物質によって少なくとも部分的に覆い隠されている、ステップと、優勢な色に基づいて画像の色空間を調整することにより、調整された画像を生成するステップと、画像の少なくとも領域(例えば、機械可読コードの領域)を二値化するステップであって、画像の領域が機械可読コードを示している、ステップと、画像の二値化された領域をデコードしてコード化された情報を特定するステップとを実行するように構成されている。システム100は、特定の例示的な実施形態では、上述した方法200を実質的に実行するように構成することができる。システム100の例は、図4に関連して後でさらに説明する。
【0042】
図1にさらに示すように、システム100は、機械可読コードの1または複数の画像を取得する(例えば、キャプチャするか、または他の方法で生成する)ように構成されたカメラ156を含むことができ、システム100は、機械可読コードの1または複数の画像を表示するように構成されたディスプレイ158(例えば、表示画面)を含むことができる。いくつかの例示的な実施形態では、システム100の一部またはすべてが統合デバイス(例えば、モバイルデバイス150)内にあり、外科手術中に(例えば、手術室内において)患者の近くに配置されて、手術用布地に含まれる(例えば、吸収される)患者の体液を評価することができる。例えば、システム100は、少なくとも部分的に、体内に生じた流体の解析アプリケーションプログラムを実行するように構成された、ハンドヘルドまたはモバイル電子コンピューティングデバイス(例えば、モバイルデバイス150)を含むことができる。そのようなハンドヘルドまたはモバイル電子コンピューティングデバイスは、例えば、タブレットコンピュータ、ラップトップコンピュータ、モバイルスマートフォンまたはそれらの任意の適切な組合せであるか、またはそれらを含むことができ、カメラ156、プロセッサ152およびディスプレイ158を備えることができる。しかしながら、他の例示的な実施形態では、システムコンポーネントの一部またはすべてを、個別の相互接続されるデバイスとして分離することができる。例えば、カメラ156、ディスプレイ158またはその両方は、外科手術中に患者のほぼ近く(例えば、手術室内)に配置され、一方、プロセッサ152は、遠隔地(例えば、カメラ156またはディスプレイ158から離れた手術室内、または手術室外)に配置され、有線または無線接続または他のネットワークを介して、カメラ156およびディスプレイ158と通信するものであってもよい。
【0043】
一般に、1または複数のプロセッサ152は、メモリ154に格納されている命令を実行するように構成されており、プロセッサ152は、命令を実行するときに、本明細書に記載の方法の態様を実行する。命令は、ユーザコンピュータまたは他のユーザデバイス(例えば、モバイルデバイス、リストバンド、スマートフォンまたはそれらの任意の適切な組合せ)内のアプリケーション、アプレット、ホスト、サーバ、ネットワーク、ウェブサイト、通信サービス、通信インターフェース、ハードウェア、ファームウェア、ソフトウェアまたはそれらの任意の適切な組合せと統合されたコンピュータ実行可能なコンポーネントによって実行することができる。命令は、メモリ、またはRAM、ROM、フラッシュメモリ、EEPROM、光ディスク(例えば、CDやDVD)、ハードドライブ、フロッピードライブなどの別のコンピュータ可読媒体、または他の適切なデバイスに格納することができる。
【0044】
上述したように、1または複数のプロセッサ152は、ハンドヘルドまたはモバイルデバイス(例えば、モバイルデバイス150)に組み込まれるものであってもよい。他の例示的な実施形態では、1または複数のプロセッサ152が、クラウドベースのコンピュータシステム、メインフレームコンピュータシステム、グリッドコンピュータシステムまたは他の適切なコンピュータシステムなどの、コンピューティングデバイスまたはシステムに組み込まれている。追加的または代替的には、1または複数のプロセッサ152がリモートサーバに組み込まれ、そのリモートサーバが、手術用布地の画像を受信し、そのような画像を(例えば、上述のように)再構成し、そのような画像を(例えば、上述のように)分析し、手術用布地内の流体の1または複数の側面の定量化を別のコンピューティングデバイスに送信し、その別のコンピューティングデバイスが、ユーザに定量化を表示するディスプレイを有するものであってもよい。1または複数のプロセッサ152の例は、図4に関連して後でさらに説明する。
【0045】
システム100は、1または複数の静止画像のセット、またはビデオフィードの一部として、1または複数の画像を生成するように機能する光学センサを(例えば、カメラ156内に)さらに含むことができる。カメラ156は、カラー光学デジタル画像のピクセルの赤、緑、青(RGB)の色成分、他の適切な光学成分、またはその両方を有するカラー光学デジタル画像をキャプチャする少なくとも1の光学画像センサ(例えば、CCD、CMOSなど)を含むことができる。例えば、カメラ156は、適切な対応する光学系、フィルタ(例えば、ベイヤーパターンフィルタなどのカラーフィルタアレイ)、またはその両方と対になった単一の画像センサを含むことができる。別の例として、カメラ156は、白色光を別々のカラーチャンネル(例えば、RGB)に分割するための少なくとも1のプリズムまたは回折面などの適切な対応する光学系と対になった複数の画像センサを含むことができ、カラーチャンネルの各々が、それぞれの画像センサによって検出される。様々な例示的な実施形態によれば、カメラ156は、カメラ156が画像を生成することができるように、任意の適切な画像センサおよび他の光学部品を含む。
【0046】
カメラ156は、分析のためにプロセッサ152に画像を送信するか、画像を格納するデータベースに送信するか、またはその両方に送信するように構成することができる。前述したように、カメラ156は、システム100の他のコンポーネントの1または複数と同じデバイス(例えば、モバイルデバイス150)に統合されるようにしてもよく、あるいはカメラ156は、画像データを他のコンポーネントに伝送する別個のコンポーネントであってもよい。
【0047】
システム100は、患者情報、手術用布地の画像、手術用布地内の流体を特徴付ける定量化されたメトリクスまたはそれらの任意の適切な組合せに限定されるものではないが、それらを含むシステム100によって生成される情報の一部またはすべてを、ユーザ(例えば、医師または看護師)に表示または他の方法で伝達する(例えば、提示する)ように機能するディスプレイ158(例えば、表示スクリーン)をさらに含むことができる。ディスプレイ158は、ハンドヘルドまたはモバイルデバイスのスクリーン、コンピュータモニタ、テレビスクリーン、プロジェクタスクリーンまたは他の適切なディスプレイを含むことができる。
【0048】
いくつかの例示的な実施形態では、ディスプレイ158が、ユーザが表示された情報と遣り取りすることを可能にするユーザインターフェース(例えば、グラフィカルユーザインターフェース(GUI))を表示するように構成される。例えば、ユーザインタフェースは、ユーザが画像を操作すること(例えば、ズーム、トリミング、回転など)、または画像内の少なくとも機械可読コードを表示する領域を手動で規定することを可能にし得る。別の例として、ユーザインタフェースは、ユーザが表示オプション(例えば、フォント、色、言語など)を選択すること、表示するコンテンツ(例えば、患者情報、定量化メトリクスまたは他の流体関連情報、アラートなど)を選択すること、またはその両方を可能にすることができる。いくつかのそのような例示的な実施形態では、ディスプレイ158が、ユーザ対話型であり、皮膚、スタイラスまたは他のユーザの接触に応答する抵抗性または容量性のタッチスクリーンを含む。他のそのような例示的な実施形態では、ディスプレイ158が、マウス、キーボードまたは他の入力デバイスによって制御されるカーソルを介したユーザ対話型である。
【0049】
いくつかの例示的な実施形態では、システム100が、ユーザに情報を伝達するオーディオシステムを含む。ディスプレイ158、オーディオシステムまたはその両方は、布地カウンタインデックスの現在の値を提供(例えば、提示)することができ、それは、処置中に手術用布地の使用を追跡するのに役立つ場合がある。
【0050】
実施例
図3A図3Hは、いくつかの例示的な実施形態に係る、手術用布地に取り付けられた2D機械可読コードの画像である。これらの機械可読コードは、血液を模倣する赤色染料溶液(例えば、赤い食品着色料を混合した水)を用いて、様々な程度に部分的に覆い隠された。例えば、図3Aに示す機械可読コードは、主に機械可読コードの外側の境界で、染料溶液により僅かに覆われているだけである。図3B図3Hに示す機械可読コードは、概して、染料溶液でより大きく覆われている。
【0051】
モバイルデバイス(例えば、モバイルデバイス150)の機械可読コードリーダアプリ(例えば、QRコードを読み取るように構成されたもの)を使用して、図3A図3Hに示す機械可読コードの各々をスキャンおよびデコードすることを試みた。機械可読コードリーダは、図3Aの機械可読コードのデコードに成功したが、図3B図3Hの機械可読コードのデコードに失敗した。
【0052】
カラー(RGB)画像は、カメラ(例えば、カメラ156)により撮影され、R(赤)チャネル値のみを分離して取得することによってグレースケール表現に変換された。各画像について、Harrisコーナー検出器を適用し(例えば、Harrisコーナー検出アルゴリズムを実行し)、ヒートマップ値を閾値処理してコーナー座標および直線エッジ座標を特定し、コーナー座標および直線エッジ座標の中から外れ値を除去し、得られた残りの座標に長方形を適合させることにより、機械可読コードを示す領域の複数の推測を生成した。さらに、画像中の機械可読コード領域を大津の閾値処理で前処理し、機械可読コードを示す位置の特定された領域を二値化した後、正常にデコードされた文字列を検索するために機械可読コード処理アルゴリズムに入力した。各機械可読コードについて、機械可読コードの領域の複数の推測のうち、デコードに成功した推測領域が存在し、かつデコードされた結果に矛盾がない場合に、デコードされた文字列が返された。このプロセスを繰り返した結果、図3A図3Hに示す機械可読コードのすべてにおいて、機械可読コードのデコードに成功した。
【0053】
本明細書に記載のコンポーネントのうちの任意の1または複数は、ハードウェアのみまたはハードウェアとソフトウェアの組合せを使用して実装され得る。例えば、本明細書に記載の任意のコンポーネントは、そのコンポーネントについて本明細書に記載の動作を実行するように構成された1または複数のプロセッサ(例えば、プロセッサ152)の配置を物理的に含むことができる。別の例として、本明細書に記載の任意のコンポーネントは、そのコンポーネントについて本明細書に記載の動作を実行するように1または複数のプロセッサ(例えば、プロセッサ152)の配置を構成するソフトウェア、ハードウェア、またはその両方を含むことができる。このため、本明細書に記載の様々なコンポーネントは、様々な時点でプロセッサの様々な配置、または様々な時点でそのようなプロセッサの単一の配置を含みかつ構成することができる。本明細書に記載の各コンポーネントは、そのコンポーネントについて本明細書に記載の動作を実行するための手段の一例である。さらに、本明細書に記載の任意の2以上のコンポーネントを組み合わせて単一のコンポーネントにすることができ、単一のコンポーネントについて本明細書に記載の機能を複数のコンポーネントに分割することができる。さらに、様々な例示的な実施形態によれば、単一のシステムまたは機械(例えば、単一のデバイス)内に実装されるものとして本明細書に記載されたコンポーネントは、複数のシステムまたは機械(例えば、複数のデバイス)に分散されるようにしてもよい。
【0054】
本明細書に記載のシステムまたは機械(例えば、デバイス)の何れかは、そのシステムまたは機械について本明細書に記載の1または複数の機能を実行するように変更された専用の(専門化した、または非従来および非汎用の)コンピュータであるか、そのような専用のコンピュータを含むか、またはそのような専用のコンピュータに実装される(例えば、専用のアプリケーション、オペレーティングシステム、ファームウェア、ミドルウェアまたは他のソフトウェアプログラムの1または複数のソフトウェアモジュールなどの専用のソフトウェアによって構成またはプログラムされる)ものであってもよい。例えば、本明細書に記載の方法論の何れか1つ以上を実行することができる専用のコンピュータシステムについては、図4に関連して後述するが、そのような専用のコンピュータは、本明細書に記載の方法論の何れか1つ以上を実行するための手段となり得る。そのような専用のコンピュータの技術分野において、本明細書に記載の機能を実行するために本明細書に記載の構造によって特別に変更された(例えば、専用のソフトウェアによって構成された)専用のコンピュータは、本明細書に記載の構造を欠く他の専用のコンピュータ、あるいは本明細書に記載の機能を実行することができない他の専用のコンピュータと比較して、技術的に改善されている。したがって、本明細書に記載のシステムおよび方法に従って構成された専用の機械は、同様の専用の機械の技術に対する改善を提供する。さらに、本明細書に記載のシステムまたは機械のうちの任意の2以上を組み合わせて単一のシステムまたは機械にすることができ、任意の単一のシステムまたは機械について本明細書に記載の機能を複数のシステムまたは機械の間で細分することができる
【0055】
図4は、いくつかの例示的な実施形態に係る、機械可読媒体422(例えば、非一時的な機械可読媒体、機械可読記憶媒体、コンピュータ可読記憶媒体、またはそれらの任意の適切な組合せ)から命令424を読み取り、本明細書に記載の方法論のうちの任意の1つまたは複数を全体的または部分的に実行することができる、機械400(例えば、モバイル150)のコンポーネントを示すブロック図である。具体的には、図4は、コンピュータシステム(例えば、コンピュータ)の例示的な形態の機械400を示しており、その中には、機械400に本明細書に記載の方法論のうちの任意の1つまたは複数を実行させるための命令424(例えば、ソフトウェア、プログラム、アプリケーション、アプレット、アプリまたは他の実行可能コード)が、全体的または部分的に実行され得る。
【0056】
代替的な実施形態では、機械400が、スタンドアロンデバイスとして動作するか、または他の機械に通信可能に接続(例えば、ネットワーク化)されるものであってもよい。ネットワーク展開では、機械400が、サーバ・クライアントネットワーク環境におけるサーバマシンまたはクライアントマシンの能力で動作するか、或いは分散型(例えば、ピアツーピア)ネットワーク環境におけるピアマシンとして動作するものであってもよい。機械400は、サーバコンピュータ、クライアントコンピュータ、パーソナルコンピュータ(PC)、タブレットコンピュータ、ラップトップコンピュータ、ネットブック、携帯電話、スマートフォン、セットトップボックス(STB)、パーソナルデジタルアシスタント(PDA)、ウェブアプライアンス、ネットワークルータ、ネットワークスイッチ、ネットワークブリッジ、または、その機械によって取られる動作を指定する命令424を順次または他の方法で実行することができる任意の機械であってもよい。さらに、単一の機械のみが示されているが、「機械」という用語は、個別にまたは共同で命令424を実行して、本明細書に記載の方法論のうちの1または複数のすべてまたは一部を行う機械の任意の集合体を含むと解釈されるべきである。
【0057】
機械400は、プロセッサ402(例えば、1または複数の中央処理装置(CPU)、1または複数のグラフィックス処理装置(GPU)、1または複数のデジタル信号プロセッサ(DSP)、1または複数の特定用途向け集積回路(ASIC)、1または複数の無線周波数集積回路(RFIC)またはそれらの任意の適切な組合せ)、メインメモリ404およびスタティックメモリ406を含み、それらがバス408を介して互いに通信するように構成されている。プロセッサ402は、命令424の一部または全部によって一時的または恒久的に構成可能なソリッドステートデジタルマイクロ回路(例えば、電子、光学、またはその両方)を含み、プロセッサ402が本明細書に記載の方法論のうちの任意の1または複数を全体的または部分的に実行するように構成可能となっている。例えば、プロセッサ402の1または複数のマイクロ回路のセットは、本明細書に記載の1または複数のモジュール(例えば、ソフトウェアモジュール)を実行するように構成可能であってもよい。いくつかの例示的な実施形態では、プロセッサ402がマルチコアCPU(例えば、デュアルコアCPU、クアッドコアCPU、8コアCPUまたは128コアCPU)であり、その中で、複数のコアの各々が、本明細書に記載の方法論のうちの任意の1または複数を全体的または部分的に実行することができる別個のプロセッサとして動作する。本明細書に記載の有益な効果は、少なくともプロセッサ402を有する機械400によって提供することができるが、それらの同じ有益な効果は、プロセッサを含まない機械が本明細書に記載の方法論のうちの1または複数を実行するように構成されている場合、そのようなプロセッサを含まない別の種類の機械(例えば、純粋な機械システム、純粋な油圧システム、または機械-油圧ハイブリッドシステム)によって提供することもできる。
【0058】
機械400は、グラフィックディスプレイ410(例えば、プラズマディスプレイパネル(PDP)、発光ダイオード(LED)ディスプレイ、液晶ディスプレイ(LCD)、プロジェクタ、陰極線管(CRT)またはグラフィックもしくはビデオを表示することができる他の任意のディスプレイ)をさらに含むことができる。また、機械400は、英数字入力デバイス412(例えば、キーボードまたはキーパッド)、ポインタ入力デバイス414(例えば、マウス、タッチパッド、タッチスクリーン、トラックボール、ジョイスティック、スタイラス、モーションセンサ、アイトラッキングデバイス、データグローブ、または他のポインティング機器)、データストレージ416、オーディオ生成デバイス418(例えば、サウンドカード、アンプ、スピーカ、ヘッドフォンジャック、またはそれらの任意の適切な組合せ)、およびネットワークインターフェースデバイス420を含むことができる。
【0059】
データストレージ416(例えば、データストレージデバイス)は、本明細書に記載の方法論または機能のうちの任意の1または複数を具現化する命令424が格納されている機械可読媒体422(例えば、有形で非一時的な機械可読記憶媒体)を含む。また、命令424は、機械400によるその実行前または実行中に、完全にまたは少なくとも部分的に、メインメモリ404内、スタティックメモリ406内、プロセッサ402内(例えば、プロセッサのキャッシュメモリ内)、またはそれらの任意の適切な組合せに常駐することができる。このため、メインメモリ404、スタティックメモリ406およびプロセッサ402は、機械可読媒体(例えば、有形で非一時的な機械可読媒体)と見なすこともできる。命令424は、ネットワークインターフェイスデバイス420によりネットワーク490を介して送信または受信することができる。例えば、ネットワークインターフェイスデバイス420は、任意の1または複数の転送プロトコル(例えば、ハイパーテキスト転送プロトコル(HTTP))を使用して命令424を伝送することができる。
【0060】
いくつかの例示的な実施形態では、機械400が、ポータブルコンピューティングデバイス(例えば、スマートフォン、タブレットコンピュータまたはウェアラブルデバイス)であり、1または複数の追加の入力コンポーネント430(例えば、センサまたはゲージ)を有する。このような入力コンポーネント430の例としては、画像入力コンポーネント(例えば、1または複数のカメラ)、オーディオ入力コンポーネント(例えば、1または複数のマイクロフォン)、方向入力コンポーネント(例えば、コンパス)、位置入力コンポーネント(例えば、グローバルポジショニングシステム(GPS)受信機)、向きコンポーネント(例えば、ジャイロスコープ)、動き検出コンポーネント(例えば、1または複数の加速度計)、高度検出コンポーネント(例えば、高度計)、温度入力コンポーネント(例えば、温度計)およびガス検出コンポーネント(例えば、ガスセンサ)が挙げられる。これらの入力コンポーネント430のうちの任意の1または複数によって収集された入力データは、本明細書に記載のモジュールの何れかによってアクセス可能であり、使用可能である(例えば、ユーザの好み、適用される規制、またはそれらの任意の適切な組合せに従って実装された、オプトイン同意またはオプトアウト同意などの適切なプライバシ通知および保護を伴う)。
【0061】
本明細書において、「メモリ」という用語は、データを一時的または永続的に保存することができる機械可読媒体を指し、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、バッファメモリ、フラッシュメモリおよびキャッシュメモリを含むとみなされるが、これらに限定されるものではない。機械可読媒体422は、例示的な実施形態では単一の媒体であることが示されているが、「機械可読媒体」という用語は、命令を格納することができる単一の媒体または複数の媒体(例えば、集中型または分散型のデータベース、または関連するキャッシュおよびサーバ)を含むものとみなされるべきである。また、「機械可読媒体」という用語は、機械400の1または複数のプロセッサ(例えば、プロセッサ402)によって命令424が実行されたときに、本明細書に記載の方法論のうちの任意の1または複数を機械400に全体的または部分的に実行させるように、機械400による実行のための命令424を運ぶ(例えば、記憶または伝達する)ことができる任意の媒体または複数の媒体の組合せを含むものとみなされる。このため、「機械可読媒体」とは、単一のストレージ装置またはデバイスだけでなく、複数のストレージ装置またはデバイスを含むクラウドベースのストレージシステムまたはストレージネットワークも指している。「機械可読媒体」という用語は、例えば、ソリッドステートメモリチップ、光ディスク、磁気ディスクまたはそれらの任意の適切な組合せの例示的な形態の1または複数の有形で非一時的なデータリポジトリ(例えば、データボリューム)を含むとみなされるが、これらに限定されるものではない。
【0062】
本明細書において、「非一時的な」機械可読媒体は、特に、伝播する信号自体を除外する。様々な例示的な実施形態によれば、機械400による実行のための命令424は、キャリア媒体(例えば、機械可読キャリア媒体)を介して伝達することができる。そのようなキャリア媒体の例には、非一時的なキャリア媒体(例えば、ある場所から別の場所に物理的に移動可能なソリッドステートメモリなどの非一時的な機械可読記憶媒体)と、一時的なキャリア媒体(例えば、命令424を伝達する搬送波または他の伝搬信号)とを含む。
【0063】
本明細書に記載の例示的な方法の様々な動作は、関連する動作を実行するように(例えば、ソフトウェアによって)一時的にまたは恒久的に構成された1または複数のプロセッサによって、少なくとも部分的に実行することができる。一時的または恒久的に構成されているかどうかにかかわらず、そのようなプロセッサは、本明細書に記載の1または複数の操作または機能を実行するように動作するプロセッサ実装モジュールを構成することができる。本明細書において、「プロセッサ実装モジュール」とは、ハードウェアが1または複数のプロセッサを含むハードウェアモジュールを指している。このため、プロセッサはハードウェアの一例であり、かつ本明細書に記載の方法のうちの任意の1または複数の中の少なくとも一部の動作は、1または複数のプロセッサ実装モジュール、ハードウェア実装モジュールまたはそれらの任意の適切な組合せによって実行することができるため、本明細書に記載の動作は、少なくとも部分的にプロセッサ実装、ハードウェア実装、またはその両方であってもよい。
【0064】
さらに、そのような1または複数のプロセッサは、「クラウドコンピューティング」環境で、またはサービスとして(例えば、「サービス型ソフトウェア」(SaaS)の実装内で)、動作を実行することができる。例えば、本明細書に記載の方法のうちの任意の1または複数の中の少なくともいくつかの動作は、(例えば、プロセッサを含む機械の例として)コンピュータのグループによって実行されるものであってもよく、それらの動作が、ネットワーク(例えば、インターネット)を介して、1または複数の適切なインターフェース(例えば、アプリケーションプログラムインターフェース(API))を介してアクセス可能である。特定の動作の実行は、単一の機械内にのみ存在するか、または複数の機械にまたがって展開されるかにかかわらず、1または複数のプロセッサに分散されるようにしてもよい。いくつかの例示的な実施形態では、1または複数のプロセッサまたはハードウェアモジュール(例えば、プロセッサ実装モジュール)を、単一の地理的位置(例えば、家庭環境、オフィス環境、またはサーバファーム内)に配置することができる。他の例示的な実施形態では、1または複数のプロセッサまたはハードウェアモジュールを、複数の地理的位置に分散させることができる。
【0065】
本明細書を通じて、複数のインスタンスが、単一のインスタンスとして、記載のコンポーネント、動作または構造を実装する場合がある。1または複数の方法の個々の動作が別個の動作として図示および記載されているが、個々の動作のうちの1または複数が同時に実行されるものであってもよく、動作が図示の順序で実行されることを要求するものではない。例示的な構成において、個別のコンポーネントおよび機能として提示された構造およびその機能は、組み合わせた機能を持つ組み合わせた構造またはコンポーネントとして実装されるものであってもよい。同様に、単一のコンポーネントとして提示された構造および機能は、別個のコンポーネントおよび機能として実装されるものであってもよい。それらのおよび他の変形、修正、追加および改良は、本明細書の主題の範囲内にある。
【0066】
本明細書に記載の主題の一部は、メモリ(例えば、コンピュータメモリまたは他の機械メモリ)内にビットまたはバイナリデジタル信号として格納されたデータに対する操作のアルゴリズムまたはシンボリック表現の観点から提示され得る。このようなアルゴリズムやシンボリック表現は、データ処理技術に精通した当業者が、他の当業者に自身の仕事の内容を伝えるために使用する技術の一例である。本明細書において、「アルゴリズム」とは、所望の結果をもたらす、首尾一貫した一連の操作または同様の処理のことである。これに関連して、アルゴリズムと操作には、物理量の物理的操作が含まれる。一般的に、そのような量は、機械が保存、アクセス、転送、結合、比較または他の方法で操作することができる、電気、磁気、または光学信号の形態をとることができる。主に一般的な慣習の理由から、そのような信号を「データ」、「コンテンツ」、「ビット」、「値」、「要素」、「シンボル」、「文字」、「用語」、「番号」、「数字」などの語を使用して参照するのが、便利である場合がある。しかしながら、それらの語は単なる便利なラベルであり、適切な物理量と関連付けられるべきものである。
【0067】
特に明記しない限り、「アクセス」、「処理」、「検出」、「演算」、「計算」、「判定」、「生成」、「提示」、「表示」などの語を用いた本明細書の記載は、1または複数のメモリ(例えば、揮発性メモリ、不揮発性メモリまたはそれらの適切な組合せ)、レジスタ、または情報を受信、記憶、送信または表示する他の機械コンポーネント内で物理的(例えば、電子的、磁気的または光学的)な量として示されるデータを操作または変換する機械(例えば、コンピュータ)によって実行可能な動作またはプロセスを指している。さらに、本明細書では、特に明記しない限り、特許文書で一般的に使用されているように、「a」または「an」という用語は、1または複数のインスタンスを含むものとして使用されている。最後に、本明細書において、「または」という接続詞は、特に明記しない限り、非排他的な「または」を指している。
【0068】
以下の列挙された記載は、本明細書に記載の方法、機械可読媒体およびシステム(例えば、機械、デバイスまたは他の装置)の様々な例を説明する。
【0069】
第1の例は、方法であって、
機械の1または複数のプロセッサによって、画像内で優勢な色を有する物質によって少なくとも部分的に覆い隠されている機械可読コードを示している画像にアクセスするステップと、
機械の1または複数のプロセッサによって、機械可読コードを少なくとも部分的に覆い隠している物質の優勢な色に基づいて画像の色空間を調整することにより、画像の調整されたバージョンを生成するステップと、
機械の1または複数のプロセッサによって、画像の調整されたバージョンの少なくとも一部の領域を二値化するステップとを備え、前記領域が、機械可読コードを示している、方法を提供する。
【0070】
第2の例は、光学センサによって、優勢な色を有する物質によって少なくとも部分的に覆い隠されている機械可読コードを示している画像をキャプチャするステップをさらに含む、第1の例に記載の方法を提供する。
【0071】
第3の例は、機械可読コードを少なくとも部分的に覆い隠している物質の優勢な色が、実質的に赤色である、第1または第2の例に記載の方法を提供する。
【0072】
第4の例は、画像が、カラー画像であり、
画像の色空間の調整が、物質の優勢な色に基づいて、カラー画像の色空間をグレースケール表現に変換することを含む、第1乃至第3の例の何れかに記載の方法を提供する。
【0073】
第5の例は、画像の少なくとも一部の領域の二値化が、画像の少なくとも一部の領域のヒストグラムを色閾値処理することを含む、第1乃至第4の例の何れかに記載の方法を提供する。
【0074】
第6の例は、画像の調整されたバージョンにおいて、機械可読コードを示している領域の位置を特定するステップをさらに備える、第1乃至第5の例の何れかに記載の方法を提供する。
【0075】
第7の例は、画像の調整されたバージョンにおいて、機械可読コードを示している領域の位置を特定することが、画像の調整されたバージョンにおけるコーナー検出または画像の調整されたバージョンにおけるエッジ検出の少なくとも一方を実行することを含む、第6の例に記載の方法を提供する。
【0076】
第8の例は、画像が、優勢な色を有する物質によって汚れた手術用布地に取り付けられた機械可読コードを示している、第1乃至第7の例の何れかに記載の方法を提供する。
【0077】
第9の例は、機械可読コードが、手術用布地の種類または手術用布地の識別子の少なくとも一方を含むコード化された情報を提示している、第1乃至第8の例の何れかに記載の方法を提供する。
【0078】
第10の例は、機械可読コードを示している二値化された領域をデコードすることによって(例えば、画像が機械可読コードを示している二値化された領域をデコードすることによって)、機械可読コードによって提示されるコード化された情報を特定するステップをさらに含む、第1乃至第9の例の何れかに記載の方法を提供する。
【0079】
第11の例は、機械可読コードによって提示されるコード化された情報の特定に応答して、布地カウンタインデックスをインクリメントするステップをさらに含む、第10の例に記載の方法を提供する。
【0080】
第12の例は、
1または複数のプロセッサと、
1または複数のプロセッサによって実行されたときに、1または複数のプロセッサに動作を実行させる命令を記憶するメモリとを含むシステム(例えば、コンピュータシステム)であって、前記動作が、
画像内で優勢な色を有する物質によって少なくとも部分的に覆い隠されている機械可読コードを示している画像にアクセスすること、
機械可読コードを少なくとも部分的に覆い隠している物質の優勢な色に基づいて画像の色空間を調整することにより、画像の調整されたバージョンを生成すること、並びに、
画像の調整されたバージョンの少なくとも一部の領域を二値化することを含み、前記領域が、機械可読コードを示している、システムを提供する。
【0081】
第13の例は、優勢な色を有する物質によって少なくとも部分的に覆い隠されている機械可読コードを示している画像をキャプチャするように構成された光学センサをさらに備える、第12の例に記載のシステムを提供する。
【0082】
第14の例は、機械可読コードを少なくとも部分的に覆い隠している物質の優勢な色が実質的に赤色である、第12または第13の例に記載のシステムを提供する。
【0083】
第15の例は、画像が、カラー画像であり、
画像の色空間を調整することが、カラー画像の色空間を、物質の優勢な色に基づいてグレースケール表現に変換することを含む、第12乃至第14の例の何れかに記載のシステムを提供する。
【0084】
第16の例は、画像の少なくとも一部の領域を二値化することが、画像の少なくとも一部の領域のヒストグラムを色閾値処理することを含む、第12乃至第15の例の何れかに記載のシステムを提供する。
【0085】
第17の例は、前記動作が、画像の調整されたバージョンにおいて、機械可読コードを示している領域の位置を特定することを含む、第12乃至第16の例の何れかに記載のシステムを提供する。
【0086】
第18の例は、画像の調整されたバージョンにおいて機械可読コードを示している領域の位置を特定することが、画像の調整されたバージョンにおけるコーナー検出または画像の調整されたバージョンにおけるエッジ検出のうちの少なくとも一方を実行することを含む、第17の例に記載のシステムを提供する。
【0087】
第19の例は、画像が、優勢な色を有する物質によって汚れた手術用布地に取り付けられた機械可読コードを示している、第12乃至第18の例の何れかに記載のシステムを提供する。
【0088】
第20の例では、機械可読コードが、手術用布地の種類または手術用布地の識別子の少なくとも一方を含むコード化された情報を提示している、第12乃至第19の例の何れかに記載のシステムを提供する。
【0089】
第21の例は、前記動作がさらに、機械可読コードを示している二値化された領域をデコードすることによって(例えば、画像が機械可読コードを示している二値化された領域をデコードすることによって)、機械可読コードによって提示されるコード化された情報を特定することを含む、第12乃至第20の例の何れかに記載のシステムを提供する。
【0090】
第22の例は、前記動作がさらに、機械可読コードによって提示されるコード化された情報の特定に応答して、布地カウンタインデックスをインクリメントすることを含む、第12乃至第21の例の何れかに記載のシステムを提供する。
【0091】
第23の例は、機械の1または複数のプロセッサによって実行されたときに、機械に動作を実行させる命令を含む機械可読媒体(例えば、非一時的な機械可読記憶媒体)であって、前記動作が、
画像内で優勢な色を有する物質によって少なくとも部分的に覆い隠されている機械可読コードを示している画像にアクセスすること、
機械可読コードを少なくとも部分的に覆い隠している物質の優勢な色に基づいて画像の色空間を調整することにより、画像の調整されたバージョンを生成すること、並びに、
画像の調整されたバージョンの少なくとも一部の領域を二値化することを含み、前記領域が、機械可読コードを示している、機械可読媒体を提供する。
【0092】
第24の例は、上述した例の何れか1つで実行される動作(例えば、方法動作)を実行するように機械を制御するための機械可読命令を保持するキャリア媒体を提供する。
図1
図2
図3A
図3B
図3C
図3D
図3E
図3F
図3G
図3H
図4
【国際調査報告】