特許 7386007 画像処理方法、画像処理装置及び画像処理機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-15

(45)【発行日】2023-11-24

(54)【発明の名称】画像処理方法、画像処理装置及び画像処理機器

(51)【国際特許分類】

   G06T 1/00 20060101AFI20231116BHJP

   H04N 1/21 20060101ALI20231116BHJP

【ＦＩ】

G06T1/00 500A

H04N1/21

【請求項の数】 13

(21)【出願番号】P 2019128083

(22)【出願日】2019-07-10

(65)【公開番号】P2020013567

(43)【公開日】2020-01-23

【審査請求日】2022-07-07

(31)【優先権主張番号】201810770150.9

(32)【優先日】2018-07-13

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(74)【代理人】

【識別番号】110004185

【氏名又は名称】インフォート弁理士法人

(74)【代理人】

【識別番号】100121083

【弁理士】

【氏名又は名称】青木 宏義

(74)【代理人】

【識別番号】100138391

【弁理士】

【氏名又は名称】天田 昌行

(74)【代理人】

【識別番号】100158528

【弁理士】

【氏名又は名称】守屋 芳隆

(74)【代理人】

【識別番号】100137903

【弁理士】

【氏名又は名称】菅野 亨

(72)【発明者】

【氏名】グオ シーホン

(72)【発明者】

【氏名】グオ シンユ

(72)【発明者】

【氏名】リ アンシン

(72)【発明者】

【氏名】チン ラン

(72)【発明者】

【氏名】亀山 直季

(72)【発明者】

【氏名】後 友惠

(72)【発明者】

【氏名】原 尚史

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２０１０－１９８４７６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００

Ｈ０４Ｎ １／２１

(57)【特許請求の範囲】

【請求項1】

操作入力を受け付けることと、
前記操作入力に基づいて、処理対象となる画像から目標範囲を決定することと、
前記目標範囲内において、所定数の所定サイズの切り出し画像を生成することと、を含み、
前記目標範囲のサイズは、前記切り出し画像のサイズと所定の比例になり、
前記操作入力は、前記処理対象となる画像における特定の軌跡を指定するために用いられ、
前記処理対象となる画像から目標範囲を決定することは、
前記特定の軌跡に基づいて、軌跡範囲を決定することと、
前記切り出し画像のサイズをステップサイズとして、前記軌跡範囲を走査することと、
各前記ステップサイズを中心として、各前記ステップサイズに対応する目標範囲を決定することと、を含むことを特徴とする画像処理方法。

【請求項2】

前記特定の軌跡に基づいて軌跡範囲を決定することは、前記特定の軌跡の開始位置および終了位置に基づいて前記軌跡範囲を決定することを含むことを特徴とする、請求項１に記載の画像処理方法。

【請求項3】

前記目標範囲内から所定数の所定サイズの切り出し画像をランダムに生成することをさらに含むことを特徴とする、請求項１又は２に記載の画像処理方法。

【請求項4】

生成された切り出し画像を自動的に名を付けて保存することを特徴とする、請求項３に記載の画像処理方法。

【請求項5】

操作入力を受け付けるように配置される操作入力受付部と、
前記操作入力に基づいて、処理対象となる画像から目標範囲を決定するように配置される目標範囲決定部と、
前記目標範囲内において、所定数の所定サイズの切り出し画像を生成するように配置される切り出し画像生成部と、を含み、
前記目標範囲のサイズは、前記切り出し画像のサイズと所定の比例になり、
前記操作入力は、前記処理対象となる画像における特定の軌跡を指定することに用いられ、
前記目標範囲決定部は、前記特定の軌跡に基づいて軌跡範囲を決定し、
前記切り出し画像のサイズをステップサイズとして前記軌跡範囲を走査し、
各前記ステップサイズを中心として、各前記ステップサイズに対応する目標範囲を決定することを特徴とする、画像処理装置。

【請求項6】

前記目標範囲決定部は、前記特定の軌跡の開始位置及び終了位置に基づいて、前記軌跡範囲を決定することを特徴とする、請求項５に記載の画像処理装置。

【請求項7】

前記切り出し画像生成部は、前記目標範囲内から所定数の所定サイズの切り出し画像をランダムに生成することを特徴とする、請求項５又は６に記載の画像処理装置。

【請求項8】

自動的に命名された前記切り出し画像を保存する切り出し画像保存部をさらに含むことを特徴とする、請求項７に記載の画像処理装置。

【請求項9】

コンピュータ可読命令を記憶するように配置されるメモリと、
前記メモリに記憶された前記コンピュータ可読命令を実行するように配置されるプロセッサと、を含み、
前記プロセッサは、前記コンピュータ可読命令を実行する時、
操作入力を受け付けるステップと、
前記操作入力に基づいて、処理対象となる画像から目標範囲を決定するステップと、
前記目標範囲内において、所定数の所定サイズの切り出し画像を生成するステップと、を実行し、
前記目標範囲のサイズは、前記切り出し画像のサイズと所定の比例になり、
前記操作入力は、前記処理対象となる画像における特定の軌跡を指定することに用いられ、
前記処理対象となる画像から目標範囲を決定することは、
前記特定の軌跡に基づいて軌跡範囲を決定することと、
前記切り出し画像のサイズをステップサイズとして前記軌跡範囲を走査することと、
各前記ステップサイズを中心として、各前記ステップサイズに対応する目標範囲を決定することと、を含むことを特徴とする、画像処理機器。

【請求項10】

前記特定の軌跡に基づいて軌跡範囲を決定することは、前記特定の軌跡の開始位置及び終了位置に基づいて前記軌跡範囲を決定することを含むことを特徴とする、請求項９に記載の画像処理機器。

【請求項11】

さらに前記目標範囲から所定数の所定サイズの切り出し画像をランダムに生成することを特徴とする、請求項９又は１０に記載の画像処理機器。

【請求項12】

前記メモリは、自動的に命名された前記切り出し画像を記憶することを特徴とする、請求項１１に記載の画像処理機器。

【請求項13】

コンピュータ可読命令を記憶するコンピュータ可読記憶媒体であって、
前記コンピュータ可読命令がコンピュータによって実行される時、前記コンピュータは、
操作入力を受け付けるステップと、
前記操作入力に基づいて、処理対象となる画像から目標範囲を決定するステップと、
前記目標範囲内において、所定数の所定サイズの切り出し画像を生成するステップと、を実行し、
前記目標範囲のサイズは、前記切り出し画像のサイズと所定の比例になり、
前記操作入力は、前記処理対象となる画像における特定の軌跡を指定することに用いられ、
前記処理対象となる画像から目標範囲を決定することは、
前記特定の軌跡に基づいて軌跡範囲を決定することと、
前記切り出し画像のサイズをステップサイズとして前記軌跡範囲を走査することと、
各前記ステップサイズを中心として、各前記ステップサイズに対応する目標範囲を決定することと、を含むことを特徴とする、コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理の分野に関し、特に、画像処理方法、画像処理装置、画像処理機器、及びコンピュータ可読記憶媒体に関する。

【背景技術】

【0002】

ディープニューラルネットワークは、大規模で、マルチパラメータで最適化されたツールである。ディープニューラルネットワークは、大量のトレーニングデータに依存し、学習を通じて、データに隠されたまとめられにくい特徴を確定することができ、それによって、複数の複雑なタスク、例えば顔検出、画像意味分割、物体検出、動作追跡、自然言語翻訳などを完成することができる。

【発明の概要】

【発明が解決しようとする課題】

【0003】

現在、ディープニューラルネットワークは、物体表面の亀裂検出のような複雑なタスクに用いられ、人間の目による検出よりも高い検出精度を実現することが期待されている。亀裂検出のためのニューラルネットワークモデルを得るためには、亀裂がマークされた大量のトレーニング画像（すなわち、トレーニングデータ）を用いて、ニューラルネットワークをトレーニングしておく必要がある。したがって、ディープニューラルネットワークに基づく亀裂検出の性能および効果は、提供されたトレーニングデータに大きく依存する。従来の技術では、トレーニングデータは、多くの作業者が画像中の亀裂を手作業でマーキングすることによって取得されることが多い。しかしながら、画像を人手でマーキングして得られたトレーニングデータには、理論的な認知錯誤又は視覚錯誤が存在する可能性があり、これらの両方は、得られたトレーニングデータの不正確さをもたらす恐れがある。また、大量のトレーニングデータを取得することには、作業者がより長い時間を要する可能性がある。作業者に大きな精神的な又は視覚的な負担をもたらし、間違ったマッチングが生じやすくなり、工業生産には適さない。

【0004】

本発明は、上記の問題に鑑みて提案されたものである。本発明は、画像処理方法、画像処理装置、画像処理機器及びコンピュータ可読記憶媒体を提供する。

【課題を解決するための手段】

【0005】

本発明の一態様によれば、操作入力を受け付けることと、前記操作入力に基づいて、処理対象となる画像から目標範囲を決定することと、前記目標範囲において、所定の数、所定のサイズの切り出し画像を生成することと、を含む画像処理方法が提供される。なお、前記目標範囲のサイズは、前記切り出し画像のサイズと所定の比例になる。

【0006】

本発明の一態様によれば、操作入力を受け付けるように配置される操作入力受付部と、操作入力に基づいて、処理対象となる画像から目標範囲を決定するように配置される目標範囲決定部と、前記目標範囲内において、所定数の所定サイズの切り出し画像を生成するように配置される切り出し画像生成部と、を備える画像処理装置が提供される。なお、前記目標範囲のサイズは、前記切り出し画像のサイズと所定の比例になる。

【0007】

本開示の一態様によれば、コンピュータ可読命令を記憶するように配置されるメモリと、前記メモリに記憶された前記コンピュータ可読命令を実行するように配置されるプロセッサと、を備える画像処理機器が提供される。また、前記プロセッサが前記コンピュータ可読命令を実行するとき、以下のステップを実行する。即ち、操作入力を受け付けるステップと、前記操作入力に基づいて、処理対象となる画像から目標範囲を決定するステップと、前記目標範囲において、所定数の所定サイズの切り出し画像を生成するステップである。なお、前記目標範囲のサイズは、前記切り出し画像のサイズと所定の比例になる。

【0008】

本開示の一態様によれば、コンピュータ可読命令が記憶されたコンピュータ可読記憶媒体が提供され、コンピュータ可読命令がコンピュータによって実行されるとき、コンピュータは、以下のステップを実行する。即ち、操作入力を受け付けるステップと、前記操作入力に基づいて、処理対象となる画像から目標範囲を決定するステップと、前記目標範囲において、所定数の所定サイズの切り出し画像を生成するステップである。なお、前記目標範囲のサイズは、前記切り出し画像のサイズと所定の比例になる。

【発明の効果】

【0009】

本発明の上記態様によれば、ユーザは簡単な操作入力を行うだけで、切り出し画像を自動的かつ正確に生成することができ、それによって、ディープニューラルネットワークにマーキングされたトレーニング用画像（トレーニングデータ）を提供することができると共に、理論認知錯誤と視覚錯誤を減少させ、人手によるマーキングのコストを減少させることができる。

【図面の簡単な説明】

【0010】

本開示の上記と他の目的、特徴および利点は、添付の図面を参照して本開示の実施形態をより詳細に説明することによって、より明らかになる。図面は、本開示の実施形態のさらなる理解を提供するものであり、明細書の一部を構成し、本開示の実施形態と共に本開示を説明するものであり、本開示を限定するものではない。図面において、同一の符号は、通常、同一の構成要素またはステップを示す。

【図1】本発明の実施形態を実現するための画像処理方法のフローチャートである。

【図2】本発明の第１の実施形態に係る処理対象となる画像から目標範囲を決定する例を示す図である。

【図3】本発明の第２の実施形態に係る処理対象となる画像から目標範囲を決定するフローチャートである。

【図4a】本発明の第２の実施形態に係る処理対象となる画像から目標範囲を決定する例を示す図である。

【図4b】本発明の第２の実施形態に係る処理対象となる画像から目標範囲を決定する例を示す図である。

【図5】本発明の第１の実施形態に係る切り出し画像を生成する手順を示す説明図である。

【図6】本発明の第２の実施形態に係る切り出し画像を生成する手順を示す説明図である。

【図7】本発明の実施形態に係る画像処理装置の概略図である。

【図8】本発明の実施形態に係る画像処理機器の概略図である。

【図9】本発明の実施形態に係るコンピュータ可読記憶媒体の概略図である。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態に係る図面を参照して、本発明の実施形態に係る技術案を明確かつ完全に説明する。勿論、説明された実施形態は、本開示の一部の実施形態に過ぎず、全ての実施形態ではない。本開示の実施形態に基づいて、当業者が創造的な労働を必要とせずに得られる他の全ての実施形態は、本開示の範囲内に属する。

【0012】

まず、図１を参照して、本発明の実施形態を実現するための画像処理方法について説明する。この方法は、コンピュータによって実行されることができる。この方法によれば、ユーザが簡単な操作入力を行うだけで、自動的に正確に切り出し画像を生成することができ、ディープニューラルネットワークにマーキングされたトレーニング用画像を提供することができる。

【0013】

図１に示すように、ステップＳ１０１では、ユーザによる操作入力を受け付ける。操作入力を受け付ける方法としては、例えば、マウスの画像上の対応する位置のクリック及びスライドを追跡することにより受け付けてもよいし、コンピュータに接続されたスタイラスのクリック及びスライドを追跡することにより受け付けてもよい。前記の操作入力を受け付ける方法は一例に過ぎず、実際の状況に応じて柔軟に選択することができることを理解すべきである。

【0014】

ステップＳ１０２では、この操作入力に基づいて、切り出し画像のサイズと所定の比例になるサイズの目標範囲を処理対象となる画像から決定する。本発明の第１の実施形態では、操作入力は処理対象となる画像における特定の点を指定することに用いられ、目標範囲を処理対象となる画像から決定することは、当該特定の点を中心として当該目標範囲を特定することを含む。

【0015】

最初に、例えば、操作入力は、処理対象となる画像上のマウス又はスタイラスによるユーザのクリックに対応することができ、このクリックは、処理対象となる画像における特定の点を指定する。例えば、ユーザが画像処理により工業用途に用いられる物体の亀裂をマーキングしようとする場合、この操作入力は、処理対象となる画像のうちユーザがクリックした画像における亀裂または亀裂近傍の特定の点を指定することに用いられる。

【0016】

次に、この特定の点を中心として、切り出し画像のサイズと所定の比例になるサイズの目標範囲を決定する。切り出し画像のサイズは、ユーザが所望するサイズである。例えば、本実施形態では、この特定の点を中心として、半径が特定値となる円形領域を目標範囲とし、円形領域のサイズは、切り出し画像のサイズよりも大きい。別の例として、この特定の点を中心として、切り出し画像のサイズよりも大きいサイズの正方形を目標範囲として決定し、生成された正方形の目標範囲が切り出し画像を完全にカバーするようにしてもよい。さらに別の例として、この特定の点を中心として、その長さおよび幅は切り出し画像の長さおよび幅と所定の比例値になった矩形を目標範囲として決定し、ここで、生成された目標範囲は、切り出し画像を完全にカバーするように所定の比例値を１よりも大きいとする。なお、前記目標範囲の形状は一例に過ぎず、必要に応じて所望の目標範囲の形状を柔軟に選択することができる。

【0017】

図２は本発明の第１の実施形態に係る処理対象となる画像から目標範囲を決定する例を示す図である。図２に示すように、コンピュータは、処理対象となる画像上のマウス又はスタイラスによるユーザのクリックに応じて、処理対象となる画像における特定の点２０（ドットで示す）を指定し、この特定の点２０を中心として、矩形領域を目標範囲２２として決定する。目標範囲２２の長さ及び幅は、切り出し画像２１の長さ及び幅と所定の比例値になり、この所定の比例値は１よりも大きい。例えば、所定の比例値を、１より大きい任意の数とすることができる。例えば、切り出し画像２１のサイズが９６×９６画素である場合、目標範囲は１２８×１２８画素と決定されることができる。

【0018】

あるいは、目標範囲からユーザが所望する切り出し画像を選択するために、所定の比例値を必要に応じて３／２、２または３などとしてもよい。しかしながら、選択された所定の比例値が大きすぎると、対象画像から選択された不要な切り出し画像が多すぎて、記憶スペースが無駄になるおそれがある。選択された所定の比例値が約１であると、対象画像から選択された重複する切り出し画像が多すぎてしまうおそれがある。したがって、必要に応じて、所定の比例値を柔軟に決定すべきである。

【0019】

本発明の第２の実施形態では、操作入力は、処理対象となる画像の特定の軌跡を指定することに用いられ、処理対象となる画像から目標範囲を決定することは、特定の軌跡に基づいて軌跡範囲を決定することと、切り出し画像のサイズをステップサイズとして軌跡範囲を走査することと、各当該ステップサイズを中心として、各当該ステップサイズに対応する目標範囲を決定することとを含む。例えば、操作入力は、処理対象となる画像上のマウス又はスタイラスによるユーザのスライドに対応してもよい。このスライドは、処理対象となる画像における特定の軌跡を指定する。例えば、ユーザが画像処理によって工業用途に用いられる物体の亀裂をマーキングしようとする場合、この操作入力は、処理対象となる画像におけるユーザが亀裂上を滑る軌跡を指定するために用いられる。

【0020】

図３は本発明の第２の実施形態に係る処理対象となる画像から目標範囲を決定するフローチャートである。図３に示すように、ステップＳ２０１において、特定の軌跡に基づいて軌跡範囲が決定される。例えば、この軌跡範囲は、特定の軌跡の開始位置及び終了位置に基づいて決定されてもよい。軌跡範囲を決定する態様は、これに限定されるものではなく、他の態様に基づいて軌跡範囲を決定することもできることを理解すべきである。

【0021】

ステップＳ２０２では、軌跡範囲を決定した後、切り出し画像のサイズをステップサイズとして軌跡範囲を走査する。例えば、切り出し画像のサイズをステップサイズとして、軌跡範囲内で軌跡範囲を横方向および縦方向に走査する。なお、軌跡範囲を走査する時の切り出し画像の重なりはランダムであってもよいし、必要に応じて予め設定されていてもよい。

【0022】

ステップＳ２０３では、各ステップサイズを中心として、本発明の第１の実施形態のように各ステップサイズに対応する目標範囲を決定する。例えば、各ステップサイズの中心を本発明の第１の実施形態に係る特定の点として、切り出し画像のサイズと所定の比例になるサイズの目標範囲を決定する。

【0023】

図４ａ、４ｂは本発明の第２の実施形態に係る処理対象となる画像から目標範囲を決定する例を示す図である。図４ａに示すように、コンピュータは、処理対象となる画像上のマウスやスタイラスによるユーザのスライドに基づいて、処理対象となる画像における特定の軌跡３１を指定する。例えば、その特定の軌跡３１の開始位置と終了位置に基づいて軌跡範囲３０を決定する。図４ｂに示すように、軌跡範囲３０が決定された後、切り出し画像３２をステップサイズとして軌跡範囲３０を横方向および縦方向に同時に走査する。切り出し画像３３及び切り出し画像３４は、軌跡範囲３０を横方向に走査する例を示す。次に、各ステップサイズを中心として、各ステップサイズの中心を本発明の第１の実施形態に係る特定の点として、切り出し画像のサイズと所定の比例になるサイズの目標範囲を決定する。例えば、この目標範囲（図示せず）は、円形、三角形、又は正方形であってもよい。

【0024】

図１に戻り、ステップＳ１０３では、目標範囲内で所定数の所定サイズの切り出し画像を生成する。例えば、目標範囲を決定した後、目標範囲内で所定数の所定サイズの切り出し画像をランダムに生成するようにしてもよい。あるいは、目標範囲における異なる位置に生成される切り出し画像の数を予め設定しておいてもよい。例えば、目標範囲のエッジよりも目標範囲の中心に生成される切り出し画像の数が大きく設定されていてもよい。また、生成される切り出し画像の数やサイズは、ユーザのニーズに応じて予め設定されていてもよい。

【0025】

切り出し画像を生成したら、コンピュータによって自動的に名を付けて保存することができる。例えば、ユーザが工業用途において亀裂をマーキングするためにこの方法を使用することを望む場合、切り出し画像を生成した後、コンピュータは、生成された切り出し画像を自動的に「亀裂」と命名し、コンピュータにおいて対応する目標パスに保存する。また、異なる操作に応じて、異なるタグを自動的に設定することもできる。一例として、マウスの左右ボタンに応じて複数のタグを設定することができる。例えば、コンピュータがマウスの左ボタンのクリックおよびスライドを受け付けると、前記の方法により生成された切り出し画像は、自動的に「亀裂」としてマークされ、対応する目標パスに自動的に保存され、コンピュータがマウスの右ボタンのクリックおよびスライドを受け付けると、上記の方法により生成された切り出し画像は、自動的に「非亀裂」としてマークされ、「亀裂」の目標パスと異なる目標パスに自動的に保存される。また、他の例として、キーボードの入力に応じて複数のタグを設定するようにしてもよい。例えば、キーボードの異なる入力に対して予め異なるタグ種別を設定しておき、キーボードを介して入力すると、最終的に生成された切り出し画像が自動的に命名され、対応するタグ種別の目標パスに保存されるようにしてもよい。なお、上記のタグの設定方法はこれに限定されるものではなく、必要に応じて異なる方法で異なるタグを設定するようにしてもよい。

【0026】

図５は本発明の第１の実施形態に係る切り出し画像を生成する手順を示す図である。図５に示すように、コンピュータは、処理対象となる画像（左側の画像）における特定の点を指定するためのユーザの操作入力を受け付ける。この操作入力に基づいて、コンピュータは、所望の切り出し画像（右側の画像）のサイズと所定の比例になるサイズの目標範囲を決定する。例えば、目標範囲のサイズは、切り出し画像のサイズの２倍、３倍等であってもよい。目標範囲が決定されると、その目標範囲内において、所定数の所定サイズのユーザが所望する切り出し画像が生成される。切り出し画像を生成したら、コンピュータによって自動的に名を付けて保存することができる。

【0027】

図６は本発明の第２の実施形態に係る切り出し画像を生成する手順を示す図である。図６に示すように、コンピュータは、処理対象となる画像（左側の画像）における特定の軌跡を指定するためのユーザの操作入力を受け付ける。この特定の軌跡に基づいて軌跡範囲が決定され、例えば、軌跡範囲は、特定の軌跡の開始位置および終了位置によって決定されてもよい。軌跡範囲が決定されると、ユーザが所望する切り出し画像（右側の画像）のサイズをステップサイズとして、上記軌跡範囲を走査する。最後に、各ステップサイズを中心として、各ステップサイズに対応する目標範囲が決定される。目標範囲を決定する方法は、例えば、前記の第１の実施形態に係る方法で目標範囲を決定することを含む。例えば、各ステップサイズの中心を前記の第１の実施形態に係る特定の点として目標範囲を決定する。目標範囲が決定されると、その目標範囲内において、所定数の所定サイズのユーザが所望する切り出し画像が生成される。切り出し画像を生成したら、コンピュータによって自動的に名を付けて保存することができる。

【0028】

次に、図７を参照して、本発明の実施形態に係る画像処理装置について説明する。図７は本発明の実施形態に係る画像処理装置の概略図である。本実施形態の画像処理装置の機能は、図１を参照して説明した方法と同様であるので、簡単にするために、詳細な説明を省略する。図７に示すように、画像処理装置１０００は、操作入力受付部１００１と、目標範囲決定部１００２と、切り出し画像生成部１００３と、切り出し画像保存部１００４とを備える。なお、図７では、画像処理装置１０００が４つの部のみを含むように示しているが、これは例示に過ぎず、画像処理装置１０００は、１つ以上の他の部を含んでいてもよく、これらの部は本発明の思想に関係しないのでここでは省略される。

【0029】

操作入力受付部１００１は、ユーザによる操作入力を受け付けることができる。操作入力を受け付ける方法は複数があり、例えば、画像上の対応する位置におけるマウスのクリック及びスライドを追跡することにより操作入力を受け付けてもよいし、スタイラスのクリック及びスライドを追跡することにより操作入力を受け付けてもよい。前記の操作入力を受け付ける方法は一例であり、実際の状況に応じて柔軟に選択することができることを理解すべきである。目標範囲決定部１００２は、操作入力に基づいて、処理対象となる画像のサイズと所定の比例になるサイズの目標範囲を処理対象となる画像から決定する。

【0030】

本発明の第１の実施形態において、操作入力は、処理対象となる画像中の特定の点を指定するために用いられる。処理対象となる画像から目標範囲を指定することは、当該特定の点を中心として、当該目標範囲を決定することを含む。最初に、例えば、操作入力は、処理対象となる画像におけるマウス又はスタイラスによるユーザのクリックに対応することができ、このクリックは、処理対象となる画像の特定の点を指定する。

【0031】

次に、この特定の点を中心として目標範囲を決定する。目標範囲のサイズは切り出し画像のサイズと所定の比例になる。その切り出し画像のサイズはユーザが所望する画像のサイズである。例えば、本実施形態では、この特定の点を中心として、半径が特定値となる円形領域を目標範囲と定義する。また、円形領域のサイズは切り出し画像のサイズよりも大きい。別の例として、この特定の点を中心として、生成された正方形の目標範囲が切り出し画像を完全にカバーするように切り出し画像のサイズよりも大きいサイズの正方形を目標範囲として決定してもよい。さらに、別の例として、この特定の点を中心として、その長さおよび幅が切り出し画像の長さおよび幅と所定の比例値になる矩形を目標範囲として決定してもよい。ここで、生成された目標範囲は、切り出し画像を完全にカバーできるように所定の比例値を１よりも大きいとする。なお、前記した目標範囲の形状は一例に過ぎず、所望の目標範囲の形状を必要に応じて柔軟に選択することができることを理解すべきである。

【0032】

本発明の第２の実施形態では、操作入力は、処理対象となる画像における特定の軌跡を指定することに用いられ、処理対象となる画像から目標範囲を決定することは、特定の軌跡に基づいて軌跡範囲を決定することと、切り出し画像のサイズをステップサイズとして軌跡範囲を走査することと、各当該ステップサイズを中心として、各当該ステップサイズに対応する目標範囲を決定することとを含む。最初に、例えば、操作入力は、処理対象となる画像におけるマウス又はスタイラスによるユーザのスライドに対応することができ、このスライドは、処理対象となる画像における特定の軌跡を指定する。

【0033】

次に、特定の軌跡に基づいて軌跡範囲を決定する。例えば、軌跡範囲は、特定の軌跡の開始位置及び終了位置に基づいて決定されてもよい。軌跡範囲を決定する態様は、これに限定されるものではなく、他の態様に基づいて軌跡範囲を決定することもできることを理解すべきである。軌跡範囲を決定したら、切り出し画像のサイズをステップサイズとして軌跡範囲を走査する。例えば、切り出し画像のサイズをステップサイズとして、軌跡範囲内で軌跡範囲を横方向および縦方向に走査する。

【0034】

最後に、各ステップサイズを中心として、本発明の第１の実施形態のように各ステップサイズに対応する目標範囲を決定する。切り出し画像生成部１００３は、目標範囲内に所定数の所定サイズの切り出し画像を生成する。例えば、目標範囲が決定された後、切り出し画像生成部１００３は、目標範囲内で所定数の所定サイズの切り出し画像をランダムに生成してもよい。あるいは、目標範囲の異なる位置に生成される切り出し画像の数を予め設定してもよい。例えば、目標範囲のエッジよりも目標範囲の中心に生成される切り出し画像の数が大きく設定されてもよい。なお、生成される切り出し画像の数やサイズは、ユーザのニーズに応じて予め設定されてもよい。

【0035】

切り出し画像を生成した後、自動的に命名された切り出し画像は切り出し画像保存部１００４によって記憶されてもよい。次に、図８を参照して、本発明の実施形態に係る画像処理機器について説明する。図８は本発明の一実施形態に係る画像処理機器の概略図である。本実施形態の画像処理装置の機能は、図１を参照して説明した方法と同様であるので、簡単にするために、詳細な説明を省略する。

【0036】

図８に示すように、画像処理機器１１００は、メモリ１１０１と、プロセッサ１１０２と、を備える。なお、図８では、画像処理機器１１００が２つのデバイスのみを含むことを示しているが、これは例示に過ぎず、画像処理機器１１００は、１つ以上の他のデバイスを含んでいてもよく、これらのデバイスは、本発明の思想に関係ないのでここでは省略される。

【0037】

本発明の画像処理機器１１００は、コンピュータ可読命令を記憶するように構成されたメモリ１１０１と、メモリに記憶されたコンピュータ可読命令を実行するように構成されたプロセッサ１１０２とを備える。プロセッサ１１０２は、コンピュータ可読命令を処理して実行するときに、以下のステップを実行する。即ち、操作入力を受け付けることと、操作入力に基づいて、処理対象となる画像から目標範囲を決定することと、目標範囲内で、所定数の所定サイズの切り出し画像を生成することである。ここで、目標範囲のサイズは、処理対象となる画像のサイズと所定の比例になる。

【0038】

本発明の第１の実施形態では、操作入力は、処理対象となる画像における特定の点を指定することに用いられ、前記処理対象となる画像から目標範囲を指定することは、特定の点を中心としてこの目標範囲を決定することを含む。

【0039】

本発明の第２の実施形態では、操作入力は、処理対象となる画像における特定の軌跡を指定することに用いられ、前記処理対象となる画像から目標範囲を決定することは、特定の軌跡に基づいてこの軌跡範囲を決定することと、切り出し画像のサイズをステップサイズとしてこの軌跡範囲を走査することと、各当該ステップサイズを中心として、各当該ステップサイズに対応する目標範囲を決定することを含む。ここで、当該特定の軌跡に基づいてこの軌跡範囲を決定することは、当該特定の軌跡の開始位置及び終了位置に基づいてこの軌跡範囲を決定することを含む。目標範囲が決定されると、この目標範囲から所定数の所定サイズの切り出し画像がランダムに生成され、自動的に命名された当該切り出し画像がメモリ１１０１に記憶される。

【0040】

図９は本開示の実施形態に係るコンピュータ可読記憶媒体を示す概略図である。図９に示すように、本開示は、コンピュータ可読命令１２０１が記憶されるコンピュータ可読記憶媒体１２００を含み、コンピュータ可読命令がコンピュータによって実行されるときに、コンピュータは、以下のステップを実行する。即ち、操作入力を受け付けることと、この操作入力に基づいて、処理対象となる画像から目標範囲を決定することと、この目標範囲において、所定数の所定サイズの切り出し画像を生成することである。ここで、この目標範囲のサイズは、当該切り出し画像のサイズと所定の比例になる。

【0041】

以上から、本開示の上記態様では、ユーザの操作入力（例えば、マウスまたはスタイラスのクリックまたはスライド）を受け付け、その操作入力に基づいて、処理対象となる画像から例えば円形、三角形、長方形などの目標範囲を決定し、この目標範囲内において、所定数の所定サイズの切り出し画像がコンピュータにより生成されることがわかる。ここで、目標範囲のサイズは、切り出し画像のサイズと所定の比例になる。この方法により、作業者の操作入力が少なくても、自動的かつ正確に切り出し画像を生成することができる。これにより、ニューラルネットワークにマーキングされたトレーニング画像を提供することができ、理論的な認知錯誤や視覚錯誤の低減及び人手によるマーキングのコストの低減を実現することができる。

【0042】

当業者に理解されるように、本出願の各方面は、いくつかの特許可能な種類または状況によって説明又は解釈することができ、新規および有用なプロセス、機械、製品または物質の組み合わせを含み、或いはそれらに対する任意の新規又は有用な改良を含む。それに応じて、本出願の各方面は、完全にハードウェアによって実行されてもよく、或いは、完全にソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）によって実行されてもよく、或いは、ハードウェアとソフトウェアの組み合わせによって実行されてもよい。上記のハードウェアまたはソフトウェアは、「データブロック」、「モジュール」、「エンジン」、「ユニット」、「コンポーネント」、または「システム」と呼ぶことができる。さらに、本出願の各方面は、１つまたは複数のコンピュータ可読媒体内にあるコンピュータ製品であってもよく、当該製品は、コンピュータ可読プログラムコードを含む。

【0043】

本出願は、本出願の実施形態を説明するために特定の用語を使用する。「一実施形態」、「一つの実施形態」、および／または「いくつかの実施形態」とは、本願の少なくとも１つの実施形態に関連する特定の特徴、構造、または特性を意味する。したがって、本明細書において異なる位置で２回以上言及される「一実施形態」または「一つの実施形態」または「代替的な実施形態」は、必ずしも同じ実施形態を意味するものではないことを理解すべきである。さらに、本出願の１つまたは複数の実施形態に係る特定の特徴、構造、または特性を適切に組み合わせることができる。他に定義されない限り、本明細書で用いられる全ての用語（技術用語及び科学用語を含む）は、本開示が属する領域の当業者によって理解されるものと同じ意味を有する。また、一般的な辞書に定義されているような用語は、本明細書で明確に定義されていない限り、関連技術の文脈におけるそれらの意味と一致する意味を有するものとして解釈されるべきであり、理想化されまたは極端に形式化された意味で解釈されるべきではない。上記内容は本開示に対する説明であり、それを限定するものとみなされるべきではない。本開示のいくつかの例示的な実施形態を説明したが、当業者であれば、本開示の新規な教示および利点から逸脱することなく、例示的な実施形態に多くの修正を加えることができる。したがって、それらの全ての修正は、特許請求の範囲によって定義される本開示の範囲内に含まれることが意図される。上記内容は本開示に対する説明であり、開示された特定の実施形態に限定されるものとみなされるべきではなく、開示された実施形態および他の実施形態の修正は、添付された特許請求の範囲の範囲内に含まれることが意図される。本開示は、特許請求の範囲およびその等価物によって定義される。

【図1】

【図2】

【図3】

【図4a】

【図4b】

【図5】

【図6】

【図7】

【図8】

【図9】