知財求人 - 知財ポータルサイト「IP Force」
▶ ナカシマメディカル株式会社の特許一覧 ▶ 国立大学法人福井大学の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023086283
(43)【公開日】2023-06-22
(54)【発明の名称】物品特定装置、物品特定システム、及び、プログラム
(51)【国際特許分類】
G06T 7/60 20170101AFI20230615BHJP
G06T 7/00 20170101ALI20230615BHJP
【ＦＩ】
G06T7/60 150Z
G06T7/00 350B
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2021200684
(22)【出願日】2021-12-10
(71)【出願人】
【識別番号】508282465
【氏名又は名称】帝人ナカシマメディカル株式会社
(71)【出願人】
【識別番号】504145320
【氏名又は名称】国立大学法人福井大学
(74)【代理人】
【識別番号】100110135
【弁理士】
【氏名又は名称】石井 裕一郎
(74)【代理人】
【識別番号】100132883
【弁理士】
【氏名又は名称】森川 泰司
(74)【代理人】
【識別番号】100148149
【弁理士】
【氏名又は名称】渡邉 幸男
(72)【発明者】
【氏名】長宗 高樹
(72)【発明者】
【氏名】川口 昌悟
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA02
5L096AA06
5L096AA09
5L096CA05
5L096DA01
5L096EA15
5L096EA16
5L096EA43
5L096FA16
5L096FA35
5L096FA62
5L096FA64
5L096FA66
5L096FA67
5L096FA69
5L096GA40
5L096GA51
5L096KA04
(57)【要約】
【課題】物品のサイズを精度良く特定する。
【解決手段】画像取得部１０１は、複数のマーカと複数のマーカの間に配置された物品と複数のマーカと物品とが配置された配置面とを第１地点から撮像することにより得られる色画像及び深度画像を取得する。種類特定部１０２は、色画像から物品の種類を特定する。サイズ特定部１０７は、深度画像から物品のサイズを特定する。
【選択図】図４
【解決手段】画像取得部１０１は、複数のマーカと複数のマーカの間に配置された物品と複数のマーカと物品とが配置された配置面とを第１地点から撮像することにより得られる色画像及び深度画像を取得する。種類特定部１０２は、色画像から物品の種類を特定する。サイズ特定部１０７は、深度画像から物品のサイズを特定する。
【選択図】図４
【特許請求の範囲】
【請求項1】
複数のマーカと前記複数のマーカの間に配置された物品と前記複数のマーカと前記物品とが配置された配置面とを第１地点から撮像することにより得られる第１色画像及び第１深度画像を取得する画像取得部と、
前記第１色画像から前記物品の種類を特定する種類特定部と、
前記第１深度画像から前記物品のサイズを特定するサイズ特定部と、を備える、
物品特定装置。
前記第１色画像から前記物品の種類を特定する種類特定部と、
前記第１深度画像から前記物品のサイズを特定するサイズ特定部と、を備える、
物品特定装置。
【請求項2】
前記第１深度画像を、前記配置面を前記配置面と直交する方向からみたときの深度を表す第１補正深度画像に補正する画像補正部と、
前記第１補正深度画像を、前記配置面からの高さを表す第１高さ画像に変換する画像変換部と、
前記第１高さ画像における前記複数のマーカの内側の領域の画像である第１マーカ内画像を生成する画像生成部と、を更に備え、
前記サイズ特定部は、前記第１マーカ内画像を学習済みモデルに入力し、前記学習済みモデルの出力データに基づいて前記物品のサイズを特定する、
請求項１に記載の物品特定装置。
前記第１補正深度画像を、前記配置面からの高さを表す第１高さ画像に変換する画像変換部と、
前記第１高さ画像における前記複数のマーカの内側の領域の画像である第１マーカ内画像を生成する画像生成部と、を更に備え、
前記サイズ特定部は、前記第１マーカ内画像を学習済みモデルに入力し、前記学習済みモデルの出力データに基づいて前記物品のサイズを特定する、
請求項１に記載の物品特定装置。
【請求項3】
前記画像取得部は、前記複数のマーカと前記物品と前記配置面とを第２地点から撮像することにより得られる第２色画像及び第２深度画像を取得し、
前記画像補正部は、前記第２深度画像を、前記配置面を前記配置面と直交する方向からみたときの深度を表す第２補正深度画像に補正し、
前記画像変換部は、前記第２補正深度画像を、前記配置面からの高さを表す第２高さ画像に変換し、
前記画像生成部は、前記第２高さ画像における前記複数のマーカの内側の領域の画像である第２マーカ内画像を生成し、
前記サイズ特定部は、前記第２マーカ内画像を前記学習済みモデルに入力し、前記第１マーカ内画像と前記第２マーカ内画像とのそれぞれにおける前記学習済みモデルの出力データに基づいて前記物品のサイズを特定する、
請求項２に記載の物品特定装置。
前記画像補正部は、前記第２深度画像を、前記配置面を前記配置面と直交する方向からみたときの深度を表す第２補正深度画像に補正し、
前記画像変換部は、前記第２補正深度画像を、前記配置面からの高さを表す第２高さ画像に変換し、
前記画像生成部は、前記第２高さ画像における前記複数のマーカの内側の領域の画像である第２マーカ内画像を生成し、
前記サイズ特定部は、前記第２マーカ内画像を前記学習済みモデルに入力し、前記第１マーカ内画像と前記第２マーカ内画像とのそれぞれにおける前記学習済みモデルの出力データに基づいて前記物品のサイズを特定する、
請求項２に記載の物品特定装置。
【請求項4】
前記第１補正深度画像と前記第２補正深度画像とを統合した統合補正深度画像を生成する画像統合部を更に備え、
前記画像変換部は、前記統合補正深度画像を、前記配置面からの高さを表す統合高さ画像に変換し、
前記画像生成部は、前記統合高さ画像における前記複数のマーカの内側の領域の画像である統合マーカ内画像を生成し、
前記サイズ特定部は、前記統合マーカ内画像を前記学習済みモデルに入力し、前記第１マーカ内画像と前記第２マーカ内画像と前記統合マーカ内画像とのそれぞれにおける前記学習済みモデルの出力データに基づいて前記物品のサイズを特定する、
請求項３に記載の物品特定装置。
前記画像変換部は、前記統合補正深度画像を、前記配置面からの高さを表す統合高さ画像に変換し、
前記画像生成部は、前記統合高さ画像における前記複数のマーカの内側の領域の画像である統合マーカ内画像を生成し、
前記サイズ特定部は、前記統合マーカ内画像を前記学習済みモデルに入力し、前記第１マーカ内画像と前記第２マーカ内画像と前記統合マーカ内画像とのそれぞれにおける前記学習済みモデルの出力データに基づいて前記物品のサイズを特定する、
請求項３に記載の物品特定装置。
【請求項5】
前記物品は、種類と、サイズと、鏡像関係にある一対の物品のうち何れか一方の物品を指定するサイドとにより特定され、
前記第１深度画像から前記物品のサイドを特定するサイド特定部を更に備える、
請求項１から４の何れか１項に記載の物品特定装置。
前記第１深度画像から前記物品のサイドを特定するサイド特定部を更に備える、
請求項１から４の何れか１項に記載の物品特定装置。
【請求項6】
前記第１深度画像を、前記配置面を前記配置面と直交する方向からみたときの深度を表す第１補正深度画像に補正する画像補正部と、
前記第１補正深度画像を、前記配置面からの高さを表す第１高さ画像に変換する画像変換部と、
前記第１高さ画像における前記複数のマーカの内側の領域の画像である第１マーカ内画像を生成する画像生成部と、
前記第１マーカ内画像を二値化した第１二値化画像を生成する二値化部と、を更に備え、
前記サイド特定部は、前記第１二値化画像における前記物品を囲む最小境界矩形の内部の画像である第１矩形内画像における二値化データの分布に基づいて、前記物品のサイドを特定する、
請求項５に記載の物品特定装置。
前記第１補正深度画像を、前記配置面からの高さを表す第１高さ画像に変換する画像変換部と、
前記第１高さ画像における前記複数のマーカの内側の領域の画像である第１マーカ内画像を生成する画像生成部と、
前記第１マーカ内画像を二値化した第１二値化画像を生成する二値化部と、を更に備え、
前記サイド特定部は、前記第１二値化画像における前記物品を囲む最小境界矩形の内部の画像である第１矩形内画像における二値化データの分布に基づいて、前記物品のサイドを特定する、
請求項５に記載の物品特定装置。
【請求項7】
前記画像取得部は、前記複数のマーカと前記物品と前記配置面とを第２地点から撮像することにより得られる第２色画像及び第２深度画像を取得し、
前記画像補正部は、前記第２深度画像を、前記配置面を前記配置面と直交する方向からみたときの深度を表す第２補正深度画像に補正し、
前記画像変換部は、前記第２補正深度画像を、前記配置面からの高さを表す第２高さ画像に変換し、
前記画像生成部は、前記第２高さ画像における前記複数のマーカの内側の領域の画像である第２マーカ内画像を生成し、
前記二値化部は、前記第２マーカ内画像を二値化した第２二値化画像を生成し、
前記サイド特定部は、前記第１矩形内画像における二値化データの分布と、前記第２二値化画像における前記物品を囲む最小境界矩形の内部の画像である第２矩形内画像における二値化データの分布と、に基づいて、前記物品のサイドを特定する、
請求項６に記載の物品特定装置。
前記画像補正部は、前記第２深度画像を、前記配置面を前記配置面と直交する方向からみたときの深度を表す第２補正深度画像に補正し、
前記画像変換部は、前記第２補正深度画像を、前記配置面からの高さを表す第２高さ画像に変換し、
前記画像生成部は、前記第２高さ画像における前記複数のマーカの内側の領域の画像である第２マーカ内画像を生成し、
前記二値化部は、前記第２マーカ内画像を二値化した第２二値化画像を生成し、
前記サイド特定部は、前記第１矩形内画像における二値化データの分布と、前記第２二値化画像における前記物品を囲む最小境界矩形の内部の画像である第２矩形内画像における二値化データの分布と、に基づいて、前記物品のサイドを特定する、
請求項６に記載の物品特定装置。
【請求項8】
前記第１補正深度画像と前記第２補正深度画像とを統合した統合補正深度画像を生成する画像統合部を更に備え、
前記画像変換部は、前記統合補正深度画像を、前記配置面からの高さを表す統合高さ画像に変換し、
前記画像生成部は、前記統合高さ画像における前記複数のマーカの内側の領域の画像である統合マーカ内画像を生成し、
前記二値化部は、前記統合マーカ内画像を二値化した統合二値化画像を生成し、
前記サイド特定部は、前記第１矩形内画像における二値化データの分布と、前記第２矩形内画像における二値化データの分布と、前記統合二値化画像における前記物品を囲む最小境界矩形の内部の画像である統合矩形内画像における二値化データの分布と、に基づいて、前記物品のサイドを特定する、
請求項７に記載の物品特定装置。
前記画像変換部は、前記統合補正深度画像を、前記配置面からの高さを表す統合高さ画像に変換し、
前記画像生成部は、前記統合高さ画像における前記複数のマーカの内側の領域の画像である統合マーカ内画像を生成し、
前記二値化部は、前記統合マーカ内画像を二値化した統合二値化画像を生成し、
前記サイド特定部は、前記第１矩形内画像における二値化データの分布と、前記第２矩形内画像における二値化データの分布と、前記統合二値化画像における前記物品を囲む最小境界矩形の内部の画像である統合矩形内画像における二値化データの分布と、に基づいて、前記物品のサイドを特定する、
請求項７に記載の物品特定装置。
【請求項9】
複数のマーカと前記複数のマーカの間に配置された物品と前記複数のマーカと前記物品とが配置された配置面とを第１地点から撮像し、第１色画像と第１深度画像とを生成する撮像部と、
前記第１色画像から前記物品の種類を特定する種類特定部と、
前記第１深度画像から前記物品のサイズを特定するサイズ特定部と、
前記種類特定部が特定した前記物品の種類と前記サイズ特定部が特定した前記物品のサイズとのうち少なくとも一方に基づく物品情報を表示部に表示させる表示制御部と、を備える、
物品特定システム。
前記第１色画像から前記物品の種類を特定する種類特定部と、
前記第１深度画像から前記物品のサイズを特定するサイズ特定部と、
前記種類特定部が特定した前記物品の種類と前記サイズ特定部が特定した前記物品のサイズとのうち少なくとも一方に基づく物品情報を表示部に表示させる表示制御部と、を備える、
物品特定システム。
【請求項10】
コンピュータを、
複数のマーカと前記複数のマーカの間に配置された物品と前記複数のマーカと前記物品とが配置された配置面とを第１地点から撮像することにより得られる第１色画像及び第１深度画像を取得する画像取得部、
前記第１色画像から前記物品の種類を特定する種類特定部、
前記第１深度画像から前記物品のサイズを特定するサイズ特定部、として機能させる、
プログラム。
複数のマーカと前記複数のマーカの間に配置された物品と前記複数のマーカと前記物品とが配置された配置面とを第１地点から撮像することにより得られる第１色画像及び第１深度画像を取得する画像取得部、
前記第１色画像から前記物品の種類を特定する種類特定部、
前記第１深度画像から前記物品のサイズを特定するサイズ特定部、として機能させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、物品特定装置、物品特定システム、及び、プログラムに関する。
【背景技術】
【0002】
現在、人体に埋設される人工関節であるインプラントとインプラントを扱うための器械とを用いた整形外科手術が知られている。このような整形外科手術では、器械出し看護師と呼ばれる手術室看護師が、患者の術式に応じたインプラント及び器械を準備し、これらのインプラント又は器械を整形外科医に手渡しすることがある。
【0003】
インプラント及び器械としては多種多様なものが存在するため、熟練した器械出し看護師であっても、適切なインプラント又は器械を選択することは容易ではない。現在、このような整形外科手術を支援するための種々の技術が知られている。例えば、特許文献１には、局所特徴量を使用して撮像した映像内の医療用物品を同定し、医療用物品の間違い、欠陥等を検出する技術が知られている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第６２２６１８７号
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１に記載された技術を含め、撮像画像から物品を検出する方法として現在知られている技術は、撮像した色画像から物品を検出する技術であることが多い。しかしながら、色画像から物品を検出する場合、物品の種類は比較的精度良く特定できても、物品のサイズを精度良く特定することが困難であることが多い。このため、物品のサイズを精度良く特定する技術が望まれている。
【0006】
本開示は、上記問題に鑑みてなされたものであり、物品のサイズを精度良く特定することが可能な物品特定装置等を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために、本開示の第１の観点に係る物品特定装置は、
複数のマーカと前記複数のマーカの間に配置された物品と前記複数のマーカと前記物品とが配置された配置面とを第１地点から撮像することにより得られる第１色画像及び第１深度画像を取得する画像取得部と、
前記第１色画像から前記物品の種類を特定する種類特定部と、
前記第１深度画像から前記物品のサイズを特定するサイズ特定部と、を備える。
複数のマーカと前記複数のマーカの間に配置された物品と前記複数のマーカと前記物品とが配置された配置面とを第１地点から撮像することにより得られる第１色画像及び第１深度画像を取得する画像取得部と、
前記第１色画像から前記物品の種類を特定する種類特定部と、
前記第１深度画像から前記物品のサイズを特定するサイズ特定部と、を備える。
【0008】
前記第１深度画像を、前記配置面を前記配置面と直交する方向からみたときの深度を表す第１補正深度画像に補正する画像補正部と、
前記第１補正深度画像を、前記配置面からの高さを表す第１高さ画像に変換する画像変換部と、
前記第１高さ画像における前記複数のマーカの内側の領域の画像である第１マーカ内画像を生成する画像生成部と、を更に備え、
前記サイズ特定部は、前記第１マーカ内画像を学習済みモデルに入力し、前記学習済みモデルの出力データに基づいて前記物品のサイズを特定してもよい。
前記第１補正深度画像を、前記配置面からの高さを表す第１高さ画像に変換する画像変換部と、
前記第１高さ画像における前記複数のマーカの内側の領域の画像である第１マーカ内画像を生成する画像生成部と、を更に備え、
前記サイズ特定部は、前記第１マーカ内画像を学習済みモデルに入力し、前記学習済みモデルの出力データに基づいて前記物品のサイズを特定してもよい。
【0009】
前記画像取得部は、前記複数のマーカと前記物品と前記配置面とを第２地点から撮像することにより得られる第２色画像及び第２深度画像を取得し、
前記画像補正部は、前記第２深度画像を、前記配置面を前記配置面と直交する方向からみたときの深度を表す第２補正深度画像に補正し、
前記画像変換部は、前記第２補正深度画像を、前記配置面からの高さを表す第２高さ画像に変換し、
前記画像生成部は、前記第２高さ画像における前記複数のマーカの内側の領域の画像である第２マーカ内画像を生成し、
前記サイズ特定部は、前記第２マーカ内画像を前記学習済みモデルに入力し、前記第１マーカ内画像と前記第２マーカ内画像とのそれぞれにおける前記学習済みモデルの出力データに基づいて前記物品のサイズを特定してもよい。
前記画像補正部は、前記第２深度画像を、前記配置面を前記配置面と直交する方向からみたときの深度を表す第２補正深度画像に補正し、
前記画像変換部は、前記第２補正深度画像を、前記配置面からの高さを表す第２高さ画像に変換し、
前記画像生成部は、前記第２高さ画像における前記複数のマーカの内側の領域の画像である第２マーカ内画像を生成し、
前記サイズ特定部は、前記第２マーカ内画像を前記学習済みモデルに入力し、前記第１マーカ内画像と前記第２マーカ内画像とのそれぞれにおける前記学習済みモデルの出力データに基づいて前記物品のサイズを特定してもよい。
【0010】
前記第１補正深度画像と前記第２補正深度画像とを統合した統合補正深度画像を生成する画像統合部を更に備え、
前記画像変換部は、前記統合補正深度画像を、前記配置面からの高さを表す統合高さ画像に変換し、
前記画像生成部は、前記統合高さ画像における前記複数のマーカの内側の領域の画像である統合マーカ内画像を生成し、
前記サイズ特定部は、前記統合マーカ内画像を前記学習済みモデルに入力し、前記第１マーカ内画像と前記第２マーカ内画像と前記統合マーカ内画像とのそれぞれにおける前記学習済みモデルの出力データに基づいて前記物品のサイズを特定してもよい。
前記画像変換部は、前記統合補正深度画像を、前記配置面からの高さを表す統合高さ画像に変換し、
前記画像生成部は、前記統合高さ画像における前記複数のマーカの内側の領域の画像である統合マーカ内画像を生成し、
前記サイズ特定部は、前記統合マーカ内画像を前記学習済みモデルに入力し、前記第１マーカ内画像と前記第２マーカ内画像と前記統合マーカ内画像とのそれぞれにおける前記学習済みモデルの出力データに基づいて前記物品のサイズを特定してもよい。
【0011】
前記物品は、種類と、サイズと、鏡像関係にある一対の物品のうち何れか一方の物品を指定するサイドとにより特定され、
前記第１深度画像から前記物品のサイドを特定するサイド特定部を更に備えてもよい。
前記第１深度画像から前記物品のサイドを特定するサイド特定部を更に備えてもよい。
【0012】
前記第１深度画像を、前記配置面を前記配置面と直交する方向からみたときの深度を表す第１補正深度画像に補正する画像補正部と、
前記第１補正深度画像を、前記配置面からの高さを表す第１高さ画像に変換する画像変換部と、
前記第１高さ画像における前記複数のマーカの内側の領域の画像である第１マーカ内画像を生成する画像生成部と、
前記第１マーカ内画像を二値化した第１二値化画像を生成する二値化部と、を更に備え、
前記サイド特定部は、前記第１二値化画像における前記物品を囲む最小境界矩形の内部の画像である第１矩形内画像における二値化データの分布に基づいて、前記物品のサイドを特定してもよい。
前記第１補正深度画像を、前記配置面からの高さを表す第１高さ画像に変換する画像変換部と、
前記第１高さ画像における前記複数のマーカの内側の領域の画像である第１マーカ内画像を生成する画像生成部と、
前記第１マーカ内画像を二値化した第１二値化画像を生成する二値化部と、を更に備え、
前記サイド特定部は、前記第１二値化画像における前記物品を囲む最小境界矩形の内部の画像である第１矩形内画像における二値化データの分布に基づいて、前記物品のサイドを特定してもよい。
【0013】
前記画像取得部は、前記複数のマーカと前記物品と前記配置面とを第２地点から撮像することにより得られる第２色画像及び第２深度画像を取得し、
前記画像補正部は、前記第２深度画像を、前記配置面を前記配置面と直交する方向からみたときの深度を表す第２補正深度画像に補正し、
前記画像変換部は、前記第２補正深度画像を、前記配置面からの高さを表す第２高さ画像に変換し、
前記画像生成部は、前記第２高さ画像における前記複数のマーカの内側の領域の画像である第２マーカ内画像を生成し、
前記二値化部は、前記第２マーカ内画像を二値化した第２二値化画像を生成し、
前記サイド特定部は、前記第１矩形内画像における二値化データの分布と、前記第２二値化画像における前記物品を囲む最小境界矩形の内部の画像である第２矩形内画像における二値化データの分布と、に基づいて、前記物品のサイドを特定してもよい。
前記画像補正部は、前記第２深度画像を、前記配置面を前記配置面と直交する方向からみたときの深度を表す第２補正深度画像に補正し、
前記画像変換部は、前記第２補正深度画像を、前記配置面からの高さを表す第２高さ画像に変換し、
前記画像生成部は、前記第２高さ画像における前記複数のマーカの内側の領域の画像である第２マーカ内画像を生成し、
前記二値化部は、前記第２マーカ内画像を二値化した第２二値化画像を生成し、
前記サイド特定部は、前記第１矩形内画像における二値化データの分布と、前記第２二値化画像における前記物品を囲む最小境界矩形の内部の画像である第２矩形内画像における二値化データの分布と、に基づいて、前記物品のサイドを特定してもよい。
【0014】
前記第１補正深度画像と前記第２補正深度画像とを統合した統合補正深度画像を生成する画像統合部を更に備え、
前記画像変換部は、前記統合補正深度画像を、前記配置面からの高さを表す統合高さ画像に変換し、
前記画像生成部は、前記統合高さ画像における前記複数のマーカの内側の領域の画像である統合マーカ内画像を生成し、
前記二値化部は、前記統合マーカ内画像を二値化した統合二値化画像を生成し、
前記サイド特定部は、前記第１矩形内画像における二値化データの分布と、前記第２矩形内画像における二値化データの分布と、前記統合二値化画像における前記物品を囲む最小境界矩形の内部の画像である統合矩形内画像における二値化データの分布と、に基づいて、前記物品のサイドを特定してもよい。
前記画像変換部は、前記統合補正深度画像を、前記配置面からの高さを表す統合高さ画像に変換し、
前記画像生成部は、前記統合高さ画像における前記複数のマーカの内側の領域の画像である統合マーカ内画像を生成し、
前記二値化部は、前記統合マーカ内画像を二値化した統合二値化画像を生成し、
前記サイド特定部は、前記第１矩形内画像における二値化データの分布と、前記第２矩形内画像における二値化データの分布と、前記統合二値化画像における前記物品を囲む最小境界矩形の内部の画像である統合矩形内画像における二値化データの分布と、に基づいて、前記物品のサイドを特定してもよい。
【0015】
上記目的を達成するために、本開示の第２の観点に係る物品特定システムは、
複数のマーカと前記複数のマーカの間に配置された物品と前記複数のマーカと前記物品とが配置された配置面とを第１地点から撮像し、第１色画像と第１深度画像とを生成する撮像部と、
前記第１色画像から前記物品の種類を特定する種類特定部と、
前記第１深度画像から前記物品のサイズを特定するサイズ特定部と、
前記種類特定部が特定した前記物品の種類と前記サイズ特定部が特定した前記物品のサイズとのうち少なくとも一方に基づく物品情報を表示部に表示させる表示制御部と、を備える。
複数のマーカと前記複数のマーカの間に配置された物品と前記複数のマーカと前記物品とが配置された配置面とを第１地点から撮像し、第１色画像と第１深度画像とを生成する撮像部と、
前記第１色画像から前記物品の種類を特定する種類特定部と、
前記第１深度画像から前記物品のサイズを特定するサイズ特定部と、
前記種類特定部が特定した前記物品の種類と前記サイズ特定部が特定した前記物品のサイズとのうち少なくとも一方に基づく物品情報を表示部に表示させる表示制御部と、を備える。
【0016】
上記目的を達成するために、本開示の第３の観点に係るプログラムは、
コンピュータを、
複数のマーカと前記複数のマーカの間に配置された物品と前記複数のマーカと前記物品とが配置された配置面とを第１地点から撮像することにより得られる第１色画像及び第１深度画像を取得する画像取得部、
前記第１色画像から前記物品の種類を特定する種類特定部、
前記第１深度画像から前記物品のサイズを特定するサイズ特定部、として機能させる。
コンピュータを、
複数のマーカと前記複数のマーカの間に配置された物品と前記複数のマーカと前記物品とが配置された配置面とを第１地点から撮像することにより得られる第１色画像及び第１深度画像を取得する画像取得部、
前記第１色画像から前記物品の種類を特定する種類特定部、
前記第１深度画像から前記物品のサイズを特定するサイズ特定部、として機能させる。
【発明の効果】
【0017】
本開示によれば、物品のサイズを精度良く特定することができる。
【図面の簡単な説明】
【0018】
【図1】実施の形態に係る物品特定システムの構成図
【図2】実施の形態に係る物品特定装置の構成図
【図3】実施の形態に係る撮像装置の配置図
【図4】実施の形態に係る物品特定装置の機能構成図
【図5】配置面の説明図
【図6】深度画像を示す図
【図7】補正深度画像を示す図
【図8】ポイントクラウドデータの補正の説明図
【図9】高さ画像を示す図
【図10】マーカ内画像を示す図
【図11】二値化画像を示す図
【図12】矩形内画像を示す図
【図13】二値化データの分布から物品のサイドを特定する方法の説明図
【図14】実施の形態に係る物品特定装置が実行する物品特定処理を示すフローチャート
【発明を実施するための形態】
【0019】
以下、本開示の実施の形態について、図面を参照して説明する。なお、図中において、同一又は対応する部分には、同一の符号を付す。
【0020】
（実施の形態）
まず、図１を参照して、実施の形態に係る物品特定システム１０００の構成について説明する。物品特定システム１０００は、撮像画像内に含まれる物品を特定するシステムである。特定対象の物品としてどのような物品を採用するのかは適宜調整することができる。本実施の形態では、特定対象の物品は、整形外科手術で用いられるインプラント又は器械である。インプラントは、人体に埋設される人工関節である。器械は、インプラントを扱うための物であり、例えば、インプラントの代わりに一時的に人体に埋設する物や、インプラントを人体に埋設するときに用いられる工具である。物品特定システム１０００は、例えば、器械出し看護師が、インプラント及び器械を適切に選択することを支援することが可能である。
まず、図１を参照して、実施の形態に係る物品特定システム１０００の構成について説明する。物品特定システム１０００は、撮像画像内に含まれる物品を特定するシステムである。特定対象の物品としてどのような物品を採用するのかは適宜調整することができる。本実施の形態では、特定対象の物品は、整形外科手術で用いられるインプラント又は器械である。インプラントは、人体に埋設される人工関節である。器械は、インプラントを扱うための物であり、例えば、インプラントの代わりに一時的に人体に埋設する物や、インプラントを人体に埋設するときに用いられる工具である。物品特定システム１０００は、例えば、器械出し看護師が、インプラント及び器械を適切に選択することを支援することが可能である。
【0021】
本実施の形態において、物品を特定することは、物品の種類と、物品のサイズと、物品のサイドとを特定することである。物品の種類は、例えば、物品の用途を識別するための概念であり、物品のサイズと物品のサイドとを含まない概念である。物品の種類として、例えば、大腿骨コンポーネント、大腿骨カット用ガイド、大腿骨コンポーネントトライアル、脛骨プレート、脛骨カット用ガイド等がある。本実施の形態では、同一の種類の物品は、基本的に、同じ形であり、相似する。
【0022】
物品のサイズは、物品の大きさを識別するための概念である。物品の大きさを定義する方法は適宜調整することができる。例えば、物品の大きさは、物品の体積、物品の高さ、物品の幅等により表現される。例えば、物品の大きさは、物品の長手方向における長さで表現されてもよい。また、例えば、物品の大きさは、物品に適した置き方で置かれた物品を平面視したときに、物品を囲む最小境界矩形の長辺又は短辺の長さで表現されてもよい。最小境界矩形は、最小境界ボックスともいい、ある図形を囲む矩形のうち最小の面積を有する矩形である。
【0023】
物品のサイドは、鏡像関係にある一対の物品のうち何れか一方の物品を指定する概念である。例えば、人体に埋め込むインプラントは、同じ種類であっても、人体の右側用のインプラントと人体の左側用のインプラントとが存在する。具体的には、例えば、大腿骨コンポーネントとしては、右足用の大腿骨コンポーネントと左足用の大腿骨コンポーネントとが存在する。同様に、インプラントに対応する器械についても、右側用の器械と左側用の器械とが存在する。
【0024】
例えば、大腿骨コンポーネントに対応する器械である大腿骨コンポーネントトライアルとしては、右足用の大腿骨コンポーネントトライアルと左足用の大腿骨コンポーネントトライアルとが存在する。大腿骨コンポーネントトライアルは、大腿骨コンポーネントを人体に埋設する前に、一時的に人体に埋設する器械であり、サイズ、動作等を確認するための器械である。大腿骨コンポーネントトライアルの形状及び大きさは、大腿骨コンポーネントの形状及び大きさと同じである。本実施の形態では、物品のサイドは、右用と左用との何れか一方を指定する概念である。なお、物品のサイドは、右用と左用との何れか一方を指定する概念に限定されず、上用と下用との何れか一方を指定する概念でもよく、表用と裏用との何れか一方を指定する概念でもよい。
【0025】
以上説明したように、本実施の形態では、物品は、物品の種類と、物品のサイズと、物品のサイドとにより特定される。言い換えれば、２つの物品を対比した場合において、物品の種類が同じでも、物品のサイズ又は物品のサイドが異なる場合、２つの物品は異なる物品である。
【0026】
図１に示すように、物品特定システム１０００は、物品特定装置１００と、撮像装置２００Ａと、撮像装置２００Ｂと、表示装置３００とを備える。以下、撮像装置２００Ａと撮像装置２００Ｂとを総称して、適宜、撮像装置２００という。物品特定装置１００は、撮像装置２００Ａと撮像装置２００Ｂと表示装置３００とのそれぞれと、無線又は有線で通信可能に接続される。
【0027】
物品特定装置１００は、撮像装置２００から取得した色画像及び深度画像に基づいて、これらの画像に映し出された物品の種類、サイズ、及びサイドを特定する。色画像は、撮像領域内の各部の色を可視化した画像である。色画像は、多色画像でもよいし、単色画像でもよい。多色画像は、撮像領域内の各部の様子を複数の色で表現した画像である。多色画像は、例えば、撮像領域内の各部の色を、ＲＧＢ（Red Green Blue）の三原色の輝度値で表現したＲＧＢ画像である。単色画像は、撮像領域内の各部の様子を単一の色で表現した画像である。深度画像は、撮像装置２００から撮像領域内の各部までの深度を可視化した画像である。例えば、深度画像は、撮像装置２００から撮像領域内の各部までの距離を、単色の輝度値、ＲＧＢの三原色の輝度値等で表現した画像である。
【0028】
物品特定装置１００は、撮像装置２００Ａから第１色画像と第１深度画像とを取得し、撮像装置２００Ｂから第２色画像と第２深度画像とを取得する。第１色画像は、撮像装置２００Ａが生成した色画像である。第２色画像は、撮像装置２００Ｂが生成した色画像である。第１深度画像は、撮像装置２００Ａが生成した深度画像である。第２深度画像は、撮像装置２００Ｂが生成した深度画像である。以下、適宜、第１色画像と第２色画像とを総称して色画像といい、第１深度画像と第２深度画像とを総称して深度画像という。
【0029】
また、物品特定装置１００は、物品に関する情報である物品情報を表示装置３００に送信する。物品情報は、物品の種類、物品のサイズ、物品のサイドのうち少なくとも１つに基づく情報である。物品情報は、物品の種類、物品のサイズ、物品のサイド等を示す情報でもよいし、物品の種類、物品のサイズ、物品のサイド等から導き出される情報でもよい。例えば、撮像装置２００の撮像領域内に２つの物品が存在する場合、物品情報は、２つの物品に互換性があるか否かの判定結果を示す情報でもよい。また、例えば、使用すべき物品が予め定められている場合、物品情報は、撮像領域内の物品が使用すべき物品であるか否かの判別結果を示す情報でもよい。物品特定装置１００は、例えば、パーソナルコンピュータである。
【0030】
図２に示すように、物品特定装置１００は、制御部１１と、記憶部１２と、表示部１３と、操作受付部１４と、第１通信部１５と、第２通信部１６とを備える。
【0031】
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＲＴＣ（Real Time Clock）等を備える。ＣＰＵは、中央処理装置、中央演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）等とも呼び、物品特定装置１００の制御に係る処理及び演算を実行する中央演算処理部として機能する。制御部１１において、ＣＰＵは、ＲＯＭに格納されているプログラム及びデータを読み出し、ＲＡＭをワークエリアとして用いて、物品特定装置１００を統括制御する。ＲＴＣは、例えば、計時機能を有する集積回路である。なお、ＣＰＵは、ＲＴＣから読み出される時刻情報から現在日時を特定可能である。
【0032】
記憶部１２は、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）等の不揮発性の半導体メモリを備えており、いわゆる補助記憶装置としての役割を担う。記憶部１２は、制御部１１が各種処理を実行するために使用するプログラム及びデータを記憶する。また、記憶部１２は、制御部１１が各種処理を実行することにより生成又は取得するデータを記憶する。例えば、記憶部１２は、色画像、深度画像、補正深度画像、高さ画像、マーク内画像、二値化画像、矩形内画像、学習済みモデル等を記憶する。
【0033】
表示部１３は、制御部１１による制御に従って、各種の画像を表示する。例えば、表示部１３は、ユーザから各種の操作を受け付けるための画面を表示する。表示部１３は、タッチスクリーン、液晶ディスプレイ等を備える。操作受付部１４は、ユーザから各種の操作を受け付け、受け付けた操作の内容を示す情報を制御部１１に供給する。操作受付部１４は、タッチスクリーン、ボタン、レバー等を備える。
【0034】
第１通信部１５は、制御部１１による制御に従って、撮像装置２００と通信する。例えば、第１通信部１５は、制御部１１による制御に従って、撮像装置２００から撮像画像を取得する。なお、撮像画像は、色画像と深度画像との総称である。第１通信部１５は、周知の有線通信規格又は周知の無線通信規格に則って、撮像装置２００と通信する。周知の有線通信規格としては、ＵＳＢ（Universal Serial Bus、登録商標）、Ｔｈｕｎｄｅｒｂｏｌｔ（登録商標）等がある。周知の無線通信規格としては、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅ（登録商標）等がある。第１通信部１５は、各種の通信規格に準拠した通信インターフェースを備える。
【0035】
第２通信部１６は、制御部１１による制御に従って、表示装置３００と通信する。例えば、第２通信部１６は、物品情報を表示装置３００に送信する。第２通信部１６は、周知の有線通信規格又は周知の無線通信規格に則って、表示装置３００と通信する。第２通信部１６は、各種の通信規格に準拠した通信インターフェースを備える。
【0036】
撮像装置２００Ａは、撮像領域を撮像することにより、第１色画像と第１深度画像とを生成する。撮像装置２００Ａは、物品特定装置１００から与えられたトリガに従って第１色画像と第１深度画像とを生成してもよいし、予め定められた周期で第１色画像と第１深度画像とを生成してもよい。撮像装置２００Ａは、色画像を生成するためのイメージセンサと、深度画像を生成するための深度センサとを備える。また、撮像装置２００Ａは、各種の通信規格に準拠した通信インターフェースを備え、周知の有線通信規格又は周知の無線通信規格に則って、物品特定装置１００と通信する。
【0037】
図３に示すように、撮像装置２００Ａは、支持部材２５１により支持され、第１地点から、４つのマーカ４００と、４つのマーカ４００の間に配置された物品５００と、４つのマーカ４００と物品５００とが配置された配置面６００とを含む撮像領域を撮像する。なお、撮像装置２００Ａが備えるイメージセンサの撮像領域と撮像装置２００Ａが備える深度センサの撮像領域とはほぼ重なる。第１色画像と第１深度画像とは、４つのマーカ４００と物品５００と配置面６００とを撮像することにより得られる。
【0038】
撮像装置２００Ｂは、撮像領域を撮像することにより、第２色画像と第２深度画像とを生成する。撮像装置２００Ｂの構成は、基本的に、撮像装置２００Ａの構成と同様である。撮像装置２００Ｂは、物品特定装置１００から与えられたトリガに従って第２色画像と第２深度画像とを生成してもよいし、予め定められた周期で第２色画像と第２深度画像とを生成してもよい。撮像装置２００Ｂは、色画像を生成するためのイメージセンサと、深度画像を生成するための深度センサとを備える。また、撮像装置２００Ｂは、各種の通信規格に準拠した通信インターフェースを備え、周知の有線通信規格又は周知の無線通信規格に則って、物品特定装置１００と通信する。
【0039】
図３に示すように、撮像装置２００Ｂは、支持部材２５２により支持され、第２地点から、４つのマーカ４００と、４つのマーカ４００の間に配置された物品５００と、４つのマーカ４００と物品５００とが配置された配置面６００とを含む撮像領域を撮像する。なお、撮像装置２００Ｂが備えるイメージセンサの撮像領域と撮像装置２００Ｂが備える深度センサの撮像領域とはほぼ重なる。第２色画像と第２深度画像とは、４つのマーカ４００と物品５００と配置面６００とを撮像することにより得られる。
【0040】
４つのマーカ４００は、撮像画像に映し出された物品５００のサイズを特定するために用いられる目印である。４つのマーカ４００は、撮像装置２００Ａが撮像した撮像画像と撮像装置２００Ｂが撮像した撮像画像との位置合わせに用いられる目印でもある。マーカ４００は、マーカ４００Ａとマーカ４００Ｂとマーカ４００Ｃとマーカ４００Ｄとの総称である。マーカ４００Ａとマーカ４００Ｂとマーカ４００Ｃとマーカ４００Ｄとのそれぞれは、例えば、予め定められた大きさを有する正方形の各頂点に対応する位置に配置される。
【0041】
撮像画像内における物品５００の大きさは、撮像装置２００の画角、撮像装置２００の設置位置等により変化する。しかしながら、４つのマーカ４００を頂点とする正方形の大きさが一定であれば、撮像画像内におけるこの正方形の大きさ又は辺の長さから、物品５００の現実空間におけるサイズを求めることができる。４つのマーカ４００は、模様、色、大きさ等のうち少なくとも１つが異なることが好適である。本実施の形態では、４つのマーカ４００は、模様と色とが互いに異なり、大きさが同じである。撮像装置２００は、撮像部の一例である。
【0042】
物品５００は、特定対象の物品である。物品５００は、４つのマーカ４００の間に配置される。つまり、物品５００は、４つのマーカ４００を頂点とする正方形の内部に配置される。本実施の形態では、物品５００は、大腿骨コンポーネントトライアルである。配置面６００は、４つのマーカ４００と物品５００とが配置される面である。配置面６００は、床面、机の天板の上面等である。配置面６００は、基本的に、水平な面である。なお、本実施の形態では、Ｚ軸は鉛直方向に延びる軸であり、Ｘ軸はＺ軸と直交する軸であり、Ｙ軸はＸ軸とＺ軸とに直交する軸である。
【0043】
表示装置３００は、各種の情報を表示する。例えば、表示装置３００は、物品特定装置１００から受信した物品情報に基づく情報を表示する。表示装置３００は、タッチスクリーン、液晶ディスプレイ等を備え、各種の通信規格に準拠した通信インターフェースを備える。表示装置３００は、周知の有線通信規格又は周知の無線通信規格に則って、物品特定装置１００と通信する。
【0044】
次に、図４を参照して、物品特定装置１００の機能について説明する。物品特定装置１００は、機能的には、画像取得部１０１と、種類特定部１０２と、画像補正部１０３と、画像統合部１０４と、画像変換部１０５と、画像生成部１０６と、サイズ特定部１０７と、二値化部１０８と、サイド特定部１０９と、表示制御部１１０と、通信制御部１１１とを備える。これらの各機能は、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現される。ソフトウェア及びファームウェアは、プログラムとして記述され、ＲＯＭ又は記憶部１２に格納される。そして、ＣＰＵが、ＲＯＭ又は記憶部１２に記憶されたプログラムを実行することによって、これらの各機能を実現する。
【0045】
画像取得部１０１は、マーカ４００と物品５００と配置面６００とを第１地点から撮像することにより得られる第１色画像及び第１深度画像を取得する。また、画像取得部１０１は、マーカ４００と物品５００と配置面６００とを第２地点から撮像することにより得られる第２色画像及び第２深度画像を撮像装置２００Ｂから取得する。画像取得部１０１は、基本的に、撮像装置２００Ａから第１色画像及び第１深度画像を取得し、撮像装置２００Ｂから第２色画像及び第２深度画像を取得する。画像取得部１０１は、画像取得部の一例である。
【0046】
種類特定部１０２は、第１色画像から物品５００の種類を特定する。種類特定部１０２が第１色画像から物品５００の種類を特定する手法は、適宜、調整することができる。例えば、種類特定部１０２は、周知のパターンマッチング技術を用いて、第１色画像から物品５００の種類を特定する。又は、種類特定部１０２は、周知の学習済みモデルを用いて、第１色画像から物品５００の種類を特定してもよい。なお、種類特定部１０２は、第２色画像から物品５００の種類を特定してもよいし、第１色画像と第２色画像とから物品５００の種類を特定してもよい。種類特定部１０２は、種類特定部の一例である。
【0047】
画像補正部１０３は、第１深度画像を、配置面６００を配置面６００と直交する方向からみたときの深度を表す第１補正深度画像に補正する。また、画像補正部１０３は、第２深度画像を、配置面６００を配置面６００と直交する方向からみたときの深度を表す第２補正深度画像に補正する。深度画像は、撮像装置２００から撮像領域の各部までの距離を表す画像である。このため、深度画像では、配置面６００のうち撮像装置２００から離れた部分の深度は、配置面６００のうち撮像装置２００から近い部分の深度よりも深くなる。しかしながら、配置面６００の場所によって異なる深度に表現される深度画像よりも、配置面６００の全体が同じ深度に表現されるように補正された補正深度画像の方が、利用しやすいことがある。そこで、画像補正部１０３は、深度画像を補正深度画像に補正する。なお、補正深度画像は、第１補正深度画像と第２補正深度画像との総称である。
【0048】
以下、図５と図６と図７とを参照して、補正深度画像である第１補正深度画像について説明する。図５は、Ｙ軸の負の方向から、撮像装置２００、マーカ４００、物品５００、配置面６００等を見た様子を示す図である。図５に示すように、撮像装置２００Ａが設置される第１地点と撮像装置２００Ｂが設置される第２地点とは異なる。図５では、第１地点を点２１１で示し、第２地点を点２１２で示している。
【0049】
図６は、第１深度画像である画像７１０を示す図である。画像７１０は、撮像装置２００Ａからの距離が近い部分ほど、つまり、撮像装置２００Ａからの深度が浅い部分ほど濃い色で表現した画像である。画像７１０では、物品５００に相当する部分の深度が、物品５００の周囲の配置面６００に相当する部分の深度よりも浅い。また、画像７１０では、配置面６００に相当する部分の深度は一定ではなく、配置面６００に相当する部分の深度は撮像装置２００Ａに近い部分に相当する部分ほど浅い。
【0050】
図７は、第１補正深度画像である画像７２０を示す図である。画像７２０では、物品５００に相当する部分の深度が、物品５００の周囲の配置面６００に相当する部分の深度よりも浅い。また、画像７２０では、配置面６００に相当する部分の深度は一定である。
【0051】
画像補正部１０３が、第１深度画像を第１補正深度画像に補正する方法は、適宜、調整することができる。例えば、画像補正部１０３は、第１深度画像中に表現された配置面６００に相当する部分を特定し、特定した部分の深度の傾きに基づいて、第１深度画像を補正する。なお、画像補正部１０３は、例えば、ＲＡＮＳＡＣ（Random Sample Consensus）を用いて、第１深度画像中に表現された配置面６００に相当する部分を特定することができる。ＲＡＮＳＡＣは、外れ値を含むデータから、外れ値の影響を除外して数学モデルのパラメータを学習する手法である。つまり、画像補正部１０３は、第１補正深度画像中に表現される配置面６００に相当する部分の深度の傾きがなくなるように、第１深度画像を第１補正深度画像に補正する。
【0052】
以下、図８を参照して、ポイントクラウドデータの補正により、深度画像を補正深度画像に補正する方法について説明する。
【0053】
本実施の形態では、深度画像と色画像とは、ポイントクラウドデータにより表現される。なお、画像取得部１０１は、深度画像と色画像とを表すポイントクラウドデータを撮像装置２００から取得してもよいし、撮像装置２００から取得した深度画像及び色画像からポイントクラウドデータを生成してもよい。ポイントクラウドデータは、コンピュータで扱う点の集合である。
【0054】
本実施の形態では、ポイントクラウドデータは、三次元空間における点の位置とこの点の色とを示すデータである。点の位置は、例えば、ＸＹＺの直交座標により表現される。また、点の色は、例えば、ＲＧＢの三原色の輝度値により表現される。つまり、本実施の形態では、ポイントクラウドデータは、三次元空間における点のそれぞれについて、Ｘ座標とＹ座標とＺ座標と赤の輝度値と緑の輝度値と青の輝度値とを示すデータである。このように、ポイントクラウドデータは、位置を表すデータと色を表すデータとを含むが、以下の説明においては、適宜、色を表すデータの説明を省略する。
【0055】
図８において、点７１は原点を示し、平面７２は配置面６００を示し、線７３は点７１から平面７２に延びる垂線を示し、矢印７４は平面７２の法線ベクトルを示す。ここで、点７５は、ポイントクラウドデータのｔ番目のフレームにおけるｉ番目の点であるｐｉｔを示す。また、点７６は点７５を平面７２に投影した点であるｐｆｉｔを示す。ここで、法線ベクトルをｎ、三次元空間における平面７２上の任意の点をｘ、平面７２と点７１との符号付距離をｈとすると、平面７２は、ベクトルの内積を用いて、式（１）により表される。
ｎ・ｘ＝ｈ （１）
ｎ・ｘ＝ｈ （１）
【0056】
また、式（２）は、三次元空間における任意の点を法線ベクトルに沿って平面７２に投影するための計算式であり、ｐｉｔからｐｆｉｔを求めるための式である。ここで、式（３）は、投影のための移動ベクトルを示す式である。ここで、移動ベクトルの時間毎の相加平均を求めることにより、求めた移動ベクトルを補正用のパラメータとする。深度画像を表すポイントクラウドデータをこの補正パラメータを用いて補正することにより補正後のポイントクラウドデータが求められる。この補正後のポイントクラウドデータにより表される画像が補正深度画像である。
ｐｆｉｔ＝ｐｉｔ－（（ｐｉｔ・ｎ）－ｈ）ｎ （２）
ｃｉｔ＝（（ｐｉｔ・ｎ）－ｈ）ｎ （３）
ｐｆｉｔ＝ｐｉｔ－（（ｐｉｔ・ｎ）－ｈ）ｎ （２）
ｃｉｔ＝（（ｐｉｔ・ｎ）－ｈ）ｎ （３）
【0057】
つまり、画像補正部１０３は、第１深度画像を表すポイントクラウドデータを上述した移動ベクトルで補正する。画像補正部１０３は、補正されたポイントクラウドデータにより表される画像を第１補正深度画像として取得する。画像補正部１０３は、同様の手法により、第２深度画像を第２補正深度画像に補正する。このように、画像補正部１０３は、ポイントクラウドデータを補正することにより、深度画像を補正深度画像に補正する。ポイントクラウドデータの補正は、深度画像に対応するポイントクラウドデータにおいて配置面６００に相当する部分で検出精度により発生したズレを低減するための補正であり、配置面６００が平面であるという前提条件に従って配置面６００に相当する部分が平面になるようにする補正である。画像補正部１０３は、画像補正部の一例である。
【0058】
画像統合部１０４は、第１補正深度画像と第２補正深度画像とを統合した統合補正深度画像を生成する。画像統合部１０４が統合補正深度画像を生成する手法は、適宜、調整することができる。例えば、画像統合部１０４は、第２補正深度画像を表すポイントクラウドデータに対して剛体変換マトリクスを適用して、第２補正深度画像を表すポイントクラウドデータを、第１補正深度画像を表すポイントクラウドデータに統合可能な形に変換する。剛体変換マトリクスは、第１補正深度画像中における４つのマーカ４００の位置と、第２補正深度画像中における４つのマーカ４００の位置とに基づいて算出される。
【0059】
画像統合部１０４は、剛体変換により変換された第２補正深度画像を表すポイントクラウドデータを、第１補正深度画像を表すポイントクラウドデータに統合することにより、統合補正深度画像を表すポイントクラウドデータを生成する。以下、ポイントクラウドデータを用いて、深度画像を統合する手法について説明する。
【0060】
まず、第１補正深度画像を表すポイントクラウドデータをｐｃｄｃａｍ１とすると、ｐｃｄｃａｍ１は式（４）により示される。また、第２補正深度画像を表すポイントクラウドデータをｐｃｄｃａｍ２とすると、ｐｃｄｃａｍ２は式（５）により示される。ａ１からａｎは、第１補正深度画像により深度が表現された各ポイントを表す。ｂ１からｂｎは、第２補正深度画像により深度が表現された各ポイントを表す。なお、ｎは、ポイントの個数である。
ｐｃｄｃａｍ１＝｛ａ１，ａ２，・・・，ａｎ｝ （４）
ｐｃｄｃａｍ２＝｛ｂ１，ｂ２，・・・，ｂｎ｝ （５）
ｐｃｄｃａｍ１＝｛ａ１，ａ２，・・・，ａｎ｝ （４）
ｐｃｄｃａｍ２＝｛ｂ１，ｂ２，・・・，ｂｎ｝ （５）
【0061】
第１補正深度画像内におけるマーカ４００に対応するポイントクラウドデータをｃｈｅｃｋｅｒｃａｍ１とすると、ｃｈｅｃｋｅｒｃａｍ１は式（６）により示される。第２補正深度画像内におけるマーカ４００に対応するポイントクラウドデータをｃｈｅｃｋｅｒｃａｍ２とすると、ｃｈｅｃｋｅｒｃａｍ２は式（７）により示される。ｃ１１、ｃ１２、ｃ１３、ｃ１４は、それぞれ、第１補正深度画像において、マーカ４００Ａ、マーカ４００Ｂ、マーカ４００Ｃ、マーカ４００Ｄの位置を示すポイントである。ｃ２１、ｃ２２、ｃ２３、ｃ２４は、それぞれ、第１補正深度画像において、マーカ４００Ａ、マーカ４００Ｂ、マーカ４００Ｃ、マーカ４００Ｄの位置を示すポイントである。
ｃｈｅｃｋｅｒｃａｍ１＝｛ｃ１１，ｃ１２，ｃ１３，ｃ１４｝ （６）
ｃｈｅｃｋｅｒｃａｍ２＝｛ｃ２１，ｃ２２，ｃ２３，ｃ２４｝ （７）
ｃｈｅｃｋｅｒｃａｍ１＝｛ｃ１１，ｃ１２，ｃ１３，ｃ１４｝ （６）
ｃｈｅｃｋｅｒｃａｍ２＝｛ｃ２１，ｃ２２，ｃ２３，ｃ２４｝ （７）
【0062】
式（８）は、回転行列をＲとし、平行移動ベクトルをｔとして、ｃ１ｉとｃ２ｉとの関係を示す式である。ｉは、１から４までの整数である。ここで、画像統合部１０４は、第２補正深度画像内におけるマーカ４００が第１補正深度画像内におけるマーカ４００に重なるように、つまり、｛ｃ２１，ｃ２２，ｃ２３，ｃ２４｝が｛ｃ１１，ｃ１２，ｃ１３，ｃ１４｝に重なるように、回転行列であるＲと平行移動ベクトルであるｔとを求める。
ｃ１ｉ＝Ｒｃ２ｉ＋ｔ （８）
ｃ１ｉ＝Ｒｃ２ｉ＋ｔ （８）
【0063】
合成後のポイントクラウドデータであるｐｃｄｃａｍ１＋ｃａｍ２は、式（９）により示される。このように、ｐｃｄｃａｍ１＋ｃａｍ２は、ｐｃｄｃａｍ２に対して位置合わせのための回転操作及び平行移動操作を加えたものをｐｃｄｃａｍ１に加えることで生成される。統合補正深度画像は、ｐｃｄｃａｍ１＋ｃａｍ２というポイントクラウドデータにより表される画像である。画像統合部１０４は、画像統合部の一例である。
ｐｃｄｃａｍ１＋ｃａｍ２＝｛ａ１，Ｒｂ１＋ｔ，ａ２，Ｒｂ２＋ｔ，・・・，ａｎ，Ｒｂｎ＋ｔ｝ （９）
ｐｃｄｃａｍ１＋ｃａｍ２＝｛ａ１，Ｒｂ１＋ｔ，ａ２，Ｒｂ２＋ｔ，・・・，ａｎ，Ｒｂｎ＋ｔ｝ （９）
【0064】
画像変換部１０５は、第１補正深度画像を、配置面６００からの高さを表す第１高さ画像に変換する。また、画像変換部１０５は、第２補正深度画像を、配置面６００からの高さを表す第２高さ画像に変換する。また、画像変換部１０５は、統合補正深度画像を、配置面６００からの高さを表す統合高さ画像に変換する。高さ画像は、配置面６００からの高さを表す画像である。高さ画像は、第１高さ画像と第２高さ画像と統合高さ画像との総称である。
【0065】
例えば、画像変換部１０５は、第１補正深度画像を表すポイントクラウドデータに対して、座標変換処理を実行することで座標変換後のポイントクラウドデータを取得し、取得した座標変換後のポイントクラウドデータが示す画像を第１高さ画像として取得する。この座標変換は、撮像装置２００Ａを基準とした座標系を、配置面６００を基準とした座標系にするための座標変換である。この座標変換は、撮像装置２００Ａを基準とした座標軸を、配置面６００を基準とした座標軸に重なるように回転させることにより実現する。この座標変換により、撮像装置２００Ａからの距離を表すポイントクラウドデータが、配置面６００からの高さを示すポイントクラウドデータに変換される。変換後のポイントクラウドデータは、第１高さ画像を表す。図９に、第１高さ画像である画像７３０を示す。画像７３０は、配置面６００からの高さが高い部分ほど、濃い色で表現した画像である。
【0066】
画像変換部１０５は、同様の手法により、第２補正深度画像を第２高さ画像に変換し、統合補正深度画像を統合高さ画像に変換する。例えば、画像変換部１０５は、第２補正深度画像を表すポイントクラウドデータに対して、撮像装置２００Ｂを基準とした座標系を、配置面６００を基準とした座標系にするための座標変換処理を実行する。画像変換部１０５は、座標変換により得られたポイントクラウドデータが示す画像を第２高さ画像として取得する。また、画像変換部１０５は、統合補正深度画像を表すポイントクラウドデータに対して、撮像装置２００Ａを基準とした座標系を、配置面６００を基準とした座標系にするための座標変換処理を実行する。画像変換部１０５は、座標変換により得られたポイントクラウドデータが示す画像を統合高さ画像として取得する。画像変換部１０５は、画像変換部の一例である。
【0067】
画像生成部１０６は、第１高さ画像における複数のマーカ４００の内側の領域の画像である第１マーカ内画像を生成する。また、画像生成部１０６は、第２高さ画像における複数のマーカ４００の内側の領域の画像である第２マーカ内画像を生成する。また、画像生成部１０６は、統合高さ画像における複数のマーカ４００の内側の領域の画像である統合マーカ内画像を生成する。マーカ内画像は、４つのマーカ４００の内側の領域の画像である。具体的には、マーカ内画像は、４つのマーカ４００の内側の領域における配置面６００からの高さを、予め定められた解像度で表す画像である。本実施の形態では、マーカ内画像は、１５０画素×１５０画素で、各画素に対応する部分における配置面６００からの高さを画素値で表す画像である。マーカ内画像は、第１マーカ内画像と第２マーカ内画像と統合マーカ内画像との総称である。
【0068】
図１０に、第１マーカ内画像である画像７４０を示す。画像７４０は、配置面６００からの高さが高い部分ほど、濃い色で表現した画像である。画像生成部１０６は、画像７３０から４つのマーカ４００の内側の領域である領域４１０内の画像色画像７４０を生成する。例えば、画像生成部１０６は、領域４１０内の画像を１５０×１５０の小領域に分割し、小領域毎に画素値の最大値を求める。そして、画像生成部１０６は、各小領域の画素値としてこの最大値を採用した画像７４０を生成する。なお、補正深度画像中におけるマーカ４００の位置は、色画像から特定可能である。同様の手法により、画像生成部１０６は、第２高さ画像から第２マーカ内画像を生成し、統合高さ画像から統合マーカ内画像を生成する。
【0069】
なお、４つのマーカ４００の内側の領域である領域４１０をどのように定義するのかは、適宜、調整することができる。例えば、図１０に示すように、４つのマーカ４００のそれぞれの最も内側の部分を結ぶ領域を領域４１０としてもよい。又は、４つのマーカ４００のそれぞれの最も外側の部分を結ぶ領域を領域４１０としてもよい。また、図１０では、領域４１０の外縁を表す矩形の辺と、画像７３０の外縁を表す矩形の辺とのなす角度が０度又は９０度である例について説明した。この角度は、０度又は９０度でなくてもよい。画像生成部１０６は、画像生成部の一例である。
【0070】
サイズ特定部１０７は、第１深度画像と第２深度画像と統合深度画像とから物品５００のサイズを特定する。具体的には、サイズ特定部１０７は、第１マーカ内画像と第２マーカ内画像と統合マーカ内画像とをそれぞれ学習済みモデルに入力する。そして、サイズ特定部１０７は、第１マーカ内画像と第２マーカ内画像と統合マーカ内画像とのそれぞれにおける学習済みモデルの出力に基づいて物品５００のサイズを特定する。
【0071】
学習済みモデルは、マーカ内画像から物品５００のサイズを特定するためのモデルであり、物品５００の種類毎に用意されるモデルである。学習済みモデルは、１５０画素×１５０画素に規格化されたマーカ内画像と、このマーカ内画像に表現された物品５００の現実空間におけるサイズとを含む教師データを用いた学習により生成することができる。マーカ内画像は、上述したようにサイズが規格化されている。従って、マーカ内画像内における物品５００のサイズは、現実空間における物品５００のサイズに対応する。このため、学習済みモデルを用いてマーカ内画像から物品５００のサイズを精度良く特定することが期待できる。
【0072】
また、配置面６００の色と物品５００の色とが類似する色である場合、色画像に基づく画像において配置面６００と物品５００との境界を特定することは容易ではない。このような場合においても、深度画像に基づくマーカ内画像において配置面６００と物品５００との境界を特定することは容易である。この点からも、学習済みモデルを用いてマーカ内画像から物品５００のサイズを精度良く特定することが期待できる。本実施の形態では、学習済みモデルは、教師データを用いた学習により予め作成されており、記憶部１２に記憶されている。
【0073】
学習済みモデルの出力データは、適宜、調整することができる。例えば、学習済みモデルの出力データは、複数のサイズの候補のそれぞれに該当する確率を示すデータである。例えば、ある種類の物品５００の長さの候補として、５ｃｍと６ｃｍと７ｃｍとが存在する場合を想定する。この場合、学習済みモデルの出力データは、例えば、５ｃｍである確率が２０％、６ｃｍである確率が６０％、７ｃｍである確率が２０％であるというデータである。
【0074】
そして、サイズ特定部１０７は、第１マーカ内画像と第２マーカ内画像と統合マーカ内画像とのそれぞれにおける学習済みモデルの出力データを総合的に判断して、物品５００のサイズを特定する。例えば、上述の例において、第１マーカ内画像を学習済みモデルに入力したときの出力データを第１出力データ、第２マーカ内画像を学習済みモデルに入力したときの出力データを第２出力データ、統合マーカ内画像を学習済みモデルに入力したときの出力データを統合出力データとする。第１出力データは、５ｃｍである確率が２０％、６ｃｍである確率が６０％、７ｃｍである確率が２０％であるというデータである。第２出力データは、５ｃｍである確率が３０％、６ｃｍである確率が５０％、７ｃｍである確率が２０％であるというデータである。統合出力データは、５ｃｍである確率が１０％、６ｃｍである確率が８５％、７ｃｍである確率が５％であるというデータである。
【0075】
この場合、サイズ特定部１０７は、例えば、長さの候補毎に、該当する確率の平均値を求める。上述の例では、５ｃｍである確率の平均が２０％、６ｃｍである確率の平均が６５％、７ｃｍである確率の平均が１５％である。この場合、サイズ特定部１０７は、該当する確率の平均値が最も大きい６ｃｍを物品５００の長さとして特定する。サイズ特定部１０７は、サイズ特定部の一例である。
【0076】
二値化部１０８は、マーカ内画像を二値化し、二値化画像を生成する。つまり、二値化部１０８は、第１マーカ内画像を二値化し、第１二値化画像を生成する。また、二値化部１０８は、第２マーカ内画像を二値化し、第２二値化画像を生成する。また、二値化部１０８は、統合マーカ内画像を二値化し、統合二値化画像を生成する。二値化画像は、第１二値化画像と第２二値化画像と統合二値化画像との総称である。二値化の閾値をどのように設定するのかは、適宜、調整することができる。
【0077】
例えば、物品５００の種類に応じた閾値が予め設定されていてもよいし、物品５００の種類と物品５００のサイズとに応じた閾値が予め設定されていてもよい。又は、マーカ内画像における各画素の画素値に基づいて、閾値が設定されてもよい。例えば、マーカ内画像における各画素の画素値の平均値が、閾値として設定されてもよい。図１１に、第１二値化画像である画像７５０を示す。画像７５０は、画像７４０において閾値以上の画素値を有する画素のみを濃い色で表現した画像である。二値化部１０８は、二値化部の一例である。
【0078】
サイド特定部１０９は、深度画像から物品５００のサイドを特定する。具体的には、サイド特定部１０９は、深度画像に基づいて生成される矩形内画像における二値化データの分布に基づいて、物品５００のサイドを特定する。矩形内画像は、二値化画像における物品５００を囲む最小境界矩形の内部の画像である。第１矩形内画像は、第１二値化画像における物品５００を囲む最小境界矩形の内部の画像である。第２矩形内画像は、第２二値化画像における物品５００を囲む最小境界矩形の内部の画像である。統合矩形内画像は、統合二値化画像における物品５００を囲む最小境界矩形の内部の画像である。矩形内画像は、第１矩形内画像と第２矩形内画像と統合矩形内画像との総称である。
【0079】
図１１に、第１二値化画像である画像７５０における物品５００を囲む最小境界矩形である矩形７５１を示す。図１２に、第１矩形内画像である画像７６０を示す。画像７６０は、画像７５０における矩形７５１の内部の画像である。より詳細には、画像７６０は、画像７５０から矩形７５１の内部の画像を抽出し、抽出した画像を矩形７５１の１つの辺が画像の縦軸又は横軸と平行になるように回転させた画像である。
【0080】
サイド特定部１０９は、第１矩形内画像である画像７６０における二値化データの分布に基づいて、第１ベクトルを特定する。図１２において、点７６１は画像７６０の中心点を示し、矢印７６２は第１ベクトルを示す。サイド特定部１０９が第１ベクトルを特定する手法は、適宜、調整することができる。本実施の形態では、主成分分析により第１ベクトルを特定する。例えば、画像７６０において、物品５００を表す画素の画素値が１であり、配置面６００を表す画素の画素値が０である場合を想定する。この場合、サイド特定部１０９は、画素値が１である画素の分散が最大になる軸、つまり、第１主成分の軸を探索する。サイド特定部１０９は、この軸に沿って延びるベクトルを第１ベクトルとして特定する。そして、サイド特定部１０９は、第１ベクトルが延びる方向から物品５００のサイドを特定する。
【0081】
以下、図１３を参照して、第１ベクトルが延びる方向から物品５００のサイドを特定する手法について説明する。物品５００Ａは左足用の大腿骨コンポーネントトライアルであり、物品５００Ｂは右足用の大腿骨コンポーネントトライアルである。物品５００Ａと物品５００Ｂとは鏡像関係にある。従って、物品５００Ａを配置面６００に配置したときと、物品５００Ｂを配置面６００に配置したときとでは、配置の仕方に拘わらず、高さ画像における高さの分布の仕方が異なる。この分布の仕方は、上述した第１ベクトルが延びる方向に現れる。従って、サイド特定部１０９は、第１ベクトルが延びる方向からこの分布の仕方を検出して、物品５００のサイドを特定する。
【0082】
本実施の形態では、サイド特定部１０９は、第１ベクトルが最小境界矩形の何れかの辺と最初に平行になるまで時計回りに回転させたときの回転角に応じて物品５００のサイドを特定する。具体的には、サイド特定部１０９は、この回転角が４５度以下である場合、物品５００が左足用の大腿骨コンポーネントトライアルであると特定し、この回転角が４５度を超える場合、物品５００が右足用の大腿骨コンポーネントトライアルであると特定する。
【0083】
図１３において、画像７６０Ａは、物品５００Ａを撮像したときの矩形内画像であり、矩形７５１Ａは、物品５００Ａを撮像したときの最小境界矩形である。また、点７６１Ａは、画像７６０Ａの中心点であり、矢印７６２Ａは、画像７６０Ａから求められる第１ベクトルを示す矢印である。また、正方形７６３は、物品５００のサイドを特定するための図形であり、点７６４は、正方形７６３の中心点である。正方形７６３は、点７６４を中心に８つの領域に分割されており、隣合う領域には異なるサイドが設定されている。
【0084】
ここで、点７６１Ａが点７６４と重なり、矩形７５１Ａの辺と正方形７６３の辺とが平行になるように、画像７６０Ａを正方形７６３に重ねる。次に、矢印７６２Ａが正方形７６３の何れかの辺と最初に平行になるまで、点７６４を中心にして矢印７６２Ａを時計回りに回転させる。このとき、矢印７６２Ａは左足用を表すＬの領域に配置され、回転角であるθａは４５度以下である。従って、サイド特定部１０９は、物品５００Ａを左足用の物品であると判定する。
【0085】
また、図１３において、画像７６０Ｂは、物品５００Ｂを撮像したときの矩形内画像であり、矩形７５１Ｂは、物品５００Ｂを撮像したときの最小境界矩形である。また、点７６１Ｂは、画像７６０Ｂの中心点であり、矢印７６２Ｂは、画像７６０Ｂから求められる第１ベクトルを示す矢印である。
【0086】
ここで、点７６１Ｂが点７６４と重なり、矩形７５１Ｂの辺と正方形７６３の辺とが平行になるように、画像７６０Ｂを正方形７６３に重ねる。ここで、矢印７６２Ｂが正方形７６３の何れかの辺と最初に平行になるまで、点７６４を中心にして矢印７６２Ｂを時計回りに回転させる。このとき、矢印７６２Ｂは右足用を表すＲの領域に配置され、回転角であるθｂは４５度を超える。従って、サイド特定部１０９は、物品５００Ｂを右足用の物品であると判定する。
【0087】
また、サイド特定部１０９は、第２矩形内画像における二値化データの分布に基づいて第２ベクトルを特定し、第２ベクトルが延びる方向に基づいて物品５００のサイドを特定する。また、サイド特定部１０９は、統合矩形内画像における二値化データの分布に基づいて統合ベクトルを特定し、統合ベクトルが延びる方向に基づいて物品５００のサイドを特定する。そして、サイド特定部１０９は、第１ベクトルに基づく特定結果と第２ベクトルに基づく特定結果と統合ベクトルに基づく特定結果とに基づいて、物品５００のサイドを特定する。例えば、サイド特定部１０９は、多数決判定により、物品５００のサイドを特定する。具体的には、例えば、第１ベクトルに基づく特定結果が左足用であり、第２ベクトルに基づく特定結果が右足用であり、統合ベクトルに基づく特定結果が左足用である場合、サイド特定部１０９は、物品５００のサイドを左足用であると特定する。サイド特定部１０９は、サイド特定部の一例である。
【0088】
表示制御部１１０は、種類特定部１０２が特定した物品５００の種類とサイズ特定部１０７が特定した物品５００のサイズとサイド特定部１０９が特定した物品５００のサイドとのうち少なくとも１つに基づく物品情報を、表示部１３に表示させる。物品情報は、物品５００の種類と物品５００のサイズと物品５００のサイドとのうち少なくとも１つを示す情報でもよいし、物品５００の種類と物品５００のサイズと物品５００のサイドとのうち少なくとも１つを用いた判定の結果を示す情報でもよい。表示制御部１１０は、表示制御部の一例である。
【0089】
通信制御部１１１は、上述した物品情報を、第２通信部１６を介して表示装置３００に送信する。一方、表示装置３００は、物品特定装置１００から受信した物品情報に基づく情報をタッチスクリーン、液晶ディスプレイ等に表示する。表示装置３００が備えるプロセッサであって、タッチスクリーン、液晶ディスプレイ等を制御するプロセッサは、表示制御部の一例である。
【0090】
次に、図１４を参照して、物品特定装置１００が実行する物品特定処理について説明する。なお、物品特定処理は、例えば、物品特定装置１００が備える操作受付部１４が、物品特定処理の開始を指示する操作を受け付けたことに応答して実行される。
【0091】
まず、物品特定装置１００が備える制御部１１は、色画像と深度画像とを取得する（ステップＳ１０１）。具体的には、制御部１１は、第１色画像と第１深度画像とを撮像装置２００Ａから取得し、第２色画像と第２深度画像とを撮像装置２００Ｂから取得する。制御部１１は、ステップＳ１０１の処理を完了すると、色画像から物品５００の種類を特定する（ステップＳ１０２）。例えば、制御部１１は、周知のパターンマッチング技術、周知の機械学習技術等を用いて、第１色画像から物品５００の種類を特定する。
【0092】
制御部１１は、ステップＳ１０２の処理を完了すると、サイズ特定処理を実行する（ステップＳ１０３）。サイズ特定処理については、図１５を参照して、詳細に説明する。
【0093】
まず、制御部１１は、深度画像を補正深度画像に補正する（ステップＳ２０１）。具体的には、制御部１１は、第１深度画像を第１補正深度画像に補正し、第２深度画像を第２補正深度画像に補正する。制御部１１は、ステップＳ２０１の処理を完了すると、統合補正深度画像を生成する（ステップＳ２０２）。つまり、制御部１１は、第１補正深度画像と第２補正深度画像とから統合補正深度画像を生成する
【0094】
制御部１１は、ステップＳ２０２の処理を完了すると、補正深度画像を選択する（ステップＳ２０３）。つまり、制御部１１は、第１補正深度画像と第２補正深度画像と統合補正深度画像との３つの補正深度画像から１つの補正深度画像を選択する。制御部１１は、ステップＳ２０３の処理を完了すると、補正深度画像を高さ画像に変換する（ステップＳ２０４）。例えば、制御部１１は、選択した第１補正深度画像を第１高さ画像に変換する。
【0095】
制御部１１は、ステップＳ２０４の処理を完了すると、マーカ内画像を生成する（ステップＳ２０５）。例えば、制御部１１は、第１高さ画像から第１マーカ内画像を生成する。制御部１１は、ステップＳ２０５の処理を完了すると、マーカ内画像を学習済みモデルに入力する（ステップＳ２０６）。例えば、制御部１１は、第１マーカ内画像を学習済みモデルに入力する。
【0096】
制御部１１は、ステップＳ２０６の処理を完了すると、学習済みモデルの出力データを取得する（ステップＳ２０７）。例えば、制御部１１は、物品５００のサイズの候補毎に該当する確率を示す出力データを学習済みモデルから取得する。制御部１１は、ステップＳ２０７の処理を完了すると、未選択の補正深度画像があるか否かを判別する（ステップＳ２０８）。つまり、制御部１１は、３つの補正深度画像を全て選択済みであるか否かを判別する。
【0097】
制御部１１は、未選択の補正深度画像があると判別すると（ステップＳ２０８：ＹＥＳ）、ステップＳ２０３に処理を戻す。この場合、制御部１１は、ステップＳ２０３にて新たな補正深度画像を選択し、ステップＳ２０４からステップＳ２０８の処理を実行する。制御部１１は、未選択の補正深度画像がないと判別すると（ステップＳ２０８：ＮＯ）、各出力データから物品５００のサイズを特定する（ステップＳ２０９）。つまり、制御部１１は、第１出力データと第２出力データと統合出力データとに基づいて、物品５００のサイズを特定する。制御部１１は、ステップＳ２０９の処理を完了すると、サイズ特定処理を完了する。
【0098】
制御部１１は、ステップＳ１０３のサイズ特定処理を完了すると、サイド特定処理を実行する（ステップＳ１０４）。サイド特定処理については、図１６を参照して、詳細に説明する。
【0099】
まず、制御部１１は、マーカ内画像を選択する（ステップＳ３０１）。つまり、制御部１１は、第１マーカ内画像と第２マーカ内画像と統合マーカ内画像との３つのマーカ内画像から１つのマーカ内画像を選択する。制御部１１は、ステップＳ３０１の処理を完了すると、マーカ内画像から二値化画像を生成する（ステップＳ３０２）。例えば、制御部１１は、選択した第１マーカ内画像から第１二値化画像を生成する。
【0100】
制御部１１は、ステップＳ３０２の処理を完了すると、二値化画像から矩形内画像を生成する（ステップＳ３０３）。例えば、制御部１１は、第１二値化画像から第１矩形内画像を生成する。制御部１１は、ステップＳ３０３の処理を完了すると、二値データの分布からベクトルを特定する（ステップＳ３０４）。例えば、制御部１１は、第１矩形内画像が示す二値化データの分布から第１ベクトルを特定する。
【0101】
制御部１１は、ステップＳ３０４の処理を完了すると、ベクトルが延びる方向から物品５００のサイドを特定する（ステップＳ３０５）。例えば、制御部１１は、第１ベクトルが延びる方向から物品５００のサイドを特定する。制御部１１は、ステップＳ３０５の処理を完了すると、未選択のマーカ内画像があるか否かを判別する（ステップＳ３０６）。つまり、制御部１１は、３つのマーカ内画像を全て選択済みであるか否かを判別する。
【0102】
制御部１１は、未選択のマーカ内画像があると判別すると（ステップＳ３０６：ＹＥＳ）、ステップＳ３０１に処理を戻す。この場合、制御部１１は、ステップＳ３０１にて新たなマーカ内画像を選択し、ステップＳ３０２からステップＳ３０６の処理を実行する。制御部１１は、未選択のマーカ内画像がないと判別すると（ステップＳ３０６：ＮＯ）、多数決判定により物品５００のサイドを特定する（ステップＳ３０７）。制御部１１は、ステップＳ３０７の処理を完了すると、サイド特定処理を完了する。
【0103】
制御部１１は、ステップＳ１０４のサイド特定処理を完了すると、物品情報を表示する（ステップＳ１０５）。例えば、制御部１１は、物品５００の種類と物品５００のサイズと物品５００のサイドとのうち少なくとも１つに関する物品情報を、表示部１３に表示する。制御部１１は、ステップＳ１０５の処理を完了すると、物品情報を表示装置３００に送信する（ステップＳ１０６）。例えば、制御部１１は、第２通信部１６を介して、物品情報を表示装置３００に送信する。制御部１１は、ステップＳ１０６の処理を完了すると、物品特定処理を完了する。
【0104】
以上説明したように、本実施の形態では、深度画像から物品５００のサイズが特定される。従って、本実施の形態によれば、物品５００のサイズを精度良く特定することができる。また、本実施の形態では、マーカ内画像が入力された学習済みモデルの出力データに基づいて、物品５００のサイズが特定される。従って、本実施の形態によれば、物品５００のサイズを更に精度良く特定することができる。また、本実施の形態では、第１マーカ内画像と第２マーカ内画像と統合マーカ内画像とのそれぞれにおける学習済みモデルの出力データに基づいて物品のサイズが特定される。従って、本実施の形態によれば、物品５００のサイズを更に精度良く特定することができる。
【0105】
本実施の形態では、深度画像から物品５００のサイドが特定される。従って、本実施の形態によれば、物品５００のサイドを精度良く特定することができる。また、本実施の形態では、矩形内画像における二値化データの分布に基づいて、物品５００のサイドが特定される。従って、本実施の形態によれば、物品５００のサイドを更に精度良く特定することができる。また、本実施の形態では、第１矩形内画像における二値化データの分布と、第２矩形内画像における二値化データの分布と、統合矩形内画像における二値化データの分布とに基づいて物品５００のサイドが特定される。従って、本実施の形態によれば、物品５００のサイドを更に精度良く特定することができる。
【0106】
（変形例）
以上、本開示の実施の形態を説明したが、種々の形態による変形及び応用が可能である。
以上、本開示の実施の形態を説明したが、種々の形態による変形及び応用が可能である。
【0107】
上記実施の形態において説明した構成、機能、動作のどの部分を採用するのかは任意である。また、上述した構成、機能、動作のほか、更なる構成、機能、動作が採用されてもよい。また、上述した実施の形態は、適宜、自由に組み合わせることができる。また、上述した実施の形態で説明した構成要素の個数は、適宜、調整することができる。また、採用可能な素材、サイズ、電気的特性などが、上記実施の形態において示したものに限定されないことは勿論である。
【0108】
実施の形態では、４つのマーカ４００が正方形の頂点に対応する位置に配置される例について説明した。マーカ４００が、撮像画像におけるスケールを特定可能であり、２つの撮像装置２００が撮像した２つの撮像画像の位置合わせに利用可能であれば、マーカ４００の個数及び配置は、適宜、調整することができる。例えば、４つのマーカ４００が長方形の頂点に対応する位置に配置されてもよい。また、例えば、３つのマーカ４００が正三角形の頂点に対応する位置に配置されてもよい。
【0109】
実施の形態では、第１マーカ内画像と第２マーカ内画像と統合マーカ内画像とに基づいて物品５００のサイズが特定される例について説明した。第１マーカ内画像に基づいて物品５００のサイズが特定されてもよいし、第２マーカ内画像に基づいて物品５００のサイズが特定されてもよいし、統合マーカ内画像に基づいて物品５００のサイズが特定されてもよい。
【0110】
また、実施の形態では、第１矩形内画像と第２矩形内画像と統合矩形内画像とに基づいて物品５００のサイドが特定される例について説明した。第１矩形内画像に基づいて物品５００のサイドが特定されてもよいし、第２矩形内画像に基づいて物品５００のサイドが特定されてもよいし、統合矩形内画像に基づいて物品５００のサイドが特定されてもよい。
【0111】
実施の形態では、撮像装置２００の個数が２つである例について説明した。撮像装置２００の個数は、１つでもよいし、３つ以上でもよい。撮像装置２００の個数が１つである場合、深度画像から補正深度画像とマーカ内画像と二値化画像と矩形内画像とが生成され、マーカ内画像に基づいて物品５００のサイズが特定され、矩形内画像に基づいて物品５００のサイドが特定される。
【0112】
撮像装置２００の個数が３つ以上である場合、３つ以上の深度画像から３つ以上の補正深度画像が生成され、３つ以上の補正深度画像から１つ又は複数の統合補正深度画像が生成される。例えば、３つの補正深度画像が存在する場合、２つの補正深度画像を含む組み合わせは３通りであり、３つの補正深度画像を含む組み合わせは１通りである。従って、３つの補正深度画像から最大で４つの統合補正深度画像が生成される。そして、少なくとも１つの統合マーカ内画像を含む複数のマーカ内画像と、少なくとも１つの統合二値化画像を含む複数の二値化画像と、少なくとも１つの統合矩形内画像を含む複数の矩形内画像とが生成される。そして、複数のマーカ内画像に基づいて物品５００のサイズが特定され、複数の矩形内画像に基づいて物品５００のサイドが特定される。
【0113】
実施の形態では、１つの撮像装置２００が、イメージセンサと深度センサとを備え、色画像と深度画像とを生成する例について説明した。イメージセンサを備え、色画像を生成する撮像装置２００と、深度センサを備え、深度画像を生成する撮像装置２００とが、用意されてもよい。この場合、イメージセンサを備える撮像装置２００と深度センサを備える撮像装置２００とがほぼ同じ地点に配置され、イメージセンサを備える撮像装置２００の撮像領域と深度センサを備える撮像装置２００の撮像領域とがほぼ同じであればよい。
【0114】
実施の形態では、物品特定装置１００は、物品５００のサイズと物品５００のサイドとを特定する例について説明した。物品特定装置１００は、物品５００のサイズを特定せずに物品５００のサイドを特定してもよいし、物品５００のサイドを特定せずに物品５００のサイズを特定してもよい。
【0115】
実施の形態では、物品特定システム１０００が物品特定装置１００と撮像装置２００と表示装置３００とを備える例について説明した。実施の形態で説明した機能を物品特定システム１０００全体として備えるのであれば、物品特定システム１０００の構成はどのような構成でもよい。例えば、物品特定システム１０００が物品特定装置１００と撮像装置２００とを備え、物品特定装置１００が表示装置３００の機能を備えていてもよい。また、物品特定システム１０００が物品特定装置１００と撮像装置２００とを備え、撮像装置２００が表示装置３００の機能を備えていてもよい。
【0116】
この場合、撮像装置２００は、ＡＲ（Augmented Reality）又はＭＲ（Mixed Reality）を実現可能なゴーグルであることが好適である。この場合、例えば、器械出し看護師がゴーグルを装着し、ゴーグルが複数のマーカ４００と物品５００と配置面６００とを撮像して色画像と深度画像とを生成する。物品特定装置１００は、ゴーグルから色画像と深度画像とを取得し、色画像から物品５００の種類を特定し、深度画像から物品５００のサイズと物品５００のサイドとを特定する。ゴーグルは、物品５００の種類と物品５００のサイズと物品５００のサイドとを含む物品情報を物品特定装置１００から取得する。ゴーグルは、物品５００の種類、物品５００のサイズ、物品５００のサイド等を含む情報を、ゴーグルが撮像した画像に重ねて表示することができる。
【0117】
また、物品特定装置１００は、物品５００の種類、物品５００のサイズ、物品５００のサイド等が予め定められたものであるか否かを判別し、判別結果を示す物品情報をゴーグルに供給してもよい。この場合、ゴーグルは、判別結果を示す情報をゴーグルが撮像した画像に重ねて表示することができる。また、ゴーグルが、複数の物品５００を撮像した場合、物品特定装置１００は、複数の物品５００が、種類、サイズ、サイド等の観点から対応した関係にあるか否かを判別してもよい。この場合、ゴーグルは、判別結果を示す情報をゴーグルが撮像した画像に重ねて表示することができる。なお、対応した関係とは、互換性がある関係、同時に使用される関係等の関係である。
【0118】
上記実施の形態では、制御部１１において、ＣＰＵがＲＯＭ又は記憶部１２に記憶されたプログラムを実行することによって、図４に示した各部として機能した。しかしながら、本開示において、制御部１１は、専用のハードウェアであってもよい。専用のハードウェアとは、例えば単一回路、複合回路、プログラム化されたプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、又は、これらの組み合わせ等である。制御部１１が専用のハードウェアである場合、各部の機能それぞれを個別のハードウェアで実現してもよいし、各部の機能をまとめて単一のハードウェアで実現してもよい。また、各部の機能のうち、一部を専用のハードウェアによって実現し、他の一部をソフトウェア又はファームウェアによって実現してもよい。このように、制御部１１は、ハードウェア、ソフトウェア、ファームウェア、又は、これらの組み合わせによって、上述の各機能を実現することができる。
【0119】
本開示に係る物品特定装置１００の動作を規定する動作プログラムを既存のパーソナルコンピュータ又は情報端末装置等のコンピュータに適用することで、当該コンピュータを、本開示に係る物品特定装置１００として機能させることも可能である。また、このようなプログラムの配布方法は任意であり、例えば、ＣＤ－ＲＯＭ（Compact Disk ROM）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical Disk）、又は、メモリカード等のコンピュータ読み取り可能な記録媒体に格納して配布してもよいし、インターネット等の通信ネットワークを介して配布してもよい。
【0120】
本開示は、本開示の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、本開示を説明するためのものであり、本開示の範囲を限定するものではない。すなわち、本開示の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして特許請求の範囲内及びそれと同等の開示の意義の範囲内で施される様々な変形が、本開示の範囲内とみなされる。
【符号の説明】
【0121】
１１ 制御部、１２ 記憶部、１３ 表示部、１４ 操作受付部、１５ 第１通信部、１６ 第２通信部、７１，７５，７６ 点、７２ 平面、７３ 線、７４，７６２，７６２Ａ，７６２Ｂ 矢印、１００ 物品特定装置、１０１ 画像取得部、１０２ 種類特定部、１０３ 画像補正部、１０４ 画像統合部、１０５ 画像変換部、１０６ 画像生成部、１０７ サイズ特定部、１０８ 二値化部、１０９ サイド特定部、１１０ 表示制御部、１１１ 通信制御部、２００，２００Ａ，２００Ｂ 撮像装置、２１１，２１２，７６１，７６１Ａ，７６１Ｂ，７６４ 点、２５１，２５２ 支持部材、３００ 表示装置、４００，４００Ａ，４００Ｂ，４００Ｃ，４００Ｄ マーカ、４１０ 領域、５００，５００Ａ，５００Ｂ 物品、６００ 配置面、７１０，７２０，７３０，７４０，７５０，７６０，７６０Ａ，７６０Ｂ 画像、７５１，７５１Ａ，７５１Ｂ 矩形、７６３ 正方形、１０００ 物品特定システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】