特開 2024-25109 画像生成装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024025109

(43)【公開日】2024-02-26

(54)【発明の名称】画像生成装置及びプログラム

(51)【国際特許分類】

   A61M 1/14 20060101AFI20240216BHJP

   A61M 1/28 20060101ALI20240216BHJP

【ＦＩ】

A61M1/14 110

A61M1/28

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2022128295

(22)【出願日】2022-08-10

(71)【出願人】

【識別番号】519248427

【氏名又は名称】ＭＥＴＲＩＣＡ株式会社

(74)【代理人】

【識別番号】110004222

【氏名又は名称】弁理士法人創光国際特許事務所

(74)【代理人】

【識別番号】100166006

【弁理士】

【氏名又は名称】泉 通博

(74)【代理人】

【識別番号】100154070

【弁理士】

【氏名又は名称】久恒 京範

(74)【代理人】

【識別番号】100153280

【弁理士】

【氏名又は名称】寺川 賢祐

(72)【発明者】

【氏名】幅野 莞佑

【テーマコード（参考）】

4C077

【Ｆターム（参考）】

4C077AA06

4C077CC02

4C077GG17

4C077KK25

(57)【要約】

【課題】腹膜解析の接続部の撮像画像のサイズのばらつきを小さくする。
【解決手段】画像生成装置１は、腹膜透析用のチューブが患者の腹部に接続されている接続部を含む撮像画像を取得する画像取得部１５３と、撮像画像におけるチューブの径又は接続部の大きさを特定する形状特定部１５４と、特定された撮像画像におけるチューブの径又は接続部の大きさが撮像画像の大きさに対して所定の範囲内になるようにするための加工画像を生成する画像生成部１５５と、を有する。
【選択図】図２

【特許請求の範囲】

【請求項1】

腹膜透析用のチューブが患者の腹部に接続されている接続部を含む撮像画像を取得する画像取得部と、
前記撮像画像における前記チューブの径又は前記接続部の大きさを特定する形状特定部と、
特定された前記撮像画像における前記チューブの径又は前記接続部の大きさが前記撮像画像の大きさに対して所定の範囲内になるようにするための加工画像を生成する画像生成部と、
を有する画像生成装置。

【請求項2】

前記画像生成部は、前記チューブの径又は前記接続部の大きさが、前記チューブの実際の径に対応する前記所定の範囲になるようにするための加工画像を生成する、
請求項１の画像生成装置。

【請求項3】

前記形状特定部は、前記チューブの中心線及び外縁を特定し、前記中心線に直交する直線が前記外縁と交わる２点間の距離を前記チューブの径として特定する、
請求項１又は２に記載の画像生成装置。

【請求項4】

前記画像生成部は、
前記撮像画像上の前記接続部における前記チューブの径と、前記撮像画像の所定部位の長さとの比率、又は前記接続部の大きさと前記撮像画像の所定領域の大きさとの比率が所定の比率範囲内である場合には、前記接続部における前記チューブの径が前記所定の範囲内であることを示す第１情報を表示する前記加工画像を生成し、
前記比率が前記比率範囲内でない場合には、前記接続部における前記チューブの径が前記所定の範囲内でないことを示す第２情報を表示する前記加工画像を生成する、
請求項１又は２に記載の画像生成装置。

【請求項5】

前記形状特定部は、前記チューブの長手方向における端部から所定の距離以内の領域を前記接続部として特定するとともに、前記領域の大きさを前記接続部の大きさとして特定する、
請求項１又は２に記載の画像生成装置。

【請求項6】

前記画像生成部は、前記接続部を示す枠を表示する前記加工画像を生成するとともに、前記接続部の大きさが前記所定の範囲内であるか否かに応じて前記接続部を示す枠の表示態様を変えた前記加工画像を生成する、
請求項１又は２に記載の画像生成装置。

【請求項7】

前記撮像画像を生成し、撮像する対象を拡大又は縮小して撮像するズーム機能を有する撮像部をさらに有し、
前記画像取得部は、前記チューブの径又は前記接続部の大きさが前記所定の範囲内になるように前記撮像部をズームさせることにより、前記チューブの径又は前記接続部が前記所定の範囲内である前記撮像画像を取得する、
請求項１又は２に記載の画像生成装置。

【請求項8】

前記加工画像に含める前記接続部を含む撮像範囲の入力を受け付ける入力受付部と、
前記撮像画像の大きさ及び前記撮像範囲に基づいて、前記撮像画像の大きさに対する前記所定の範囲を決定する範囲決定部と、をさらに備える、
請求項１又は２に記載の画像生成装置。

【請求項9】

前記画像生成部は、前記接続部の位置が前記加工画像の中心を含む規定領域に含まれ、かつ前記チューブの径又は前記接続部の大きさが前記所定の範囲内になるように前記撮像画像をトリミングした前記加工画像を生成する、
請求項１又は２に記載の画像生成装置。

【請求項10】

前記画像生成部は、前記接続部の位置が前記規定領域に含まれており、前記接続部の大きさが前記所定の範囲内である２つの前記加工画像の赤色の画素の画素値の差が閾値以上の箇所を所定の色で示す発赤評価用画像をさらに生成する、
請求項９に記載の画像生成装置。

【請求項11】

前記画像取得部は、前記チューブの位置が異なる複数の前記撮像画像を取得し、
前記画像生成部は、前記複数の撮像画像の各々における前記チューブの領域を特定し、特定した前記チューブの領域以外の画像を合成することにより、前記撮像画像から前記チューブを除去した前記加工画像を生成する、
請求項１又は２に記載の画像生成装置。

【請求項12】

前記形状特定部は、前記撮像画像を入力することにより前記撮像画像に含まれている前記チューブの径又は前記接続部の大きさを特定する機械学習モデルに前記撮像画像を入力することによって、前記チューブの径又は前記接続部の大きさを特定する、
請求項１又は２に記載の画像生成装置。

【請求項13】

コンピュータを、
腹膜透析用のチューブが患者の腹部に接続されている接続部を含む撮像画像を取得する画像取得部、
前記撮像画像における前記チューブの径又は前記接続部の大きさを特定する形状特定部、及び
特定された前記撮像画像における前記チューブの径又は前記接続部の大きさが前記撮像画像の大きさに対して所定の範囲内になるようにするための加工画像を生成する画像生成部
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、腹膜透析を行う患者の撮像画像の解析に用いられる画像を生成する画像生成装置及びプログラムに関する。

【背景技術】

【0002】

特許文献１には、腹膜透析を行っている患者が腹膜透析を行うときに接続部を撮像した画像に基づいて、腹膜透析の接続部の衛生状態を評価する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－０１０６５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、撮像画像における接続部の大きさが撮影のたびに異なると、接続部の衛生状態を適切に評価できないという問題があった。

【0005】

そこで、本発明はこれらの点に鑑みてなされたものであり、撮像画像における腹膜解析の接続部の大きさのばらつきを小さくすることを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様においては、腹膜透析用のチューブが患者の腹部に接続されている接続部を含む撮像画像を取得する画像取得部と、前記撮像画像における前記チューブの径又は前記接続部の大きさを特定する形状特定部と、特定された前記撮像画像における前記チューブの径又は前記接続部の大きさが前記撮像画像の大きさに対して所定の範囲内になるようにするための加工画像を生成する画像生成部と、を有する画像生成装置を提供する。

【0007】

前記画像生成部は、前記チューブの径又は前記接続部の大きさが、前記チューブの実際の径に対応する前記所定の範囲になるようにするための加工画像を生成してもよい。

【0008】

前記形状特定部は、前記チューブの中心線及び外縁を特定し、前記中心線に直交する直線が前記外縁と交わる２点間の距離を前記チューブの径として特定してもよい。

【0009】

前記画像生成部は、前記撮像画像上の前記接続部における前記チューブの径と、前記撮像画像の所定部位の長さとの比率、又は前記接続部の大きさと前記撮像画像の所定領域の大きさとの比率が所定の比率範囲内である場合には、前記接続部における前記チューブの径が前記所定の範囲内であることを示す第１情報を表示する前記加工画像を生成し、前記比率が前記比率範囲内でない場合には、前記接続部における前記チューブの径が前記所定の範囲内でないことを示す第２情報を表示する前記加工画像を生成してもよい。

【0010】

前記形状特定部は、前記チューブの長手方向における端部から所定の距離以内の領域を前記接続部として特定するとともに、前記領域の大きさを前記接続部の大きさとして特定してもよい。

【0011】

前記画像生成部は、前記接続部を示す枠を表示する前記加工画像を生成するとともに、前記接続部の大きさが前記所定の範囲内であるか否かに応じて前記接続部を示す枠の表示態様を変えた前記加工画像を生成してもよい。

【0012】

前記画像生成装置は、前記撮像画像を生成し、撮像する対象を拡大又は縮小して撮像するズーム機能を有する撮像部をさらに有し、前記画像取得部は、前記チューブの径又は前記接続部の大きさが前記所定の範囲内になるように前記撮像部をズームさせることにより、前記チューブの径又は前記接続部が前記所定の範囲内である前記撮像画像を取得してもよい。

【0013】

前記画像生成装置は、前記加工画像に含める前記接続部を含む撮像範囲の入力を受け付ける入力受付部と、前記撮像画像の大きさ及び前記撮像範囲に基づいて、前記撮像画像の大きさに対する前記所定の範囲を決定する範囲決定部と、をさらに備えてもよい。

【0014】

前記画像生成部は、前記接続部の位置が前記加工画像の中心を含む規定領域に含まれ、かつ前記チューブの径又は前記接続部の大きさが前記所定の範囲内になるように前記撮像画像をトリミングした前記加工画像を生成してもよい。

【0015】

前記画像生成部は、前記接続部の位置が前記規定領域に含まれており、前記接続部の大きさが前記所定の範囲内である２つの前記加工画像の赤色の画素の画素値の差が閾値以上の箇所を所定の色で示す発赤評価用画像をさらに生成してもよい。

【0016】

前記画像取得部は、前記チューブの位置が異なる複数の前記撮像画像を取得し、前記画像生成部は、前記複数の撮像画像の各々における前記チューブの領域を特定し、特定した前記チューブの領域以外の画像を合成することにより、前記撮像画像から前記チューブを除去した前記加工画像を生成してもよい。

【0017】

前記形状特定部は、前記撮像画像を入力することにより前記撮像画像に含まれている前記チューブの径又は前記接続部の大きさを特定する機械学習モデルに前記撮像画像を入力することによって、前記チューブの径又は前記接続部の大きさを特定してもよい。

【0018】

本発明の第２の態様においては、コンピュータを、腹膜透析用のチューブが患者の腹部に接続されている接続部を含む撮像画像を取得する画像取得部、前記撮像画像における前記チューブの径又は前記接続部の大きさを特定する形状特定部、及び特定された前記撮像画像における前記チューブの径又は前記接続部の大きさが前記撮像画像の大きさに対して所定の範囲内になるようにするための加工画像を生成する画像生成部として機能させるためのプログラムを提供する。

【発明の効果】

【0019】

本発明によれば、撮像画像における腹膜解析の接続部の大きさのばらつきを小さくできるという効果を奏する。

【図面の簡単な説明】

【0020】

【図1】画像生成装置の概要を説明するための図である。

【図2】画像生成装置の構成を説明するための図である。

【図3】チューブの径を特定する処理を説明するための図である。

【図4】接続部の大きさを特定する処理を説明するための図である。

【図5】トリミング前の撮像画像の模式図である。

【図6】トリミング後の加工画像の模式図である。

【図7】複数の撮像画像からチューブを除去した加工画像を生成する処理を説明するための図である。

【図8】発赤評価用画像の一例である。

【図9】複数の加工画像が配置されて表示された画面の模式図である。

【図10】画像生成装置が実行する処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0021】

［画像生成装置１の概要］
図１は、画像生成装置１の概要を説明するための図である。画像生成装置１は、例えば撮像部を備えたスマートフォンである。画像生成装置１は、腹膜透析を行う患者に腹膜透析用のチューブ２が接続されている接続部３を撮像し、医師又は看護師等の評価者が接続部３の衛生状態を評価するための撮像画像を生成する。接続部３は、患者の身体においてチューブ２が挿入された部位であり、チューブ２が挿入されていない状態における開口部である。画像生成装置１は、ディスプレイ１１を有しており、ディスプレイ１１に撮像画像が表示される。

【0022】

撮像画像中のチューブ２の径や接続部３の大きさが撮影のたびに異なると、接続部３が拡大されすぎて接続部３の近傍領域を確認できなかったり、接続部３が小さすぎて接続部３の詳細を確認できなかったりして、評価者が接続部の衛生状態を適切に評価できない。そこで、画像生成装置１は、撮像画像におけるチューブ２の径や接続部３の大きさが撮影のたびに大きく異ならないように、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内になるようにするための加工画像を生成し、ディスプレイ１１に表示させる。加工画像は、例えば、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内になるように支援するための画像、又はチューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内になった画像である。

【0023】

所定の範囲は、チューブ２の実際の径に対応する適切な範囲になるようにあらかじめ決定されている。例えば、所定の範囲は、撮像画像中のチューブ２の径又は接続部３の大きさの、撮像画像の所定部位の大きさに対する比率により表される。具体的には、所定の範囲は、撮像画像上の接続部３におけるチューブ２の径の大きさの撮像画像の所定部位の大きさに対する比率範囲として定められた範囲である。所定部位の大きさは、例えば撮像画像の長辺、短辺若しくは対角線の長さ、又は撮像画像の画素数であるが、これらに限らない。

【0024】

所定の範囲は、接続部３を十分に大きな状態で確認可能にするとともに、接続部３の周辺部分の皮膚の状態も確認できる範囲として定められており、所定の比率範囲の具体的な値は、例えば、長さの比率が３０％以上７０％以下（面積の比率が約１０％以上約５０％以下）である。これらの所定の範囲は、予め決定されて記憶された数値範囲であってもよく、画像生成装置１のユーザにより設定された数値範囲であってもよい。

【0025】

図１（ａ）は、撮像画像に表示されるチューブ２の径又は接続部３が大きすぎて、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内でない場合の加工画像を示す図である。画像生成装置１は、撮像画像におけるチューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内でない場合、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内でないことを示す情報を含む加工画像を生成する。

【0026】

図１（ａ）のディスプレイ１１には、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内でないことを示す情報として、接続部３を含む領域を示す点線枠４１が表示されている。また、図１（ａ）のディスプレイ１１には、「カメラが近すぎます 腹部から遠ざけてください」というメッセージ１１１が表示されている。これにより、患者の腹部の接続部３を撮像するユーザがチューブ２の径や接続部３が大きすぎることを把握できるので、ユーザは、チューブ２の径や接続部３の大きさが撮像画像の大きさに対して所定の範囲内になるように画像生成装置１の位置を移動させることができる。

【0027】

図１（ｂ）は、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内である場合の加工画像を示す図である。図１（ｂ）のディスプレイ１１には、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内であることを示す情報として、接続部３を含む領域を示す実線枠４２が表示されている。また、図１（ｂ）のディスプレイ１１には、「シャッターボタンをタッチして撮影してください」というメッセージ１１２、及びシャッターボタン５が表示されている。

【0028】

画像生成装置１のユーザは、図１（ｂ）のディスプレイ１１に表示されているシャッターボタン５をタッチすることにより、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内である状態で接続部３の周辺を撮像できる。これにより、画像生成装置１は、チューブ２の径や接続部３が適切な大きさの撮像画像を生成できる。

【0029】

［画像生成装置１の構成］
図２は、画像生成装置１の構成を説明するための図である。画像生成装置１は、ディスプレイ１１、通信部１２、撮像部１３、記憶部１４及び制御部１５を備える。

【0030】

ディスプレイ１１は、例えば液晶ディスプレイである。ディスプレイ１１は、入力部を含む。入力部は、例えばタッチパネルである。ユーザは、ディスプレイ１１に表示された画面上の表示をタッチすることで画像生成装置１を操作できる。

【0031】

通信部１２は、無線通信回線を介して情報を送受信するための無線通信モジュールである。通信部１２は、例えばインターネットを介して他の装置と情報を送受信できる。

【0032】

撮像部１３は、撮像対象を撮像して撮像画像を生成する。例えば、撮像部１３は、腹膜透析を行っている患者の腹部を撮像した撮像画像を生成する。具体的には、撮像部１３は、腹膜透析用のチューブ２が患者の腹部に接続されている接続部３を含む撮像画像を生成する。撮像部１３は、撮像対象を拡大又は縮小して撮像するズーム機能をしていてもよい。以下、撮像部１３が生成する撮像画像の大きさが、横４０万画素×縦３０万画素の１２００万画素であるものとするが、これに限定するものではない。

【0033】

記憶部１４は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びハードディスク等を含む記憶媒体である。記憶部１４は、制御部１５が実行するプログラムを記憶する。

【0034】

制御部１５は、例えばＣＰＵ（Central Processing Unit）等のプロセッサを含む計算リソースである。制御部１５は、記憶部１４に記憶されたプログラムを実行することにより、入力受付部１５１、範囲決定部１５２、画像取得部１５３、形状特定部１５４及び画像生成部１５５としての機能を実現する。

【0035】

入力受付部１５１は、ユーザにより入力された操作を受け付ける。例えば、入力受付部１５１は、加工画像に含める接続部３を含む撮像範囲の入力を受け付ける。接続部３を含む撮像範囲とは、例えば接続部３の中心位置からの距離により規定される。具体的には、入力受付部１５１は、ディスプレイ１１に設けられたタッチパネルにおいて撮像範囲の入力を開始する操作を受け付けると、撮像範囲の入力画面を表示部に表示させ、表示させた入力画面に入力された数値を撮像範囲として受け付ける。

【0036】

範囲決定部１５２は、撮像画像におけるチューブ２の径又は接続部３の大きさを、撮像画像の大きさに対してどの範囲の大きさにするかを決定する。例えば、範囲決定部１５２は、入力された撮像範囲に基づいて所定の範囲を決定する。より広い範囲を撮像する場合は、接続部３からの距離を大きくする必要がある。接続部３からの距離が大きくなると、撮像画像中のチューブ２の径や接続部３の大きさが小さくなる。そのため、範囲決定部１５２は、入力された撮像範囲が広いほど、所定の範囲の上限値及び下限値を小さくする。

【0037】

画像取得部１５３は、撮像部１３が生成した撮像画像を取得する。例えば、画像取得部１５３は、撮像部１３を制御することにより撮像部１３に撮像画像を生成させて、撮像部１３が生成した撮像画像を取得する。

【0038】

形状特定部１５４は、撮像画像におけるチューブ２の径を特定する。具体的には、形状特定部１５４は、撮像画像上の接続部３におけるチューブ２の径を特定する。図３は、チューブ２の径を特定する処理を説明するための図である。まず、形状特定部１５４は、撮像画像中のチューブ２の領域を特定し、特定したチューブ２の領域から、チューブ２の中心線２１、外縁２２ａ及び外縁２２ｂを特定する。続いて、形状特定部１５４は、中心線２１に直交する直線２３が外縁２２ａと、交わる点２４ａ及び直線２３が外縁２２ｂと交わる点２４ｂを特定する。そして、形状特定部１５４は、点２４ａと点２４ｂと間の距離をチューブ２の径として特定する。

【0039】

形状特定部１５４は、撮像画像におけるチューブ２の径に替えて、接続部３の大きさを特定してもよい。図４は、接続部３の大きさを特定する処理を説明するための図である。形状特定部１５４は、接続部３の大きさを特定する際に、撮像画像における接続部３の領域を特定する。例えば、形状特定部１５４は、チューブ２の長手方向における端部３１から所定の距離ｒ以内の領域を接続部３として特定する。具体的には、形状特定部１５４は、チューブ２の領域の中心線２１と端の辺２５との交点である端部３１を接続部３の中心として特定し、端部３１を中心とする半径ｒの円３２を接続部３として特定する。なお、形状特定部１５４は、円３２が内接する正方形４３、又は円３２が外接する正方形を接続部３として特定してもよい。

【0040】

形状特定部１５４は、接続部３として特定した円３２又は正方形４３の大きさを、接続部３の大きさとして特定する。具体的には、形状特定部１５４は、円３２の直径２ｒ、又は正方形４３の一辺の長さ２ｒを接続部３の長さとして特定する。また、形状特定部１５４は、円３２又は正方形４３に含まれている画素数を接続部３の大きさとして特定してもよい。

【0041】

形状特定部１５４は、接続部３の大きさと共に、接続部３の位置を特定する。例えば、形状特定部１５４は、接続部３の中心である端部３１の位置を、接続部３の位置として特定する。また、形状特定部１５４は、接続部３を正方形として特定した場合、正方形の中心位置、又は正方形の４つの角のうちのいずれかの位置を、接続部３の位置として特定してもよい。

【0042】

形状特定部１５４は、機械学習を用いてチューブ２の径又は接続部３を特定してもよい。例えば、形状特定部１５４は、撮像画像を入力することにより撮像画像に含まれているチューブ２の径を特定する機械学習モデルに撮像画像を入力することによって、チューブ２の径を特定する。また、形状特定部１５４は、撮像画像を入力することにより撮像画像に含まれている接続部３の大きさを特定する機械学習モデルに撮像画像を入力することによって、接続部３の大きさを特定してもよい。

【0043】

画像生成部１５５は、形状特定部１５４が特定したチューブ２の径又は接続部３の大きさに基づいて、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内になるようにするための加工画像を生成する。以下、画像生成部１５５が加工画像を生成する処理を説明する。

【0044】

画像生成部１５５は、撮像画像におけるチューブ２の径又は接続部３の大きさが、撮像画像の大きさに対して所定の範囲内であるか否かを判定する。例えば、画像生成部１５５は、撮像画像上の接続部３におけるチューブ２の径の大きさと、撮像画像の所定部位の大きさとの比率が比率範囲内であるか否かに基づいて、撮像画像におけるチューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内であるか否かを判定する。

【0045】

画像生成部１５５は、撮像画像の所定部位の長さに対するチューブ２の径の比率が比率範囲内であれば、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内であると判定する。画像生成部１５５は、撮像画像の所定部位の長さに対するチューブ２の径の比率が比率範囲外であれば、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内でないと判定する。

【0046】

画像生成部１５５は、撮像画像におけるチューブ２の径と撮像画像の所定部位の長さとの比率に替えて、接続部３の大きさと撮像画像の所定領域の大きさとの比率に基づいて、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内であるか否かを判定してもよい。例えば、画像生成部１５５は、撮像画像の所定部位の長さに対する、接続部３として特定された円３２の直径又半径、若しくは正方形４３の辺又は対角線の長さの比率が比率範囲内であれば、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内であると判定する。画像生成部１５５は、撮像画像の所定部位の長さに対する、円３２の直径又半径、若しくは正方形４３の辺又は対角線の長さの比率が比率範囲外であれば、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内でないと判定する。

【0047】

画像生成部１５５は、接続部３として特定された領域の画素数の撮像画像の全画素数に対する比率に基づき、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内であるか否かを判定してもよい。画像生成部１５５は、撮像画像の全画素数に対する接続部３の画素数が比率範囲内であれば、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内であると判定する。画像生成部１５５は、撮像画像の全画素数に対する接続部３の画素数の比率が比率範囲外であれば、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内でないと判定する。

【0048】

画像生成部１５５は、撮像画像におけるチューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内であると判定した場合には、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内であることを示す第１情報を表示する加工画像を生成する。例えば、画像生成部１５５は、第１情報として、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内であることを示す実線枠４２（図１（ｂ）を参照）を、接続部３を囲むように表示する加工画像を生成する。

【0049】

具体的には、画像生成部１５５は、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内であり、かつ接続部３の位置が撮像画像の中心を含む規定領域内である場合に、実線枠４２を表示する加工画像を生成する。規定領域は、適宜定めればよいが、撮像画像の中心から所定の距離以内の領域である。所定の距離は、例えば撮像画像が大きいほど大きくする。撮像画像の長辺の画素数が４０万画素である場合、所定の距離は例えば２万ピクセルであるが、これに限定するものではない。

【0050】

画像生成部１５５は、実線枠４２に加えて、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内であることを示すメッセージを表示する加工画像を生成してもよい。例えば、画像生成部１５５は、「シャッターボタンをタッチして撮影してください」というメッセージ１１２を表示する加工画像（図１（ｂ）を参照）を生成する。これにより、画像生成装置１のユーザがチューブ２の径や接続部３の大きさが撮像画像の大きさに対して所定の範囲内である状態で接続部３を撮像できるので、画像生成部１５５は、チューブ２の径や接続部３が適切な大きさの撮像画像を生成できる。

【0051】

画像生成部１５５は、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内でないと判定した場合には、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内でないことを示す第２情報を表示する加工画像を生成する（図１（ａ）を参照）。画像生成部１５５は、第２情報として、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内でないことを示す点線枠４１（図１（ａ）を参照）を、接続部３を囲むように表示する加工画像を生成する。具体的には、画像生成部１５５は、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内でない場合、及び接続部３の位置が規定領域外である場合の少なくともいずれかであれば、点線枠４１を表示する加工画像を生成する。

【0052】

画像生成部１５５は、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内でない場合に、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して、所定の範囲の上限値より大きいか、所定の範囲の下限値より小さいかに基づいて、表示する第２情報を変更する。例えば、画像生成部１５５は、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲の上限値よりも大きい場合には、「カメラが近すぎます 腹部から遠ざけてください」というメッセージを第２情報として表示する加工画像を生成する。また、画像生成部１５５は、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲の下限値よりも小さい場合には、「カメラが遠すぎます 腹部に近づけてください」というメッセージを第２情報として表示する加工画像を生成する。これにより、画像生成装置１のユーザは、画像生成装置１をどのように動かせばチューブ２の径又は接続部３の大きさを適切な大きさにできるかを把握できる。

【0053】

画像生成部１５５は、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内であるか否かに応じて、接続部３を示す枠の色を変えてもよい。例えば、画像生成部１５５は、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内であり、かつ接続部３の位置が規定領域内であれば緑色の点線枠を表示する加工画像を生成する。画像生成部１５５は、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲外、又は接続部３の位置が規定領域外の少なくともいずれかであれば白色の点線枠を表示する。

【0054】

以上の説明においては、画像生成部１５５が、画像生成装置１のユーザが接続部３を撮像する際に、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内になるようにするための加工画像を生成する場合を例示した。これに限らず、画像生成部１５５は、既に撮像された撮像画像を、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内になるようトリミングした加工画像を生成してもよい。以下、図５及び図６を参照しながら、画像生成部１５５が撮像画像をトリミングして、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内である加工画像を生成する処理を説明する。

【0055】

図５は、トリミング前の撮像画像の模式図である。図５の撮像画像における接続部３の位置は、撮像画像の規定領域４４外である。画像生成部１５５は、接続部３の位置が規定領域４４に含まれ、かつチューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内になるように撮像画像をトリミングした加工画像を生成する。具体的には、まず、画像生成部１５５は、加工画像の大きさに対するチューブ２の径又は接続部３の大きさの比率が所定の比率範囲内になるときの加工画像の大きさを特定する。一例を挙げると、画像生成部１５５は、チューブ２の径の長さが１万画素であり、所定の比率範囲が６分の１以上４分の１以下であれば、加工画像の大きさとして５万画素を特定する。次に、画像生成部１５５は、接続部３の中心を中心とする長辺の画素数が５万画素の領域である矩形領域４５をトリミングする。

【0056】

図６は、トリミング後の加工画像の模式図である。画像生成部１５５が撮像画像をトリミングすることにより、接続部３の位置は加工画像における規定領域４６内になり、接続部３の大きさは所定の範囲内になっている。これにより、接続部３の周囲が見やすくなるので、接続部３の衛生状態の評価がしやすくなる。

【0057】

ところで、撮像画像にチューブ２が含まれていると、評価者は、撮像画像のうちのチューブ２の陰になっている部分の衛生状態を評価することができない。そこで、画像生成部１５５は、複数の撮像画像からチューブ２を除去した加工画像を生成してもよい。

【0058】

図７は、複数の撮像画像からチューブ２を除去した加工画像を生成する処理を説明するための図である。まず、画像取得部１５３は、チューブ２の位置が異なる複数の撮像画像を取得する。例えば、画像取得部１５３は、一の撮像画像を取得した後、「チューブを持ち上げて撮像してください」というメッセージをディスプレイ１１に表示させたり、画像生成装置１のスピーカに出力させたりする。このように、画像取得部１５３は、画像生成装置１のユーザにチューブ２の位置が異なる複数の撮像画像を撮像させることにより、チューブ２の位置が異なる複数の撮像画像を取得する。

【0059】

図７（ａ）は、複数の撮像画像のうちの第１撮像画像である。図７（ｂ）は、第１撮像画像と異なる第２撮像画像である。第２撮像画像における接続部３の位置は、第１撮像画像における接続部３の位置と同じであり、第２撮像画像のチューブ２の位置は、第１撮像画像のチューブ２の位置と異なる。

【0060】

画像生成部１５５は、複数の撮像画像の各々におけるチューブ２の領域を特定する。具体的には、画像生成部１５５は、撮像画像を入力することにより撮像画像に含まれているチューブ２の領域を特定する機械学習モデルに、各撮像画像を入力することによって、各撮像画像におけるチューブ２の領域を特定する。そして、画像生成部１５５は、各撮像画像のうちのチューブ２の領域以外の画像を合成することにより、撮像画像からチューブ２を除去した加工画像を生成する。図７（ｃ）は、撮像画像からチューブ２を除去した加工画像である。このように、画像生成部１５５が撮像画像からチューブ２を除去することにより、チューブ２の陰になって確認できない部分がなくなるので、評価者は、接続部３の衛生状態の評価をしやすくなる。

【0061】

接続部３の衛生状態を評価する際に、衛生状態の経時変化を評価したいことがある。そこで、画像生成部１５５は、撮像された時期の異なる複数の撮像画像を用いて、接続部３周辺に生じる発赤を評価するための発赤評価用画像を生成する。この場合、画像取得部１５３は、接続部３の位置が規定領域に含まれており、接続部３の大きさが撮像画像の大きさに対して所定の範囲内である２つの加工画像を取得する。具体的には、画像取得部１５３は、第１日の加工画像と、第１日以降の第２日の加工画像を取得する。

【0062】

画像生成部１５５は、２つの加工画像の赤色の画素の画素値の差が閾値以上の箇所を特定する。そして、画像生成部１５５は、特定した箇所を所定の色で示す発赤評価用画像を生成する。所定の色は、例えば赤であるが、これに限定するものではない。図８は、発赤評価用画像の一例である。図８の斜線部６１は、赤色の画素の画素値の差が閾値以上の箇所である。このようにすることで、評価者は、どこにどれくらいの大きさの発赤があるかを把握しやすくなる。

【0063】

画像生成部１５５は、赤色の画素の画素値の差が閾値以上の箇所の長さ又は直径に応じて表示態様を変えてもよい。例えば、画像生成部１５５は、赤色の画素の画素値の差が閾値以上の箇所の長さが所定の長さ以上の箇所と、所定の大きさ未満の箇所とで表示態様を変える。所定の長さは、例えば腹膜透析の発赤評価のガイドラインに応じた値であり、具体的には５ｍｍである。画像生成部１５５は、赤色の画素の画素値の差が閾値以上の箇所の長さが、所定の閾値以上の場合には、実線の枠６２を表示させる。また、画像生成部１５５は、赤色の画素の画素値の差が閾値以上の箇所の大きさが所定の閾値未満である場合、点線の枠６３を表示させる。これにより、評価者は、ガイドラインに示される所定の大きさよりも大きな発赤を把握しやすくなる。

【0064】

画像生成部１５５は、生成した加工画像を他の装置に通信部１２を介して送信する。他の装置は、例えば接続部３の衛生状態を評価する評価者のコンピュータである。このようにすることで、評価者は、腹膜透析を行う患者を訪問したり、患者に来院してもらったりすることなく、接続部３の衛生状態を遠隔で評価できる。

【0065】

（変形例１）
画像取得部１５３は、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内になるように撮像部１３をズームさせることにより、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内である撮像画像を取得してもよい。具体的には、画像取得部１５３は、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲の下限値よりも小さい場合には、接続部３を拡大するように撮像部１３をズームさせる。画像取得部１５３は、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲の上限値よりも大きい場合には、接続部３を縮小するように撮像部１３をズームさせる。これにより、画像生成装置１のユーザは、接続部３が撮像されるように画像生成装置１を構えるだけで、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内である撮像画像を取得できる。

【0066】

（変形例２）
上記の説明では、画像生成装置１が撮像画像をトリミングして加工画像を生成したが、これに限らず、画像生成装置１と異なる他の装置が撮像画像をトリミングして加工画像を生成してもよい。この場合、画像生成装置１は、撮像画像を画像処理装置に通信部１２を介して送信する。画像処理装置は、画像生成装置１の制御部１５と同様の構成を有する。具体的には、画像処理装置は、画像生成装置１から撮像画像を取得し、撮像画像をトリミングすることで、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内になるように撮像画像をトリミングして加工画像を生成する。これにより、画像生成装置１は、撮像画像を撮像するだけでよくなるので、撮像画像をトリミングして加工画像を生成する処理負荷を低減できる。

【0067】

（変形例３）
画像生成部１５５は、加工画像を生成すると共に、接続部３が適切なサイズであるかどうかを示す情報を音で出力してもよい。例えば、画像生成部１５５は、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内であれば、「撮像してください」という音声メッセージを画像生成装置１のスピーカに出力させる。画像生成部１５５は、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲の上限値よりも大きい場合には、「カメラが近すぎます 腹部から遠ざけてください」という音声メッセージをスピーカに出力させる。画像生成部１５５は、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲の下限値よりも小さい場合には、「カメラが遠すぎます 腹部に近づけてください」という音声メッセージをスピーカに出力させる。これにより、患者自身が接続部３を撮像する際に、画面を見ずに接続部３を適切な大きさにしやすくなる。

【0068】

（変形例４）
画像生成部１５５は、チューブ２の径又は接続部３の大きさに替えて、大きさが既知の基準となる物体の大きさが撮像画像の大きさに対して所定の範囲内になるようにするための加工画像を生成してもよい。基準となる物体は、大きさが既知であればよく、例えば接続部３の周辺に貼られた大きさが既知のシールである。このようにすることでも、接続部３の撮像画像のばらつきを小さくすることができる。

【0069】

（変形例５）
範囲決定部１５２は、ディスプレイ１１を介して入力されたチューブ２の実際の径に応じて所定の範囲を決定してもよい。この場合、記憶部１４は、チューブ２の実際の径と、当該径に対応する範囲とを関連付けたデータテーブルを記憶している。また、入力受付部１５１は、ディスプレイ１１にチューブ２の実際の径を入力させるための入力画面を表示させ、表示させた入力画面において入力された数値をチューブ２の実際の径として受け付ける。そして、範囲決定部１５２は、記憶部１４に記憶されたデータテーブルにおいて、入力されたチューブ２の実際の径に関連付けられている範囲を、所定の範囲として決定する。なお、入力受付部１５１は、チューブ２の実際の径と、当該チューブ２の実際の径に対応する範囲との両方の入力を受け付けてもよい。この場合、範囲決定部１５２は、入力された範囲を所定の範囲に決定し、入力されたチューブ２の実際の径及び当該チューブ２の径に対応する範囲を記憶部１４に記憶させる。

【0070】

（変形例６）
画像生成部１５５は、複数の加工画像を配置した画像をディスプレイ１１に表示させてもよい。図９は、複数の加工画像が配置されてディスプレイ１１に表示された表示画面の模式図である。図９に示す表示画面には、サムネイル画像領域７１と、並列表示領域７２と、発赤情報領域７３とが含まれている。サムネイル画像領域７１には、複数の加工画像のサムネイル画像が表示されている。並列表示領域７２には、サムネイル画像領域７１に表示されている複数の加工画像のサムネイル画像からユーザにより選択された２つの加工画像が表示されている。発赤情報領域７３には、それぞれに含まれている発赤に関する情報が表示されている。

【0071】

画像生成部１５５は、撮像日時の異なる複数の撮像画像の各々をトリミングした加工画像を配置して表示させる。例えば、画像生成部１５５は、所定の期間（例えば１か月）内に撮像された複数の撮像画像の各々をトリミングした加工画像を、撮像日時順に配置してサムネイル画像領域７１内に表示させる。画像７１１から画像７１４は、２０２２／７／２９、２０２２／７／２２、２０２２／７／１５及び２０２２／７／８のそれぞれに撮像された撮像画像をトリミングした加工画像である。

【0072】

画像生成部１５５は、複数の加工画像の一部の加工画像を、他の加工画像よりも大きく表示する。例えば、画像生成部１５５は、サムネイル画像領域７１に表示された複数のサムネイル画像からユーザにより選択された２つの加工画像を拡大して、並列表示領域７２に表示させる。なお、拡大画像７２１と拡大画像７２２は同一サイズであることが好適である。これにより、評価者は、異なる時期の接続部３の状態を比較することができるので、接続部３の感染症の経時変化を評価しやすくなる。また、画像生成部１５５は、選択された画像７１１の枠を、選択されていない画像７１３の枠と異なる態様で表示させてもよい。例えば、画像生成部１５５は、選択された画像７１１の枠を実線で表示させ、選択されていない画像７１３の枠を破線で表示させる。

【0073】

画像生成部１５５は、配置した複数の加工画像の各々に含まれている発赤の数を発赤情報領域７３に表示してもよい。例えば、画像生成部１５５は、加工画像の年月日と発赤の数とを関連付けて表示させる。具体的には、画像生成部１５５は、赤色の画素の画素値の差が閾値以上の箇所のうちの、長さが５ｍｍ以上の箇所（以下「発赤大」という。）の数、及び長さが５ｍｍ未満の箇所（以下「発赤小」という。）の数を、加工画像の年月日と関連付けて表示させる。

【0074】

図９の発赤情報領域７３に表示されている表においては、加工画像の年月日と発赤の数とが関連付けられている。一例を挙げると、２０２２／７／２９には、発赤大の数［１］及び発赤小の数［２］が関連付けられている。これにより、評価者は、発赤の数の経時変化を把握しやすくなる。

【0075】

画像生成部１５５は、発赤だけでなく、他の症状を評価するための症状評価用画像を生成してもよい。他の症状は、例えば、痂皮、浸出液、肉芽である。画像生成部１５５は、画像を入力することにより入力された画像に各症状が含まれているか否かを特定する機械学習モデルに、撮像画像又は加工画像を入力することによって、各症状の有無を特定する。そして、画像生成部１５５は、入力された画像に各症状が含まれているか否かを示す症状評価用画像を生成する。例えば、画像生成部１５５は、選択された２つの加工画像の各々に各症状が含まれているか否かを示す症状評価用画像をディスプレイ１１に表示させる。これにより、評価者は、各症状の有無を把握しやすくなる。

【0076】

図９の発赤情報領域７３には、発赤の数を表示しているが、これに加えて、画像生成部１５５は、痂皮、浸出液、肉芽等の、他の症状に関する情報を表示してもよい。また、他の症状は、機械学習モデルに撮像画像又は加工画像を入力することによって特定されたものに限らず、並列表示領域７２に表示された加工画像に対応づけられるように、ユーザにより入力されたものなどであっても良い。画像生成部１５５は、ユーザが表示された加工画像に対応する症状を入力するための入力領域を表示しても良い。

【0077】

［画像生成装置１が実行する処理］
図１０は、画像生成装置１が実行する処理の流れの一例を示すフローチャートである。図１０のフローチャートが実行される前に、範囲決定部１５２が所定の範囲を決定しているものとする。

【0078】

画像取得部１５３は、撮像画像を取得する（ステップＳ１）。具体的には、画像取得部１５３は、撮像部１３を制御することにより撮像部１３に生成させた撮像画像を取得する。形状特定部１５４は、撮像画像中の接続部３の大きさを特定する（ステップＳ２）。具体的には、形状特定部１５４は、撮像画像を入力することにより撮像画像に含まれている接続部３の長さを特定する機械学習モデルに撮像画像を入力することによって、接続部３の長さを特定する。

【0079】

続いて、画像生成部１５５は、接続部３の大きさが撮像画像の大きさに対して所定の範囲内か否かを判定する（ステップＳ３）。例えば、画像生成部１５５は、撮像画像の長辺、短辺又は対角線に対する接続部３の長さの比率が所定の比率範囲内か否かを判定することにより、接続部３の大きさが撮像画像の大きさに対して所定の範囲内か否かを判定する。

【0080】

画像生成部１５５は、接続部３の大きさが撮像画像の大きさに対して所定の範囲内であれば、接続部３の大きさが撮像画像の大きさに対して所定の範囲内であることを示す実線枠４２（図１（ｂ）を参照）を重畳した加工画像を生成する（ステップＳ４）。また、画像生成部１５５は、接続部３の大きさが撮像画像の大きさに対して所定の範囲内であることを報知する（ステップＳ５）。例えば、画像生成部１５５は、「シャッターボタンをタッチして撮影してください」というメッセージを、加工画像に重畳してディスプレイ１１に表示させたり、音声として出力させたりする。

【0081】

画像取得部１５３は、画像生成装置１のユーザがシャッターボタン５（図１（ｂ）を参照）をタッチしたことを契機として、接続部３の大きさが撮像画像の大きさに対して所定の範囲内である撮像画像データを記憶部１４に記憶させる（ステップＳ６）。

【0082】

画像生成部１５５は、接続部３の大きさが撮像画像の大きさに対して所定の範囲内でない場合、接続部３の大きさが撮像画像の大きさに対して所定の範囲内でないことを示す点線枠４１（図１（ａ）を参照）を重畳した加工画像を生成する（ステップＳ７）。また、画像生成部１５５は、接続部３の大きさが撮像画像の大きさに対して所定の範囲内でないことを報知する（ステップＳ８）。例えば、画像生成部１５５は、「カメラが近すぎます 腹部から遠ざけてください」というメッセージを、加工画像に重畳してディスプレイ１１に表示させたり、音声として出力させたりする。画像取得部１５３は、接続部３の大きさが撮像画像の大きさに対して所定の範囲内でないことを示す点線枠４１及び接続部３の大きさが撮像画像の大きさに対して所定の範囲内でないことを示す情報が表示されたら、ステップＳ１に戻り、再度撮像画像を取得する。

【0083】

画像生成装置１は、接続部３の大きさが撮像画像の大きさに対して所定の範囲内になるまで、ステップＳ１からＳ３、ステップＳ７及びＳ８を繰り返す。このようにすることで、画像生成装置１は、接続部３の大きさが撮像画像の大きさに対して所定の範囲内である撮像画像を取得できる。

【0084】

［画像生成装置１の効果］
以上説明したとおり、画像生成装置１は、腹膜透析用のチューブ２が患者の腹部に接続されている接続部３を含む撮像画像におけるチューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内になるようにするための加工画像を生成する。その結果、画像生成装置１は、チューブ２の径又は接続部３の大きさが撮像画像の大きさに対して所定の範囲内である撮像画像を取得できるので、撮像画像における接続部３の大きさのばらつきを所定の範囲内にできる。これにより、評価者が患者の腹部の衛生状態を適切に評価できるようになる。

【0085】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

【符号の説明】

【0086】

１ 画像生成装置
１１ ディスプレイ
１２ 通信部
１３ 撮像部
１４ 記憶部
１５ 制御部
１５１ 入力受付部
１５２ 範囲決定部
１５３ 画像取得部
１５４ 形状特定部
１５５ 画像生成部
２ チューブ
３ 接続部
５ シャッターボタン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】