jRCT ロゴ

臨床研究等提出・公開システム

Top

English

臨床研究・治験計画情報の詳細情報です。

観察研究
令和4年5月25日
令和4年11月30日
令和4年10月21日
胸部単純 X 線画像による線維化を伴う間質性肺疾患検出を支援する CAD ソフトウェアの性能評価
胸部単純 X 線画像による線維化を伴う間質性肺疾患検出を支援する CAD ソフトウェアの性能評価
本田 聖和
エムスリー株式会社
胸部単純 X 線画像による線維化を伴う間質性肺疾患(以下「線維化 ILD」と称す)を支援する CAD ソフトウェアの、非専門医による線維化 ILD診断における診断支援に対する有用性を、読影試験により検証する。
N/A
線維化を伴う間質性肺疾患
研究終了
医療法人社団梨慶会 山内クリニック倫理審査委員会

総括報告書の概要

管理的事項

2022年11月14日

2 臨床研究結果の要約

2022年10月21日
1307
/ 匿名加工情報を収集しているため、対象者の背景情報は収集していない。 Because we collect anonymously processed information, we do not collect the background information of the target.
/ 単体性能評価試験報告書
本試験の試験対象画像1,307枚の正解データに基づく陽性(線維化ILD所見あり)及び陰性(線維化ILD所見なし)画像の枚数(例数)及び比率は、陽性114枚(8.7%)及び陰性1,193枚(91.3%)であった。

読影試験報告書
読影試験画像データ セットとしてランダムに選択された120枚(陽性画像24枚、陰性画像96枚)であった。
Unit performance evaluation test report
The number of positive (with fibrotic ILD findings) and negative (no fibrotic ILD findings) images (number of cases) and ratio based on the correct data of 1,307 images to be tested in this test are 114 positive (8.7%) and negative 1,193 sheets (91.3%).

Interpretation test report
There were 120 randomly selected images (24 positive images, 96 negative images) for the reading test image data set.
/ 匿名加工情報を収集する研究のため、疾病等の発生状況についての評価は実施していない。 Since this study collects anonymously processed information, we did not evaluate the occurrence of adverse events.
/ 単体性能評価試験報告書
5.3 結論
本試験により得られた本プログラム単体の感度88.6%及び特異度87.2%の結果から、本プログラムは、意図した画像に対し、線維化ILDに見られる画像所見を精度よく検出できると考えられる。本試験において得られた層別解析データに関しては、以下の通り。
1) 線維化ILD「陰性」の画像の中で、特に「浸潤影・濃度上昇域」、「線状影・索状影」及び「胸膜肥厚・石灰化」の陰性所見に対し本プログラムが偽陽性を導きやすいことを確認した。これについては、本プログラムが偽陽性を導きやすいことを添付文書等で使用者に注意喚起する必要があると考えられた。陰性所見ごとの本プログラムの偽陽性率に関する情報に加えて、確信度に関するデータも取扱説明書等で使用者に情報提供することで、本プログラムを併用することにより医師を偽陽性に導くリスクを低減することが可能であると考えられた。
2) 本試験の評価データセットでは、実臨床においても稀と推察される線維化ILD「陽性」の画像における網状影又はすりガラス陰影の位置のバリエーションの画像数は非常に少なく、当該バリエーションが本プログラムの性能に与える影響については、今後も情報収集に努めるべきである。一方で、線維化ILD「陽性」画像における網状影又はすりガラス陰影の割合に関しては、各層で一定数の画像が得られ、当該差異が本プログラムの線維化ILD 検出能に影響を与える可能性は低いと考えられた。線維化ILD「陽性」画像における、両肺に占める網状影又はすりガラス陰影の割合による確信度の傾向については、医師による本プログラム算出の確信度の解釈における補助的データとして有用であると考えられた。
3) 本プログラムの特異度は、正解判定医師2 名により「陰性」と判定された正解「陰性」の画像よりも正解判定医師3 名全員により「陰性」と判定された正解「陰性」の画像のほうが高い結果となった。正解判定医師2名により「陰性」と判定された正解「陰性」の画像に対する本プログラムの偽陽性率は高くなる傾向が見られた。
4) X線診断装置のベンダーの差異が及ぼす本プログラムの性能への影響に関しては、日立のX線発生装置に関して本プログラムの性能が悪化した結果が得られた。本試験で得られたベンダーの差異に関する情報は、添付文書等により使用者に情報提供する必要があると考えられた。
5) 撮影方法、患者の年齢及び画質の差異が及ぼす本プログラムの性能への影響に関しては、撮影方向がAPの条件で本プログラムの性能が大幅に悪化した結果が得られた。当該結果から、本プログラムの入力画像条件から立位APを除外することが適切であると考えられた。
6) 本プログラム算出の確信度が0.7以上と高い場合には線維化ILD「陽性」である可能性が高く、本プログラム算出の確信度が線維化ILD判定に有用であることが示唆された。

読影試験報告書
6. 考察及び結論
6.1 主要評価項目
本プログラムの実臨床における使用を想定して作成した読影試験画像データセットを用いて、非専門読影医師20名による医師単独読影(CADなし)結果と本プログラム併用による読影(CADあり)結果に基づくそれぞれのROC解析により算出されたAUC値を比較した結果、CADあり時のAUCは統計的有意に向上した。したがって、本プログラムを併用することにより、非専門医の胸部単純X線画像における線維化ILD検出能が向上すると考えられ、本プログラムの有用性が示された。本プログラムを使用することで、「かかりつけ医における線維化ILDの見落とし防止」を支援できると考えられる。
6.2 副次評価項目
非専門読影医師20名において、CADなし時に対してCADあり時に感度の有意な上昇と偽陰性率の有意な減少が見られた。したがって、本プログラムを併用することにより非専門医の線維化ILDの見落としが減少すると考えられ、主要評価項目の結果に加えて「かかりつけ医における線維化ILDの見落とし防止」に対する有用性を補強する結果が得られた。一方、非専門読影医師20名のCAD併用の有無による特異度と偽陽性率は有意に変化しなかったことから、本プログラムにより非専門医の線維化ILDの過検出は発生しにくいと考えられ、本プログラムを併用することによる不利益(過剰診断)は許容可能なレベルであると考えられる。本プログラムの使用者は非専門医(かかりつけ医)を想定しているが、専門医が本プログラムを併用した場合の線維化ILD検出能への影響を考慮し、専門読影医師の感度、特異度、偽陽性率、偽陰性率、正確度を算出することで当該影響の有無を副次的に評価した。結果的に、専門読影医師5名において感度、特異度、偽陽性率、偽陰性率、正確度いずれの指標も統計的に有意な変化は認められなかった。したがって、本プログラムが専門医の線維化ILD検出能に与える影響は小さいと考えられる。本プログラムを併用することにより誤診を導くリスクを評価する目的で、非専門読影医師および専門読影医師の暗転率および好転率を算出した。その結果、非専門読影医師および専門読影医師ともに、正解「陽性」画像における本プログラムを併用した場合の読影結果の暗転率は好転率より小さく、その中央値は0であった。したがって、過半数以上の読影医師において、本プログラムを併用することによる読影結果の暗転は認められなかった。一部の読影医師においては、正解「陽性」画像における本プログラムを併用した場合の読影結果の暗転が確認されているが、非専門読影医師および専門読影医師いずれも全体の結果としては、当該読影結果の好転率の方が暗転率より高く、本プログラムを併用することにより読影結果が好転するベネフィットの方が大きいと考えられる。
6.3 探索的評価
6.3.1 正解「陽性」の画像における左右各肺に占める網状影又はすりガラス陰影の位置及び割合の層別解析
正解「陽性」の画像における左右各肺に占める網状影又はすりガラス陰影の位置及び割合の層別解析では、暗転率が特に悪化するような「陽性」画像の特徴はなかった。
6.3.2 正解「陽性」の画像における両肺に占める網状影又はすりガラス陰影の割合の層別解析
非専門読影医師の読影結果において、両肺に占める網状影又はすりガラス陰影の割合が3点以上の場合に、本プログラムの併用の有無による感度の変化は見られなかった。これは、当該割合の画像に対するCADなし時における非専門読影医師の感度が96%と高かったことが要因と考えられる。一方、両肺に占める網状影又はすりガラス陰影の割合が3点未満の場合には、本プログラムを併用することによる感度の改善効果が認められた。したがって、本プログラムは特に両肺に占める網状影又はすりガラス陰影の割合が小さい線維化ILDの胸部単純X線画像に対する非専門医の感度を上げる効果を有すると考えられ、線維化ILDの早期発見における本プログラムの有用性が示唆された。
Unit performance evaluation test report
5.3 Conclusion
Based on the results of this test alone, with a sensitivity of 88.6% and a specificity of 87.2%, this program is considered to be able to accurately detect the imaging findings seen in fibrotic ILD from the intended images. The stratified analysis data obtained in this study are as follows.
1) Among fibrotic ILD negative images, this program falsely identified negative findings, especially infiltrative shadows-increased density areas, linear shadows-strand shadows, and pleural thickening-calcifications. It was confirmed that it is easy to lead to positivity. With regard to this, it was considered necessary to warn users through package inserts, etc. that this program is likely to lead to false positives.
In addition to the information on the false positive rate of this program for each negative finding, data on the degree of confidence is also provided to the user in the instruction manual, etc., so that the risk of leading doctors to false positives by using this program together It was considered possible to reduce
2) In the evaluation data set of this study, the number of images with variations in the position of reticular shadows or ground-glass opacities in fibrotic ILD positive images, which are assumed to be rare even in clinical practice, was very small. We should continue to collect information about the impact on the performance of On the other hand, regarding the ratio of reticular shadows or ground-glass opacities in fibrotic ILD positive images, a certain number of images were obtained in each layer, and it is unlikely that this difference would affect the ability of this program to detect fibrotic ILD. It was considered. Confidence trends in fibrotic ILD 'positive' images based on the proportion of reticular or ground-glass opacities in both lungs were considered useful as ancillary data for physicians to interpret the program-calculated confidence levels. .
3) The specificity of this program is higher for correct negative images judged negative by all three correct judgment doctors than for correct negative images judged negative by two correct judgment doctors. gave a higher result. There was a tendency for the false positive rate of this program to be high for the correct negative images judged as negative by two correct judgment doctors.
4) As for the effect of X-ray diagnostic equipment vendors on the performance of this program, the performance of this program deteriorated for Hitachi's X-ray generator. Information on vendor differences obtained in this study should be provided to users through package inserts, etc.
5) As for the effects on the performance of this program due to differences in imaging method, patient age, and image quality, the performance of this program deteriorated significantly when the imaging direction was AP. From these results, it was considered appropriate to exclude the standing AP from the input image conditions of this program.
6) If the confidence level calculated by this program is as high as 0.7 or higher, there is a high possibility that the patient is fibrotic ILD positive, suggesting that the confidence level calculated by this program is useful for determining fibrotic ILD.

Interpretation test report
6. Discussion and Conclusion
6.1 Primary endpoint
Using an interpretation test image data set created assuming the use of this program in actual clinical practice, based on the results of interpretation by a single doctor (without CAD) by 20 non-specialized interpretation doctors and the results of interpretation by using this program (with CAD) As a result of comparing the AUC values calculated by each ROC analysis, the AUC with CAD improved statistically significantly. Therefore, the combined use of this program is thought to improve the ability to detect fibrotic ILD in non-specialist chest X-ray images, demonstrating the usefulness of this program. By using this program, we believe that we can help prevent oversight of fibrotic ILD by primary care physicians.
6.2 Secondary endpoints
A significant increase in sensitivity and a significant reduction in the false-negative rate were found with CAD versus without CAD in 20 non-specialized reading physicians. Therefore, it is thought that the combined use of this program will reduce the oversight of fibrotic ILD by non-specialists, and in addition to the results of the primary endpoint, the results reinforce the usefulness of preventing oversight of fibrotic ILD by primary care physicians. Got. On the other hand, there was no significant change in the specificity and false-positive rate depending on the presence or absence of concomitant use of CAD among the 20 non-specialist reading physicians. The harm (overdiagnosis) from concomitant use of this program is considered to be at an acceptable level. The user of this program is assumed to be a non-specialist doctor (family doctor), but considering the effect on fibrosis ILD detection ability when a specialist uses this program together, The presence or absence of the effect was secondarily evaluated by calculating the positive rate, false negative rate, and accuracy. As a result, no statistically significant changes were observed in any index of sensitivity, specificity, false-positive rate, false-negative rate, and accuracy among the five specialist reading physicians. Therefore, the impact of this program on the ability of specialists to detect fibrotic ILD is considered to be small. For the purpose of evaluating the risk of misdiagnosis by using this program together, we calculated the darkening rate and improvement rate of non-specialist reading doctors and specialist reading doctors. As a result, for both non-specialist and specialist radiologists, when this program was used in combination with the correct positive images, the darkening rate of the interpretation results was smaller than the improvement rate, and the median value was 0. Therefore, more than half of the reading physicians did not see any darkening of the interpretation results due to the combined use of this program. In some interpretation doctors, it has been confirmed that the reading result of the correct positive image darkens when this program is used in combination. The improvement rate of the result is higher than the darkening rate, and it is considered that the benefit of improving the reading result by using this program together is greater.
6.3 Exploratory evaluation
6.3.1 Stratified analysis of the position and ratio of reticular opacities or ground-glass opacities in the left and right lungs in the positive images
In a stratified analysis of the position and ratio of reticular opacities or ground-glass opacities in the left and right lungs in the correct positive images, there were no features of the "positive" images that caused the darkening rate to worsen.
6.3.2 Stratified analysis of the percentage of reticular opacities or ground-glass opacities in both lungs in the positive images
In the interpretation results of non-specialist radiologists, when the proportion of reticular opacities or ground-glass opacities in both lungs was 3 points or more, there was no change in sensitivity with or without the combined use of this program. This is probably due to the high sensitivity of 96% for non-specialist radiologists without CAD for this proportion of images. On the other hand, when the percentage of reticular opacities or ground-glass opacities in both lungs was less than 3 points, combined use of this program was effective in improving sensitivity. Therefore, this program is considered to have the effect of increasing the sensitivity of non-specialists to simple chest X-ray images of fibrotic ILD, in which the ratio of reticular opacities or ground-glass opacities in both lungs is small. The usefulness of the program was suggested.
/ 本試験により、本プログラムは非専門医による線維化ILD検出支援プログラムとして有用であることが示された。特に、本プログラムは「かかりつけ医における線維化 ILDの見落とし防止」に有用であると考えられた。
非専門読影医師および専門読影医師の暗転率及び好転率の結果から、本プログラムを併用することにより誤診を導くリスクよりも本プログラムを併用することにより読影結果が好転するベネフィットの方が大きいと考えられ た。
This study showed that this program is useful as a fibrotic ILD detection support program for non-specialists. In particular, this program was thought to be useful for preventing oversight of fibrotic ILD by primary care physicians. Based on the results of the darkening rate and improvement rate, we believe that the benefit of improving interpretation results by using this program in combination is greater than the risk of misdiagnosis.
2022年11月30日

3 IPDシェアリング

No

管理的事項

研究の種別 観察研究
登録日 令和4年11月14日
jRCT番号 jRCT1032220090

1 臨床研究の実施体制に関する事項及び臨床研究を行う施設の構造設備に関する事項

(1)研究の名称

胸部単純 X 線画像による線維化を伴う間質性肺疾患検出を支援する CAD ソフトウェアの性能評価 Performance evaluation of CAD software to support the detection of chronic fibrosing interstitial lung diseases by chest simple X-ray imaging
胸部単純 X 線画像による線維化を伴う間質性肺疾患検出を支援する CAD ソフトウェアの性能評価 Performance evaluation of CAD software to support the detection of chronic fibrosing interstitial lung diseases by chest simple X-ray imaging

(2)研究責任医師(多施設共同研究の場合は、研究代表医師)に関する事項等

本田 聖和 Honda Seiwa
/ エムスリー株式会社 M3, Inc.
AIラボ
107-0052
/ 東京都港区赤坂1-11-44 1-11-44, Akasaka, Minato-ku, Tokyo
03-6229-8900
s-honda@m3.com
本田 聖和 Honda Seiwa
エムスリー株式会社 M3, Inc.
AIラボ
107-0052
東京都港区赤坂1-11-44 1-11-44, Akasaka, Minato-ku, Tokyo
03-6229-8900
s-honda@m3.com
令和4年5月2日

(3)研究責任医師以外の臨床研究に従事する者に関する事項

株式会社メディサイエンスプラニング
畑中 究
臨床開発部

(4)多施設共同研究における研究責任医師に関する事項等

多施設共同研究の該当の有無 なし

2 臨床研究の目的及び内容並びにこれに用いる医薬品等の概要

(1)臨床研究の目的及び内容

胸部単純 X 線画像による線維化を伴う間質性肺疾患(以下「線維化 ILD」と称す)を支援する CAD ソフトウェアの、非専門医による線維化 ILD診断における診断支援に対する有用性を、読影試験により検証する。
N/A
実施計画の公表日
2022年06月08日
実施計画の公表日
2022年09月30日
1000
観察研究 Observational
なし none
1.初診時以降、画像所見、自覚症状、他覚所見、その他の検査結果などから継続して経過観察を行っている患者の画像。
2.各画像収集医療機関にて倫理委員会による本研究承認後 2022 年 5 月までの間に文書または口頭によるインフォームド・コンセントを取得した患者の画像。もしくは同期間内に本研究での画像仕様について拒否を表明した患者以外の画像。
3.対象画像の撮像時に 20 歳以上である患者の画像
4.2000 年 1 月~2022 年 5 月の間の最長 6 カ月間内の連続した期間に画像収集医療機関で撮影された胸部単純 X 線画像
5.X線発生源からフイルムまでの距離が100~200cmで撮影された画像
6.画素数が1750×1750ピクセル以上である画像
7.通常診療で使用する補正処理を逸脱していない画像
1. Images of patients who have been continuously followed up based on imaging findings, subjective symptoms, objective findings, and other test results since the first visit.
2. Images of patients who obtained written or oral informed consent by May 2022 after the approval of this study by the Institutional Review Board at each image collection medical institution.Or images other than the patient who expressed refusal about the image specifications in this study during the same period.
3. Image of a patient over 20 years old at the time of imaging the target image
4. Simple chest X-ray images taken at an imaging medical institution for 6 consecutive months between January 2000 and May 2022
5. Images taken from 100 cm to 200 cm from the X-ray source to the film
6. An image with 1750 x 1750 pixels or more
7. Images that do not deviate from the correction process used in normal medical care
1.画像の DICOM 情報に不備がある画像
2.立位で撮影されていない画像
3.アーチファクト等により読影が困難と思われる画像
4.その他画像収集医療機関の研究責任者が不適と判断する画像
1. Image with incomplete DICOM information
2. Images not taken in a standing position
3. Images that may be difficult to read due to artifacts, etc.
4. Other images that the principal investigator of the image collection medical institution deems inappropriate
20歳 以上 20age old over
上限なし No limit
男性・女性 Both
線維化を伴う間質性肺疾患 Chronic fibrosing interstitial lung diseases
なし
非専門医の「読影判定結果」による CAD なし時および CAD あり時の ROC 曲線における AUC について、対応のある t 検定をおこない、CAD あり時の有意な改善を検討する。
A paired t-test is performed on the AUC in the ROC curve with and without CAD based on the "reading judgment result" of a non-specialist, and a significant improvement with CAD is examined.

(2)臨床研究に用いる医薬品等の概要

医療機器
未承認
プ01 疾病診断用プログラム
X線画像診断装置ワークステーション用プログラム
なし

3 臨床研究の実施状況の確認に関する事項

(1)監査の実施予定

なし

(2)臨床研究の進捗状況

/

研究終了

Complete

/

4 臨床研究の対象者に健康被害が生じた場合の補償及び医療の提供に関する事項

なし

5 臨床研究に用いる医薬品等の製造販売をし、又はしようとする医薬品等製造販売業者及びその特殊関係者の当該臨床研究に対する関与に関する事項等

(1)特定臨床研究に用いる医薬品等の医薬品等製造販売業者等からの研究資金等の提供等

本田 聖和
Seiwa Honda

(2)臨床研究に用いる医薬品等の医薬品等製造販売業者等以外からの研究資金等の提供

なし

6 審査意見業務を行う認定臨床研究審査委員会の名称等

医療法人社団梨慶会 山内クリニック倫理審査委員会 Yamauchi clinic ethics committee
東京都港区虎ノ門三丁目4番7号 3-4-7 Toranomon Minato-ku, Tokyo
03-67777-1490
c-irb_ug@neues.co.jp
承認

7 その他の事項

(1)臨床研究の対象者等への説明及び同意に関する事項

(2)他の臨床研究登録機関への登録

(3)臨床研究を実施するに当たって留意すべき事項

(5)全体を通しての補足事項等

添付書類(実施計画届出時の添付書類)

設定されていません

設定されていません

添付書類(終了時(総括報告書の概要提出時)の添付書類)

ILD_PRT_V2.1_0706.pdf
説明同意文書_オプトアウト文書(雛形).pdf

設定されていません

変更履歴

種別 公表日
終了 令和4年11月30日 (当画面) 変更内容
変更 令和4年8月5日 詳細 変更内容
変更 令和4年7月26日 詳細 変更内容
変更 令和4年6月1日 詳細 変更内容
新規登録 令和4年5月25日 詳細