인공지능과 빅데이터 등 4차 산업의 발전으로 의료 영역에서도 그 변화가 가속화되고 있는 가운데 최근 소프트웨어 자체만으로 의료목적 달성이 가능한 소프트웨어 의료기기(Software as a Medical Device, SaMD)가 활발히 개발되고 있다.¹⁾ 식품의약품안전처(Ministry of Food and Drug Safety, MFDS)는 소프트웨어 의료기기를 “의료기기에 해당하는 목적으로 사용하기 위해 개발된 소프트웨어로 독립형 소프트웨어와 내장형 소프트웨어 모바일 의료용 앱 등을 포함하는 기기”로 정의하고 있다.²⁾ 이러한 소프트웨어 의료기기의 등장으로 의료 전문가는 기존 의료 관행을 간소화하고 디지털 치료와 같은 혁신적인 의료 프로세스를 현실로 만들 수 있다. 환자와 의사 간 커뮤니케이션을 개선함으로써 환자 중심의 의료 서비스를 실현할 수 있는 잠재력 또한 가지고 있다.³⁾

인공지능(Artificial intelligence, AI) 기반 소프트웨어 의료기기는 소프트웨어 기반이므로 지속적인 업데이트가 가능하기 때문에 업데이트할 때마다 설계, 성능, 위험성 검토 등 품질 관리가 필요하다. 그렇지 않으면 제품 오작동이나 기타 문제로 인해 잘못된 진단이 발생할 수 있기 때문에 이러한 문제를 방지하고 잠재적 위험을 완화하기 위해 국내에서는 소프트웨어 의료기기의 인허가를 위한 우수 의약품 제조 및 품질관리 기준(Good Manufacturing Practice, GMP) 인증을 받아야 한다.⁴⁾ 식품의약품안전처에서는 A I 기반 제품을 포함한 소프트웨어 제품이 의료기기로 분류될 수 있는지는 사용 목적과 위해성 등을 종합적으로 고려하여 판단하기 때문에 제조업체는 GMP 인증 획득 과정에서 소프트웨어 의료기기의 설계 및 개발을 수행하기 위해 사용 적합성 평가를 수행하게 된다.^5,6)

본 연구에서는 안저영상을 사용하여 신생혈관성 나이관련황반변성(Neovascular age-related macular degeneration) 유무를 인공지능 기반 알고리즘을 이용하여 자동으로 분류 및 표현하여 의료인의 진단 결정을 보조하는 안과영상검출·진단보조소프트웨어인 ICHI (Intelligent Care for Health-EYE)를 개발하고, 해당 소프트웨어 의료기기를 대상으로 사용적합성 형성평가와 총괄평가를 수행하였다. 국제전기기술위원회(International Electrotechnical Commission, IEC) 국제규격(IEC 62366-1:2015/AMD 1:2020)을 적용한 사용자 인터페이스(User interface)의 사용자 피드백 분석절차 및 사용자 인터페이스의 올바른 사용과 사용오류, 그에 따른 위험에 대한 분석 방법을 사용적합성 평가에 포함하였다. 우선, 처음 실시한 사용적합성 형성평가(Usability formative evaluation)에서는 안과영상검출·진단보조소프트웨어 ICHI에 대한 의도된 사용자를 대상으로 의도된 사용 환경에서 평가를 실시하여, ICHI를 적용함에 따라 발생할 수 있는 위험을 평가하고 발생한 위험을 완화하며, 사용자 인터페이스의 초기 디자인 컨셉에 대한 사용자의 피드백을 확보하고자 하였다. 이후 실시한 사용적합성 총괄평가(Usability summative evaluation)에서는 형성평가에서 발생한 사용오류와 시험 참가자들의 피드백을 I CHI 사용자 인터페이스에 반영한 후 안전하게 사용될 수 있는지에 대한 객관적인 증거를 얻고자 하였다. 결론적으로 사용적합성 평가에서 도출된 시나리오별 태스크 완료율을 정량적으로 평가하고 발생한 사용오류 위험을 감소시키기 위해 사용자 인터페이스를 개선하여, 실제 임상 현장에서 사용하기에 적합한 소프트웨어 의료기기를 개발하였는지를 확인하고자 하였다.

사용적합성 평가 방법

사용적합성 평가는 모의 된 사용 환경(Simulated use environment)에서 실제 의도된 사용자(Intended user)가 참여하여 개발된 위해 요인-관련 사용시나리오(Use scenario)에 주어진 태스크(Task)들을 수행하며 발생하는 사용오류(Use error), 클로즈 콜(Close call) 및 사용 어려움(Use difficulty) 등의 발생 여부를 확인하여 개선 사항을 파악하는 사용적합성 시험(Usability test)을 수행하였다. 사용오류는 의료기기를 사용하면서 제조자가 의도하거나 사용자가 기대한 것과 다른 결과로 이끄는 사용자 행위 또는 사용자 행위의 결여로 정의하였다. 클로즈 콜은 사용자가 임무를 수행하는 동안 사용오류를 거의 범할 뻔했지만 잠시 후 복구하여 사용오류를 회피하는 경우를 뜻한다. 사용 어려움은 사용자가 임무를 수행하는데 올바른 행동을 여러 번 시도하거나, 혼란스러워하는 등 참가자가 태스크를 수행하는데 어려움을 겪는 경우로 정의하였다.

사용적합성 평가 참여자

평가 수행 장소는 삼성서울병원 스마트헬스케어연구소에서 진행되었으며 실시 기간은 다음과 같다: 형성평가 2023년 9월 14일~2023년 9월 27일, 총괄평가 2023년 11월 2일~2023년 11월 30일. 시험 참가자는 안과 의료진을 대상으로 삼성서울병원 사내망을 통한 홍보 및 안내 메일 발송을 통해 모집되었으며, 추가적인 인원 확보를 위해 국립대학 의약학 분야 전공자 중 해당 소프트웨어 의료기기 사용 경험이 없는 연구원 중 한국인을 대상으로 인원을 추가하였다. 이에 형성평가에서는 총 11명, 총괄평가에서는 총 21명의 참가자를 대상으로 평가를 진행하였다(Table 1, 2).

Table 1 Usability formative evaluation participants

ID	Occupation	Experience with similar devices	Sex
P1	Nurse	Yes	Female
P2	Medical Laboratory Technologist	Yes	Female
P3	Medical Laboratory Technologist	Yes	Female
P4	Medical Laboratory Technologist	No	Female
P5	Optician	Yes	Female
P6	Researcher	No	Female
P7	Researcher	No	Male
P8	Researcher	No	Female
P9	Researcher	No	Male
P10	Researcher	No	Female
P11	Researcher	No	Male

Table 2 Usability summative evaluation participants

ID	Occupation	Experience with similar devices	Sex
P1	Nurse	No	Male
P2	Optician	No	Female
P3	Nurse	No	Female
P4	Radiologist	Yes	Male
P5	Ophthalmic Technician	No	Male
P6	Ophthalmic Technician	Yes	Female
P7	Medical Laboratory Technologist	No	Female
P8	Ophthalmic Medical Technologist	Yes	Female
P9	Medical Laboratory Technologist	Yes	Female
P10	Medical Laboratory Technologist	Yes	Female
P11	Nurse	Yes	Female
P12	Medical Laboratory Technologist	Yes	Female
P13	Nurse	No	Female
P14	Radiologist	No	Male
P15	Medical Laboratory Technologist	No	Female
P16	Researcher	No	Female
P17	Researcher	No	Male
P18	Researcher	No	Female
P19	Researcher	No	Male
P20	Researcher	No	Female
P21	Researcher	No	Male

사용적합성 평가 기준

사용적합성 평가의 목적은 사용시나리오별 목표 완료율 달성여부를 확인하기 위함이며, 사용오류 발생 시 해당 시나리오는 완료되지 못한 것으로 판단한다. 사용오류 판정 기준은 Table 3에 나와 있는 태스크 항목을 한 태스크 당 5분 이내 수행 미완료 시 사용오류로 판정되며 목표 완료율은 100%이다.

Table 3 Use scenarios for evaluating usability

Task	Usability Test
Formative evaluation	Summative evaluation
1	Follow the user manual to change your password
2	Proceed with the login process using a password other than your registered ID
3	After logging in, proceed with the health verification process
4	Procedure for creating a generic user ID
5	Check the generic user ID and proceed to delete it
6	Check the generic user ID and set the expiration date
7	Check the general user ID and proceed to set the automatic logout period
8	Procedure to set FUNDUS IMAGE folder according to user manual
9	Proceed to upload fundus image: Select fundus image from folder
10	Proceed to upload fundus image: Capture fundus image
11	Click MODEL button to proceed with the disease identification procedure
12	Click START button to start the test procedure
13	Proceed to check the analysis results of Predicted Results
14	Proceed to log out
15	Acknowledgement of failure to close the software or turn off the PC when loading data
16	Proceed to upload fundus image: Drag-and-drop (only for formative evaluation)

사용적합성 형성평가 결과

참가자가 사용시나리오에 따라 시험을 수행하는 동안 관찰자가 사용오류 발생 여부를 확인하였다. 사용오류 정의에 따라 사용자의 기대 혹은 제조자가 의도했던 것과는 다른 결과를 나타내게 하는 의료기기 사용 동안 사용자의 행위 또는 사용자 행위 결여를 사용오류로 판단한 결과, 형성평가에서는 평가 중 총 6건의 사용오류가 발생하였다. 이후 형성평가에서 요구된 사항을 고려하여 사용자 인터페이스를 개선하였으며, 이를 Fig. 1~5에 나타내었다. 개선된 부분은 빨간색 네모 박스로 표시하였다.

Fig. 1. First screen of running ICHI.
A: User interface during formative evaluation before improvement, B: User interface during summative evaluation after improvement. The red box indicates the changing part of user interface.

Fig. 2. ICHI main screen.
A: User interface during formative evaluation before improvement, B: User interface during summative evaluation after improvement. The red box indicates the changing part of user interface.

Fig. 3. ICHI capture features.
A: Capture design during formative evaluation before improvement, B: Capture design during summative evaluation after improvement. The red box indicates the changing part of user interface.

Fig. 4. ICHI configuration features.
A: Configuration window during formative evaluation before improvement, B: Configuration window during summative evaluation after improvement. The red box indicates the changing part of user interface.

Fig. 5. ICHI fundus image analysis results screen.
A: User interface during formative evaluation before improvement, B: User interface during summative evaluation after improvement. The red box indicates the changing part of user interface.

사용자 인터페이스 개선

먼저 개선 전 I CHI 소프트웨어의 실행 첫 화면은 소프트웨어가 아직 로딩 중인 느낌으로 사용 어려움이 확인되어(Fig. 1A), 로그인 자동활성화를 포함해 초기화면의 사용자 인터페이스를 Fig. 1B와 같이 수정하였다.

Fig. 2는 I CHI 메인 화면에 해당하며 개선 전에는 별도의 로그아웃 버튼 없이 창 닫기를 통해 프로그램을 종료하는 방식이었다(Fig. 2A). 이에 프로그램 종료 태스크 수행 시 별도의 로그아웃 버튼을 찾는 클로즈 콜이 발생하여 우측 상단에 로그아웃 버튼을 생성하였다. 또한, 사용자의 혼란을 야기시킬 수 있는 버튼 명 및 용어를 변경하였다(Fig. 2B).

Fig. 3은 I CHI 내 탑재되어 있는 캡처 기능으로 안저영상을 캡처하여 분석할 수 있는 기능이다. Fig. 3A는 개선 전 캡처 디자인으로 캡처 아이콘 위치를 가운데에서 우측 하단으로 수정하고, 드래그 시 손 모양 커서로 바뀌어 캡처 중임을 명확히 표시하였으며, 안저 위치 가이드를 삽입하여 사용오류를 감소시켰다(Fig. 3B).

ICHI 소프트웨어에서는 환경설정 기능으로 테스트할 안저영상 파일의 폴더 경로, 자동 로그아웃, 계정 유효기간, 신규 ID관리에 대해 설정할 수 있다. 환경설정 기능에 대한 사용 어려움을 유발하는 버튼 명과 용어를 변경하여 사용자 인터페이스를 개선하였다(Fig. 4).

ICHI 안저영상 분석 결과 화면으로 결과를 보여주는 팝업창을 신설한 결과를 Fig. 5에 나타내었다. 참가자들로부터 많은 어려움을 야기시켰던 안저영상의 분석 결과를 확인하는 부분에서 결과 화면 용어를 수정하고 분석 결과를 더욱 직관적으로 제시함으로써 가독성을 높여 사용자 인터페이스를 수정하였다.

사용적합성 총괄평가 결과

사용자 인터페이스를 개선한 후에 실시한 사용적합성 총괄평가에서는 총 1건의 사용오류가 발생하여, 사용적합성 형성평가시의 6건에 비해 오류 발생 건수가 크게 감소하였다(Fig. 6). 캡처 기능을 이용하여 안저영상 업로드 절차를 진행하는 10번 태스크에서 형성평가 결과 총 2건의 사용오류(발생률 18%)가 나타났지만, 총괄평가 결과는 사용오류가 총 1건으로 감소해 5%의 발생률을 보였다. 분석 결과를 확인하는 13번 태스크 및 로그아웃 절차를 진행하는 15번 태스크는 사용자 인터페이스 개선 후 총괄평가를 실시한 결과, 모두 사용오류가 0건으로 감소하였다. 드래그앤드롭(Drag-and-drop)으로 안저영상을 업로드 하는 16번 태스크는 사용 방법에 혼동을 준다는 시험자들의 의견에 따라 기능을 삭제하여 사용오류 위험을 회피하였다.

Fig. 6. Incidence rate of use errors.
N represents the number of participants. Ratios have been calculated for use errors according to each evaluation group. T, Task

클로즈 콜 건수 및 발생률은 로그인 후 질환명을 확인하는 3번 태스크, ID 생성 절차를 진행하는 4번 태스크, 분석할 안저영상의 파일 폴더 경로를 설정하는 8번 태스크를 제외하고 전체적으로 클로즈 콜이 감소하였다(Fig. 7). 4번과 8번 태스크에서 클로즈 콜이 증가한 주요 원인은 대부분 참가자들이 처음 사용함으로 인한 생소함, 미숙한 숙지로 인한 단순 실수, 컴퓨터 사용에 대한 불편함 때문으로 파악되었다. 사용어려움 건수 및 발생률은 8번, 10번, 13번 태스크를 제외하고 전체적으로 감소하였다(Fig. 8). 일부 증가한 태스크 항목의 경우 참가자들이 기존에 사용하던 제품과의 차이로 인한 혼동이나 단순 실수로 인해 수행에 어려움을 겪었기 때문으로 파악되었다. 그러나 발생한 클로즈 콜 및 사용어려움은 사용자 매뉴얼 참조 또는 작업재수행을 통해 모든 작업이 완료되었다. 또한 사용설명서, 기술문서, 교육 동영상 업데이트를 통해 추가적인 개선 및 위험에 대하여 통제 조치를 진행하였다.

Fig. 7. Incidence rate of close calls.
N represents the number of participants. Ratios have been calculated for close calls according to each evaluation group. T, Task

Fig. 8. Incidence rate of use difficulty.
N represents the number of participants. Ratios have been calculated for use difficulty according to each evaluation group. T, Task

AI는 다양한 분야에서 혁신을 가져오고 있으며, AI 기반 소프트웨어 의료기기는 방사선 영상, 자기공명영상(Magnetic resonance imaging, MRI), 컴퓨터단층촬영(Computed tomography, CT), 안저영상 등 의료 영상을 기반으로 질병 진단을 보조하기 위해 활발히 개발되고 있다.^7,8) 2024년 3월 기준 의료기기산업법에 따라 61개 제품이 혁신 의료기기로 지정되었으며 이 중 32개 제품이 진단용 소프트웨어 의료기기이다.^9,10) 특히 황반변성을 비롯한 망막 질환의 조기 진단에도 여러 소프트웨어 의료기기 기술이 적용되고 있으며,^11,12) 향후 A I 기반 소프트웨어 의료기기의 개발과 도입은 더욱 증가할 것으로 예상된다. 이러한 소프트웨어 의료기기는 질병 진단 시 의료진을 지원하는 데 사용되기 때문에 제조 및 품질 관리 시스템에 따라 설계, 개발, 위험 관리, 제조시정 및 예방 조치가 통제되어야 한다. 특히 모든 의료기기는 GMP 사용적합성 적용 대상이며, 2021년 1월 1일 이후 GMP 심사를 신청한 의료기기부터 등급별 순차적으로 GMP 심사 시 사용적합성을 포함하여 심사하기 때문에, 사용적합성 평가를 통해 사용오류 및 이와 관련된 위험을 감소시키고 의료기기의 안전성 및 효율성을 높이는 것이 중요하다. 본 연구에서 사용된 시험기기 I CHI는 안저영상을 사용하여 신생혈관성 나이관련황반변성 유무를 자동으로 표시하여 의료인의 진단 결정을 보조하는 데 그 목적이 있는 안과영상검출·진단보조소프트웨어이다.

본 연구에서는 모의 된 사용 환경에서 의도된 사용자가 ICHI의 사용시나리오에 따른 주어진 태스크들을 사용오류없이 안전하게 수행할 수 있다는 것을 입증하기 위해 사용적합성 평가를 진행하였다. 사용적합성 형성평가에서는 총 11명, 총괄평가에서는 총 21명의 참가자를 대상으로 평가를 진행하였다. 참가자는 위험관리 프로세스를 통해 도출된 태스크를 수행하였으며, 평가환경에서 조정자가 요구하는 태스크를 순서대로 수행하였다. 형성평가에서는 총 6건의 사용오류가 발생하였고 목표 완료율(100%) 미만의 달성률을 보였다. 발생한 사용오류, 클로즈 콜, 사용어려움은 대부분 안저영상을 캡처하는 방법을 명확하게 인지하지 못한 경우, 분석 결과를 확인하는 절차를 올바르게 수행하지 못한 경우, 사용설명서에 대한 미숙한 숙지, 드래그앤드롭 기능에 대한 이해도가 떨어져 조작 실수로 인해 발생한 것으로 확인되었다. 이에, 관찰된 사용오류, 클로즈 콜, 사용어려움에 대한 참가자들의 의견을 반영하여 사용자 인터페이스를 개선한 후, 사용적합성 총괄평가를 진행하였다. 분석을 위한 안저영상 업로드 방법 중 캡처와 관련하여 아이콘 위치를 수정하고 드래그 시 손 모양 커서를 표시함과 동시에 안저 위치 가이드 삽입을 통해 사용자가 더 쉽게 안저영상을 캡처할 수 있도록 개선하였다. 다른 안저영상 업로드 방법에 해당하는 드래그앤드롭은 다수의 시험 참가자로부터 혼란을 야기시키는 것으로 판단되어, 기능을 제거하였다. 직관적으로 분석 결과를 판독할 수 있게 결과를 보여주는 팝업창을 신설하고 관련된 버튼 명과 용어를 수정하여 사용자의 결과 이해를 도왔으며, 결과 창 디자인을 개선하여 가독성을 높였다. 또한, 기존에 프로그램 창 닫기 버튼을 통해 이루어졌던 로그아웃 절차를 별도의 로그아웃 버튼을 생성함으로써 사용오류 위험을 감소시켰다. 이에 총괄평가에서 발생한 사용오류는 단 1건으로, 형성평가 시에 발생한 사용오류 6건에 비해 크게 개선되었음을 확인할 수 있었다. 참가자들이 태스크를 수행하는 과정에서 형성평가에 비해 총괄평가에서 어려움을 겪은 항목들이 클로즈 콜 및 사용어려움에서 소수 나타났으나, 이는 대부분 사용설명서에 대한 미숙한 숙지 또는 조작 실수였으며 해당 건이 사용오류로 이어지지 않아 사용설명서 참조 또는 작업 재수행을 통해 모든 작업이 완료되었다. 전체적으로 형성평가 결과에 비해 사용오류 발생률이 감소하였고, 관찰된 사용오류에 대해서는 사용설명서, 기술문서, 교육 동영상 업데이트를 통해 추가적인 개선 및 위험에 대하여 통제 조치를 진행하여 반복적인 오류 발생을 방지하였다. 이러한 긍정적인 결과로 본 소프트웨어 의료기기는 식약처로부터 임상적 유효성 평가를 위한 임상시험을 승인받았다(의료기기정책과-MFDS-614. 2024.02.13).

본 연구는 사용적합성 평가를 통해 안과영상검출·진단보조소프트웨어 ICHI의 개선 사항을 발견하고 이에 따른 위험관리 및 통제 조치를 통해 사용오류 위험을 감소시켰다. 특히, 사용자 인터페이스 개선이 사용적합성 사용오류 관련 위험을 줄이는데 효과적임을 검증하였다. 이에 따라 사용자가 안과영상검출·진단보조소프트웨어 의료기기를 더 올바르게 사용할 수 있게 하고 사용오류도 줄이는 데 도움을 줄 수 있을 것으로 사료된다.

이 논문은 충북대학교 국립대학육성사업(2023)지원을 받아 작성되었습니다.

모든 저자는 이해 상충을 가지고 있지 않음을 선언한다.

Wonmi Gu : Graduate student

Soyoung Kim : CEO

Young Eun Kim : Graduate student

Sunghee Park : Director

Moonsu Kim : Senior Regulatory Specialist

Hwakyung Lim : CEO

Tae-Young Heo : Professor

Doyun Kim : Graduate student

Jung Kee Min : Professor

Seoksu Hong : CEO

Jaesuk un: Y Professor