search for




 

Comparative Review of Added Health Benefits of the Drugs Listed through Economic Evaluation Exemption Procedure in Korea: Cases of France, Germany, and Canada
Yakhak Hoeji 2024;68(1):62-70
Published online February 29, 2024
© 2024 The Pharmaceutical Society of Korea.

Eun-Young Bae*,#, Sohee Cha*, Hwa-Ryeong Lim*, Hye-Jae Lee**, and Jihyung Hong***

*College of Pharmacy, Gyeongsang National University
**Department of Environmental Health, Korea National Open University
***Department of Healthcare Management, Gacheon University
Correspondence to: #Eun-Young Bae, College of Pharmacy, Gyeongsang National University, 501 Jinju-daero, Jinju, Gyeongsangnam-do 52858, Republic of Korea
Tel: +82-55-772-2431
E-mail: eybae@gnu.ac.kr
Received January 16, 2024; Revised February 22, 2024; Accepted February 22, 2024.
Abstract
This study assessed the additional health benefits of the drugs listed through the Economic Evaluation Exemption Procedure (EEEP) in Korea. We conducted a comparative review of 32 EEEP drugs listed between May 2015 and July 2022, comparing how they were assessed in France, Germany, and Canada. To collect the data, we reviewed the evaluations conducted by the relevant agency in each country and identified if the additional benefit exists and how significant it is. Additionally, the size of the benefit gains assessed by each agency was categorized as "High" or "Low," allowing us to evaluate the consistency among these countries. In France, only 38% of the 34 drugs compared demonstrated moderate or higher levels of additional benefit. Germany acknowledged substantial benefit improvement in 27% of the 30 drugs assessed, while 73% showed minor, unquantifiable, or no additional benefits. In Canada, 5 out of 22 cases have been identified as providing significant additional benefit. The level of inter-country consistency in the assessment results from these three countries was somewhat limited. Based on the evaluation results in France, Germany, and Canada, the additional benefits of EEEP drugs over existing treatments were not substantial in many cases. Even though the EEEP was introduced to improve accessibility to high-cost drugs for medical conditions with unmet needs, it is necessary to reconsider whether to allow exceptions for drugs with low therapeutic value.
Keywords : Economic Evaluation Exemption Procedure, Additional benefit, Comparative analysis, Therapeutic value, Health technology assessment
서론(Introduction)

약제 급여결정신청 시 경제성평가 자료를 제출하도록 요구한것은 2007년 선별등재 제도의 도입 이후이다. 기존 등재 약보다효과가 우수하면서 가격도 높은 신약을 건강보험 급여목록에 등재하기 위해서는 경제성평가를 통해 비용-효과성을 입증해야 한다. 비용-효과성과 무관하게 외국 가격과의 비교 결과로 상한 가격이 설정되고 등재 결정이 이루어졌던 시기와 비교하면 급여권 진입의 문턱이 하나 더 추가된 셈이다. 선별등재 제도는 약제비 적정화를 위한 대표적 개혁조치로 등장하였지만, 다른 한편에서는 신약에 대한 접근성 악화를 우려하는 목소리도 있었다. 특히 중증질환에 사용되는 약 중 일부가 비용-효과성 부족으로 비급여 판정을 받는 일이 생기자, 제약기업, 환자, 의료단체를 중심으로 선별등재 제도에 대한 불만이 터져 나왔다. 이러한 분위기 속에서 위험분담제와 경제성평가자료 제출 생략 가능 트랙이 비용-효과성이라는 관문에 대한 일종의 우회로로 제시되었다. 위험분담제는 실제 가격과 고시 가격을 분리함으로써, 비용-효과성 기준을 충족시키면서도 제약사가 요구하는 고시 가격은 유지하는 방편으로 활용되었다. 물론 신청자와 보험자는 환급방식(리펀드) 외에 다양한 위험분담 안을 제시하고 협의할 수 있다.

중증이면서 소수 환자가 사용하여 충분한 임상적 근거를 확보하지 못한 약들에 대해서는 경제성평가 자료 제출을 생략(경평생략)하고, 대신 제 외국 가격 비교 결과로 비용-효과성 판단을 대체할 수 있도록 하였다. 일명 ‘경평면제’라고 불리는 제도인데, 일반적 급여결정 절차의 예외적 트랙으로 제시되었으나,최근에는 경제성평가 자료를 제출하고 진입한 약보다 경평생략트랙으로 진입한 약이 더 많아지면서 동 제도에 대한 전반적 평가와 개선이 필요하다는 지적이 이어지고 있다. 특히 초고가 신약들이 대부분 경평생략 트랙으로 진입함에 따라 경평생략 제도에 대한 점검 및 관리 필요성이 더욱 부각되었다.

현재 경평생략 트랙으로 진입할 수 있는 약의 조건은 크게 환자 수, 질병의 중증도, 대체 가능성, 근거의 불확실성 등으로 나누어볼 수 있다(Appendix 1). 주로 의료적 필요와 불확실성을 염두에 둔 기준이다. 그러나 현 기준에서는 해당 약이 기존 치료법 대비 어느 정도 임상적 편익을 가져다줄 수 있는지는 고려하지 않는다. 다른 국가들이 예외적인 트랙을 만들 때 의료적필요 외에 혁신성 등을 함께 고려하는 것과 비교하면 크게 차이가 나는 대목이다.1)

이에 본 연구에서는 경평생략 트랙을 통해 진입된 약들의 임상적 가치에 대해 다른 나라에서는 어떻게 평가하였는지를 프랑스, 독일, 캐나다를 중심으로 살펴봄으로써 이들 약의 건강 개선 기여 정도를 간접적으로나마 평가해보고자 한다.

다른 나라의 관련 제도 현황(Institutional Framework of Foreign Countries)

본 장에서는 프랑스, 독일, 캐나다에서 대상 약제들의 임상적가치를 평가한 결과를 분석하기에 앞서 이들 국가의 약제급여평가 체계와 신약의 효과 개선 정도를 분류하는 기준을 조사하여 제시하고자 한다.

프랑스

프랑스에서는 외래 처방약의 가격이 정부에 의해 결정된다.2) 프랑스의 의약품 가격결정 위원회(Comite economique des produits de sante, CEPS)는 제약사와 약가 협상시 국가보건청(Haute Aurorite de Sante, HAS)에서 운영하는 투명성위원회(Commission de la Transparence, CT)의 평가결과를 참조하는데 CT는 과학적데이터에 근거하여 의약품의 임상적 편익(Service Medical Rendu, SMR)과 추가 편익의 수준(Amelioration du service medical rendu, ASMR)을 평가한다.

SMR은 4등급(중요(important), 중등도(moderate), 약간(mild), 불충분(insufficient)으로 구분되는데, 질병의 심각성, 약제의 효능과 부작용, 약제의 성격(예방적, 치료적, 대증적), 대체약과 비교한 치료전략 상의 위치, 공공보건에 미치는 이득을 고려하여 평가하며, 급여율 결정의 근거가 된다.

ASMR은 다섯 단계로 평가되는데, 기존 대안과 비교하여 효능 혹은 내약성 측면에서 해당 약물이 가져온 치료적 개선 정도를 분류한 것이다.3) ASMR I 등급은 현저한(major), II 등급은중요한(important), III 등급은 중등도의(moderate), IV 등급은 약간의(minor) 치료적 개선을, V 등급은 치료적 개선이 없음(none)을 나타낸다. ASMR 등급을 평가할 때 사용하는 일차적 기준은근거의 질, 효과 크기(효능, 삶의 질, 안전성), 임상적 관련성, 의료적 필요이고, 이차적 기준은 혁신성인데, 이는 새로운 작용기전으로 정의된다.4,5)

ASMR I등급(현저한 치료적 개선)으로 분류되는 약은 새로운작용 기전을 나타내는 약으로, 위중하기는 하나 아직 의료적 필요가 충분하게 충족되고 있지 않은 질환에서, 임상적으로 적절한 효과지표를 통해, 비교 대안에 비해 높은 수준의 근거를 가지고 우월함을 입증한 약이다. 위중한 질환을 가진 환자의 생명을 구하거나 변화시키는 치료적 혁신(therapeutic upheaval)이 이에 해당하며, ASMR의 모든 조건을 만족시키는 경우이다.

ASMR II 혹은 III 등급에 속하는 약들은 기존의 치료법에 비해 중요한 혹은 중등도의 개선을 가져다주는 것들로, 의료적 필요가 불충분하게 충족되는 상황에서 사망과 이환 면에서 임상적 효능의 우월함을 입증하여야 한다. 개선된 결과는 임상적으로 적절하여야 하고 수용가능한 근거 수준을 가진 강건한 임상자료에 의해 입증되어야 한다. ASMR II 혹은 III 그룹으로의 분류는 근거의 수준, 임상적 적절성, 기존 치료법 대비 신약의 치료적 개선 정도 등을 고려하여 결정된다.

기존 치료법에 비해 경미한 개선 정도를 나타내면 ASMR IV등급을 부여받으며, ASMR V 등급에 속하는 약들은 적절한 치료적 개선이 입증되지 않았거나, 추가적 가치가 불확실한 경우이다. ASMR I~IV 등급까지는 기존 약에 비해 임상적 편익이개선된 경우이므로 비교 약보다 높은 약가를 받을 가능성이 있으나, ASMR V 등급에 해당하는 약은 기존 치료제보다 약가가낮은 경우에만 급여될 수 있다.

ASMR I~III 등급에 해당하면서 건강보험 지출에 상당한 영향을 미치는 약들의 경우 신약 등재 시, 혹은 적응증 확대 시 경제성평가 자료 제출이 요구된다. 건강보험지출에 미치는 영향이상당하다 함은 시판 2년 기준 예측 판매액이 연간 2천만 유로혹은 그 이상일 때를 말하며, 첨단바이오의약품으로 알려진advanced therapy medicinal product도 조직과 진료행태 등에 미치는 영향을 고려하여 경제성평가 자료 제출 대상임을 명시하고 있다. 경제성평가 자료 제출이 면제되는 경우는 특허 등에의해 보호되지 않는 약, 이미 성인 대상으로 급여되고 있는 약이 소아 대상으로 적응증을 추가한 경우, 추가 적응증으로 확대되는 인구 규모가 2년 시점에서 5% 미만일 때이다.

독일

독일은 참조가격제를 실시하는 대표적 국가로 일부 의약품을제외한 모든 허가받은 의약품이 급여 대상이다. 전통적으로 약가는 기업이 자유로이 설정하는 것으로 알려져 있으나 2011년발효된 의약품 시장의 개혁법인 ArzneimittelmarktNeuordnungsgesetz (AMNOG)에 따라 평가와 가격협상의 과정이 추가되었다. 이 법에 의하면 시장 진입 시점에 기업이 자유로이 설정한 가격은 출시 후 1년간만 적용되는 임시가격으로, 이후 연방공동위원회 (Gemeinsamer Bundesauschuss, G-BA)의 평가 결과와 이에 기초하여 이루어진 가격 협상에 따라 최종 상환가격이 결정된다.6)

독일은 다른 나라와 달리 급여 여부를 결정하기 위해서가 아니라 신약의 상환금액을 결정하기 위해서 표준치료(비교약) 대비 추가적 편익을 평가한다. G-BA는 모든 허가받은 신물질 신약에 대해 출시 후 즉시 편익 평가를 수행한다. 편익 평가는 제약사가 제출한 자료에 근거하며, G-BA는 평가 과정에서 독일의의료기술평가 기구인 Institute for Quality and Efficiency in Health Care (IQWiG)의 지원을 받는다.7)

추가적 편익에 대한 G-BA의 평가 결과는 (1) 현저한 추가적편익이 있는 경우(major), (2) 상당한 추가적 편익이 인정되는 경우(considerable), (3) 약간의 추가적 편익이 있는 경우(minor), (4)정량화할 수 없는 추가적 편익(non-quantifiable), (5) 추가적 편익이 없는 경우(none), (6) 더 적은 편익을 나타내는 경우(less)의여섯 가지 등급으로 제시된다. 현저한 추가 편익이 있는 것으로평가되는 약들은 임상적으로 적절한 성과지표 면에서 지속적이고 이전에 볼 수 없었던 상당한 개선을 보여준 약으로, 완치, 생존 기간의 상당한 연장, 심각한 증상의 장기적 소실, 심각한 부작용의 회피 등을 개선의 예로 들고 있다. 상당한 추가 편익이인정되는 경우는 임상적으로 적절한 성과지표 면에서 상당한 개선을 가져온 약으로, 심각한 증상의 완화, 생존 기간의 중등도개선, 질병의 눈에 띄는 완화, 심각한 부작용의 적절한 회피 또는 다른 부작용의 유의미한 회피를 그 예로 들고 있다. 약간의추가적 편익이 있는 경우는 임상적으로 적절한 성과지표 면에서 중등도의 개선이 있는 경우(단순히 미미한 개선이 있는 경우가 아니라)로 정의되는데, 심각하지 않은 증상의 감소, 부작용의적절한 회피를 예로 들었다. 정량화할 수 없는 추가적 편익은과학적인 자료로는 편익의 크기에 대한 정량화를 할 수 없는 경우로 정의된다. 한편 G-BA는 추가적 편익이 입증된 것으로 간주하는 범주도 정의하고 있는데, 항생제의 경우 추가적 편익이입증된 것으로 간주한다. 즉 G-BA에서 해당 약들의 추가적 편익을 평가하지 않는 것으로 규정되어 있다. 추가적 편익 없음의범주는 추가적 편익이 증명되지 않은 경우를 말하며, 편익이 더적은 것으로 평가되는 범주는 해당 약의 치료적 편익이 비교 약보다 더 낮은 경우를 말한다. 두 범주 모두 희귀의약품에는 적용되지 않는다.

희귀의약품의 경우 해당 약으로 인한 총지출이 연간 5천만 유로 미만이면, 허가를 통해 이들 약의 치료적 편익이 입증된 것으로 본다.8) 즉, 해당 약들에 대해 제약기업은 추가 편익을 뒷받침하는 자료를 제출하지 않아도 된다. 그러나 이런 경우라 할지라도 G-BA는 가격협상의 근거를 확보하기 위해 관련 환자들이 얻을 수 있는 추가적 편익의 크기를 평가한다. 일단 5천만유로의 임계값을 초과하면 제약사들은 추가적 편익을 뒷받침하는 자료를 제출해야 하고, 다른 약과 마찬가지로 평가받고 가격재협상도 이루어진다. G-BA는 추가적 편익의 크기 외에 추가적편익을 둘러싼 불확실성에 대해서도 평가한다.

평가 결과 추가적 편익이 있는 것으로 평가된 신약은 법정건강보험연합(national association of statutory health insurance funds, GKV-SV)과 제약기업이 상환가를 협상한다. 추가적인 편익이 발견되지 않으면, 해당 신약은 참조가격군에 포함되거나비교약의 가격보다 더 높지 않은 선에서 협상 가격이 결정된다.추가적 편익의 크기를 등급화할 때 G-BA가 사용하는 일차적기준은 건강상태의 개선 정도, 질병 지속시간의 감소, 생존 이익, 부작용의 감소, 삶의 질 개선, 근거의 질 등이다.4) 한편 연간 건강보험 매출이 100만 유로를 초과하지 않는 약의 경우 평가 면제를 신청할 수 있다.9)

캐나다

캐나다에서는 의료기술평가 기구인 Canada’s Drug and Health Technology Agency (CADTH)가 신약의 비용-효과성을 평가하고,이에 기반하여 각 주에서 가격협상을 진행하고 급여 여부를 결정한다. 캐나다의 경우 공적 건강보험의 급여 결정과는 별개로캐나다 전역에 유통되는 약의 최대 가격을 규제하고 있는데, Patented Medicine Price Review Board (PMPRB)는 캐나다에서시판되는 모든 특허 약을 평가하고, 최대 판매가를 검토한다. PMPRB의 목적은 캐나다에서 유통되는 특허 약의 가격이 지나치게 높지 않게 보장하는 것이다. PMPRB는 과학적 검토(scientific review)를 통해 특허 의약품의 치료적 개선의 수준에 대한 권고안을 제공하는데, 이는 가격 검토 과정에서 활용된다.

PMPRB는 치료적 개선의 정도를 혁신적(breakthrough), 상당한개선(substantial), 중등도의 개선(moderate), 약간/없음(slight/none)의 4단계로 구분한다. 특정 질환을 효과적으로 치료하거나 특정적응증을 효과적으로 다루는 약으로 캐나다에서 최초로 판매되는 약이 혁신적인 것으로 인정된다. 상당한 개선은 기존 치료법에 비해 상당한 치료 효과의 개선을 제공하는 약이고, 중등도의개선은 기존 약에 비해 중등도의 치료효과 개선을 제공해주는약, 개선이 약간 있거나 없는 경우는 기존 약에 비해 치료 효과면에서 개선이 약간 있거나 없는 약을 의미한다.

개선 수준을 평가할 때는 효과의 개선, 중요한 부작용이나 합병증의 감소 정도를 주로 고려하고, 부가적 요소로 투여경로, 편의성, 순응도, 간병인의 편의성, 최적 치료 효과를 얻기까지 요구되는 시간, 성공률, 영향받는 인구집단의 규모, 장애 회피, 비용절감 등을 고려한다.

방법(Methods)

분석 자료

2015년 5월부터 2022년 7월 31일까지 우리나라에서 경평생략트랙으로 평가받고 등재된 32개 의약품에 대해, 프랑스, 독일,캐나다에서 동일 성분, 동일 적응증의 제품이 어떻게 평가되었는지를 비교하고 검토하였다(Fig. 1).



Fig. 1. Data extraction process

프랑스, 독일, 캐나다를 비교 대상 국가로 선정한 이유는 세국가 모두 우리나라의 약제급여평가 과정에서 참조하는 8개 국가에 속하며, 신약의 임상적 개선 정도를 범주화하여 제시하는 대표적 국가이고 이를 공개하고 있기 때문이다. 이탈리아 또한혁신지위를 평가하면서 추가 편익의 크기를 평가하고 있으나,전체 의약품이 아닌 혁신지위를 신청한 의약품 만에 대한 평가이며, 자료 추출 당시 자료원에 대한 접속이 원활하지 않아 이를 제외하고 분석하였다.

프랑스는 대표적 의료기술평가기구인 HAS의 CT에서 신약의SMR과 ASMR를 평가한 결과를 확인하였으며,10) 독일은 신약의추가적 편익에 대한 G-BA의 평가 결과를 확인하였다.11,12) 캐나다는 PMPRB의 웹사이트에서 각 제품-적응증의 치료적 개선의정도(level of therapeutic improvement)에 대한 평가를 확인하였다.13)

대상 성분은 선행연구 결과를 참고하되, 약제급여평가위원회의 평가 결과를 토대로 경평생략 트랙으로 진입한 약제인지 여부를 최종 확인하였다. 각 나라의 평가 결과는 공개된 결과보고서를 토대로 확인하였는데, 같은 제품-적응증에 대해 여러 차례평가가 반복된 경우는 마지막 평가 결과를 확인하였다. 성분은동일하다 하더라도 비교 국가에서 평가한 적응증이 우리나라와다르다면 서로 제품-적응증이 다른 것으로 간주하여 비교 대상에서 제외하였고, 우리나라에서는 하나로 평가되었으나, 비교 국가에서는 적응증 별로 분리하여 평가된 경우는 적응증 별로 우리나라와 비교국의 평가 결과를 비교하였다. 적응증은 동일하다하더라도 국가간 급여기준이 다른 경우로 예를 들어, 소아나 성인, 혹은 선별검사 결과가 양성이거나 음성인 경우처럼 대상 인구가 달라지는 경우는 별개의 적응증으로 구분하였으나, ‘1차 치료 실패 후’, 혹은 ‘2차 치료 실패 후’처럼 재정영향을 고려하여급여기준을 축소한 경우는 적응증이 동일한 것으로 간주하고 검토하였다.

검색은 23년 7월부터 23년 9월 사이에 진행되었으며, 2명의리뷰어가 검토한 후 상호점검하였다. 독일의 경우 결정 내용(decisions)을 담은 문서가 독일어로 작성되어 있어, 구글 번역기를 이용하여 영어로 변환한 후 평가 결과를 분류하였다. 프랑스와 캐나다의 경우는 평가 결과가 포함된 데이터베이스를 약품명으로 검색한 후 해당 약에 대한 최신의 평가 결과를 확인하고 분류하였다. 프랑스의 평가 결과는 영문으로 제공되는 웹페이지 정보를 일차적으로 활용하였고, 추가로 프랑스어로 제공되는 정보를 구글 번역기를 사용하여 번역하여 활용하였다.

국가 간 평가 결과 비교

제품-적응증별로 각 기관의 평가 결과를 비교하였다. 또한 각기관에서 평가한 추가 편익의 크기를 높음(High)과 낮음(Low)으로 구분하여 국가간 일치 여부도 평가하였다. 약의 편익은 일차적으로 과학적 근거를 토대로 평가하므로, 임상문헌을 통해 확인하게 되는 효과나 부작용의 크기에 대한 기관별 평가는 유사할 것으로 기대된다. 그러나 각 기관들이 추가 편익의 크기를평가할 때는 효과의 크기 뿐 아니라 불확실성이나 미충족 필요의 크기도 함께 고려한다. 따라서 각 요소에 대한 중요도를 어떻게 부여하느냐에 따라 기관별 최종 편익 평가 결과는 달라질수 있다. 이에 본 연구에서는 개별 건에 대한 국가별 평가 결과를 비교하는 것 외에 국가간 평가의 일치도도 비교하였다. 일치도를 비교하기 위해서는 범주 구분이 필요한데, 프랑스는 5단계,독일은 6단계, 캐나다는 4단계로 국가들마다 추가 편익의 등급화에 차이가 있고, 일부 등급은 해당하는 약제가 거의 없는 경우도 있다. 이에 본 연구에서는 통계분석을 위해 높음과 낮음으로 등급분류를 단순화하여 일치도를 평가하였다. 높음과 낮음의구분은 Disfateno et al. (2021)4)과 Egilman et al. (2023)14)의 분류를 참조하였다. 두 연구는 중등도의 개선을 서로 다르게 분류하였는데, Disfateno et al. (2021)은 모든 나라에서 상위 2개 등급을 받은 경우를 추가 편익이 높음으로, 나머지를 낮음으로 분류하였다.4) 즉, 프랑스의 평가 결과에서는 ASMR I, II 등급인major와 important를 추가적 편익 높음으로, 나머지 등급을 추가적 편익 낮음으로 분류하였고, 독일의 결과에서는 major와considerable로 평가된 경우를 추가 편익 높음, 나머지를 낮음으로 분류하였다. 캐나다의 평가 결과는 breakthrough와 substantial을 추가 편익 높음, 나머지를 낮음으로 분류하였다. 한편 Egilman et al. (2023)은 ASMR 등급이 I~III 등급(major, considerable, moderate)이면 추가 편익의 크기가 높은 것으로 분류하였고, 독일 G-BA의 평가 결과는 추가 편익의 크기가 major, considerable로 평가된 경우를 추가 편익의 크기가 높은 것으로 분류하였다.캐나다에서는 breakthrough, substantial, moderate를 추가 편익이높은 경우로, 나머지를 낮음으로 분류하였다. 본 연구가 시작된이후 발간된 Casilli et al. (2023)의 연구에서도 ASMR Ⅲ등급을추가 편익이 높은 경우로 분류하였다.15)

본 연구에서는 두 문헌의 기준을 모두 적용한 결과를 제시하였다. 분류 과정에서 하나의 제품-적응증에 두 개 이상의 평가가 있는 경우는 DiStefano et al. (2021)에서와 같이4) 그 중 가장평가가 높은 것을 기준으로 분류하였다.

국가 간의 분류 일치도는 카파 통계량(Cohen’s kappa)을 통해확인하였다. 카파 계수는 평가 결과를 일정한 기준에 따라 서로구분되는 범주로 분류하였을 때 서로 다른 평가자들 간의 평가결과의 일치도, 혹은 동일 평가자가 반복 평가하는 경우 반복평가 결과의 일치도를 확인하고자 할 때 사용하는 통계량이다.결과 값이 주변 분포에 의존한다는 한계가 있기는 하나 평가자 간일치도를 측정할 때 널리 사용되는 통계량이다(Kim et al., 2012).16)

결과(Results)

분석 기간 동안 경평생략으로 등재된 약품의 특성은 Table 1과 같다. 대부분이 항암제였고, 일부 항암제가 아닌 희귀질환치료제와 항균제가 있었다. ATC 코드 구분으로는 L (Antineoplastic and immunomodulating agents) 군에 해당하는 약이 68.8%로 가장 많았다. 급여로 평가받은 시점을 보면 2017~2018년 2년간이가장 많았고, 2021~2022년이 그 다음으로 많았다.

Characteristics of the 32 drugs listed through Economic Evaluation Exemption drugs in Korea

N %
Total 32 100.0

WHO ATC Code
A 3 9.4
B 1 3.1
J 1 3.1
L 22 68.8
M 2 6.3
N 1 3.1
V 2 6.3

Disease types
Cancer 22 68.8
Rare diseases 9 28.1
Others1) 1 3.1

Timing of appraisal
2015~2016 7 21.9
2017~2018 12 37.5
2019~2020 3 9.4
2021~2022 10 31.3

1) ceftolozane sulfate



1. 경평생략 약제의 추가적 편익에 대한 국가별 평가결과

분석 대상 성분에 대한 3개국의 평가 결과는 Table 2와 같다.

Evaluation of the added therapeutic value of Economic Evaluation Exemption drugs in France, Germany, and Canada

Product ATC code Timing of appraisal Evaluation of the added therapeutic value

France Germany Canada
Brentuximab vedotin1) L01FX05 2015 moderate (3) not quantifiable (4) slight or no improvement (4)
Brentuximab vedotin2) L01FX05 2015 no clinical added value (5) minor (3) slight or no improvement (4)
Vandetanib L01EX04 2015 no clinical added value (5) no clinical added value (6) slight or no improvement (4)
Elosulfase alfa A16AB12 2016 minor (4) minor (3) -
Ibrutinib L01EL01 2016 no clinical added value (5) considerable (2) substantial improvement (2)
Ceritinib L01ED02 2016 no clinical added value (5) considerable (2) slight or no improvement (4)
Blinatumomab L01FX07 2016 moderate (3) considerable (2) slight or no improvement (4)
Sapropterin dihydrochloride A16AX07 2016 moderate (3) - slight or no improvement (4)
Defibrotide B01AX01 2017 minor (4) exempted from benefit assessment -
Vemurafenib L01EC01 2017 no clinical added value (5) considerable (2) substantial improvement (2)
Olaparib L01XK01 2017 minor (4) no clinical added value (6) -
Trametinib L01EE01 2017 moderate (3) considerable (2) slight or no improvement (4)
Olmutinib L01EB06 2017 - - -
Siltuximab L04AC11 2017 minor (4) not quantifiable (4) slight or no improvement (4)
Olaratumab L01FX10 2017 not applicable7) the past decision was repealed -
Ponatinib L01EA05 2017 moderate (3) not quantifiable (4) moderate improvement (3)
Tafamidis meglumine N07XX08 2018 important (2) considerable (2) substantial improvement (2)
Idarucizumab V03AB37 2018 minor (4) - -
Daratumumab L01FC01 2018 no clinical added value (5) - moderate improvement (3)
nusinersen M09AX07 2018 moderate (3) major (1) breakthrough (1)
Niraparib L01XK02 2019 no clinical added value (5) no clinical added value (6) -
Venetoclax L01XX52 2019 no clinical added value (5) no clinical added value (6) slight or no improvement (4)
Asfotase alfa A16AB13 2020 important (2) not quantifiable (4) slight or no improvement (4)
Olaparib3) L01XK01 2021 minor (4) no clinical added value (6) -
Olaparib4) L01XK01 2021 moderate (3) - -
Gilteritinib L01EX13 2021 minor (4) considerable (2) -
Lutetium oxodotreotide V10XX04 2021 moderate (3) exempted from benefit assessment -
Entrectinib L01EX14 2021 not applicable7) no clinical added value (6) slight or no improvement (4)
Tisagenlecleucel5) L01XL04 2022 moderate (3) not quantifiable (4) moderate improvement (3)
Tisagenlecleucel6) L01XL04 2022 minor (4) not quantifiable (4) moderate improvement (3)
Larotrectinib sulfate L01EX12 2022 minor (4) no clinical added value (6) slight or no improvement (4)
Larotrectinib sulfate L01EX12 2022 minor (4) no clinical added value (6) breakthrough (1)
Lorlatinib L01ED05 2022 no clinical added value (5) no clinical added value (6) moderate improvement (3)
Onasemnogene abeparvovec M09AX09 2022 moderate (3) no clinical added value (6) -
Ceftolozane sulfate J01DI54 2022 moderate (3) additional benefit is considered (5) -

1) Hodgkin lymphoma; 2) Systemic anaplastic large cell lymphoma; 3) Ovarian cancer; 4) Breast cancer; 5) Leukemia (ALL); 6) Diffuse Large B-Cell Lymphoma; 7) clinical benefit (SMR) was evaluated as insufficient



프랑스에서는 ASMR I 등급인 major에 해당하는 약은 없었으며, II 등급인 important에 해당하는 건이 2건, III 등급인 moderate가11건, IV 등급인 minor는 10건, V 등급인 none은 9건이었으며,임상적 유용성을 인정받지 못해 ASMR 등급이 없는 건은 2건이었다. 결과적으로 총 34 건 중 moderate 이상이 13건(38%), ASMR 등급이 없는 건 포함 minor 이하가 21건(62%)으로 중등도 이상의 가치 개선을 입증한 건이 전체의 38%에 불과하였다.

독일에서는 현저한 추가적 편익이 있는 것으로 평가된 건(major)은 1건, 상당한 추가적 편익이 있는 것으로 평가된 건(considerable)은 7건, 약간의 추가적 편익이 있는 것(minor)으로평가된 건은 2건, 추가적 편익을 정량화할 수 없는 건(not quantifiable)은 6건, 추가적 편익이 입증된 것으로 간주된 건(additional benefit is considered proven)은 1건, 추가적 편익이 없는 것으로 평가된 건은 10건이었으며, 평가가 면제된 건은 2건,평가가 이루어졌으나 현재 평가 결과가 폐지된 건은 1건이었다.결과적으로 총 30건 중 상당한 편익 개선이 인정된 약은 총 8건(27%)이었고, 크지 않은 추가적 편익을 입증하거나 추가적 편익이 없는 건, 추가적 편익이 정량화되지 않았거나 편익 평가가제대로 이루어지지 않은 건, 평가 결과를 확인할 수 없는 건을포함하면 추가적 편익이 뚜렷하지 않은 건은 22건 (73%)이었다.

캐나다에서는 평가결과를 확인할 수 있는 총 22건의 약 중 혁신적(breakthrough)으로 평가된 건이 2건, 상당한 개선이 있는 것(substantial)으로 평가된 건이 3건, 중등도의 개선이 있는 것(moderate)으로 평가된 건이 5건, 약간 혹은 아무런 개선이 없는것(slight or no improvement)으로 평가된 건이 12건이었다. 결과적으로 상당한 추가적 편익이 있음이 인정된 건이 22.7%로 확인되었다.

2. 국가간 평가의 일치도 평가

Table 3은 프랑스와 독일의 평가 일치도를 나타낸 것으로, 선행연구13)를 참조하여 두 국가의 평가 결과를 추가가치가 높음과낮음으로 재분류하여 비교한 것이다. 프랑스는 ASMR I~III 등급을 추가가치 높음으로 분류하였고, 나머지는 낮음으로 분류하였다. 프랑스에서 ASMR 등급은 부여받지 못했으나, SMR 등급(insufficient)으로 편익을 유추할 수 있는 경우는 추가가치 낮음으로 분류하였다. 독일은 현저한 혹은 상당한 추가적 편익을 인정한 경우를 추가가치 높음, 나머지를 추가가치 낮음으로 분류하였다. 독일에서 평가 결과가 폐지된 1건은 유럽위원회(European Commission) 승인 취소에 따라 이전의 평가 결과가 폐지된 경우에 해당하므로 추가가치 낮음으로 분류하였다. 이 후 두 국가중 한 국가라도 평가 결과가 없는 경우(평가 결과가 폐지되거나면제된 경우는 포함)는 제외하고 30개 제품-적응증에 대해 분류결과를 비교하였다. 비교 대상이 된 총 30개 제품-적응증 건 중두 국가의 평가가 일치한 건은 19건이었다. 이 중 두 국가 모두 추가가치 높음으로 평가한 건은 4건으로 흑색종에 사용하는매큐셀정, 백혈병에 사용하는 불린사이토주, 다발선신경증에 사용하는 빈다켈캡슐, 척수성근위축증에 사용하는 스핀라자주가이에 해당하였다. 반면 두 국가에서 모두 추가가치 낮음으로 평가한 건은 15건이었다. 프랑스가 추가가치 높음으로 평가하였으나, 독일이 추가가치 낮음으로 평가한 건은 7건으로 프랑스가추가가치 낮음으로 평가하였으나 독일이 추가가치 높음으로 평가한 건(4건)보다 많았다. 두 국가 간 분류 일치도를 나타내는Kappa value는 0.165 (p=0.361)로 약간의 일치도를 보였다. Table 3의 괄호 안에 표시된 숫자는 Disfateno et al. (2021)4)의 기준에따를 경우의 결과로 프랑스에서 추가가치가 높음으로 평가된 제품-적응증의 수가 대폭 낮아진 것을 확인할 수 있다. 이 경우두 국가 모두에서 추가가치 높음을 인정받은 약은 빈다켈 캡슐뿐이었다. 이 분류를 따를 경우 두 국가간 분류 일치도를 나타내는 Kappa value는 0.104 (p=0.440)로 역시 일치도가 그리 높지 않은 것(약간)을 확인할 수 있었다. 두 결과 모두 프랑스, 독일, 이탈리아의 평가 결과를 비교한 선행연구 결과에 비해서도일치도가 낮은 편이었다.14)

Concordance on additional value assessment between France and Germany (unit: drug-indications)

Germany

High Low Total
France High 4 (1) 7 (1) 11 (2)
Low 4 (7) 15 (21) 19 (28)

Total 8 (8) 22 (22) 30 (30)

Note: The numbers in parentheses represent the comparative results when classifying the moderate grade in France as ‘low’. When classified as ‘high’, κ= 0.162 (p=0.361), and when classified as ‘low’, κ= 0.104 (p=0.440) for the moderate category.



Table 4Table 5는 각각 프랑스-캐나다, 독일-캐나다의 결과를 비교한 표이다. 프랑스의 moderate를 추가가치 낮음으로 분류한 결과에서 프랑스와 캐나다의 Kappa value는 0.178 (p=0.034)로 프랑스와 캐나다의 평가 결과는 약간 일치하는 것을 확인할수 있었는데, 프랑스와 캐나다가 모두 추가 가치 높음으로 인정한 건은 빈다켈 캡슐이 유일하였다. 독일과 캐나다의 Kappa value는 0.529 (p=0.015)로 중등도 이상의 일치도를 보였으며, 젤보라프정, 임브루비카 캡슐, 빈다켈 캡슐, 스핀라자주가 두 국가 모두에서 추가가치 높음의 평가를 받았다.

Concordance on additional value assessment between France and Canada (unit: drug-indications)

Canada

High Low Total
France High 2 (1) 7 (1) 9 (2)
Low 3 (4) 10 (16) 13 (20)

Total 5 (5) 17 (17) 22 (22)

Note: The numbers in parentheses represent the comparative results when classifying the moderate grade in France as ‘low’. When classified as ‘high’, κ= 0.009 (p=0.962), and when classified as ‘low’, κ= 0.178 (p=0.034) for the moderate category.


Concordance on additional value assessment between Germany and Canada (unit: drug-indications)

Canada

High Low Total
Germany High 4 3 7
Low 1 12 13

Total 5 15 20

N: κ= 0.529 (p=0.015)


고찰(Discussion)

평가 대상 32개 제품, 35개 제품-적응증 중, 비교 대상 국가인 프랑스나 독일, 캐나다에서 평가 결과를 확인할 수 있었던건은 국산 신약인 올리타정을 제외한 31개 제품, 34개 제품-적응증이었다. 이 중 한 개 이상의 국가에서 추가적 편익이 미미하거나 없다고 평가된 제품-적응증은 27건이었고, 두 개 이상의국가에서 추가적 편익이 없거나 미미하다고 평가된 성분-적응증은 14건(두 국가 이상에서 판단할 평가 결과가 있는 30건 중)이었다.

본 연구의 대상은 경평생략 트랙으로 진입한 약들이다. 임상적 근거가 충분치 않음에도 경제성평가 자료 제출 없이 외국 가격 비교만으로 급여 적정성을 인정한 약이라면, 잠재적이나마임상적 가치가 충분할 것으로 기대하기 마련이다. 그러나 상당수의 약이 비교 국가에서는 추가적 편익이 크지 않다는 평가를받았다.

현재 경제성평가 자료 제출 생략이 인정되기 위해서는 환자수, 질환 조건, 미충족 의료 요건, 근거의 불확실성, 타국 등재상황 관련 조건을 모두 만족시켜야 한다. 이 중 그나마 치료적개선 정도를 평가하는 기준이라고 할 수 있는 것은 미충족 의료 판정 요건 중 하나인 치료적 위치가 동등한 치료법이 있는지에 대한 판단이다. 신약 등 협상대상 약제의 세부평가기준에의하면 치료적 위치가 동등한 치료법이 없다는 것은 기존 등재약과 비교하여 약의 작용기전이 새롭고, 효과 또한 우월함을 의미한다. 그러나 현재 공개된 약제급여평가위원회 평가 결과에서는 임상 문헌의 내용과 전문가 의견만 제공하고 있으므로, 이를통해서는 위원회가 개별 약제의 치료적 가치를 어떻게 평가하였는지, 무엇을 기준으로 효과의 우월성을 판단하였는지 구체적근거를 알 수 없다. 다만, 다른 나라 의료기술평가 기구들에서상당수의 약에 대해 추가 편익의 크기가 낮은 것으로 평가한 점을 감안하면, 경평생략 요건 충족 여부를 확인하는 과정에서 치료적 위치의 동등성에 대한 평가가 다소 느슨한 형태로 진행된것 아닌가 하는 의구심을 가지게 된다.

물론 이는 우리나라만의 문제는 아니다. 의료기술평가를 급여결정에 적극적으로 활용하지 않는 나라들의 경우 가치와 급여결정이 상응하지 않을 가능성은 늘 존재한다. 2020년 기준 미국메디케어에서 가장 많이 판매되는 50개 브랜드 품목을 대상으로 프랑스, 독일, 캐나다의 편익 평가 결과를 살펴본 Egilman et al. (2023)의 연구에 의하면 비교 대상 품목 중 49개 (98%)가 최소한 한 개 국가에서 기술 평가 등급을 받았는데, 캐나다에서는36개 품목 중 22개(61%)가 추가적 편익이 낮은 것으로 평가되었고, 프랑스에서는 47개 품목 중 34개(72%)가, 독일에서는 29개 품목 중 17개(59%)가 추가 편익이 낮은 것으로 평가되었다고 한다.13) 이에 저자들은 적어도 추가적 편익이 낮은 것으로 평가된 약들에 대해서는 가격 협상 시에 그들의 치료적 대안보다더 높은 가격을 받을 수 없도록 해야 한다고 주장하였다. 유사한 연구로 Disfateno et al. (2021)은 미국 메디케어 파트 D의 처방약 지출 자료를 근거로 연간약제비가 62,794달러(2018년 현재미국의 1인당 GDP 수준)를 넘는 약을 초고가약으로 정의하고,이들 약에 대해 프랑스, 캐나다, 독일의 의료기술평가 기구에서평가한 추가적 치료 편익을 비교하였다.4) 그 결과 122개의 초고가 약 중 65%에 해당하는 79개 약이 최소한 한 개 국가에서 평가를 받은 것으로 확인되었고, 이 중 약 75%가 낮은 추가적 치료 편익 등급을 받았다고 한다.4)

물론 프랑스나 독일, 캐나다의 평가 결과가 확정적인 것은 아니다. 평가 당시에는 최선의 근거들을 바탕으로 평가를 진행했다고 하나, 질환의 희소성 등의 사유로 평가 단계에서 확보할수 있는 근거 자료가 충분치 않아, 불확실한 근거에 기반하여평가를 진행한 경우도 있을 것이다. 프랑스의 경우 주기적으로재평가를 진행하므로, 시간의 흐름에 따라 추가 근거가 등장할경우 재평가에 이를 반영할 수 있다. 본 연구에서는 재평가 결과가 발표된 약의 경우 초기 평가가 아닌 재평가 결과를 토대로 추가 편익에 대한 평가를 진행하였다. 이 과정에서 확인한바로는 일부 의약품의 경우 초기 평가에서는 추가 편익의 크기를 중등도로 평가하였으나 재평가를 거치면서 약간 개선으로 정정한 경우도 있었고, 약간 개선에서 개선 없음으로 평가 결과를정정한 경우도 있었다. 이는 주기적 평가의 중요성을 시사한다.

또한 같은 임상 근거를 두고서도 기관별로 서로 다른 평가를내린 경우가 적지 않음도 주목할 필요가 있다. 본 연구에서 확인한 기관 간 평가 일치도는 높지 않았다. 이는 편익의 크기에대한 평가를 함에 있어 각 기관/국가가 중요하게 생각하는 지점들이 서로 다를 수 있음을 의미하며, 편익 평가를 위한 상세 기준의 확립이 필요함을 시사한다.

평가 대상 약물 중에서는 프랑스, 독일, 캐나다에서 평가 결과를 찾을 수 없었던 경우도 있었고, 세 국가 중 일부 국가에서만 평가 결과를 확인할 수 있었던 경우도 있다. 평가 면제나 다른 사유가 아니라 평가 결과 자체가 없다는 것은 어떤 의미를가질까? Disfateno et al. (2021)는 어떤 약이 한 국가에서는 출시되었으나 다른 나라에서 출시되지 않았다는 것은 제약사가 자기 제품이 상당한 편익을 가져올 것이라고 생각하지 않은 것으로 보아야 한다고 주장하였다.4) 프랑스에서는 모든 약이 평가받고 독일에서도 시판 후 1년이 지나면 평가를 받는다. 캐나다도대부분의 특허약은 PMPRB의 평가를 받는다고 보아야할 것이다. 따라서 평가의 흔적이 없다는 것은 아예 그 나라에 출시되지 않았음을 의미한다고 보아도 무방할 것이며, 특히 프랑스와독일의 경우 경제력이나 인구 수 면에서 무시할만한 시장이 아님을 감안한다면 출시 결정 자체가 자사 제품의 가치에 대한 기업 스스로의 평가 결과일 수도 있다는 주장이 설득력을 가진다.

최근 등장하는 초고가 신약들 중에는 면역항암제처럼 다수의환자를 대상으로 한 경우도 있지만, 소수의 환자를 목표로 한 약들이 많다. 대표적인 초고가약제인 스핀라자, 킴리아, 졸겐스마모두 소수의 환자를 대상으로 급여결정 신청을 하였으며, 모두경평생략 트랙으로 진입하였다. 경제성평가는 가용한 자원의 제약 조건 하에서 인구집단의 건강 수준을 최대화할 목적으로 실시한다. 일단 임계값이 기회비용을 적절히 반영하고 있다고 가정하면, 비용-효과적이지 않은 약의 등재는 이 목적을 달성하기 어렵게 한다. 물론 중증 희귀질환이고 가용한 약이 많지 않은 조건이라면 다른 약들보다 비용-효과비가 다소 높더라도 급여되어야한다는 주장도 있을 수 있으나, 그렇다고 하더라도 비용-효과성에 대한 정보가 없이 의사결정을 하는 것과, 비용-효과성에 대한정보를 기초로 해서 사회적 가치를 고려한 의사결정을 하는 것은 다르다. 더욱이 아무리 중증질환에 사용되는 치료법이라 하더라도 치료적 가치가 미미하다면 예외적 경로를 통해 신속등재를추구하는 것이 바람직한지 생각해볼 일이다. 경평생략이 곧 치료적 편익에 대한 과학적 평가까지 생략하는 것은 아닐 것이다. 어쩔 수 없이 경평생략 트랙을 허용한다 하더라도 그것은 추가 편익의 크기가 큰 약에 국한하는 것이 타당할 것이다.

본 연구는 다음과 같은 한계점을 갖는다. 우선, 이 연구가 현재 시점의 평가 결과에 기반한 비교라는 점이다. 다른 나라의경우에도 재평가를 통해 평가 결과가 번복되는 것을 자주 볼 수있는 바, 시간이 흐른 후 해당 약들에 대한 현재의 평가는 달라질 수 있다. 또한 본 연구에서 살펴본 것은 기존 치료법 대비추가적 편익이다. 그러나 기존 치료법이 국가 간에 서로 다를수 있다는 점이 고려되어야 할 것이다. 비교대안이 다르다면 같은 약이라 할지라도 추가 가치 개선에 대한 평가는 다를 수 있다.

결론(Conclusion)

본 연구에서는 국내에서 경평생략으로 등재된 약의 치료적 가치를 다른 나라에서는 어떻게 평가하고 있는지를 살펴보기 위해, 프랑스, 독일, 캐나다의 평가결과를 확인하였다. 확인 결과한 국가 이상에서 추가적 편익이 미미하거나 없다고 평가된 제품-적응증은 비교가 가능했던 34건 중 27건으로 약 80%에 달하였고, 두 국가 이상에서 추가적 편익이 없거나 미미하다고 평가된 건은 비교가 가능했던 30건 중 약 절반에 해당하는 14건이었다. 이는 경평생략으로 등재된 약 중 상당 수가 기존 치료법 대비 추가 편익이 크지 않음을 의미한다. 경평생략이 미충족의료가 높은 질환군을 목표로 고가신약에 대한 접근성 제고 차원에서 도입된 제도임을 감안하더라도 치료적 가치가 높지 않은 약에 대해서까지 예외 진입 경로를 허용할 것인지에 대해서는 재검토가 필요하다.

감사의 말씀(Acknowledgments)

이 논문은 2022년도에 국민건강보험공단의 지원으로 이루어진 “위험분담제도의 성과평가 및 발전방향 연구”(연구책임자 이태진)의 내용 중 일부를 대상 국가와 약물, 평가결과를 업데이트하여 진행한 연구로 2022년도 대한민국 교육부와 한국연구재단의 지원을 받아 수행된 연구임 (2022R1A2C1012252).

Conflict of Interest

모든 저자는 이해 상충을 가지고 있지 않음을 선언한다.

References
  1. National Institute for Health and Care Excellence (NICE). NICE health technology evaluation topic selection: the manual (2022)
  2. Lee T, Bae E-Y, Son K-B, Lee H-J, Hong J (2022) Study on the evaluation and future directions of the risk-sharing agreement system (2022-2000), Seoul National University & National Health Insurance Service.
  3. HAS. Doctrine de la Commission d'evaluation economique et de sante publique. Doctrine de la Commission d'evaluation economique et de sante publique. Paris: HAS (2021) https://www.has-sante.fr/upload/docs/application/pdf/2021-09/doctrine_de_la_ceesp.pdf
  4. DiStefano MJ, Kang S-Y, Yehia F, Morales C, Anderson GF (2021) Assessing the added therapeutic benefit of ultra-expensive drugs. Value Health 24(3):397-403.
    Pubmed CrossRef
  5. HAS. Understanding the Economic Evaluation of Health Products. https://www.has-sante.fr/jcms/r_1502595/en/comprendre-l-evaluationeconomique-des-produits-de-sante. Accessed 3 Oct 2023
  6. Reimbursement and pricing in Germany. The Organization for Economic Cooperation and Development (OECD). Paris.
  7. Schiller J, Eckhardt H, Schmitter S, Alber VA, Rombey T (2023) Challenges and solutions for the benefit assessment of tumoragnostic therapies in Germany. Value Health 26(6):854-864.
    Pubmed CrossRef
  8. Bouslouk M (2016) G-BA benefit assessment of new orphan drugs in Germany: the first five years. Expert Opinion on Orphan Drugs 4(5):453-455.
    CrossRef
  9. Wenzl M, Paris V (2018) Pharmaceutical reimbursement and pricing in Germany. OECD (Ed.) 1:22.
  10. Haute Autorite de sante (HAS) Recommendations, medications, procedures, devices, etc. https://www.has-sante.fr/. Accessed 29 Sep 2023
  11. Gemeisamer Nudesausschuss (G-BA) Benefit assessment of medicinal products according to §35aSGB V. https://www.g-ba.de/themen/arzneimittel/arznei mittel-richtlinie-anlagen/nutzenbewertung-35a. Accessed 29 Sep 2023
  12. The Patented Medicine Prices Review Board (PMPRB). https://www.pmprb-cepmb.gc.ca/pmpMedicines.asp?x=611. Accessed 4 Oct 2023
  13. Egilman AC, Rome BN, Kesselheim AS (2023) Added therapeutic benefit of top-selling brand-name drugs in Medicare. JAMA 329(15):1283-1289. doi: 10.1001/jama.2023.4034.
    Pubmed KoreaMed CrossRef
  14. Casilli G, Lidonnici D, Jommi C, De Nigris M, Genazzani AA (2023) Do France, Germany, and Italy agree on the added therapeutic vallue of medicines?. International Journal of Technology Assessment in Health Care 39(1):e54. https://doi.org/10.1017/S026646232300048X
    Pubmed CrossRef
  15. Kim MS, Song KJ, Nam CM, Jung I (2012) A study on comparison of generalized kappa statistics in agreement analysis. The Korean Journal of Applied Statistics 25(5):719-731.
    CrossRef


February 2024, 68 (1)
Full Text(PDF) Free
Supplementary File

Social Network Service
Services

Cited By Articles
  • CrossRef (0)

Funding Information