신의료기술평가의 절차와 방법 등에 관한 규정 제정안

1. 제정이유

의료법 제53조, 신의료기술평가에 관한 규칙 제3조에 따라 신의료기술평가의 절차, 방법 및 기준 등을 고시로 규정하여 평가의 세부적인 사항을 명확히 하려는 것임

2. 주요내용

가. 신의료기술의 평가절차와 평가대상여부 결정을 위한 심의 기준을 정함(안 제3조〜제5조)

나. 평가대상으로 결정된 의료기술의 평가를 위한 위원회 구성 등 평가절차와 안전성, 유효성 평가 방법 및 기준을 정함(안 제6조〜제9조)

다. 평가대상 의료기술의 안전성, 유효성 최종 심의 기준과 그 결과의 공표방법을 정함(안 제10조〜제11조)

3. 참고사항

가. 관계법령 : 의료법 제53조, 신의료기술평가에 관한 규칙 제3조

나. 예산조치 : 별도조치 필요 없음

다. 기    타 : (1) 특이사항 없음

(2) 규제신설, 폐지 등 : 없음

보건복지부고시 제2011- 호

신의료기술평가에 관한 규칙 제3조에 따라 “신의료기술평가의 절차와 방법 등에 관한 규정”을 다음과 같이 제정․고시합니다.

2011년   월   일

보건복지부장관

신의료기술평가의 절차와 방법 등에 관한 규정

제1조(목적) 이 규정은 신의료기술평가에 관한 규칙(이하 “규칙”이라 한다)제3조에 따라 신의료기술평가의 절차, 방법 및 기준 등에 관하여 필요한 사항을 규정함을 목적으로 한다.

제2조(정의) 이 규정에서 사용하는 용어의 뜻은 다음과 같다.

1. “신청인”이라 함은 규칙 제3조제1항에 의하여 신의료기술평가를 신청한 자(법인인 경우에는 그 법인을 포함한다)를 말한다.

2. “체계적 문헌고찰”이라 함은 체계적인 방법론을 사용하여 수행된 임상연구들에 대해 종합적으로 분석하는 방법을 말한다.

3. “문헌의 질평가”라 함은 각 문헌의 정보가 객관적이고 타당성 있는 근거를 제시하는 지를 평가하는 것을 말한다.

4. “자료추출”이라 함은 문헌에 포함된 필요한 값들을 체계적으로 추출하고 정리하는 방법을 말한다.

제3조(신청서 접수) ① 신의료기술평가를 신청하고자 하는 자는 규칙 제3조제1항에 따른 해당 신의료기술평가 신청서와 첨부서류를 보건복지부장관(이하 “장관”이라 한다) 또는 규칙 제8조에 따라 장관으로부터 신의료기술평가에 수반되는 업무를 위탁받은 기관(이하 “위탁기관”이라 한다)의 장에게 제출하여야 한다.

② 제1항에 따라 신청서 등을 위탁기관의 장에게 제출한 때에는 이를 장관에게 제출한 것으로 본다.

③ 접수된 신의료기술의 평가절차는 별표 1과 같다.

제4조(신청서 보완 및 반려 등) ① 위탁기관의 장은 제3조에 따라 접수된 신청서 등을 확인하여 신청요건의 충족여부를 검토하고 기재내용 및 첨부서류가 미비할 경우 신청인에게 자료 제출 등 그 보완을 요구할 수 있다.

② 제1항에 따라 신청인에게 자료 제출 등 그 보완을 요청하는 경우 위탁기관의 장은 상당한 기일을 정하여 보완을 요청할 수 있다.

③ 위탁기관의 장은 신청된 의료기술 중 다음 각 호에 해당하는 경우에는 평가위원회의 심의를 거치지 아니하고 그 신청을 즉시 반려할 수 있다.

1. 신청된 의료기술이 약제, 치료재료 및 의료기기 등 소요장비가 동반된 행위일 경우에 당 소요장비의 제조 및 수입 허가관련 자료가 첨부되지 않은 경우

2. 제1항에 따라 보완요청을 하였음에도 제2항에 따른 기간 내 자료 제출 등 보완을 하지 않은 경우

3. 신청서 등에 거짓․부정 등 허위사실이 기재된 경우

④ 위탁기관의 장은 보완 및 반려 사유의 발생시 신청인에게 해당 사유 및 그에 따른 조치를 통보하여야 한다.

제5조(평가대상여부의 심의 등) ① 평가위원회는 다음 각 호의 기준에 따라 신의료기술평가대상여부(이하 “평가대상여부”라 한다)를 심의, 결정하고 그 결과를 장관에게 보고하여야 하며, 장관은 그 결과를 규칙 제4조에 따라 신청인에게 통보하여야 한다.

1. 신의료기술평가 대상에서 제외

가. 기존 의료기술 : 신청된 의료기술이 국민건강보험 요양급여의 기준에 관한 규칙 제8조제2항 또는 제9조에 따른 요양급여대상․비급여대상과 동일하거나 이와 유사하다고 인정된 의료기술

나. 조기기술 : 가목에 해당되지 않으며, 평가대상여부 심의 결과 신청된 의료기술의 안전성․유효성 평가를 수행할 만한 연구결과가 부족한 의료기술

2. 신의료기술평가 대상에 해당

가. 평가대상 의료기술 : 제1항제1호에 해당되지 않으며, 신청된 의료기술의 안전성․유효성 평가를 수행할 만한 연구결과가 존재하는 의료기술

② 제1항제1호나목에 따른 조기기술로 심의된 경우, 평가위원회는 임상연구의 지원 등을 위해 잠재적 이익 및 대체기술 존재 여부 등에 따라 별표 2와 같이 조기기술의 등급을 부여할 수 있다.

③ 평가위원회 위원장은 규칙 제3조제5항에 따른 소위원회를 구성하여 제3조에 따라 신청된 의료기술에 대한 평가대상여부를 평가위원회 심의 상정 전에 검토하게 할 수 있다.

④ 장관은 제1항에 따른 평가대상여부 심의결과의 신청인 통보 업무를 위탁기관의 장에게 위임할 수 있다.

제6조(소위원회의 구성 등) ① 평가위원회는 평가대상 의료기술로 결정된 의료기술의 효율적인 평가를 위하여 규칙 제3조제5항에 따라 소위원회를 구성할 수 있다.

② 평가위원회는 규칙 제7조제1항에 따른 분야별 전문평가위원회(이하 “전문위원회”라 한다) 소속 위원 중에서 10인 이내로 소위원회를 구성한다. 다만, 전문위원회 위원 중 해당 분야의 전문가가 없을 경우에는 평가위원회 및 전문위원회의 추천을 통하여 외부전문가를 소위원회의 위원으로 참여토록 할 수 있다.

③ 평가위원회는 평가대상 의료기술에 대한 공정한 평가를 위하여 다음 각호의 어느 하나에 해당하는 경우 소위원회의 위원으로 선정할 수 없다. 다만, 해당 분야의 전문가 부족 등으로 부득이 할 경우에는 전체 소위원회 구성 위원의 5분의 1 범위 내에서 선정할 수 있다.

1. 신청인 또는 이해관계인과 동일기관에 소속된 자

2. 평가대상 의료기술과 관련한 연구용역의 수행, 보고서 작성, 기술 자문 등 개발에 참여한 자

3. 제2호에 따른 평가대상 의료기술의 개발에 참여한 사람과 동일기관에 소속된 자

4. 그 밖에 평가위원회가 평가대상 의료기술의 공정한 평가를 저해할 우려가 있다고 인정하는 자

제7조(소위원회의 운영) ① 소위원회에는 위원장 1인을 두며, 위원장은 위원의 호선으로 제6조제3항의 단서에 의하여 선정된 위원을 제외한 위원 중에서 선출된 자로 한다.

② 소위원회에 간사 1인을 두되, 간사는 위탁기관의 직원으로 한다.

③ 간사는 위원회의 안건 심의를 지원하며, 회의에 참석하여 발언할 수 있다.

④ 소위원회는 긴급 또는 부득이한 사유로 회의를 개최할 수 없거나 검토내용이 서면으로 대체가능하다고 위원장이 판단하는 경우에는 서면 형식으로 회의를 개최할 수 있다.

제8조(평가방법) ① 평가위원회 또는 소위원회는 평가대상 의료기술의 안전성 및 유효성을 평가하기 위하여 체계적 문헌고찰 방법을 적용하되, 해당 의료기술의 성격 또는 평가대상에 따라 환자 등 설문조사, 원자료 분석 등의 평가방법을 보완적으로 활용할 수 있다.

② 체계적 문헌고찰에 의한 평가방법은 별표 3과 같다.

제9조(소위원회의 검토) ① 소위원회는 체계적 문헌고찰 방법 등으로 다음 각호의 절차에 따라 해당 평가대상 의료기술의 안전성 및 유효성을 검토한다. 다만, 해당 평가대상 의료기술의 성격에 따라 그 절차와 방법을 달리할 수 있다.

1. 평가대상 의료기술에 대한 평가계획서 수립 및 검토

가. 평가배경, 평가문제, 평가방법, 문헌검색 데이터베이스, 문헌선택 및 배제기준, 문헌의 질평가 도구와 방법 등을 계획 및 결정

2. 문헌의 선택 및 선택된 문헌의 질 평가, 자료추출형식 결정

3. 자료추출내용 확인 및 평가 분석 결과 심의

4. 최종 검토(안) 확정

② 소위원회는 해당 평가대상 의료기술의 안전성 및 유효성에 대한 검토결과를 평가위원회에 제출하여야 한다.

제10조(안전성 및 유효성의 최종 심의) ① 평가위원회는 제9조제2항에 따라 소위원회로부터 제출받은 검토결과를 토대로 해당 질병이나 상태에 있어서 해당 평가대상 의료기술로 얻어지는 이익과 손해를 종합적으로 판단하여 해당 평가대상 의료기술에 대한 안전성 및 유효성을 최종 심의한다.

② 평가위원회는 최종 심의된 해당 평가대상 의료기술에 대해 다음 각 호와 같이 의결한다.

1. 안전성 및 유효성이 있는 의료기술 : 해당 평가대상 의료기술의 안전성 및 유효성이 인정되어 임상에서 사용가능한 의료기술

2. 연구단계 의료기술 :  해당 평가대상 의료기술의 안전성 및 유효성이 확인되지 않은 의료기술

③ 제2항제2호에 따른 연구단계 의료기술로 심의된 경우, 평가위원회는 임상연구의 지원 등을 위해 잠재적 이익 및 대체기술 존재 여부 등에 따라 별표 2와 같이 연구단계 의료기술의 등급을 부여할 수 있다.

제11조(평가결과의 보고 및 공표) ① 평가위원회는 규칙 제3조제7항에 따라 해당 평가대상 의료기술의 안전성 및 유효성 심의 결과를 장관에게 보고하여야 한다.

② 장관은 평가위원회의 해당 평가대상 의료기술의 심의결과, 안전성 및 유효성이 있는 의료기술로 심의된 경우 이를 확정, 규칙 제4조에 따라 사용목적, 사용대상 및 시술방법 등을 고시하여야 하며, 연구단계 의료기술로 확정된 경우 신청인에게 평가결과를 통보하여야 한다.

③ 장관 또는 위탁기관의 장은 신의료기술평가 결과를 평가위원회 홈페이지, 정기간행물 및 뉴스레터 등에 게시할 수 있으며, 공익적으로 필요하다고 판단되는 경우 대중매체 등을 통하여 홍보할 수 있다.

제12조(의견청취) 평가위원회 위원장은 필요시 신청인, 관련학회나 단체의 전문가 등을 평가위원회 또는 소위원회에 출석시켜 의견을 들을 수 있다.

제13조(자료 제출의 요구) 장관 또는 위탁기관의 장은 평가에 필요한 관계서류 및 증빙서류 등의 자료 제출을 신청인에게 요구하거나 관련 단체 및 학회 등에게 요청할 수 있으며, 요구 또는 요청받은 자는 이에 성실히 응해야 한다.

제14조(기간의 산정) 규칙 제4조에 따라 “평가결과의 통보 기간에 산입하지 아니하는 기간"은 다음 각호와 같다.

1. 규칙 제3조제1항에 따른 신청서 및 첨부서류 보완 기간

2. 규칙 제4조에 따라 고시할 경우 이에 수반되는 의견조회 절차의 처리 기간

3. 규칙 제5조 및 동 규정 제13조에 따른 관계서류 및 증빙서류 보완 기간

제15조(비밀유지 및 비공개) 평가위원회, 분야별 전문평가위원회, 소위원회의 위원은 직무상 알게 된 비밀 등을 외부에 공표하거나 누설하여서는 아니된다.

제16조(재검토기한) 「훈령․예규 등의 발령 및 관리에 관한 규정」(대통령훈령 제248호)에 따라 이 고시 발령 후의 법령이나 현실여건의 변화 등을 검토하여 이 고시의 폐지, 개정 등의 조치를 하여야 하는 기간은 20OO년 O월 O일까지로 한다.

부    칙(20OO.O.O)

제1조(시행일) 이 고시는 발령한 날부터 시행한다.

제2조(경과조치) 이 고시 시행 전에 신의료기술평가 신청되어 평가가 완료되었거나 진행중인 의료기술에 관하여는 이 고시에 의하여 신청․평가된 것으로 본다.

[별표 1]

신의료기술평가위원회 평가절차

2단계

3단계

4단계

5단계

6단계

8단계

1단계

7단계

장관

보고

및

확정․

공표

안전성․

유효성

의

최종

심의

안전성․

유효성

검토

소위

원회

구성

평가

대상

여부

심의

평가

대상

여부

사전

검토

(필요시)

신청서

검토

신청

위탁기관      소위원회  신의료기술    소위원회     신의료기술

평가위원회                 평가위원회

180일 이내

90일 이내

90일 이내

[별표 2]

조기기술 및 연구단계 의료기술 등급 부여 기준

분류		의료기술
I등급		임상도입시 잠재적 이익이 크지 않은 경우
II등급	II-a등급	대체기술은 존재하나, 임상도입시 잠재적 이익이 큰 의료기술로 임상지원이 필요하다고 판단되는 경우
	II-b등급	대체기술이 없는 의료기술, 또는 희귀질환 치료(검사)방법으로 남용의 소지가 없는 의료기술로 임상지원이나 시급한 임상도입이 필요하다고 판단되는 경우

[별표 3]

체계적 문헌고찰 방법

관련문헌 검색

평가계획서 수립

문헌 선택

구체적 질문 만들기(PICO)

문헌의 질평가

자료추출

결과합성

최종 제언마련

1. 평가계획서 수립 : 평가계획서는 실제 평가가 이루어지기 전, 구체적 질문이나 문헌선택방법 및 선택기준 등을 명확히 기술해 주고 평가 수행과정을 자세히 제공함으로써 편중이 적은 근거를 얻기 위한 단계이다.

평가계획서는 주로 평가방법에 대한 내용이 구체적으로 기술되며, 평가자의 주관성을 배제하기 위해 평가가 수행되기 전 작성되어야 한다.

평가계획서는 전문가의 검증을 받아야 하며, 이에 의거 평가를 진행하나 사전에 미처 계획되지 못한 부분이 있거나 과정 중 수정 또는 추가해야 할 사항이 있는 경우 반드시 전문가 심의를 거쳐 확정해야 할 뿐 아니라 동 사유를 기술하여야 하며 평가계획서에는 다음과 같은 내용이 기술된다.

▪평가배경

▪평가문제와 PICO

▪평가방법 : 검색어, 검색 데이터베이스, 출판형태, 연구유형, 언어 등

▪문헌선택 및 배제기준

▪문헌의 질 평가 도구와 방법

▪자료추출 전략

▪예정 평가기간

2. 구체적 질문 만들기(PICO)

가. PICO 초안 만들기 : 구체적 질문을 만드는 궁극적인 목적은 현존하는 근거에 의해 우리가 결정해야 할 평가주제에 대한 최선의 답변을 찾기 위하여 작성하는 방법이다. 구체적 질문은 다음의 네 가지 특성을 포함하고 있는 질문들이며, 이의 영문 머리글자를 따서 PICO라고 명명하였다.

▪환자, 대상, 문제(Patient, Population, Problem)

▪치료 또는 진단방법(Intervention or Index Test)

▪비교자(Comparators, Comparison, Control) : 둘 이상의 기존 의료기술과의 비교

▪의료결과(Outcomes) : 사망률, 생존률 등 의료기술로 인한 결과, 효과 개선사항 등을 설정

평가 의료기술에 대한 PICO 설정은 우선 ‘평가가 필요한가’에 대한 답변을 얻기 위해 관련문헌을 찾는 과정에서 검색초안을 잡고, 국외문헌은 MEDLINE을, 국내 문헌은 KoreaMed를 이용하여 문헌을 검색한다.

약 200~500개 내외로 문헌을 찾아 초록(abstract)을 중심으로 문헌을 읽고 문헌마다 PICO 형식으로 해당 내용을 정리하며, 이 과정을 진행하면 자연적으로 평가 주제인 의료기술에 대한 구체적 질문을 만들 수 있는 PICO 초안을 기술할 수 있다.

나. PICO 확정 : PICO 초안이 만들어지면 전문가의 자문을 통해, PICO를 확정하는 과정을 거쳐야 한다.

① Patients(환자) : 초록에서 연구대상으로 하고 있는 환자군을 정리한 후 어떤 환자 군까지 대상으로 할 것인지를 결정해야 한다.   대상환자의 범위는 이질적인 연구를 통합하는 결과를 초래하지 않도록 해야할 것이다.

② Intervention/Index test(중재법/중재검사) : 시행되는 중재법의 정확한 정의가 필요하며, 중재법의 시술방법을 어떤 범위까지 포함해야하는지 정해야 한다.

③ Comparator(비교자) : 중재법과 비교할 대상의 범위를 정해야 한다. 사전검토 한 초록을 토대로 비교된 시술을 정리하고 국내  현실을 고려하여 어떤 중재범위까지를 비교대상으로 해야 할 지를 정해야 한다. 이에 따라 선택 배제의 범위가 달라진다.

④ Outcomes(의료결과) : 사망률, 합병증률 등 안전성에 대한 자료와 생존률, 증상개선, 삶의 질, 만족도 등의 유효성 자료 등을  해당 의료기술별로 초록을 토대로 정해야 한다.

PICO 선정시 해당 의료기술의 특성에 따라 다르게 접근해야 하므로 관련문헌의 경향과 전문가의 의견을 들어 구체화해야 한다. PICO는 검색어 선택이나 결과 합성에 모두 활용된다.

3. 관련문헌 검색

가. 문헌검색데이터베이스 : 평가를 위한 PICO가 결정되면, 해답을 찾기 위해 가용할 수 있는 환경 내에서 사용할 데이터베이스를 사전 결정하여야 하며, 각 데이터베이스의 특성을 고려, 민감도(Sensitivity)와 특이도(Specificity)를 높일 수 있는 방법을 활용하여야 한다.

영국 SIGN(Scottish Intercollegiate Guidelines Network) 기준에 의하면, 체계적 문헌고찰에 있어 검색의 편중을 최소화하는 충족조건으로 MEDLINE, EMBASE 및 Cochrane Library 데이터베이스를 검색할 것을 요구하고 있다.

국내 전자 데이터베이스의 경우 띄어쓰기에 따라 검색결과가 달라질 수 있어 띄어쓰기별로 검색해야하며, 한글과 영어를 모두 포함하여 검색해야 한다. 국내 전자 데이터베이스는 KoreaMed, Kmbase, KISS, Riss4U, KISTI 등을 핵심 데이터베이스로 검색하고 있고 그 외에도 국립중앙도서관, 국회도서관, 국가자료공동목록시스템을 추가로 검색할 수 있다. 의료기술평가를 위해 검색하는 주요 국내외 문헌검색 데이터베이스는 별표 4와 같다.

나. 검색어 선정 : 검색어는 PICO 형식을 이용하며, 관련문헌을 읽으면서 각 문헌에서 표현하는 용어들을 통해 검색어를 선정하여야 한다. 주로 Patient 용어와 Intervention 용어를 함께 연구유형과 조합하여 검색전략을 수립한다. 문헌의 양에 따라 Comparator 용어도 같이 조합하기도 하나 일반적으로 Outcome 용어는 검색어로 사용하지는 않는다.

다. 검색어 활용 및 조합 : PICO 형식에 의거 선정된 검색어는 평가 목적에 따라 연구유형별 검색필터(search filter)나 AND, OR, NOT과 같은  불리안(Boolean Operator) 연산자와 인접연산자 사용법을 활용하여   민감도와 특이도를 높이는 방법을 모색하여야 한다.

또한, 검색어를 원활하게 사용하기 위해서는 절단검색, 대소문자 구분 기능, 검색어의 두 가지 형태인 MeSH word와 Text word를 활용하여야 한다. 여러 방식으로 표현된 용어들을 각 전자 데이터베이스 특성에 맞게 절단검색(truncation)이나 만능문자(wild cards)를 적절히 이용하여 검색어를 선정하여야 한다.

라. 수기검색 및 회색문헌 : 수기검색이란 일반적인 전자 데이터베이스로 검색하였을 때, 평가하고자 하는 기술에 대한 정보가 충분치 않다고 판단될 경우, 다양한 정보를 수집하기 위해 수작업으로 검색하는 방법을 말한다. 이를 위해, 평가하고자 하는 기술에 따라 해당 전문학술지가 가용할 수 있는 전자 데이터베이스에 포함되어 있는지를 확인하여야 하며, 포함되어 있지 않은 경우 수기검색을 고려해야 한다.

수기검색은 전자 데이터베이스를 통해 구득한 문헌에서 인용한 참고문헌을 검토하여 이용할 수 있고, 과학문헌 인용색인을 이용하여 검색할 수 있다.

회색문헌(gray literature)이란 서지정보원을 통해 공개적으로 그 출판정보가 나타나지 않아 확인과 접근 및 이용이 어려운 문헌을 통칭하는 말로 연구보고서, 학술대회자료집, 학위논문, 진행중인 연구자료 등이 이에 해당된다. 전문가 자문을 통해 출판 편향을 줄이기 위해 회색문헌의 검토여부를 결정하고, 해당 주제 관련 근거에 대한 정보 및 현재 진행되고 있는 연구를 확인한다.

4. 문헌선택

가. 문헌선택기준 : 평가를 위한 구체적 질문에 대한 해답을 주는 적절한  문헌을 찾고, 편중을 제거하기 위해 평가계획에서 선택 및 배제기준을 명시하여야 한다. 문헌선택기준은 선택과 배제기준을 모두 각각 제시하여야 하며, 평가 목적에 따라 논리적으로 구성되어야 한다.

문헌을 선택할 때 설정된 배제기준 중 하나라도 해당되면 해당 문헌은 배제해야 하며, 선택기준은 모두 만족해야 한다.

이 과정에서 두 명의 평가자가 참여하여 독립적으로 수행한 뒤 일치여부 등의 확인을 통해 전문가의 자문과 함께 최종 결정하여야 한다.

나. 연구유형 : 평가를 위한 구체적 질문을 적절히 반영하려면 어떤 연구유형을 선택할 것인지 고려해야 한다. 이상적으로 치료적 시술에 대한 의료기술평가는 무작위 임상시험(RCT)이 가장 타당한 결과를 산출할 수 있는 연구유형이나, 의료기술평가는 새로운 기술이 다수로 RCT 문헌이 부족한 경우가 많으며, 이에 따라 어떤 연구유형까지 평가에 포함시켜야 할 것인지를 전문가 자문과 함께 결정해야 한다. 특히, 안전성은   증례연구를 통해 유용한 정보를 얻을 수 있다.

다. 언어의 제한 : 최근 각 학술지들이 국제적 활용도를 높이기 위해 영어로 출판하는 경향이 있기는 하지만 아직도 유럽이나 아시아 국가들의 학술지는 대부분 자국의 언어로 쓰여 지고 있어, 평가하려는 기술에 따라 언어를 선택적으로 제한해야 한다.

라. 출판형태 : 출판형태를 결정하는데 있어, 이상적으로는 선택기준에서 동료심사가 이루어진 학술지에 한하는 것이 바람직하지만 어떤 연구들은 초록만 발표된 경우도 있다. 해당기술이 국내에서만 시행되거나 새로운 기술로 문헌이 충분치 않은 경우 원자료를 사용하거나 비동료심사 문헌을 포함할 수 있으므로 사전에 결정해야 한다.

마. 문헌선택과정 : 문헌선택과정은 수차례 반복되어지는 과정으로, 각 데이터베이스에서 검색된 문헌들 중 우선 중복검색이 완료되면, 초록을 중심으로 선택 및 배제기준을 적용한다. 이 과정에는 적어도 두 명 이상의 평가자가 각 과정에 독립적으로 참여하여 객관성을 유지하여야 한다.

초록으로만 문헌선택이 어려운 경우는 해당 문헌의 전문(full text)을 찾고, 전문을 통해 문헌선택여부를 결정하여야 한다. 문헌선택과정은 정형화된 틀은 없으나 평가자 개인적 편견이 개입되지 않게 객관성과 투명성을 유지하여야 하고, 문헌선택과정에서 평가자간 이견이 있을 때는 반드시 합의를 거쳐 해결하여야 한다. 합의되지 않는 경우 제3자나 전문평가위원회 등의 전문가를 이용하여 이견을 조정하여야 한다.

5. 문헌의 질평가 : 이 과정은 각각의 논문이 주는 정보가 객관적이고 타당성 있는 근거를 제시하는 지를 평가하는 과정이다. 모든 연구는 객관적인 결과에 영향을 주는 편중이 개입될 가능성이 있으며, 이는 결과의 신뢰도에 영향을 줄 수 있으므로 문헌의 질을 평가하여야 한다. 근거평가는 주로 연구유형에 초점을 두며, 연구결과의 타당성에 영향을 미치는 편중이 얼마나 존재하는지에 의해 결정된다.

가. Cochrane / SIGN의 연구유형별 질평가 점검표(별표 5) 및 판정 기준

: 문헌의 질은 주로 선택편향(selection bias), 실행 편향(performance bias), 탈락 편향(attrition bias), 결과 확인 편향(detection bias) 4가지 영역을 평가하게 된다.

① 선택편향 : 중재군과 비교군 할당시 발생하게 되는 편향으로, 중재군과 비교군이 얼만큼 편중이 개입되지 않고 비교되었는가를 평가하는 영역이다.

② 실행편향 : 추가적인 치료 중재가 비교집단 중 한 집단에 우선적으로 주어질 때 발생하게 되는 편향으로, 중재 유무 이외에 다른 차이가 발생했는지를 평가하는 영역이다.

③ 탈락편향 : 연구대상자가 탈락되거나, 분석 중 배제되면 발생하게 되는 편향으로, 탈락 사유나 분석 중 배제 사유에 대해 평가하는 영역이다.

④ 결과 확인 편향 : 연구대상자의 할당에 대해 알고 있는 것이 결과를 평가하는 과정에 영향을 미칠 때 발생하는 편향으로, 흔히 연구대상자·연구자·결과 평가자에 대한 눈가림법(Blind)이 적절히 수행되었는지를 평가하는 영역이다.

영국 SIGN의 질 평가도구의 질 평가 결과는 3가지 유형으로 판단하며, 질 평가결과는  2명 이상의 평가자가 독립적으로 수행한 후 합의하는 과정을 거쳐야 한다. 질 평가 결과에 따라 근거의 수준을 결정하기 때문에 평가자간 객관성을 유지하기 위해 사전교육이 필요하다.

질평가 후 아래와 같은 기준에 따라 최종 연구의 질을 결정한다.

++	거의 모든 또는 모든 기준이 충족됨. 연구나 검토의 미 충족된 부분으로 인해 연구의 결론이 바뀌지 않을 것으로 확신될 경우
+	몇 가지 기준이 충족됨. 부적절하거나 미 충족된 부분으로 인해 연구의 결론이 바뀌지 않을 것으로 생각되는 경우
-	거의 모든 또는 모든 기준이 충족되지 않음. 이 연구의 결론은 바뀔 것으로 생각되는 경우

Cochrane 평가도구는 평가 후 SIGN 도구처럼 하나의 결론으로 요약하지 않고, 각 항목별 즉, 무작위임상시험 평가도구의 경우, 무작위 배정순서 생성, 배정순서 은폐, 참여자/연구자/결과평가자에 대한 눈가림, 불충분한 자료, 선택적 결과 보고, 타당성을 위협하는 다른 잠재성 등의 각각의 평가 결과로 근거의 비뚤림 위험성을 평가한다.

나. SIGN의 근거 수준 판정 기준 : 문헌의 질평가 결과에 따른 근거 수준 판정기준은 다음과 같다.

1++	•무작위 임상시험으로 수행된 높은 질의 메타분석과 체계적 문헌고찰
	•치우침(bias)의 위험이 매우 낮은 무작위 임상시험
1+	•무작위 임상시험 또는 비무작위 임상시험으로 잘 수행된 메타분석과 체계적 문헌고찰
	•치우침(bias)의 위험이 낮은 무작위 임상시험 또는 비무작위 임상시험
1-	•무작위 임상시험 또는 비무작위 임상시험으로 수행된 메타분석과 체계적 문헌고찰
	•치우침(bias)의 위험이 높은 무작위 임상시험 또는 비무작위 임상시험
2++	•환자-대조군 또는 코호트 연구 및 비교 연구로 수행된 높은 질의 체계적 문헌 고찰
	•혼동(confounding)이나 치우침 및 우연성의 위험이 매우 낮거나 인과관계에 대한 높은 확률을 가진 높은 질의 환자-대조군 또는 코호트 연구 및 비교연구
2+	•혼동이나 치우침 및 우연성의 위험이 낮거나 인과 관계에 대한 보통의 확률을 가진 높은 질의 환자-대조군 또는 코호트 연구 및 비교연구
2-	•혼동이나 치우침 및 우연성의 위험이 매우 높거나 인과 관계가 없는 상당한 위험을 환자-대조군 또는 코호트 연구 및 비교연구
3	•비분석적 연구 (예: 전후 연구, 증례 연구, 증례 보고)
4	•전문가 의견

다. SIGN의 권고등급 판정기준 : 근거 수준에 따른 권고등급 판정기준은 다음과 같다.

A	•메타분석 및 체계적 문헌고찰 또는 1++의 무작위 임상시험 연구가 최소 하나 이상이고, 표적 모집단에 직접 적용가능한 경우
	•무작위 임상시험으로 수행된 체계적 문헌고찰 또는 1+의 연구로 구성된 근거이고 결과가 전반적으로 일관성을 보이는 경우
B	•2++의 연구로 구성된 근거이고, 직접 표적 모집단에 적용할 수 있으며, 결과가 전반적으로 일관성을 보이는 경우
	•1++나 1+의 평점을 받은 연구로부터 추정된 근거인 경우
C	•2+의 연구로 구성된 근거이고, 직접 표적 모집단에 적용할 수 있으며, 결과가 전반적으로 일관성을 보이는 경우
	•2++의 평점을 받은 연구로부터 추정된 근거인 경우
D	•근거의 수준 3 또는 4에 해당되거나
	•2+의 평점을 받은 연구로부터 추정된 근거인 경우

6. 자료추출 : 선택된 문헌에 대해 필요한 값들을 체계적으로 추출하고 코딩하는 단계이다.

가. 자료추출형식의 설계 : 평가자는 일반적인 형식을 기초로 해당 의료기술의 평가목적과 평가의 틀에 맞는 자료추출 형식을 개발하여야 한다. 자료추출 형식의 설계는 주의를 요하는 과정으로, 추출하는 정보는 평가 문제와 직접 관련되어져야 하며, 정보의 양이 너무 자세할 경우 평가자의 시간만 낭비되고, 너무 간결할 경우 중요한 자료가 빠질 우려가 있다.자료추출 형식은 동일한 표본으로 여러 평가자에 의해 시범적 검토를 거쳐 개발되어야 한다.

나. 자료추출형식의 내용 : 자료추출은 향후 분석을 위한 자료 저장실을 만드는 과정이다. 형식의 내용을 결정할 때 평가자는 분석에서 필요로 하는 정보가 무엇인지 반드시 고려해야 하며, 자료추출 형식은 참고문헌을 기재하기 위해 필요한 일반적인 정보와 분석에 요구되는 구체적 정보 및 자료추출에 사용된 코드 내역 등이 모두 포함되어야 한다. 자료추출의 일반적인 형식은 다음과 같다.

1. 일반적인 정보
	▪ 자료추출 일시
	▪ 논문제목, 저자, 잡지명, 출판년도, 출처 등
	▪ 자료 추출자의 일반사항
	▪ 기타 자료추출에서 참고할 사항
	▪ 질 평가도구에 의한 판정결과
2. 특별한 자료추출 내용
가. 연구특성
	▪ 연구의 적합성을 재검증한 내용
	▪ 연구대상의 특성과 연구환경
	▪ 연구의 방법론적 질
	▪ 사용된 중재방법
	▪ 의료결과
	▪ 기타 특이사항
나. 결과측정
	▪ 추적기간 : 평균 및 중위값
	▪ 탈락률
	▪ 누락된 자료
	▪ 이산변수의 결과 : 사건, 빈도, p값

다. 자료추출방법 : 자료추출은 주관적인 판단으로 인해 과오를 저지르기 쉬운 과정이므로 자료추출의 정확성과 일관성 유지하는 것이 중요하다. 이는 논문마다 관점과 단위사용이 다를 수 있기 때문이며, 평가자들은 이 과정에 참여할 때 사전 교육을 받아야 하고, 코딩에 대한 충분한 이해가 선행되어야 한다. 최소한 두 명의 평가자에 의해 자료추출이 독립적으로 수행되어야 하며, 향후 비교되어야 한다. 자료추출의 경과가 불일치 할 경우 토론 등을 통해 상호 합의해야 하며, 평가자간 상호 합의되지 않을 때 제3자의 개입이나 전문가의 자문이 요구된다. 자료추출 단계에서 평가자는 해당 문헌에 대해 전반적 파악이 완료된 상태이어야 하므로 자료추출시점에서 5회 이상의 논문 숙독이 이루어져야 한다.

7. 결과합성 : 선택된 문헌에서 제시된 결과를 정성적 혹은 정량적 결과합성을 수행하고, 그 결과를 글, 표, 그림 등으로 제시하는 단계이다. 문헌들을 통합하는 방법은 평가목적이나 연구유형 및 측정된 결과의 형태에 따라 달라질 수 있다.

가. 기술적 결과 합성 : 기술적 결과 합성은 비계량적으로 근거를 종합하는 방법이다. 기술하는 방법은 신의료기술평가의 주 목적인 안전성과 유효성으로 크게 구분하여 해당 목적에 따른 각 문헌의 의료결과를 기술하되 연구대상, 중재법, 기술의 적용환경, 측정된 의료결과와 결과해석에서의 유의점, 근거의 타당성, 임상적인 이질성 등에 대해 기술한다.

나. 메타분석 : 메타분석은 여러 일차연구들의 결과를 통계학적 방법을 이용하여 정량적으로 결합하는 기법이다. 적은 단위의 일차연구들을 통합적으로 처리하여 정보를 합성하므로 더 강도 높은 근거를 산출할 수 있고 신뢰도를 증가시키며, 불일치되는 점들로 인한 불확실성을 줄여줄 수 있다. 메타분석은 기존의 임상시험 결과들이 서로 모순이 되거나 개별 임상시험의 크기가 너무 작아 신뢰할 만한 결과를 도출하기 힘들 때 보다 유용한 분석방법이다. 메타분석을 실시할 때 무조건 결과를 통합할 것이 아니라 임상적 통계적 이질성(heterogeneity)을 고려하여 양적 결합이 바람직한지 고려해야 한다. 이질성 검증방법은 X2-test(검정 통계량 Q)나 Forest plot을 이용한다. 확률효과 모형(random effect model)을 사용하였다고 이질성의 문제가 해결되는 것은 아니므로 이질성의 발생 원인을 찾기 위한 소그룹 분석(subgroup Analysis)이나 메타 회귀분석(meta regression) 등의 다각도의 노력이 요구된다.

8. 최종 제언마련 : 근거의 양 및 질과 일관성, 연구결과의 일반화 가능성, 대상집단에의 직접 적용 가능성, 임상적 영향, 수행가능성 등을 문헌적인 내적 타당도를 분석한 자료를 바탕으로 해당 의료기술의 안전성 및 유효성에 관한 권고수준을 평가하고, 최종 결론을 마련하는 단계이다.

[별표 4]

주요 검색 데이터베이스 목록

1. 국내

▪  KoreaMed	http://www.koreamed.org

▪  국립중앙도서관	http://www.nl.go.kr

▪  국회도서관	http://www.nanet.go.kr

▪  한국교육학술정보원	http://www.riss4u.net

▪  학술데이터베이스검색	http://kiss.kstudy.com

▪  KORDIC 과학기술학회마을	http://society.kisti.re.kr

▪  한국의학논문데이터베이스	http://kmbase.medric.or.kr

▪  국가자료공동목록시스템	http://www.nl.go.kr/kolisnet

2. 국외

일차 데이터베이스

▪  MEDLINE	http://ovidsp.tx.ovid.com

▪  EMBASE	http://ovidsp.tx.ovid.com

이차 데이터베이스

▪ Cochrane Library database

－ The Cochrane Database of Systematic Reviews

－ Database of Abstracts of Reviews of Effects

－ The Cochrane Central Register of Controlled Trials

－ Health Technology Assessment Database

▪ Adelaide Health Technology Assessment (AHTA, Australia)

▪ Agence d’evaluation des technologies et des modes d’intervention en sante (AETMIS, Canada)

▪ Agency for Health Research Quality (AHRQ, USA)

▪ Australian Safety and Efficacy Register of New Interventional Procedures – Surgical (ASERNIP-S, Australia)

▪ Belgian Health Care Knowledge Centre (KCE, Belgium)

▪ Canadian Agency for Drugs and Technologies in Health (CADTH(formerly CCOHTA), Canada)

▪ Catalan Agency for Health Technology Assessment and Research (CAHTA, Spain)

▪ Center for Reviews and Dissemination (CRD, UK)

－ NHS Centre for Reviews and Dissemination, including Database of Abstracts of Reviews and Effects (DARE)

－ NHS Economic Evaluation Database (NHS EED)

－ Health Technology Assessment (HTA)

▪ ClinicalTrials.gov (National Institute of Health (NIH, USA))

▪ Comité d'Evaluation et de Diffusion des Innovations Technologiques Assistance Publique Hôpitaux de Paris (CEDIT, France)

▪ Danish Centre for Evaluation and HTA (DACEHTA, Denmark)

▪ Gezondheidsraad (GR, The Netherlands)

▪ Health Information and Quality Authority (HIQA, Ireland)

▪ Health Services Assessment Collaboration (HSAC, New Zealand)

▪ Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen (IQWiG, Germany)

▪ Institute of Health Economics (IHE, Canada)

▪ International Network of Agencies for Health Technology Assessment (INAHTA, International)

▪ Ludwig Boltzmann Institut für Health Technology Assessment (LBI of HTEA, Austria)

▪ Medical Advisory Secretariat, Ontario Ministry of Health and Long-Term Care (MAS, Canada)

▪ Medical Services Advisory Committee (MSAC, Australia)

▪ National Horizon Scanning Centre (NHSC, UK)

▪ National Institute for Health and Clinical Excellence (NICE, UK)

▪ NHS Quality Improvement Scotland (NHS QIS, UK)

▪ NIHR (National Institute for Health Research) Evaluation, Trials and Studies Coordinating Centre (NETSCC, UK)

▪ VA Technology Assessment Program (VATAP, USA)

[별표 5]

연구 유형별 질 평가 점검표

1. 수정된 코크란 그룹의 질 평가 도구(무작위 임상시험)

항 목	선택
무작위 배정순서 생성 1. 무작위 배정순서가 적절한 방법에 의해 생성 되었는가? [줄임말 : 적절한 무작위 배성순서 생성?]	□ 예 □ 아니오 □ 불확실
배정순서 은폐 2. 배정순서가 적절히 은폐되었는가? [줄임말 : 배정순서의 은폐?]	□ 예 □ 아니오 □ 불확실
참여자, 연구자에 대한 눈가림 3. 참여자, 연구자에 대한 눈가림이 적절한가? [줄임말 : 참여자, 연구자, 결과평가자에 대한 눈가림?]	□ 예 □ 아니오 □ 불확실
결과평가자에 대한 눈가림 4. 결과평가자에 대한 눈가림이 적절한가? [줄임말 : 결과평가자에 대한 눈가림?]	□ 예 □ 아니오 □ 불확실
불충분한 자료 5. 분석을 위한 결과자료가 충분히 제공되었는가? [줄임말 : 불충분한 자료에 대한 언급?]	□ 예 □ 아니오 □ 불확실
선택적 결과 보고 6. 분석에 사용될 자료가 선택적 보고에 따른 결과일 가능성은 없는가? [줄임말 : 선택적 보고에서 자유로운지?]	□ 예 □ 아니오 □ 불확실
타당성을 위협하는 다른 잠재성 7. 비뚤림 위험을 높일 수 있는 다른 명백한 문제는 없는가? [줄임말 : 다른 비뚤림에서 자유로운가?]	□ 예 □ 아니오 □ 불확실

2. SIGN의 연구유형별 질 평가 도구

질 평가 점검표 1 : 체계적 문헌고찰과 메타분석
Ref_ID		평가자			평가일			년 월 일
제 목
SECTION 1 : 내적 타당도
항목	평 가 내 용			평 가 기 준						비 고
1.1	이 연구는 적절하고 명확하게 핵심 연구문제를 설명하였다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.2	사용된 연구방법을 기술하였다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.3	문헌검색은 관련된 모든 논문을 찾기 위해 충분했고 정밀(rigorous)하였다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.4	적절한 논문 선택기준이 기술되었다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.5	논문 검색 및 평가과정은 두 사람 이상이 독립적으로 수행하였다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.6	연구의 질을 평가하고 산정하였다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.7	선택된 문헌들은 그 결과를 조합하는데 문제가 없을 만큼 충분히 유사하다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
SECTION 2 : 문헌에 대한 전반적 평가
2.1	이 연구는 치우침(bias)을 최소화하기 위해 얼마나 노력하였는가?			++		+			－
2.2	이 연구결과를 사용하는데 고려해야 할 사항을 기재하여 주십시오. (예: 사용된 연구방법의 장·단점이나 전반적 평가결과, + 또는 - 로 평가되었을 경우 연구결과를 사용하는데 우려되는 사항 등)

질 평가 점검표 2 : 무작위임상시험
Ref_ID		평가자			평가일			년 월 일
제 목
SECTION 1 : 내적 타당도
항목	평 가 내 용			평 가 기 준						비 고
1.1	이 연구는 적절하고 명확하게 핵심 연구문제를 설명하였다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.2	실험군과 대조군으로의 연구대상자 할당은 무작위 방법으로 실시되었다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.3	적절한 은폐법(concealment method)이 사용되었다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.4	연구대상자와 연구(조사)자에게 맹검법이 시행되었다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.5	연구의 시작 시점에서 실험군과 대조군은 동질적이다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.6	연구과정에서 실험군과 대조군의 차이는 단지 적용된 치료방법(treatment) 뿐이다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.7	모든 연구결과는 표준화되고 타당하며 신뢰적인 방법으로 측정되었다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.8	연구결과는 적절한 통계방법으로 분석되었고 p값과 신뢰구간이 기술되었다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.9	결과분석에서 연구대상자 또는 집단은 몇 %나 탈락되었는가?			실험군 : ( %) 대조군 : ( %) 연구대상자의 총 ( %)가 탈락됨
1.10	모든 연구대상자는 무작위 할당된 그룹으로써 분석되었다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.11	연구는 한 장소 이상에서 시행되었고, 모든 장소에서의 시행된 연구결과가 비교되었다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
SECTION 2 : 문헌에 대한 전반적 평가
2.1	이 연구는 치우침(bias)을 최소화하기 위해 얼마나 노력하였는가?			++		+			－
2.2	이 연구결과를 사용하는데 고려해야 할 사항을 기재하여 주십시오. (예: 사용된 연구방법의 장·단점이나 전반적 평가결과, + 또는 - 로 평가되었을 경우 연구결과를 사용하는데 우려되는 사항 등)

질 평가 점검표 3 : 비무작위 임상시험
Ref_ID		평가자			평가일			년 월 일
제 목
SECTION 1 : 내적 타당도
항목	평 가 내 용			평 가 기 준						비 고
1.1	이 연구는 적절하고 명확하게 핵심 연구문제를 설명하였다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.2	연구의 시작 시점에서 실험군과 대조군은 동질적이다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.3	연구과정에서 실험군과 대조군의 차이는 단지 적용된 치료방법(treatment) 뿐이다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.4	중재(intervention)는 맹검법 또는 표준화된 프로토콜에 따라 시행되었다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.5	모든 연구결과는 표준화되고 타당하며 신뢰적인 방법으로 측정되었다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.6	연구결과는 적절한 통계방법으로 분석되었고, p값과 신뢰구간이 기술되었다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.7	결과분석에서 연구대상자 또는 집단은 몇 %나 탈락되었는가?			실험군 : ( %) 대조군 : ( %) 연구대상자의 총 ( %)가 탈락됨
1.8	모든 연구대상자는 연구 시작시점에서 할당된 그룹으로써 분석되었다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.9	연구는 한 장소 이상에서 시행되었고, 모든 장소에서의 시행된 연구결과가 비교되었다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
SECTION 2 : 문헌에 대한 전반적 평가
2.1	이 연구는 치우침 또는 혼동의 위험을 최소화하기 위해 얼마나 노력하였는가?			++		+			－
2.2	이 연구결과를 사용하는데 고려해야 할 사항을 기재하여 주십시오. (예: 사용된 연구방법의 장·단점이나 전반적 평가결과, + 또는 - 로 평가되었을 경우 연구결과를 사용하는데 우려되는 사항 등)

질 평가 점검표 4 : 코호트 연구
Ref_ID		평가자			평가일			년 월 일
제 목
SECTION 1 : 내적 타당도
항목	평 가 내 용			평 가 기 준						비 고
1.1	이 연구는 적절하고 명확하게 핵심 연구문제를 설명하였다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.2	두 그룹은 기반(source)집단에서 선출되었고, 연구의 주요 요인 외 다른 요인들은 모두 비교 가능하다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.3	이 연구는 참여 요청된 대상자의 수와 각 그룹별 연구된 대상자의 수를 제시하였다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.4	등록시점에서 참여 가능한 대상자들의 결과를 먼저 평가하고 이를 분석에 포함하였다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.5	연구대상자 또는 집단은 몇 %나 탈락되었는가?			노출군 : ( %) 비노출군 : ( %) 연구대상자의 총 ( %)가 탈락됨
1.6	전체 참여자와 추후관찰기간 중 누락된 연구대상자는 노출상태 의해 비교되었다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.7	연구결과는 명확하게 정의되었다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.8	결과의 평가는 노출군에 대해 맹검적으로 이루어졌다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.9	맹검법이 가능하지 않은 경우, 노출상태를 아는 것이 결과의 평가에 영향을 미친다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.10	노출에 대한 평가 측정은 신뢰할만하다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.11	결과평가의 방법은 타당하고 신뢰할만하며, 이는 다른 문헌에서 그 근거가 제시되었다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.12	노출의 정도나 예후인자는 한번 이상 평가 되었다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.13	주요 잠재적 혼동요인이 명시되었고, 연구설계나 분석에서 적절히 고려되어졌다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.14	신뢰구간이 제시되었다.
SECTION 2 : 문헌에 대한 전반적 평가
2.1	이 연구는 편중(bias)의 위험, 혼동변수를 최소화하고, 노출과 효과간의 인과관계를 확립하기 위해 얼마나 노력하였는가?			++		+			－
2.2	이 연구결과를 사용하는데 고려해야 할 사항을 기재하여 주십시오.

질 평가 점검표 5 : 환자-대조군 연구
Ref_ID		평가자			평가일			년 월 일
제 목
SECTION 1 : 내적 타당도
항목	평 가 내 용			평 가 기 준						비 고
1.1	이 연구는 적절하고 명확하게 핵심 연구문제를 설명하였다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.2	환자군과 대조군은 비교 가능한 집단으로부터 선정되었다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.3	동일한 배제준거가 환자군과 대조군에서 모두 사용되었다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.4	각 그룹(환자군과 대조군)에서 몇 %의 연구대상자가 이 연구에 참여하였는가?			실험군 : ( %) 대조군 : ( %) 연구대상자의 총 ( %)가 탈락됨
1.5	참여자와 비참여자간, 그들의 유사성과 차이점이 비교되었다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.6	환자군은 대조군으로부터 분명하게 정의되어지고 구별되어진다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.7	대조군은 비환자군(non-case)이라는 점을 명확히 하였다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.8	결과 측정은 환자군의 결과에 영향을 줄 수 있는 주요한 노출요인과 이를 예방할 수 있는 지식을 알고 시행되었는가?			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.9	노출상태의 측정은 표준화되고, 타당하며, 신뢰할만한 방법으로 이루어졌다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.10	주요 잠재적 혼동요인이 명시되었고, 연구설계나 분석에서 적절히 고려되어졌다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.11	신뢰구간이 제시되었다.
SECTION 2 : 문헌에 대한 전반적 평가
2.1	이 연구는 편중(bias)의 위험, 혼동변수를 최소화하기 위해 얼마나 노력하였는가?			++		+			－
2.2	이 연구결과를 사용하는데 고려해야 할 사항을 기재하여 주십시오. (예: 사용된 연구방법의 장·단점이나 전반적 평가결과, + 또는 - 로 평가되었을 경우 연구결과를 사용하는데 우려되는 사항 등)

질 평가 점검표 6 : 비교관찰 연구
Ref_ID		평가자			평가일			년 월 일
제 목
SECTION 1 : 내적 타당도
항목	평 가 내 용			평 가 기 준						비 고
1.1	이 연구는 적절하고 명확하게 핵심 연구문제를 설명하였다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.2	두 그룹은 source population에서 선출되었고 연구의 주요요인 외 다른 요인들은 모두 비교가능하다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.3	동일한 배제(또는 선택) 준거가 두 그룹에서 모두 사용되었다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.4	선택기준에 합당한 대상자는 모두 연구에 포함되었다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.5	연구의 시작 시점에서 두 그룹은 동질적이다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.6	주요한 잠재적 혼동요인이 명시되었고, 연구설계나 분석에서 적절히 고려되어졌다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.7	연구과정에서 두 그룹간 차이는 단지 적용된 치료방법(treatment) 뿐이다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.8	결과평가의 방법은 타당하고 신뢰할만하며, 이는 다른 문헌에서 그 근거가 제시되었다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.9	연구결과는 적절한 통계방법으로 분석되었고, p값과 신뢰구간이 기술되었다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.10	결과분석에서 연구대상자 또는 집단은 몇 %나 탈락되었는가?			실험군 : ( %) 대조군 : ( %) 연구대상자의 총 ( %)가 탈락됨
1.11	모든 연구대상자는 연구 시작시점에서 할당된 그룹으로써 분석되었다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.12	연구는 한 장소 이상에서 시행되었고, 모든 장소에서의 시행된 연구결과가 비교되었다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
SECTION 2 : 문헌에 대한 전반적 평가
2.1	이 연구는 치우침 또는 혼동의 위험을 최소화하기 위해 얼마나 노력하였는가?			++		+			－
2.2	이 연구결과를 사용하는데 고려해야 할 사항을 기재하여 주십시오.

질 평가 점검표 7 : 진단법 평가 연구
Ref_ID		평가자			평가일			년 월 일
제 목
SECTION 1 : 내적 타당도
항목	평 가 내 용			평 가 기 준						비 고
1.1	환자의 범위는 임상실무에서 검사를 받을 환자들을 대표한다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.2	선택 기준이 명확하게 제시되었다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.3	참고기준은 환자의 상태를 정확하게 분별할 수 있다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.4	참고기준과 중재검사간의 간격은 표적상태가 두 검사 사이에 변화되지 않을 것을 확신할 만큼 합당하게 짧다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.5	전체표본, 또는 무작위 선택된 표본은 진단에 대해 참고기준을 이용하여 확진받았다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.6	환자들은 중재검사의 결과에 관계없이 동일한 참고기준을 수행 받았다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.7	참고기준은 중재검사와 독립적이다 (즉, 중재검사는 참고기준과 구분되어 수행되었다).			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.8	중재검사는 해당 검사를 반복 수행할 수 있도록 충분히 자세하게 기술되어졌다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.9	참고기준은 이를 반복 수행할 수 있도록 충분히 자세하게 기술되어졌다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.10	중재검사 결과는 참고기준의 결과를 알지 않고 독립적으로 해석되어졌다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.11	참고기준의 결과는 중재검사 결과를 알지 않고 독립적으로 해석되어졌다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.12	설명할 수 없는 또는 중간단계의 검사결과가 보고되었다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
1.13	이 연구에서의 탈락자(혹은 검체)에 대한 설명이 기술되었다.			잘 수행됨 적절하게 수행됨 빈약하게 수행됨			다루어지지 않음 보고되지 않음 적용 불가능함
SECTION 2 : 문헌에 대한 전반적 평가
2.1	이 연구의 결론은 얼마나 신뢰할만한가?			++		+			－
2.2	이 연구결과를 사용하는데 고려해야 할 사항을 기재하여 주십시오.