체계적 문헌고찰 수행법: 아이디어에서 논문까지 10단계

체계적 고찰(systematic review)은 하나의 정해진 질문에 답하는 모든 연구를 찾아내고, 평가하고, 통합합니다. 방법은 사전에 고정되어 전체가 보고됩니다. 바로 이 마지막 부분이 '체계적'이라는 말의 의미입니다. 독자가 여러분의 과정을 다시 실행하면 동일한 연구들에 도달할 수 있어야 합니다.

또한 느립니다. PROSPERO 등록부에 등록된 완료된 고찰 195건을 조사한 연구에 따르면 등록부터 논문 게재까지 평균 67.3주가 걸렸고, 고찰당 평균 저자 수는 5명이었습니다(Borah et al., 2017; 표본은 2014년에 추출되었습니다). 따라서 이 가이드는 단계를 나열하는 것 이상을 제공합니다. 각 단계마다 반드시 산출해야 하는 결과물과 팀이 처음부터 다시 시작해야 하는 실수를 명시합니다.

다음은 10단계입니다. 각 단계는 확인할 수 있는 산출물로 끝납니다.

1단계 전: 체계적 고찰이 올바른 도구인지 확인하십시오

다음 세 가지 경우에는 체계적 고찰을 건너뛰거나 다른 유형의 고찰로 전환하십시오.

질문이 너무 광범위합니다. "우울증에 어떤 치료가 효과적인가?"라는 질문은 수만 건의 레코드를 반환할 것입니다. Cochrane 핸드북은 팀이 처리할 수 있는 것보다 더 많은 레코드를 끌어들이는 질문을 경고합니다. 대상 집단, 중재, 또는 둘 다를 좁히십시오.
최근 고찰이 이미 그 질문에 답하고 있습니다. PROSPERO에서 등록 및 진행 중인 고찰을 검색하고, PubMed에서 게재된 고찰을 검색하십시오. 지난 몇 년간의 견고한 고찰이 여러분의 질문을 다루고 있다면, 중복 고찰은 거의 가치가 없습니다.
증거가 너무 빈약하거나 너무 이질적이어서 통합할 수 없습니다. 설계가 매우 다른 소수의 연구만 기대된다면, 스코핑 고찰(scoping review)이 더 적합합니다. 결과를 통합하는 대신 무엇이 존재하는지 지도화하기 때문입니다. PROSPERO는 현재 스코핑 고찰을 접수하지 않는다고 밝히고 있으므로, 그러한 고찰은 다른 곳(예: Open Science Framework)에 등록해야 합니다.

질문이 세 가지 확인을 모두 통과한다면 진행하십시오.

1단계: PICO로 질문을 구성하고 팀을 구성하십시오

PICO를 사용하여 주제를 하나의 명확한 질문으로 전환하십시오. 각 글자는 Population(대상 집단), Intervention(중재), Comparator(비교), Outcome(결과)을 나타냅니다.

완전한 작업 예시입니다. 주제: "운동과 우울증." PICO 버전:

P — 주요 우울 장애 진단을 받은 성인(18세 이상)
I — 감독하의 유산소 운동 프로그램
C — 일반 치료 또는 대기자 명단 대조
O — 검증된 척도에서 우울 증상 점수의 변화

그러면 질문은 다음과 같습니다:

주요 우울 장애가 있는 성인에서, 감독하의 유산소 운동은 일반 치료와 비교하여 우울 증상 점수를 감소시키는가?

이후의 모든 선택은 이 네 가지 요소에서 파생됩니다. 검색어, 포함 규칙, 추출 필드가 그 예입니다. 질적 질문의 경우 SPIDER 프레임워크가 동일한 역할을 합니다.

팀은 나중이 아니라 지금 구성하십시오. 최소 두 명의 검토자가 필요합니다. 선별과 비뚤림 위험 평가는 서로 분리된 두 사람이 각각 수행해야 합니다. 검색을 위해 사서를, 결과를 통합할 가능성이 있다면 통계학자를 팀에 포함시키십시오.

산출물: 한 문장의 PICO 질문과 역할이 명시된 팀 구성.
도구: 필요 없음; 공유 문서면 충분합니다.
재작업이 발생하는 흔한 원인: "효과성"과 같은 모호한 결과가 나중에 아무도 합의하지 않은 여러 결과로 분리되는 경우. 지금 정확한 측정 지표를 확정하십시오.

2단계: 프로토콜을 작성하고 PROSPERO에 등록하십시오

프로토콜은 결과를 보기 전에 방법을 고정합니다. 프로토콜은 질문, 포함 및 배제 기준, 계획된 데이터베이스, 선별 과정, 추출 필드, 비뚤림 위험 도구, 통합 계획을 다룹니다. 이것은 비뚤림에 대한 방어 수단입니다. 규칙이 타임스탬프와 함께 공개 등록부에 있다면, 결과에 맞추기 위해 규칙을 왜곡했다는 비난을 받을 수 없습니다.

PROSPERO에 등록하십시오. 이는 인간의 건강 결과에 대한 고찰을 위한 글로벌 등록부입니다. 시점 규칙은 엄격합니다. 등록부는 이미 데이터 추출을 시작한 고찰을 접수하지 않습니다. 프로토콜 초안이 작성된 후, 공식 선별이 시작되기 전에 등록하십시오. 실제로는 검색 전이나 검색과 동시에 등록하는 것입니다.

현재의 PROSPERO는 2025년 2월에 출시되었습니다. 도움말 페이지에는 모든 팀 구성원이 레코드를 확인하면 어떤 일이 발생하는지 설명되어 있습니다:

"등록 번호가 부여되고 등록 레코드가 PROSPERO 사이트에 즉시 게재됩니다. 게재 지연이 없습니다."

이에 대한 대가는 같은 페이지에 명시되어 있습니다. PROSPERO는 "내장된 자동 검사 외에는 레코드 내용을 확인하지 않으며 동료 검토를 제공하지 않습니다." 레코드의 품질은 여러분의 책임입니다.

PROSPERO 도움말 페이지: 모든 저자가 확인한 후 등록 레코드가 지연 없이 즉시 게재된다는 내용

PROSPERO의 "등록 방법" 페이지로 현재의 즉시 게재 과정을 설명합니다. 출처: crd.york.ac.uk, 2026년 8월 23일 캡처.

산출물: PROSPERO ID가 있는 등록된 프로토콜.
도구: PROSPERO는 무료입니다. 전체 프로토콜 PDF를 레코드에 첨부할 수 있습니다.
재작업이 발생하는 흔한 원인: 선별이 시작된 후에 등록하는 경우. 저널은 등록 날짜를 PRISMA 흐름도 날짜와 대조하며, 늦은 등록은 전체 목적을 훼손합니다.

3단계: 검색 전략을 구축하십시오

목표는 정밀도보다 도달 범위입니다. 관련 연구를 모두 포착하고, 끌어온 것의 대부분이 버려질 것을 받아들이십시오. Borah 연구에서 포함된 연구는 발견된 레코드의 평균 2.94%에 불과했습니다. 낭비적으로 넓게 느껴지는 검색이 대개 올바른 검색입니다.

최소 세 개의 데이터베이스를 검색하십시오. 임상시험 고찰의 경우 Cochrane은 최소 기준으로 CENTRAL, MEDLINE, Embase를 제시합니다:

PubMed — 무료
CENTRAL — Cochrane 임상시험 등록부, 검색 무료
Embase — 유료, 대개 도서관을 통해 이용
주제 데이터베이스 하나 — 간호학은 CINAHL, 심리학은 PsycINFO

각 데이터베이스에서 통제 용어(PubMed의 MeSH)와 자유 텍스트 단어를 혼합하십시오. 색인 작업이 지연되고 다르기 때문입니다.

1단계 예시에 대한 실행 가능한 PubMed 검색은 다음과 같습니다:

("Exercise"[Mesh] OR exercis*[tiab] OR "physical activity"[tiab] OR "aerobic training"[tiab])
AND
("Depressive Disorder"[Mesh] OR "Depression"[Mesh] OR depress*[tiab])
AND
(randomized controlled trial[pt] OR randomized[tiab] OR randomised[tiab])

각 블록은 MeSH 용어를 [tiab] 자유 텍스트 변형과 짝지어 줍니다. exercis*의 별표는 단어의 모든 어미를 포착합니다. [pt] 필터는 임상시험 보고서로 제한하며, 자유 텍스트 용어는 아직 색인되지 않은 임상시험을 포착합니다.

그런 다음 회색 문헌을 다루십시오:

임상시험 등록부 — ClinicalTrials.gov 및 WHO ICTRP
학술대회 초록
포함하는 연구의 참고문헌 목록

미발표 임상시험을 건너뛰면 고찰이 긍정적 결과 쪽으로 기울게 됩니다.

검색을 실행하기 전에 사서에게 전략을 확인받으십시오. 검색 구문은 데이터베이스마다 다르며, 동의어 하나를 놓치면 연구 무리가 숨겨질 수 있습니다. 또한 검색식을 한 데이터베이스에서 다음 데이터베이스로 옮길 때 오류가 스며들기 쉬우며, 발견하기 어렵습니다.

이 단계에서 전문가 검토 1시간이 몇 달을 절약해 줍니다.

산출물: 각 데이터베이스의 전체 검색식, 실행 날짜, 검색 건수 — PRISMA에 따라 이를 그대로 보고해야 합니다.
도구: PubMed는 무료입니다. Embase, CINAHL, PsycINFO는 대개 도서관 구독이 필요합니다.
재작업이 발생하는 흔한 원인: 선별이 끝난 후 놓친 핵심 용어를 발견하여 재검색과 두 번째 선별을 해야 하는 경우.

4단계: 레코드를 내보내고 중복을 제거하십시오

모든 검색 결과를 하나의 참고문헌 관리 도구로 내보내고 중복을 제거하십시오. 동일한 연구가 여러 데이터베이스에 나타납니다. 두 번 세면 선별 숫자와 결과가 모두 어긋납니다.

아무것도 건드리기 전에 두 가지 숫자를 기록하십시오: 데이터베이스별 총 레코드 수와 제거된 중복 수. 둘 다 나중에 PRISMA 흐름도에 들어가며, 사후에 재구성할 수 없습니다.

산출물: 중복이 제거된 하나의 라이브러리와 숫자.
도구: Zotero(무료) 또는 EndNote(유료); Rayyan 및 Covidence 같은 선별 도구도 가져오기 시 중복을 제거합니다.
재작업이 발생하는 흔한 원인: 각 데이터베이스 내보내기를 개별적으로 중복 제거하여 통합 합계를 놓치는 경우.

5단계: 두 명의 검토자로 두 단계에 걸쳐 선별하십시오

선별은 두 번 이루어집니다. 첫 번째 통과: 제목과 초록만을 프로토콜의 규칙에 따라 판단합니다. 의심스러우면 포함합니다. 두 번째 통과: 살아남은 모든 것의 전문을 검토하고, 탈락된 각 연구에 대해 이유를 기록합니다.

두 단계 모두 각자 독립적으로 작업하는 두 명의 검토자가 필요하며, 충돌은 대화나 제3의 검토자로 해결합니다. 이것은 선택적인 예의가 아닙니다. 혼자 선별하면 연구를 놓칩니다. PRISMA 항목 8은 각 레코드를 몇 명이 선별했는지, 그리고 그들이 분리되어 작업했는지를 명시하도록 요구합니다. Cochrane은 이중 선별을 충족해야 할 표준으로 간주합니다.

두 가지 규칙이 미묘한 비뚤림으로부터 여러분을 보호합니다:

결과를 보고하지 않았다는 이유로 연구를 배제하지 마십시오. 임상시험이 우울 점수를 측정했지만 발표하지 않았다면, 이를 탈락시키는 것은 선택적 보고에 보상하는 것입니다. 포함시키고 데이터를 추적하십시오.
전문 배제 사유를 범주로 기록하십시오 ("잘못된 대상 집단", "잘못된 비교군", "무작위 배정 아님"). PRISMA가 이를 요구하며, 기억에서 사유를 재구성하는 것은 매우 고통스럽습니다.
산출물: 포함된 연구의 최종 목록과 흐름도에 필요한 숫자 및 배제 사유.
도구: Rayyan은 무료 티어가 있으며 맹검 이중 선별을 처리합니다. Covidence는 유료입니다(2026년 8월 기준 고찰 1건당 연간 $339부터; 많은 대학 도서관이 사이트 라이선스를 보유). 선별부터 추출까지를 다룹니다.
재작업이 발생하는 흔한 원인: 선별 중간에 모호해지는 기준("성인" — 16세 이상도 포함?). 50–100개 레코드로 기준을 시범 적용하고 전체 통과 전에 문구를 수정하십시오.

6단계: 시범 적용된 양식으로 데이터를 추출하십시오

PICO 구성 요소에서 구조화된 양식을 만드십시오: 연구 설계, 환경, 표본 크기, 참가자, 각 군에서 수행된 중재, 결과 데이터(평균, 표준편차, 사건 수), 자금 출처. 그런 다음 나머지 연구를 진행하기 전에 3~5개 연구로 시범 적용하십시오. 시범 적용은 거의 항상 누락된 필드를 드러냅니다.

추출은 이중으로 수행하거나, 두 번째 검토자가 표본을 확인하게 하십시오. 그리고 동일한 연구의 여러 보고서를 병합하십시오. 프로토콜 논문, 결과 논문, 후속 논문으로 출판된 임상시험은 세 연구가 아니라 하나의 연구입니다. 세 번 세면 세 배의 가중치를 부여하는 것입니다.

산출물: 포함된 모든 연구를 다루는 완성된 추출 표 하나.
도구: 스프레드시트로 충분하며 무료입니다. Covidence에는 내장된 추출 양식이 있습니다.
재작업이 발생하는 흔한 원인: 시범 적용되지 않은 양식에 필드(하위집단 데이터, 이상 반응)가 누락되어 모든 PDF를 다시 검토해야 하는 경우.

7단계: 비뚤림 위험 평가 — 도구는 연구 설계에 따라 달라집니다

비뚤림 위험은 각 연구의 설계가 결과를 왜곡했을 수 있는지를 묻습니다. 배정이 정말 무작위였는가? 평가자가 눈가림되었는가? 탈락자가 군 간에 달랐는가?

결함이 있는 임상시험에서 나온 정밀한 숫자는 여전히 결함이 있는 숫자입니다.

도구는 자유롭게 선택할 수 있는 것이 아닙니다. 포함한 연구 설계에 따라 결정됩니다:

연구 설계	도구	위치
무작위 대조 임상시험	RoB 2	Cochrane RoB 2 페이지 / riskofbias.info
코호트 및 환자-대조군 설계를 포함한 중재의 비무작위 연구	ROBINS-I	Cochrane ROBINS-I 페이지
비중재 질문(병인, 예후)에 대한 관찰 연구	Newcastle-Ottawa Scale	오타와 방법 센터

세 도구 모두 무료입니다. 질문이 중재에 관한 것이라면 코호트 및 환자-대조군 설계에서도 ROBINS-I를 사용하십시오. 이것은 Cochrane 핸드북이 요구하는 것이며 검토자들이 기대하는 바입니다. 또한 Newcastle-Ottawa Scale은 별점 평가를 제공하므로 이 단계에서 요구하는 영역별 판정을 산출할 수 없습니다.

평가는 이중으로 수행하고, 전체 점수 하나가 아니라 각 영역을 판정하십시오. 그리고 평가 결과를 사용할 계획을 세우십시오. 예를 들어 고위험 연구를 제외한 후에도 결과가 유지되는지 확인하는 것입니다. 결과에 전혀 반영되지 않는 비뚤림 표는 장식에 불과합니다.

산출물: 각 판정에 대한 근거가 포함된 연구별, 영역별 비뚤림 표.
도구: 위의 공식 템플릿; RevMan과 Covidence는 RoB 2를 내장하고 있습니다.
재작업이 발생하는 흔한 원인: 연구 설계와 일치하지 않는 체크리스트 사용 — 임상시험에 NOS, 코호트 연구에 RoB 2. 동료 검토자가 즉시 지적합니다.

8단계: 통합 — 연구가 허용할 때만 메타분석을 수행하십시오

모든 체계적 고찰에는 구조화된 통합이 필요합니다. 모든 고찰이 메타분석을 수행하는 것은 아닙니다.

연구들이 통합할 수 있을 만큼 유사할 때만 결과를 통합하십시오:

동일한 핵심 질문
유사한 대상과 치료
하나의 공통 척도로 변환되는 결과

연구들이 비교 대상이나 측정 방법에서 핵심적으로 다르다면, 통합 평균은 아무 의미가 없는 정밀한 숫자입니다.

통합이 타당하지 않다면, 대신 구조화된 서술적 통합을 작성하십시오. 치료 유형이나 대상 집단별로 연구를 그룹화하십시오. 각 그룹의 효과 방향과 크기를 보고하고, 왜 통합하지 않았는지 분명히 밝히십시오.

"임상적으로 연구들이 너무 달라 통합하지 않았습니다"는 공정하고 게재 가능한 결과입니다. 억지로 수행한 메타분석은 그렇지 않습니다.

통합을 수행한다면:

효과 측정치(위험비, 평균 차이)를 선택하십시오
연구들이 얼마나 불일치하는지 정량화하십시오(I²)
프로토콜에 하위집단 및 민감도 분석을 사전에 설정하십시오
충분한 임상시험이 있다면 소규모 연구 효과를 확인하십시오
산출물: 포레스트 플롯과 통합 추정치, 또는 이유가 명시된 구조화된 서술적 통합.
도구: R의 metafor 또는 meta 패키지(무료), 또는 RevMan(라이선스 필요, Cochrane 고찰 저자에게는 무료). 통합 전에 통계학자를 참여시키십시오. 통합 후가 아니라.
재작업이 발생하는 흔한 원인: 프로토콜에서 메타분석을 약속한 후, 약속을 지키기 위해 서로 다른 연구를 억지로 통합하는 경우. 프로토콜은 통합을 조건부로 명시할 수 있습니다. 그렇게 작성하십시오.

9단계: PRISMA 2020으로 보고하십시오

보건 분야 저널은 PRISMA 2020 성명서를 기대합니다. 이는 두 부분으로 구성됩니다: 검색식부터 자금 출처까지를 다루는 27개 항목 체크리스트와 데이터베이스 검색 결과에서 포함된 연구까지 레코드를 추적하는 흐름도입니다.

흐름도는 3~5단계에서 기록한 숫자가 사용되는 곳입니다:

데이터베이스별 레코드 수
제거된 중복 수
선별 및 탈락된 레코드 수
전문이 평가되고 각각 탈락 사유가 기록된 건수
포함된 연구 수

공식 템플릿은 PRISMA 흐름도 페이지에 있습니다. 저희의 무료 PRISMA 흐름도 생성기는 표준 데이터베이스 및 등록부 버전을 자동으로 그려 줍니다. 숫자를 입력하면 공식 2020 레이아웃을 따르는 그림을 출력합니다.

그림을 준비하는 동안 대상 저널의 AI 생성 이미지 규정을 확인하십시오. 규정은 출판사마다 크게 다르며, 흐름도는 데이터 이미지와 동일하게 취급되지 않습니다. 저희는 AI 그림과 저널 규정에 대한 가이드에서 여섯 출판사의 실제 정책을 비교했습니다.

체크리스트는 작성하면서 채우고, 나중에 채우지 마십시오. 앞선 단계를 제대로 수행했다면 대부분의 항목은 정직한 문장 하나로 충분합니다.

산출물: 완성된 27개 항목 체크리스트(원고와 함께 제출)와 흐름도.
도구: PRISMA 체크리스트와 템플릿은 무료입니다.
재작업이 발생하는 흔한 원인: 3~5단계에서 아무도 숫자를 기록하지 않아 흐름도에 필요한 숫자가 없는 경우. 기록을 다시 하는 것 외에는 해결책이 없습니다.

10단계: 작성하고, 등록을 갱신하고, 제출하십시오

원고를 PRISMA의 항목 구성에 따라 구조화하십시오:

배경
프로토콜을 반영한 방법
결과 — 흐름, 연구 특성, 비뚤림 위험, 통합
논의 및 한계

고찰이 등록된 프로토콜에서 벗어난 부분이 있다면 그렇게 밝히고 이유를 설명하십시오. 검토자들은 두 문서를 비교할 것입니다.

다듬기 전에 저널을 선택하십시오. 해당 저널이 여러분과 같은 유형의 고찰을 게재하는지 확인하고 규정을 읽으십시오. 많은 저널이 제출 시 PRISMA 체크리스트와 등록 ID를 요구합니다. 그런 다음 요구하는 추가 자료를 준비하십시오. 저널이 그래픽 초록을 원한다면 어떤 도구를 사용할 수 있는지 확인하십시오. 여러 출판사는 범용 AI 이미지 도구를 이 작업에 사용하지 못하게 막고 있으며, 저희는 그들의 실제 규정을 정리했습니다.

마지막으로 PROSPERO의 절차를 마무리하십시오:

레코드 상태를 완료로 설정
논문이 나오면 인용 정보를 추가

등록부는 알림 이메일을 보내며, 방치된 레코드는 팀의 평가에 영향을 줍니다.

산출물: 체크리스트, 흐름도, 등록 ID, 갱신된 PROSPERO 레코드가 포함된 제출 원고.
도구: 새로운 도구는 없습니다. 참고문헌 관리 도구가 (긴) 참고문헌 목록을 정리해 줍니다.
재작업이 발생하는 흔한 원인: 등록된 프로토콜에서 벗어난 방법 섹션을 그 사실을 밝히지 않고 작성하는 경우 — 동료 검토자가 가장 쉽게 잡아내는 부분입니다. 그다음으로 흔한 원인은 오래된 검색입니다. Cochrane은 출판 시점에 첫 검색이 12개월 이상 지난 경우 검색을 다시 실행하도록 요구하므로, 선별을 한 번 더 할 것을 예산에 포함하십시오.

자주 묻는 질문

체계적 고찰과 메타분석의 차이는 무엇입니까?

체계적 고찰은 전체 과정입니다: 질문, 검색, 선별, 평가, 통합. 메타분석은 그 안의 선택적 단계 중 하나로, 연구 간의 수치 결과를 통합합니다. 모든 메타분석은 체계적 고찰 안에 있어야 합니다. 훌륭한 고찰 중 상당수는 메타분석을 전혀 포함하지 않습니다.

체계적 고찰은 얼마나 걸립니까?

우리가 가진 가장 좋은 수치는 PROSPERO에 등록된 완료된 고찰 195건에서 나옵니다. 등록부터 논문 게재까지 평균 67.3주였습니다(Borah et al., 2017). 범위가 편차를 결정합니다. 해당 표본의 검색은 27건에서 92,000건 이상의 레코드를 찾았습니다.

한 사람이 체계적 고찰을 수행할 수 있습니까?

인정된 기준으로는 불가능합니다. 선별, 추출, 비뚤림 위험 평가는 모두 분리된 두 사람이 수행해야 합니다. 혼자서 하면 연구를 놓치고 한 사람의 오류가 그대로 박히게 됩니다. 동일한 2017년 연구에서 고찰당 평균 저자 수는 5명이었습니다.

체계적 고찰과 문헌 고찰의 차이는 무엇입니까?

문헌 고찰은 저자가 선택한 출처를 요약하며, 완전하거나 반복 가능해야 할 의무가 없습니다. 체계적 고찰은 규칙을 사전에 등록하고, 부합하는 모든 연구를 찾으려 하며, 재실행할 수 있을 만큼 자세히 방법을 보고합니다. 체계적으로 보이는 검색만으로는 자격이 되지 않습니다. PROSPERO는 검색만 차용하고 다른 방법은 생략한 문헌 고찰을 배제합니다.

PROSPERO에 등록해야 합니까?

법적으로 요구되지는 않지만, 많은 저널이 보건 고찰에 대해 등록을 기대하며, 등록은 결과 변경(outcome-switching) 주장으로부터 여러분을 보호합니다. 등록은 데이터 추출이 시작되기 전에 이루어져야 합니다. 등록부는 이미 추출을 시작한 고찰을 접수하지 않습니다. 등록은 무료이며, 2025년 재구축 이후 모든 저자가 확인하면 레코드가 즉시 게재됩니다.