서베이앤헬스폴리시리서치센터

Does Your Survey Go Well?: A Practical Approach for Monitoring Data Quality

on the Macroscopic Aspects in Interviewer-Administered Surveys

Abstract

The quality of survey data is determined during the survey. Thus, during the early or middle stage of data collection, survey statisticians or survey methodologists who design and conduct interviewer-administered surveys are often eager to obtain relevant information regarding their surveys’ progress toward their goals. In this paper, we suggest some cumulative sample estimates, reflecting the live flow of data, as a macroscopic indicator for monitoring data quality. Generally converging to final estimates (before weighting), they can be easily presented with a graph or a table at any point in the survey data collection process and can be used at an early stage of a survey as provisional estimates of key survey variables. We illustrate how to use them in a national CATI survey and a local CAPI survey, given the sample design and data collection protocol in each survey. This approach would help the researchers quickly and proactively check data quality to ensure the survey is on track regarding key survey variables.

1. CATI 또는 CAPI 서베이 데이터의 품질은 서베이를 진행하는 동안 결정된다. 이에 연구자들은 서베이 종료 시점에 앞서서 서베이의 품질을 알고 싶어하며, 특히 서베이 진행 초기 단계에 이를 더욱 알고 싶어한다. 만약 서베이 진행 초기에 데이터 품질을 알 수 있다면 부족한 품질을 높이기 위해 다양한 노력을 기울일 수 있을 것이고, 데이터의 품질이 적절하다면 표본 크기를 조정하여 비용을 절감할 수 있기 때문이다.

 2. 하지만 서베이 진행 초기까지 수집된 데이터만을 이용하여 서베이 종료 시점의 데이터 품질을 예측하는 것은 이론적으로나 실제적으로 거의 불가능해 보인다.

 3. 본 논문에서는 서베이 진행 초기까지 수집된 데이터의 누적표본추정치를 이용하여 주요 변수들에 대한 잠정 추정치를 얻는 방법론의 이론과 실제를 제시한다. 이 잠정 추정치는 서베이 종료 후 얻어지는 추정치에 거의 근사하므로, 연구자들이 미리 서베이 데이터의 품질을 확인하는데 매우 유용할 것이다.  

 4. 이러한 방법론은 서베이를 정기적으로 진행하는 조사기관이나 연구기관의 연구자 또는 실무자들이 자신들의 서베이가 올바른 방향으로 가고 있는지 미리 판단하는데 큰 도움이 될 것이다.