한국 영유아를 위한 일과기반 발달검사 MEISR 타당화 연구

Abstract

MEISR(Measure of Engagement, Independence, and Social Relationships; McWilliam & Younggren, 2019)은 생후 36개월까지의 아동을 대상으로 일상적인 활동에서 나타나는 참여(Engagement), 독립성(Independence) 및 사회관계(Social Relationships)를 측정하는 도구로 조기중재 장면에서 유용하게 활용될 수 있다. 본 연구는 일과기반 발달검사인 MEISR을 개발하고 타당화하여 한국 아동에 적용하는 데 그 목적이 있다. 먼저 미국의 MEISR을 번역하고 한국에 맞게 문항을 수정하여 한국형 MEISR 검사본을 개발하였다. 한국의 여러 시도에 거주하는 36개월 이하 아동을 대상으로 예비 검사(1차 검사: N=44)와 본 검사(2차 검사: N=124, 3차 검사: N=134)를 실시하였다. 수집된 자료는 SPSS 27.0과 R3.6 ltm 패키지, AMOS 25.0을 사용하여 분석되었다. 문항 특성을 파악하기 위해 문항반응이론(IRT)에 근거하여 난이도와 변별도를 분석하고 빈도분석을 통해 문항통과율을 알아보았다. 한국형 MEISR의 타당화를 위해 구성타당도(탐색적 요인분석, 확인적 요인분석, 상관분석), 내용타당도, K-DST와의 공인타당도, 신뢰도를 분석하였다. 인구통계학적 특성에 따른 수행을 알아보기 위해 기술통계, 교차분석, t-검정, 분산분석(ANOVA)을 실시하였다. 최종 개발된 한국형 MEISR을 장애위험아동 2명, 비장애아동 3명의 양육자에 면담형으로 적용하여 검사 적용 양상을 살펴보았다. 문항반응모델에 따른 문항난이도 및 문항변별도와 빈도분석을 통한 문항통과율 결과를 요약하면 다음과 같다. 첫째, 문항난이도 분석 결과, 2차와 3차 검사 모두 일과별 척도마다 문항난이도 범위가 상이하게 나타났음에도 불구하고 일과 내에서는 1번 문항부터 마지막 문항으로 갈수록 높아지는 경향이 나타났다. 하지만 예외적으로 주변보다 난이도가 높거나 낮은 문항이 발견되었다. 난이도가 낮은 문항이 가장 많이 포함된 일과는 기상하기와 외출하기였고 난이도가 높은 문항들이 많이 포함된 일과는 실외활동이었다. 둘째, 문항변별도 분석 결과, 2차 검사에 대한 문항의 변별도는 .675에서 17.263의 범위로 나타났다. 2차 검사 전체 문항은 모두 적절한 변별도를 가지거나 높은 변별도를 가진 것으로 나타났다. 3차 검사에 대한 문항의 변별도는 -1.134에서 11.199의 범위로 나타났다. 3차 결과에서는 1.03번 문항과 3.02번 문항의 변별도가 매우 낮게 나타났다. 셋째, 문항통과율 분석 결과, 2차 및 3차 검사의 대부분 문항이 월령증가와 함께 통과율도 증가하는 경향을 나타내었다. 하지만 주변 문항에 비해 문항통과율이 높거나 낮은 예외적인 문항이 일부 있었다. 문항 통과 범위를 알아본 결과, 2차와 3차 검사의 월령별 문항 통과 범위가 매우 유사하게 나타났다. 6개의 월령집단의 문항 통과 범위를 비교한 결과 0-6개월, 6-12개월, 12-18개월, 18-24개월, 24-30개월, 30-36개월 중 24-30개월과 30-36개월의 문항 통과 범위가 유사했다. 한국형 MEISR의 타당도 분석을 위해서 탐색적 요인분석, 확인적 요인분석, 상관분석, 공인타당도 분석, 신뢰도 분석 결과를 정리하면 다음과 같다. 첫째, 탐색적 요인분석 결과 2차 검사본에 대한 표본 적절성의 KMO는 일과별로 .860에서 .959로 전반적으로 높게 나타났다. Bartlett의 구형성 검정 결과도 모든 일과에서 통계적으로 유의했다. 3차 검사본에 대한 KMO 역시 일과별로 .850에서 .941로 전반적으로 높게 나타났고, Bartlett의 구형성 검정 결과 모든 일과에서 통계적으로 유의했다. 탐색적 요인분석을 통한 각 문항의 공통성 추출 결과 2차 검사의 공통성 범위는 .301에서 .949의 범위로 모두 양호하게 나타났다. 3차 검사의 공통성 범위 또한 .383에서 .986의 범위로 모두 양호하게 나타났다. 둘째, 확인적 요인분석 결과, 각 일과별 하위 문항은 각 일과를 적절하게 반영하지 않았다. 또한 모형과 모형간 차이 검증을 위해 상대적 및 절대적 적합도 분석 결과, 14개 일과 모두 RMSEA, NNFI, CFI 지수가 좋은 적합도 범위에 해당되지 않았다. 셋째, 척도의 구성타당도를 알아보기 위해 각 문항과 총점, 각 문항과 해당일과총점 간의 상관관계를 분석하였다. 2차 검사의 각 문항과 총점과의 상관분석 결과 1.03번, 3.02번, 12.01번, 12.03번 문항을 제외한 모든 문항에서 통계적으로 유의한 상관이 있었다. 3차 검사의 각 문항과 총점과의 상관분석 결과 1.01번 1.03번, 3.02번, 5.01번, 7.01번, 12.01번, 12.03번 문항을 제외한 모든 문항에서 통계적으로 유의한 상관이 있었다. 2차 검사의 각 문항과 해당 일과총점과의 상관분석 결과 2.01번 3.02번, 12.01번, 12.03번 문항을 제외한 모든 문항에서 통계적으로 유의한 상관이 있었다. 3차 검사의 각 문항과 해당 일과총점과의 상관분석 결과 1.01번, 2.01번, 3.02번, 5.01번, 12.01번, 12.03번 문항을 제외한 모든 문항에서 통계적으로 유의한 상관이 있었다. 넷째, 공인타당도를 검증하기 위한 K-DST와 2차 및 3차 검사와의 상관분석 결과 2차 MEISR 총점과 K-DST 총 점수의 상관은 .981로 높게 나타났다. MEISR 총점과 2차 검사의 모든 일과별총점 간의 상관도 .859에서 .980으로 높게 나타났다. 3차 MEISR 총점과 K-DST 총 점수의 상관은 .959로 높게 나타났고, MEISR 총점과 3차 검사 모든 일과별총점 간의 상관도 .832에서 .956으로 높은 상관을 보였다. 다섯째, 신뢰도 분석 결과 2차 검사의 전체 문항에 대한 내적합치도는 .998로 매우 높게 나타났다. 일과별로도 .913에서 .985로 양호하였다. 3차 검사의 전체 문항에 대한 내적합치도 또한 .997로 매우 높게 나타났다. 일과별로도 .914에서 .985 범위로 나타났다. 또한 참여, 독립성, 사회관계의 기능영역별 내적합치도 계수 또한 높게 나타났다. 2차 검사의 기능영역별 내적합치도 계수는 참여 .991, 독립성 .990, 사회관계 .995로, 3차 검사는 참여 .990, 독립성 .993, 사회관계 .994로 높게 나타났다. 인구통계학적 특성에 따른 수행 분석 결과는 다음과 같다. 첫째, 성별, 어머니연령별, 아버지연령별, 부모 취업형태별, 소득수준별에 따른 차이는 2차 검사와 3차 검사의 어느 일과에서도 나타나지 않았다. 둘째, 월령별 집단에 따라 MEISR 수행에서 유의한 차이가 나타났다. 2차 검사 및 3차 검사 모두에서 월령별 수행 분석 결과 월령이 높아질수록 점수도 증가하는 것으로 나타났다. 셋째, 부모 학력별 변인에 따른 수행 차이가 나타났다. 2차 검사에서는 어머니 학력에 따른 수행 수준 차이가 나타났다. 사후분석 결과 어머니 학력에 따른 아동들의 점수 차이는 총점과 모든 일과에서 고졸 이하보다 대학원졸이 유의하게 높았고, 식사하기와 옷입기에서는 대졸보다 대학원졸이 유의하게 높았다. 그러나 3차 검사의 경우에는 어머니 학력에 따른 수행 차이가 발생하지 않았다. 또한 2차 검사의 아버지 학력별 수행 비교에서 대졸이 고졸 이하 보다 높았다. 3차 검사에서는 아버지 학력별 수행 차이가 나타나지 않았다. 넷째, 2차와 3차 모두에서 보육형태별 수행 차이가 나타났다. 한국형 MEISR의 최종본을 장애위험아동 2명, 비장애아동 3명의 양육자에 면담형으로 적용하여 면담 장면, 검사 시작 및 안내, 문답 내용 및 평정, 검사 결과 안내, 도구에 대한 의견 등 적용 양상을 알아보았다. 이상의 연구 결과를 바탕으로 한국형 MEISR의 타당화 및 사례 적용과 관련된 논의점과 제언이 논의되었다. |MEISR (Measure of Engagement, Independence, and Social Relationships; McWilliam & Younggren, 2019) is a tool to measure engagement, independence and social relationships in daily family routines of infants and toddlers from birth to 36 months of age, and it can be effectively used for early intervention. Thus, this study aimed to develop and validate MEISR, a routine-based development inventory, and apply this tool to Korean infants and toddlers. English-version MEISR was translated into Korean, and some culturally biased items were modified to develop Korean-version MEISR. Targeting infants and toddlers aged up to 36 months, residing in different cities and provinces in Korea, this study conducted a pilot test (1st test; N=44) and two main tests (2nd test: N=124, 3rd test: N=134). The collected data was analyzed with SPSS 27.0, R3.6 ltm package, and AMOS 25.0. This study analyzed the item difficulty and item discrimination based on IRT and figured out the item passing rate through frequency analysis. To validate the Korean-version MEISR, this study analyzed the construct validity (exploratory factor analysis, confirmatory factor analysis, correlation analysis), content validity, concurrent validity with K-DST as well as reliability of it. This study also conducted descriptive statistics, cross-tabulation analysis, t-test and ANOVA in terms of demographic variables. Lastly, to examine the applicability of Korean-version MEISR, it was applied children and three caregivers of children without disabilities in a form of interview. The below shows the research results for each research question. First, it was found that the range of item difficulty was various for each routine-based scale in both the 2nd and 3rd tests. Mostly, the item difficulty became higher from the first item to the last one in each routine. However, there were some exceptional items with the item difficulty higher or lower than those of the surrounding ones. Items with low item difficulty was mostly in ‘Waking up’ or ‘Going out’ routines and items with high item difficulty was mostly in the ‘Outside Time’ routine. Second, all items were found to have appropriate or high item differentiation in the 2nd test: Item differentiation was in the range from ..675 to 17.263. The 3rd test revealed that item differentiation was in the range from –1.134 to 11.199 and that of item 1.03 and Item 3.02 was very low. Third, analyses of item passing rate revealed that item passing rate tends to increase with age in both 2nd and 3rd tests: The older the children were, the higher the item passing rate in most items. However, there were some exceptional items with higher or lower item passing rate than the surrounding ones. When comparing the item passing range of 6 different age groups, it was found that 24 to 30 month olds had similar item passing rate with 30 to 36 month olds. For the validation of Korean-version MEISR, this study conducted exploratory factor analysis, confirmatory factor analysis, correlation analysis, concurrent validity and reliability analyses, and the results can be summarized as below. Exploratory factor analyses revealed that the KMO of the 2nd test was generally high for all routines, ranging from .860 to .959, and the results of Bartlett’s Test of Sphericity showed that the sphericity was statistically significant in all routines. Even the KMO in 3rd test was generally high for each routine, ranging from .850 to .941, and the result of Bartlett’s Test of Sphericity showed that the sphericity was statistically significant in all routines as well. When extracting the commonality of each item through exploratory factor analysis, it was found that the range of commonality in the 2nd test was quite moderate, ranging from .301 to .949, and the range of commonality in the 3rd test was also found moderate, ranging from .383 to .986. Confirmatory factor analyses revealed that not all routines were not properly reflected on the items of each routine. Besides, to verify the differences between models, this study carried out relative and absolute goodness-of-fit analyses, and the results revealed that all 14 routines did not show the goodness-of-fit range of RMSEA, NNFI and CFI indexes. For the construct validity test, this study analyzed correlations between each item and the total score and between each item and the total score of each relevant routine. Correlational analyses between each item and the total score in the 2nd test revealed that significant correlations from all the items, except Item No. 1.03, 3.02, 12.01 and 12.03. When analyzing the correlation between each item and the total score in the 3rd test, there were significant correlations from all the items, except Item No. 1.01, 1.03, 3.02, 5.01, 7.01, 12.01 and 12.03. When analyzing the correlation between each item and the total score of each relevant routine in the 2nd test, there were significant correlations from all the items, except Item No. 2.01, 3.02, 12.01 and 12.03. When analyzing the correlation between each item and the total score of each relevant routine in the 3rd test, there were significant correlations from all the items, except Item No. 1.01, 2.01, 3.02, 5.01, 12.01 and 12.03. For the concurrent validity analyses, this study analyzed the correlation between K-DST and the 2nd and 3rd test ratings. The results showed that in the 2nd test, the correlation between the total score of MEISR and that of K-DST was as high as .981. It was also found that in the 2nd test, the correlation between each routine and the total score of K-DST was high in the range from .859 to .980. In the 3rd test, the correlation between the total score of MEISR and the total score of K-DST was as high as .959, and even the correlation between each routineand the total score of K-DST was high in the range from .832 to .956. Reliability analyses revealed that it was high in the range from .913 to .985 for each routine. Cronbach’s α was .998 for the total scale in the 2nd test. Cronbach’s α was in the range from .913 to .985 for each routine in the 3rd test. Cronbach’s α was .998 for the total scale in the 3rd test. In addition, the internal consistency coefficient of each functional domain, such as engagement, independence and social relationships, was quite high as well. In the 2nd test, the internal consistency coefficient was quite high as .991 for engagement, .990 for independence and .995 for social relationships, and in the 3rd test, it was also quite high as .990 for engagement, .993 for independence and .994 for social relationships. This study also analyzed rating results by demographic characteristics, and the results can be summarized as below. First, in both the 2nd and 3rd tests, there was no difference found in the MEISR rating of any routine by gender, mother’s age, father’s age, parent employment status and income level. Second, there were significant differences found in MEISR rating by the age group. in both the 2nd and 3rd tests, the score of MEISR increased with age. Third, there were differences in the MEISR rating by parents’ education level. In the 2nd test, the MEISR rating differed depending on mothers’ education level: The post-hoc analyses revealed that the total score and that of each routine became significantly higher in children with mothers with graduate education than those with mothers with high school education. The MEISR rating in ‘Meal Times’ and ‘Dressing Time’ were higher in children with mothers of graduate education than those with mothers of university graduation. In the 3rd test, however, there was no difference found in the MEISR rating depending on mothers’ education level. In the 2nd test, the MEISR rating was higher in children with fathers with university graduation than those with fathers with high school education. In the 3rd test, there was no difference found in the MEISR rating depending on fathers’ education level. Fourth, in both the 2nd and 3rd tests, this study revealed differences in the MEISR rating depending on the childcare type. To find out the applicability of the final Korean-version MEISR, such as interview scenes, test start and guidance, interview details & assessment, test result report and feedback on this tool, this study applied the tool to two caregivers with at-risk children and three caregivers with children without disabilities in the form of interview. Based on the research results above, discussions and suggestions were made in relation to the validation and application of this Korean-version MEISR.