한국판 유아용 실행기능 척도(BRIEF-P)의 타당화를 위한 예비연구

Ⅰ. 서 론

실행기능은 미래의 목표를 달성하기 위해 적절한 문제해결 전략을 유지하는 능력(Welsh, Pennington, & Groisser, 1991)으로 정의되며, 특히 새로운 문제해결 시 인지적, 정서적, 행동적 기능을 안내하고, 지시하고, 조정하는 전반적 과정을 의미하는 포괄적 구인이다(Gioa, Espy, & Isquith, 2003, p.1). 이에 실행기능이란 자신의 행동을 신체적, 정신적으로 통제, 억제, 모니터링 하는 능력, 또는 의식적으로 행동과 인지를 통제하고 수정하는 과정(Zelazo & Muller, 2002)이라고 할 수 있다.

최근 연구에 따르면 실행기능은 지능지수보다 학업성취도나 사회적 성공을 더욱 잘 예측하는 지표이며(Diamnod & Lee, 2011), 실행기능 결함은 사회적 기능 및 정서적 통제와 같은 학교 수행의 다양한 측면에서 중요한 영향을 미치게 된다(Best, Miller, & Jones, 2009). 즉, 개인의 성공적인 발달에 있어 실행기능은 매우 중요한 역할을 한다고 할 수 있다. Kong, Young-Sook & Lim, Ji-Young(2011)은 주의집중을 못하는 유아, 계획을 세우거나 전략을 수립하는데 어려움이 있는 유아, 충동을 조절하고 자제하는 능력이 부족한 유아, 시간관리가 어려운 유아 등의 공통점으로 실행기능 부족을 지적하였다. 선행연구들에 의하면 아동의 실행기능의 결함은 이들의 외현화 및 내면화 행동문제와 관련되어 있으며(Hughes & Ensor, 2011), 또한 또래관계에 영향을 나타내었다. 구체적으로 또래관계에 어려움이 있는 유아는 또래상호작용을 통해 실행기능기술을 연습할 기회가 부족하여 이후 시기 실행기능 결함과 관련되었으며(Holmes, Kim-Spoon, Deater-Deackard, 2016), 실행기능에 결함이 있는 유아는 사회적으로 많은 어려움을 보이고 낮은 수준의 마음이론을 나타내었는데, 이는 이후 또래거부 및 또래괴롭힘 피해와 관련되었다(Fahie & Symons, 2003).

이처럼 개인의 발달에서 실행기능의 중요성이 강조되면서 관련 연구가 빠르게 증가하고 있는데, 실행기능 연구의 문제점 중 하나로 지적되는 것이 평가방법의 어려움이다. 지금까지 이루어진 연구에서 실행기능의 평가를 위해 대부분 검사자가 검사대상자를 일대일로 진행하는 과제수행중심의 소검사를 실시하였는데, 대표적으로 위스콘신 카드 분류검사, 선로 잇기 검사(Trail Making Test), 같은 그림 찾기 검사, 복합도형 그림검사, 하노이 탑 과제 등 그 종류와 특징이 다양하다(Anderson, Lajoie, & Bell, 1995). 이 같은 과제수행중심의 소검사를 실시하기 위해서는 먼저 검사를 실시하기 위해 독립적인 공간을 마련하여야 하며 이곳에서 검사자와 피검사자인 유아 간 라포 형성을 위한 시간을 가진 뒤 준비된 검사를 수행한다. 예를 들어 만 3-5세 유아를 대상으로 과제수행중심의 소검사 실시로 실행기능을 측정한 Choi, Eun-Ah & Song, Ha-Na(2013) 연구는 4개 소검사를 실시하면서 유아당 30-40분의 시간이 소요된다고 하였는데, 이는 소검사로 실행기능을 측정할 경우 많은 유아를 대상으로 연구하기에 실질적 어려움이 있음을 시시하였다. 국내에서 이루어진 실행기능 연구의 동향을 분석한 Kong, Young-Sook & Lim, Ji-Young(2011)에 따르면 문헌연구 5편을 제외한 대부분 연구인 98.9%가 자료수집 방법으로 대상자의 실행기능을 과제수행을 통해 개별적으로 측정하는 검사법을 사용하였다고 지적하면서, 포괄적인 실행기능 평가방법의 개발의 필요성을 지적하였다.

과제수행 중심의 개별검사 평가방법이 임상장면에서 피검사자를 관찰할 수 있고 검사수행 과정에서 보이는 질적 측면도 고려할 수 있다는 점에서 유익할 수 있지만, 시간, 비용, 간편성 등에서 어려움을 지닌다. 특히, 많은 인원을 대상으로 해야 하는 연구에서 실행기능을 평가하는 것이 매우 어렵다.

또한 Hughes(2006)는 실행기능의 개념이 단일차원이 아니라 다차원으로 구성된다는 점에서 전반적인 실행기능을 정확히 평가하기 위해서 실행기능의 구성 개념 및 하위요인을 포괄적으로 측정할 수 있는 평가가 필요하다고 지적하였다. 예를 들어 위스콘신 카드 분류검사나 선로 잇기 검사는 전환 능력을 평가하며, 하노이 탑 과제는 계획능력을 평가하기에 적절하지만, 이들 검사를 사용한 결과는 실행기능 중 일부 하위요인에 대한 측정이므로 이를 근거로 실행기능 전반을 논의하는 것은 부적절하다는 것이다. Kim, Eun-Yee & Oh, Kyoung-Ja(2012) 역시 실행기능을 측정할 수 있는 도구는 다양한 하위 과정들을 포괄적으로 포함하면서도 각각을 구분해서 측정할 수 있어야 한다고 지적하면서, 수행검사에 의한 평가만으로는 실행기능의 포괄적 개념을 측정하는데 제한적일 수 있음을 지적하였다. 이러한 관점에서 실행기능 관련 소검사의 일부만을 실시하여 실행기능에 대한 결론을 도출하는 것은 문제점이 있다고 할 수 있다.

뿐만 아니라 실행기능을 과제수행 중심의 검사로 실시할 경우 생태학적 타당도 부족의 문제를 지닌다. 개인의 실행기능에 대한 평가는 과제수행에 기초한 검사 결과를 통해 알아내는 것 뿐 아니라 일상 활동에서 나타나는 실행기능 결함을 파악하고 그 영향을 평가하여야 하므로(Isquith, Crawford, Espy, & Gioia, 2005), 과제수행에 기초한 실행기능 검사만으로는 이러한 생태학적 타당도를 충분히 확보하기 어렵다(Sbordone, 2000).

이 같은 과제수행 검사에 기초한 실행기능 평가의 문제를 해결하기 위한 방법으로 최근 연구에서는 교사나 부모가 실시하는 실행기능에 대한 평정척도가 제안되고 있다. 이 중 미국에서 개발되어 사용되고 있는 실행기능척도(Behavior Rating Inventory of Executive Function: BRIEF)가 대표적이다(Gioia, Espy & Isquith, 2003; Gioia et al., 2000; Guy, Isuith & Gioia,, 2004). 이 연구자들은 2000년대에 들어서면서 다양한 연령을 대상으로 자기보고식 또는 교사나 부모의 평정을 통해 실행기능을 평가할 수 있는 도구를 개발하여 사용해오고 있다. 이들은 실행기능 척도가 판별력이 양호하고, 내적 합치도 및 검사-재검사 신뢰도 등도 좋은 편이며, 따라서 비교적 짧은 시간 내에 실행기능의 여러 영역에 대해서 종합적으로 평가하는데 유용한 도구로 활용할 수 있다고 하면서 2000년 5세~18세 아동 청소년을 평정하는 도구를 개발한 이후, 2세~5세 11개월을 대상으로 하는 유아용, 11세~18세를 대상으로 하는 자기보고식 척도, 성인용 척도를 개발되어 사용하고 있다. 이에 국외연구를 중심으로 과제수행 검사 위주의 실행기능 평가의 한계점을 지적하면서 BRIEF 도구의 적절성을 보여주는 연구(Donders, DenBraber & Vos, 2010; Guy et al., 2004; Isquith et al., 2005; Peter, Algina, Smith, & Daunic, 2012; Sherman, & Brooks, 2010)가 증가하고 있다.

이러한 연구의 흐름 속에 최근 국내에서도 실행기능의 평정척도에 대한 연구가 실시되었는데, Park, Ju-Ri & Song, Hyun-Joo(2012)는 BRIEF 도구를 바탕으로 초등학교 고학년 아동용 실행기능을 평가하는 자기보고식 척도를 개발하고 타당화 연구를 하여 타당도와 신뢰도를 보고하였으며, Kim, Eun-Yee & Oh, Kyoung-Ja(2012)는 청소년용 자기보고식 실행기능척도(BRIEF-SR)에 대한 타당화 연구를 실시하여 높은 신뢰도와 타당도를 보고하였다. 하지만 실행기능이 유아기부터 발달한다는 연구(Carlson & Moses, 2001; Choi, Eun-Ah・Song, Ha-Na, 2013; Todd, Evans, Morris, Lewis & Talyer, 2010)에도 불구하고 아직까지 취학 전 유아를 대상으로 한 실행기능척도의 타당화 연구는 실시되지 않았다.

과제수행검사를 통해 실행기능을 평가하는 기존의 방법이 많은 유아를 대상으로 하기 어렵고, 과제수행검사만으로는 실행기능의 하위요인을 포괄하는 평가가 어려우며, 일상적 상황에서 유아의 실행기능을 평가하기에 제한적이라는 생태학적 타당도의 문제점을 가진다는 것을 고려할 때, 우리나라 유아를 대상으로 취학 전 유아의 실행기능척도의 타당화를 위한 연구가 필요하다. 이처럼 국외에서는 활발히 사용되고 있는 유아용 실행기능척도의 국내 유아를 대상으로 한 타당화 연구를 통해 유아용 실행기능척도가 국내 유아에게 적합한 요인 모형인지와 적절한 신뢰도를 보이는지를 파악하고 이를 통해 유아용 실행기능척도의 활용도를 높인다면, 최근 증가하고 있는 국내 실행기능 연구의 활성화 및 유아교육현장에서 유아의 실행기능수준에 대한 이해와 평가를 용이하게 할 것이다. 또한 이를 바탕으로 문제행동을 보이는 유아에 대한 이해 뿐 아니라 중재 계획 및 실행에도 활용할 수 있을 것이다.

이에 본 연구는 Gioia et al.(2003)의 유아용 실행기능행동평정척도(BRIEF-P)가 한국 유아의 실행기능을 평정하기에 적절한지를 파악하기 위한 표준화 연구에 앞서 예비 타당화 연구를 실시하고자 하였다. 아직 한국 유아를 대상으로 한 연구는 적어서, 우리나라에서도 외국에서와 비슷한 결과를 나타낼지를 결론내리기 어렵다. 따라서 본 연구에서는 유아용 실행기능척도의 예비 타당화 연구로서 번안된 유아용 실행기능척도(BRIEF-P)의 타당도와 신뢰도를 검증하여 그 유용성을 살펴보고자 하였다. 이를 위하여 예비 타당화 연구로서 외국 연구에서 보여준 하위요인구조를 그대로 적용하여 우리나라 유아에게도 동일한 요인구조가 나타나는지를 살펴보고자 하였다. 또한 유아용 실행기능척도(BRIEF-P)의 준거타당도 검증을 하기 위하여 유아의 실행기능과 관련성이 높은 유아 행동 즉, 유아의 문제행동 및 또래상호작용 행동과 같은 사회적 행동에 대한 기존의 타당화된 교사용 질문지를 함께 측정하여 알아보고자 한다. 앞서도 제시한 것과 같이 유아의 실행기능 결함은 이들의 문제행동(Hughes & Ensor, 2011) 및 또래상호작용 시 어려움(Fahie & Symons, 2003; Holmes, et al., 2016)과 의미있는 관련성을 보여주어 이들 사회적 행동 간의 관계는 유아용 실행기능척도의 준거타당도를 알아보기에 적절한 것으로 사료된다. 마지막으로 각 문항의 내용이 실행기능척도의 영역별 내용을 일관성있게 측정하는지를 알아보기 위해 질문지의 내적 일관성 신뢰도(internal consistency reliablity)를 검증하고자 각 하위요인별로 내적 합치도(Cronbach’s α)에 의한 신뢰도를 살펴보고자 한다.

이러한 필요성과 목적에 따라 선정된 연구문제는 다음과 같다.

• 1. 한국판 유아용 실행기능척도(K-BRIEF-P)의 타당도는 어떠한가?
• 2. 한국판 유아용 실행기능척도(K-BRIEF-P)의 신뢰도는 어떠한가?

Ⅱ. 연구 방법

Ⅲ. 연구 결과

1. 한국판 유아용 실행기능 척도(BRIEF-P)의 타당도

가. 구인타당도

(1) 확인적 요인분석

유아용 실행기능 척도(BRIEF-P)의 구인타당도를 살펴보기 위해 5개 하위요인으로 이루어진 각 요인 구조의 적합성을 검증한 결과를 <Table 1>과 [Fig. 1]에 제시하였다. 전체 모형에 대한 적합도에서 RMSEA가 .07로 간명성이 합당한 편이었으며, 다른 적합도 지수가 모두 .90이상으로 나와 기준을 충족하는 것으로 나타났다. 이에 근거할 때 유아용 실행기능 척도(BRIEF-P)의 구조는 비교적 적합한 것으로 볼 수 있다.

<Table 1>

Model fit of the BRIEF-P

[Fig. 1]

Structural Model of Preschooler’s Executive Function

(2) 하위요인 간 상호상관

유아용 실행기능척도(BRIEF-P)의 하위요인들이 하나의 구인으로 묶일 수 있는지를 확인하기 위하여 5개 하위요인 간 상호상관계수를 산출하였으며, 그 결과는 <Table 2>와 같다. <Table 2>에서 알 수 있듯이 하위요인들 간 상호상관계수는 0.1% 유의도 수준에서 .43∼.69로 상호 정적인 상관이 있는 것으로 나타나 하나의 구인으로 묶일 수 있음을 보여주었다.

<Table 2>

Inter-correlations of the BRIEF-P ratings

나. 준거타당도

유아용 실행기능 척도(BRIEF-P)의 준거관련타당도를 알아보기 위해 Achenbach와 Rescorla (2000)가 개정하고 Oh, Kyoung-Ja & Kim, Young-Ah(2008)가 표준화한 한국판 유아행동평가척도 교사용(Cargiver-Teacher Report From: C-TRF)과의 상관계수를 산출한 결과는 <Table 3>에 제시하였으며, Choi, Hye-Yeong & Shin, Hae-Young(2011)의 또래상호작용 척도와의 상관계수를 산출한 결과는 <Table 4>와 같다.

<Table 3>

Correlations between the BRIEF-P and the C-TRF

<Table 4>

Correlations between the BRIEF-P and the PIPPS

<Table 3>에 나타난 바와 같이 BRIEF-P의 총점 및 하위요인은 한국판 유아행동척도의 내재화 행동문제(r=.41~.56) 및 외현화 행동문제(r=.41~.65)와 유의한 상관관계를 보였다. 이는 유아의 실행기능에 어려움이 있을수록 내재화 및 외현화 행동 문제를 많이 보인다는 것을 의미한다.

다음으로 <Table 4>에서 알 수 있듯이 또래상호작용의 놀이방해(r=.26~.55), 놀이상호작용(r=-.24~ -.38), 놀이단절(r=.36~.50)과도 유의한 상관관계를 보여주었는데, 이는 실행기능에 어려움이 있는 유아일수록 놀이방해 및 놀이단절 행동을 많이 보이는 것으로 평가되며, 놀이상호작용은 덜 보인다는 것을 보여준다.

2. 유아용 실행기능 척도(BRIEF-P)의 신뢰도

유아용 실행기능척도(BRIEF-P)의 하위요인 및 전체 문항의 신뢰도를 알아보기 위하여 내적 합치도에 의한 신뢰도 계수인 Cronbach’s α를 산출한 결과는 <Table 5>와 같다.

<Table 5>에서 알 수 있듯이 본 연구에서 BRIEF-P의 63문항 척도에 대한 신뢰도 계수는 Cronbach’s α가 .95로 양호한 수준이었다. 또한 하위요인별로 산출한 신뢰도 계수 역시 .90∼.94로 양호한 수준이었다.

<Table 5>

Internal consistency coefficients(alpha) for the BRIEF-P

Ⅳ. 논의 및 결론

본 연구는 한국판 유아용 실행기능척도(BRIEF-P)의 타당화를 위한 예비연구로 우리나라 유아교육기관의 3, 4, 5세 학급에 재원 중인 유아를 대상으로 실시하여, 그 신뢰도와 타당도를 살펴보았다. 확인적 요인분석을 통한 요인구조의 타당성 검증, 준거타당도 검증 및 내적 합치도에 의한 신뢰도를 산출하였다. 산출된 결과를 중심으로 논의하면 다음과 같다.

첫째, 확인적 요인분석 결과 유아용 실행기능 척도를 개발하면서 분류한 5개 하위영역으로 이루어진 모형은 적합한 것으로 나타났다. 즉, 유아의 전반적인 실행기능은 억제, 전환, 정서통제, 작동기억, 계획/조직하기의 5개 하위영역으로 구성하는 모형은 적합한 것으로 나타났다. 이는 유아용 실행기능 척도(BRIEF-P)가 유아기 실행기능의 다양한 차원을 측정한다는 선행연구의 입장을 지지하는 결과라고 할 수 있다(Isquith et al., 2004). 이번 연구에서 사용된 질문지를 개발한 Gioia et al.(2003)는 유아기 실행기능을 억제, 전환, 정서통제, 작동기억, 계획/조직하기의 5가지 하위요인으로 나누었는데, 본 연구에서도 미국 유아를 대상으로 한 이들의 요인구조를 지지하는 결과를 보여주었다. 다만, 모형 분석 결과의 각 계수 값을 살펴보았을 때 억제 .82, 정서통제 .70, 작동기억 .83, 계획/조직하기 .79에 비해, 전환이 .58로 상대적으로 다소 낮게 나타났다. 실행기능의 하위요인과 관련하여 한국 청소년을 대상으로 타당화를 실시한 Kim, Eun-Yee & Oh, Kyoung-Ja(2012)의 연구에서는 청소년 실행기능의(BRIEF-SR)의 하위요인이 억제, 전환, 정저통제, 자기감찰, 작동기억, 조직하기, 과제완성의 8개 하위 요인으로 구분된 것이나, 아동용 실행 기능 결함 질문지를 개발한 Park, Ju-Ri & Song, Hyun-Joo(2012)의 연구에서는 실행기능의 하위요인으로 주의집중, 전환, 계획 및 조직화, 행동 및 정서조절의 4개 하위요인으로 구분되었다. 또한 3세 유아를 대상으로 유아용 실행기능척도(BRIEF-P)의 요인구조를 살펴본 Skogan et al.(2016)에서는 탐색적 요인분석 결과 7개 하위요인으로 나타나기도 하였다. 이처럼 연구자 및 연구 대상에 따라서 실행기능의 하위요인은 다양하게 나타나고 있으므로, 이와 관련하여서는 추후 연구를 통해 더 살펴볼 필요가 있다.

둘째, 유아용 실행기능 척도의 준거관련 타당도를 살펴보기 위해 한국 유아를 대상으로 타당화된 한국판 유아행동평가척도 교사용(C-TRF)과의 상관계수를 산출한 결과, 유아용 실행기능척도의 모든 하위요인과 한국판 유아행동평가척도의 내재화 및 외현화 행동문제와 유의한 정적 상관관계를 보였다. 이는 유아용 실행기능척도가 유아기 실행기능을 포괄적으로 측정하여 유아용 실행기능척도의 모든 하위요인과 한국판 유아행동평가척도 간 관련성을 보여주는 것으로, 주의력 결핍 과잉행동장애(ADHD)와 실행기능 결함 과의 연관성을 보고한 선행연구들(Berlin, et al., 2003; Pennigton & Ozonoff, 1996)과 일치하는 결과이다. 또한 놀이맥락에서 유아와 또래 간 상호작용을 보여주는 또래상호작용척도의 하위 요인 중 놀이방해 및 놀이단절과 유아용 실행기능 척도의 하위 요인 간 정적 상관관계를, 놀이상호작용과 실행기능의 하위요인과 부적 상관관계를 보였다. 이 역시 유아의 실행기능에 어려움이 있을수록 유아기 놀이맥락에서 또래와 놀이방해 및 놀이단절과 같은 부정적 또래상호작용을 보이고, 긍정적 행동인 놀이상호작용이 부족하다는 것을 지지하는 등 사회성 발달의 어려움을 보여준다는 것을 의미한다. 이러한 결과는 유아용 실행기능척도가 비교적 실행기능과 관련된 문제들을 잘 측정하는 문항으로 구성되어 있음을 나타낸다.

셋째, 한국판 유아용 실행기능척도의 신뢰도를 알아보기 위하여 문항의 내적합치도 계수인 Cronbach’s α를 산출한 결과, 전체 신뢰도가 .95로 매우 양호한 수준이었으며, 하위요인별 신뢰도 계수가 .90~.94로 양호한 수준이었다. 이는 유아용 실행기능척도의 높은 신뢰도를 보여준 선행연구(Gioia, et al., 2003; Skogan, et al., 2016)와 일치하는 결과로, 유아용 실행기능척도의 문항이 일관되게 유아의 실행기능을 측정하고 있다는 것을 의미한다.

본 연구의 결과에 따르면 한국판 유아용 실행기능척도는 전반적으로 우리나라 유아의 실행기능을 측정하는데 기본적인 내적 타당도와 신뢰도를 갖추고 있다고 볼 수 있다. 이에 본 척도가 국외 뿐 아니라 우리나라 유아를 대상으로 한 경우에도 유아기 실행기능의 문제를 지닌 집단을 일차적으로 평가하는데 효과적으로 활용될 수 있음을 제안한다. 하지만 본 연구대상은 일부 제한된 지역의 유아만을 대상으로 하여 일반화 가능성에 한계를 지니므로, 본 척도가 한국 유아의 실행기능을 측정하는데 타당한지를 평가하기 위해서는 전국 단위의 추가적 연구가 필요할 것이다. 또한 Mcauley et al.(2010)이 질문지를 이용한 실행기능의 평가가 행동의 문제와는 강한 관련성을 지니지만, 수행에 기반을 둔 평가와는 관련성이 약하다고 지적하였다. 이러한 점을 고려할 때 추후 연구를 통해 유아용 실행기능을 측정하는 수행검사와 본 척도와의 관련성을 살펴볼 필요가 있다. 이러한 제한점에도 불구하고 최근 중요성이 대두되고 있는 유아기 실행기능을 평정할 수 있는 척도의 예비 타당화 연구를 실시함으로써 유아기 실행기능 연구에 대한 관심을 확대시켰을 뿐 아니라 여러 유아를 대상으로 유아교육현장에서 활용할 수 있는 유아기 실행기능 평가에 대한 기초적 자료를 제공하였다는 점에서 그 의의를 찾을 수 있다.

Acknowledgments

※ 이 논문은 2015학년도 부경대학교 연구년[Ⅱ] 교수 지원 사업에 의하여 연구되었음(C-D-2015-0489)

References

• Anderson, V., Lajoie, G., & Bell, R., (1995), Neuropsychological assessment of the school-aged. child, Melbourne, University of Melbourne.
• Berlin, L., Bohlin, G., & Rydell, A. M., (2003), Relations between inhibition, executive functioning and ADHD symptoms: A longitudinal study from age 5 to 8 1/2 years, Child Neuropsychology, 9, p255-266.
• Best, J. R., Miller, P. H., & Jones, L. L., (2009), Executive functions after age 5: Changes and correlates, Developmental Review, 29(3), p180-200. [https://doi.org/10.1016/j.dr.2009.05.002]
• Carlson, S. M., & Moses, L., (2001), Individual differences in inhibitory control and children’s theory of mind, Child Development, 72, p1032-1053. [https://doi.org/10.1111/1467-8624.00333]
• Choi, Eun-Ah, & Song, Ha-Na, (2013), Development of children’s cool and hot executive function and its relationship to children’s self-regulation, Korean Journal of Child Studies, 34(5), p99-114. [https://doi.org/10.5723/kjcs.2013.34.5.99]
• Choi, Hye-Yeong, & Shin, Hae-Young, (2011), Validation of the Penn Interactive Peer Play Scale for Korean young children with a special focus on confirmatory factor analysis, Korean Journal of Child Studies, 32(2), p35-52. [https://doi.org/10.5723/kjcs.2011.32.2.35]
• Diamond, A., & Lee, K., (2011), Interventions shown to aid executive function development in children 4 to 12 years old, Science, 333(6045), p959-964. [https://doi.org/10.1126/science.1204529]
• Donders, J., DenBraber, D., & Vos, L., (2010), Construct and criterion validity of the Behavior Rating Inventory of Executive Function (BRIEF) in children referred for neuropsychological assessment after paediatric traumatic brain injury, Journal of Neuropsychology, 4(2), p197-209. [https://doi.org/10.1348/174866409x478970]
• Fahie, C. M., & Symons, D. K., (2003), Executive functioning and theory of mind in children clinically referred for attention and behavior problems, Journal of Applied Developmental Psychology, 24, p51-73. [https://doi.org/10.1016/s0193-3973(03)00024-8]
• Gioia, G. A., Espy, K. A., & Isquith, P. K., (2003), Behavior Rating Inventory of Executive Function-Preschool Version, Lutz, FL, Psychological Assessment Resources.
• Gioia, G. A., Isquith, P. K., Guy, S. C., & Kenworth, L., (2000), Behavior Rating Inventory of Executive Function, Odessa, FL, Psychological Assessment Resources.
• Guy, A. G., Isquith, P. K., Gioia, G. A., (2004), Behavioral Rating Inventory of Executive Function-Self-report version, Lutz, FL, Psychological Assessment Resources.
• Holmes, C. J., Kim-Spoon, J., & Deater-Deckard, K., (2016), Linking executive function and peer problems from early childhood through middle adolescence, Journal of Abnormal Child Psychology, 44, p31-42. [https://doi.org/10.1007/s10802-015-0044-5]
• Hong, Se-Hee, (2000), The criteria for selection appropriate fit indices in structural equation modeling and their rationales, Korean Journal of Clinical Psychology, 19(1), p161-177.
• Hughes, C., & Ensor, R., (2011), Individual differences in growth in executive function across the transition to school predict externalizing and internalizing behaviors and self-perceived academic success at 6 years of age, Journal of Experimental Child Psychology, 108, p663-676. [https://doi.org/10.1016/j.jecp.2010.06.005]
• Hughes, D. M., (2006), Parent and self-rating of executive function in adolescents with language impairment and typically developing peers, Ohio, Case Western Reserve University.
• Isquith, P. K., Crawford, J. S., Espy, A., & Gioia, G., (2005), Assessment of executive function in preschool-aged children, Mental Retardation and Developmental Disabilities, 11, p209-215. [https://doi.org/10.1002/mrdd.20075]
• Kim, Eun-Yee, & Oh, Kyung-Ja, (2012), Validity of Koran behavior rating inventory of executive function-self report version(BRIEF-SR), The Korean Journal of Clinical Psychology, 31(2), p561-574.
• Kong, Young-Sook, & Lim, Ji-Young, (2011), Analysis of trends in research on executive function, The Journal of Child Education, 20(1), p61-75.
• Oh, Kyoung-Ja, & Kim, Young-Ah, (2013), Manual for the ASEBA preschool forms, Human & Innovation.
• Park, Ju-Ri, & Song, Hyun-Joo, (2012), Development of validation of Children’s Executive Function Deficits Inventory(CEFDI), The Korean Journal of Clinical Psychology, 31(1), p1-23.
• Pennington, B. F., & Ozonoff, S., (1996), Executive functions of developmental psychopathology, Journal of Child Psychology and Psychiatry, 37, p51-87.
• Peter, C., Algina, J., Smith, S. W., & Daunic, A. P., (2012), Factorial validity of the Behavior Rating Inventory of Executive Function (BRIEF)-Teacher form, Child Neuropsychology, 18(2), p168-181.
• Sbordone, R., (2000), Ecological validity issues in neuropsychological testing, Brain Injury Source, 4, p10-12.
• Sherman, E. M. S., & Brooks, B. L., (2010), Behavior rating inventory of executive function-Preschool version(BRIEF-P): Test review and clinical guidelines for use, Child Neuropsychology, 16, p503-519.
• Skogan, A. H., Egeland, J., Zeiner, P., Øvergaard, K.R., Oerbeck, B., Reichobrn-Kjennerud, T., & Aase, H., (2016), Factor structure of the Behavior Rating Inventory of Executive Functions(BRIEF-P) at age three years, Child Neuropsycholgy, 22(4), p472-492. [https://doi.org/10.1080/09297049.2014.992401]
• Todd, R. M., Evans, J. W., Morris, D., Lewis, M. D., & Taylor, M. J., (2010), The changing face of emotion: Age-related patterns of amygdala activation to salient faces, Social cognitive and affective neuroscience, 6(1), p12-23. [https://doi.org/10.1093/scan/nsq007]
• Welsh, M. C., Pennington, B. F., & Groisser, D. B., (1991), A normative - developmental study of executive function: a window on prefrontal function in children, Developmental Neuropsychology, 7, p131-149. [https://doi.org/10.1080/87565649109540483]
• Zelazo, P. D., & Müller, U., (2002), Executive function in typical and atypical development, In U. Goswami (Ed.), Blackwell handbook of childhood cognitive development, p445-469, Malden, MA, Blackwell Publishers.