비대면 원격수업에 대한 설문 조사와 트위터 감성 분석 간의 비교분석
Abstract
Corona-19 has transformed our society from simple disease to all-round. Among the various changes, the acceleration of the change was intensified, especially in the areas related to the Fourth Industrial Revolution. One of the biggest things in our daily lives is the non-face-to-face class. With the end of the first semester of 2020, many schools conducted satisfaction surveys on non-face-to-face remote classes to provide better education services. In most schools, surveys were conducted using the most common and traditional method of surveying, the Questionnaire Act. However, the questionnaire law affects the results and reliability of various factors. A two-way analysis of educational satisfaction will be conducted, called the questionnaires law and the emotional analysis method. We look forward to complementary roles between each other by comparing the standardized and objective ratings in the questionnaire law with the individual's free and subjective opinions in the emotional analysis method.
Keywords:
Unface-to-face class, SNS big date, Emotional analysis, Class satisfactionⅠ. 서 론
2019년 말부터 시작된 코로나-19는 현재까지도 전 세계에서 대 유행 중에 있다. 과거의 여러 질병과 달리 코로나-19는 단순한 질병을 넘어 우리 사회에 전 방위적으로 변화를 유발시켰다. 4차 산업혁명과 관련된 정치, 경제, 사회, 문화 뿐 아니라 교육 분야에서 수업형태의 변화를 더욱 가속화시켰다. 그 중 우리 일상에 가장 크게 다가온 변화 중 하나가 비대면 수업이다. 2020년 2월 말부터 급속도로 증가 추이를 보이는 코로나-19의 영향으로 교육부는 3차례나 개학을 연기한 끝에 2020년 3월 25일 비대면 원격수업에 대한 지원을 발표하였다. 이에 따라 EBS(교육방송), ZOOM(온라인 화상회의 플랫폼), LMS(가상강좌시스템)을 활용한 비대면 수업이 본격적으로 실시되었다.
우리나라의 경우 퍼스널 PC, 스마트폰, 태블릿 등이 대중적으로 보급되었다. 이를 바탕으로 일부 교육분야에서는 다양한 수업형태인 플립 러닝(Flipped Learning)이나 블랜디드 러닝(Blended Learning) 수업이 시행되고 있었다. 하지만 작년부터 시작된 코로나로 인해 비대면 수업이 전 학년에 걸쳐 갑자기 실시되면서 수업의 질적인 면이나 소통에서 있어서 많은 혼란이 있었다. 향후 이러한 혼란을 줄이고 비대면 수업의 질적 효과를 높이는데 도움을 주기 위해 다양한 측면의 만족도 조사는 필요하다. 아울러 미래는 인류가 코로나-19를 극복하더라도 향후 이와 유사한 사태를 미리 대비해야하고, 4차 산업혁명시대의 가속에 따른 비대면 원격수업은 더욱 확대될 것이다. 따라서 비대면 수업에 대한 만족도 연구는 다양한 수업방법이나 콘텐츠 개발 뿐 아니라 비대면 수업의 질적 제고 및 교육적 효과를 위해 도움이 될 것이다.
2020년 1학기 학사 일정이 종료되면서 많은 학교에서는 더욱 양질의 교육 서비스를 제공하기 위한 목적으로 비대면 원격수업에 대한 만족도 조사를 하였다. 대다수 학교에서는 가장 보편적이고 전통적인 조사 방법인 설문지 법을 사용하여 조사를 시행하였다. 하지만 설문지 법은 설문지의 구성이나 조사원의 역할 및 심리와 같은 여러 가지 요인에 영향이 결과와 신뢰도에 영향을 미친다(Kim and Lee, 2002). 따라서 현대 사회과학 여러 방면에서는 이러한 단점을 극복하고자 전통적 조사 방법과 함께 비정형 데이터 분석 방법인 감성 분석을 병행하는 추세에 있으며, 통계청에서도 SNS 감성 분석과 소비자 심리 지수를 비교하는 연구를 시행하고 있다(Hwang, 2015). 동일한 주제를 설문지 법과 감성 분석법이라는 이원화된 분석을 함으로써, 설문지 법에서의 척도화되고 객관화된 평점과 감성 분석법에서의 개개인의 자유롭고 주관화된 의견을 비교함으로써 상호 간의 보완 역할을 기대할 수 있다.
그러므로 본 연구에서는 다양한 방법으로 진행되고 있는 비대면 수업에 대한 만족도 분석을 통해 비대면 수업에 긍정적인 효과를 줄 수 있는 유용한 정보를 제공하여 비대면 수업의 질적 제고를 높이고자 한다. 또한 최근 들어 교육 분야에서 많이 사용되고 있는 비대면 수업의 효과적인 방법에 필요한 정보를 제공하고 비대면 수업이 나가가야 할 방향을 모색하고자 한다.
본 연구의 목적을 달성하기 위해 설정된 구체적인 연구문제는 다음과 같다.
연구 문제 1. 비대면 수업의 설문 조사 중 Likert 5점 척도에서의 만족도는 어떠한가?
연구 문제 2. 비대면 수업의 설문 조사 중 개방형 질문에서의 만족도는 어떠한가?
연구 문제 3. 비대면 수업의 SNS 감성 분석에서의 만족도는 어떠한가?
Ⅱ. 이론적 배경
1. 비대면 원격수업의 현황
비대면 원격수업이란 교수자와 학습자 간의 수업 진행이 서로 다른 공간이나 시간에서 이루어지는 수업의 형태이며, 세부적으로 중간고사나 기말고사와 같은 교수자가 학습자의 성취도를 평가하는 활동을 제외한 학습 활동 중 70% 이상의 수업 형태가 원격으로 진행되는 교과목을 의미한다(The Ministry of Education, 2020).
우리나라의 경우 그동안 플립러닝(flipped learning), 블렌디드 러닝(blended learning) 등 다양한 온라인 영상을 기반으로 한 교육들이 시행되고 있었지만, 코로나-19 사태로 인해 갑작스럽게 전면적으로 시행된 비대면 원격수업은 2020년 1학기를 거치면서 교수자와 학습자뿐만 아니라 학부모에게까지 많은 혼란을 발생시켰고, 2020년 2학기를 앞두고 비대면 수업의 만족도를 연구하는 일부 논문들이 발표되었다. Suh(2020)은 설문 조사를 바탕으로 비대면 원격 수업의 교육 만족도에 미치는 요인을 분석하기 위해 비례오즈 로짓모형을 실시하여 학생들이 원하는 개선사항들을 분석하였다. Kim(2020)은 설문 조사를 통해 비대면 원격수업에 대한 학생들의 만족도는 전반적으로 수업을 잘하고 있다고 연구하였으며, 각 학년별로 만족도를 느끼는 부분의 항목의 차이가 있음을 시사하였다.
2. SNS 중 트위터의 현황
SNS는 온라인을 통하여 사회적 관계를 맺고 쌓아가는 플랫폼으로 사용자가 간의 자유롭게 정보를 공유하고 의사소통을 하며 가치를 확장해 나아가고 있다. SNS는 웹을 기반으로 소통하는 플랫폼이기에 스마트폰의 보급이 확대되면서 그 이용자도 함께 증가하였다.
세계적으로 SNS 분야를 선도하는 트위터(twitter)는 2006년 3월에 개발되어 대한민국에서는 2011년 1월 11일부터 공식 서비스를 시작하였다. SNS(단문 메시지 서비스), e-메일, 인스턴트 메신저 등을 통해 ‘트윗(tweet)’을 전송할 수 있다. 트윗은 140자가 한도인 글 한 편에 해당하는 단위이다. 140자로 제한된 점에서 웹보다는 스마트폰에서 더욱 최적화된 서비스이다.
글로벌 시장조사업체 스탯카운터의 2018년 2월 19일 보고에 따르면 한국에서 소셜미디어 선두 자리는 트위터로 그 점유율은 58.19%를 차지한다(Chio, 2018).
3. 감성 분석
감성 분석(Sentimental Analysis)은 대중이나 소비자의 감성 또는 감정과 관련된 텍스트 정보를 추출하는 텍스트 마이닝(Text Mining) 기술이다. 예를 들어 온라인 쇼핑몰 등의 이용자가 남긴 상품평에 대한 분석이 대표적 사례로 하나의 상품에 대해 사용자 감정의 좋고 나쁨을 표현한다. 텍스트 마이닝이 단순히 정보를 추출하는 것에 비하여 감성 분석을 통하면 어떠한 주제에 대한 주관적인 감정이나 인상을 텍스트로부터 도출해 낼 수 있다.
4차 산업혁명과 함께 최근 빅데이터라는 용어가 주목을 받으면서 사회 여러 분야에서 감성 분석이 이뤄지고 있다. 대표적인 분야로 온라인 쇼핑몰의 경우 Choi(2020)는 소비자의 숨겨진 소비 심리를 파악하고자 하였다. 여행 및 관광업과 관련하여서도 Kim et al.,(2019)은 별점으로 표시되는 정형화된 평점을 넘어 이용객이 남긴 리뷰의 텍스트 안에서 만족도를 찾기 위한 연구들이 이뤄졌다. 이뿐만 아니라 영화, 스포츠와 같은 엔터테인먼트 분야에서도 감성 분석은 왕성하게 활용되고 있다.
교육 만족도에 대한 강의 평가는 기존에는 설문 조사법에 의한 방식이 주도적으로 시행되었지만 최근 들어 일부 빅데이터를 활용한 강의 분석이 이루어지고 있다. Choi and An(2016)은 텍스트 마이닝을 통한 강의평가와 기존 리커드 척도에 따른 강의평가를 비교하였다. Lee and Nam(2018)에서는 텍스트 마이닝 기법을 통해 10년간의 주관식 강의평가를 분석하여 좋은 강의에서 반복적으로 나오는 키워드를 추출하였다. Choi et al.,(2020)에서는 학기 중간과 학기 말 두 차례 시행된 강의평가의 감성 분석을 통해 긍정과 부정의 비율을 비교 분석하였다.
하지만 기존의 감성 분석을 통한 교육 만족도 연구의 경우 설문 조사에서의 개방형 질문에 대한 답변에서 텍스트를 추출하여 분석한 것이기에, 본 연구는 SNS 상의 방대한 불특정 다수가 느끼는 만족도와 비교 분석하려 한다.
Ⅲ. 연구 방법
1. 연구 방법
본 연구의 조사 대상은 아래의 둘로 나누어 해당 결과를 비교하고자 한다.
먼저, 설문 조사의 경우 P 대학교에서 2020년 12월 학생 2,746명을 대상으로 진행 후 교직원들에게 결과를 공개한 ‘2020학년 2학기 비대면 수업 만족도’에 관한 설문조사 대상으로 사용하였다.
또한, 트워터를 이용한 감성 분석의 경우 트위터 API(Application Program Interface)의 특성상 최장 7~10일 단위로 라이브러리에 접근할 수 있기에, 총 3차례에 걸쳐 아래 8개의 키워드를 포함한 총 12,771개의 트윗을 대상으로 하였다(<Table 1> 참조). LMS강의, LMS수업의 키워드를 포함한 트윗의 수는 현저하게 떨어지기에 대상에서 제외하였다.
Number of tweets by keyword
설문 조사의 경우 2020학년 2학기 비대면 수업 만족도에 관한 설문 조사는 <Table 2>와 같이 리커드형 5점 척도 질문 5문항과 개방형 질문 1문항으로 이루어졌다. 트위터 감성 분석은 크게 총 5단계의 작업을 통해 이루어졌다.
Questionnaire about satisfaction with non-face-to-face classes for the 2nd semester of 2020.
- Step 1. 웹 크롤링(Web crawling) :
웹 크롤링은 웹상에 산재되어 있는 수많은 데이터 중에 자신이 목표로 하는 데이터를 자동적으로 수집하는 기술이다. 본 연구에서는 ‘Python’ 프로그래밍 언어를 통해 트윗 크롤링 프로그램을 작성하여 수집하였다. 웹 크롤링을 위한 Python 코드는 [Fig. 1]에 구체적으로 제시하였다.
![[Fig. 1]](/xml/31465/KSFME_2021_v33n6_1437_f001.jpg "[Fig. 1]")
Python code for crawling the Twitter web.
- Step 2. 데이터 전처리 :
트위터에서 크롤링한 text의 경우 불용어를 포함하고 있어 정제된 데이터를 위해 불용어 제거 등의 데이터 전처리 작업을 거친다.
- Step 3. 형태소 분석 :
형태소(Morpheme)은 문법적 의미를 가지는 최소의 언어단위로 특히 한국어의 경우 굴절어가 아닌 교착어에 해당하기 때문에, 형태소 분석을 통해 데이터를 정제한다. 본 연구에서는 ‘R’프로그래밍 언어 환경에서 KSA 한국표준협회 최석재 교수팀이 개발한 RHINO 프로그램을 통해 형태소 분석을 실시하였다.
- Step 4. 감성 사전 구축 :
현재 한국어 감성 사전으로는 KOSAC(서울대 언어학과), 오픈한글(연세대 정보대학원), KNU 한국어 감성 사전(군산대, 온병원) 등이 있으며, 본 연구에서는 KNU 한국어 감성 사전을 기본으로 하되, 정확도 향상을 위해 여기에 형태소 분석을 통해 빈도수가 10 이상인 단어 중 누락 단어나 신조어가 있으면 추가를 하여 감성 사전을 구축하였다. 본 연구를 위해 구축된 감성 사전은 긍정어 6,110개, 부정어 12,203개이며, 한국어의 어휘 특성상 부정어가 많이 집계되었다.
- Step 5. 감성 분석 :
트윗에 포함된 단어들 중 감성 사전 상의 긍정과 부정의 의미를 포함한 단어를 카운트한다. 본 연구에서는 ‘R’ 프로그래밍 언어를 통해서 감성 분석 프로그램을 작성하였으며 해당 R 코드는 [Fig. 2]에 구체적으로 제시하였다.
![[Fig. 2]](/xml/31465/KSFME_2021_v33n6_1437_f002.jpg "[Fig. 2]")
R code for sentiment analysis.
Ⅳ. 연구 결과
1. 비대면 수업의 설문 조사 중 Likert 5점 척도에서의 만족도
먼저 설문 조사 중 Likert 5점 척도로 이루어진 문항 1에서 문항 5까지에 대해 ‘매우 그렇다’와 ‘그렇다’의 경우는 긍정으로, ‘보통’의 경우는 중립으로, ‘그렇지 않다’와 ‘매우 그렇지 않다’의 경우는 부정이라는 3가지 카테고리로 구분을 하여서 <Table 3>과 같이 각 항목별로 만족도를 구하였다. 모든 항목에서 긍정의 비율이 중립이나 부정의 비율보다 높게 나타났다. 특히 수업 운영에 대한 질문인 문항 1의 경우 긍정의 비율이 평균보다 높게 측정되었다. 또한 비대면 수업의 플랫폼별 만족도를 조사하는 문항 2(LMS탑재 동영상 강의 활용)와 문항 3(실시간 플랫폼 Zoom 활용)에서 보면, LMS탑재 동영상 강의가 실시간 플랫폼인 Zoom보다 만족도가 높다는 것을 확인할 수 있다.
Likert-type questionnaire survey Satisfaction level by question
2. 비대면 수업의 설문 조사 중 개방형 질문에서의 만족도
기타 의견이나 건의사항을 서술식으로 작성한 개방형 질문인 문항 6의 523개의 답변에서 단어를 추출하여 감성 분석을 한 결과는 <Table 4>와 같다. 문항 1~5에서 긍정 비율이 높았던 것에 비하여 문항 6에서는 부정의 단어 비율이 높았다는 점을 확인할 수 있다.
Open-type questionnaire survey sentiment analysis
3. 비대면 수업의 SNS 감성 분석에서의 만족도
트위터에서 크롤링한 12,771개의 트윗에 대해 형태소 분석을 통해 단어와 어휘를 추출하여 감성 분석을 한 결과는 <Table 5>와 같다.
SNS sentiment analysis by keyword
SNS sentiment analysis by category
모든 카테고리에서 부정적 단어의 비율이 높게 나타났으며, 특히 ‘화상’과 관련된 카테고리에서 가장 부정 비율이 높게 나타났다.
설문 조사와 감성 분석을 포괄적으로 비교해 보았을 때 긍정의 비율은 Likert 5점 척도식 설문 조사에서 58.26%로 가장 높게 나타났으며, 개방형 질문 방식 설문 조사에서 45.34%로 다음으로 높게 나타났으며, SNS 감성 분석에서 32.80%로 가장 낮게 나타났다.
Ⅴ. 결론 및 논의
본 연구는 전통적 조사 방식인 설문 조사를 보완하는 방안으로 최근 많이 사용되고 있는 비정형 분석인 감성 분석을 통해 코로나-19 시대 비대면 수업의 질적 향상을 목표로 분석하고 연구하였다. 연구의 결과를 통해 다음과 같이 시사점을 제시하고자한다.
첫째, 대상자들은 비대면 수업이라는 동일한 주제를 답변의 자유도에 차이가 있는 5점척도 설문조사와 개방형 설문조사 및 SNS 등의 3가지 형태에서 만족도를 조사하였다. 결과 모두 유의미한 차이가 있었다. 특히 답변의 익명성과 자유도가 높을수록 적나라한 의견과 함께 부정 의견이 높았다.
원격강의는 운영방식에 따라 교수자와 학습자간의 의사소통이 동시에 일어나느냐에 따라 실시간과 비실시간으로 구분하고 있다(Belanger and Jordan, 1999). 비실시간의 경우는 과제에 대해 더욱 성찰하고 고민할 수 있어 좋다고 하였고(Park, 2015), 매체를 사용하는 것이 효과적이며(Park et al., 2020), 학습만족도가 실시간이나 교수자의 학습동영상에서도 차이가 있다고 보고하고 있다(Han and Kim 2020). Park(2020)은 비대면 수업이 교수실재감이나 만족도에서 모두 긍정적으로 유의한 영향을 준다고 보고하였다. 이상의 연구들은 학생들 대상으로 한 설문조사를 통한 분석이었다. 하지만 감성분석을 통해 학생들이 실시간으로 적어 놓은 글을 분석해 보면 선행연구들은 본 연구의 결과와 다른 결과를 나타냈다. 그러므로 다양한 연구방법으로 후속연구가 더 이루어진다면 비대면 수업이 주는 수업의 효과에 대해 정확한 답변을 들을 수 있을 것으로 보인다.
둘째, 감성 분석 연구는 보수적이고 폐쇄적인 분위기인 교육 분야에 있어 더욱 솔직한 의견 청취가 가능하다고 생각한다. 따라서 향후 교육 관련 만족도 조사에서 설문 조사 방식과 더불어 감성 분석을 병행할 경우 보다 상세하고 세밀한 정보를 파악할 수 있기 때문에 학생의 수업만족도를 이해하는데 도움이 될 것이라고 본다. 또한 비대면 수업의 질적 제고를 위해 교수자들에게 유용한 정보를 제공해 줄 수 있을 것이다.
본 연구의 제한점으로는 첫째, 한국어의 경우 같은 단어도 문맥에 따라 긍정이나 부정의 의미가 달라질 수 있다. 한국어 감성 분석 머신 러닝 프로그램이 개발된다면 문맥은 물론 긍정과 부정의 강도까지 측정 가능하다고 본다.
둘째, 연구 대상이 동일하지 않다는 점이다. SNS 감성 분석은 특정되지 않는 신원미상의 대상이기에 자유도가 높은 솔직한 의견 청취로서의 의미가 있다. 이를 대상을 한정 짓게 된다면 한정 지은 만큼 의견의 자유도는 제약을 받게 될 것이다. 본 연구의 목적은 연구 대상에게 아무런 제약이 없을 경우와 소속집단에서의 비대면 수업에 대한 만족도를 비교하는 것에 있다. 연구 대상이 동일하게 한다는 것은 그만큼 감성 분석에 있어 자유도의 제약을 가해 본 연구목적에 맞지 않다고 판단하였다. 추후 후속 연구에서는 대상의 한정에 따른 감성 분석 결과의 차이 분석을 통해 연구의 한계점을 극복한 연구를 진행하여 비대면 수업에 도움이 될 수 있는 방안을 마련해 주고자 한다.
하지만 여러 가지 제한점에도 불구하고 본 연구는 교육 만족도 부분에 있어서 최근 여러 분야에서 광범위하게 시행되고 있는 감성 분석을 접목했다는 점에서 교육적 의의가 있다고 본다. 향후 개선된 프로그램 및 감성 사전 구축을 통하여 더욱 정교한 통계분석으로 비대면 수업에 대한 만족도를 조사한다면 비대면 수업 환경의 효과적인 개선을 위한 근거가 될 수 있을 것으로 본다.
Acknowledgments
이 논문은 부경대학교 자율창의학술연구비(2021년)에 의하여 연구되었음.
References
-
Belanger F and Jordan D(1999). Evaluation and implementation of distance learning: technologies, tools and techniques. Technical Communication, 49(1):98-100
[https://doi.org/10.4018/978-1-878289-63-6.ch001]
- Choi DO, Kim YJ and Cheong HJ(2020). A Case and Implications of Mid-of-semester Evaluation of University Lectures: Text Analysis Using Big Data, Pusan National University Educational Development Institute 30(2), 179~201.
-
Choi HB(2019). Sentiment Analysis of E-commerce Review Data and Adaptable Sentiment Lexicon, Culture and Convergence 42(1), 357~378.
[https://doi.org/10.33645/cnc.2020.01.42.1.357]
- Choi JH(2018). Twitter, the domestic SNS market, beat Facebook?. Report 2018.02.19. Economic Review. https://www.econovill.com/news/articleView.html?idxno=332049
-
Choi JW and An DK(2016). A Study on the Data Analysis of the Written Comments in Lecture Evaluation, Journal of Digital Convergence 14(11), 101~106.
[https://doi.org/10.14400/JDC.2016.14.11.101]
-
Han SW and Kim BY(2020). A Study on the Response of Learners to University Online Education after Corona 19. The Korean Society of Culture and Convergence, 42(10): 155~172.
[https://doi.org/10.33645/cnc.2020.10.42.10.155]
-
Kim NI(2020). A Study on the Satisfaction of Non-face-to-face Online Class -Focused on K University, The Journal of Humanities and Social science 11(5), 1145~1158.
[https://doi.org/10.22143/HSS21.11.5.83]
- Kim KH and Lee HY(2002). A Study on the Factors Affecting Respondents in Survey, The Korean Association for Survey Research 2002(0), 215~224.
-
Kim MG, Hong SW and Suh IH(2019). Convolutional Neural Network based Filtering-Scoring System for Rating Prediction of Travel Attractions using Social Media, Journal of the Institute of Electronics and Information Engineers 56(9), 43~49.
[https://doi.org/10.5573/ieie.2019.56.9.43]
-
Lee HD and Nam MW(2018). Better Class’s Characteristics by Major Field based on the Analysis of Text Mining from College Course Evaluation Subjective Results, JResearch Institute for Early Childhood Education - Korea National University of Education 20(2), 21~41.
[https://doi.org/10.15409/riece.2018.20.2.2]
- Ministry of Education(2020). Guideline for attendance, evaluation, and recording of remote classes. Report 2020.04.07. Ministry of Education. https://www.moe.go.kr/boardCnts/view.do?boardID=294&boardSeq=80225&lev=0&m=02
- Park SH(2015). An Analysis of Structural Relationships among Variables Influencing Learning Outcomes of Tele-Collaborative International Exchange Learning. Konkuk University, Seoul.
- Park SH, Kim EH, Kim TW, You MK and Yang SH(2020). Remote class execution plan. Korea Education and Research Information Service.
- Park HS(2020). The effect of learning presence by university students on learning performance in distance lecture. Ewha Womans University, Seoul.
-
Suh HS(2020). A study on the effect of proportional logit model on satisfaction of uncontacted lectures, Journal of The Korean Data Analysis Society 22(4), 1371~1382.
[https://doi.org/10.37727/jkdas.2020.22.4.1371]
- Hwang YJ(2015). Analysis of consumer orientation using SNS data, Statistics Korea Report 2015(4), 117~154.