The Korean Society Fishries And Sciences Education

Journal Archive

THE JOURNAL OF FISHERIES AND MARINE SCIENCES EDUCATION - Vol. 31 , No. 2

[ Article ]
The Journal of the Korean Society for Fisheries and Marine Sciences Education - Vol. 31, No. 2, pp. 362-376
Abbreviation: J Kor Soc Fish Mar Edu.
ISSN: 1229-8999 (Print) 2288-2049 (Online)
Print publication date 30 Apr 2019
Received 18 Dec 2018 Revised 09 Jan 2019 Accepted 15 Jan 2019
DOI: https://doi.org/10.13000/JFMSE.2019.4.31.2.362

초등 과학 주제 학술논문의 제목 특징과 피인용수와의 관계 분석
김동렬
대구교육대학교(교수)

A Study on Correlations between the Characteristics of Elementary Science Topic Academic Thesis Titles and the Number of Citations
Dong-Ryeul KIM
Daegu National University of Education(professor)
Correspondence to : 053-620-1347, ahabio@hanmail.net


Abstract

This study aims to find out correlations between the characteristics of elementary science topic academic titles and the number of citations. Thus, this study analyzed the length of thesis titles, the structure of networks and the type of thesis titles, further analyzing their relations with the number of citations. Based on the analysis results, this study came to the following conclusions. Firstly, this study found out that when the number of citations was within the top 30, the correlation between the length of thesis titles and the number of citations was not statistically significant, and for 106 theses with over 20 citations in total, the correlation between the length of thesis titles and the number of citations was not statistically significant as well. Secondly, in the degree centrality analysis that reveals keywords from thesis titles in the field of elementary science, this study discovered that the keyword, ‘Education’, played the central role in the network and was connected with other keywords in many thesis titles. In the betweenness centrality analysis, it was found that the keyword, ‘Analysis’, became part of the title by playing a role as a gatekeeper in the network and becoming connected with several variables. Thirdly, it was found that in the type of thesis titles, the majority of theses had tiles about‘Science Educational Theories’ and ‘Science Teaching and Learning Methods’, resulting in the most number of citations. The average number of citation was most in the type of thesis titles about‘Science Educational Theories’ and ‘Science Teaching and Learning Methods’ as well.


Keywords: Elementary science topic academic titles, The number of citations, Centrality analysis

Ⅰ. 서 론

모든 출판된 논문에는 제목이 있으며 제목은 독자가 처음 접하는 부분이다(Fox and Burns, 2015). 논문 제목은 해당 연구의 얼굴이며 연구의 중심적인 내용을 알려주므로, 연구에 맞은 제목을 선정하는 것은 연구과정의 어떠한 단계보다 중요한 의미를 지닌다. 물론 연구자에 따라서는 연구를 진행하면서 제목을 확정하는 경우도 있으나, 연구를 시작하기 전에 무엇에 관해 연구를 할 것인지에 대한 확고한 관점이 정립되어야만 연구가 진행될 수 있기 때문에 연구를 시작할 때 논문 제목에 대한 기본적인 틀을 세우고 연구의 맥락을 잡는 것이 필요하다. 따라서 논문 제목은 연구의 맥락적 접근에 필수적인 요소이며 연구 문제, 연구 대상, 구체적인 연구 방법을 설정하는데에 중요한 역할을 한다. 잘 쓰여진 논문 제목은 해당 주제 영역의 논문으로서 검색되어 도움을 받을 수 있도록 도와주며 독자에게 어떠한 정보를 제공할 것인지에 대해 암시해 준다(Grant, 2013).

논문 제목은 독자들에게 논문의 내용 요약을 제공하고, 전자 데이터베이스에서 키워드와 색인 용어를 제공하며(Beel and Gipp, 2009), 장래 독자가 논문을 읽도록 동기 부여한다(Ball, 2009). 또한 논문 심사위원은 일반적으로 논문 심사를 요청받고 논문의 첫인상 및 검토 등의 여부는 제목의 특징에 영향을 받을 수 있다(Fox and Burns, 2015). 더불어 논문 제목을 분석하는 것은 그 시대적 연구 동향을 파악할 수 있다. 논문 제목에는 중요한 핵심 키워드가 포함되므로 특정 분야에서 추구하고자하는 교육학적 방향을 이해할 수 있는 중요한 기준이 될 수 있다. 또한 논문 제목을 통하여 시대적 연구 방법의 경향을 이해할 수 있다. 예를 들어, 과거 과학교육 논문 제목은 과학교육론이 강화되고 수업적 측면의 효과를 알아보기 위하여 실험연구 관련 제목이 성행했다면 최근에 들어서는 과학교육에서의 아이들의 내면적 관점을 이해하기 위한 질적연구 제목들이 선보이고 있다(Lee et al., 2017).

이러한 맥락에서 논문 제목은 논문의 핵심 내용이 나 목적을 간결하면서도 명확하게 표현되도록 한다(Park, 2012). 논문 제목은 그 속의 몇 개의 키워드만 보더라도 논문의 특성이 그대로 노출되며 그 논문의 줄거리를 이해할 수 있을 정도이다. 따라서 논문 제목을 통하여 연구자들은 연구의 유형에 따라 어떠한 키워드를 사용하며 어떻게 연구자의 아이디어를 표출하는지 분석하는 것은 중요한 의미를 지닌다.

한편, 이러한 논문 제목이 연구 내용을 대변하지 못한다면 그 논문은 팔리지 않는 상품과 같은 신세가 된다(Seong and Shi, 2011). Wang and Bai(2007)은 좋은 논문 제목은 실질적인 연구의 내용에도 영향에 영향을 미칠 수 있으며 유익하고 매력적인 제목은 논문의 다운로드와 인용횟수 증가로 이어질 수 있다고 주장하였다. 인용은 연구의 이론적 근거와 객관성에 대한 뒷받침이 되는 자료를 제시하는 것으로(Choi, 2004), 인용이 많이 된 논문일수록 질적으로 우수하고 영향력이 크다고 볼 수 있다(Park and Yoo, 2010). 논문의 인용률은 그 논문의 질적 가치를 인정하면서 현재 이슈가 되는 핵심적인 키워드가 나타나며 다른 연구자들의 관심의 표현이면서 연구자의 논문을 완성하기 위한 참고논문으로 많이 활용 되었다는 것을 의미한다. 즉, 인용률이 높다는 것은 그 만큼 타 연구에 참고자료로서 활용된 가치가 높은 것으로 평가할 수 있다. 따라서 특정 연구 분야의 인용률을 분석하는 것은 연구의 동향뿐만 아니라 우수한 연구를 진행하기 위한 선행연구자들이나 앞으로 연구를 진행할 신진연구자들에게 논문 주제의 선정과 활용 가능성이 높은 논문을 작성하는데 기초 자료를 제공할 수 있다.

Cho and Song(2013)은 논문 제목의 길이, 부제목 사용 여부, 의문형 제목 여부, 주제어의 수, 표의 수, 그림의 수, 수식의 수 등이 피인용수의 영향요인으로 작용할 수 있다고 보았다. 또한 Habibzadeh and Yadollahie(2010)의 연구에서는 인용률과 논문의 전체 페이지수와도 관계가 있으며, Fumania et al.(2015)의 연구에서는 논문 제목의 길이, 문장부호와 인용률과의 관계의 중요성을 이야기하였다. 국내에서는 Lee(2013)가 과학적 소양 관련 연구물 중에서 높은 인용빈도를 나타내는 연구물을 선택하여 이들 내용을 토대로 과학적 소양의 개념이나 정의가 어떤 의미로 사용되고 있는지 알아보고자 하였다. 그러나 아직까지 국내의 초등 과학 교육 연구에서 논문의 특징과 피인용수와의 관계를 조사한 연구는 없으며 이로 인해 연구의 주제를 선정하고 구체적인 제목을 결정하는데 실질적인 정보를 제공한 연구나 도서는 찾기 힘들다.

한편, 최근 연구방법으로서 문장, 문단, 문서의 텍스트 내용을 양적, 질적, 혼합적 결과로 해석하는 네트워크 분석(Social Network Analysis)이 활발히 이루어지고 있다. 네트워크 분석은 텍스트를 구성하는 단어와 단어사이의 관계를 네트워크화하여 그들간의 관계를 해석하는 분석기법이다. 이 방법은 텍스트 내용에 대한 자의적 해석을 줄이고 객관성을 유지할 수 있는 분석방법으로 알려져 있다(Lee and Kim, 2017). 또한 네트워크 분석은 단순히 단어들의 빈도수를 구하는 것에서 벗어나 각 단어들이 서로 어떠한 유기적 관계를 가지며, 구조와 패턴을 나타내는지를 시각적으로 분석하는 것으로 최근 교육학에서도 네트워크 분석방법을 활용해 연구하는 사례가 늘어나는 추세이다(Heo, 2016; Kim, 2018; Lee, 2012). 더욱이 논문 제목은 핵심적인 키워드들을 통하여 연구의 핵심적인 내용과 목표를 짐작할 수 있도록 한다는 점에서 키워드를 통한 네트워크 분석은 논문 제목의 특징을 분석하는데도 유용하게 활용될 수 있다.

본 연구에서는 초등 과학 주제 논문 제목의 특징과 피인용수와의 상관관계와 네트워크 분석을 통하여 초등 과학 교육의 연구를 진행하고자 하는 연구자들이 논문 제목을 결정할 때의 기초 자료로 활용할 수 있도록 하였다.

본 연구의 목적 하에 설정된 연구 문제는 다음과 같다.

첫째, 초등 과학 주제 논문 제목의 길이와 피인용수와의 관계는 어떠한가?

둘째, 초등 과학 주제의 피인용수가 높은 논문 제목 키워드들의 네트워크 구조는 어떠한가?

셋째, 논문 제목의 유형에 따른 피인용수는 어떠한 차이가 있는가?


Ⅱ. 연구 방법
1. 분석 대상 선정

본 연구에서는 ‘초등 과학’ 주제어를 사용하는 논문 제목을 검색하기 위하여, 한국연구재단 등재(후보)학술지를 검색할 수 있는 한국학술지인용색인 사이트(https://www.kci.go.kr)를 이용하였다. 한국학술지인용색인 사이트에서 ‘초등 과학’ 키워드를 이용하여 관련 논문을 검색하여 피인용수 순위에 따라 논문 제목을 배열하였다. 검색된 일부 논문 제목 중 ‘초등 과학’ 키워드로 검색은 되나 실질적으로 초등 과학과 관련이 없는 논문 제목이거나 내용 측면에서도 관련이 없는 경우는 분석대상에서 제외하였다. 본 연구에서는 발행 연도별 논문 제목과 피인용수와의 관계는 분석하지 않다. 발행 연도가 오래될수록 피인용수에 영향을 미칠 수 있는 당연한 요인이 있기 때문이다.

최종적으로, 피인용수와 관련된 선행연구의 논문 추출 기준을 바탕으로(Fumania et al., 2015; Habibzadeh and Yadollahie, 2010) 피인용수가 20회 이상인 논문 제목을 분석 대상으로 선정하였으며 총 분석 논문 편수는 106편이었다.

2. 분석 방법
가. 논문 제목의 길이와 피인용수와의 관계

추출된 106편 논문 제목의 길이는 띄어쓰기를 제외한 각각의 글자의 수를 카운트하고 각 논문의 피인용수와 하나의 표로 정리하였다. 이어서 두 변인간의 관계를 상관분석을 통해 확인하였다. 결과는 피인용수 30위까지의 논문의 제목 길이와 낱말 수, 피인용수를 표로 제시하였다. 피인용수와의 상관분석은 논문 제목 길이가 상위 30위까지 30편 그리고 논문 제목의 길이 순위와 상관없이 분석 대상 전체 106편과 이루어졌다.

본 연구에서의 피인용수의 의미는 한국학술지색인용 사이트에서의 개별 논문의 인용수를 의미하는 것으로, 피인용수는 일반적으로 특정 논문이 학계에 인정받고 연구자들의 관심을 받고 있는지를 확인할 수 있는 지수이다.

나. 피인용수가 많은 논문 제목의 네트워크 구조

피인용수가 많은 제목을 순서대로 배열한 후 각 논문 제목의 키워드를 분석하였다. 분석은 Netminer 4.0 프로그램을 이용하여 키워드를 분석하고 각 키워드간의 관계를 확인하기 위하여 연결정도중심성(degree centrality)과 매개중심성(betweennes centrality) 네트워크 분석을 실시하였다. 구체적인 네트워크 분석 과정은 [Fig. 1]과 같다.


[Fig. 1] 
Process of Network Analysis

우선, 피인용수가 20회 이상인 논문 제목을 띄어쓰기, 문장부호 등을 체크하여 엑셀파일로 정리하였다. 이어서 가장 기본적인 키워드인 ‘초등’, ‘초등과학’, ‘과학’ ‘초등학생’, ‘초등학교’ 등에 대한 키워드를 제외할 수 있는 텍스트 파일을 생성하였다. 이러한 단어는 대부분의 초등 과학 관련 논문에 포함되어 있으므로 논문의 특징을 분석하는데는 의미가 없는 것으로 보았다. 이러한 기본적인 전처리 과정을 마치고 본격적으로 네트워크 기본 구조인 총키워드 수와 총연결수, 평균 연결정도, 밀도, 클릭크(Cliques)를 분석하였다. 총키워드 수는 논문 제목에 나타나는 명사, 형용사를 중심으로 논문 제목 네트워크에 출현한 키워드를 의미한다. 키워드로는 조사나 서술어, 문장기호 등은 제외하였다. 총연결수는 추출된 키워드간의 관계를 의미하는 것으로 네트워크를 형성하는 선(링크)을 의미한다. 평균 연결정도는 네트워크를 구성하는 한 키워드와 다른 키워드간의 연결된(링크) 평균수를 의미하는 것으로 네트워크 분석시 설정한 Window Size의 값에 따라 결정되는 것으로 본 연구에서는 바로 앞뒤의 키워드간의 관계로 한정하여 Window Size를 2로 설정하였다. 밀도는 네트워크에서 키워드 사이의 연결된 정도로 네트워크 내 키워드간에 얼마나 많은 관계를 맺고 있는가를 의미하는 것이다(Son, 2002). 밀도 분석을 통해 네트워크의 촘촘함 정도를 확인하였다. 클리크는 키워드가 밀접한 관계를 형성하여 하나의 네트워크를 형성하는 것으로 적어도 3개의 키워드가 완전한 링크를 형성하는 것을 의미하는 것으로 클릭크 수가 많을수록 주요 키워드가 밀접한 관계를 형성하며 논문 제목을 형성된 것으로 해석할 수 있다. 이러한 기본 네트워크를 분석한 후에 실질적인 네트워크의 중심성 분석을 하였다. 중심성 분석은 키워드가 네트워크에서 얼마나 중심적인 역할을 하는지를 분석하는 것으로 네트워크의 중심이 되는 행위자 또는 조직을 찾고 전체적인 중심화 경향(centralization)을 분석하는 지표이다(Kim, 2018). 중심성에서도 연결정도중심성은 다른 키워드(노드)와이 링크(연결)된 정도를 의미하는 것으로 한 키워드에서 연결된 수가 많을수록 연결정도중심성은 높게 나타났다(Kim and Kang, 2017). 연결정도중심성이 높을수록 다른 키워드로부터 관계를 맺고 싶은 대상이면서 다른 키워드간의 연결 범위가 넓은 마당발로서의 역할을 수행한다고 해석할 수 있다. 매개중심성은 한 키워드가 다른 키워드와 얼마만큼 가까이 있는지를 확인하는 것으로 네트워크에서 중개자이면서 키워드간에 연결하는 다리 역할을 하는 정도를 의미한다. 따라서 매개중심성이 높은 키워드일수록 논문 제목을 구성하는데 키워드간에 연결고리 역할을 한다고 볼 수 있다. 연결정도중심성과 매개중심성은 총 출현한 키워드들을 대상으로 분석하였으나 상위 30위까지의 키워드와 중심성 값을 연구 결과로 제시하였다. 컴포넌트(componet)는 ‘초등 과학’ 네트워크를 구성하는 하위 네트워크를 분석하는 것으로 키워드간에 끊어지지 않고 연결된 것으로 각 컴포넌트에 속한 키워드들은 서로 연결되어 논문 제목을 구성하며 반면 고립된 키워드는 상호 관계를 가지지 않는 키워드로 해석할 수 있다. 컴포넌트의 크기가 클수록 다양한 키워드들간의 관계를 형성하여 다양한 논문 제목이 구성되었다는 것을 의미하며 컴포넌트가 많을수록 그 만큼 파편화되어 논문 제목이 구성된 것을 의미한다.

다. 논문 제목의 유형과 피인용수와의 관계

논문 제목의 유형은 Hartley(2008)이 권위 있는 학술지 논문의 제목을 분석하여 제시한 13가지 논문 제목 유형 중에서 5가지 유형을 선정하여 활용하였다. 선정된 5가지 유형은 본 연구에서의 분석 대상인 106편의 논문 제목을 연구자와 과학교육전문가 1인이 분석을 통하여 ‘초등 과학’ 논문 제목 유형으로 적합하다고 평가된 것이다. 각 유형별 구체적인 특징은 분석에 용의하도록 실제 논문 제목과 연관 지어 정리하여 분류 기준으로 삼았다(<Table 1>). 논문 제목만으로 유형을 분류하기에 어려움이 있는 경우 초록과 본문 내용으로서 연구 방법 부분을 탐색한 후에 분류하였다. 그럼에도 5가지 유형에 포함되지 않거나 분석하기에 모호한 12편의 논문 제목은 분석 대상에서 제외하였다. 분석 결과로는 논문 유형별 빈도수와 각 유형별 피인용수 합계, 평균을 구하여 표로 제시하고 논의하였다.

<Table 1> 
Thesis Title Type Analysis Criteria
Type Criteria and Contents
Titles about science educational theories and science teaching and learning methods ● Science education theories recently becoming hot issues
● Science teaching and learning methods
● Exploration into educational meanings of the trends of science essence and science education theories
● Research into teaching and learning directions
Titles highlighting specific topics through subtitles ● Applied to specific topics
● Intensive research into sub-topics within a certain chapter of elementary science
● In-depth approach by putting emphasis on specific research methods
● Research focusing on specific methods of application
● Research into specific targets
Titles in the type of question ● Question-type titles can attract attention from readers
● They intend to find right answers to the questions through results
● Authors can express their own questions through titles
Titles about correlations between variables and their effects ● Analysis of casual relations between variables
● Factors affecting science attitudes
● Relative contribution by each variable
● Analysis of variable types and factors
Titles highlighting methodology used in the research ● Meta-analysis related to the trend of research
● Exploratory analysis related to elementary science
● Research into students’ and teachers’ perceptions
● Able to express concrete research methods through titles, such as qualitative research, quantitative research and mixed-method research


Ⅲ. 연구 결과 및 논의
1. 논문 제목의 길이와 피인용수와의 관계

논문 제목의 길이는 14글자수에서 49글자수까지 다양한 제목의 길이를 보였으며 이는 낱말의 수에 따라 길이가 달라진 것으로 볼 수 있었다. 가장 많은 피인용수를 보인 논문 제목은 151회로 나타났으며 그 다음으로는 82회, 75회, 73회, 64회 순으로 나타났다. 30위까지의 피인용수는 151회에서 36회까지 나타났다(<Table 2>).

<Table 2> 
The Length of Thesis Titles and the Number of Citations
Rank Length of Thesis Titles
(Except spacing words)
Number of Words Number of Citations Rank Length of Thesis Titles
(Except spacing words)
Number of Words Number of Citations
1 28 6 151 16 17 4 44
2 19 9 82 17 44 16 42
3 49 12 75 18 30 8 41
4 19 6 73 19 19 5 41
5 19 7 64 20 43 12 41
6 44 13 64 21 46 14 41
7 16 6 62 22 14 5 40
8 28 10 62 23 44 15 40
9 18 4 56 24 33 9 39
10 23 4 56 25 18 6 38
11 28 7 56 26 45 14 38
12 26 10 54 27 36 9 38
13 45 13 52 28 33 9 37
14 19 6 45 29 31 9 36
15 28 9 45 30 28 11 36
Pearson Correlation -.118(-0.63)
Sig. .536(.522)
N 30(106)

논문제목과 피인용수와의 상관관계를 분석한 결과, 피인용수가 30위까지의 논문 제목 길이와 피인용수와의 상관계수는 -.118이고 유의수준은 .536으로 통계적으로 유의하지 않았다. 또한 피인용수가 20회 이상인 106편 논문 제목 길이와 피인용수와의 상관분석에서 상관계수는 –0.63이고 유의수준은 .522로 통계적으로 유의하지 않았다. 따라서 초등과학 주제 논문 제목의 길이와 피인용수는 상관관계가 없는 것으로 분석되었다.

한편, Cho and Song(2013)은 논문 제목이 길수록 더 많은 낱말을 포함하며 이를 통해 검색될 가능성이 높아지므로 인용횟수가 증가할 수 있다고 보았다. Lewison and Hartley(2005)는 과학 논문 제목은 시간이 지남에 따라 구조가 바뀌고 있으며 제목의 단어 수가 증가하여 타 연구에 참고될 가능성이 높아지고 있다고 보았다. Jamali and Nikzad(2011)도 긴 제목과 콜론이 있는 제목의 이점은 더 많은 키워드가 포함되어 데이터베이스에서 더 많이 발견되고 검색될 수 있다고 보았다. 반면 Hwang(2009)은 간결한 논문 제목일수록 강한 인상과 쉽다는 느낌을 줄 수 있으므로 인용률을 높을 수 있다고 보았다. 이와 관련하여 Seo et al.(2011)은 논문 제목은 가급적 15-20자를 초과하지 않은 상태에서 간결하게 표현하는 것이 독자들에게 연구의 변인에 대한 접근이 쉽다고 주장하였다.

이와 같이 선행연구의 연구자의 관점과 연구 대상에 따라서 논문 제목의 길이에 대한 평가는 차이를 보였다. 그러나 분명한 것은 너무 포괄적으로 진술된 논문 제목은 연구의 방법을 확실하게 말해 주지 못하거나 한꺼번에 많은 수의 연구 방법과 절차를 제시하여 결과를 조직하기 어렵다(Cho, 2011). 이와 대조적으로 너무 좁은 의미로 진술된 논문 제목은 독자들이 논문의 내용을 유추하게 어렵게 하고 제한된 연구 문제로 접근할 가능성이 높다. 따라서 논문 제목은 명시적이고 간단한 키워드를 사용하고, 논문의 내용과 연구 방법, 연구 변인들을 고려하여 종합적으로 결정할 필요가 있다.

2. 피인용수가 많은 논문 제목 키워드들의 네트워크 분석

피인용수가 20회 이상인 초등 과학 주제 논문 제목 키워드들의 네트워크 기본 구조를 분석한 결과는 <Table 3>과 같다.

<Table 3> 
Basic Structure of the Network of Thesis Titles with Most Citations
Value
Total Number of Keywords 262
Total Number of Connections 450
Average Connection Degree 1.718
Density 0.013
Cliques 60

106편의 논문 제목에서 추출된 키워드(단어)는 262개였다. 이들의 키워드는 단어로서 한 낱말 안에서도 2개의 이상의 단어가 포함된 경우 각각의 단어가 추출되어 네트워크 구성에 적용되었다. 따라서 논문 제목을 구성하는 전체 낱말의 수와는 차이를 보였으며 키워드 수에는 서술어나 전치사는 제외되었다. 한편, 이들 키워드간의 총 연결 수는 450개이었으며 네트워크 분석시 Window Size를 2를 설정하여 바로 옆 단어만 연결을 짓도록 하여 단어들 간의 실질적인 연관성을 띄는 것에 한해 네트워크가 구성되었다. 따라서 키워드(단어)간의 평균 연결정도는 1.718로 나타났다. 네트워크 상에서 밀도가 1일 때 모든 키워들간의 연결이 완전하게 된 상태이나 초등 과학 논문 제목에 대한 네트워크 밀도는 0.013인 것을 볼 때 각 키워들간에 서로 밀접하게 연결되지는 않은 것으로 나타났다. 클릭크는 3개 이상의 키워드가 완전한 네트워크를 형성한 것으로 초등 과학 논문 제목에서는 60개의 완전한 네트워크를 형성한 것으로 볼 수 있었다. 전체 키워드가 262개임에도 60개의 클릭크가 나타난 것은 키워드 간에 완전한 연결을 보인 제목이 다양하게 나타나지 않았다는 것을 의미한다.

초등 과학 주제 논문 제목의 키워드의 연결정도중심성과 매개중심성을 분석한 결과는 <Table 4>와 같다.

<Table 4> 
Results of Analyzing Degree Centrality and Betweenness Centrality
Keywords Degree
centrality
Betweennes
centrality
Keywords Degree
centrality
Betweennes
centrality
education 0.107280 0.149099 application 0.034483 0.020832
analysis 0.099617 0.178051 academic 0.034483 0.041631
learning 0.091954 0.153619 grade 0.030651 0.019338
research 0.084291 0.164081 compare 0.030651 0.035069
class 0.080460 0.091158 problem 0.030651 0.045209
teacher 0.076628 0.108295 textbook 0.030651 0.035792
process 0.072797 0.149099 program 0.026820 0.015654
center 0.057471 0.105196 characteristic 0.026820 0.014910
activity 0.053640 0.071762 exploration 0.026820 0.030235
school 0.053640 0.052547 Strategy 0.026820 0.043139
student 0.049808 0.075878 type 0.026820 0.027152
apply 0.042146 0.020181 gifted education 0.026820 0.062286
development 0.042146 0.047914 teaching 0.026820 0.023446
STEAM 0.042146 0.028259 course 0.026820 0.032681
integrated 0.038314 0.032885 Observation 0.026820 0.015966

연결정도중심성 분석 결과, ‘교육’이 가장 높게 나타나 다른 키워드와의 연결이 가장 많고 논문 제목에 가장 많이 등장한 키워드임을 알 수 있었다. 이는 초등 과학 관련 논문은 교육학적 관점에서 접근한 연구가 주가 된 것으로 해석할 수 있다. 그 다음으로 ‘분석’, ‘학습’, ‘연구’, ‘수업’, ‘교사’, ‘과정’, ‘중심’, ‘활동’, ‘학교’, ‘학생’, ‘적용’, ‘개발’, ‘STEAM’, ‘통합’ 순으로 연결정도중심성이 높게 나타났다. 전체적으로 볼 때 ‘STEAM’ 키워드를 제외한 나머지 키워드들은 시대적 흐름과 상관없이 공통적으로 등장할 수 있는 키워드들이므로 교육학적 논문의 특징을 나타낼 수 있는 키워드들이 네트워크의 중심에 위치했다고 해석할 수 있었다. 한편으로, 교육과정이 개정되면 새로운 교수학습 방향이 제시되며 그에 맞는 새로운 키워드가 등장하는 만큼 그 키워드와 관련된 연구가 활발히 이루어질 가능성이 높다. 더불어 그 키워드를 포함한 논문 제목일수록 피인용수가 높아지고 연결정도중심성도 높아질 가능성이 높다.

이와 관련하여 Grant(2013)는 논문 제목에서 감정적인 또는 추상적인 언어의 사용은 시간이 지남에 따라 변하지만 구체적이고 특정 유형의 키워드를 포함하는 제목은 일관된 경향을 보인다고 하였다.

매개중심성 분석 결과, ‘분석’이 매개중심성이 가장 높게 나타난 것을 볼 때, ‘분석’이 키워드간의 최단거리에 자주 등장한다는 것을 의미하므로 초등 과학 연구를 진행하는데 있어 변인들을 관계를 확인하는데에 ‘분석’ 연구가 기본적으로 이루어진 것을 볼 수 있다. 즉, 초등 과학교육에서는 변인들의 원인과 결과를 알아보거나 특정 교육 현상을 관찰하는데 있어 ‘분석’을 통해 연구의 결과를 확인한 것으로 해석할 수 있다. 매개중심성은 한 노드(키워드)가 네트워크 내의 다른 노드들(키워드들) 사이에 위치하는 정보를 측정하는 것으로 이 위치에 있는 키워드는 키워드 사이를 연결하여 정보의 맥락에 형성에 큰 영향력을 가질 수 있다(Lee, 2013). 특히, ‘분석’ 키워드가 매개중심성 뿐만 아니라 연결정도중심성까지 높게 나타난 것을 볼 때 ‘분석’ 키워드가 포함된 논문 제목일수록 검색을 통하여 독자들에게 쉽게 발견될 가능성이 높으며 그에 따라 인용될 가능성도 높아질 수 있다. 그 다음으로는 ‘연구’, ‘학습’, ‘교육’, ‘과정’, ‘교사’, ‘중심’, ‘수업’, ‘학생’, ‘활동’, ‘영재교육’, ‘학교’, ‘개발’, ‘문제’ 순으로 매개중심성이 높게 나타났다.

초등 과학 논문 제목에 대한 키워드를 중심으로 네트워크를 시각화한 결과 대형 네트워크 하나가 형성되었고([Fig. 2]), 주변에 몇 개의 소형 네트워크가 형성된 구조를 확인할 수 있었다. 대형 네트워크에서는 연결정도중심성이 높은 키워드를 중심으로 서로 연결된 것을 확인할 수 있었다([Fig. 3]).


[Fig. 2] 
Visualized Structure of the Network of Elementary Science Thesis Titles with Most Citations


[Fig. 3] 
Central Part of the Network of Elementary Science Thesis Titles with Most Citations

서로 독립적으로 키워드간에 연결된 네트워크인 컴포넌트의 수는 총 5개로 나타났다. 그 중에서 253개의 키워드가 연결된 대형컴포넌트와 3개의 키워드로 구성된 컴포넌트 1개, 2개의 키워드로 연결된 컴포넌트가 3개가 나타났다(<Table. 5>).

<Table 5> 
Analysis of Components from Elementary Science-related Thesis with Most Citations
Size Percent(%) Desity Keywords
componet#1 253 96.565 0.014 education, teaching, Teacher, Textbook, subject, observation, relation, idea, scientist, science museum, course, higher grade, review, fixation, consideration ........ Interest, flow, utility, effect, utilization, activity, environment, format, current, present.......FMRI, STS, STEM, STEAM, PCK, PBL, Keller, IT ..........,
componet#2 3 1.145 0.667 world, biology, unit
componet#3 2 0.763 0.667 style, attribution
componet#4 2 0.763 0.667 teaching, microteaching
componet#5 2 0.763 0.667 addiction, internet

[Fig. 4]는 컴포넌트를 시각화한 결과로서 총 5개의 독립된 네트워크를 확인할 수 있으며 그 중에서 C1이 대형 컴포넌트로 나타났고 C2~C5의 소형 컴포넌트가 확인되었다.


[Fig. 4] 
Visualized Components of Elementary Science Thesis Titles

즉, 96%의 키워드가 하나의 대형컴포넌트를 이루고 있었고, 나머지 4%가 소형컴포넌트를 구성하였다. 대부분의 노드(키워드)가 하나의 컴포넌트에 포함되었고 고립된 노드는 존재하지 않았다. 컴포넌트 수가 적다면 네트워크 전체의 상호 연계정도가 매우 높은 것이기 때문에 키워드간의 연결의 동질성이 높다고 볼 수 있다(Son, 2002). 따라서 대다수의 키워드는 초등 과학 관련 논문 제목에 동시 출현될 가능성이 높은 것으로 분석되었다. 키워드 네트워크에서 각각의 컴포넌트는 특정 연구주제를 의미하는 것으로(Kim, 2017), 대다수의 키워드가 하나의 대형컴포넌트를 구성한 경우에는 독자들은 차별화된 논문 주제를 그 만큼 찾기 어렵다는 것을 의미한다. 좋은 논문 제목은 독자를 끌어들일 만큼 독창적인 키워드를 제시해야 한다(Hartley, 2008). 따라서 초등 과학 연구에서는 새로운 연구 주제의 개발과 해외 저널 분석을 통한 새로운 연구 방법을 적용한 연구가 활성화 되어야 할 것으로 판단된다.

3. 논문 제목 유형과 피인용수와의 관계

논문 제목을 유형별로 분류한 결과(<Table 6>), ‘연구에서 사용된 방법론을 부각시킨 제목’이 37편으로 가장 많이 차지하였고 그 다음으로 ‘과학교육학적 이론에 대한 제목’이 26편, ‘부제목을 통하여 특정 주제를 부각시키는 제목’과 ‘변인간의 관계나 영향 효과에 대한 제목’이 15편으로 나타났으며 ‘질문 형태의 제목’은 1편으로 분석이 되었다. 전체 논문수에 따른 피인용수의 합계가 가장 높은 유형은 ‘연구에서 사용된 방법론을 부각시킨 제목’으로 나타났고 피인용수의 평균은 ‘과학교육학적 이론, 과학교수학습방법에 대한 제목’이 가장 높은 것으로 나타났다. ‘변인간의 관계, 영향에 대한 제목’은 15편임에도 불구하고 피인용 평균은 두 번째로 높은 유형으로 분석되었다.

<Table 6> 
Results of Analyzing the Correlation between the Type of Thesis Titles and the Number of Citations
Type Number of thesis Total number of citations Average number of citations
Titles about science educational theories and science teaching and learning methods 26 1042 40.08
Titles highlighting specific topics through subtitles 15 445 29.67
Titles in the type of question 1 25 25
Titles about correlations between variables and their effects 15 568 37.87
Titles highlighting methodology used in the research 37 1096 29.62

학술연구는 어떠한 연구 방법을 사용하느냐에 따라 독창성과 결과 도출 내용이 달라지므로 연구 방법의 선정이 대단히 중요한 요소이다. 특히 연구의 독창성을 부각시키기 위해서는 기존에 사용되지 않은 연구 방법의 도입을 강조하기 위하여 논문 제목에 연구 방법을 표현하는 경우가 있으며, 결론 도출 방법에 대해 명시적으로 표현하기 위해서 논문 제목에 연구 방법을 표현하는 경우도 있다. 이를 통해 특정 연구 방법의 적용을 원하는 독자들의 검색률을 높이고 이것이 인용률로 이어질 수 있다. 특히, 초등 과학 관련 논문은 교육학적 연구이므로 교육학적 연구에서 적용될 수 있는 다양한 연구 방법을 적용한 것을 볼 수 있었다. 초등 과학 관련 논문에 적용된 연구 방법으로는 교사와 학생의 인식조사를 바탕으로 한 조사연구, 사례연구, 세세한 과정 중심적 해석으로 이루어지는 질적연구, 면담을 통한 교수학습에 대한 어려움 조사연구 등이 주를 이루었다(Kim et al., 2016; Oh et al., 2014). 추후 적용될 수 있는 연구방법으로는 네트워크 분석을 통한 초등 과학 교육의 연구 동향 분석과 연구자가 양적 및 질적 데이터를 수집하고 둘을 통합하며, 두 데이터의 장점들을 토대로 해석을 이끌어 내어 연구 문제를 이해하는 혼합연구방법(Creswell, 2015)이 있을 수 있다.

‘과학교육학적 이론, 과학교수학습방법에 대한 제목’과 관련해서는 수업모형을 적용하여 효과를 확인하는 연구의 빈도는 줄고 시대적 흐름에 따라 융합과 통합을 강조하는 수업과 새로운 교수법이 부각되었다는 점이 큰 특징이었다. 즉, STEAM 교육이 강조되어 과학과 교육과정의 목표와 관련된 연구가 활성화 된 것으로 확인되었다. 그러나 본 연구의 네트워크 분석에서 STEAM 키워드가 주변의 관련 키워드와의 연계성을 띤다기 보다는 독립적인 효과 확인과 이론의 정립을 위해서 연구가 이루어지다보니 연결정도중심성과 매개중심성이 두드러지게 높은 값을 보이지 않았다. 따라서 앞으로는 STEAM 키워드를 넘어서 기존의 교수학습방법이나 이론들과의 연계성을 띈 연구가 활발히 이루어질 필요가 있다. 즉, 특정 과학교육학적 이론이나 모형이 다른 키워드와의 연계성을 띠므로서 논문이 검색될 가능성이 높아지고 참고문헌으로서의 역할을 할 가능성이 높아진다.

‘부제목을 통해 특정 주제를 부각시키는 제목’으로는 15편만이 분석되었으나 피인용수 평균은 세 번째로 높은 것으로 나타났다. 부제목은 특정 주제를 강조하기 위한 것으로 초등 과학 관련 논문은 특정 연구 대상이나 특정 주제를 강조한 것이 대부분을 차지하였다. 이러한 경우는 강조가 필요하거나 제목 길이를 줄이기 위하여 부제를 활용한 의도가 있으며 주된 변인이 무엇인지를 보다 분명하게 나타냄으로서 인용률을 높일 수 있다(Kim et al., 2013). Jacques and Sebire(2009)의 연구에서는 콜론 등으로 부제목의 사용은 인용회수와 양의 상관관계가 있음을 발견했다. 그러나 실제 부제목은 연구 방법 이론서에서는 기피하는 것으로 가능하다면 주제목에 포함할 것을 강조하고 있다(Seo et al., 2011; Seong and Shi, 2011). 그럼에도 불구하고 부제목을 설정할 경우에는 연구가 제한적으로 접근될 가능성은 염두해야 한다.

‘변인간의 관계, 영향에 대한 제목’은 초등 과학과 관련된 변인들의 관계에 대해 양적분석을 통해 영향 등을 확인하는 논문 제목이 다수를 차지하였으며, 여러 변인들을 비교 분석하여 초등과학교육의 발전에 중요한 요인들을 찾는데 주안점을 둔 연구들이었다. 변인들의 관계성을 알아보는 것은 어떤 변인과의 관계와 영향을 알아보느냐에 따라 연구결과는 달라지므로 그 만큼 다양한 논문 제목이 생성될 가능성이 높다. 특히 ‘변인간의 관계, 영향에 대한 제목’의 논문 편수는 제한적이었으나 하나의 변인만 연구자들의 관심에 부합되면 참고논문으로 작용할 가능성이 있으므로 논문 편수에 비해 인용수가 높은 것으로 분석되었다. 아울러 독립변인을 조작하여 종속변인에서 어떤 변화가 일어났는지를 보는 실험연구와 두개 이상의 변인의 상관분석의 경우에 인과관계를 주장할 수 있으므로 변인과의 관계를 나타내는 논문 제목의 특징이 나타날 가능성이 높다(Kim et al., 2013).

‘질문 형태의 제목’은 독자들에게 관심을 유발할 수 있으나 제목의 명료성이 떨어지며 오히려 독자들에게 혼란을 유발할 수 있다는 점은 있다(Jamali and Nikzad, 2011; Kim et al., 2013). Francl(2014)Sagi and Yechiam(2008)은 느낌표, 질문 및 은유를 포함하는 제목은 연구 내용이 부정확하게 보이며 신뢰성을 떨어트릴 수 있어 많이 다운로드 되었음에도 불구하고 영향이 적고 인용수가 적을 수 있다고 보았다. 반면에 독자들에게 관심을 유발할 수 있다는 점과 독자들이 연구 결과에 궁금증을 가질 수 있다는 점에서는 장점을 가지고 있다. 또한 Cho and Song(2013)의 연구결과에 의하면 제목은 될 수 있으면 의문형으로 하는 것이 피인용수를 늘리는데 유리하다고 보았다. 본 연구에서는 초등 과학 관련하여 1편만이 질문 형태의 제목이었고 그 1편이 25회 인용된 것을 볼 때 질문 형태의 제목을 설정할 때 연구자가 질문에서 이야기하고자 하는 것이 연구 결과에 포함될 수 있는지, 물음에 대한 해답을 독자들이 연구 내용을 통해 찾을 수 있는지에 대해 심사숙고한다면 질문 형태의 제목도 피인용수에 긍정적인 영향을 미칠 수 있을 것으로 기대된다.


Ⅳ. 결론 및 제언

본 연구는 초등 과학 주제 학술논문의 논문 제목의 특징과 피인용수와의 관계를 알아보기 위하여 논문 제목의 길이, 네트워크 구조, 논문 제목의 유형을 분석하고 이어서 피인용수와의 관계를 분석하였다.

본 연구의 결과를 바탕으로 결론을 내리면 다음과 같다.

첫째, 논문 제목의 길이와 피인용수와의 상관관계를 분석한 결과, 피인용수가 상위 30위까지, 그리고 총 피인용수가 20회 이상인 106편 논문 제목의 길이와 피인용수와의 상관관계는 통계적으로 유의하지 않았다. 따라서 논문 제목 길이와 피인용수와는 상관관계가 없다는 결과를 얻을 수 있었다. 이러한 결과는 선행연구에서 분석한 결과와는 다소 차이를 보였다. 그러나 무엇보다도 중요한 점은 논문 제목을 결정할 때는 전체적인 연구의 흐름과 내용, 연구 방법을 얼마나 반영되었는지를 심사숙고해야한다는 점이다. 또한 너무 포괄적으로 진술된 논문 제목은 간단한 키워드로 바꾸고 애매한 키워드로 진술된 것은 명시적인 키워드로 바꾸어 독자들이 논문 제목을 통해서 연구의 내용과 문제를 쉽게 짐작할 수 있도록 해야 한다.

둘째, 106편의 논문 제목에서 추출된 총 키워드는 262개로, 네트워크를 구성하는 총 연결 수는 450개, 키워드간 1.718정도로 연결되어 키워드의 앞 뒤간에 연결된 네트워크를 형성한 것을 알 수 있었다. 밀도는 0,013값으로 나타나 느슨한 네트워크를 구성하였고, 독립된 클릭크는 60개가 나타났다. 따라서 전체적으로 한정된 키워드로 촘촘한 네트워크보다는 키워드간의 독립성을 보인 네트워크를 구성하였다. 초등 과학 분야의 논문 제목에서 중심적인 키워드를 알려주는 연결정도중심성 분석에는 ‘교육’ 키워드가 네트워크에서 중심을 이루어 다른 키워드들과 연결이 많이 되어 제목을 구성한 것으로 나타났다. 이는 곧 ‘교육’ 키워드는 초등 과학 논문 제목에서 동시 출현할 가능성이 높다는 것을 의미한다. 매개중심성 분석에서는 ‘분석’ 키워드가 네트워크에서 문지기 역할을 하면서 여러 변인들과 연결하여 제목을 구성한 것으로 나타났다. 따라서 초등 과학 학술논문의 제목에는 ‘교육’의 키워드가 중심적인 역할을 하며 ‘분석’을 통하여 결과를 제시한 논문 제목이 높은 비중을 차지한다고 해석할 수 있었다. 또한 키워드간의 완전 연결을 분석한 컴포넌트에서는 총 5개의 컴포넌트가 확인되었고 대다수의 키워드들은 대형컴포넌트에 포함되어 서로 연결된 것으로 보아 새로운 교수학습방법이나 연구 방법을 적용한 논문 제목이 생성되어야할 것으로 판단되었다.

셋째, 논문 제목 유형과 피인용수의 관계를 분석한 결과 ‘과학교육학적 이론, 과학교수학습방법에 대한 제목’ 유형의 논문 편수가 가장 많았으며 그로 인해 피인용수도 가장 높은 것으로 분석되었다. 이는 초등 과학 관련 논문은 교육학적으로 접근한 학술논문이 많은 만큼 현장교육적 교수학습방법으로의 접근으로 피인용수가 높은 것으로 분석되었다. 피인용수 평균은 ‘과학교육학적 이론, 과학교수학습방법에 대한 제목’의 유형이 가장 높게 나타났고 그 다음으로는 ‘변인간의 관계, 영향에 대한 제목’ 유형이 높게 나타났다. 즉, 초등 과학 논문들은 초등 과학 교육에 영향을 미칠 수 있는 다양한 변인들을 분석하므로서 초등과학교육의 발전 방향을 제시하고자 하였다.

본 연구에서는 초등 과학 주제로 한정하여 논문 제목의 특성과 피인용수와의 관계를 분석하였으나 주제의 범위를 넓혀 광범위한 연구가 진행될 필요가 있다. 논문 제목은 연구자의 연구 성향과도 관련이 있으므로 실제 논문 제목이 연구 진행과정에서 언제 결정되어 연구가 진행되는지도 알아볼 필요가 있다. 이를 통하여 논문 제목이 실질적으로 연구 진행과 연구 방법의 결정에 어떠한 영향을 미치는지에 대한 세부적인 연구가 진행되어야 한다. 또한 논문 제목 설정에 대한 상세한 루브릭을 개발하여 초보연구자들에게 제시된다면 연구의 효율을 높일 수 있을 것으로 기대된다.


References
1. Ball, R, (2009), Scholarly Communication in Transition: The Use Question Aarks in the Titles of Scientific Articles Inmedicine, Life Sciences and Physics 1966-2005, Scientometrics, 79(3), p667-679.
2. Beel, J, and Gipp, B, (2009), Google Scholar’'s ranking algorithm: an introductory overview, In Proceedings of the 12th International onference on Scientometrics and Informetrics, 1, p230-241.
3. Cho, ES, and Song, JD, (2013), What kinds of articles are cited more in Korea?, Korean Marketing Review, 28(4), p33-56.
4. Cho, HH, (2011), Science Education Research Methods, Seoul, kyoyookbook.
5. Choi, KN, (2004), A Study on the KSCI(Korean Science Citation Index) for Analyze the Impact Factor of Domestic Journals, Journal of the Korean Library and Information Science Society, 38(4), p271-289.
6. Creswell, JW, (2015), A concise introduction to mixed methods research, Thousand Oaks, CA, Sage.
7. Fox, CW, and Burns, CS, (2015), The relationship between manuscript title structure and success: editorial decisions and citation performance for an ecological journal, Ecology and Evolution, 5(10), p1970-1980.
8. Francl, M, (2014), Laughing matter, Nature Chemistry, 6(1), p1-2.
9. Fumania, MR, Goltajib, M, and Parto, P, (2015), The impact of title length and punctuation marks on article citations, Annals of Library and Information Studies, 62(1), p126-132.
10. Grant, MJ, (2013), What makes a good title?, Health Information and Libraries Journal, 30(4), p259-260.
11. Habibzadeh, F, and Yadollahie, M, (2010), Are Shorter Article Titles more Attractive for Citations? Cross-Sectional Study of 22 Scientific Journals, Scientometrics, 51(2), p165-170.
12. Hartley, J, (2008), Academic writing and publishing : A Practical Handbook, Abingdon, UK, Routledge.
13. Heo, G, (2016), A Study on the Research Trends to Flipped Learning through Keyword Network Analysis, Journal of Fisheries and Marine Sciences Education, 28(3), p872-880.
14. Hwang, JB, (2009), How to Write a Medical Paper: An Introduction, Korean Journal of Pediatrics, 52(7), p756-765.
15. Jacques, TS, and Sebire, NJ, (2009), The impact of article titles on citation hits: an analysis of general and specialist medical journals, Journal of the Royal Society of Medicine Short Reports, 1(2), p1-5.
16. Jamali, HR, and Nikzad, M, (2011), Article title type and its relation with the number of downloads and citations, Scientometrics, 88(2), p653-661.
17. Kim, DR, (2017), A Study on the Research Trend of Elementary Environmental Education through an Analysis of the Network of Author Keywords, Journal of Korean Elementary Science Education, 36(2), p113-128.
18. Kim, HJ, (2018), A Study on Analysis of the Research Trend and the Knowledge Structure of Music Education by Analyzing Keyword Network, Research in Music Pedagogy, 19(1), p1-30.
19. Kim, HS, Gong, YJ, Yeo, TC, and Hwang, SS, (2013), How to write a thesis for beginners, Seoul, Hakjisa.
20. Kim, HY, Kang, BD, and YOO, PK, (2016), A Study on Analysis of Elementary School Students’ Perception on Science Classes Using Abductive Strategies, Journal of Fisheries and Marine Sciences Education, 28(5), p1492-1507.
21. Kim, TY, and Kang, BD, (2017), Analysis of Research Trends of Lifelong Education through Social Network, Journal of Fisheries and Marine Sciences Education, 29(1), p224-233.
22. Lee, MJ, (2013), Current content analysis of scientific literacy concepts research based-on the references of high frequencies cited in related articles, The Journal of Education Studies, 50(1), p1-15.
23. Lee, SK, Kim, SS, and Chae, DH, (2017), Analysis of Qualitative Research on Science Education Trend in Korea Using Semantic Network Analysis, Journal of the Korean Society of Earth Science Education, 10(3), p290-307.
24. Lee, SS, (2013), Network Analysis Methodology, Seoul, Nonheong.
25. Lee, SY, (2012), Analysis of Admission Officer System Research Trends of Domestic Journals : Application of Network Text Analysis, Journal of Fisheries and Marine Sciences Education, 24(5), p643-652.
26. Lee, SY, and Kim, JH, (2017), Research Trends of Positive Behavior Supports through the Keyword Network Analysis, Journal of Intellectual Disabilities, 19(2), p147-172.
27. Lewison, G, and Hartley, J, (2005), What’s in a title? Numbers of words and the presence of colons, Scientometrics, 63, p341-356.
28. Oh, JS, Lee, HC, and Yoo, PK, (2014), A Study on the Relationship between the Parents’ Learning Involvement and Children’s Intellectual Curiosity and Scientific Creativity of the Gifted Elementary Students of Science and General Students, Journal of Fisheries and Marine Sciences Education, 26(5), p1119-1128.
29. Park, HW, and Yoo, SH, (2010), International Impact of Scientific Research of Major Countries, The Journal of the Korea Contents Association, 10(3), p392-403.
30. Park, SJ, (2012), Comparison of the Components of Scientists' Research Paper Titles and Middle School Students' Free-inquiry Report Titles, Master dissertation, Korea National University of Education, South Korea.
31. Sagi, I, and Yechiam, E, (2008), Amusing titles in scientific journals and article citation, Journal of Information Science, 34(5), p680-687.
32. Seo, DJ, Chang, HY, and Kim, BH, (2011), Thesis writing textbook for humanities and social sciences, Seoul, Ilmunsa.
33. Seong, TJ, and Shi, GJ, (2011), Research methodology, Seoul, Hakjisa.
34. Son, DW, (2002), Social Network Analysis, Seoul, Gyeongmunsa.
35. Wang, Y, and Bai, Y, (2007), A corpus-based syntactic study of medical research article titles, System, 35(3), p388-399.