블로그

[와이즈인컴퍼니 : 플젝 스토리] 제12호 : 연구지원 - 설문의 타당성과 난이도를 검증할 수 있어?

등록일

2024-03-22

조회수

37

지혜는 경험에서 나온다고 합니다. 와이즈인컴퍼니에선 좋은 경험이 될 수 있는 다양한 프로젝트 사례들을 주기적으로 보내드리고 있습니다. 받으시는 여러분의 사업과 업무에 지혜가 가득하길 바랍니다. 더 많은 솔루션을 원하신다면 와이즈인컴퍼니에 메일회신 또는 연락부탁드립니다.
 2024년 3월 3주차
 연구지원 - 설문의 타당성과 난이도를 검증할 수 있어?

지혜는 경험에서 나온다고 합니다.

와이즈인컴퍼니에선 좋은 경험이 될 수 있는 다양한 프로젝트 사례들을 주기적으로 보내드리고 있습니다. 받으시는 여러분의 사업과 업무에 지혜가 가득하길 바랍니다.

더 많은 솔루션을 원하신다면 와이즈인컴퍼니에 메일회신 또는 연락부탁드립니다.

출처 : 뉴시스
와, 이곳은 어디야?

 

이곳은 한국청소년활동진흥원이에요! 한국청소년활동진흥원은 청소년을 위해서 다양한 활동을 하고 있답니다. 청소년을 위한 창의적인 체험활동, 청소년을 위한 정보, 청소년수련시설 관리, 청소년지도자 양성, 국내외 청소년 교류활동 지원, 방과 후 활동 운영 등등 수많은 활동들이 있어요!

 

한국청소년활동진흥원은 청소년의 삶의 질 향상을 궁극적인 목적으로 삼고, 신뢰, 혁신, 성장을 핵심가치로 여기고 있어요. 이걸 기반 삼아, 한국창소년활동진흥원은 디지털과 4차 산업혁명 시대를 맞아 청소년 활동을 쇄신하고 있답니다!

서울시 서대문구 경기대로 47

혹시 한국청소년활동진흥원에 대해 더 알아보고 싶으신가요?

로고를 누르면 안내해 줄 거예요!

대단해! 그럼 와이즈인컴퍼니는 이곳에 어떤 일로 방문한 거야?

와이즈인컴퍼니는 한국청소년활동진흥원으로부터 세 개의 의뢰를 맡아서 방문하게 되었답니다! 이렇게 많은 의뢰를 받은 만큼, 와이즈인도 힘내서 열심히! 수행했답니다!


세 개의 의뢰는 조금씩 연관이 있어요. 첫 번째로 청소년활동 핵심역량을 측정하는 설문지의 모형이 적합한지, 그리고 타당한지 분석하는 것입니다. 다른 두 의뢰는 이것과 연결됩니다.

 

두 번째는 이 설문지의 항목 중 하나인 디지털 리터러시를 측정하는 부분의 난이도를 분석하는 것입니다. 핵심역량 측정은 청소년을 대상으로 이뤄집니다. 그러니, 난이도를 분석할 때에 청소년의 시각이 중요하겠죠. 그래서 난이도를 조사하는 것은 청소년과 그들을 지도하는 지도자들을 대상으로 이루어졌습니다.

 

세 번째는 청소년 활동을 통해서 청소년들의 핵심역량이 발전했는지 알아보는 조사입니다. 이 조사에선 앞서 언급한 청소년활동 핵심역량 측정 설문지를 활용한답니다.

 

즉, 앞선 두 의뢰는 설문지를 보완하는 과정이고, 세 번째 의뢰는 설문지를 활용해서 청소년활동의 효과를 가늠하는 의뢰에요.


다수의 조사를 맡았을 때에는, 서로의 연관관계 파악이 중요하답니다.

좋아! 그럼 설문지가 적절한지 어떻게 분석한 거야?

우선 목적을 다시 한번 되짚어볼까요? 이번에는 청소년활동 핵심역량 측정 모형의 적합도와 측정도구의 타당성을 검토하는 것이 목적입니다. 그걸 위해서 핵심역량 측정도구의 내적일관성과 신뢰도를 분석할 거예요.

 

와이즈인은 이것을 크게 세 가지 작업으로 나눠서 수행했어요. 첫 번째는 핵심역량 하위요소별로 기술통계량(평균, 표준편차 등)을 산출했습니다.

 

그다음으로는 탐색적 요인분석을 통해서 내적 일관성과 신뢰도를 분석했어요. 이건 설문지의 질문들이 그 설문지의 큰 범주인 항목들을 얼마나 잘 설명하는지 알아내는 과정이에요.

 

마지막으로는 확인적 요인분석을 통해서 모델 전체의 타당성을 검증했답니다. 이건 각 역량과 그걸 구성하는 하위역량 간의 적합도를 검정한 거예요. 

[설문지의 구조 예시]  

설문지의 난이도는 어떻게 판정했어?


이번에는 설문지에서 평가하는 역량 중 하나인 디지털 리터러시에 대한 질문들의 난이도를 검정했어요. 설문지의 응답자는 청소년이기 때문에, 그 내용은 청소년들의 눈높이에 맞춰서 작성되어야 하기 때문이에요. 한국청소년활동진흥원은 이 점에도 주의를 기울였답니다.


설문지를 실제로 사용할 대상이 청소년이니만큼, 설문지의 난이도를 평가하는 사람으로는 청소년이 적합하겠지요. 그리고 청소년을 지도하는 지도자분들은 메타적인 관점에서 청소년과 설문지를 볼 수 있기에 대상으로 선정되었답니다. 

 

평가 방법은 간단해요. A, B 두 개의 설문지를 상상해 보세요. A 설문지는 청소년들의 디지털 리터러시 역량을 평가하는 설문지입니다. 그리고 B 설문지는 A 설문지의 난이도를 평가하는 설문지에요. 이번 조사에선 A 설문지를 응답자들에게 보여주고, B 설문지에 응답자들의 생각을 기록하게 했답니다.

[설문지 평가 예시]

실제로 설문지를 활용한 조사는 뭐야?


한국청소년활동진흥원은 전국의 청소년 수련 시설과 연계하고 있어요. 그리고 이 수련 시설들에선 KYWA형 PBL(Project Based Learning, 프로젝트 기반 학습)모델을 사용한 활동을 청소년들에게 제공하고 있답니다. 이 활동들은 한국청소년활동진흥원이 선정한 청소년의 핵심역량 7가지를 향상시키는 것이 목적이에요. 앞서 언급한 디지털 리터러시도 이 역량 중 하나랍니다.

 

그래서, 그 활동들이 실제로 청소년들의 핵심역량을 향상하는지 검정하는 것이 이 설문지의 목적이라고 할 수 있답니다. 이 설문지는 자기기입형 5점 척도로 질문이 구성되어 있답니다. 자기기입형이니만큼, 불성실하거나 거짓된 답변을 제외하는 전처리 과정을 거친답니다.

 

이 설문지는 활동 전후 총 두 번에 걸쳐서 활동에 참여한 청소년들이 응답하게 했답니다. 그래야 활동의 영향력을 알 수 있겠죠? 그러면 설문지는 활동 전과 활동 후 두 개의 집단으로 나뉩니다. 이 두 개의 집단으로 나뉜 답변을 독립 t-검정을 활용해서 비교한답니다. 

[전후 비교 예시]


위는 활동 전후를 설문지를 활용해 비교했더니 청소년 활동이 핵심역량 향상에 효과적이라는 결과가 나왔다는 것을 보여주는 예시입니다. 

이번 소식도 재미있으셨나요?


서로 연관성이 있는 의뢰를 맡았다면, 그 상관관계를 정확하게 인지하는 것이 중요합니다. 작게는 용어통일부터, 크게는 인과관계까지 다양한 요소들을 고려해야 실제로 사용할 때 뒤틀림이 일어나지 않아요.

 

물론, 큰 그림에 집중하다가 각각의 의뢰를 수행할 때 실수한다면 안 되겠지요. 각 의뢰의 세부적인 내용에도 신경 써야 한답니다.

 

‘너무 당연한 얘기 아니야?’라고 생각하시겠지만, 당연한 얘기가 아닙니다. 

많은 리서치는 한 부분에 매몰되고 있어요~

큰 그림과 세부적인 디테일

꼭 이것들을 체크해 보고 선택하세요.