DKT의 개선 방향

글을 시작하기 앞서 아래의 3가지 논문을 참고하여 글을 작성하였습니다.
[1] 간격 효과를 반영한 Deep Knowledge Tracing 기반 인공지능 모델 성능 개선 연구 = Improved Deep Knowledge Tracing AI Model added with spacing effect, 박나연; 이상민 (2022)
[2] Explainable feature 임베딩을 통한 지식 추적 성능 향상 연구 = A Study on the Improvement of Knowledge Tracing through Explainable Feature Embedding, 이성현 (2022)
[3] 개별 맞춤형 학습을 위한 딥러닝 기반의 이분된 지식 추적 모델 개발 = Deep learning based dichotomous knowledge tracing model for personalized learning, 김성훈 (2021)
 

---

 

1. 지식 추적(KT)의 구성 요소

 지식 추적은 학습자의 지식 요소(Knowledge Componrnts : KC)가 포함된 학습 상호작용(Learning Interacion)을 통해 학습자의 지식 상태(Knowledge stsate)를 파악하는 과정이다.위의 그림을 보면 더하기, 빼기, 곱하기, 나누기의 4가지 KC로 구성된 LI(문제풀이 과정)를 통해 지식 상태가 시시 각각으로 변하게 된다. 즉 KC 별로 문제를 맞출 수 있는 확률이 LI에 의해 달라지고 있는 것이다.
 

2. 지식 추적의 개선 방향

 KT(지식 추적) 모델 분야에서 다양한 연구가 이뤄지며 많은 발전이 있었다. 인공신경망 연구가 진행되며, KT에 딥러닝 알고리즘을 활용한 DKT 모델이 나오고 또 DKT의 약점을 보완한 DKVMN 모델도 개발된다. 또, 기존의 로지스틱회귀 형태의 알고리즘을 활용한 PFA (Performence Factor Analysis) 모델도 있다. 하지만 아직 상용화되기에는 많은 한계점들이 있어 많은 개선이 이뤄져야 할 것으로 보인다.

데이터셋 수집	데이터 임베딩	알고리즘 사용	결과 해석	적용
데이터셋 방향		알고리즘 방향

 인공지능 기반 분석 모델은 크게 2가지 방향에서 개선이 가능하다. 데이터셋 방향 / 알고리즘 방향이다. 데이터 분석에 보다 적합한 데이터셋을 수집하고 활용하는 방법과, 같은 데이터도 더 정확하게 분류할 수 있는 알고리즘을 활용하는 방법이다.
 기본적인 인공지능 기반 분석 모델 구축의 과정을 데이터셋 수집 > 데이터 임배딩 > 알고리즘 사용 > 결과 해석 > 적용으로 본다면, 데이터셋 수집과 임배딩의 개선은 데이터셋 방향의 개선, 알고리즘 사용, 결과 해석, 적용은 알고리즘 방향이라고 생각해 볼 수 있다.
 이를 바탕으로 데이터셋 방향에서 개선한 사례와 알고리즘 방향에서 개선한 사례를 각각 살펴보도록 하자.
 

3. 데이터셋 방향의 개선 : feature 임베딩을 통한 지식 추적 성능 향상 연구

 이 논문의 저자는 알고리즘이 아니라 데이터셋, 그 중에서도 데이터셋의 feature(특징)를 추가하는 것이 지식 추적 모델의 성능 향상에 기여한다고 밝힌다. 교육학적으로 유의미한 feature를 학습자 관련 feature / 학습 대상 지식 관련 feature / 기타 feature 3가지로 정의한다.

-학습 대상 지식 feature : 학습 대상 지식의 특징을 반영함
-학습자 feature : 학습자의 개별 학습 기록, 성취 등을 반영함
-기타 feature : 시계열성 데이터를 기반으로 유추할 수 있는 지식, 학습자 외적 요소 반영

시간  step 에 따른  feature  예시

 

이렇게 데이터셋에 추가 feature를 형성한 후 여러 모델에서 성능평가를 한 결과 정도의 차이는 있어도 성능평가(AUC) 결과가 높아진 것을 알 수 있다.
 

4. 데이터셋 방향 개선의 시사점

 -전통적인 학업 성취도 예측에 활용된 요소(feature)를 활용했기 때문에 직관적이고, 성능향상의 경향성이 이해가능하다. 이에 따라 다른 전통적 학업 성취도 예측에 활용되는 feature들의 성능 개선 효과를 기대해 볼 수 있다.

전통적인 학업 성취도 예측에 활용되는 요소

 
 -해당 논문은 데이터셋의 종류와 크게 상관없이 범용적으로  추출할 수 있는 feature를 제시하고 있다. 이렇게 범용적으로 추출할 수 있는 feature가 많아질수록 같은 데이터라도 그 질이 크게 높아질 것이다. 향후 연구를 통해 이런 범용적 feature를 더 많이 찾으며 동시에 특정 과목, KC(지식요소)에만 해당되는 feature를 찾는 노력 또한 기울여야 할 것이다.
 -전통적으로 활용된, 교육학적 요소들을 사용하는 것은 인공지능 기반 모델들의 설명 가능성을 높일 수 있다. 인공지능을 연구하고 활용하는 것은 인간인 만큼, 인공지능 분석 모델의 해석률을 높이고 모델의 결과에 당위성을 부여하며 사용자(교육기반 AI에서는 교사)에게 더 쉽고 직관적인 정보를 제공하기 위해서는 이해할 수 있는, 설명 가능성이 높아져야 한다.
 

 

5. 알고리즘 방향 개선 : 이분된 지식 추적 모델(DiKT) 개발

 알고리즘의 개선을 통해 모델의 정확성을 높이는 방법으로 이분된 지식 추적 모델(Dichotomous Knowledge Tracing)을 제시하고 있다.

 이분된 지식 추적 모델의 핵심은 학습자의 skill의 숙달 정도(지식상태 : knowledge state)를 기억할 수 있는(recallable), 기억할 수 없는(unrecallable) 의 두 종류로 나눠 메모리에 따로 기록하여 분석하는 것이다. 이는 일종의 메모리 증강 기반의 지식 추적 모델인 DKVMN(Dynamic Key-Value Memory Network)과 유사하다. 이분적 지식 추적 모델과 DKVMN의 차이점은 학습자의 지식상태를 기억할 수 있는 지식과, 기억할 수 없는 지식으로 나눠 문제의 정답, 오답 여부에 따라 각기 따로 계산하여 새로운 문제의 정답여부를 맞추는 모델의 정확성을 높인 것이다.
 이와 동시에 맞은 문제와 틀린 문제의 여부로 나눠 메모리 값 업데이트 하는 과정도 동시에 일어난다. 맞은 문제라면 q_c 값으로 처리되고 틀린 문제라면 q_u 값으로 처리되어 메모리 행렬이 업데이트 된다. 이렇게 메모리 증강 모델은 시간이 지남(문제와 상호작용)에 따라 메모리 행렬이 업데이트되는 점이 특징이다.
 

Learning Trajectory( 학습궤적 )

 DKT / DKVMN / DiKT를 Learning Trajectory(학습궤적)을 해석가능한 형태로 산출해 그 결과를 확인할 수 있다. DKT가 과거의 학습 기억을 빠르게 소실하는 경향성을 보이는 반면, DKVMN / DiKT 는 기억을 오래 유지한다는 것을 알 수 있다.   DKVMN은 서로 다른 KC(학습요소)간에 연동하는 특징을 보인다.(2번째 초록원 영역을 보면 알 수 있음) 그러나 DiKT는 영역간에 독립성을 유지한다. 각 영역이 주황: 측정 / 초록: 도형A / 파랑: 도형B / 노랑:수와 연산A / 빨강: 수와 연산B 인 것을 감안하면, 빨강(수와 연산)과 초록(도형)은 연관성이 없기 때문에 서로 연동되면 안된다. 이 경우 DiKT 모델이 더 정확하고 할 수 있다.
 

6. 다양한 DKT 개선 알고리즘

7. 알고리즘 방향 개선의 시사점

-학습자의 지식 상태를 기억할 수 있는 지식과 기억할 수 없는 지식으로 이분화하여 모델링 한 것이 인상깊다. 실제로 이렇게 나눴을 때 더 정확한 모델이 완성된다는 사실이 놀라움.
-논문의 저자는 지식 추적 기법을 사용하여 교수자에게 학생의 기초 수학 능력과 관련된 지식 상태를 설명 가능한 형태로 제공해주는 방법 3가지 learning Trajectory(지식 궤적도), Knowledge Concept Relationship/ Weak point Explainer를 제안하였다. 설명 가능한 형태의 모델이 주는 장점을 이용하여 교사와 학습자에게 도움이 되는 구체적인 적용 방법을 생각해보면 좋을 것
-교사로서 인공지능 교육을 전공하는 우리가 위와 같은 연구분야들에서 할 수 있는 역할은 무엇일까? 시작과 끝에 교사(교수자)가 있다.