이 글을 읽는 많은 사람들이 하나의 task(문제)를 푸는 모델을 학습시키는 것에 익숙할 것이라고 생각합니다. 그렇게 성능이 좋은 모델을 만들었다고 합시다.
그런데 시간이 흘러 입력의 데이터 분포가 달라지고 그에 따라 모델의 성능이 저하된다면 어떻게 해야 할까요? 혹은 분류해야 하는 클래스가 추가된다면 즉 새로운 task까지 잘 해내는 모델을 학습해야 한다면 어떻게 해야 할까요?
당연히 모델을 재학습시켜야겠죠.
모델을 재학습시키기 위해 아래 두 가지 방법을 쉽게 떠올려 볼 수 있습니다.
첫째, 기존 데이터에 새로운 데이터까지 추가해서 모델을 처음부터 다시 학습하는 방법입니다.
이 방법이 직관적일 수 있지만, 새로운 데이터가 수집될 때마다 전체 데이터셋에 대하여 모델의 모든 가중치값들을 모두 학습하는 것은 시간과 컴퓨터 자원 소모 측면에서 큰 손실이 될 것입니다.
그렇다면 모델을 새로운 데이터로만 재학습한다면 어떻게 될까요? 이전에 학습했던 데이터와 유사한 데이터셋을 학습하더라도 이전의 데이터셋에 대한 정보를 잊어버리게 됩니다. 이 문제를 일컬어 **Catastrophic Forgetting이라고 부릅니다.
** Catastrophic Forgetting : Single task에 대해서 뛰어난 성능을 보인 모델을 활용하여 다른 task를 위해 학습했을 때 이전에 학습했던 task에 대한 성능이 현저하게 떨어지는 현상
또한 새로 학습하는 과정에서 pretrained weights가 과도하게 조정될 경우 Node나 Weight의 의미가 변하기도 합니다. 예를 들어 도로의 정보를 담고 있던 Node가 새로 학습하는 과정에서 자동차에 대한 정보를 처리하도록 바뀐 현상입니다. 이를 Semantic drift라고 부릅니다.
이와 달리 인간은 지식을 일반화하여 장기기억으로 저장할 수 있으며, 새로운 지식을 학습할 때에 배경지식을 활용하고, 새로운 지식까지 장기기억으로 저장할 수 있습니다. 다시 말해서 새롭게 무언가를 배우더라도 이전의 지식을 까먹는 것이 아니라 더 일반화하여 기억하게 됩니다.
인간처럼 이전에 학습했던 지식은 잊지 않으면서 새로운 데이터에 대한 정보까지 학습시키기 위해 우리는 Continual Learning 기법을 활용하게 됩니다.
다시 말해 학습을 할 때마다 새로운 데이터/task를 지속적으로 학습하여 모델의 성능을 향상하는 방법을 Continual Learning, Lifelong Learning, Incremental Learning 혹은 **Online **Multi-task Learning이라고 부릅니다.
** Online learning VS Offline learning
- Online learning : 학습 데이터가 mini-batch 단위로 순차적으로 주어지며, 한번 학습에 활용된 데이터는 다시 사용되지 않음
- Offline learnig : 한 번에 주어지는 데이터로 모델을 학습하는 방법 (= Batch Learning)
** Multi-task learning VS Single-task learning
- Multi-task learnig : 여러 개의 task를 동시에 학습하는 방법
- Single-task learning : 하나의 task를 학습하는 방법
결론적으로, 순차적으로 들어오는 task들을 학습하고, t시점에는 첫 번째 학습했던 task부터 t시점에 학습된 task까지 모든 task에 대해 성능이 좋은 모델을 만들고자 하는 것입니다.
오늘은 Continual learning의 개념 및 배경에 대해 살펴보았습니다.
접근 방법과 관련해서는 다음 글에서 다루도록 하겠습니다!
출처
[딥러닝] 평생학습이란? (A Survey on Lifelong Learning) | JINHYO AI Blog (realblack0.github.io)
[딥러닝] 평생학습이란? (A Survey on Lifelong Learning)
등장배경
realblack0.github.io
Seminar - 고려대학교 DMQA 연구실 (korea.ac.kr)
고려대학교 DMQA 연구실
고려대학교 산업경영공학부 데이터마이닝 및 품질애널리틱스 연구실
dmqa.korea.ac.kr