작업 가설은, 세션 간 성능 격차의 대부분이 디코딩 함수 자체의 변화가 아니라 입력 통계의 covariate shift라는 것이다. 이게 맞다면 비지도 정렬 단계만으로 손실의 상당 부분을 되찾을 수 있어야 한다.
관련된 개념들: Warmup은 adaptive optimizer의 초기 분산을 억제한다, 학습 불안정은 대개 분모의 문제다.
Project · active
분포 변화 하에서의 신경 신호 디코딩
한 세션에서 학습한 디코더를 재보정 없이 다른 세션으로 옮길 수 있는가?
Open questions
- 세션 단위 정규화는 분포 변화를 제거하는가, 아니면 가리기만 하는가?
- 정렬에 필요한 레이블 없는 타깃 데이터는 얼마나 되어야 충분한가?
- 실패 양상은 covariate shift인가 label shift인가?
Reviewed monthly. A question that hasn't moved in two reviews is either answered somewhere and not written down, or it isn't really the question.