코드아키택트 기술편

CS224N을 보는 중 Teacher Forcing이라는 말이 자주 나와 간략히 알아본다. 방법 : 학습시, 이전 상태의 결과(t-1, y_hat(t-1))를 현재상태(t)에 넣지 않음. 대신 이전 상태의 답지(y_(t-1), 위 그림에선 x(t))를 현재 상태의 input으로 넣어줌. Teacher Forcing 있을때와 없을때 차이 쓰는 이유 : 쓰지 않으면 모델이 불안정함. 쓴 경우 수렴 속도 빨라짐. 이미 검증됨 (CS224N 수업 내용 중) 단점 : open-loop(학습되지 않은 내용을 뜻하는 듯)의 경우 잘 작동하지 않음. 왜냐하면 학습시 사용된 input과 test시 사용되는 input이 다름 - 해결방법 : teacher force 방법과, free running input(예측된 값을 ..

오늘은 아주 짧은 글로 시작한다. Coursera를 들었지만, 박사과정 추천에 따라 다시 CS224N을 듣고있다. 기본적인 ML / DL내용은 아주 빠르게 하고, 언어 모델에 대한 이야기를 주로 하고 있다. 사이트를 찾던 중 슬라이드를 다운 받을 수 있었다. 일일히 다운받기 귀찮아서 wget으로 다운로드 받는 코드를 여기에 옮겨적는다. 주의할 점은 눈에 보이지 않던 archive파일까지 다운받아지기 때문에 4시간 정도로도 모든 자료를 다운 받을 수 없다. 장점은 예전에 학생들이 제출한 레포트도 볼 수 있다는 정도? wget -r -p -k https://web.stanford.edu/class/cs224n/slides/ 용도에 맞게 쓰시길...