오랜만에 NLP에 시동을 건다

요즘의 연구 트렌드는 어떤지 모르겠다

나는 대학원에서 아주 속성으로 NLP를 돌려서 졸업을 했다.

이도저도 아닌 스킬레벨로 인해 나 자신이 나를 납득할 수 없었고 방황의 연속이기도 했다. 긍정적으로 말하면 그래도 AI가 무엇이고 기본적인 구조가 무엇인지 알 수 있는 값진 시간이었다.

특히나 한국어를 대상이며 데이터가 거의 없는 곳에서 NLP를 한다면 그 누구보다도 더 수직성장을 할 수 있다느 것도 꺠달았따.

 

회사 업무 중에 번역을 하던 일이 있었다. 해당 번역의 문제는 기존에 번역된 내용들의 용어가 통일이 되어 있지 않다는 것이다.

 

가령 Yester라고 한다면 어디는 "어제"라고 되어있고 어디는 "작일"이라고 되어있다고 비유할 수 있다.

손수 직접 찾아보려 했지만, 요즘에 약간 여유가 생겼고 다음 프로젝트가 NLP가 될 거 같아서 NLP를 이용해 보려 한다. 

 

NLP의 가장 기본은 TF-IDF 등을 필두로 하는 동시발생과 관련된 것들이다. 현재 데이터 구조상 Bi-Gram까지 동시발생 확률을 구해서 하면 각 단어가 어떤 단어로 해석되었는지 한눈에 파악할 수 있으리라고 예상한다. 그래서 내일은 하루종일 신나게 NLP를 해봐야겠다

 

끝.

 

근데 존댓말 하다가 반말을...