파이썬의 자연어 처리를 위한 라이브러리
#Loss Function
Java라는 단어를 skill 라벨로 분류하고 싶을때 다른 라벨로 분류하게 된다면 이 차이가 함수값이 되는 것임
모든 단어를 벡터로 바꿔서 학습시킴
단어 사이의 연관관계를 찾기 좋음
king <-> queen, man <-> woman 같은 관계를 학습
잘못 라벨링을 했을 때 그 차이값을 함수값으로 가짐
#Optimizer
Loss가 최소가 되도록 weight, bias를 조정하는 것이 필요
Gradient Descent, 등등의 방법이 있음
#Gradient Descent
n차원 이상의 그래프에서 나타나는 기울기
최소값에 가까워 질 수록 기울기가 줄어드는 것을 이용한 optimizer 기법임
bias가 무엇인지? weight가 무엇인지?
사람의 뉴런들을 인공지능은 레이어의 셀로 이루어져 있음
우리가 수능점수를 예측하는 인공지능을 만들고자 하고, input으로 모의고사 점수를 넣는다고 가정. 근데 중요한건 3, 6월 등일 것임. 인풋을 받을 때 모든 데이터를 같은 비중을 두는 것이 아닌, 특정 중요한 데이터에게 가중치를 부여하는 것이 weight임.
bias, 활성화 함수를 예로 먼저 들어보겠음. 사람이 의사결정을 내릴때도, 임계점 기준으로 의사결정함. 컴퓨터도 이 임계점으로 의사결정함. 레이어 속에서 처리할 때 레이어에서 weight를 곱해지는 등의 작업을 하는데, 특정 데이터가 발현이 안될때, bias가 개입해서 이게 중요하니 활성화하는 등의 작업을 도와줌
up to here is by. 최민준