• 스터디 구성원 : 권영기
  
• Coursera의 Machine Learning (Andrew Ng 교수) 강의를 기본으로 공부한다.
  
• 강의 사이트(https://www.coursera.org/course/ml)
  
• 요즘은 Machine Learning in Action 이라는 책을 보고 있음. 영어A 강의 듣기 싫어서 그럼
  

• MachineLearning스터디/Introduction
  
• MachineLearning스터디/LinearRegressionWithOneVariable
  
• MachineLearning스터디/LinearRegressionWithMultipleVariables
  
• MachineLearning스터디/Octave
  
• MachineLearning스터디/LogisticRegression
  
  머신러닝 인 액션
  
  

1. 목적을 고려해야 한다.
   만약에 목적 값(target value)을 예측하려고 한다면 지도 학습 방법(Supervised Learning)을 살펴보고, 그렇지 않다면 비지도 학습 방법(Unsupervised Learning)을 살펴보라.
   지도 학습 방법
   
   목적 값이 이산적인 값인가?
   

   분류 방법(Classification)
   

   목적 값이 연속적인 값인가?
   

   회귀(Regression)
   
비지도 학습 방법

데이터가 이산적인 무리에 알맞은가?

군집화(Clustering)

무리에 알맞은 정도를 수치적으로 평가?

밀도 추정(Density estimation)

2. 보유하고 있는 데이터를 고려해야만 한다.
   속성이 명목형인가?
   속성이 연속형인가?
   속성내 누락된 값이 존재하는가?
   
   왜 존재하는가?
   
오류 데이터(Outlier)가 존재하는가?

1. 데이터 수집
   
2. 입력 데이터 준비
   
3. 입력 데이터 분석
   
4. 알고리즘 훈련
   
   기계 학습이 이루어지는 부분.
   
5. 알고리즘 테스트
   
   만족스럽지 못하면 1로 돌아간다.
   
6. 사용하기.
   

• numPy 설치 방법.
  64bit window를 사용하는 유저는 http://www.lfd.uci.edu/~gohlke/pythonlibs/#numpy에서 설치하면 됨.
  
• matplotlib 설치.
  http://matplotlib.org/downloads.html
  http://www.lfd.uci.edu/~gohlke/pythonlibs/#matplotlib 을 통해서 필요한 것을 추가로 설치해주면 된다.
  Requires numpy, dateutil, pytz, pyparsing, six, and optionally pillow, pycairo, tornado, wxpython, pyside, pyqt, ghostscript, miktex, ffmpeg, mencoder, avconv, or imagemagick.
  

기존에 훈련 집합이었던 예제 데이터 집합이 있다. 모든 데이터는 분류 항복 표시(labels)가 붙어 있으며, 따라서 각각의 데이터가 어떤 분류 항목으로 구분되는지 알 수 있다. 이후 분류 항목 표시가 붙어 있지 않은 새로운 데이터가 주어졌을 때, 기존의 모든 데이터와 새로운 데이터를 비교한다. 그리고 가장 유사한 데이터(가장 근접한 이웃)의 분류 항목 표시를 살펴본다. 이때 분류 항목을 이미 알고 있는 데이터 집합에서 상위 k개의 유사한 데이터를 살펴보게 된다. 마지막으로 k개의 가장 유사한 데이터들 중 다수결을 통해 새로운 데이터의 분류 항목을 결정하게 된다.

• 밑에 정리된 알고리즘은 ID3 알고리즘으로 C4.5의 기반이 되는 알고리즘이라고 한다. 또한 스터디 당시에는 잘 이해가 안됬던 규칙 집합의 의미를 최근에 강연을 듣고서 알 수 있었다.
  

의사 결정 트리 자체는 성능이 좋지 않다고 한다. 기존에 나와있는 다른 알고리즘 SVM, ANN 등이 훨씬 성능도 좋다. 그럼에도 불구하고 의사결정 트리가 쓰이는 이유는 해석이 쉽다는 것이다. Iris Data를 예를 들어서 설명해보자.
Measurement X1, X2, X3, X4가 존재한다고 보자.

• X1 = petal length(꽃잎 길이)
  
• X2 = petal width(꽃잎 너비)
  
• X3 = sepal length(꽃받침 길이)
  
• X4 = sepal width(꽃받침 너비)
  

이고, 분류 결과 Y = {Setosa, Versicolour, Virginica} 가 있다.
그리고 Decision Tree 알고리즘에 의해 Tree가 결정되었고, 그 모습이

의 모습을 보이면, 우리는 트리의 분기점을 보고 규칙을 설명할 수 있다. 'Versicolour은 petal length가 2.45보다 크고, petal width가 1.75보다 작을 경우이다' 라는 식으로 가능하다.

반면에 ANN에서 위와 같은 데이터를 넣고 Classification을 돌린다고 생각하면 분류는 더 잘되나 규칙을 알 수가 없다. 전문가가 설명을 해주기 힘든 것이다. - 2015 3. 30

 	createBranch() pseudo code

	check if every item in the dataset is in the same class

		if so return the class label

		else

			find the best feature to split the data

			split the dataset

			create a branch node

				for each split

					call createBranch and add the result to the branch node

			return branch node

• 양자화 : 연속적인 아날로그 데이터를 처리하기 위해 중복되지 않는 여러 개의 구간으로 나누어 처리.
  데이터를 어떻게 분할하고, 데이터 분할을 언제 멈추어야 하는가?
  ID3 Algorithm