Difference between r1.2 and the current
@@ -10,6 +10,26 @@
* 단원명
* 단원 내용
식으로 작성해주시기 바랍니다.
* 6.1 : Inner Product, Length, and Orthogonality
* The Inner Product
* Rn 공간에 벡터 u와 v가 존재하면 이것들을 nx1 matrices 라고 생각할 수 있다. 이 때 u'v는 1x1 matrix가 되는데 이것을 u와 v의 inner product(내적)라고 한다. 이 값은 실수이며, 표기는 u·v 로 한다.
* 단원 내용
식으로 작성해주시기 바랍니다.
* 3.1 : Introduction to Determinants
* Determinants 가 나오게 된 배경 : 행렬 자체의 값을 비교해야 될 필요성이 생겨서
* 2 by 2 Matrix의 Determinant 구하는 법 : ad - bc
* 3 by 3 이상 Matrix의 Determinant 구하는 법 : 한 row를 기준으로 2X2 행렬로 3개를 쪼개서 + - +를 하는 식으로 계산
* ex) detA = a11detA11 - a12detA12 + a13detA13(3X3 행렬의 경우)
* 3.2 : Properties of Determinants
* Row Operation에 따른 Determinant 값의 변화
* Replacement : 놀랍게도 아무 변화 없음
* Interchange : 부호가 반대가 됨
* Scaling : 곱한 값만큼 Determinant도 곱해지게 됨
* Determinant가 0이 아니면 A는 invertiable하다.
* Matrix를 Transpose를 해도 Determinant 값은 그대로다.
* det AB = det A * det B
* 3.3 : Cramer's Rule, Volume, and Linear Transformations
* Cramer's Rule : 방정식을 빨리 풀기 위한 해법
* A행렬의 j열을 벡터 b로 치환 한 행렬을 Aj(b)라 표기
* xi=detAi(b)/detA가 된다.
* 어떠한 넓이나 부피를 나타내는 행렬 S을 Linear Transformation을 시킬 경우
* area of T(S) = area of S * abs(detA)
* The Inner Product
* Rn 공간에 벡터 u와 v가 존재하면 이것들을 nx1 matrices 라고 생각할 수 있다. 이 때 u'v는 1x1 matrix가 되는데 이것을 u와 v의 inner product(내적)라고 한다. 이 값은 실수이며, 표기는 u·v 로 한다.
@@ -28,3 +48,81 @@
* Rn에 존재하는 벡터 u, v가 있을 때, u·v = 0이면, 두 벡터는 orthogonal 하다.
* 두 벡터 u, v에서 ∥u+v∥^2 = ∥u∥^2 + ∥v∥^2 이면, 두 벡터는 orthogonal 하다.
* mxn matrix A에서 A의 row space와 null space는 orthogonal하고, A의 column space와 left nullspace는 orthogonal이다.
* 두 벡터 u, v에서 ∥u+v∥^2 = ∥u∥^2 + ∥v∥^2 이면, 두 벡터는 orthogonal 하다.
* mxn matrix A에서 A의 row space와 null space는 orthogonal하고, A의 column space와 left nullspace는 orthogonal이다.
* 6.2 : Orthogonal Sets
* Orthogonal Set 정의
* Rn의 벡터 집합{u1, u2 , .... up}에서 ui ·uj = 0 (i≠j) 이면 orthogonal set이라고 한다.
* Rn에서 S = {u1, u2 , .... up}가 0이 아닌 orthogonal set이라면, S는 linearly independent이고, S에 의해 span된 subspace의 basis가 된다.
* An Orthogonal Projections
* Rn에 0이 아닌 벡터 u가 있고, Rn에 존재하는 벡터 y를 두 벡터로 분해한다고 생각해보자. y를 u의 스칼라 곱인 벡터와, u와 orthogonal한 벡터로 분해한다. y = p + z 꼴
* 벡터 y를 u에 projection한 벡터를 p라고 하자. 그러면 p = (y·u/u·u) * u 로 정의된다.
* 예시) y=(7,6), u=(4,2)라고 한다. 그러면
* y·u = 40, u·u = 20이다. p = (40/20) * u 이므로 (8,4)가 된다.
* u에 orthogonal한 벡터 y의 성분은 y-p = (-1,2) 이다. 따라서 y = (8,4)+(-1,2)로 분해할 수 있다.
* (8,4)는 p, (-1,2)는 z이다.
* Orthonomal Sets
* Rn의 벡터 집합{u1, u2 , .... up}에서 벡터들이 unit vector이면 orth onomal set이라고 한다.
* W를 위의 벡터집합에 의해 span된 subspace라고 하면, {u1, u2 , .... up}는 orthonomal basis 이다.
* mxn matrix U가 있을 때, U'U = I 이면 matrix U는 orthonomal columns을 가진다.
* U가 orthonomal columns를 가진 mxn matrix이고, x와 y가 Rn에 있을 때
* ∥Ux∥ = ∥x∥
* (Ux)·(Uy) = x·y
* x·y=0 일 때만, (Ux)·(Uy) = 0 이다.
* 6.3 Orthogonal Projections
* Orthogonal Decomposition
* W를 Rn의 subspace라고 하면 Rn에 있는 y는 y = p + z로 쓸 수 있다.
* p는 W에 존재하고, z는 W와 직교인 공간에 존재한다.
* 만일 {u1, u2 , .... up}가 W의 orthogonal basis라면 p = (y·u1/u1·u1)*u1 + ... + (y·up/up·up)*up 이고, z = y-p이다.
* 벡터 p는 orthogonal projection of y onto W라고 부른다.
* Properties of Orthogonal Projections
* p는 W공간에서 y에 가장 가까운 점이 된다. W공간에서 p가 아닌 모든 v에 대해 ∥y-p∥< ∥y-v∥이 성립하기 때문이다.
* 6.4 The Gram-Schmdit Process
* Gram-Schmdit
* R^n 의 nonzero subspace 에 orthogonal 혹은 orthogonal basis 를 만드는 알고리즘
* 2차원상의 벡터 3차원상의 벡터를 예제로 n차원의 벡터를 일반화 할 수 있게 해줌
* 일반화 식 : v(n+1)=x(n+1) - projw(n) x(n+1)
* Orthogonal basis
* 손으로 직접 문제를 풀 경우 계산의 편리성을 위해 vector를 basis화 해주는 것이 더 편하다.
* u = (1/∥v∥) * v
* QR Factorization of Matrices
* Matrix A (m*n) 가 linear independent 일때, A= QR 로 나타낼 수 있다.
* Q (m*n) : Col A 의 basis Columns 이다
* R (n*n) : upper triangular invertible matrix ( with positive entries on diagonal ) 이다.
* A= QR 을 이용하여 Q^T*A= Q^T(Q*R) 즉, R= Q^T * A 로 구해낼 수 있다.
* 6.5 Least-Square Problems
* Least-Square Problems
* Ax=b 의 해가 존재하지 않을 때, 근삿값을 구하는 방법이다.
* ∥b-Ax∥ 의 값이 더 작을 수록 더 정확한 근삿값이 나온다.
* ∥b-Ax^∥의 값은 ∥b-Ax∥의 값보다 항상 작거나 같다.
* x에 상관없이 Ax는 항상 ColA의 column space가 돼야 한다. ( b도 마찬가지로 column space가 돼야 한다.)
* Solution of Least-Square Problems
* b^= proj colA b 라고 정한다면, b^ 가 colA의 column space 이므로 Ax=b^ 이 성립이 된다.
* b^가 col A의 b에 가장 근접하므로 x^도 Ax=b에 가장 근접한 값이 된다.
* aj 가 A의 column이라고 한다면 aj * (b-Ax^) = 0 이 되고, aj^T * ( b-Ax^) =0 이 된다. 따라서 A^T(b-Ax^)=0 을 만족하고, A^T*A*x^=A^T * b 로 나타 낼 수 있다.
* A^T*A*x^=A^T * b 를 만족하는 x^를 찾아낸다면 그것이 Ax=b 의 근삿값 x^이 된다.
* Alternative Calculation of Least-Square Solutions
* A가 orthogonal 일때 의 계산방법중 하나이다.
* A^T * A 의 계산에서 약간의 실수가 x 의 값을 구할 때 큰 오차가 발생 할 수 있으므로 A=Q*R로 바꿔서 계산하는 것이 더 정확하다.
* Ax^ = QRx^ = QR*R^(-1)*Q^T*b = Q*Q^T*b
* QR*x^ = Q*Q^T*b
* R*x^ = Q^T*b
* 6.6 Application To Linear Models
* Application To Linear Models
* 임의의 Data point를 직선, 포물선, 곡선 형태의 방정식으로 근삿값을 구하는 예제를 실어 놓았다.
* 6.7 Inner Product Spaces
* Inner Product Spaces
* ~~내적이라는것은 알겠으나, 책의 내용을 잘 모르겠음. 좀더 공부한 후에 다시 올리겠습니다.~~
2. 스터디 내용 ¶
- 단원명
- 단원 내용
- 단원 내용
- 3.1 : Introduction to Determinants
- Determinants 가 나오게 된 배경 : 행렬 자체의 값을 비교해야 될 필요성이 생겨서
- 2 by 2 Matrix의 Determinant 구하는 법 : ad - bc
- 3 by 3 이상 Matrix의 Determinant 구하는 법 : 한 row를 기준으로 2X2 행렬로 3개를 쪼개서 + - +를 하는 식으로 계산
- ex) detA = a11detA11 - a12detA12 + a13detA13(3X3 행렬의 경우)
- ex) detA = a11detA11 - a12detA12 + a13detA13(3X3 행렬의 경우)
- Determinants 가 나오게 된 배경 : 행렬 자체의 값을 비교해야 될 필요성이 생겨서
- 3.2 : Properties of Determinants
- Row Operation에 따른 Determinant 값의 변화
- Replacement : 놀랍게도 아무 변화 없음
- Interchange : 부호가 반대가 됨
- Scaling : 곱한 값만큼 Determinant도 곱해지게 됨
- Replacement : 놀랍게도 아무 변화 없음
- Determinant가 0이 아니면 A는 invertiable하다.
- Matrix를 Transpose를 해도 Determinant 값은 그대로다.
- det AB = det A * det B
- Row Operation에 따른 Determinant 값의 변화
- 3.3 : Cramer's Rule, Volume, and Linear Transformations
- Cramer's Rule : 방정식을 빨리 풀기 위한 해법
- A행렬의 j열을 벡터 b로 치환 한 행렬을 Aj(b)라 표기
- xi=detAi(b)/detA가 된다.
- A행렬의 j열을 벡터 b로 치환 한 행렬을 Aj(b)라 표기
- 어떠한 넓이나 부피를 나타내는 행렬 S을 Linear Transformation을 시킬 경우
- area of T(S) = area of S * abs(detA)
- area of T(S) = area of S * abs(detA)
- Cramer's Rule : 방정식을 빨리 풀기 위한 해법
- The Inner Product
- Rn 공간에 벡터 u와 v가 존재하면 이것들을 nx1 matrices 라고 생각할 수 있다. 이 때 u'v는 1x1 matrix가 되는데 이것을 u와 v의 inner product(내적)라고 한다. 이 값은 실수이며, 표기는 u·v 로 한다.
- Rn 공간에 벡터 u와 v가 존재하면 이것들을 nx1 matrices 라고 생각할 수 있다. 이 때 u'v는 1x1 matrix가 되는데 이것을 u와 v의 inner product(내적)라고 한다. 이 값은 실수이며, 표기는 u·v 로 한다.
- u,v,w를 Rn에 있는 벡터, c가 스칼라일 때
- u·v = v·u
- (u+v)·w = u·w + v·w
- (cu)·v = c(u·v) = u·(cv)
- u·u >= 0 이고, u·u=0은 u=0 일 때만 성립한다.
- u·v = v·u
- The Length of a Vector
- 벡터 v의 길이는 ∥v∥= √v·v 이고 ∥v∥^2 = v·v 이다.
- 길이가 1인 벡터를 unit vector 라고 한다.
- 0이 아닌 벡터 v가 있을 때, unit vector인 u = (1/∥v∥)∥v∥ 이다.
- 벡터 v의 길이는 ∥v∥= √v·v 이고 ∥v∥^2 = v·v 이다.
- Distance in Rn
- Rn에 존재하는 벡터 u, v 사이의 거리는 dist(u,v)라고 쓴다. 즉 dist(u,v) = ∥u-v∥
- Rn에 존재하는 벡터 u, v 사이의 거리는 dist(u,v)라고 쓴다. 즉 dist(u,v) = ∥u-v∥
- Orthogonal Vectors
- Rn에 존재하는 벡터 u, v가 있을 때, u·v = 0이면, 두 벡터는 orthogonal 하다.
- 두 벡터 u, v에서 ∥u+v∥^2 = ∥u∥^2 + ∥v∥^2 이면, 두 벡터는 orthogonal 하다.
- mxn matrix A에서 A의 row space와 null space는 orthogonal하고, A의 column space와 left nullspace는 orthogonal이다.
- Rn에 존재하는 벡터 u, v가 있을 때, u·v = 0이면, 두 벡터는 orthogonal 하다.
- Orthogonal Set 정의
- Rn의 벡터 집합{u1, u2 , .... up}에서 ui ·uj = 0 (i≠j) 이면 orthogonal set이라고 한다.
- Rn에서 S = {u1, u2 , .... up}가 0이 아닌 orthogonal set이라면, S는 linearly independent이고, S에 의해 span된 subspace의 basis가 된다.
- Rn의 벡터 집합{u1, u2 , .... up}에서 ui ·uj = 0 (i≠j) 이면 orthogonal set이라고 한다.
- An Orthogonal Projections
- Rn에 0이 아닌 벡터 u가 있고, Rn에 존재하는 벡터 y를 두 벡터로 분해한다고 생각해보자. y를 u의 스칼라 곱인 벡터와, u와 orthogonal한 벡터로 분해한다. y = p + z 꼴
- 벡터 y를 u에 projection한 벡터를 p라고 하자. 그러면 p = (y·u/u·u) * u 로 정의된다.
- 예시) y=(7,6), u=(4,2)라고 한다. 그러면
- y·u = 40, u·u = 20이다. p = (40/20) * u 이므로 (8,4)가 된다.
- u에 orthogonal한 벡터 y의 성분은 y-p = (-1,2) 이다. 따라서 y = (8,4)+(-1,2)로 분해할 수 있다.
- (8,4)는 p, (-1,2)는 z이다.
- Rn에 0이 아닌 벡터 u가 있고, Rn에 존재하는 벡터 y를 두 벡터로 분해한다고 생각해보자. y를 u의 스칼라 곱인 벡터와, u와 orthogonal한 벡터로 분해한다. y = p + z 꼴
- Orthonomal Sets
- Rn의 벡터 집합{u1, u2 , .... up}에서 벡터들이 unit vector이면 orth onomal set이라고 한다.
- W를 위의 벡터집합에 의해 span된 subspace라고 하면, {u1, u2 , .... up}는 orthonomal basis 이다.
- mxn matrix U가 있을 때, U'U = I 이면 matrix U는 orthonomal columns을 가진다.
- Rn의 벡터 집합{u1, u2 , .... up}에서 벡터들이 unit vector이면 orth onomal set이라고 한다.
- U가 orthonomal columns를 가진 mxn matrix이고, x와 y가 Rn에 있을 때
- ∥Ux∥ = ∥x∥
- (Ux)·(Uy) = x·y
- x·y=0 일 때만, (Ux)·(Uy) = 0 이다.
- ∥Ux∥ = ∥x∥
- Orthogonal Decomposition
- W를 Rn의 subspace라고 하면 Rn에 있는 y는 y = p + z로 쓸 수 있다.
- p는 W에 존재하고, z는 W와 직교인 공간에 존재한다.
- 만일 {u1, u2 , .... up}가 W의 orthogonal basis라면 p = (y·u1/u1·u1)*u1 + ... + (y·up/up·up)*up 이고, z = y-p이다.
- 벡터 p는 orthogonal projection of y onto W라고 부른다.
- W를 Rn의 subspace라고 하면 Rn에 있는 y는 y = p + z로 쓸 수 있다.
- Properties of Orthogonal Projections
- p는 W공간에서 y에 가장 가까운 점이 된다. W공간에서 p가 아닌 모든 v에 대해 ∥y-p∥< ∥y-v∥이 성립하기 때문이다.
- p는 W공간에서 y에 가장 가까운 점이 된다. W공간에서 p가 아닌 모든 v에 대해 ∥y-p∥< ∥y-v∥이 성립하기 때문이다.
- Gram-Schmdit
- R^n 의 nonzero subspace 에 orthogonal 혹은 orthogonal basis 를 만드는 알고리즘
- 2차원상의 벡터 3차원상의 벡터를 예제로 n차원의 벡터를 일반화 할 수 있게 해줌
- 일반화 식 : v(n+1)=x(n+1) - projw(n) x(n+1)
- R^n 의 nonzero subspace 에 orthogonal 혹은 orthogonal basis 를 만드는 알고리즘
- Orthogonal basis
- 손으로 직접 문제를 풀 경우 계산의 편리성을 위해 vector를 basis화 해주는 것이 더 편하다.
- u = (1/∥v∥) * v
- 손으로 직접 문제를 풀 경우 계산의 편리성을 위해 vector를 basis화 해주는 것이 더 편하다.
- QR Factorization of Matrices
- Matrix A (m*n) 가 linear independent 일때, A= QR 로 나타낼 수 있다.
- Q (m*n) : Col A 의 basis Columns 이다
- R (n*n) : upper triangular invertible matrix ( with positive entries on diagonal ) 이다.
- A= QR 을 이용하여 Q^T*A= Q^T(Q*R) 즉, R= Q^T * A 로 구해낼 수 있다.
- Matrix A (m*n) 가 linear independent 일때, A= QR 로 나타낼 수 있다.
- Least-Square Problems
- Ax=b 의 해가 존재하지 않을 때, 근삿값을 구하는 방법이다.
- ∥b-Ax∥ 의 값이 더 작을 수록 더 정확한 근삿값이 나온다.
- ∥b-Ax^∥의 값은 ∥b-Ax∥의 값보다 항상 작거나 같다.
- x에 상관없이 Ax는 항상 ColA의 column space가 돼야 한다. ( b도 마찬가지로 column space가 돼야 한다.)
- Ax=b 의 해가 존재하지 않을 때, 근삿값을 구하는 방법이다.
- Solution of Least-Square Problems
- b^= proj colA b 라고 정한다면, b^ 가 colA의 column space 이므로 Ax=b^ 이 성립이 된다.
- b^가 col A의 b에 가장 근접하므로 x^도 Ax=b에 가장 근접한 값이 된다.
- aj 가 A의 column이라고 한다면 aj * (b-Ax^) = 0 이 되고, aj^T * ( b-Ax^) =0 이 된다. 따라서 A^T(b-Ax^)=0 을 만족하고, A^T*A*x^=A^T * b 로 나타 낼 수 있다.
- A^T*A*x^=A^T * b 를 만족하는 x^를 찾아낸다면 그것이 Ax=b 의 근삿값 x^이 된다.
- b^= proj colA b 라고 정한다면, b^ 가 colA의 column space 이므로 Ax=b^ 이 성립이 된다.
- Alternative Calculation of Least-Square Solutions
- A가 orthogonal 일때 의 계산방법중 하나이다.
- A^T * A 의 계산에서 약간의 실수가 x 의 값을 구할 때 큰 오차가 발생 할 수 있으므로 A=Q*R로 바꿔서 계산하는 것이 더 정확하다.
- Ax^ = QRx^ = QR*R^(-1)*Q^T*b = Q*Q^T*b
- QR*x^ = Q*Q^T*b
- R*x^ = Q^T*b
- A가 orthogonal 일때 의 계산방법중 하나이다.
- Application To Linear Models
- 임의의 Data point를 직선, 포물선, 곡선 형태의 방정식으로 근삿값을 구하는 예제를 실어 놓았다.
- 임의의 Data point를 직선, 포물선, 곡선 형태의 방정식으로 근삿값을 구하는 예제를 실어 놓았다.
- Inner Product Spaces
내적이라는것은 알겠으나, 책의 내용을 잘 모르겠음. 좀더 공부한 후에 다시 올리겠습니다.
