U E D R , A S I H C RSS

논문번역/2012년스터디/�민�

�민�

  • LaTeX 수ì‹�ì�´ 안 보여요

용어 사전

see also � 보기
coarse 대략��, 거친

2012/11/16

  • 「Experiments in Unconstrained Offline Handwritten Text Recognitionã€� 번역
  • 다ì�Œ 주까지 1학년 1학기ì—� ë°°ìš´ Linear Algebra and Its Applicationsì�˜ 1.10, 2.1, 2.2ì ˆ 번역하기

2012/11/29



Experiments in Unconstrained Offline Handwritten Text Recognition(제약 없는 오프�� 필기 글� ��� 관한 실험)


초�
오프ë�¼ì�¸ 필기 글ìž� ì�¸ì‹�ì�„ 위한 시스템ì�„ 소개한다. ì�´ 시스템ì�˜ 특징ì�€ ë„í• ì�´ 없다는 것으로 ì�¸ì‹� 모듈ì—�서 한 줄ì�„ 통째로 처리한다. 전처리, 특징 추출(feature extraction), 통계ì � 모형화 방법ì�„ 서술하고 ì €ìž� ë�…립, 다저ìž�, 단ì�¼ ì €ìž�ì‹� 필기 ì�¸ì‹� 작업ì—� 관해 실험하였다. 특히 선형 íŒ�별 ë„ì„�(Linear Discriminant Analysis), ì�´ì„œì²´(allograph) 글ìž� 모형, 통계ì � 언어 ì§€ì‹�ì�˜ 통합ì�„ 조사하였다.

1 서론
필기 글ìž� ì�¸ì‹�ì�€ 패턴 ì�¸ì‹�ì�˜ ë�„ì „ì �ì�¸ ë„야다. 지금까지ì�˜ 오프ë�¼ì�¸ 필기 ì�¸ì‹� 시스템들ì�€ 대ë€ë„ 우편 주소 ì�½ê¸°ë‚˜ ì�€í–‰ 수표 ê°™ì�€ 형ì‹�ì�„ 처리하는 ë�° ì �ìš©ë�˜ì—ˆë‹¤. 14 ì�´ë“¤ 시스템ì�´ 개별 글ìž�나 단어 ì�¸ì‹�ì—� 한정ë�œ 반면 제약 없는(unconstrained) 필기 글ìž� ì�¸ì‹�ì�„ 위한 시스템ì�€ ê±°ì�˜ 없다. ê·¸ ì�´ìœ ëŠ” ì�´ëŸ¬í•œ 작업ì�´ í�¬ê²Œ 복잡하기 때문ì�¸ë�° 글ìž� ë˜�는 단어ì�˜ 경계ì—� 대한 ì •ë³´ê°€ 없는 ë�°ë‹¤ 헤아릴 수 ì—†ì�„ ì •ë�„로 어휘가 방대한 것ì�´ 특징ì�´ë‹¤. 그럼ì—�ë�„ 필기 글ìž� ì�¸ì‹� 기법ì�„ ë�” 조사하는 것ì�´ 가치 있는 ì�´ìœ ëŠ”, 계산 능력ì�´ 향삼함ì—� ë”°ë�¼ ë�”ìš± 복잡한 처리를 í•  수 있기 때문ì�´ë‹¤.
본 논문ì—�서는 ì�€ë‹‰ 마르코프 모형ì—� 기반한, 어휘(lexicon)-free 오프ë�¼ì�¸ 필기 ì�¸ì‹� 시스템ì�„ 소개하고 완전한 ì˜�ì–´ 문장 ë�°ì�´í„°ë² ì�´ìФì—� 관한 몇 가지 실험ì�„ ì €ìž� ë�…립ì‹� 그리고 대조를 위해 다저ìž�, 단ì�¼ ì €ìž�ì‹�으로 수행했다. 전처리와 특징 추출 방법ì�„ 소개하고 ì�´ì—� ë�”í•´ 선형 íŒ�별 ë„ì„�, ì�´ì„œì²´ 글ìž� 모형ì�˜ 사용, 통계ì � 언어 모형 ê°™ì�€ ë�”ìš± ì •êµ�한 기법들ì�„ 조사한다. ê·¸ ë’¤ì�˜ ì ˆì—�서는 오프ë�¼ì�¸ 필기 ì�¸ì‹�ì—� 대한 관련 작업들ì�„ 짧게 검토한다. 우리가 사용한 ë�°ì�´í„°ë² ì�´ìŠ¤ëŠ” 3ì ˆì—�서 소개한다. ê·¸ 다ì�Œ 전처리, 특징 추출 방법, 통계ì � 모ë�¸ë§�ê³¼ ì�¸ì‹�ì�„ 위한 기법ì�„ 설명한다. í�‰ê°€ 결과는 제안한 방법ì�˜ 효율성ì�„ ìž…ì¦�하기 위해 7ì ˆì—�서 소개한다.

2 관련 작업
최근 몇 ë…„ê°„ 오프ë�¼ì�¸ 필기 ì�¸ì‹� ë„야는 ìƒ�당히 진전하였다. 특히 우편 주소나 legal amount ì�½ê¸°ë¥¼ 위한, ì �ì�€ 어휘를 사용한 개별 단어 ì�¸ì‹� 시스템ì�€ 높ì�€ ì�¸ì‹�률ì�„ 달성했고 ì�¸ì‹� 정확ë�„ë¿� 아니ë�¼ 처리 ì†�ë�„를 고려해ë´�ë�„ 개선할 여지가 ê±°ì�˜ 없다. 2 8
반면ì—� 방대하거나 아예 한계가 없는 어휘를 ì�´ìš©í•œ 제약 없는 필기 글ìž� ì�¸ì‹�ì�€ 훨씬 어렵다. ì�´ëŠ” 개별 단어 처리 시스템ì—� 본질ì �으로 있는 문맥 ì§€ì‹�ê³¼ 단어 ë„í•  ì •ë³´ê°€ 없기 때문ì�´ë‹¤. ì�´ëŸ° 난조ì—�ë�„ 제약 없는 필기 글ìž� ì�¸ì‹� 시스템ì�´ 몇 ê°œ 개발ë�˜ì—ˆë‹¤. 1, 9, 11, 18, 15, 17 ì�´ë“¤ 시스템ì�€ 주로 추출한 특징ì�˜ 종류와 한 줄ì�´ ì�¸ì‹� ì „ì—� 단어별로 ë„í• ë�˜ëŠ” ì§€ 아닌지ì—� ì°¨ì�´ê°€ 있다. ì�€ë‹‰ 마르코프 모형(HMM) 그리고 순환형 ì‹ ê²½ë§�ê³¼ HMMì�˜ 융합ì�„ ì�´ìš©í•œ ë„í•  기반 방법ì�˜ 예로 ê°�ê°� 1, 18ê³¼ 15ê°€ 있다. 15ì�˜ 실험ì�€ 단ì�¼ ì €ìž�로ë€í„° ì–»ì�€ ë�°ì�´í„°ë² ì�´ìŠ¤ë¥¼ 가지고 수행한 반면 1, 18ì�˜ 실험ì�€ 여러 ì €ìž�ì�˜ ìž�료를 가지고 검사하였다. 16ì—�서는 오프ë�¼ì�¸ 필기체 단어 ì�¸ì‹�ì�„ 광범위하게 조사하였다.
한 줄ì�„ 초기ì—� ë„할하여 ë°œìƒ�하는 오류를 피하기 위해 9ì—�서는 ë„í• ì�„ 하지 않는, 즉 한 줄 전체를 ì�¸ì‹� 모듈ì—� 넘기는 방법ì�„ 제안한다. ì�´ 시스템ì�€ 단ì�¼ ì €ìž�ì—� 대해 검사ë�˜ì—ˆê³  통계ì � 언어 ì§€ì‹�ê³¼ 결합하여 유ë§�한 ì�¸ì‹� 결과를 달성한다. 11ì�€ ì €ìž� 수백 명으로ë€í„° 제작하고 보다 í�° ë�°ì�´í„°ë² ì�´ìФì—�서 검사ë�œ, ì €ìž�ì—� 무관한 제약 없는 글ìž� ì�¸ì‹�ì�„ 위한 발전ë�œ 시스템ì�„ 서술한다. 앞으로 나올 ì ˆì—�서 설명하는 시스템ì�€ 전처리와 특징 추출 방법ì�´ 약간 다른 비슷한 접근법ì�„ 사용한다. ê·¸ì—� ë�”í•´ ì�´ì„œì²´ 글ìž� 모형, 즉 글ìž� 종류별 HMM ì§‘í•©ê³¼ 통계ì � 언어 모형ì�˜ 사용 ë¿� 아니ë�¼ 특징 벡터ì�˜ 선형 íŒ�별 ë„ì„�(LDA)ì�„ ì �용한 ê²°ê³¼ë�„ 조사한다.

3 �뭉치(corpus)
훈련과 ��� 위한 입력 ��터는 완전한 �어 문장 ��터베�스� �해 제공�고 ��� Lancaster-Oslo/Bergen �뭉치� 기반한다. 7 저� �립� � 아니� 다수 저�� 관한 실험� Bern 대학� IAM�서 수집한 필기 형태 10� ��터베�스를 사용하여 수행하였다. ��터베�스 전체는 다양한 글 범주(출� 글�, 종�, �기 설화, 픽션...)를 �함하고 500명 �� 저�� 1200개 �� 필기 형태로 구성�다. 우리는 250명 ��� 저�가 저� �립� 실험� 위해 제작한 범주 a..f� form과 여섯 저�가 다저��� �용하여 제작한 하위집합 c03� 사용한다.
우리� 시스템� 단� 저���서� �가하기 위해 Senior 15가 수집한 ��터베�스� 필기 서�으로� 실험� 수행했다. � ��터베�스는 한 저�가 쓴 25쪽으로 구성�며 웹�서 공개�으로 얻� 수 있다.1 � ��터베�스� 필기 양�들� 256 그레� 레벨� 사용하여 300dpi 해��로 스캔하였다. 그림 1� � ��터베�스� 예시가 있다.
1 ftp://svr-ftp.eng.cam.ac.uk/pub/data

4 전처리
필기 글�� �미지가 주어진 �태�서 먼저 전체 �미지� 기울임� �정하여 스�� �중 양�� 비정확한 배치나 글� 쓸 때 지��� "밀려남(drift)"� �한 오류를 바로잡는다. 따�서 �미지는 �진화� �미지� 수� 밀� 히스토그램� 최소 엔트로피를 가지기 전까지 회전�다. 4 � 전처리 단계를 IAM ��터베�스� 서��는 �용하지 않았는� 저�들� 양� 아래� � 번째 시트� �를 쓰�� 요청받았고 서� �체는 스��하면서 정확히 정렬�었기 때문�다.
글ì�„ 한 걸ì�Œ ë�” 처리하기 위해 ê°�ê°�ì�˜ 줄ì�„ 추출하여야 한다. 그러기 위해 ì�´ë¯¸ì§€ë¥¼ 필기 ë�¼ì�¸ì�˜ 핵심 ì˜�ì—­(core region)들 사ì�´ë¥¼ ë„리한다. 핵심 ì˜�ì—­, 즉 í…�스트 ë�¼ì�¸ì�˜ 위 ë² ì�´ìФë�¼ì�¸ê³¼ 아래 ë² ì�´ìФë�¼ì�¸ 사ì�´ì�˜ ì˜�ì—­ì�€ threshold를 ì �용하여 찾는다. threshold는 줄들ì�´ 핵심 ì˜�ì—­ì—� ì†�하기 위해 필요한 ì „ë°©foreground 픽셀들ì�˜ 최소 개수를 나타낸다. ì�´ threshold는 ì�´ì§„화한 필기 ì˜�ì—­ì�˜ 수í�‰ ë°€ë�„ 히스토그램ì�„ ì�´ìš©í•˜ì—¬ Otsuì�˜ 방법 12를 ì �용하면 ìž�ë�™ìœ¼ë¡œ ê²°ì •ë�œë‹¤. ê·¸ 다ì�Œ 수í�‰ 투ì˜� 히스토그램ì—�서 ê°� 줄ì�˜ ê²€ì�€ 픽셀ì�˜ 개수가 ì¶•ì �ë�˜ê³  ì�´ë¯¸ì§€ëŠ” ì�´ 투ì˜� 히스토그램ì�˜ minima를 ë”°ë�¼ 핵심 ì˜�역별로 나눠진다.
다양한 저�� 글씨체 때문� �� 작업� 단순화하기 위해 필기를 정규화한다. 특히 수� 위치, 기울임, 경사(slant)� �정� 전처리�서 중요함� 드러났다. 그 ��� 정규화는 필기� �기와 그레�레벨� 강�를 고려한다.
ê°€ë�” 글씨체가 한 줄ì—�서ë�„ 확 바뀌는 것ì—� ë�™ê¸°ë¥¼ 얻어 우리는 ê°� 줄ì�˜ 수ì§� 위치, 기울임, 경사를 국소ì �으로 êµ�정한다. ë”°ë�¼ì„œ ê°� í–‰ì�€ 필기 ì¡°ê°�segment들 사ì�´ì�˜ 공백ì�„ íƒ�색하여 ë„리ë�œë‹¤. 믿ì�„ 만한 정규화 계수를 계산하기ì—�는 너무 ì§§ì�€ ì¡°ê°�ì�„ 피하기 위해 threshold를 사용한다.
수� 위치와 기울임� 15� 서술� 접근법과 비슷한 선형 회귀(linear regression)를 �용한 베�스�� 측정법� �용하여 �정한 반면�, 경사� 계산� 가장�리edge 방향� 기반한다. 그러므로 �미지는 �진화�고 수� �-백과 백-� 전환� 추출하는� 수� stroke만� 경사 측정� 결정��다. canny edge detector를 �용하여 edge orientation �료를 얻고 �� 히스토그램� 누�한다. 히스토그램� �균� 경사�으로 쓴다.
필기� �기를 정규화하기 위해 � 줄� 극값(local extrema) 개수를 세고 줄� 너비와� 비율� 얻는다. 비례(scaling) 계수는 � 비율� 선형�� 비율� � 수� 글씨체는 � �아지기 때문�다.
마지막 전처리는 그레� 레벨� 정규화하여 다양한 펜과 배경색으로 �한 변화� 대처하는 것�다. �미지� 그레� 레벨 구간� 어�운 강�는 0� �고 �� 쪽� 255가 ��� 조정한다. �뭉치� 통��� 한 줄� �들 전처리를 �용한 결과가 그림 3� 나타나있다.

5 특징 추출
필기 줄� 전처리한 �미지는 특징 추출 단계� 입력 �료로 사용�다. sliding window 기법� 11� 설명하는 접근법과 비슷하게 �용한다. 우리� 경우 �미지� 높�와 열 네 개 �기� 창� �미지� 왼쪽�서 오른쪽으로 � 열씩 겹치면서 움��고 기하 추출� �� 추출한다.
sliding windowì�˜ ê°� ì—´ì—�서 특징 7개를 추출한다. (1) í�‘-ë°± 변화 개수(windowed text imageì�˜ ì�´ì§„í™” ì�´í›„), (2) ë² ì�´ìФë�¼ì�¸ì—� 대한 ê°•ë�„ ë„í�¬ì�˜ í�‰ê·  ê°’ 위치, (3) 최ìƒ�단 글ìž� 픽셀ì—�서 ë² ì�´ìФë�¼ì�¸ê¹Œì§€ì�˜ 거리, (4) 최하단 글ìž� 픽셀ì—�서 ë² ì�´ìФë�¼ì�¸ê¹Œì§€ì�˜ 거리, (5) 최ìƒ�단과 최하단 í…�스트 픽셀ì�˜ 거리, (6) 최ìƒ�단과 최하단 í…�스트 픽셀 사ì�´ì�˜ í�‰ê·  ê°•ë�„, (7) ê·¸ ì—´ì�˜ í�‰ê·  ê°•ë�„. 특징 (2)-(5)는 core size, 즉 하단 ë² ì�´ìФë�¼ì�¸ê³¼ ìƒ�단 ë² ì�´ìФë�¼ì�¸(극대값ì�„ 통한 line fitting으로 계산)ì�˜ 거리ì—� ì�˜í•´ 정규화ë�˜ì–´, 글씨 í�¬ê¸°ì�˜ ë³€ë�™ì—� 대해 ë�”ìš± 굳건해진다. ê·¸ 후ì—� 모든 특징ì�€ 윈ë�„ìš°ì�˜ 네 ì—´ì—� 걸ì³� í�‰ê· í™”ë�œë‹¤.
ê°•ë�„ ë„í�¬ì�˜ í�‰ê· ê°’ì�˜ 변화 ë¿� 아니ë�¼ 하단 contour와 ìƒ�단 contourì�˜ ë°©í–¥ì�„ 고려하기 위해 추가ì �으로 세 가지 방향성 특징ì�„ 계산한다. ë§�ì�¸ 즉 우리는 네 lower countour ì �, upper contour ì �, sliding window ë‚´ í�‰ê· ê°’ì�„ 통해 줄들ì�„ 재고 ì„  방향들ì�„ (8), (9), (10) 특성으로 ê°�ê°� 사용한다. (ë­” 소리) ë�” ë„“ì�€ temporal context를 고려하여 우리는 특징 벡터ì�˜ ê°� 성ë„마다 근사ì �ì�¸ 수í�‰ 미ë„ì�„ 추가로 계산하고 결과로 20 ì°¨ì›� 특징 벡터를 얻는다. (윈ë�„우당 특징 10ê°œ, ë�„함수 10ê°œ)
특징 벡터들ì�„ decorrelate하고 종류 ë„별력ì�„ í–¥ìƒ�하기 위해 우리는 훈련 단계와 ì�¸ì‹� 단계ì—�서 LDA를 통합한다. (cf. 6) ì›�래 특징 표현ì�„ ì�¼ì°¨ 변환하고 특징 공간ì�˜ ì°¨ì›�ì�„ ì �ì°¨ 줄ì�´ë©° 최ì �화한다. ì�¼ì°¨ 변환 A를 구하기 위해 훈련 ìž�료ì�˜ í�´ëž˜ìŠ¤ë‚´ ë„ì‚°(within class scatter) 행렬 Sw와 í�´ëž˜ìŠ¤ê°„ ë„ì‚°(between class scatter) 행렬 Sb를 ì�´ìš©í•˜ì—¬ 고유 벡터 문제를 해결한다. ì�´ ë„ì‚°(scatter) 행렬들ì�„ 계산하여 ê°� 특징 벡터ì�˜ HMM ìƒ�태와 함께 ì�´ë¦„표를 붙여야 한다. 우리는 먼저 ì�¼ë°˜ì �ì�¸ 훈련ì�„ 수행하고 훈련 ìž�료들ì�„ ìƒ�태를 기준으로 정렬한다. ë„ì‚° 행렬ì�„ 구했으면 LDA 변환ì�€ 다ì�Œ 고유 벡터 문제를 풀어 계산한다.



��와 ����는 ��−1��� 고유값과 고유벡터다. 차� reduction(경�?)� 가장 � m개 고유값� �하는 m개 고유 벡터만� 구하여 얻어진다. 모든 특징 벡터를 LDA 변환한 후�는 완전히 새로운 HMM 훈련� 수행�다.

6 통계� 모��과 ��
필기 글� ��� 위한 HMM� 구성, 훈련, 해�� ESMERALDA 개발 환경5� 제공하는 방법과 �구� 틀 안�서 수행�다. HMM� �반�� 설정으로서 우리는 512개� Gaussian mixtures with diagonal covariance matrice(� � 저� �립 시스템�서는 2048개)를 �함하는 공유 코드�� 있는 semi-continuous 시스템� 사용한다. 52개 글�, 10개 숫�, 12개 구�� 기호와 괄호, 공백 하나를 위한 기본 시스템 모형� 표준 Baum-Welch 재측정� 사용하여 훈련�다. 그 다� 한 줄 전체를 ��하기 위해 글� 모형� 대한 루프로 구성� conbined model� 사용�다. 가장 가능성 높� 글� 시퀀스가 표준 Viterbi beam- search를 �용하여 계산�다.
전처리ì—�서 벌충할 수 없는 서로 다른 글씨체 사ì�´ì�˜ ë³€ë�™ì�„ 고려하기 위해 우리는 13ì—� 서술ë�œ 접근법과 비슷한, 다저ìž�/ì €ìž� ë�…립ì‹� ì�¸ì‹�ì�„ 위한 글ìž� ì�´ì„œì²´ 모형ì�„ ì �용한다. ì�´ì„œì²´ëŠ” 글ìž� 하위 ë„류, 즉 특정 글ìž�ì�˜ 서로 다른 실현ì�´ë‹¤. ì�´ëŠ” ë² ì�´ìФë�¼ì�¸ 시스템과달리HMMì�´ì�´ì œì„œë¡œë‹¤ë¥¸ê¸€ìž� 하위 ë„류를 모ë�¸ë§�하는 ë�° ì“°ìž„ì�„ 뜻한다. 글ìž�별 하위 ë„류 개수와 ì�´ì„œì²´ HMM 개수는 휴리스틱으로 결정하는ë�°, 가령 다저ìž�ì‹�ì—� ì �ìš©ë�œ 시스템ì—�서 우리는 ì�´ì„œì²´ 개수가 ì €ìž� 수만í�¼ 있다고 가정한다. 초기화ì—�서 훈련 ìž�료는 ì�´ì„œì²´ HMM들ì�„ ìž„ì�˜ë¡œ ì„ íƒ�하여 ì�´ë¦„표를 ë¶™ì�¸ë‹¤. 훈련 ë�„중 모든 글ìž� 표본ì—� 대해 해당하는 모든 ì�´ì„œì²´ì—� 매개변수 재추정ì�„ 병렬 ì �용한다. ì •í•© 가능성ì�€ 특정 모형ì�˜ 매개변수가 현재 표본ì—� 얼마나 강하게 ì˜�향받는 지를 결정한다. ì�´ì„œì²´ ì�´ë¦„표가 유ì�¼í•˜ê²Œ ê²°ì •ë�˜ì§€ëŠ” 않기ì—� ì�´ 절차는 soft vector quantizationê³¼ 비슷하다.
ë€ìˆ˜ì �으로, 통계ì � 언어 모형ì�€ ì�¸ì‹� 과정ì—� 통합ë�˜ì–´ 글ìž� 시퀀스가 ë°œìƒ�í•  것 ê°™ì�€ ì •ë�„ì�˜ 추정ì�„ 제공한다. ì�¸ì‹� 작업ì�˜ 목표는 주어진 ë�°ì�´í„° xì—� 대하여 통합 통계 모형ì�˜ 확률ì�„ 최대화하는 글ìž� 시퀀스 ð�‘¤Ì‚ 를 찾는 것ì�´ë‹¤.

�̂ = ��������(�)�(�|�)

위 ��서 P(W)는 글� 시퀀스 w� 언어 모형 확률�고 P(X|W)는 � 글� 시퀀스를 그 글� 모형� 따� 입력 ��터 x로서 관찰한 확률�다. 우리� 경우 absolute discounting과 backing-off for smoothing of probability distribution� �용한 바�그램 언어 모형� �용하였다. (cf. e.g. 3)

7 ê²°ê³¼
우리� 필기 �� 시스템� �가하기 위해 단� 저��, 다저��, 저� �립� �� �렇게 세 가지 실험� 수행했다. 표 1� �들 실험� 글� 오류율� 있다. 처� � 열� 실험 종류, 3열� 언어 모형� �용하지 않� 오류율, 4열� 바�그램 언어 모형� 글� 수준�서 �용한 결과다. 언어 모형� IAM ��터베�스� a..d 범주� 모든 글� 사용하여 �성하였고 실험 내내 �정하다. 표 2�는 어휘-free 단어 ��과 어휘 기반 단어 ��� 나타나있다.
단� 저�� 실험� Senior ��터베�스�서 훈련� 282줄, 검정� 141줄� �서 수행했는�, 글� 수준�서 검정 집합� 바�그램 perplexity는 15.3�다. 베�스�� 시스템� 오류율 13.3%는 바�그램 언어 모형� 채�하여 12.1%로 �소했다. LDA 변환한 특징 공간� 차�� 12로 내려갔지만 오류율� 그다지 커지지 않았다. 단� 저� 시스템� 단어 오류율(표 2)� 어휘 없� 28.5%, 1.5k 어휘가 있으면 10.5%다. � 결과들� 우리가 같� ��터베�스를 �용하여 literature(문학 작품� 아닌 것 같다)�서 얻� 오류율과 비��긴 하지만, 훈련 집합과 검정 집합� �기가 달� 비�하긴 어렵다. 17�서 오류율� 글�� 경우 28.3%, 어휘 없는 단어� 경우 84.1%, 1.3k 어휘가 있는 단어� 경우 16.5%다. 15� 보고�서 단어 오류율� 어휘가 있는 경우 6.6%, 어휘 free� 경우 41.1%다. 9�서 최고� 어휘 기반 단어 오류율� 15.0%다.
다저� 필기 �� 작업� 경우 IAM ��터베�스� 하위집합 c03�서 훈련� 440줄, 검정� 109줄� 사용하였다. � 줄들� 글씨체가 확연히 다른 저� 여섯�서 작성하였다. � 작업�서 LDA(12차�으로 경�)를 쓴 글� 오류율 14.2%는 �서체 모형(� 소문�� �서체 6개)� 추가로 사용하여 13.3%로 � �게 �소했다. 바�그램 언어 모형� 채�한 결과 오류율� 11.1%로 �욱 �소했다(검정 집합 perplexity는 12.0). 어휘 없는 단어 오류율� 39.0%로, 단어 421개(구�� �함)를 �함한 어휘를 �용하여 오류율� 13.9%로 줄어들었는� 11� 나온 20.5%와 많� 비��다.
� 결과들� 고무하여 우리는 � 어려운 작업� 저� �립 �� 실험� 수행했다. IAM ��터베�스� 하위 집합 a- f(저� 약 250명)� 입력 �료로 �는�, 훈련� 4321줄(양� a-d), 검정� 1097줄(양� e-f)� 사용했다. 베�스�� 시스템� 글� 오류율� 31.3%다. 저� �립� 경우 �서체 모형� 다저� 실험� 비해 별다른 향�� �루지 못했다. 오류율 31.3%는 글�당 �서체 3개를 �서 얻� 것�며 글�당 �서체 10개를 �서 실험했� 때 오류율(34.8%)과 �� �� 모� 하�하였다. 하지만 오류율� LDA 변환한 특징� �� 때 29.1%로 �게 �소했다. 언어 모형� 추가로 통합하여 글� 오류율� 22.2%로 �욱 개선�었다(검정 집합� perplexity는 12.0). �는 어휘를 쓰지 않았� 때 단어 오류율 60.6%와 대��다.

8 ê²°ë¡ 
우리는 ë„í•  없는 오프ë�¼ì�¸ 필기 글ìž� ì�¸ì‹�ì�„ 위한 시스템ì�„ 소개하고 단ì�¼ ì €ìž�, 다저ìž�, ì €ìž� ë�…립ì‹�ì—� 관해 실험ì�„ 몇 ê°œ 수행해다. 어휘를 ì“°ì§€ 않는 단어 기반 ë¿� 아니ë�¼ 글ìž� 수준ì—�서ë�„ 유ë§�한 ì�¸ì‹� 결과를 ì�´ë£¨ì—ˆë‹¤. ì�¸ì‹� 정확ë�„는 ë² ì�´ìФë�¼ì�¸ 시스템과 비êµ�í•´ ìƒ�당히 개선ë�˜ì—ˆëŠ”ë�°, 글ìž� 수준ì—�서 통계ì � 언어 모형ì�„ ì �용하고 다저ìž�/ì €ìž� ë�…립ì‹� ì�¸ì‹�ì—�서 특징 공간ì�˜ LDA를 수행한 결과다.
�� 정확�� 추가 개선, 특히 다저� ���서� 개선� �서체 글� 모형� �용하여 얻었다.

9 �사� �
� 연구는 프로�트 Fi799/1�서 German Research Foundation(DFG)가 제안하였다.
추가로 Bern 대학� Institute of Informatics and Applied Mathematics, 즉 Horst Bunke와 Urs-Viktor Marti�게 �사한다. �들� 우리가 필기 양� ��터베�스� IAM10� �� 실험� 쓰는 것� 허�하였다.

참고 문헌
1
2
...
18

Linear Algebra and Its Applications (4th ed.) by David C. Lay

제 2장 서론 ~ 2.3절
  • 보잉사ì�˜ ê³µë�Œì�´ë“¤ì�€ 3D 모ë�¸ë§�ê³¼ 계산유체역학ì�„ 사용하여 차세대 ìƒ�ì—… ë°� 군사용 비행기를 설계한다. ì�´ë“¤ì�€ 비행기 주변ì�˜ 기류를 시뮬레ì�´ì…˜í•˜ê³ ìž� ë°©ì •ì‹�ê³¼ 변수를 대략 200만개 í�¬í•¨í•˜ëŠ” ì�¼ì°¨ ë°©ì •ì‹�ì�„ 반복하여 푼다. ì�´ëŸ¬í•œ 거대한 ë°©ì •ì‹�계를 현실ì �ì�¸ 시간 ë‚´ì—� 풀려면 ë„í•  행렬(partitioned matrix)ê³¼ 행렬 ì�¸ìˆ˜ë„í•´(matrix factorization)ë�¼ëŠ” ê°œë…�ì�„ ë�„입해야 한다.
  • 가우스 소거법ì�„ ì�´ìš©í•œ 역행렬 구하기: [A I] -> [I A-¹]
  • íž�버트 행렬: 계산으로는 역행렬ì�„ 구하기 어렵다. 행렬ì�˜ 차수가 높아지면 행렬ì‹�ì�´ 급격히 작아진다.

Valid XHTML 1.0! Valid CSS! powered by MoniWiki
last modified 2021-02-07 05:28:55
Processing time 0.0272 sec