Warning:
ERROR: LaTeX does not work properly.in /var/www/html/plugin/processor/latex.php on line 210
¶
see also 더 보기
coarse 대략,
coarse 대략,
2012/11/16 ¶
- 「Experiments in Unconstrained Offline Handwritten Text Recognition」
- 다 까 1 1기 배 Linear Algebra and Its Applications 1.10, 2.1, 2.2 기
2012/11/29 ¶
Experiments in Unconstrained Offline Handwritten Text Recognition( 는 라 기 글 관 ) ¶
록
라 기 글 개다. 다는 것로 모 로 리다. 리, (feature extraction), 모 방법 고 독립, 다, 단 기 관 다. (Linear Discriminant Analysis), (allograph) 글 모, 다.
라 기 글 개다. 다는 것로 모 로 리다. 리, (feature extraction), 모 방법 고 독립, 다, 단 기 관 다. (Linear Discriminant Analysis), (allograph) 글 모, 다.
1 론
기 글 다. 까 라 기 들 대부 기나 같 리는 데 되다. 14 들 개 글나 단 된 반면 는(unconstrained) 기 글 다. 그 는 러 게 복기 때문데 글 또는 단 경 대 보가 는 데다 릴 로 가 방대 것 다. 그럼 기 글 기법 더 는 것 가 는 는, 능력 따라 더 복 리를 기 때문다.
본 논문는 닉 르 모 기반, (lexicon)-free 라 기 개고 문 데베 관 몇 가 독립 그리고 대를 다, 단 로 다. 리 방법 개고 더 , 글 모 , 모 같 더 교 기법들 다. 그 뒤 는 라 기 대 관련 들 게 검다. 리가 데베는 3 개다. 그 다 리, 방법, 모델링과 기법 명다. 가 결과는 방법 기 7 개다.
기 글 다. 까 라 기 들 대부 기나 같 리는 데 되다. 14 들 개 글나 단 된 반면 는(unconstrained) 기 글 다. 그 는 러 게 복기 때문데 글 또는 단 경 대 보가 는 데다 릴 로 가 방대 것 다. 그럼 기 글 기법 더 는 것 가 는 는, 능력 따라 더 복 리를 기 때문다.
본 논문는 닉 르 모 기반, (lexicon)-free 라 기 개고 문 데베 관 몇 가 독립 그리고 대를 다, 단 로 다. 리 방법 개고 더 , 글 모 , 모 같 더 교 기법들 다. 그 뒤 는 라 기 대 관련 들 게 검다. 리가 데베는 3 개다. 그 다 리, 방법, 모델링과 기법 명다. 가 결과는 방법 기 7 개다.
2 관련
근 몇 라 기 는 당 다. 나 legal amount 기를 , 를 개 단 높 률 달고 뿐 라 리 를 고려봐 개 가 다. 2 8
반면 방대나 가 는 를 는 기 글 렵다. 는 개 단 리 본로 는 문맥 과 단 보가 기 때문다. 런 난 는 기 글 몇 개 개발되다. 1, 9, 11, 18, 15, 17 들 로 류 단로 되는 닌 가 다. 닉 르 모(HMM) 그리고 경망과 HMM 기반 방법 로 각각 1, 18과 15가 다. 15 단 로부 데베를 가고 반면 1, 18 러 료를 가고 검다. 16는 라 기 단 광범게 다.
기 발는 류를 기 9는 는, 를 모 기는 방법 다. 단 대 검되고 과 결 망 결과를 달다. 11 명로부 고 보다 데베 검된, 무관 는 글 발된 다. 로 나 명는 리 방법 다른 근법 다. 그 더 글 모, 글 류 HMM 과 모 뿐 라 벡 (LDA) 결과 다.
근 몇 라 기 는 당 다. 나 legal amount 기를 , 를 개 단 높 률 달고 뿐 라 리 를 고려봐 개 가 다. 2 8
반면 방대나 가 는 를 는 기 글 렵다. 는 개 단 리 본로 는 문맥 과 단 보가 기 때문다. 런 난 는 기 글 몇 개 개발되다. 1, 9, 11, 18, 15, 17 들 로 류 단로 되는 닌 가 다. 닉 르 모(HMM) 그리고 경망과 HMM 기반 방법 로 각각 1, 18과 15가 다. 15 단 로부 데베를 가고 반면 1, 18 러 료를 가고 검다. 16는 라 기 단 광범게 다.
기 발는 류를 기 9는 는, 를 모 기는 방법 다. 단 대 검되고 과 결 망 결과를 달다. 11 명로부 고 보다 데베 검된, 무관 는 글 발된 다. 로 나 명는 리 방법 다른 근법 다. 그 더 글 모, 글 류 HMM 과 모 뿐 라 벡 (LDA) 결과 다.
3 말뭉(corpus)
련과 력 데는 문 데베 공되고 각각 Lancaster-Oslo/Bergen 말뭉 기반다. 7 독립 뿐 라 다 관 Bern 대 IAM 기 10 데베를 다. 데베 는 다 글 범( 글, 교, 기 , ...)를 고 500명 1200개 기 로 구된다. 리는 250명 가 독립 범 a..f form과 가 다 c03 다.
리 단 가기 Senior 15가 데베 기 로 다. 데베는 가 25로 구되며 공개로 다.1 두 데베 기 들 256 그 벨 300dpi 로 다. 그림 1 각 데베 가 다.
1 ftp://svr-ftp.eng.cam.ac.uk/pub/data
련과 력 데는 문 데베 공되고 각각 Lancaster-Oslo/Bergen 말뭉 기반다. 7 독립 뿐 라 다 관 Bern 대 IAM 기 10 데베를 다. 데베 는 다 글 범( 글, 교, 기 , ...)를 고 500명 1200개 기 로 구된다. 리는 250명 가 독립 범 a..f form과 가 다 c03 다.
리 단 가기 Senior 15가 데베 기 로 다. 데베는 가 25로 구되며 공개로 다.1 두 데베 기 들 256 그 벨 300dpi 로 다. 그림 1 각 데베 가 다.
1 ftp://svr-ftp.eng.cam.ac.uk/pub/data
4 리
기 글 미가 먼 미 기 교 닝 배나 글 때 "밀려남(drift)" 류를 바로는다. 따라 미는 된 미 밀 그램 로를 가기 까 된다. 4 리 단를 IAM 데베 는 는데 들 래 두 를 록 고 는 닝면 렬되기 때문다.
글 더 리기 각각 다. 그러기 미를 기 라 (core region)들 를 리다. , 라 베라과 래 베라 threshold를 는다. threshold는 들 기 방foreground 들 개를 나낸다. threshold는 기 밀 그램 Otsu 방법 12를 면 동로 결된다. 그 다 그램 각 검 개가 되고 미는 그램 minima를 따라 로 나다.
다 글 때문 단기 기를 규다. , 기, 경(slant) 교 리 드러났다. 그 규는 기 기 그벨 강를 고려다.
가끔 글가 바뀌는 것 동기를 리는 각 , 기, 경를 국로 교다. 따라 각 기 각segment들 공 리된다. 믿 만 규 를 기는 무 각 기 threshold를 다.
기 15 된 근법과 귀(linear regression)를 베라 법 교 반면, 경각 가리edge 방 기반다. 그러므로 미는 되고 -과 - 는데 stroke만 경 결다. canny edge detector를 edge orientation 료를 고 각 그램 다. 그램 균 경각로 다.
기 기를 규기 각 극값(local extrema) 개를 고 는다. 례(scaling) 는 데 록 글는 더 기 때문다.
막 리는 그 벨 규 다 과 배경로 변 대는 것다. 미 그 벨 구 두 강는 0 되고 밝 255가 되록 다. 말뭉 들 리를 결과가 그림 3 나나다.
기 글 미가 먼 미 기 교 닝 배나 글 때 "밀려남(drift)" 류를 바로는다. 따라 미는 된 미 밀 그램 로를 가기 까 된다. 4 리 단를 IAM 데베 는 는데 들 래 두 를 록 고 는 닝면 렬되기 때문다.
글 더 리기 각각 다. 그러기 미를 기 라 (core region)들 를 리다. , 라 베라과 래 베라 threshold를 는다. threshold는 들 기 방foreground 들 개를 나낸다. threshold는 기 밀 그램 Otsu 방법 12를 면 동로 결된다. 그 다 그램 각 검 개가 되고 미는 그램 minima를 따라 로 나다.
다 글 때문 단기 기를 규다. , 기, 경(slant) 교 리 드러났다. 그 규는 기 기 그벨 강를 고려다.
가끔 글가 바뀌는 것 동기를 리는 각 , 기, 경를 국로 교다. 따라 각 기 각segment들 공 리된다. 믿 만 규 를 기는 무 각 기 threshold를 다.
기 15 된 근법과 귀(linear regression)를 베라 법 교 반면, 경각 가리edge 방 기반다. 그러므로 미는 되고 -과 - 는데 stroke만 경 결다. canny edge detector를 edge orientation 료를 고 각 그램 다. 그램 균 경각로 다.
기 기를 규기 각 극값(local extrema) 개를 고 는다. 례(scaling) 는 데 록 글는 더 기 때문다.
막 리는 그 벨 규 다 과 배경로 변 대는 것다. 미 그 벨 구 두 강는 0 되고 밝 255가 되록 다. 말뭉 들 리를 결과가 그림 3 나나다.
5
기 리 미는 단 력 료로 된다. sliding window 기법 11 명는 근법과 게 다. 리 경 미 높 개 기 미 른로 두 겹면 고 기 다.
sliding window 각 7개를 다. (1) - 변 개(windowed text image ), (2) 베라 대 강 균 값 , (3) 단 글 베라까 리, (4) 단 글 베라까 리, (5) 단과 단 리, (6) 단과 단 균 강, (7) 그 균 강. (2)-(5)는 core size, 단 베라과 단 베라(극대값 line fitting로 ) 리 규되, 글 기 변동 대 더 굳다. 그 모든 균된다.
강 균값 변 뿐 라 단 contour 단 contour 방 고려기 가로 가 방 다. 말 리는 lower countour , upper contour , sliding window 내 균값 들 고 방들 (8), (9), (10) 로 각각 다. (뭔 리) 더 temporal context를 고려 리는 벡 각 다 근 미 가로 고 결과로 20 벡를 는다. (당 10개, 10개)
벡들 decorrelate고 류 력 기 리는 련 단 단 LDA를 다. (cf. 6) 래 변고 공 며 다. 변 A를 구기 련 료 래내 (within class scatter) 렬 Sw 래 (between class scatter) 렬 Sb를 고 벡 문를 결다. (scatter) 렬들 각 벡 HMM 께 를 붙 다. 리는 먼 반 련 고 련 료들 를 기로 렬다. 렬 구면 LDA 변 다 고 벡 문를 다.
기 리 미는 단 력 료로 된다. sliding window 기법 11 명는 근법과 게 다. 리 경 미 높 개 기 미 른로 두 겹면 고 기 다.
sliding window 각 7개를 다. (1) - 변 개(windowed text image ), (2) 베라 대 강 균 값 , (3) 단 글 베라까 리, (4) 단 글 베라까 리, (5) 단과 단 리, (6) 단과 단 균 강, (7) 그 균 강. (2)-(5)는 core size, 단 베라과 단 베라(극대값 line fitting로 ) 리 규되, 글 기 변동 대 더 굳다. 그 모든 균된다.
강 균값 변 뿐 라 단 contour 단 contour 방 고려기 가로 가 방 다. 말 리는 lower countour , upper contour , sliding window 내 균값 들 고 방들 (8), (9), (10) 로 각각 다. (뭔 리) 더 temporal context를 고려 리는 벡 각 다 근 미 가로 고 결과로 20 벡를 는다. (당 10개, 10개)
벡들 decorrelate고 류 력 기 리는 련 단 단 LDA를 다. (cf. 6) 래 변고 공 며 다. 변 A를 구기 련 료 래내 (within class scatter) 렬 Sw 래 (between class scatter) 렬 Sb를 고 벡 문를 결다. (scatter) 렬들 각 벡 HMM 께 를 붙 다. 리는 먼 반 련 고 련 료들 를 기로 렬다. 렬 구면 LDA 변 다 고 벡 문를 다.
𝜇𝑖 𝐴𝑇𝜓𝑖는 𝑆𝑤1𝑆𝑏 고값과 고벡다. reduction(경감?) 가 m개 고값 는 m개 고 벡만 구 다. 모든 벡를 LDA 변 는 로 HMM 련 된다.
6 모델링과
기 글 HMM 구, 련, 독 ESMERALDA 개발 경5 공는 방법과 구 된다. HMM 반 로 리는 512개 Gaussian mixtures with diagonal covariance matrice(더 독립 는 2048개)를 는 공 드북 는 semi-continuous 다. 52개 글, 10개 , 12개 구두 기 , 공 나를 기본 모 Baum-Welch 련된다. 그 다 를 기 글 모 대 루로 구된 conbined model 된다. 가 가능 높 글 가 Viterbi beam- search를 된다.
리 벌 는 로 다른 글 변동 고려기 리는 13 된 근법과 , 다/ 독립 글 모 다. 는 글 류, 글 로 다른 다. 는 베라 과달리HMM로다른글 류를 모델링는 데 뜻다. 글 류 개 HMM 개는 리로 결는데, 가령 다 된 리는 개가 만 다고 가다. 기 련 료는 HMM들 로 를 붙다. 련 모든 글 본 대 당는 모든 매개변 병렬 다. 가능 모 매개변가 본 나 강게 는 를 결다. 가 게 결되는 기 는 soft vector quantization과 다.
부로, 모 과 되 글 가 발 것 같 공다. 목는 데 x 대 모 률 대는 글 𝑤̂ 를 는 것다.
기 글 HMM 구, 련, 독 ESMERALDA 개발 경5 공는 방법과 구 된다. HMM 반 로 리는 512개 Gaussian mixtures with diagonal covariance matrice(더 독립 는 2048개)를 는 공 드북 는 semi-continuous 다. 52개 글, 10개 , 12개 구두 기 , 공 나를 기본 모 Baum-Welch 련된다. 그 다 를 기 글 모 대 루로 구된 conbined model 된다. 가 가능 높 글 가 Viterbi beam- search를 된다.
리 벌 는 로 다른 글 변동 고려기 리는 13 된 근법과 , 다/ 독립 글 모 다. 는 글 류, 글 로 다른 다. 는 베라 과달리HMM로다른글 류를 모델링는 데 뜻다. 글 류 개 HMM 개는 리로 결는데, 가령 다 된 리는 개가 만 다고 가다. 기 련 료는 HMM들 로 를 붙다. 련 모든 글 본 대 당는 모든 매개변 병렬 다. 가능 모 매개변가 본 나 강게 는 를 결다. 가 게 결되는 기 는 soft vector quantization과 다.
부로, 모 과 되 글 가 발 것 같 공다. 목는 데 x 대 모 률 대는 글 𝑤̂ 를 는 것다.
𝑤̂ = 𝑎𝑟𝑔𝑚𝑎𝑥𝑤𝑃(𝑋)𝑃(𝑋|𝑊)
P(W)는 글 w 모 률고 P(X|W)는 글 를 그 글 모 따라 력 데 x로 관 률다. 리 경 absolute discounting과 backing-off for smoothing of probability distribution 바그램 모 다. (cf. e.g. 3)
7 결과
리 기 가기 단 , 다, 독립 렇게 가 다. 1 들 글 류 다. 두 류, 3 모 류, 4 바그램 모 글 결과다. 모 IAM 데베 a..d 범 모든 글 고 내내 다. 2는 -free 단 과 기반 단 나나다.
단 Senior 데베 련 282, 검 141 는데, 글 검 바그램 perplexity는 15.3다. 베라 류 13.3%는 바그램 모 12.1%로 감다. LDA 변 공 12로 내려갔만 류 그다 다. 단 단 류( 2) 28.5%, 1.5k 가 면 10.5%다. 결과들 리가 같 데베를 literature(문 닌 것 같다) 류과 교되긴 만, 련 과 검 기가 달라 교긴 렵다. 17 류 글 경 28.3%, 는 단 경 84.1%, 1.3k 가 는 단 경 16.5%다. 15 보고 단 류 가 는 경 6.6%, free 경 41.1%다. 9 고 기반 단 류 15.0%다.
다 기 경 IAM 데베 c03 련 440, 검 109 다. 들 글가 다른 다. LDA(12로 경감)를 글 류 14.2%는 모(각 문 6개) 가로 13.3%로 더 게 감다. 바그램 모 결과 류 11.1%로 더 감다(검 perplexity는 12.0). 는 단 류 39.0%로, 단 421개(구두 )를 를 류 13.9%로 들는데 11 나 20.5% 많 교된다.
결과들 고무 리는 더 려 독립 다. IAM 데베 a- f( 250명) 력 료로 는데, 련 4321( a-d), 검 1097( e-f) 다. 베라 글 류 31.3%다. 독립 경 모 다 다른 루 못다. 류 31.3%는 글당 3개를 것며 글당 10개를 때 류(34.8%)과 모두 락다. 만 류 LDA 변 때 29.1%로 게 감다. 모 가로 글 류 22.2%로 더 개되다(검 perplexity는 12.0). 는 를 때 단 류 60.6% 대된다.
리 기 가기 단 , 다, 독립 렇게 가 다. 1 들 글 류 다. 두 류, 3 모 류, 4 바그램 모 글 결과다. 모 IAM 데베 a..d 범 모든 글 고 내내 다. 2는 -free 단 과 기반 단 나나다.
단 Senior 데베 련 282, 검 141 는데, 글 검 바그램 perplexity는 15.3다. 베라 류 13.3%는 바그램 모 12.1%로 감다. LDA 변 공 12로 내려갔만 류 그다 다. 단 단 류( 2) 28.5%, 1.5k 가 면 10.5%다. 결과들 리가 같 데베를 literature(문 닌 것 같다) 류과 교되긴 만, 련 과 검 기가 달라 교긴 렵다. 17 류 글 경 28.3%, 는 단 경 84.1%, 1.3k 가 는 단 경 16.5%다. 15 보고 단 류 가 는 경 6.6%, free 경 41.1%다. 9 고 기반 단 류 15.0%다.
다 기 경 IAM 데베 c03 련 440, 검 109 다. 들 글가 다른 다. LDA(12로 경감)를 글 류 14.2%는 모(각 문 6개) 가로 13.3%로 더 게 감다. 바그램 모 결과 류 11.1%로 더 감다(검 perplexity는 12.0). 는 단 류 39.0%로, 단 421개(구두 )를 를 류 13.9%로 들는데 11 나 20.5% 많 교된다.
결과들 고무 리는 더 려 독립 다. IAM 데베 a- f( 250명) 력 료로 는데, 련 4321( a-d), 검 1097( e-f) 다. 베라 글 류 31.3%다. 독립 경 모 다 다른 루 못다. 류 31.3%는 글당 3개를 것며 글당 10개를 때 류(34.8%)과 모두 락다. 만 류 LDA 변 때 29.1%로 게 감다. 모 가로 글 류 22.2%로 더 개되다(검 perplexity는 12.0). 는 를 때 단 류 60.6% 대된다.
8 결론
리는 는 라 기 글 개고 단 , 다, 독립 관 몇 개 다. 를 는 단 기반 뿐 라 글 망 결과를 루다. 는 베라 과 교 당 개되는데, 글 모 고 다/ 독립 공 LDA를 결과다.
가 개, 다 개 글 모 다.
리는 는 라 기 글 개고 단 , 다, 독립 관 몇 개 다. 를 는 단 기반 뿐 라 글 망 결과를 루다. 는 베라 과 교 당 개되는데, 글 모 고 다/ 독립 공 LDA를 결과다.
가 개, 다 개 글 모 다.
9 감 말
구는 로 Fi799/1 German Research Foundation(DFG)가 다.
가로 Bern 대 Institute of Informatics and Applied Mathematics, Horst Bunke Urs-Viktor Marti게 감다. 들 리가 기 데베 IAM10 는 것 락다.
구는 로 Fi799/1 German Research Foundation(DFG)가 다.
가로 Bern 대 Institute of Informatics and Applied Mathematics, Horst Bunke Urs-Viktor Marti게 감다. 들 리가 기 데베 IAM10 는 것 락다.
