E D R , A S I H C RSS

Unicode



1. Unicode

In computing, Unicode provides an international standard which has the goal of providing the means to encode the text of every document people want to store on computers. This includes all scripts in active use today, many scripts known only by scholars, and symbols which do not strictly represent scripts, like mathematical, linguistic and APL symbols.

Establishing Unicode involves an ambitious project to replace existing character sets, many of them limited in size and problematic in multilingual environments. Despite technical problems and limitations, Unicode has become the most complete character set and one of the largest, and seems set to serve as the dominant encoding scheme in the internationalization of software and in multilingual environments. Many recent technologies, such as XML, the Java programming language as well as several operating systems, have adopted Unicode as an underlying scheme to represent text.
'''from wikipedia.org'''

3. thread

요즘 관심있는 것중 하나.
현재 대부분� 리눅스 어플리 케�션� UTF-8� 기반으로해서 개발�고 있거나 �팅중�다. 새로 만들어지는 모든 패키지는 모� UTF-8� 사용한다. 그놈, KDE 와같� 윈�우 매니저들� 기존� EUC를 기반으로한 문�셋� 지�하지만, 표면�으로만 지�할� 내부�으로는 UTF-8로 변환하여서 처리함. 결국 UTF-8로� 문�셋 변경� 기간� 문제�지 대세�다.
MultiLinugual 플랫�� 지향하는 프로그램� 개발��면 당연히 �해해야하는 파트임. - eternalbleu

4. 관련 글

UNICODE :

http://www.unicode.org/standard/translations/korean.html

유니코드� 대해 ?
어떤 플랫�,
어떤 프로그램,
어떤 언어�� �관없�
유니코드는 모든 문�� 대해 고유 번호를 제공합니다.


UCS-2 :

대부분� �히 쓰는 문�들� 정�한 규격입니다.
2bytes 범위�서 UCS-2 입니다.
�걸 bit 로 표현하여 UTF-16 입니다.
UTF-16LE, UTF-16BE 가 ��한 규격으로 Little Endian, Big Endian � 단지 byte order (바�트 순서)가 다를� 입니다.
iconv --list 를 해보면 쓸�없� 많� 나오는�,
UTF-16LE, UCS-2LE 가 같�거고 BE �리 같�거�고 보면 �니다.
그냥 UTF-16� UTF-16LE 와 ��하나 앞� BOM 헤�가 붙습니다.
UCS-2 는 헤�가 붙지 않습니다.

UCS-4 :

UCS-2 � 확장입니다.
뒤� 2bytes 는 UCS-2 와 완전히 호환�니다.
즉, UCS-2 � 0xFFFF 는 UCS-4 � 0x0000FFFF 와 같� 코드입니다.
UTF-32 로 �만 바꾸어 위� 내용과 ��합니다.
�터넷 브�우저 내부�서 �것� 사용�며,
js 등�서 indexOf() 로 가져오면 UCS-4 코드가 10진수로 반환�니다.
10진수 �므로 65535 까지는 UCS-2 와 완전 호환 �니다.

UTF-8 :

UCS-2, UCS-4 는 �어권�서는 분명한 낭비가 있습니다.
ascii 만으로� 충분히 표현 가능한�, 한글�� 쓰지� 않는 바�트가 낭비�지요.
그런�� 있고, 문�열로 뭘 하기� UTF-7 보다는 편리해서 가장 보편�으로 사용�니다.
가변길�를 가지는 특징� 있습니다.
단지 계산만으로 UCS-2, UCS-4 규격으로� �호변환� 가능합니다.
한국어는 UCS-2 규격 내� 있기 때문� 3bytes 내�서 표현 가능합니다.

UTF-7 :

�메� 등 ascii 만으로 표현해야 할 필요성� �해 만들어졌습니다.
한 글�당 8bit 씩 할당하지만 사용� 7bit 만 합니다.
UTF-8 과 같� 특징� 가지고 있으나,
모든 ascii 값� 실제 ascii 와 같� �미가 아니기 때문� �것으로 무엇� 하기는 좀 힘듭니다.


BOM (Byte Order Mark) :

유니코드 종류가 많기 때문� 앞� �런 헤�를 붙여서 구분하기� 합니다.
EmEditor, UltraEdit, Vim 등� �디터�서 ��합니다.


코드표

http://www.unicode.org/charts/

� 나�별 코드범위와 정�� 문�를 볼 수 있습니다.
앞� 0 � �지 않았기 때문� (Zerofill � 아니기 때문�) 4�리까지는 UCS-2 려니 하시고,
5 �리 부터는 UCS-4 려니 하십시오.

		
resy	우리�로 � 유니코드 튜토리얼� 있었으면 좋겠다 했는�..
�런 �료�� 참 절실하군요. 아�� 유니코드 = UTF-16(or 다른 �코딩) 으로 착�하는 사람� 많� 현실�...

누군가 �대를 매긴 해야하는�... 거참... ^^:	07/13 2:23:12 코멘트 지우기
		
resy	보충 내용으로...
UCS 는 코드값� 테�블��고 ��하면 �니다. UTF 는 �코딩� 방법(즉, 바�트� 연�� 순서를 어떻게 표현할 것�� 하는 정�)�고, UCS 는 미리 정��어 있는 � 글� 코드를 테�블 화 해놓� 것입니다. 가령 글� '가' 는 유니코드�서 U+AC00 � 해당하는�, UCS2 �서는 0xAC00 테�블 좌표� 위치하고 있습니다. �것� UTF-8 �코딩하면, 0xEAB080 � �니다.

누구� �런 �으로 설명해주는 사람� 없어서 예전엔 UCS2 = UTF16?? ��고 헷갈리고 헤맸는�, �게 정확한 설명�지 모르겠습니다. 잘못� �� 있으면 누가 지�해주시길... ^^;

문� 집합(Character Set)�랑 �코딩(Encoding)� 대한 차�� � �시�히 가르�주는 �가 없�군요. 결국 시간� 지나다보니 스스로 알게 �었습니다만.. 확실히 외국 �료 빼면 국내는 -_-;

그러고보니 예전� 누군가가 국가 코드표와 �코딩� 가지는 �미� 대해 글 올렸� 거 같��, locale � 대한 내용� 그 후로 안올�오는 거 같기�... 	07/13 5:19:40 코멘트 지우기
		
utf	utf -8� 목�� 애매하네요. �래 목�� ascii문�만 있는 경우 사용하지 않는 첫번째 바�트를 없애기 위한게 아닙니다. 개발 과정�서 ascii 문�와 호환� 위해 그 �역� 그대로 변환� ��� 한 것입니다. 목� �체는 ucs �릭터가 2 �는 4바�트로 �루어져 있는� �걸 스트�으로 쭉 �어놓고 보면 중간� �(0x00)� 들어갈 수 있습니다. 예를 들어 '가'는 0xac00�� � � 바�트 때문� 스트� 처리가 곤란하게 �니다. 그래서 � 바�트를 없앨 수 있는 �코딩 기법� 개발하게 � 거죠.	07/13 23:22:49 코멘트 지우기
		
resy	윗분 얘기대로 �터넷�서 안전한 송수신� 위해서 UTF-8 �미가 있기� 합니다. � 문�가 들어가지 않으니까요. 대표�으로 HTTP 프로토콜� �스트 방��며, 전송 ��터� � 문�가 들어갈 수 없죠.

UTF-8 개발� 대한 히스토리는 아래로 가면 볼 수 있습니다.
http://www.cl.cam.ac.uk/~mgk25/ucs/utf-8-history.txt 	07/13 23:58:19 코멘트 지우기
		
정태�	utf 님� 얘기하신 부분� utf7 만으로� 해결� 문제입니다 :)

asc 문� 만으로 해결�는 문화권 사람들�게 utf16,32 를 �입하�고 �해�짜 별로 먹히지� 않� 것�고.. euc 등� �코딩�서 unicode 로 넘어가는 단계�서� 혼란� 좀 줄�기 위한 과�기� �코딩��고 보는게 � �미 있지 않�까 싶군요...

5. 참고 사�트

Valid XHTML 1.0! Valid CSS! powered by MoniWiki
last modified 2021-02-07 05:28:20
Processing time 0.0108 sec