E D R , A S I H C RSS
ZeroWiki

Bigtable기능명세

1. 능

블릿
밸런/블릿 복
B+ 리
마 SCAN

read/write

Tablet Server 등
Master Server 등
러
SSTABLE Compaction
minor compaction
major compaction
블릿 복
마 복
블릿 Split
heartbeat
만

2. 밸런

load TS load 많 TS 블릿 .
TS TS 블릿
TS 블릿 .

2.1. 능명

  1. 리
    1. 블릿 , cpu rate, 메모리 량
    2. ISSUE : + 를
      1. 리를 만 보 면 밸런 는.
  2. 마
    1. load TS(source) load TS(target)
    2. source target ip 블릿 를
  3. TS
    1. TS
      1. 블릿 SSTABLE들 minor compaction
      2. source는 target 만 블릿 리 ( 블릿 )
      3. 블릿 리 블릿들
      4. target 대 받는
    2. TS
      1. 받 블릿 리 블릿들
      2. TS 메 보
    3. TS
      1. 마 메 (마 데)
  4. 마
    1. b+ 리(메블릿)
  5. ISSUE
    1. 러 TS 는 밸런 ?
    2. target 대 받는 떻 ?
      1. target 마 블릿 리를 마 target 블릿 리 블릿 리를 밸런 는 .
    3. 더 밸런
      1. 밸런 블릿 떻?

3. TS 복

TS 면 TS 블릿들 른 TS .
마 TS 블릿

3.1. 능명

  • 마
    1. 마는 TS들 heartbeat를 받는
    2. 마는 TS들 블릿 리를 .
      1. 블릿 리들 메블릿(루블릿?) 블릿 리 는
        1. 블릿 리 면 블릿 리를 는 TS 만 .(<- 만기가 되지 않았다면?)
        2. 블릿 리를 른 TS들 .
        3. target들 . (떤 ? 몇?)
        4. traget들 블릿 리를 .
  • TS
    1. 마 메 (마 데)
  • ISSUE
    1. 블릿 떤 ?
      1. ?
      2. ?

3.2. ISSUE

  • 메데 블릿 (B+ 리 )
    1. : 마
    2. : 마 데
    3. 마 데 : target 블릿 리를 받 DFS 블릿 면 source 메 .
    4. source는 target 메를 받면 블릿 리 블릿들 .
    5. source는 마 메를 보내 마를 데.
    6. 마는 메블릿 데.
  • 밸런 target 면 : 마는 밸런 른 target . TS 복를 .
  • 밸런 source 면? : TS 복
  • TS는 블릿 떻 : 블릿 리 부 는 블릿 N
  • DFS 블릿 대
    1. 무 -> DFS 부
    2. 블릿 -> 보

4. 메 블

블릿 ( split) 마 마(는 TS ) b+ 리를 .
client는 b+ 리를 row key .

5. 마 SCAN

마 대 . TS 리 모 블릿 리를 마 .
  1. 마
  2. TS 리 는 블릿 리들 .

5.1. 능명

6.


6.1. 능명

6.1.1. read


    1. B+리 는 row를 는 TS를
  • TS
    1. ROW 들 (ISSUE 6. 는 떤 TS ROW를 )
    2. TS는 블릿들 받 ROW를
    3. 들 merge.
    4. merge를 String 리 돌

6.1.2. write


    1. (블릿 ROW를 므 는 리 TS를 받는)
  • TS
    1. 받 row는 먼 memtable .

7.

(write) 만 됨
(2GB)
료를 -> 바 돌 면 memtable들 minor compaction .
러 compaction는 모 므 는 .

7.1. 능명

7.1.1.

  1. memtable 를
  2. sstable명 는

7.1.2. 말

  1. memtable copaction sstable 면 sstable 는 .

    1. 를 됨 명

7.2. 능 명

  1. 는 DFS .
  2. TS .

8. TS 등

TS는 Locker 보를 등
Locker는 TS를 리.

8.1. 능명

  1. Locker 보를 등
    1. ip
    2. port
    3. 는 보는?
  2. Locker는 ip port# 며 TS만 .

9. 마 등

마 는 러 내 만 .
Locker 등 Locker는 미 등 마 는 / 메 .
메를 받 마는 exit();

10. SSTABLE Compaction

마는 블릿 SSTABLE 리 ?

10.1. Minor Compaction

memtable 더 SSTABLE 변. DFS .
  1. 리
    1. memtable 메모리를 더 를
    2. 량 더 를

10.2. Major Compaction

SSTABLE들 만 남.
client
  • ISSUE
    1. SSTABLE ?
    2. major compaction 면 SSTABLE 1?

11. 블릿 복

를 memtable 복는

11.1. 능명

  1. map&reduce TS .
  2. TS 를 (redo).

12. 마 복

마 복

12.1. 능명

  1. 마 는 ?는 마를 .
    1. ISSUE
      1. 마 떻 ?
      2. 마를 ?
  2. 마 린
    1. ISSUE : 마를 리?
      1. 마? TS?
  3. 마는 Locker TS리를 .
  4. 마는 Locker 루블릿 보를 .
  5. 마는 TS들 블릿 리를 .

13. 블릿 Split

블릿 면 눈.

13.1. 능명

  1. 블릿 200MB를 면 major compaction
    1. 블릿 split 는 sort .
  2. split
  3. SSTABLE 논리
    1. 러 블릿 SSTABLE .
    2. ISSUE
      1. sstable 러 블릿 .
      2. merge compaction등 sstable만들면 sstable 복를 막 .

14. 러

대 TS 받 메 른 를 .

14.1. 능명

  1. TS 등. 등 못면 .
  2. 마 림
  3. 멈(Locker 부 )

15. heartbeat

TS 마(는 Locker) 마 는 더미 .
TS 린.

  • ISSUE
    1. heartbeat ?
      1. : 마 를 TS .
      2. : 마 부

16. 만

들 를 는.
능 못 만(expired) .

16.1. 능명

  1. TS 복
  2. 마 복
  3. Locker DFS 복는 논 .

16.2. 능명

  1. 만/ 복

17. 블릿

블릿 리는


    1. 블릿

  2. 능
    1. 보 등 (Locker)
    2. 블릿 (마)
    3. heartbeat 보내 (마)
    4. 블릿 (블릿)
    5. 블릿 (블릿)
    6. 블릿 데 ()
    7. 블릿 데 ()
    8. 블릿 리 (블릿 )
    9. 블릿 리 받 (블릿 )
    10. (DFS)

18. 마

러 리

    1. 블릿 보/timeout 리
    2. 블릿 ID 리
  2. 능
    1. 보(ip, port) 등 (Locker)
    2. 블릿 (는 ) (Locker)
    3. 블릿 (블릿 )
    4. hearbeat , (블릿 )
    5. 밸런 (블릿 )

19.

데 /
Locker 블릿 API .


    1. root tablet
    2. meta tablet 블럭
  2. 능
    1. root tablet (Locker)
      1. api
    2. 데 (블릿 )
      1. api
    3. 데 (블릿 )
      1. api

20. API

블릿 api
는 빅블 내부 를 못 .
  1. 능
    1. root table (Locker)
    2. 데 블릿 )
      1. 만 b+ 리
      2. row key 는 key 능
    3. 데 (블릿 )
      1. 만 b+ 리
      2. key:value만 능

21. Locker

블릿 /마 보 리
데 보는 른 .

    1. 마
    2. 블릿
    3. 루 블릿
  2. 능
    1. 블릿 보(ip, port)를 받
    2. 마
      1. 마 보(ip, port)를 받

    3. 루 블릿
      1. 마 받는

22. DFS

key value 는

  2. 능
    1. 블릿 받 SSTableID를 DFSFileName 변.
Valid XHTML 1.0! Valid CSS! powered by MoniWiki
last modified 2021-02-07 05:22:36
Processing time 0.0146 sec