E D R , A S I H C RSS
ZeroWiki

Bigtable기능명세

1. 기능

블릿 당 ★★★★★
로드밸런/블릿 복구
B+ 리 ★★★★★
SCAN ★★★★★
라 ★★★★
read/write
밋로그 기 ★★★
Tablet Server 록 ★★★
Master Server 록 ★★★
라 러드 ★★
SSTABLE Compaction ★★★
minor compaction
major compaction
블릿 복구 ★★
복구 ★★
블릿 Split ★★
heartbeat ★
만기 ★

2. 로드 밸런 ★★★★★

가 load가 TS게 가 load가 많 TS 블릿 당.
TS TS 블릿 당
규 TS 블릿 당기 같.

2.1. 기능명

  1. 리
    1. 블릿 개, cpu rate, 메모리 량
    2. ISSUE : 균+ 를
      1. 균로 리를 결만 값 보다 다면 로드 밸런 나 는다.

    1. 가load가 TS(source) 가load가 TS(target) 가 때
    2. source 게 target ip 달 블릿 개를 달
  3. TS
    1. TS
      1. 당 블릿 SSTABLE들 minor compaction
      2. source는 target게 갯만 블릿 리로 달 ( 된 블릿 달다)
      3. 블릿 리 달 블릿들
      4. target게 대로 달는
    2. 겟 TS
      1. 달 블릿 리로 블릿들 다
      2. TS게 공 메 보
    3. TS
      1. 게 공 메 달( 데)

    1. b+ 리(메블릿)
  5. ISSUE
    1. 러 로드가 나 TS가 는 로드 밸런 가?
    2. target 대로 달는 떻게 ?
      1. target 게 블릿 리를 달고 가 target 블릿 리 블릿 리를 교 밸런 되는 .
    3. 더 나 로드밸런
      1. 로드밸런 블릿 개 떻게?

3. TS 복구 ★★★★★

TS가 다되면 당 TS가 가고 던 블릿들 다른 TS 나다.
TS 블릿 당

3.1. 기능명


    1. 는 기로 TS들게 heartbeat를 는다
    2. 는 기로 TS들 블릿 리를 다.
      1. 블릿 리들과 메블릿(루블릿나?)과 교 락된 블릿 리가 는 검
        1. 락된 블릿 리가 다면 당 블릿 리를 가고 는 TS가 만기된 것.(<- 만기가 되지 않았다면?)
        2. 당 블릿 리를 다른 TS들게 당.
        3. target들 다. (떤 기로? 몇개나?)
        4. traget들게 블릿 리를 달다.
  • TS
    1. 기 공 게 공 메 달 ( 데)
  • ISSUE
    1. 블릿 떤 까?
      1. 균?
      2. 개?

3.2. ISSUE

  • 메데 블릿 (B+ 리 )
    1. : 가
    2. : 데
    3. 데 : target 블릿 리를 달고 DFS 블릿 기 공면 source게 공 메 달.
    4. source는 target게 공 메를 면 블릿 리 달 블릿들 다.
    5. source는 게 공 메를 보내 를 데다.
    6. 는 메블릿 데다.
  • 로드 밸런 target 다된다면 : 는 로드밸런 다른 target . TS 복구를 다.
  • 로드 밸런 source가 다된다면? : TS 복구
  • TS는 달 블릿 떻게 것가 : 블릿 리 부 되는 블릿 N개
  • DFS 블릿 기 대
    1. 무 기 -> DFS 부 가
    2. 기 블릿 -> 보

4. 메 블 ★★★★★

블릿 ( split) 때다 (또는 TS 로)가 b+ 리를 다.
client는 b+ 리를 row key 다.

5. SCAN ★★★★★

대 답. TS가 관리 모든 블릿 리를 게 달다.

  2. TS가 관리고 는 블릿 리들 달다.

5.1. 기능명

6. 라 ★★★★


6.1. 기능명

6.1.1. read

  • 라
    1. B+리 는 row를 가고 는 TS를
  • TS
    1. 라 ROW 기 들다 (ISSUE 6. 라는 떤 로 TS게 ROW를 것가)
    2. TS는 가 블릿들 ROW를 검
    3. 검결과들 merge다.
    4. merge결과를 String 리로 라게 돌려다

6.1.2. write

  • 라
    1. (블릿 같 ROW를 담고 므로 라는 리 TS를 당는다)
  • TS
    1. 라게 row는 먼 밋로그 기록 memtable 다.

7. 밋로그 기 ★★★

기(write) 만 기록됨
기 (2GB)
료구를 공 -> 바 돌 공 면 memtable들 minor compaction 다.
그러나 compaction는 모든 되므로 로그는 다.

7.1. 기능명

7.1.1. 기록

  1. memtable 기를 기
  2. 밋로그 sstable명과 려는 값 기록

7.1.2. 말

  1. memtable copaction로 sstable 되면 당 sstable 로그는 되 다.
  2. 로그 기
    1. 래그를 됨 명

7.2. 기능 명

  1. 밋로그는 DFS 다.
  2. TS당 개.

8. TS 록 ★★★

규 TS는 Locker 보를 록다
Locker는 TS를 관리다.

8.1. 기능명

  1. Locker 보를 록다
    1. ip
    2. port
    3. 그 가 공 는 보는?
  2. Locker는 당 ip port#로 며 당 TS게만 권 다.

9. 록 ★★★

는 러 내 나만 다.
Locker 록 고 Locker는 미 록된 가 는 검 가/ 메 달.
메를 는 exit();

10. SSTABLE Compaction ★★★

는 블릿 SSTABLE 리 고 나?

10.1. Minor Compaction

memtable 더 기 때 SSTABLE로 변. 로 DFS 다.
  1. 리
    1. memtable게 당된 메모리를 다 더 기를 때
    2. 밋로그게 당된 량 다 더 기를 때

10.2. Major Compaction

SSTABLE들 병 근 기록만 남긴다.
client 기 답
  • ISSUE
    1. SSTABLE 병 기?
    2. major compaction 면 SSTABLE 1개가되나?

11. 블릿 복구 ★★

밋로그 로그를 memtable 복구는 것

11.1. 기능명

  1. map&reduce 로 TS 렬 다.
  2. 렬된 로그 TS 로그를 (redo)다.

12. 복구 ★★

다 복구

12.1. 기능명

  1. 가 다되 감는 ?는 로 를 결다.
    1. ISSUE
      1. 다 떻게 감?
      2. 가 로 를 결?
  2. 로 린다
    1. ISSUE : 가 를 리?
      1. 가? TS가?
  3. 는 Locker TS리를 다.
  4. 는 Locker 루블릿 보를 다.
  5. 는 TS들게 블릿 리를 다.

13. 블릿 Split ★★

블릿 기가 면 두개로 나다.

13.1. 기능명

  1. 블릿 기가 200MB를 면 major compaction
    1. 블릿 split 는 반드 sort되 다.
  2. split다
  3. SSTABLE 논리로 된다
    1. 러 블릿 나 SSTABLE 다.
    2. ISSUE
      1. 나 sstable 러 블릿 공 게 다.
      2. merge compaction로 두개 sstable만들면 sstable 복를 막 다.

14. 라 러드 ★★

라 대로 되 때 TS게 답메로 다른 를 다.

14.1. 기능명

  1. TS 록다. 록 공 못면 다 다.
  2. 때 다 격 늘림
  3. (Locker 부 고려)

15. heartbeat ★

TS가 (또는 Locker) 격다 로 는 더미 .
TS가 린다.

  • ISSUE
    1. heartbeat 답 나?
      1. : 를 TS가 감 다.
      2. 단 : 부 가

16. 만기 ★

들 로를 기 는다.
가 겨 기능 못게 되 때 만기(expired) 되다고 다.

16.1. 기능명

  1. TS 복구
  2. 복구
  3. Locker DFS 복구는 논로 다.

16.2. 기능명

  1. 만기/ 복구

17. 블릿

블릿 관리는


    1. 블릿
    2. 밋로그
  2. 기능
    1. 보 록 (Locker)
    2. 블릿 ()
    3. heartbeat 보내기 ()
    4. 블릿 (블릿)
    5. 블릿 병 (블릿)
    6. 블릿 데 기 (라)
    7. 블릿 데 기 (라)
    8. 블릿 리 달기(블릿 )
    9. 블릿 리 기 (블릿 )
    10. 밋로그 기 (DFS)

18.

러 관리

    1. 블릿 보/timeout 리
    2. 블릿 ID 리
  2. 기능
    1. 보(ip, port) 록 (Locker)
    2. 블릿 규(또는 ) 감 (Locker)
    3. 블릿 (블릿 )
    4. hearbeat , 기 (블릿 )
    5. 로드밸런 (블릿 )

19. 라

데 기/기
Locker나 블릿 근 라 API로 다.


    1. root tablet
    2. meta tablet 블럭
  2. 기능
    1. root tablet (Locker)
      1. 라 api
    2. 데 기 (블릿 )
      1. 라 api
    3. 데 기 (블릿 )
      1. 라 api

20. 라 API

블릿 api
라는 빅블 내부 구를 못 다.
  1. 기능
    1. root table 기 (Locker)
    2. 데 기 블릿 )
      1. 근만 b+ 리
      2. 기 row key 또는 key로 검가능
    3. 데 기 (블릿 )
      1. 근만 b+ 리
      2. 기 key:value로만 기 가능

21. Locker

블릿 / 보 관리
데 보다는 빠른 답과 구.


    2. 블릿
    3. 루 블릿
  2. 기능
    1. 블릿 보(ip, port)를 로

      1. 보(ip, port)를 로
      2. 답
    3. 루 블릿 가
      1. 게 는다

22. DFS

key value가 되는

  2. 기능
    1. 블릿 게 SSTableID를 DFSFileName로 변다.
Valid XHTML 1.0! Valid CSS! powered by MoniWiki
last modified 2021-02-07 05:22:36
Processing time 0.0490 sec