Page tree
Skip to end of metadata
Go to start of metadata
  • 오늘의 원픽

    first pick
    점진적 이전의 장점은 처리의 모든 단계에서 뭔가
    잘못됐을 떄 쉽게 이전으로 되돌릴 수 있다는 점이다.
    이런 관점에서 볼 때 내게는 전체 조직의 데이터 플로가 거대한 데이터베이스 처럼 보이기 시작했다 (second pick 에서 빌드업을 했군)p.497 이를테면 나는 NoSQL 을 유닉스의 저수준 추상화 접근법을 분산 OLTP 데이터 저장소 분야로 적용하려는 움직임으로 해석한다.p496. 최근에는 같은 시스템에서 일괄 처리 연산(과거 데이터 재처리)과
    스트림 연산(이벤트가 도착하는대로 처리)을 모두 구현함으로써
    람다 아키텍처의 단점을 빼고 장점만 취할 수 있게 하는 작업이 진행되고 있다.
    second pick (optional)

    데이터베이스에 내장된 기능과 일괄처리와 스트림 처리로 구축하는 파생 데이터 시스템 사이에는 유사점이 있다
  • 로그

  • 오늘 읽을 챕터 - 12장




    투표
    2, 912,6,8,102,1211,12,8
    21:40까지 읽기
    어디까지 읽었나
    p.494 - p.499-503p494~499493~498
    p.494

    색인을 비동기 방식으로 유지한다면~철도 이야기데이터 재처리란...?




    파생 뷰를 사용하면 점진적 발전이 가능하다ETL transform





    원본 데이터 -> 파생 데이터로 만드는 과정
    p.495

    대부분의 사용자에게는 기존뷰를 제공하면서도~




    되돌릴 수 없는 손상의 위험을 줄임으로써 ~




    스키마 온 리드가 좋아




    람다 아키텍처는 DW 를 구축할때 많이 쓰는 아키텍처야




    http://kyobo.link/jVU8




    http://kyobo.link/TsJU




    이후에 일괄 처리자가 같은 이벤트 집합을 소비해~근사 갱신이란게 어떤의미일까?




    람다 아키텍처의 설계 배경은 일괄 처리는 간단해서~
    p.496

    특히 불변 이벤트 스트림에 대한 뷰를 파생하고~* 최근 이벤트 스트림 ~
    * 스트림 처리자에서 사용되는 정확히 한 번 시맨틱~
    * 처리 시간 기준이 아니라 이벤트 시간 기준으로 ~
    최근에는 같은 시스템에서 일괄 처리 연산~
    p.497

    그 핵심은 양쪽 모두 "정보 관리" 시스템 이라는 점이다.

    p.498




    p.499



  • 회고

  • 회고 - 오늘 어떠셨나요?
    읽을 때는 잘 몰랐는데 같이 이야기 해가면서 이해되는 부분들이 있어어 좋았다.혼자 읽을 때는 이해안가는 부분들이 같이 이야기하면서 이해되는 부분들이 많아서 즐거웠다같이 읽으니까 서로 생각도 공유하고
    놓친 부분도 다시 살펴보면서 이해도를 올릴 수 있었다
    함께 이야기하면서 모르는부분을 공유해서 이해도를 높일 수 있어서 좋았다.
    지난주 빠졌지만 공백이 느껴지지 않았다.
  • No labels