| 원픽 | 점진적 이전의 장점은 처리의 모든 단계에서 뭔가 잘못됐을떄 쉽게 이전으로 되돌릴 수 있다는 점이다. | 데이터베이스에 내장된 기능과 일괄처리와 스트림 처리로 구축하는 파생 데이터 시스템 사이에는 유사점이 있다 이런 관점에서 볼 때 내게는 전체 조직의 데이터 플로가 거대한 데이터베이스 처럼 보이기 시작했다 (second pick 에서 빌드업을 했군) | p.497 이를테면 나는 NoSQL 을 유닉스의 저수준 추상화 접근법을 분산 OLTP 데이터 저장소 분야로 적용하려는 움직임으로 해석한다. | p496. 최근에는 같은 시스템에서 일괄 처리 연산(과거 데이터 재처리)과 스트림 연산(이벤트가 도착하는대로 처리)을 모두 구현함으로써 람다 아키텍처의 단점을 빼고 장점만 취할 수 있게 하는 작업이 진행되고 있다. |
| 이유 | 오늘 읽은 부분이 전체적으로 관련 업무가 아니었는데, 이부분은 내 업무에 써먹을 수 있을거 같아서. | 저자의 큰 그림을 그릴 줄 아는 능력에 감동 받아서 | NoSQL 를 새로운 시각으로 보게 해줘서. | 오늘 읽은 부분을 전체적으로 정리해주는거 같아서. |
| 원픽 | 대신 작업(work)은 단일 도구에서 효율적으로 수행할 수 있는 태스크(task)로 나누고 다양한 도구들은 애플리케이션 코드를 이용해 서로 연결한다. | 애플리케이션을 만들 때 어떤 도구와 어떤 접근방식이 수행 중인 작업에 가장 적합한지 생각해야 한다. | 오늘날 많은 애플리케이션은 계산 중심(compute-intensive)과는 다르게 데이터 중심(data intensive)적이다. | 이제부터 개발자는 애플리케이션 개발자뿐만 아니라 데이터 시스템 설계자이기도 하다 | 에플리케이션은 계산 중심과는 다르게 데이터 중심적이다. |
| 이유 | 도구는 도구일 뿐, application 을 잘 만드는 것이 중요! | 위의 생각을 잘 하기 위해 이 책을 읽는다고 생각해서~ | Moving computation is cheaper than moving Data!!! from HDFS Architecture Guide | 데이터시스템 설계자가 배울거 알려줄거야 | 책 전체에서 말하고자하는 큰 맥락 느낌 |
핵심 단락
#1
> 애플리케이션을 만들 때 어떤 도구와 어떤 접근 방식이 수행 중인 작업에 가장 적합한지 생각해야한다 (p.4)
> 이런 상황으로 볼 때 소프트웨어에는 환경에 대한 일종의 가정이 있다는 사실을 알 수 있다. 이 가정은 대개 사실이지만 어떤 이유로 최종적으로는 사실이 아니게 된다[11]. (p.9)
- 시스템 디자인할 때 중요하니까.
#2
> 이 책에서는 대부분의 소프트웨어 시스템에서 중요하게 여기는 세 가지 관심사에 중점을 둔다.
신뢰성 (Reliability)
하드웨어나 소프트웨어 결함， 심지어 인적 오류(human error) 같은 역경에 직면하더라도 시스템은 지속적으로 올바르게 동작(원하는 성능 수준에서 정확한 기능을 수행)해야 한다. 6쪽 “신뢰성”을 참고한다
확장성(Scalability)
시스템의 데이터 양， 트래픽 양， 복잡도가 증가하면서 이를 처리할 수 있는 적절한 방법이 있어야 한다.11쪽 “확장성”을 참고한다.
유지보수성( Maintainability)
시간이 지남에 따라 여러 다양한 사람들이 시스템 상에서 직업(현재 직업을 유지보수하고 새로운 사용 사례를 시스템에 적용하는 엔지니어링과 운영)할 것이기 때문에 모든 사용자가 시스템 상에서 생산적으로 작업할 수 있게 해야 한다. 18쪽 “유지보수성”을 참고한다.
> Reliability
The system should continue to work correctly (performing the correct function at the desired level of performance) even in the face of adversity (hardware or software faults, and even human error). See “Reliability”.
Scalability
As the system grows (in data volume, traffic volume, or complexity), there should be reasonable ways of dealing with that growth. See “Scalability”.
Maintainability
Over time, many different people will work on the system (engineering and operations, both maintaining current behavior and adapting the system to new use cases), and they should all be able to work on it productively. See “Maintainability”.
- 이 챕터의 핵심 내용
#3
> 이 모든 것이 “올바르게 동작함”을 의미하는 경우， 대략 “무언가 잘못되더라도 지속적으로 올바르게 동작함”을 신뢰성의 의미로 이해할 수 있다. (p.7)
> If all those things together mean “working correctly,” then we can understand reliability as meaning, roughly, “continuing to work correctly, even when things go wrong.”
- 신뢰의 의미에 대해 다시 돌아봤음.