개발일기 정답찾기

Apache Spark란? 분산 클러스터 컴퓨팅 프레임 워크 대용량 데이터를 연산해야 하는 일이 있습니다. 이때 데이터를 여러대의 CPU가 나누어서 각자 맡은 분야를 parallel환경에서 연산하고 마지막에 merge하여 연산을 처리한다면 그 속도는 분산된 수만큼 빠르게 처리가 가능합니다. - Apache Spark는 빅 데이터 워크로드에 주로 사용되는 오픈 소스 분산 처리 시스템 - 빠른 성능을 위해 인 메모리 캐싱과 최적화된 실행을 사용 - 일반 배치 처리, 스트리밍 분석, 기계 학습, 그래프 데이터베이스 및 임시 쿼리를 지원 - 캘리포니아 대학교 버클리 에서 개발된 이후, Apache 재단에서 관리 Apache Spark 특징 1. 빠른 성능 - 데이터 변환에 대한 효율적인 쿼리 계획을 생성 - 입..