보통 전자상거래, 모바일 디바이스, 소셜 미디어나 사물 인터넷(IoT)과 같은 다양한 출처에서 생성된 대규모의 다양한 데이터 세트(즉 빅데이터)를 검사하는 복잡한 프로세스를 말합니다.

여기에는 다양한 데이터 소스를 통합하고 비구조적 데이터를 구조적 데이터로 변환하며, 네트워크 전체에 데이터 처리를 널리 퍼뜨리는 전문 툴과 기법을 사용해 데이터에서 인사이트를 생성하는 작업이 포함됩니다. 세상에 존재하는 디지털 데이터의 양은 빠른 속도로 늘어나고 있으며, 2년마다 두 배씩 증가하는 양상입니다. 빅데이터 분석은 이런 모든 데이터 소스를 관리, 분석하기 위해 색다른 방식을 제안한 솔루션입니다. 기존 데이터 분석 원칙이 여전히 그대로 적용되기는 하지만, 빅데이터 분석의 규모와 복잡성 때문에 여기서 다루는 페타바이트급 구조적, 비구조적 데이터를 저장하고 처리하려면 새로운 방식을 개발해야 했습니다. 더 빠른 속도, 더 뛰어난 스토리지 용량을 바라는 수요 덕분에 기술적 진공이 생겼지만 이는 금세 새로운 스토리지 방식으로 채워졌습니다. 데이터 웨어하우스와 데이터 레이크, NoSQL과 같은 비관계형 데이터베이스는 물론 오픈 소스 Apache Hadoop, Spark 및 Hive와 같은 데이터 처리 및 데이터 관리 기술이 대표적인 예입니다. 빅데이터 분석은 고급 분석 기법을 활용하여 다양한 소스에서 생성한 구조적, 반구조적, 비구조적 데이터 등 정말 큰 빅데이터를 분석하며, 데이터의 크기도 테라바이트 단위에서 제타바이트 단위까지 다양합니다.

【참조】Databricks 홈페이지