빅데이터 기술 어디까지 알고 있을까? 상편

빅데이터 기술 어디까지 알고 있을까? 상편

◆ 빅데이터 플랫폼과 수집 및 저장

빅데이터 플랫폼은 대용량 데이터를 수집, 저장, 분석, 가시화 등의 처리를 지원하는 기술적인 인프라 구조를 말합니다. 다음은 빅데이터 플랫폼의 수집 및 저장에 대한 구체적인 설명입니다.

1. 데이터 수집 : 데이터 수집은 빅데이터 플랫폼에서 가장 중요한 과정 중 하나입니다. 데이터 수집 방법은 용도, 유형, 양 등에 따라 다양하게 다릅니다.

2. 데이터 저장 : 빅데이터 플랫폼에서는 대용량 데이터를 저장할 수 있는 스토리지 시스템이 필요합니다. 이를 위해 분산 저장 시스템인 Hadoop Distrbuted File System(HDFS)와 NoSQL 데이터베이스인 Cassandra 등이 활용됩니다.

3. 데이터 정제 : 데이터의 품질과 정확성이 중요한 역할을 합니다. 빅데이터 플랫폼에서는 데이터를 정제하여 비정상적인 값이나 누락된 값 등을 처리합니다. 이를 위해 데이터 엔지니어링, 데이터 전처리, ETL 등의 기술이 사용되며, 데이터 베이스를 이용한 데이터 정규화 및 범주화가 일반적입니다.

4. 스트리밍 데이터 처리 : 빅데이터 플랫폼에서는 데이터를 실시간으로 처리하는 능력이 필요합니다. 이를 위해 스트리밍 데이터 처리를 지원하는 시스템인 Apache Kafka Spark Streaming, Flink 등이 활용됩니다.

5. 분산 컴퓨팅 : 빅데이터 플랫폼에서는 대용량 데이터를 처리하기 위한 분산 컴퓨팅 기술이 필요합니다. 이를 위해 Apache Hadoop, Apache Spark, Apache Storm 등이 사용됩니다.

6. 보안 : 빅데이터 플랫폼에서는 개인 정보 보호, 데이터 유출 방지, 데이터 안전성 등을 위한 보안 체제가 필요합니다. 이를 위해 암호화, 접근 제어, 감사 추적, 보안 민감 데이터 마스킹 등의 기술이 사용됩니다.

빅데이터 플랫폼에서는 데이터를 수집하고 저장하며, 데이터를 정제하고 분석하기 위한 다양한 기술이 사용됩니다. 이를 통해 더 많은 정보를 발견하고, 문제를 탐구하며, 인사이트를 얻을 수 있습니다.

 

◆ 빅데이터 분석 프로세스의 개념

빅데이터 분석 프로세스는 대규모의 데이터를 수집하고 분석하여 새로운 인사이트를 도출하는 과정을 말합니다. 일반적으로 빅데이터 분석 프로세스는 다음과 같이 진행됩니다.

1. 문제 파악 : 분석할 데이터와 연관된 문제나 설정하고, 데이터 분석에 대한 전략을 수립합니다.

2. 데이터 수집 : 문제를 해결하기 위해 필요한 데이터를 수집합니다. 이 과정에서 데이터 유형, 양, 출처 등을 고려하여 데이터를 수집합니다.

3. 데이터 전처리 : 데이터의 불필요한 부분을 제거하고, 결측치 등의 오류를 처리합니다. 이 과정에서 정제된 데이터의 품질을 개선합니다.

4. 데이터 탐색 : 데이터를 시각화하고, 통계 분석 등을 통해 데이터를 탐색합니다. 이 과정에서 데이터 분석을 위한 가설을 제시하고, 검증합니다.

5. 데이터 모델링 : 데이터 분석을 위한 모델을 구성합니다. 이 과정에서 통계 분석, 머신 러닝, 딥러닝 등의 기술을 사용하여 데이터를 분석합니다. 

6. 데이터 평가 : 모델의 정확성을 검증하고, 결과를 평가합니다. 이 과정에서 모델을 개선하고, 다시 분석하며, 최종 결과를 도출합니다.

7. 결과 도출 : 분석 결과를 시각화하고, 인사이트를 도출합니다. 이 과정에서 더 나은 의사 결정을 위해 인사이트를 활용합니다.

8. 결과 제시 :  최종 결과를 보고서나 다른 형태로 제시합니다. 이 과정에서 결과를 결정권자나 이해관계자 등에게 전달합니다. 

위와 같은 분석 프로세스를 통해 빅데이터를 분석하면, 인사이트를 도출하여 문제의 원인을 파악하거나, 새로운 가능성을 창출할 수 있습니다. 이를 통해 기업이나 정부 등에서는 충분한 정보를 확보하여 더 나은 의사 결정을 내리거나, 보다 효율적인 전략 수립에 활용할 수 있습니다.

 

◆ 빅데이터 플랫폼

빅데이터 플랫폼은 대규모 데이터를 수집, 저장, 처리, 분석 및 시각화하는 데 사용하는 소프트웨어 도구의 집합입니다. 빅데이터 플랫폼에는 다양한 도구와 기술이 포함됩니다. 주요 빅데이터 플랫폼에는 다음과 같은 것들이 있습니다.

1. Hadoop(하둡) : 하둡(Hadoop)은 대규모 데이터를 분산 처리하고 저장하는 데 사용되는 오픈 소스 프레임워크입니다. 아파치 소프트웨어 재단에서 관리하며, 대용량 데이터를 분산 처리하기 위한 분산 파일 시스템(Hadoop Distributed File System, HDFS)과 분산 프로세싱을 위한 하둡 맵리듀스(Hadoop MapReduce)를 제공합니다.  

HDFS는 대규모 데이터를 분산 저장하기 위한 파일 시스템으로, 대용량 파일을 여러 개의 블록(Block)으로 나누어 분산 저장하고 복제하여 고가용성을 유지합니다. 하둡 맵리듀스는 분산 환경에서 대용량 데이터를 처리하기 위한 프로그래밍 모델로, 일반적인 프로그래밍 언어로 작성된 코드를 분산 환경에서 실행할 수 있도록 지원합니다. 하둡은 대규모 데이터를 실시간으로 처리하는 데는 적합하지 않으며, 일괄처리(Batch Processing)에 주로 사용됩니다. 하둡은 또한 다양한 환경에서 실행할 수 있도록 여러 가지 하둡 배포판(Hadoop Distribution)이 제공되며, 하둡 케스트레이션 프로임워크인 아파치 임베리(Apache Ambari)를 통해 하둡 클러스터를 관리할 수 있습니다.

2. Spark : 스파크(Spark)는 하둡과 유사한 대규모 데이터 처리를 위한 빠른 분산 처리 엔진입니다. 하둡과 달리 인메모리 기반의 처리를 지원하여 맵리듀스보다 더욱 빠른 속도로 처리할 수 있습니다. 스파크는 다양한 데이터 처리 작업을 지원하며, 기존의 하둡과 호환성이 좋아 기존 하둡 환경에서도 쉽게 동작할 수 있습니다. 스파크는 대용량 데이터 처리를 통해 다양한 분야에서 사용되고 있으며, 빅데이터 처리, 머신러닝 등에 활용됩니다. 또한 스파크는 다양한 프로그래밍 언어로 지원되며, 파이썬(Python), 자바(Java), 스칼라(Scala)등으로 코드를 작성할 수 있습니다. 스파크는 또한 클러스터 환경에서 동작하며, 스파크 클러스터는 네임노드, 데이터노드, 이클립스 마스터 등 다양한 역할을 수행합니다.

3. NoSQL 데이터베이스 :  NoSQL 데이터베이스는 관계형 데이터베이스와는 달리 스키마가 없는, 이름에서 알 수 있듯이 SQL을 사용하지 않고 자유로운 오픈 스키마를 구조의 데이터베이스입니다.  NoSQL 데이터베이스는 대규모의 분산 데이터를 처리하는데 유용하며, 관계형 데이터베이스에서 어려웠던 가용성과 확장성의 문제를 극복하면서 배치 처리 작업 및 대규모 트랜잭션 처리 등 다양한 용도로 사용됩니다.  NoSQL 데이터베이스에서는 키-값(Key-Value), 문서(Document), 그래프(Graph) 등의 자료형을 사용하여 데이터를 저장합니다. 특히 문서형 데이터베이스는 JSON, BSON 등과 같은 오브젝트 형식의 저장 방식을 사용하여 데이터를 저장하고 조회하는데 매우 유용합니다.  NoSQL 데이터베이스는 관계형 데이터베이스와 비교하여 매우 빠른 응답 시간과 대용량 데이터 처리가 가능합니다. 또한, 클라우드환경에서 사용하기 적합하며, 여러 노드에서 쉽게 확장 가능합니다. 이러한 이점으로 인해  NoSQL 데이터베이스는 최근 대규모 마이크로서비스 아키텍처 및 분산 거래 처리 등 다양한 분야에서 사용되고 있습니다.

4. 데이터 시각화 도구 

데이터 시각화 도구는 데이터를 시각화하여 정보를 보다 쉽게 이해하고 분석할 수 있는 도구입니다. 다양한 유형의 데이터 시각화 도구들이 있으며, 대표적인 것들은 다음과 같습니다.

가. Tableau : Tableau는 데이터 시각화 및 비즈니스 인텔리젼스 도구로서, 대시보드 및 인터랙티브 시각화를 구현하는 데에 효과적입니다. Tableau는 사용하기 쉬운 GUI를 통해 데이터의 분석, 조작 및 시각화를 가능하게 합니다. 사용자는 Tableau Desktop을 사용하여 데이터 워크시트를 만들어 데이터 세트를 만들고, 다양한 시각화 요소를 드래그 앤 드롭으로 추가할 수 있습니다. Tableau는 여러 종류의 차트 및 그래프, 지도 및 시계열 차트 등을 지원합니다. 또한 인터렉티브 한 기능들을 포함하여 여러 동작 및 필드를 연결하여 비즈니스 인텔리젼스에 필요한 보고서 및 대시보드를 작성할 수 있습니다. Tableau는 BI 업체에서 가장 널리 사용되는 도구로, 특히 대규모의 데이터를 다루는 데에 능숙합니다. Tableau는 여러 종류의 데이터 원본(데이터베이스, CSV 파일, 엑셀 등)을 지원하고, 클라우드 기술도 제공되기 때문에 데이터 시각화를 효율적으로 수행할 수 있습니다. 또한 Tableau는 강력한 분석 및 예측 기능을 제공합니다.

나. Power BI : Power BI는 마이크로소프트에서 개발한 비즈니스 인텔리젼스 도구입니다. 데이터 시각화, 분석 및 보고를 위해 설계된 Power BI의 대한 인기는 클라우드 기술 및 업계 최고 수준의 안전성, 보안 및 사용자 친화성 때문입니다. Power BI는 사용하기 쉽고, 직관적인 사용자 인터페이스를 제공합니다. 사용자는 Power BI 대시보드를 사용하여 여러 데이터 원본에서 데이터를 가져와 분석하고, 시각적인 보고서를 생성할 수 있습니다. 또한, Power BI는 기업에서 사용되는 유일한 데이터 원본으로, 업계 최고 수준의 보안 및 정확성을 제공할 수 있습니다. 

Power BI는 다양한 형태의 시각화 요소를 지원합니다. 사용자는 Power BI에서 제공하는 차트 및 그래프,  지도 및 표 등을 사용하여 데이터를 시각화할 수 있습니다. Power BI는 또한 인터렉티브 한 시각화를 포함하여 마우스 오버 및 필터링 기능 등을 사용할 수 있습니다. 마지막으로, Power BI는 클라우드 기술로 제공되기 때문에 모든 종류의 플랫폼(데스크톱, 노트북, 모바일 기기 등)에서 쉽게 사용할 수 있습니다. Power BI는 이제 많은 기업에서 사용되는 도구 중 하나이며, 비즈니스 인텔리젼스 및 데이터 분석 작업에 필수적인 도구로 자리 잡고 있습니다.