빅데이터 기술 어디까지 알고 있을까? 중편

빅데이터 기술 어디까지 알고 있을까? 중편

◆ 빅데이터 플랫폼

4. 데이터 시각화

다. D3.js : D3.js는 데이터 시각화를 위한 자바스크립트 라이브러리입니다. D3.js는 Document Object Model(DOM)을 기반으로 하여 데이터를 시각화하기 위한 HTML, SVC 및 CSS 등의 웹 표준 기술을 사용합니다. D3.js를 사용하면 그래프, 차트, 지도 등의 다양한 시각화 요소를 제작할 수 있습니다. 또한 데이터의 상호작용에 대한 다양한 기능을 제공합니다. D3.js는 다른 데이터 시각화 도구와 달리 데이터를 미리 구조화하고 준비할 필요가 없습니다. 대신, 사용자는 데이터를 DOM을 통해 직접 시각화하는 방식을 사용합니다. 이를 통해 사용자는 데이터 시각화 과정에서 더 큰 유연성과 제어력을 가질 수 있습니다.

D3.js는 다양한 커뮤니티로부터 지원을 받고 있으며, 공식 문서와 튜토리얼, 샘플 코드 등의 자료도 많이 제공됩니다. 또한, D3.js 개방 소스이며, 라이브러리 내부 구조를 수정하여 커스터마이징을 할 수 있는 유연성을 제공합니다. 마지막으로 D3.js는 많은 사용자와 커뮤니티로부터 인기를 누리고 있으며, 현재 많은 기업과 브랜드에서도 사용되고 있습니다. 하지만 초기 학습 곡선이 다른 라이브러리에 비해 높은 편입니다.

라. Google Charts : Google Charts는 Google에서 제공하는 데이터 시각화 도구입니다. 구글의 클라우드 기반 데이터 저장소인 Google Sheets와 결합하여 사용할 수 있으며, 자바스크립트 기반으로 작성되었습니다. Google Charts는 다양한 차트와 그래프를 생성할 수 있으며, 막대그래프, 선 그래프, 원 그래프, 지도 등을 지원합니다. 또한, 툴팁, 축 레이블, 라인 스타일, 색상 등을 수정할 수 있습니다. Google Charts는 해당 도구에서 지원하는 모든 그래프가 무료로 사용할 수 있습니다. Google Charts는 다양한 데이터 소스에서 데이터를 가져올 수 있습니다. Google Sheets를 비롯하여, CSV 파일, JSON 데이터 및 JSP 등에서 데이터를 가져올 수 있습니다. 이러한 기능은 사용자가 다양한 데이터 소스에서 데이터를 쉽게 가져와 시각화를 할 수 있도록 지원합니다. Google Charts는 사용이 쉽고 직관적이며, 처음 사용해 보는 사용자도 쉽게 예제를 따라 그래프를 생성할 수 있습니다. 또한, 이를 언급한 많은 학습 자료와 API도 제공됩니다. 기본적인 사용은 무료이나 고급기능은 유료로 제공됩니다.

마. Plotly : Plotly는 온라인 데이터 시각화 도구입니다. 자바스크립트, 파이썬, R 등 다양한 언어에서 사용할 수 있으며, 간단한 차트부터 고급시각화까지 다양한 기능을 갖추고 있습니다. Plotly는 다양한 차트와 그래프를 제공합니다. 라인 그래프, 막대 그래프, 원 그래프, 선점도, 히트앱 등을 지원합니다. 또한, 인터렉티브 한 시각화와 3D 시각화도 지원합니다. Plotly는 웹 브라우저에서 직접 시각화를 제공합니다. 또한, 다양한 포맷에서 내보낼 수 있습니다. 예를 들어, 이미지, 인터렉티브한 HTML 문서, PDF 등으로 내보낼 수 있습니다. 또한, 온라인 저장소를 제공하여 차트 및 그래프를 저장하고 공유할 수 있습니다. 

Plotly는 오픈소스 라이브러리이며, 상용버전 및 무료버전 모두 제공됩니다. 무료 버전에서는 생성된 차트 위에 Plotly 로고가 포함되지만, 상용 버전에서는 로고가 없어집니다. 데이터 시각화 분야에서 Plotly는 높은 수준의 인터렉션과 관련된 사용자 경험과 함께 풍부한 기능을 제공하여, 많은 사용자로부터 인기를 얻고 있습니다.

바. Highcharts : Highcharts는 자바스크립트 기반의 온라인 데이터 시각화 도구입니다. 막대 그래프, 원 그래프, 라인 그래프, 산점도, 히스토그램 등 다양한 차트와 그래프를 지원합니다. Highcharts는 다양한 옵션을 갖춘 사용자 친화적인 API를 제공하여, 간단하고 빠르게 프로그래밍할 수 있습니다. 또한, 다양한 그래픽 커스터마이제이션 능력이 있습니다. 사용자는 쉽게 색상, 텍스트, 그래프 크기 등을 변경할 수 있습니다. Highcharts는 무료로 사용할 수 있지만, 사용시 로고가 포함됩니다. 제거하려면 상용 라이선스를 구매해야 합니다. 또한, Highcharts 및 Highcharts 등의 확장 기능도 제공됩니다. Highcharts는 모바일 장치에서도 작동합니다. 또한, "드릴다운" 기능과 같은 인터넷 기능을 제공합니다. 이 기능은 사용자가 차트 내에서 데이터를 탐색하고 자세한 정보를 얻을 수 있도록 합니다. 많은 사용자가 Highcharts를 선호하는 이유는 다양한 차트와 그래프를 지원하면서도 사용자 친화적인 API를 갖추고 있기 때문입니다. 또한, 커스터마이즈할 수 있는 옵셥이 풍부하므로, 사용자이 비즈니스 목적에 따라 적절한 차트와 그래프를 만들 수 있습니다.

 

5. 클라우드 플랫폼

클라우드 플랫폼(Cloud platform)은 인터넷 기반의 서버, 스토리지, 네트워크, 소프트웨어, 데이터베이스, 분석기능 등 다양한 컴퓨팅 서비스를 제공하는 서비스입니다. 기업이 사용하는 서버, 소프트웨어 등을 클라우드 플랫폼으로 이전하면, 물리적인 서버 보유 및 운영에 대한 비율을 절감할 수 있습니다. 클라우드 플랫폼은 서비스 모델, 인프라 모델, 소프트웨어 모델 등 다양한 형태로 제공됩니다. 대표적인 클라우드 플랫폼 서비스로는 아마존 웹 서비스(AWS), 마이크로소프트 에저(Azure), 구글 클라우드 플랫폼(GCP), IBM 클라우드 등이 있습니다. 클라우드 플랫폼의 장점으로는 보안성, 확장성, 유연성, 비용 효율성 등이 있습니다. 또한, 개발자나 운영자들이 시스템 관리 및 운영업무를 자동화하여 업무 효율성을 높일 수 있습니다. 클라우드 플랫폼은 최근 기업과 개인 모두에서 많이 사용되고 있으며, 인터넷을 통한 데이터 사용이 증가함에 따라 클라우드 시장은 계속 성장할 전망입니다.

 

◆ 데이터 관리 개념과 유형

데이터 관리(Data Management)란, 데이터를 구성하고 저장소에서 검색하고 조작하여 효율적으로 사용하기 위해 수행되는 일련의 과정입니다. 데이터 관리는 데이터의 수집, 처리, 보관 및 공유, 분석, 보안 등 다양한 측면에서 수행됩니다. 데이터 관리의 유형은 다음과 같습니다.

 

◈ 데이터 수집 관리(Data Acquisition Management)

데이터 수집 관리(Data Acquisition Management)는 비즈니스 환경에서 원천 데이터를 수집하고 검증, 저장 및 사용할 수 있는 형태로 변환하는 프로세스입니다. 이는 데이터의 효과적인 분석과 의사 결정에 필수적인 단계입니다. 데이터 수집 관리에는 다음과 같은 중요한 단계가 포함됩니다.

1. 데이터 수집 계획 : 데이터 수집에 앞서, 목표와 수집 방법, 수집 주기, 데이터 형식, 수집 자오 등에 대한 계획을 수립합니다.

2. 데이터 수집 : 계획에 따라 데이터를 수집하고 저장합니다. 이 단계에서는 데이터 정확성을 위해 데이터 품질 검증 절차를 포함시킵니다.

3. 데이터 변환 : 데이터 수집시 목적에 맞게 변환하고, 표준화합니다. 이 과정에서는 데이터 특성, 품질, 유효성 검사 등을 고려합니다.

4. 데이터 저장 : 변환된 데이터를 적절한 데이터 저장소에 저장합니다. 이 단계에서는 데이터 추가, 보안 요구 사항, 데이터 복원, 백업 및 보관 기간 등을 고려해야 합니다.

5. 데이터 모니터링 : 수집 된 데이터를 모니터링하며 이상 유무를 파악하고, 검증, 정리, 저장, 보완 및 업데이트 작업을 수행합니다. 

데이터 수집 관리가 비즈니스의 성공에 중요한 역할을 한다는 것을 알 수 있습니다. 올라븐 절차와 방법을 사용하여 데이터를 효과적으로 수집하고 관리하면, 기업은 빠른 의사 결정을 내릴 수 있으며, 새로운 비즈니스 가능성에 대한 통찰력을 얻을 수 있습니다.

 

◆ 데이터 저장 관리(Data Storage Management)

데이터 저장 관리(Data Storage Management)는 비즈니스 환경에서 생성된 데이터를 보관, 유지 및 관리하는 프로세스입니다. 데이터 저장 관리는 데이터를 저장, 백업 및 보관하는 방법에 대한 최선의 전략을 수립합니다. 이를 통해 데이터의 위험을 최소화하고, 데이터를 안전하고 효과적으로 사용할 수 있는 방법을 찾을 수 있습니다. 데이터 저장 관리에서는 다음과 같은 단계가 포함됩니다.

1. 데이터 보관 전략 수립 : 데이터를 유지 관리하는 방법과 절차를 결정하고, 데이터 보관 기간과 데이터 보존정책을 등을 설정해야 합니다.

2. 데이터 저장소 : 데이터를 저장하는 물리적인 저장소 구조를 설계해야 합니다. 이 디자인 과정에서는 데이터 크기, 사용 가능한 저장 공간 및 데이터 사용량에 대한 예측 등을 고려해야 합니다.

3. 데이터 백업 : 데이터 백업은 데이터 유실을 방지하고 데이터 복원에 필수적인 작업입니다. 예상치 못한 사건에 대비하여 데이터를 일정한 주기로 백업하고 백업된 데이터의 품질과 신뢰성을 검증해야 합니다.

4. 데이터 보관 : 데이터 보관은 보관 주기와 보관 절차를 결정하는 것입니다. 데이터 보관 관리는 법적 및 규정에 대한 준수와 함께, 기업의 요구에 맞는 데이터 보관 정책 수립이 필요합니다.

5. 데이터 보완 : 데이터 보안은 데이터를 안전하게 보호하고 무단 접근으로부터 방지하는 것입니다. 이를 위해 데이터의 암호화, 사용자 권한 대응, 데이터 무결성 검증 등을 수행해야 합니다.

데이터 저장 관리는 비즈니스 환경에서 데이터를 잘 관리하고, 안전하게 유지할 수 있도록 해주는 중요한 프로세스입니다. 데이터의 가치와 중요성이 증가함에 따라, 데이터 저장 관리는 기업의 생존과 경쟁력을 위한 필수적인 단계이며, 효과적으로 이를 수행하는 것이 비즈니스 성공에 결정적인 역할을 합니다.

중편끝.