빅데이터 기술 어디까지 알고 있을까? 하편 -1부

빅데이터 기술 어디까지 알고 있을까? 하편 -1부

◆ 데이터 관리 개념과 유형

◈ 데이터 처리 관리(Data Processing management)

데이터 처리 관리(Data Processing management)는 비즈니스에서 생성된 데이터를 수집, 전처리, 분석, 저장 및 보내는 프로세스입니다. 데이터 처리 관리는 데이터를 수집하고 처리하여 가치 있는 인사이트를 추출함으로써 비즈니스에 참고 자료를 제공합니다. 데이터 처리 관리에서는 다음과 같은 단계가 포함됩니다.

1. 데이터 수집 : 비즈니스 프로세스에서 생성되는 데이터를 수집합니다. 이 단계에서는 데이터 원본에 대한 체계적인 접근과 데이터 품질을 유지하기 위한 표준화된 데이터 수집 방법을 수립해야 합니다.

2. 데이터 전처리 : 수집한 데이터를 정리, 정제, 변환하고 필요한 경우 데이터를 결합하여 가치 있는 정보와 인사이트를 추출할 수 있도록 준비합니다. 이 단계에서는 데이터 형식, 데이터 누락, 이상치 등의 문제를 해결해야 합니다.

3. 데이터 분석 : 전처리된 데이터를 분석하여 비즈니스 운영에 대한 인사이트를 추출합니다. 이 단계에서는 다양한 분석 기술을 사용하여 추세, 패턴, 규칙 등을 식별할 수 있습니다.

4. 데이터 저장 : 분석된 데이터를 보관하고 필요한 경우 재사용할 수 있도록 저장합니다. 이 단계에서는 데이터 보안과 안정성을 고려하여 데이터 저장소를 지정하고 데이터에 대한 액세스 권한을 관리합니다.

5. 보고서 및 전송 : 분석 결과에 대한 보고서를 작성하고 해당 정보를 관리자, 의사 결정자, 비즈니스 사용자 등에게 전송합니다. 다양한 형식의 보고서 및 대시보드를 생성하여 비즈니스 사용자들이 데이터를 쉽게 이해하고 활용할 수 있도록 합니다.

이러한 데이터 처리 관리 과정은 데이터 분석을 위한 가장 기본적인 요소입니다. 데이터 처리 관리 과정을 통해 수집한 데이터를 분석하면, 비즈니스를 성장시키는 새로운 아이디어와 기회를 얻을 수 있습니다.

 

◈ 데이터 분석 관리(Data Analysis Management)

 데이터 분석 관리(Data Analysis Management)는 데이터 분석 프로세스를 계획, 조정, 모니터링 및 제어하는 활동을 말합니다. 데이터 분석 관리는 데이터 분석 프로젝트를 정상적으로 완료하기 위해 필요한 프로젝트 관리 기술과 데이터 분석 기술을 조합한 접근 방식입니다. 데이터 분석 관리는 프로젝트의 목표와 범위, 일정, 예산, 품질, 위험 및 이해관계자들과의 커뮤니케이션과 같은 관점에서 프로젝트 관리를 수행합니다. 데이터 분석 관리에서는 다음과 같은 단계가 포함됩니다.

1. 계획 단계 : 데이터 분석 프로젝트에 대한 타당성 평가와 스테이크홀더 기대치를 수렴하고 정의하는 활동입니다. 프로젝트 목표, 범위, 일정, 예산, 위험, 커뮤니케이션 및 품질요소 등을 결정하고 프로젝트 계획서를 작성하게 됩니다.

2. 실행 단계 : 데이터 분석 프로젝트 계획서에 따라 필요한 작업 및 활동을 수행합니다. 데이터 정제, 모델링, 검증 등의 활동이 이루어지며, 데이터 분석 도구와 기술을 사용합니다.

3. 모니터링 및 제어 단계 : 데이터 분석과 정확성, 완전성, 일관성을 유지하기 위해 프로젝트 진행에 대한 모니터링 및 제어를 수행합니다. 일정, 예산, 범위, 위험 및 품질 목표를 모니터링하고, 필요한 조정과 수정을 수행합니다.

4. 완료 단계 : 데이터 분석 프로젝트가 완료되면, 결과를 요약하고 보고서를 작성합니다. 프로젝트의 성과와 문제점을 문서화하고, 개선 사황과 향후 프로젝트에 참고할 수 있는 정보를 도출합니다.

이러한 데이터 분석 관리 과정을 통해, 데이터 분석 프로젝트를 효과적으로 계획하고 수행하여, 비즈니스 사용자가 데이터를 이용하여 새로운 인사이트를 얻고, 의사 결정에 도움을 받을 수 있습니다.

 

◈ 데이터 보관 관리(Data Retention Management)

데이터 보관 관리(Data Retention Management)는 조직이 보유한 데이터를 안전하게 보관하고 유지하는 것을 말합니다. 데이터 보관 관리는 데이터 유지 기간, 보관 형식, 보안, 백업, 복원 및 폐기 전략에 관여하는 절차와 정책을 구현하는 것입니다.

1. 데이터 보관 정책 수립 : 조직은 보유한 데이터를 분석해 보관 기간, 보관 형식, 보안, 안정성 등을 포함한 보관 정책을 세워야 합니다. 이를 통해 데이터를 이용할 수 있는 기간, 데이터 보안 등 명확한 정책을 세우고 이행할 수 있습니다.

2. 데이터 보완 : 조직은 데이터 보안을 위한 보증 설정, 훈련, 엄격한 접근 권한 권리 등을 진행해야 합니다. 데이터 보안을 위한 최선의 노력을 하여 유출/유출 대비책을 수립해야 합니다.

3. 백업 및 회복 : 조직은 데이터 보호를 위해 백업 및 회복 계획을 갖추어야 합니다. 이를 통해 장애 시 문제를 회복할 수 있습니다.

4. 폐기 전략 : 데이터 유효 기간이 지났거나 더 이상 필요하지 않은 데이터는 적시에 삭제해야 합니다. 데이터 폐기 전략은 보관 정책과 함께 작성하여 수행해야 합니다.

데이터 보관 관리를 신뢰할 수 있도록 하려면 데이터 보유를 포함한 모든 작업 프로세스에 엄격한 표준과 규제 준수가 필요합니다. 이를 통해 조직은 데이터 보관 위험을 최소화하고 데이터 기반의 의사 결정, 기술 발전 및 새로운 기회를 창출하기 위한 능력을 향상합니다.

 

◈ 데이터 보안 관리(Data security Management)

데이터 보안 관리(Data security Management)는 조직의 비즈니스 정보가 보호되고 안전하게 처리 및 전송될 수 있도록 보안 정책을 제공하는 프로세스입니다. 데이터 보안 관리는 데이터 보호, 데이터 공유 및 액세스 관리, 위험 관리 및 위험 가소, 보완 교육 및 훈련 등을 포함합니다.

1. 데이터 보호 : 데이터는 데이터 보호 조치에 의해 보호되어야 합니다. 이것은 보안 설루션, 암호화, 인증 및 인가 및 기타 모든 다양한 스키마와 같은 다양한 프로세스를 포함합니다.

2. 데이터 공유 및 액세스 간리 : 데이터 공유 및 액세스 관리는 오직 필요한 사용자가 데이터에 접근할 수 있도록 보호하고 제한합니다.

3. 위험 관리 및 위험 감소 : 보안 위협에 대한 대응 계획, 위험 감지 및 감소 계획, 평가 및 진단, 전반적인 위험 관리 및 감소 전략과 같은 다양한 프로세스를 포함합니다.

4. 보안 교육 및 훈련 : 보안 교육 및 훈련은 모든 직원에게 보안 프로토콜 및 대응 계획에 관한 세부 정보를 제공합니다.

데이터 보안 관리는 정보 기술(IT) 보안, 네트워크 보안, 시스템 보안, 물리적 보안, 인적 보안 등 보안 전반에 걸쳐 다양한 보안 방법론을 적용해야 합니다. 이를 통해 조직은 데이터 보호를 강화하고 데이터 위험을 줄이며 조직의 강점을 유지하는데 필요한 보안 수준을 달성할 수 있습니다.

 

◈ 데이터 품질 관리(Data Quality Management)

데이터 품질 관리(Data Quality Management)는 조직에서 생성, 수집 및 유지되는 모든 데이터의 품질을 보장하는 프로세스입니다. 데이터 품질 관리는 데이터의 정확성, 완전성, 일관성, 신뢰성, 타당성 등을 관리하고 유지합니다. 

1. 데이터 품질 측정 및 모니터링 : 데이터 품질 측정은 데이터의 정확성, 완전성, 일관성, 신뢰성, 타당성 등을 확인하는 프로세스입니다. 이를 통해 조직은 데이터 품질 문제를 식별하고 해결할 수 있습니다. 모니터링은 데이터 품질을 일정 시간 간격으로 검토하고 데이터의 변화 및 개선 사항을 추격하여 형성시킵니다. 

2. 데이터 품질 요구 사항 정의 : 데이터 품질 요구 사항은 데이터 품질 수준 및 품질 관리 절차에 대한 기준이 됩니다. 이를 정의하고 문서화하여 조직의 모든 구성원이 품질 요구 사항을 이해할 수 있도록 합니다.

3. 데이터 품질 개선 : 데이터 품질 개선은 데이터 품질 문제를 해결하기 위한 프로세스입니다. 데이터 품질 개선 작업은 프로세스 및 표준 정책, 데이터 세트 교정 및 정리, 데이터 품질 문제를 식별하고 수정하는 다양한 기술, 방법 및 도구를 포함합니다.

4. 데이터 품질 교육 및 훈련 : 데이터 품절 교육 및 훈련은 데이터 품질에 대한 이해와 데이터 품질을 유지하고 개선하기 위한 방법을 배우도록 구성원에게 교육을 제공합니다. 

데이터 품질 관리는 조직의 정보 시스템 및 데이터 관리 일련의 프로세스에 걸쳐 수행됩니다. 데이터 품질을 관리함으로써 조직은 데이터의 신뢰성을 유지하고 관련된 조직 및 업무 프로세스에 가치를 더하는 동시에 잠재적인 데이터 품질 문제를 식별하고 처리할 수 있습니다.