거대한 데이터, 빅데이터란 무엇인가?

오랜만에 포스팅입니다! 이번 게시글에서는 빅데이터에 대하여 간단하게 알아보도록 하겠습니다.

 

1. 정의 : 거대한 데이터

. 정보의 홍수와 정보 폭발로 인한 빅데이터 개념의 시작

. 기존의 시스템으로 데이터를 수집, 저장, 검색, 관리, 분석할 수 있는 한계를 넘어서 대량의 정형 또는 비정형 데이터로부터 가치 있는 정보를 추출하고 결과를 분석하는 기술 예) 위키피디아위키피디아

. 대용량 데이터를 활용, 분석하여 가치 있는 정보를 추출하고 생성된 지식을 바탕으로 능동적으로 대응하거나 변화를 예측하기 위한 정보화 기술 예)국가전력위원회

2. 빅데이터를 구성하고 있는 하드웨어, 소프트웨어, 애플리케이션 간의 유기적 순환에 의해 가치 창출이 가능

 

3. 빅데이터가 나오게 된 배경

. 사물 인터넷을 통해 수많은 사물에서도 데이터를 생산하고 소비함

(스마트폰을 비롯한 모바일 스마트 기기 보급의 활성화)

. 기존의 플랫폼이나 시스템으로는 폭발하는 데이터를 감당하지 못함 (클라우드 서비스)

. 최근 몇 년 동안 생성한 데이터의 양은 인류가 살아오면서 만든 양보다 더 많음(소셜 미디어의 활용이 일상화)

 

4. 인터넷에서 60초마다 생성되는 데이터의 양

. 매일 수십억 기가바이트(GB)의 데이터가 생성

. 사물이 24시간 265일 수많은 데이터들을 다양한 저장소에 생성된다.

* 데이터의 양도 거대하여 유용한 정보나 일관된 정보로 표현하기 위해서는 새로운 기술과 도구와 분석기법이 필요하다.

 

5. 데이터 저장 단위

. 비트(bit) : 컴퓨터에서 사용되는 최소의 단위

. 바이트(Byte) : 컴퓨터가 처리하는 정보의 기본 단위로 8Bit

기타 : KB, MB, GB, TB, PB, EB, ZB, YB

6. 빅데이터 환경

. 빅데이터는 클라우드 기술과 함께 최근 주목을 받으며 등장한 기술

 

7. 빅데이터 3V > 5V

. 3V의 구성요소 : 용량(규모), 다양성, 속도터

. 5V의 구성 요소 : 규모, 다양성, 속도, 정확성, 가치

 

8. 빅데이터의 장점

. 미래 예측 - 범죄 예방 등

. 맞춤형 정보 제공 - 소비패턴에 따라 고객에게 할인 정보 및 맞춤형 정보 제공

. 데이터에 의한 객관적 의사결정

. 계속해서 확장하고 있는 빅데이터 시장

9. 해외 활용 사례

. 구글 자동 번역

. 지능형 교통안내 시스템

 

10. 국내 활용 사례

. 정부공공데이터

. 서울시 심야버스 노선

 

11. 기타사례

. 기록물이나 문서자료, 사진 및 비디오 콘텐츠 보관

. 온라인 사이트에서 고객들의 데이터를 활용해 추천 서비스 제공

. 제조 및 설비 회사에서 빅데이터 분석으로 작업 공정의 효율성 높임

. 대형마트에서 빅데이터를 분석해 상품의 라인업을 조정