빅데이터(Big Data)
1. 정의
- 빅데이터는 데이터수집, 관리 및 처리 시 수용 한계를 넘어서는 크기의 데이터다.
- 디지털 상에서 다양한 데이터를 추출하고 분석하는 것을 빅데이터 분석이라한다.
2. 특징
- 빅데이터의 특징은 3V로 요약하는 것이 일반적이다. 즉 데이터의 양(Volume), 데이터 생성 속도(Velocity), 형태의 다양성(Variety)을 의미한다(O'Reilly Radar Team, 2012). 최근에는 가치(Value)나 복잡성(Complexity)을 덧붙이기도 한다.
- 비정형의 다양한 데이터, 문자 데이터, 영상 데이터, 위치 데이터 등
- 클라우드 컴퓨팅 등 비용 효율적인 장비 활동 가능
- 오픈소스 형태의 무료 소프트웨어
- Hadoop, NoSQL, 오픈 소스 통계솔루션(R), 텍스트 마이닝, 온라인 버즈분석, 감성 분석
3. 필요성
- 4차 산업혁명과 더불어 새로운 정보를 담고, 분석하고, 재 가공하는 기술이 부각됨
- 데이터 양이 많아지면서 통찰력 있는 접근이 요구됨
- 고객관리, 내부프로세스 개선, 신규 Value Proposition 창출
4. 활용사례
- 서울시 : 열린 데이터 광장
* 공공정보를 시민들이 효과적으로 활용할 수 있도록 주요 데이터를 공개
* 민간에서 생성하기 힘든 유동인구, 버스정보, 지하철 정보 등 공공 정보를 개방
- 경기도 : 교통혼잡 최소화를 위한 서비스
* 빅데이터 분석을 통한 교통혼잡 원인 파악
- 미국국세청: 탈세 방지 시스템
* 탈세 및 사기로 인한 국가의 재정 위기 가능성 증가
* 소셜 네트워크 분석을 통한 범죄 네트워크 발굴
* 연간 3,450억불 세금 누락 및 불필요한 세금 환급 절감
- (구글) Google Flu Trend
* OECD, 미국정부, 유럽통계청 자료 + 독감관련 검색 추이
* 독감 유행 예측
* 미국 보건 당국보다 한발 앞서 시간 및 지역별 독감 유행 정보를 제공
5. 빅데이터 분석 툴
- 파이썬, R, SQL, 태블로, Power BI, 구글 애널리틱스........엑셀 등이 있다
