빅데이터의 정의부터 활용까지

이번 글에서는 빅 데이터에 대해서 알기 쉽게 설명해 보도록 하겠습니다.

 

빅 데이터란 대량의 데이터를 생각하실 수 있겠지만, 그것만을 의미하는 것은 아닙니다. 빅 데이터란 다양한 형태, 다양한 성격, 다양한 종류의 데이터를 의미합니다. 즉, 빅 데이터는 데이터의 양(Volume), 데이터의 종류(Variety), 데이터의 발생 빈도 또는 갱신 빈도(Velocity)의 3가지로 이루어져 있으며 각각 모두 중요한 요소들입니다. 빅 데이터는 다양한 형태, 다양한 성격, 다양한 종류의 데이터라고 말씀드렸는데, 구체적으로 어떤 데이터를 가리키는 것인지 아래의 표와 같이 설명드리겠습니다.

 

범위	종류	설명
정부/행정	오픈 데이터	정부나 지방 공공 단체 등이 보유한 공공 정보
기업	지식의 디지털화	농업 및 인프라 관리에서 비즈니스 등에 이르는 산업 및 기업이 가질 수 있는 개인 데이터 이외의 데이터
	M2M 데이터	공장, 교량 등 생산 현장의 IoT 기기로부터 수집되는 데이터
개인	개인 데이터	개인 정보, 이동/행동/구매 이력, 웨어러블 기기로부터 수집된 개인 정보 등

 

빅 데이터가 보급되기 시작한 것은 컴퓨터나 인터넷의 급속한 발전에 의한 것이 크지만, 이어서 설명드릴 3가지 조건에 의해 빅 데이터가 발전해 왔다고 해도 과언이 아닙니다.

 

첫 번째는 데이터의 디지털화와 컴퓨터의 고속화이며 두 번째는 인터넷의 발전, 그리고 마지막 세 번째는 빅 데이터 시대의 시작이라고 볼 수 있습니다. 이 3가지 조건이 박차를 가한 것은 'Hadoop(하둡)'이라고 불리는 기술입니다. 하둡이란 대량의 데이터를 여러 대의 장비에 분사하여 간단하게 처리할 수 있는 오픈 소스 플랫폼입니다. 이로써 페타바이트(1 페타바이트는 1 테라바이트의 1000배) 레벨의 비구조화 데이터(메일이나 이미지, 동영상 등의 데이터)의 초고속 처리가 가능하게 되었습니다. 하둡의 등장으로 대량 정보를 저비용으로 분석할 수 있게 되었습니다.

 

이러한 빅 데이터는 높은 정확도와 방대한 샘플링으로 행해지는 거대과학 연구, 신형 코로나가 지역 경제에 미치는 영향을 시각화하는 정부의 V-RESAS, 행정 기관의 오픈 데이터, 기업의 새로운 비즈니스를 창조하는 BI 등 다방면으로 활용되고 있습니다. 그럼 실생활에서 빅 데이터가 어떻게 활용되고 있는지 살펴보도록 하겠습니다.

 

N 시스템이라는 차량 번호 자동 판독기에 활용되고 있습니다. 이것은 경찰이 설치한 감시 시스템이며 주행 중인 차량의 번호를 모두 읽어 들임과 동시에 수배 차량의 번호와도 대조합니다. 이 시스템은 범죄 수사뿐만 아니라 도로 정체의 예측이나 주행 관련 경고 등에도 활용되고 있습니다. 두 번째로는 IC 칩이 포함된 교통 카드입니다. 지하철역 개찰구에서 사용되는 교통카드는 이용객들이 지하철을 이용하기 위해 요금을 지불하는 것뿐만이 아니라 교통 정보가 개찰기를 통해 철도사에 보내지게 됩니다. 이것을 이용하여 지하철 시스템 분석에 활용되고 있습니다. 또한, 선거 출구 조사도 빅데이터의 예라고 할 수 있습니다. 출구 조사는 투표소에서 나오는 사람에게 누구를 투표했는지에 대한 정보를 축적하여 활용됩니다. 이러한 데이터를 이용하여 최근에는 출구 조사를 하기 이전에 미리 선거 결과를 예측할 수 있게 되었습니다.

 

오늘은 여기까지 빅 데이터에 대해서 알아보았습니다.