빅데이터(Big data)

 요즘 신문기사나 뉴스 인터넷 기사등을 보면 'AI', '머신러닝' 등의 단어와 함께 가장 많이 등장하는 단어가 '빅데이터'입니다. 정부, 공공기관, 산업, 교육, 의료 등의 여러 분야에서 활용되는 모습을 볼 수 있는데요. 이번글에서는 빅데이터의 정의와 활용사례 등을 알아보겠습니다.

 

 

 빅 데이터 기술이란 기존의 데이터베이스와 달리 대량의 정보와 심지어 데이터베이스화되지 않은 비정형의 데이터를 수집, 저장, 분석하여 데이터의 가치를 추출하는 기술로 데이터의 양(Volume), 속도(Velocity), 다양한 종류(Variety)의 3V의 특징을 가지고 있는 기술입니다. 최근에는 가치(Value), 복잡성(Complexity)을 덧붙이기도 합니다. 아래는 각 특징들의 설명입니다.

 

데이터의 양(Volume)

 테라바이트에서 페타바이트 이상의 대량의 정형 및 비정형 데이터를 처리한다는 특징으로 현대에는 대규모의 웹페이지나 소셜네트워크, 모바일 페이지 등에서 수많은 데이터가 생성되고 이러한 데이터를 수집 및 분석하는 특징을 말합니다.

 

속도(Velocity)

 데이터의 생성과 분석 및 처리의 속도를 나타낸 특징으로 금융거래나 다양한 센서 데이터등의 데이터를 빠르게 수집하고 처리하는 특징을 말합니다.

 

  다양한 종류(Variety)

 처리되는 데이터의 유형의 의미하는 특징으로 데이터베이스화된 기존의 데이터와 달리 사진, 오디오, 비디오, 소셜 미디어의 데이터와 같은 다양한 비정형의 데이터를 처리하는 특징을 말합니다.

 

다음은 위의 특징을 가진 빅 데이터 기술의 활용사례에 대하여 알아보겠습니다.

 

정부 및 공공기관

 정부와 공공기관에서도 다양한 곳에 빅 데이터 기술을 활용하고 있습니다. 교통 데이터를 분석하여 교통 혼잡문제를 개선하거나 범죄패턴을 분석하여 범죄예방에 활용하고 행정서비스 이용 데이터를 분석하여 서비스 품질을 향상하는 등으로 활용하고 있습니다. 실례로 한국 도로 공사에서는 교통 데이터와 기상 데이터의 빅 데이터 분석 기술의 활용하여 교통혼잡을 예측하고 이를 통해 고속도로 건설 및 유지 보수와 운용에 활용하고 있습니다.

 

산업분야

 산업 분야에서는 주로 활용되는 곳은 마케팅 분야입니다. 고객의 웹페이지 방문, 소셜 미디어에 작성한 게시물 등의 다양한 데이터를 통해 고객의 관심사와 행동을 파악하여 고객의 성향에 맞추어 마케팅 전략을 세우거나 신규 제품을 개발하는 등의 과정에서 활용되고 있습니다. 실례로 구글이나 페이스북은 사용자의 검색어나 검색조건 사진 및 동영상의 데이터를 수집 및 분석하여 이용자의 성향에 맞는 맞춤형 광고를 제시하기도 합니다.

 

교육분야

 교육분야에도 다양하게 활용되고 있습니다. 학습의 분야에서는 학생의 학습성과, 학습패턴, 흥미 등을 분석하여 개인에 맞는 학습 방법 및 학습 계획을 제공하여 학습의 효율성을 높일 수 있습니다. 또 학교의 관리 분야에서도 활용되고 있습니다. 학교 내에서 발생하는 여러 데이터들 예를 들면 학생의 출석여부, 학업 성적의 기록 등의 데이터를 분석하여 학교의 운영상황 파악 및 유지 운영에 활용되고 있습니다. 또 교육정책의 개발에도 활용될 수 있습니다. 학생들의 학업 성취도, 교육 환경 등을 분석하여 학생들의 교육에 질을 높이는 데 사용될 수 있습니다. 실례로 2023년 06월 07일 전남 교육청에서는 내년 하반기를 목표로 진로 및 진학과 취업을 연계하는 빅 데이터 플랫폼의 구축을 발표했습니다. 이 플랫폼은 다양한 학습콘텐츠와 도구를 제공하며 이용자의 데이터를 분석하여 학생들의 교육 품질을 높이는 역할이 될 것이라 기대되고 있습니다. 

 

의료분야

 의료분야에서는 임상분야와 공중보건의 영역에서 가장 주목받고 있습니다. 먼전 임상분야에서는 진료방법, 효능, 비용 등의 데이터를 분석하여 효과적인 진료방법을 파악하고 환자의 진료내용을 데이터화 및 공유하여 진료의 효과를 높이는데 활용되고 있습니다. 공중보건 분야에서는 질병의 발생과 전염의 경향을 예측하고 진료 데이터의 공유를 통해 전염병 발생 등과 같은 상황에 대응하는데 활용될 수 있습니다.

 

 위의 사례들처럼 빅데이터는 여러 분야에서 다양하게 이용되고 있으며, 미래에는 더 많은 분야에서의 활용이 예상됩니다.  빅데이터는 더 많은 데이터를 생성하고 더 빠르게 데이터를 처리할 것이며 더 다양한 데이터를 수집하고 활용하게 될 것입니다. 이에 따라 많은 문제점도 제기되고 있습니다. 먼저 빅 데이터 기술의 한계점입니다. 빅데이터는 주어진 데이터를 분석하는 기술로서 주어진 데이터에 따라 분석결과가 달라집니다. 이에 따라 검증되지 않은 데이터를 사용하게 될 경우 신뢰성이 없는 분석결과가 도출될 수 있습니다. 다음은 개인정보 유출의 문제점입니다. 빅데이터는 수많은 정보를 수집하고 분석합니다. 사용자의 개인정보가 포함될 수 있으며 이 데이터가 유출될 경우 수많은 사용자의 개인정보가 유출되는 문제가 될 수 있습니다. 다음은 인적 자원 부족의 문제입니다. 빅데이터의 분석에는 전문인력과 고급기술이 필요하며 많은 비용과 시간을 필요로 합니다.

 

이러한 문제점을 가지고 있지만 현대사회에서 큰 부분을 차지하고 있는 기술입니다. 위의 여러 문제점을 해결하기 위해 기술적 제도적인 해결방안과 많은 비용과 시간이 필요하겠지만, 문제점 해결되고 지속적인 기술의 개발과 활용이 된다면 더 혁신적이고 더 효율적인 기술이 될 것입니다.