문제 해결을 위한 새로운 패러다임이 등장한다오늘날 컴퓨터로 e메일을 보내 카카오톡으로 친구들과 대화하고 금융거래 같은 아주 중요한 일도 모바일로 할 수 있게 된 것은 바람처럼 살아온 실리콘밸리의 컴퓨터 과학자 짐 그레이가 한몫했다. 짐 그레이는 젊은 시절부터 IBM 탠덤 DEC에서 근무하면서 데이터베이스 트랜잭션 이론을 확립하고 컴퓨터를 활용한 온라인 거래를 가능하게 하는 데 크게 기여했다. 오늘날 실리콘밸리로 상징되는 IT(Information Technology) 혁명의 주역 중 한 명이었다.
사람이 일생을 통틀어 한 번의 역사적 변혁에 기여하기도 어렵지만, 짐 그레이는 정보화 시대의 이론적 토대를 제공한 영웅이었을 뿐 아니라 빅 데이터 혁명이라는 DT(Data Technology) 시대의 서막을 연 주역이기도 하다. 짐 그레이는 90년대 중반 IT 전문가로 은퇴한 뒤 빌 게이츠의 제안을 받아들여 MS연구소에서 인류를 위한 새로운 과학연구에 몰두했다. 그리고 세월이 흘러 21세기가 시작될 무렵 그 연구의 결과로 놀라운 비전을 제시했다. 바로 과학연구의 제4차 패러다임에 대한 통찰이었다. 과학자도 아닌 IT전문가 출신이었던 짐 그레이는 과학연구 방법론에 새로운 패러다임이 다가오고 있음을 예견했고, 그것은 빅데이터 분석을 통한 새로운 과학의 시대가 올 것이라는 점이었다.
새로운 밀레니엄의 시대가 막 시작되었을 당시, 이른바 지금 빅데이터라고 불리는 대용량 데이터가 존재하고 있던 분야는 많지 않았다. 몇 안 되는 분야 중 하나가 천문학이었다. “짐 그레이”는 천문학 분야에서 기존의 과학 이론에 설명되지 않은 많은 천문 현상이 있음을 지적했다. 그는 이를 분석하고 예측하기 위해서는 빅 데이터 분석을 통한 방법이 가장 효율적인 해결책이라며 이것이 미래의 새로운 과학 방법으로 자리매김할 것이라고 내다봤다.
『짐 그레이』에 따르면 역사적으로 과학 연구의 첫 패러다임은 르네상스가 시작된 갈릴레오와 티코 브라헤의 실증적 천문 데이터 수집의 시기이고, 두 번째 패러다임은 케플러와 뉴턴의 이론과학 시대이며, 세 번째는 현대적 컴퓨터를 활용한 시뮬레이션 과학 연구방법론의 시기로 변화해 왔다. 그런데 이러한 접근방식으로 아직 설명과 예측이 되지 않은 많은 천문현상이 존재하고 있으며 짐 그레이는 이를 해결하기 위해 당시 천문학 분야에 축적되어 있던 대용량 데이터를 활용하는 방법인 빅데이터 분석을 통한 과학연구 방법론을 주창하고 나섰다. 과학연구에서 네 번째 패러다임의 도래를 예측한 것이다. 아직 빅 데이터라는 말이 존재하기 이전, 20년 전의 일이었으므로 지금 돌이켜보면 얼마나 시대를 앞서간 탁월한 통찰이었는지 알 수 있다.
과학 분야뿐이 아니다.20여 년이 지난 지금은 천문학뿐만 아니라 IoT센서의 발달, 모바일 기기의 범용화, SNS의 활성화, 클라우드 컴퓨팅의 등장 등으로 이제 거의 모든 영역에 빅데이터가 축적되고 있다. 그러면 과거 천문학에서 빅데이터의 존재가 새로운 과학방법론이 계속되었듯이 이제 모든 분야에서 빅데이터가 축적되고 있는 것에서부터 제조현장, 유통, 기업, 도시, 국가 등 거의 모든 영역에서 문제발견과 최적화, 그리고 의사결정에 이르기까지 새로운 빅데이터 접근방법이 필수요소가 된다. 이런 현상에 대해 2016년 클라우스 슈밥 다보스포럼 의장은 제4차 산업혁명이라고 명명하며 인류에게 새로운 혁명적 시기가 도래했음을 선언하기도 했다.
▲의사결정을 최적화하는 빅데이터 활용=빅데이터 혁명 이전 20세기를 관통하며 데이터 분석을 시작한 주요 분야는 통계학이었다.100년 전 영국의 “로널드 피셔”에 의해 본격적으로 발전한 통계학은 전수 데이터 분석이 현실적으로 불가능하다고 가정하고 출발한다. 그곳에서 모집단에서 표본을 추출해 가장 합리적인 추정을 통해 문제를 발견하고 예측하는 일을 해왔다. 예를 들면, 반도체 장치로부터 발생하는 방대한 품질 관련 데이터를 모두 분석하지 못했기 때문에, 샘플링을 통해서 일부를 추출해, 통계적 추정에 의해 품질 검사를 실시했다. 그러나, 최근 빅 데이터 시대를 가능하게 한 기술인 GPU(Graphic Processing Unit)를 활용해, 반도체 생산 장비 자체에 부착한 컴퓨터로부터 전수 데이터 처리, 즉 빅 데이터 분석이 가능하게 되어 있다.
표본추출을 통한 방법은 불가피하게 각 단계마다 사람에 의한 추정과 판단이 존재할 수밖에 없지만 기계장비에서 발생하는 전체 데이터를 처리하는 빅 데이터 분석은 사람에 의한 추정적 판단이 개입할 여지가 현저히 줄어들게 된다. 이런 방식을 엣지 컴퓨팅이라고 하는데 반도체 장치에 밀착된 컴퓨터로 전체 데이터 분석을 진행시켜 그 결과를 클라우드에 통합하고 언제 어디서나 그 결과를 공유할 수 있게 된다. 빅데이터를 활용하는 엣지 컴퓨팅과 클라우드 컴퓨팅은 모든 조직에서 의사결정 프로세스의 최적화를 가능하게 하고 조직의 양태와 운영원리에 혁명적 변화를 가져올 것이다.
빅 데이터 시대의 핵심 역량 데이터 리터러시 13세기 전 세계를 정복한 몽골 기병의 위대한 역량은 달리는 말 위에서 허리를 돌려 후방으로 화살을 날리는 능력이었다고 한다. 오늘날은 스포츠에서의 기예로서 의미 있는 역량이지만 당시에는 세계를 정복할 수 있었던 첨단 하이테크였던 것이다. 이처럼 시대에 따라 글로벌 경쟁력을 좌우하는 역량은 변화한다.가까운 예를 들면 말단사원으로 입사해 기술명장의 반열에 오른 대우중공업 김규환 명장의 얘기는 늘 감동을 주는 얘기다. 말단사원 시절 김규환 명장은 정밀기계의 품질 문제를 개선하기 위해 3년간 공장 바닥에 담요를 깔고 먹고 자면서 10분에 1도 온도와 금속 팽창과의 관계 데이터를 수집했다고 한다. 이러한 초인적 노력에 의해 수집한 데이터를 기초로 정밀 기계 분야의 다대한 품질 향상을 가져왔다고 한다. 그런데 지금은 4차 산업혁명 시대, 빅 데이터 혁명 시대다. 반도체 제조라인의 장비에서 발생하는 데이터는 1초에 1,000개가 넘는다. 아무리 숙련된 전문가라도 사람의 능력으로는 1초에 1,000여 개의 데이터를 식별해 기록할 수도 없고 판단할 수도 없다.
빅데이터 시대에는 초인적인 집념과 열정으로 데이터를 수집한 전문가가 없어도 스마트한 IoT 센서가 너무 쉽게 데이터를 수집해 준다. 그렇다, 지금 이 시대에 새롭게 필요한 역량은 데이터를 분석해 숨겨진 의미를 파악하고 목적에 맞게 활용할 수 있는 데이터 활용능력이다. 기업과 사회 전반에 넘쳐나는 빅데이터를 잘 활용하고 연결시켜 새로운 인사이트를 얻을 수 있는 “데이터 활용능력”이 개인과 기업 모두에게 필요한 시기이다. 13세기 몽골 기병의 활쏘기 능력이 세계 정복을 가능케 한 첨단 하이테크였다면 4차 산업혁명 시대의 글로벌 경쟁력을 갖기 위해 필요한 역량은 빅데이터를 분석해 기업과 사회문제 해결에 잘 활용하는 데이터 리터러시다.
오픈소스 활용과 오픈 이노베이션=최근 빅 데이터 분석 도구로 가장 주목받는 소프트웨어는 단연 R과 파이슨이다. R과 파이슨은 90년대 초반 만들어진 무료 소프트웨어로 불과 10년 전만 해도 엑셀이나 SPSS 같은 뛰어난 상용 소프트웨어를 보조하는 역할에 불과했지만 지금은 대기업과 공공기관에서도 앞 다퉈 도입을 검토하고 있어 직원들의 빅데이터 교육에 활용하고 있다. R과 파이썬은 상용 소프트웨어와는 달리 책임지고 개발하는 회사가 없이 개발자 커뮤니티를 중심으로 개발되는 이른바 오픈 소스 소프트웨어이다. 오늘 밤 인터넷 게시판에 필요한 기능을 요청하면 다음 날 아프리카에 있는 한 개발자가 재능기부로 개발하고 내일 어떤 추가 요청을 하면 칠레에 있는 한 개발자가 올리는 방식으로 유지된다.
과거에는 가격이 저렴하다는 점이 강점이었지만 지금은 기능의 다양성과 효율성이 오히려 기존 상용도구를 능가해 빅데이터 시대의 필수 도구로 자리 잡았다. 놀랍게도 Microsoft IBM 같은 거대 소프트웨어회사들을 제치고 이러한 오픈소스 소프트웨어가 빅데이터, 인공지능 시대를 주도하고 있다는 것은 시사하는 바가 매우 크다.
무엇이든 이어져 가고 있는 초연결 시대에 나 혼자만으로는 경쟁력을 유지할 수 없고 외부의 자원을 잘 끌어당겨 융합하는 오픈소스 생태계가 매우 중요해지고 있다. 특히 빅데이터의 활용은 외부에 흩어져 있는 데이터를 잘 정리해서 분석할 경우 전문가들도 몰랐던 새로운 통찰을 얻을 수 있다. 빅 데이터 시대에는 오픈 소스 생태계를 잘 이해하고 활용하는 것이 곧 개인과 기업이 오픈 이노베이션을 하는 가장 좋은 방법이라고 할 수 있다.
오픈소스를 활용한 빅 데이터 분석은 아이언맨 슈트를 입는 것과 같다.R과 파이썬은 필요한 기능을 패키지 단위로 인터넷 리파지토리에 저장돼 있어 필요할 때 언제든지 무료로 내려받아 사용할 수 있고, 더 많은 공공데이터도 다양한 방법으로 쉽게 이용할 수 있다. 또한 각종 코딩 샘플도 인터넷에서 쉽게 공유되고 있으며 Copy & Paste 방식으로 목적에 맞게 조립할 수 있다. CPU나 Memory 같은 어려운 컴퓨터 지식 없이도 자신의 업무에 대한 정확한 논리적 지식만 있으면 쉽게 데이터 분석과 코딩을 할 수 있어 이제는 전산요원이 아니더라도 누구나 R과 파이썬으로 자신의 데이터를 분석하고 디지털화할 수 있는 시대가 된 것이다. 자기 자리에 앉아 전 세계인의 훌륭한 아이디어와 무한한 능력을 쉽게 빌릴 수 있다면 이는 토니 스타크가 아이언맨 슈트를 입고 능력을 극대화하는 것과 비슷하다. 왜 흥분하지 않을 수 없는 것일까.
조직문화로서의 데이터 활용 능력이 필요 없는 글로벌 경쟁시대가 벌어지고 있는 이러한 빅데이터의 활용은 거의 모든 분야에서 개인과 기업에 새로운 의사결정방식을 가져올 것이며 조직의 운영원리도 변화할 것이다. 오픈소스를 활용하는 빅 데이터로 무장한 개인과 기업은 몽골 기병처럼 글로벌 시장에서 경쟁력을 가질 수 있겠지만 그렇지 않은 개인과 기업은 이 새로운 시대에 뒤질 수밖에 없다. 그러면 당장 개인과 기업은 무엇을 해야 할까. 데이터 활용 능력은 시스템의 도입만으로는 실현될 수 없으며 전체 구성원의 문화로 정착되어야 한다. 이를 위해 개인과 조직의 데이터 활용능력 함양을 위한 다양한 교육이 필요하며 이것이 조직문화로 정착하려는 노력이 절대적으로 필요한 시점이다.
■성균관대 경영학과 겸임교수 권건우
