2013. 04. 24. 수요일

정치부장 물뚝심송

벌써 3회다.

내가 제일 싫어하는 일이 뭔가를 정해놓고 규칙적으로 반복하는 일이다. 단순반복작업 만큼이나 질색하는 일이 없고 실제로 잘 하지도 못한다. 그냥 인내심이 없고 게으르다는 뜻일까? 그만큼 이런 시리즈를 쓴다는 것 자체를 무척이나 두려워 한다. 하지만 계속 새로운 뉴스가 쏟아져 나와서 그런지 나름대로 큰 어려움 없이 3회를 쓰고 있고, 앞으로도 계속될 듯 하다.

오히려 더 심각한 문제는 이 재미도 없고 지겹기만한 시리즈에 사람들이 반응을 안 보이게 되는 경우일 것이다. 그러니 좀 많이들 봐 주시라. 읽기 싫으면 그냥 클릭만 해 주고 넘기면 되잖는가. 그 정도도 못해준다는 것은 좀 매정한 처사다. 사람들이 그렇게 살면 안된다.

어찌되었거나 2013년 4월 넷째주 딴지 IT 늬우스를 시작해 보자.

<첫번째 기사>

April 22, 2013

보스턴 경찰, “얼굴 인식 기술 효용 없었다”

by Phil Yoon

보스턴 폭탄 테러 용의자를 추적하는데 얼굴 인식 기술이 별 효용이 없었다고 보스턴 경찰이 밝혔다.  보스턴 경찰의 커미셔너인 에드워드 데이비스는 워싱턴 포스트와의 인터뷰에서 수천개의 사진과 비디오 판독을 거쳐 용의자로 보이는 사람을 지목해 내었지만, 화면에 보이는 용의자가 누구인지 알아내기 무척 어려웠고, 얼굴 인식 소프트웨어를 돌려봤지만 소용이 없었다고 언급했다 (검거된 용의자는 사진이 포함된 매사추세츠주 운전면허증 소지자임). 이는 이번 용의자 추적및 검거에 현장 주위의 각종 감시 비디오 등 ‘빅 데이터’ 분석이 주효했다는 주장과는 다소 상반된 내용이다. 데이비스는 용의자의 신분을 밝히는 데 도움이 된 것은 결국 시민들의 제보와 협조였다고 덧붙였다.

관련기사 : Washington Post, CNet

원문 링크 : http://techneedle.com/?p=9790

보스턴에서 테러가 있었고, 그 용의자의 모습을 도심 곳곳에 설치된 CCTV에서 확보한 것 까지는 좋았는데, 문제는 그 CCTV의 영상으로 과연 이게 어떤 사람인가를 찾아내는 것은 그리 쉽지 않은 일이라는 것이다.

일단 CCTV에 찍힌 동영상이나 기타 FBI가 자료로 삼을만한 영상,이미지 데이터는 장난아니게 큰 규모의 '빅 데이터'이다. 이 중에서 용의자로 보이는 데이터를 뽑아내는 것 조차 쉬운 일은 아니다. 이거 하나하나 사람이 보고 골라야 한다. 사건 발생 전후에 발생지점 근처에서 찍힌 수십시간의 영상을 다 훑어 봐야 하니까 말이다. 아직까지 이런 과정 자체를 자동화 할 수 있는 소프트웨어나 로직은 존재하지 않는다고 봐도 된다.

하지만 <C.S.I>가 출동하면 어떨까?

C! S! I!

거기다가 어렵게 용의자로 추정되는 사람의 영상, 이미지를 확보했다고 치자. 과연 이 사람이 어떤 사람인가를 알아낼 수 있는 방법은 뭘까? 이번 사건의 범인은 매사추세츠 주의 운전면허증을 가지고 있는 사람이었다. 그 면허증에는 사진이 붙어 있고, 그 사진은 데이터베이스로 관리가 되고 있었을 것이다.

즉, 해당 용의자의 모습에서 얼굴의 특징을 잡아내고, 면허증 DB 같은 것과 교차비교를 해 가면서 용의자를 찾는 과정이 있었을 것이라고 볼 수 있다. 면허증 DB 뿐이 아니다. 공공기관에서는 지금 이 순간에도 엄청난 양의 데이터가 생성되고 있다. 병원도 마찬가지. FBI 정도 되면 그런 공적 DB에는 자유롭게 접근할 권한이 있었을 것이다. 

물론 이 접근권을 놓고도 사생활 보호 문제 같은 것으로 인해 논란이 많지만 일단 기술적인 가능성 여부만 따져보자는 것이다.

결국 이 모든 과정은 인간의 안면인식 소프트웨어가 맡아야 한다. 그러나 그 안면인식이 잘된다 해도 문제가 남는다. 비교해야 할 이미지 파일이 너무 많기 때문이다. 비교 결과가 나오는데 2년이 걸린다면 이건 안하니만 못한 일이 된다.

미드 본즈(Bones)에 보면 이미 다 썩어버린 시체의 두개골조각을 맞추고 그것을 스캔해서 근육구조를 추정하여 얼굴 사진을 만들어 내고 공적 DB에 접근해서 누군지를 찾아내는, 그것도 아주 손쉽게 순식간에 찾아내는 장면이 자주 나온다.

그러나 실제 상황에서는? 앞 기사에 나온대로, 그런 소프트웨어 기술은 별로 도움이 안되었다는 것이다.

FBI가 사건 발생 27시간만에 신속하게 범인을 검거하는 과정에서 빅데이터를 다루는 첨단 기술의 도움을 받았다는 얘기는 독자들의 흥미를 끌 수는 있었겠지만, 사실을 정확하게 알려주는 것은 아니었던 모양이다. 결국 최종적으로는 시민들의 신속한 제보와 협조가 범인 검거를 가능하게 만들어줬다는 얘기이다.

아직은 힘들었다 치자. 그러면 앞으로는 가능할까? 나아가 이런 일이 그렇게 쉽게 가능해 진다는 것이 과연 우리에게 좋은 일일까?

카메라가 찍어낸 사진속에 담겨있는 차량의 번호판을 자동으로 인식해서 게이트를 열어주는 주차관제 시스템 같은 것은 이미 우리 사회에 널리 퍼져 있는 기술이다. 오독률도 거의 없다. 덕분에 게이트마다 앉아 있어야 하던 주차장 관리인들은 일자리를 잃었다.

살짝 옆으로 새지만, 실제로 이 번호판 인식 시스템을 꽤 훌륭하게 만든 곳 중에 북한도 포함된다. 북한이 해킹만 하는 것은 아니다. 소프트웨어 기술에서는 나름 한가닥 하는 나라다. 거기다가 이들의 기술을 국내에 수입해서 판매하던 모 회사의 임원들이 국가보안법 위반으로 재판을 받고 유죄판결이 나온 적도 있었다.

또 고속도로에서는 하이패스 시스템의 도입으로 인해 점점 더 톨게이트에서 요금징수 업무를 담당하던 직원들의 일자리가 사라지고 있다.

이런 문제는 어떻게 판단해야 좋은 것일까?

문제는 또 있다. 하이패스 시스템이 일반화 되면서 특정 번호판을 달고 있는 차량이 지금 어디로 가 있는지 바로 추적할 수도 있고, 또 과거의 어느 시점에 어느 톨게이트를 지나갔는지가 자동으로 추적되고 검색된다. 사생활 침해의 문제가 발생한다는 것이다. 편리함이 내 프라이버시를 침해하는 순간이다.

첨단기술의 발전은 그리 나쁜 것만은 아니지만, 언제나 이런 부작용을 동반하기 마련이다. 발전된 기술을 도입하기에 앞서 언제나 이 기술이 우리의 문화에 어떤 영향을 줄 것인가에 대해 심사숙고하고 신중하게 도입여부를 결정해야 하는 가장 중요한 이유이다.

<두번째 기사>

April 19, 2013

엑셀 계산 오류로 인한 전세계 긴축재정

by HoChan Lee

2010년 두 명의 저명한 하버드대학 경제학자인 칼멘 라인하트 (Carmen Reinhart)와 케네스 로고프 (Kenneth Rogoff)는 “Growth in a Time of Debt“라는 보고서를 발표하였는데, 주요 내용은 높은 국가부채가 저성장 사이에 관련성이 있다라는 취지이다. 이 내용은 특히 보수 정치인들에의해 많이 인용되었고, 경제 성장을 위해서는 정부지출과 재정적자를 축소해야 한다는 주장의 근거로 제시되었다. 높은 국가부채와 저성장률 사이의 관련성 (correlation)에 대해서는 경제학적 논란이 있었지만, 워낙에 저명한 경제학자들의 보고서 결론이라서 대체적으로 인정되었었다. 하지만 최근 매사츄세스 대학 연구원들이 자료를 재검토하는 중에 보고서의 주요 결론을 이끌어내기 위한 데이터 엑셀 계산에 오류가 있음을 발견하였다. 20개국의 데이터값을 평균을 내는데, 실제 엑셀 산식은 15개 국가만 포함되었고, 결과적으로 2.2가 나와야 할 평균값이 보고서에는 -0.1로 계산되었다.

tN insight: 빅데이터 및 프로그래밍의 발전으로 몇년만 지나도 컴퓨터는 인간이 생각할 수 없는 수준의 사고력을 보유할 것으로 예측되고 있다. 많은 국가의 정책 입안에 영향을 준 분석은 그나마 간단한 엑셀 산식 오류이지만, 향후 의사 결정의 근거가 될 빅데이터의 분석이 정확한지를 판단하기는 더 어려워 질 것이고, 이 판단 역시 다른 프로그램에 의해 이루어질 수 밖에 없어보인다. 지금은 빅데이터 분석 및 저장에만 초점이 맞추어져 있지만, 향후는 검증 및 이해가능성도 중요한 영역이 될 듯 하다. 참고로, 위의 분석에 대해 부연 설명을 하면, 결과치를 2.2가 되어도 높은 부채와 낮은 성장률 사이에는 약간의 상관관계가 존재한다. 다만 1) 이 연구에 입각하여 정책을 추진할만큼의 통계적 유의성이 낮으며, 2) 낮은 성장률이 높은 부채에 기인한 것인지 아니면 높은 부채가 낮은 성장률에 기인하는 것인지의 인과관계가 명확하지 않다.

관련기사: arstechnica

원문 링크 : http://techneedle.com/?p=9769

우리 사회에서도 사무직 연구직을 막론하고 가장 많이 쓰이는 소프트웨어중의 하나는 역시 마이크로소프트의 엑셀일 것이다. 다른 OS를 써 보고 싶어도 이 마이크로소프트 오피스 패키지를 무시할 수 없어서 주저하기도 한다. 물론 다른 OS들은 어떤 형태로든간에 이 오피스 패키지를 가동시킬 수 있는 방법을 제시하고자 노력한다.

MAC OS X가 돌아가는 애플 시스템의 경우에는 아예 마이크로소프트에서 해당 OS용 제품을 제공하고 있기도 하다.

그런데 2010년에 발표된 매우 중요한 경제보고서에 이 엑셀 계산식에 오류가 있어서 잘못된 결과가 담겨져 있다는 사실이 밝혀졌다. 어찌보면 무척이나 황당한 일이다. 어떻게 저렇게 중요한 보고서에 아주 단순한 산술계산의 오류가 포함되어 있었는지 놀랍기만 하다.

사실 더 놀라운 것은 그 오류를 또 누가 찾아냈다는 것이다. 보통은 그냥 결과를 믿어 버리게 된다. 그만큼 엑셀의 계산식은 효율적이면서도 정확했기 때문이다. 이번 오류 역시 엑셀의 실수는 아니고 아마도 사용자의 실수일 것이다.

하지만, 가정해 보자는 것이다. 만약 어떤 하이테크 소프트웨어에 아주 작은 계산 오류가 하나 포함되어 있다고 해 보자. 그 소프트웨어는 수십억건의 데이터를 가지고 계산을 해서 결과를 내는 그런 것이었다고 가정한다면, 그 오류를 확인하기 위해서는 전혀 다른 소프트웨어를 가지고 동일한 계산을 다시 해 봐야 한다는 결론이 나온다. 사람이 수십억건의 데이터를 처리해서 계산할 도리는 없다. 그만큼의 인건비와 시간소모를 감당할 수가 없기 때문이다.

이렇게 빅데이터를 다루는 분야에서는 어떤 오류가 발생했을 때 검증할 방법이 없어진다는 맹점이 등장한다. 그러나 우리 사회의 곳곳에서는 이제 인간의 계산능력을 벗어나도 한참 벗어나는 빅데이터를 다루는 일이 점점 더 흔해지고 있고, 이 빅데이터로 뽑아낸 결과들은 기존에는 우리가 전혀 예상하지 못했던 새로운 사실들을 점점 더 많이 알려주고 있다.

언젠가는 이런 '인간의 힘으로 검증불가능한 결론'들이 우리 사회에서 아주 중요한 결정을 내리는 데에 활용되기 시작할 것이다. 어쩌면 그 결론에 의해 우리는 전쟁을 하게 될지도 모른다.

그런데 거기에 오류가 있다면 어쩔 것인가?

일차적으로 생각해볼 만한 대안은 '검증 소프트웨어'를 완전히 새롭게 만들어서 동일한 데이터를 전혀 다른 로직으로 접근해서 계산을 해 보는 방법이 있을 수 있다. 아니면 계산 소프트웨어 자체를 검증할 수 있는 또 다른 소프트웨어를 만들어서 오류가 존재하는지 여부를 확인해 볼 수도 있겠다.

이런 식으로 나가다가는 서로 다른 소프트웨어들을 홀수개 사용해서 다수결로 결론을 내자는 주장도 나옴직하다. 실제로 이런 기법이 과거 나사(NASA)에서 만들던 우주선에 적용된 적도 있다.

하지만 소프트웨어 업계에서 근무해 본 사람들의 생각은 다를 것이다. 인간이 만드는 소프트웨어들이 얼마나 개판인지 잘 아는 그 사람들은 저런 검증이 불가능한 소프트웨어의 계산 결과, 인간의 판단력과 계산력으로 검증이 불가능한 계산 결과는 중요한 결정에 참고하지 않는 편이 안전하다는 생각을 하고 있을지도 모른다.

이런 식으로 하이테크를 불신하기 시작하면 한도 끝도 없다. 어쩌면 제2의 러다이트 운동이 될지도 모르겠다.

하이테크의 발전이 인류의 문화를 더욱 풍부하고 다채롭게 발전시켜 주고 있지만, 과거에 인류가 전혀 겪어 보지 못했던 위험성을 내포하고 있을지도 모른다는 걱정을 멈출 수가 없다. 이것은 나 혼자만의 걱정은 절대 아니다. 결국 우리는 최종적으로 이 모든 것들이 다 사람이 하는 일이라는 점을 생각해야 할 필요가 있다.

사람이 하는 일에는 언제든지 오류가 있을 수 있으며,

그 오류를 수정할 수 있는 여지를 반드시남겨두어야 한다.

는 점을 철칙으로 삼고 모든 일에 임하게 되면 어지간한 위험은 모두 다 예방할 수 있을지도 모른다는 지극히 뻔한 답변을 남기면서 마무리 하기로 하자.

끝. 

물뚝심송

트위터 : @murutukus