AI는 믿을 수 없다는 오해

AI와 대화를 해보면 맞는 게 하나도 없는데, 이걸 어떻게 믿고 무슨 글을 쓰고 무슨 일을 한다는 건지 모르겠다고 투덜대는 사람들이 있다. 그래서 기껏해야 코딩과 자동화 정도에나 조금 쓸 수 있을 뿐 일반인들은 전혀 믿고 쓸 수가 없다고 생각하는 사람들이 아직도 많다. 똑똑할 때도 있지만, 랜덤으로 거짓말 섞어서 답변하는 AI를 어떻게 믿고 일을 맡기냐는 것이다.

하지만 현재 정확성이 요구되는 법률 분야에서 AI 도입이 가장 활발한 이유는 무엇일까? 법률 문서는 단어 하나, 조항 하나에 결과가 갈린다. 사실 관계, 판례 하나 잘못 사용하면 소송의 결과가 뒤바뀐다. 그럼에도 많은 로펌들은 AI를 활용해 법률 문서 검토에 쓰이는 연간 수십만 시간을 절약하고 있다. 로펌들이 AI를 쓰는 이유는 AI가 완벽해서가 아니다. 방대한 문서를 검토하고, 초안을 잡고, 리서치를 보조하는 유능한 조수로서의 역할이 탁월하기 때문이다. 가장 보수적이고 정확해야 할 법률 분야에서 AI가 필수재가 되고 있다면, 다른 영역에서 AI를 쓰지 못할 이유는 거의 없다. AI가 못하는 것이 아니라 당신이 AI 활용을 못하고 있는 것이다.

구글 노트북 LM을 이용하여 생성한 이미지

할루시네이션의 원인

LLM에게 새로운 정보를 묻지 말고, 항상 내가 확보한 자료를 해석해 달라고 할 것. 이것이 가장 기본적인 나의 사용 원칙이다. AI(LLM)가 잘못된 정보를 뱉어내는 현상을 보통 할루시네이션이라고 부르는데, 이는 결함이라기보다 정확한 맥락(Context)을 찾는 데 실패한 결과에 가깝다. 예를 들어 chatGPT 프롬프트 창에 웹 검색 기능을 끄고 무작정 최근 반도체 시장 동향이 어떠냐고 물어보자. 최근 반도체 시장 동향에 대한 정보가 전혀 없음에도, AI는 방대한 임베딩 공간 어딘가에서 관련 정보를 끌어와 그럴듯한 답을 조합한다. 요즘은 자신이 훈련된 시점을 기준점으로 삼아 “ 내가 아는 최신 정보는 이 시점까지다”라고 사용자에게 안내하기도 한다.

LLM은 최신 정보로 훈련되지 않았고 정보 자체를 학습하지 않았으므로 최신 정보를 묻는 것 자체가 잘못되었다. 게다가 질문 방식 자체가 마치 10년 전에 한 번 들은 강의 내용을 물어보는 것과 비슷하다. 한 사람이 매일 8시간씩 책을 읽어도 평생 읽을 수 있는 책은 고작 수천 권 정도일 것이다. AI는 그 수만 배에 달하는 정보를 가지고 있다. 문제는 이 방대한 정보가 정리되어 있지 않다는 것이다. 모든 정보가 고차원 벡터 공간에 뿌려져 있을 뿐이다. 반도체 시장이라는 질문이 들어오면, AI는 이 광활한 공간에서 관련이 있어 보이는 패턴들을 순간적으로 조합해 문장을 만들어낸다. 기억의 조각들이 뒤섞여 나오고, 빈 곳은 그럴듯한 문장으로 채워진다. 이걸 사람의 기억용량과 맞추어 비유하자면, 자는 사람을 갑자기 깨워서 10년 전에 읽은 책 한 구절을 물어보는 것과 비슷하다. 

자료를 들고 질문하라

기본적인 해결책은 간단하다. 빈손으로 질문하지 말고, 자료를 들고 가라. 오늘 아침에 읽은 뉴스레터가 있다면 그걸 붙여 넣고 우리 회사에 대한 설명을 한 후, 우리 회사에 영향을 줄 수 있는 내용만 정리해 달라고 하라. 지난주 회의록이 쌓여있다면 이 회의에서 결정된 사항과 미결인 사항을 분류해 달라고 하라. 수십 페이지짜리 자료가 있다면 먼저 꼭 필요하거나 궁금한 점에 관해서 물어보라. 

이제 AI는 몽롱한 기억을 더듬지 않는다. 눈앞에 놓인 텍스트를 읽고, 구조를 파악하고, 분석한다. 이건 AI가 압도적으로 잘하는 영역이다. 자는 사람을 갑자기 깨워서 10년 전에 읽은 책 한 구절을 물어보는 것이 정확할 리가 없다. 하지만 책에 대한 기억을 서서히 깨워가면서, 차근차근 물어 나간다면 사람도 훨씬 정확하게 기억해 낼 수 있다. AI를 소설가로 보지 말고, 유능한 분석가로 대하라. 절대 빈손으로 물어보지 말고, 내가 가지고 있는 자료를 해석해 달라고 하라. 자료가 있으면 AI는 눈앞의 텍스트를 읽고 정리할 뿐이므로 할루시네이션이 극적으로 줄어든다.

법률 분야에서 AI를 활용하는 방식이 정확히 이것이다. 사람이 읽기엔 어려운 수백 페이지의 자료를 던져주고 여기서 관련 정보를 찾아내는 일이다. 이제부터의 AI는 소설가가 아니라 분석가이다. 물론 중요한 정보라면 사람의 사후 검토는 필수이다. 

AI를 어떻게 활용하는 건지 잘 모르겠다면, 먼저 빈손으로 질문하고 있지 않은지 돌아봐야 한다. 자료를 주고 해석을 요청하는 것만으로도, AI는 놀라울 정도로 정확해진다. 할루시네이션은 AI 자체의 에러나 결함이라기보다, 정확한 문맥을 찾는 데 실패한 결과이다. 내가 가진 자료를 제공하는 것은 관련 문맥을 자세히 제공하는 셈이기 때문에 답변의 정확도가 올라갈 수밖에 없다. 

나의 활용 사례

평범한 직장인으로서 연재는 꿈도 꾸지 않았던 내가, 격주 연재를 결심할 수 있었던 것은 전적으로 AI 덕분이다. 매주 글거리를 찾아 헤매다가 머리를 쥐어뜯는 일은 그다지 하고 싶지 않았다. 하지만 페이스북에 틈날 때마다 AI 관련 글을 써온 게 몇 년이니 관련 메모는 잔뜩 쌓여 있지 않겠는가. 이걸 아이디어 삼아서 활용할 수 있겠다 싶었다.

그냥 페이스북에 써 놓았던 글들을 하나씩 키워드 검색해 가며 쓰는 정도라면, 큰 도움이 되지 않는다. 관련 글을 찾고 검토하는데 지나치게 시간과 노력이 많이 필요하기 때문이다. 하지만 AI가 출동한다면 어떨까?

일단은 관련 게시물 수백 개를 메모 삼아서 AI의 도움을 얻기로 했다. 먼저 페이스북에서 일정 기간의 모든 게시물을 내보내기 해서 다운로드 받아 놓는다. 물론 제목도 없이 텍스트와 이미지만 있는 셈이라 어지러운 글자 뭉치에 불과하다. 이걸 최종적으로 다음과 같이 메타데이터를 부여해 정리하고 옵시디안(Obsidian, 노트앱)에서 보면 다음과 같다. 

일단 과정을 따라 해보면 전혀 어렵지 않다. 코드를 직접 작성할 필요도 없고 특수한 사용법이 있는 것도 아니다. 클로드 코드 혹은 구글 안티그래비티 등 LLM 에이전트 기반 코딩툴에서 관련 메모를 하나의 폴더에 몰아넣은 후, 메모를 하나씩 읽고 키워드를 추출해 달라고 하면 된다. 그를 바탕으로 적절한 태그를 부여하고, ‘날짜_제목’ 형태로 파일명을 바꾸게 해서 수백 개의 메모를 정리했다. 수백 개의 텍스트를 사람이 직접 읽고 처리해야 한다면 엄두가 안 나는 작업이겠지만, AI의 도움이 있다면 1시간도 걸리지 않는 간단한 작업이다. 지면의 여백이 부족하여, 자세한 설명은 생략한다. 다음 연재에서 세부적인 과정에 대해 차차 설명하겠다.

내친김에 관련 메모들 간의 링크까지 생성하도록 한 후, 옵시디안 그래프 뷰에서 보면 다음과 같다.

이제 지식 베이스가 어느 정도 갖춰졌으니 무엇이든 자연어로 물어볼 수 있다. “내 드라이브/G Vault/4. Archive/페북 저장 폴더에서 tags:- AI/인공지능인 글들 찾아 줘. 그 후 AI를 실생활에서 응용하는 방법에 대한 글들을 모두 찾아 줘”라고 대충 지시한다. 그 결과는 다음과 같다.

본디 글이란 것은 한 땀 한 땀 스스로 작성해야 하거늘, 요즘의 글쟁이들은 요사스러운 AI에 의존하여 사색에 힘을 쏟지 않으니 참으로 통탄스럽다고 생각하는가? 그렇다면 앞으로 그 생각을 조금씩 바꿔 나가야 할지도 모른다. 

아무튼, 위 전체 과정을 구글 제미나이에게 텍스트로 제공하면 다음과 같이 도식화할 수 있다. 

구글 나노바나나를 이용하여 생성한 이미지

자신만의 정리된 데이터가 중요하다

정말 쉽죠? 직접 해보면 어렵지 않습니다.

“AI를 실생활에서 응용하는 방법 알려줘”라고 chatGPT 프롬프트 창에 치거나, 조사를 시켰다면 꽤 뻔한 내용만 나왔을 것이다. 결국 AI와의 협업에서 중요한 것은 자신만의 데이터(Context)다. 남들도 다 할 수 있는 일반적인 질문에는 뻔한 대답만 돌아온다. 하지만 내가 가진 엑셀 시트, 내가 작성한 메모, 나만의 문서를 AI에게 제공하고, 이를 기반으로 협업하면 AI는 세상에 하나뿐인 유능한 파트너가 된다.

나의 업무나 관심사와 관련된 주요 자료(법률, 규정, 사규, 매뉴얼, 관련 논문 등등), 나만의 지식, 나만의 메모를 노트북LM에 올려두면 3분 만에 나만의 파트너를 만들 수 있는 세상이다. 어떠한 정보든지 제대로 가공되고 모으기만 하면, 자연어로 묻고 자연어로 답을 얻을 수 있다.

프롬프트 작성법은 지엽적인 문제다. LLM에게 명확한 역할이나 페르소나를 부여한다거나, 어르고 달랜다거나, 여러 번 되묻고 스스로 평가하게 하는 등 다 좋은 방법이다. 하지만 어떤 요령으로 질문하느냐보다, 질문할 때 어떤 자료를 함께 주느냐가 결정적이다. 정말로 중요한 건 자신만의 자료를 정제, 추출, 통합하여 데이터 형태로 만드는 일이다.

AI에게 단편적인 정보를 묻는 데 시간을 쓰지 마라. 그 시간에 자신만의 데이터를 모으고 정리하는 데 AI를 활용하라. 메모를 쌓고, 문서를 아카이빙하고, 나만의 지식 베이스를 구축하라. 그 데이터가 쌓일수록, AI는 더 유능한 파트너가 된다. AI 시대의 진정한 경쟁력은 프롬프트 스킬이 아니라 자신만의 정리된 데이터들이다.

AI는 잘 정리된 데이터가 있을 때 빛이 난다. 활용에 조금만 더 익숙해진다면 정보 수집, 지식 관리, 분석, 보고서 작성, 의사결정 지원, 시각화, 프레젠테이션을 하나의 흐름으로 통합할 수 있고 필요하면 과정 일부를 자동화할 수 있다. 그리고 그 모든 것의 전제는 자신만의 정리된 데이터이다.