세상에 공짜는 없다

"넘버(Number)가 없잖아요."

지난 8년간 귀에 못이 박히도록 들었던 말이다. 들을 때마다 새삼스럽게 짜증이 솟구치는 말이기도 하고.

10년 넘게 한 캠퍼스를 들락날락하며 주구장창 수식과 숫자를 붙들고 밤을 도운 날이 얼만데, 잘 도출된 예측치만 있으면 결정은 쉬운 문제인지 왜 모르겠는가. 아니, 애초에 그놈의 넘버가 있었으면 문제라고 보고도 안 했겠지. 문제는 터졌고 주어진 시간은 없는데 결론은 내야 하니 최대한 머리를 짜내어 정성적인 장단점을 정리해서 의사 결정을 요청하는 것 아닌가. 시간 없다고 독촉하는 본인에게 말이지.

'A안은 10만큼 좋고, B안은 20만큼 좋습니다. 어느 쪽을 선택해야 할지 고견을 부탁드립니다.'는 아첨일 뿐이다. 누가 봐도 두 배나 좋다면 그냥 실무자 선에서 결정하고 B안을 진행시키는 것이 훨씬 효과적이다.

문제는 '좋다'는 게 도대체 뭔지, 10이라는 차이가 어떤 가치를 갖는지, 10이라는 차이를 만들기 위해서 어떤 자원을 얼마나 투입해야 하는지, 그리고 그 차이의 반대급부는 없는지, 우리는 어떻게 생각하고, 고객은 이를 또 어떻게 생각할지 모두 유동적이라는 것이다. 시간이 무한히 존재한들, 이러한 문제를 완벽하게 정량화할 수는 없다. 우리가 만들어내는 시스템도 복잡하고, 우리가 만든 시스템이 동작하는 환경도 복잡한데, 특히 환경을 모델링하는 방법에 따라 예측치가 얼마든지 달라진다면 그 결과에는 호도 이상의 힘이 없기 때문이다. 모르는 사람이야 복잡한 실험 과정을 거쳐서 얻은 결과라 하면 그런가보다 할 지도 모르겠지만, 아는 사람이라면 환경을 어떻게 모델링했는지부터 따지고 들테니 말이다.

실험의 비용-편익 판단

"행동 경제학과 테크 기업에서 실험 문화가 정착되는 데는 두 분야 모두에서 실험 비용이 크게 줄어든 환경이 적잖은 역할을 했다."

- 실험의 힘, p108.

실험에는 비용이 따르기 마련이다. 행동경제학에서 '넛지'라는 개념이 각광받는 이유, 그리고 빅테크 기업이 빅브라더가 될 지 모른다는 경계심이 존재하는 이유 모두 실험의 비용이 줄어들었기 때문이다. '넛지'는 팔꿈치로 슬쩍 미는 듯한 간단한 변화로도 통계적으로 의미 있는 집단적인 행동 변화를 이끌어낼 수 있다는 개념으로, 효용 대비 낮은 비용이 핵심이다. 만약 팔꿈치 한 번 움직이는데 온 힘을 다하고 탈진해버린다면 넛지고 뭐고 무의미한 일이 되는 것이다.

빅테크는 플랫폼이고, 거대한 사용자 집단이 쏟아내는 데이터를 강력한 S/W를 통해 비용 대비 어마어마한 규모로 분류하고 분석하고 실험함으로써 플랫폼으로서의 지위를 지속적으로 강화한다. 마찬가지로 충분히 규모있고 양질의 데이터를 얻지 못하면 플랫폼 자체는 존속할지언정 그 기업은 플랫폼에서 부가가치를 얻지 못할 것 이다.

"실험에 전혀 문외한인 조직에서나 지극히 단순한 실험에서나 실험적인 사고방식은 중요하다."

- 실험의 힘, p27.

실험의 힘은 강력하고, 실험적인 사고방식(experimental mindset)은 중요하다. 서두에 늘어놓은 이야기 속에서, 내 상사와 나 모두 실험이 중요하다는 것에는 이견이 없다. 다만 그 비용과 편익에 대한 판단이 다른 것이다. 내 상사는 코드 몇 줄 짜서 돌려보면 되는 - 비용이 낮음 - 것으로 생각하는 반면 나는 어떤 시험 결과를 예상하면서 어떤 케이스를 실험해봐야 되는지 구상하고, 실제로 코딩하고 디버깅하고, 사전 실험 진행하고 분석하고, 실험 설계를 다시 진행하고, 실험 진행하고, 다시 분석하고, 결과를 정리하는, 길고 고통스러운 과정을 떠올리는 - 비용이 매우 큼 - 것이다. 내 상사는 결과가 나오면 A안, B안 성능이 각각 얼마면 더 높은 걸 선택할 수 있을 거라고 기대하는 - 편익이 큼 - 반면, 나는 성능 지표 1/2/3/....번이 각각 환경 1/2/3/.... 에서 이렇게 저렇게 나오는데 지표의 선정이나 적절한 환경의 판단에 이견이 생길 것이기 때문에 결국 결론이 쉽게 나지 않을 것을 - 편익이 낮음 - 우려하는 것이다.

"다양한 메커니즘을 알아내기 위해 실험을 되풀이할 때 더 많은 통찰을 얻을 수 있기 때문이다."

- 실험의 힘, p166.

내가 다니는 회사는 여전히 사전 모의실험에 대한 요구가 크지만, 어쩔 수 없이 개발 후 실제 제품을 이용한 실험이 확대되는 추세다. 바람직한 방향이긴 하지만 가상화시킬 수 없는 영역이 존재하는 제품이다 보니 데이터를 모으는 과정부터 만만치 않다. 제품이 설계되는 시점이 아니라 개발되어 나온 시점이다보니 고객사 제공 일정 준수의 압박도 강하고, 개발이나 검증 담당자들의 짜증 수준도 높은데, 마지막의 마지막까지 계속되는 버그 수정에 의한 영향도 걸러가면서 알고리즘을 최적화하기 위한 실험을 추진해야 한다. 조직적으로는 안 하던 업무에 대한 거부감이 존재하고, 완벽하지 못한 설계에의 성토도 감당해야 한다.

그럼에도 불구하고, 개발하는 시스템이 급속도로 복잡해지면서 수많은 기능들이 상호 작용하는 상황에서 신규 기능의 영향을 확인하거나 개선점을 찾는 데 실험을 안 할 도리는 없기 때문에, 이런 실험은 꾸준히 확대될 것이다. 동시에 그에 따라 늘어나는 실험의 비용이 문제가 될 것인데, 기본적으로 필드에 사람이 나가지 않으면 진행이 안 되는 류의 실험이고, 더 많은 실험을 수행하기 위해서는 더 많은 사람과, 더 많은 장비와, 더 많은 시간이 필요하기 때문이다.

실험은 늘려야 하는 상황에서 비용이 문제가 된다면, 효율을 높이는 수밖에 없다. 같은 실험을 시행하기 위해 필요한 자원을 줄이거나, 같은 자원을 투입해서 더 많은 결과를 얻거나. 그런데 실험에 필요한 장비와 사람의 수는 줄일 방법이 없다면, 같은 시간에 더 많은 결과를 얻어내야 한다. 같은 시간에 더 많은 결과를 얻으려면 어떻게 해야 할까? 장비가 실험을 반복한다고 실험 실력이 늘지는 않을 테니, 남은 건 사람이 발전하는 수밖에 없다. 결국 실력과 신뢰성의 문제로 돌아가는 것이다.

실험적 사고

마이클 루카, 맥스 베이저만, <실험의 힘>, 안드로메디안, 2021.

돌고 돌아 드디어 이 책이 힘을 발휘할 영역에 도달했다. 실험에 참여하는 많은 사람들이, 실험 자체에 대한 올바른 감각, 혹은 태도를 갖는 것. 즉, '실험적 사고'를 갖추는 것이다. 많은 사람들이 협업하여 진행하는 실험일수록, 실험을 진행하는 사람들이 공통적으로 높은 수준의 '실험적 사고'를 가져야 한 번의 시행에 오류가 유입될 가능성이 줄어들 것이고, 반복된 시행 과정에 일관성이 담보될 것이이며 실험의 목적과 방법론, 결과의 해석에 있어 더 나은 방법들을 찾아낼 가능성이 높아질 것이다. 또한 대책 없는 실험 지상주의의 함정에 빠져 귀중한 기회를 놓치지 않을 것이다.

마이클 루카와 맥스 베이저만의 <실험의 힘>은 여러 분야에 걸쳐 실험이 보편화된 과정과, 그 과정에서 어떤 주목할만한 실험들이 있었는지, 그리고 우리 각자의 현실세계와는 달리 너무나 깔끔하게 정리된 것으로 보이는 결과들 뒤에 어떤 고민들이 존재했는지 알려준다. 이러한 사례들를 통해 우리는 실험이 왜 지금에 와서 더 중요한 경쟁력이 됐는지, 중요한 의사결정을 보조하기 위해 어떤 요소들을 실험에 담아야 하는지 등 많은 것을 알 수 있다.

사실 개인적으로는 책에 소개된 사례와 현실의 괴리가 아주 편안하게 받아들여지지는 않았다. 하지만 책의 핵심 메시지들에는 전적으로 동의하며, 더 많은 개인과 조직, 기업이 이 책을 통해 실험적 사고를 다지는 기회를 얻을 수 있을 것으로 기대한다.

"실험을 실행하는 단 하나의 완벽한 방법은 없다는 것이다. 당신이 제기하는 의문에 따라 실험에 접근하는 방법이 달라져야 한다는 뜻이다."

- 실험의 힘, p61.'

"궁극적으로 조직이 실험을 성공적으로 해내려면, 올바른 대답을 얻는 것만큼이나 올바른 질문을 제기하는 게 중요하다."

- 실험의 힘, p167.

"이런 실험을 근거로 경영 판단을 하려면, 실험의 강점과 한계, 실험의 설계, 현재 가용한 데이터를 따져 보아야 한다."

- 실험의 힘, p177.