일러스트는 Google의 Roman Murado

사용자 니즈

구글 플라이트 팀은 사용자 연구를 거듭하며 ‘항공권 구매는 카푸치노를 사는 것과는 다르다’는 이야기를 계속해서 들었어요. 새로운 목적지로 가는 항공편을 검색할 때면, 가격이 예측할 수 없는 방식으로 오르내리고 가끔은 몇 시간 만에 두세 배로 뛰기도 하면서 공정한 가격 추정치도 가늠하기 어렵죠. 그리고 당신은 수하물 위탁 수수료도 알아봐야 할 테니까요.

항공권 쇼핑이 극도의 스트레스와 정서적 부담을 준다는 건 놀랍지도 않습니다. 우리는 구글 플라이트 사용자를 다음의 카테고리로 나눌 수 있다는 걸 알아냈어요.

• 도박꾼. 이 여행자 유형은 항공권 가격 시스템과 게임을 하면서 좋은 거래를 하려고 들죠. 이들은 항공편 인터페이스에서 가격적 인사이트를 찾아내기도 하지만, 예측에 따른 배팅을 하기도 합니다.

• 걱정하는 사람. 이 여행자들은 공정한 가격에 구매하는 것에 대해 훨씬 많은 염려를 하죠. 특히 처음 가보는 여행지는 더욱 걱정하고요. 가격 팁을 통해 안심하긴 하지만 일반적으로는 구매하는 과정에 불안을 느낍니다.

• 몽상가. 이 여행자들은 새롭고 낯선 여행지로 가는 항공권을 찾아보는 걸 즐기지만, 진짜 여행을 예악하기 위해서 발을 내딛는 것에는 엄청난 진심이 필요해요. 이 사용자들은 엄청나게 좋은 가격을 발견하면 바로 예약할 수도 있죠.

물론 이 외에도 다양한 사용자 카테고리가 있어요. 하지만 거의 모든 사용자는 항공권 가격에 영향을 미치는 요인들을 파악하려고 여러 사이트에서 가격을 비교한다는 사실을 발견했죠. 또 사용자들은 예약하기 전 최대한 오래 기다리면서 그 항공편의 가격이 어느 정도인지 ‘직감’이 생길 때까지 기다리는 경우가 많다는 사실도 발견했고요. 이 기다림은 짧게는 며칠, 길게는 몇 달까지 걸릴 수도 있어요.

우리가 AI로 접근해본 방법

디자인 문제

해결책

설명력 + 신뢰

배운 점

사람들이 항공권 가격을 읽지 않거나 잘 이해하지 못하기 때문에 신뢰도를 백분율로 표시하지는 않기로 결정했어요. 90% 이상의 신뢰도가 아닌 이상 예측은 전혀 표시하지 않기로 했어요. ‘중간’ 신뢰도 예측은 혼란스럽기만 하고 실행으로 이어지지도 않았고요. 예측에 확신이 있는 경우에도 훨씬 더 간단하게 표현했어요. “오를 것 같음” 혹은 “내릴 것 같지 않음” 정도의 훨씬 간단한 표현으로요.

가격 인사이트가 올바른 메시지를 전달하고 있는지 확인하기 위해 각 가격 인사이트를 가격 데이터 시각화로 보완하기로 결정했어요. 그래픽 기반으로 확실성을 표시한 자세한 내용은 확실성 표시에 대한 자세한 내용은 설명 가능성 + *PAIR의 신뢰 파트 + AI 가이드북에서 확인할 수 있어요.

지금은 일부 항공편에 대해 지난 몇 달간 가격이 어떻게 변했는지 보여주고, 곧 가격이 오를 것으로 예상되거나 더 이상 낮아지지 않을 것으로 예측되면 알려주고 있어요. 이런 기능은 사용성 테스트에서 정말 좋은 성과를 보여줬고 2019년 8월에 대중에게 공개했어요. 사람들이 가격 변동 내역 그래프를 보고 만족감을 표현했을 때, 우리가 맞는 방향으로 가고 있다는 것을 깨달았죠.

또한 사용자들에게 예측에 근거해 최저가로 예약할 수 있다는 확신을 주고 싶었어요. 2019년 늦여름, 우리는 미국에서 가격 보장 프로그램을 시범 운영하여 가격이 더 이상 떨어지지 않을 것으로 확신하는 항공편에 배지를 표시해 제일 저렴한 가격을 제시했어요. 사용자가 예약한 후에도 항공권 가격을 계속 추적해 원래 예상보다 가격이 떨어지면 차액을 돌려줬고요. 사용자 조사 결과, 이 기능을 통해 사용자들은 더욱 안심하고 예약할 수 있게 됐고 전반적으로 항공권 쇼핑에 대한 스트레스가 줄어든 것으로 나타났어요.

가격 보장에 대한 피드백을 모델 개선에 반영하고 사용자에게 예측 신뢰도에 대한 중요한 신호들을 제공할 수 있었어요. 이에 대한 자세한 내용은 설명 가능성 + *PAIR의 신뢰 파트 + AI 가이드북에서 확인할 수 있어요.

(하늘로) 떠나며

항공권 가격 예측이 어렵다는 사실 알고 계셨나요? 저희는 사용자가 항공권 가격이 과거에는 어떻게 변했는지 더 잘 이해할 수 있도록 하고 예측이 어려운 문제를 해결하고자 했어요. 다음의 세 가지 전략이 항공권 가격 인사이트를 설계하는 데 가장 도움이 된다는 걸 발견했고요:

• 데이터 소스를 명확하게 설명하세요: AI의 예측에 어떤 데이터가 사용됐는지 사용자에게 알려줄 때 제품팀은 예상치 못한 상황과 개인 정보 도용 등의 의심을 피할 수 있었고, 사용자가 스스로 판단할 수 있는 시점을 알 수 있었어요.
• 다양한 신뢰도 지표로 실험하기: 모델 신뢰도를 카테고리 틀과 시각적 그래프로 표시해 사용자가 이해하기 쉬운 방식으로 항공권 가격에 대한 관련 정보를 제공할 수 있었어요.
• 예상치 못한 사용자 행동에 대한 고려: 사용자 조사를 초기에 자주 하면서 상세한 설명으로 인한 의도치 않은 결과를 예측할 수 있었고 제품 팀이 커뮤니케이션 방식을 바꾸고 사용자 신뢰를 강화하는 데 도움이 됐어요.

머신러닝 제품을 구축하는 것 자체도 어렵죠. 하지만 때때로 가장 어려운 부분은 사용자가 접근하기 쉽고 유용한 방식으로 머신러닝이 하는 일을 전달하는 거예요. 머신러닝 시스템의 내부 작동에 대한 설명을 제공하는지 여부와 방법은 시스템에 대한 사용자의 신뢰와 의사 결정에 대한 머신러닝의 유용성에 큰 영향을 미칠 수 있어요. 이건 다른 모든 인간 활동과 마찬가지로 항공권 쇼핑에도 적용이 되고요.

·          ·          ·