[UT 너 뭐 돼?] 2. 좋은 질문을 던지는 방법

💡 이런 내용을 담고 있어요!

- UT를 설계하고 실행하는 과정과 고민에 대해 기록합니다.
- UT 초보자의 주관적인 경험을 담고 있어, 진행 절차가 다소 정확하지 않을 수 있습니다.
- 이번 글에서는 UT 실행 전, 참여자에게 던질 질문을 정리하는 과정을 다룹니다!

 
*인사이트를 붙잡아두기 위해 쓰는 초안과도 같은 글이라 미흡한 부분이 왕왕 있습니다.
 

첫 번째. 좋은 질문을 던지기 위한 전제 조건

정성 UT에선 사용자들의 행동을 관찰하고, 질문을 던지며 어떤 생각을 가지고 이런 행동을 했는지 묻는 과정을 거칩니다. 그렇기에 참여자가 수행할 Task를 '잘' 요청하고, 이후 이어지는 질문을 '잘' 던지는 것도 중요한데요. 그렇다면, 명확한 요청을 하고 좋은 질문을 던지려면 어떻게 해야 할까요?
 
아니, 그 이전에 좋은 질문이란 무엇일까요?
개인적으로 이번 UT를 하면서 좋은 질문이란 목적에 맞는 질문이라는 생각이 들었습니다.
 
참여자가 Task를 수행하는 과정에서 A라는 행동을 했을 때, 사실 물어볼 수 있는 질문은 굉장히 여러 가지가 있습니다. 예를 들어, 참여자가 button을 눌러 상세 페이지로 진입했다고 해볼게요. 그렇다면 이 경우 물어볼 수 있는 질문들은 이 정도가 아닐까 하는데요.
 
질문 후보
- button을 누른 이유는 무엇인가요?
- button을 눌렀을 때 예상대로 동작했나요?
- button의 크기나 색상은 적당했나요?
- button이 선택 가능한 요소로 생각되나요?
- button을 발견하는데 어려움은 없으셨나요?
- 평소에도 비슷한 방식으로 상세 페이지에 진입하시나요?
- 상세 페이지에 진입했을 때 필요한 정보들을 모두 확인할 수 있었나요?
- 다른 방식으로도 동일하게 상세 페이지로 진입할 수 있는데요. 이 부분은 알고 계셨나요?
- 등등
 
만약 button의 상세 UI를 평가하고 싶다면
'button의 크기나 색상은 적당했나요?' 'button은 선택 가능한 요소로 생각되나요?' 'button을 발견하는데 어려움은 없으셨나요?' 정도의 질문이 필요하겠죠.
 
반대로, 상세 페이지에 진입하는 플로우를 살펴보기 위함이라면
'button을 누른 이유는 무엇인가요?' 'button을 눌렀을 때 예상대로 동작했나요?' 정도의 질문을 물어볼 수 있을 것 같아요.
 
 

 
1탄에서 언급한 것처럼 같은 면접자와 진행하는 면접이라도 직무 면접인지, 컬처핏 면접인지에 따라 질문이 달라진다는 이야기와 일맥상통합니다. ㅎㅎ 물론 경우에 따라 모든 걸 물어보는 게 좋을 수도 있습니다. 하지만, 우리가 UT에 쏟을 수 있는 시간은 한정되어 있고 목적에 맞지 않는 데이터는 추후 데이터를 추출하는 과정에서 탈곡기 마냥 탈탈 털려 나갈 예정이기에 목적을 검증해 줄 수 있는 질문에만 집중하는 것이 좋습니다. 그렇기에 좋은 질문을 던지기 위해서는 이 질문을 통해서 무엇을 얻고 싶은가? 즉, 질문의 목적부터 명확해야 합니다.
 

 
당연한 이야기처럼 보이지만, 실제로 제가 질문지를 작성할 땐 자꾸 까먹고 핸들이 고장난 8톤 트럭처럼 질문을 리스트업 했기 때문에... 만약 저 같은 사람이라면 계속해서 리마인드하는 게 중요하다고 생각합니다.
 
실제로 UT를 진행하는 과정에서 클라이언트 측에서 각 UT 아이템별 검증 배경과 목적을 공유해 주셨는데요. 실제로 해당 목적들과 계속 대조하면서 '이 질문이 목적을 검증하기 위해 정말 필요한 질문인가?'를 스스로, 팀 내부에서도 계속 물어보며 질문지를 다듬어 가는 과정을 거쳤습니다. 
 
 
 

두 번째. 구체적으로 어떤 고민을 했냐면요

검증 목적에 따라  큰 줄기가 되는 질문들을 정리하고, 질문을 최종 리스트업하기까지도 사소한 고민들이 많았는데요. 크게는 다음과 같았습니다.

1. TASK부터 명확하게

제가 고민하면서 팀 내부에서 다듬었던 Task 한 가지를 공유해 볼게요. 
당시 전달받았던 Task의 목적은 '현재 화면에서 제공되고 있는 UI 요소들이 사용자의 예상을 충족하는지 확인하는 것'이었습니다. 그래서 처음에 저는 사용자에게 어떻게 Task를 요청해야 하지? 고민하며 두 가지 중 고민했습니다.
 

1️⃣ 이 버튼은 어떻게 동작할 것이라고 생각하세요? 

참여자가 예상하는 동작성을 직접적으로 질문함으로써, 어떤 동작을 예상하는지 구체적으로 파악할 수 있을 것이라고 생각했습니다.

 
2️⃣ 좌측 상단 button을 선택해 주세요.

직접적으로 특정 액션을 요청하고, 이후 예상한 대로 동작했는지 질문함으로써 검증 목적인 예상을 충족하는지를 알아보고자 했습니다.
 
결과는...! 1번 방식은 질문의 범위가 너무 넓고, 2번 방식은 너무 좁다는 피드백을 받았습니다.
 
최종적으로 '참여자님은 현재 검색을 하고 싶은 상황이에요. 화면에서 제일 먼저 어떻게 하실 것 같으세요?'로 정리되었는데요. 참여자들이 UT 상황에 몰입할 수 있도록 특정 상황(현재 검색을 하고 싶은 상황)을 가정하고, 그 상황에서 어떻게 행동할지 요청함으로써 한 가지 요소에만 집중했던 1번, 2번 방식보다는 해당 상황에서 참여자가 예상하는 행동을 폭넓게 관찰할 수 있었습니다. 
 
 

2. 참여자의 액션에 따라 질문 분기

참여자에게 하나의 Task를 요청했을 때, 여러 가지 상황이 있을 수 있습니다. 크게는 우리가 준비한 해피 패스(Happy path)대로 행동하는 사람과 그렇지 않은 사람이 있을 것 같은데요. 두 경우 모두 왜 그렇게 행동했는지 면밀히 파악이 필요합니다. 
 
능숙한! 모더레이터라면 별도의 준비가 필요하지 않을 수도 있겠지만 저는 처음으로 모더레이팅을 하는 입장이었기 때문에 (+ 준비되지 않은 상황에서 순발력이 떨어지는 편) 최대한 등장할 수 있는 모든 케이스를 꼼꼼하게 준비하고 싶었습니다. 앞서 가정한 상황과 같이 A 버튼을 '선택한 경우'와 '선택하지 않은 경우'에 나올 수 있는 질문들을 모두 분기했습니다.
 
버튼을 선택한 경우
1. 버튼을 선택한 이유는?
2. 버튼을 눌렀을 때 예상대로 동작했나요?
ㄴ (아니요) 어떤 화면으로 이동할 것으로 예상했나요?
ㄴ (예) 필요한 정보들은 모두 확인할 수 있었나요? 
 
버튼을 선택하지 않은 경우
1. 버튼이 있다는 걸 인지했나요?
ㄴ (아니요) 인지하지 못한 이유는 무엇이었나요?
ㄴ (예) 인지했음에도 왜 눌러보지 않았나요?
2. {다른 액션}을 하셨는데 여기서는 어떤 걸 하려고 하셨나요?
 
이 질문들을 자세히 살펴보면, 인지와 예측으로 구분되어 있습니다. 참여자가 우리가 제공하는 화면에서 어떤 요소를 확인하였고(인지) 어떤 생각(예측)을 하면서 어떤 행동을 했는지 관찰하기 위함입니다. 물론 이 정도로 분기가 필요하지 않은 UT 아이템들은 간단하게 질문을 구성하였습니다!
 

3. 문장 다듬기

이건 UT 실행 후 질문지를 수정했던 경우인데요. 막상 UT를 진행하니 똑같은 질문이라도 어떤 단어를 선택하는지에 따라 참여자의 답변이 달라지는 경우가 있더라고요. (정말 미묘한 차이인데도요!) 다듬었던 질문 중 하나는 다음과 같습니다.
 

1️⃣ 이 알림이 제공되는 시간은 충분했나요?

 
이때 저희가 추후 데이터를 위해 얻어야 했던 답변은 제공 시간이 부족한지 혹은 너무 많은지였는데요. 질문지를 작성할 땐 인지하지 못했는데 막상 테스트를 진행하니 '충분'이라는 표현은 중립적이지 않은 표현이라는 생각이 들었습니다. 그래서 다음 테스트에서는 아래와 같이 질문을 수정했는데요.
 

2️⃣이 알림이 제공되는 시간은 어떠셨나요?

 
단순히 '어떠셨나요?'라고 물었을 때는 참여자가 시간이 아니라 알림 자체에 대해 더 두루뭉술하게 응답한다는 인상을 받았습니다. 그래서 팀 내 피드백을 거치며 한 번 더 질문을 수정했습니다. 
 

3️⃣ 이 알림이 제공되는 시간은 적당했나요?

 
최대한 중립적인 표현인 '적당'을 선택했을 땐 앞서 두 가지 질문보다는 조금 더 답변을 이끌어 내기 쉬었습니다. 응답을 어려워하는 경우, 시간이 너무 부족했나요? 아니면 시간이 매우 충분했나요? 와 같이 두 가지 선택지를 동시에 제공했습니다.
 

4. 유용함에 대해 점수 매기기

저는 사실 '유용한가요?'라는 질문을 ... 굉장히 싫어합니다! 아니 싫어했습니다. 이건 개인적인 경험에 기반한 건데요.
(세미) 창업 준비 당시에 저희가 제공하는 서비스에 대해 유용한지 묻는 설문조사를 진행해 '유용하다'라는 답변을 얻었지만, 막상 서비스를 출시하고 저희의 타깃들과 대면 인터뷰를 했을 때 '안 쓸 것 같다'는 말을 잔뜩 들었던 기억이 있기 때문이에요.
 
그 뒤로 '유용한가요?'라는 질문은 쓸데없는 질문이라고 생각해 왔습니다. 실제로 팀 내에서 질문지 구성하는 과정에서 '유용함'에 대한 질문은 미래 행동이기에 유의미한 질문인가에 대한 의견이 나오기도 했습니다. 참여자들이 미래 행동에 대해서는 정확한 의견을 주기 어렵고, 또한 긍정적으로 대답해 줄 가능성이 높기 때문이라고요.
 
하지만...! 결론적으로 이번 UT에서는 '유용한가요?'라는 질문이 포함되었습니다. 대신 설문조사와는 이런 차이점이 있는데요.
 

1️⃣ 설문조사와 다르게 꼬리질문이 가능하다

 
당시 설문조사에서는 '유용하다'는 의견만 얻었을 뿐, 그이상 구체적인 의견에 대해서는 물어볼 수 없었는데요. UT 이후 사후 질문을 통해 정말 이 사람이 유용하게 느끼는지에 대해 질문이 가능해서 좋았습니다.  그리고 이번 UT를 할땐 대체적으로 참여자분들께서 정말 솔직하셔서, 유용하지 않은 기능에 대해서는 단호하게 유용하지 않다고 말씀해 주시기도 했고요.
 

2️⃣유용함에 대해서 점수를 매겼어요.

 
저희는 유용함에 대해 질문하고 꼭 점수로 매겨달라고 요청드렸어요. 각자가 생각하는 유용함의 정도가 분명 다를 것이기에 1점부터 7점까지 점수를 매길 수 있게 했습니다. 이 부분은 추후 어떻게 활용될지 한 번... 지켜보겠습니다.
 
+) 제미나이에게 유용한가요라는 질문에 대해 물어보고 얻은 답변을 공유해요.
 
유용한가요?라는 질문
UT에서 참여자에게 "유용한가요?"라는 질문은 다소 모호하고 주관적인 답변을 유도할 수 있다는 점에서 개선의 여지가 있습니다.
 
1. 구체적인 질문으로 변경
- 이 기능이 실생활에 어떤 도움을 줄 수 있을 것 같나요?
- 이 기능 덕분에 어떤 문제를 해결할 수 있을 것 같나요?
- 이 기능을 사용하면 시간이나 노력을 절약할 수 있을 것 같나요? 어떤 면에서 그렇게 생각하나요?
 
2. 상황을 제시하여 답변 유도
- 낯선 지역을 여행할 때 이 기능이 있다면 어떨까요?
- 갑자기 일정이 변경되어 새로운 장소를 찾아야 할 때, 이 기능이 도움이 될까요?
 
3. 비교 질문 활용
- 현재 사용하시는 다른 앱과 비교했을 때, 이 기능이 얼마나 유용하다고 생각하시나요?
- 이 기능이 없다면 어떤 다른 방법을 사용하시겠어요?"
 

 

오늘은 질문에 대해서 중점적으로 다루어보았는데요! 다음엔 프로토타입에 대한 짧은 생각으로 글을 작성해 볼 예정이에요!