씻고 공개합니다; The Sims QA 팀 👋

안녕하세요, 반갑습니다! The Sims의 상주 QA… 담당자 Alex입니다. Discord Q&A 같은 이전 대화에서 저를 보신 적이 있을지도 몰라요! The Sims 커뮤니티에서 QA가 실제로 무엇을 하는지에 대해 많은 관심과 질문을 보내주셔서, 이제는 무대 뒤를 살짝 열고 QA가 하는 일과 하지 않는 일을 좀 더 자세히 소개할 때가 되었다고 생각했습니다.

이 글에서는 The Sims뿐만 아니라 대부분의 다른 게임, 그리고 전통적이거나 비인터랙티브한 소프트웨어에서 QA가 맡는 역할의 대부분을 다룰 예정입니다(전부는 아니지만요).

저는 제 분야에 꽤 열정적인 편이고 정보를 공유하는 것도 좋아해서, 글을 다 읽고 나면 QA의 전반적인 역할과 그 중요성을 더 잘 이해하실 수 있기를 바랍니다!

QA란 무엇인가요?

QA는 Quality Assurance의 약자이며, 이름 그대로의 의미를 담고 있습니다! 우리의 역할은 게임의 다양한 요소를 점검함으로써 품질을 보장하는 것이며, 확실히 확인하는 과정을 거치는 것입니다(버그 점검에만 국한되지 않습니다). 우리가 하는 많은 작업은 개발 초기 단계의 보이지 않는 곳에서 이루어지지만, 게임이 여러분의 손에 들어간 이후의 품질을 보장하는 책임도 맡고 있습니다!

모든 소프트웨어에는 버그가 있으며, 게임도 예외는 아닙니다. 우리의 목표는 큰 문제를 잡아내는 동시에, 플레이어가 마주치는 작은 문제를 가능한 한 줄이는 것입니다. 눈에 띄는 문제부터 시작해 세이브 파일을 불안정하게 만들거나 진행을 막거나 연쇄적인 문제를 일으킬 수 있는 미묘한 오류까지 찾아냅니다. (이 과정이 바로 이 일의 재미있는 부분입니다!)

수정안이 제안되면, 먼저 그 수정이 유효한지 확인하고, 이후 발생할 수 있는 부작용을 점검합니다. (하나를 고치고 다른 것을 망가뜨린다면, 그것은 진짜 수정이 아닙니다!) The Sims 4의 경우, 개발자에게서 얻은 정보를 TheSimsDirect 팀과 공유하여 세이브 파일 조사 블로그, Laundry List, 패치 노트를 통해 전달되는 정보가 정확하도록 하고 있습니다. QA에서는 게임에 대한 기술적 지식을 활용해 게임을 만드는 사람들(개발자)과 게임을 플레이하는 사람들(여러분!) 사이의 간극을 메웁니다.

그렇다면… QA 팀은 실제로 무엇을 하나요?

잘 물어보셨어요. 여기서부터가 진짜 재미있는 부분이거든요! QA는 개발의 모든 단계에 관여하기 때문에, 우리가 어떤 부분의 게임을 작업 중인지에 따라 하루하루의 업무가 달라집니다...

개발 초기 단계(프로젝트에 따라 “몇 달”이 될 수도 있고 “몇 년”이 될 수도 있습니다) 동안 QA는 개발자들과 협력하며 안정성이나 게임플레이에 영향을 줄 수 있는 요소를 지속적으로 살펴봅니다. 시스템이나 기능이 형태를 갖추기 시작하면, 잠재적인 문제를 표시하고 변경 사항이 팀의 의도대로 작동하는지 검증하며, 일반적인 플레이 시나리오에서 게임을 실행해 무엇이 깨지는지 확인하기 시작합니다. 이 초기 단계에서는 피드백을 제공할 수 있고, 또 그렇게 하도록 장려받습니다. (이때 우리는 최대한 플레이어를 대표하려고 노력합니다.)

수정 사항이 적용되면, 우리는 다양한 각도에서 다시 테스트하여 문제가 실제로 해결되었는지, 그리고 새로운 문제가 생기지 않았는지를 확인합니다. 사실 이와 관련된 이야기가 하나 있어요...

QA 팀 이야기, 잠깐의 스토리타임입니다.

최근 모험을 떠나요 의 새로운 겟어웨이 기능을 테스트하던 중, 꽤 웃지 못할 버그를 발견했습니다.

“소형견이 로맨스 경쟁 겟어웨이에서 싱글로 배정될 수 있음”

네, 맞게 읽으셨어요. 토토를 새로운 리얼리티 데이팅 게임에 참가시킬 수도 있었습니다.

이 버그는 애드혹 테스트와 헤일로 테스트 단계에서 발견되었습니다. 이 단계는 개발자가 의도한 대로 기본적인 기능이 작동하는지 확인한 이후에 진행됩니다. 그리고 이 시점이 바로 QA 팀이 조금 자유롭게 재미를 느낄 수 있는 순간이기도 합니다.

버그를 어떻게 찾았는지 이야기하기 전에 몇 가지 용어를 설명해 드릴게요.

헤일로 테스트는 특정 요소 주변을 중심으로 테스트하는 방식입니다. 이번 경우에는 로맨스 경쟁 겟어웨이가 대상이었습니다.

애드혹 테스트는 정해진 시나리오 없이 진행되는 테스트입니다. 코미디 클럽의 즉흥 공연을 떠올려 보세요.

테스터는 새로운 겟어웨이를 어떻게 테스트할지 고민하다가 이렇게 생각했습니다. “비인간 캐릭터로 로맨스 경쟁을 만들 수 있을까?”

그 결과 개발자와 의도된 동작을 확인하며 여러 가지를 시도했고, 결국 개들을 발견하게 되었습니다.

그중에서도 소형견이었죠. 해당 버그는 개발자에게 전달되어 수정이 진행되었습니다.

왜 하필 소형견이었을까요？왜 다른 대상은 아니었을까요？누가 알겠어요！하지만 QA 가 알고 있던 한 가지는, 아무리 Dilbert Wing이 잘생겼다고 해도 로맨스 경쟁 겟어웨이의 참가자로 어울리지는 않았다는 점입니다. 이것은 우리가 품질을 보장하기 위해幕后에서 하는 일의아주 작은 일부일 뿐입니다.

불쌍한 Dilbert는 옛날 방식으로 사랑을 찾아야 할 것 같네요…

이제 다시 본문으로 돌아가 보겠습니다.

수정 사항이 들어오면, 우리는 여러 가지 다양한 관점에서 다시 테스트를 진행합니다. 이를 “헤일로 테스트”라고 부르며, 문제가 실제로 해결되었는지, 그리고 새로운 문제가 생기지 않았는지 확인하기 위함입니다. 또한 과거에 여러분이 EA 포럼을 통해 공유해 주신 세이브 파일과 내부에서 만든 세이브 파일을 활용해, 실제 플레이 스타일을 최대한 재현하려는 목적의 다양한 게임 내 시나리오를 플레이테스트합니다. 이와 함께 서로 다른 플랫폼, 다양한 하드웨어 구성(예를 들어 여러 종류의 컴퓨터 부품), 그리고 다양한 팩 조합을 사용해 테스트함으로써, 실제 환경에서 게임이 어떻게 작동할지 더 잘 이해하려고 합니다. 이 모든 과정에서 새로운 콘텐츠가 기존 게임 요소와, 이전에 출시된 팩을 포함해, 자연스럽게 어우러지는지도 확인합니다. 게임을 직접 플레이하지 않는 시간의 상당 부분은, 스튜디오 전체가 문제를 더 일찍 발견할 수 있도록 돕는 체크리스트와 테스트 프레임워크를 만드는 데 사용됩니다. (비즈니스 용어로 말하자면, 게임이 만들어지는 과정과 게임 자체의 품질을 모두 보장한다는 뜻입니다.)

출시가 가까워질수록, 보통 프로젝트에 따라 약 한 달 전쯤부터 상황은 더욱 긴박해집니다. 이 단계에서는 모든 내용을 점차 확정하고, 개발자들이 남아 있는 위험 요소를 인지하고 있는지 확인하며, 다가오는 업데이트에 포함된 모든 변경 사항을 다시 검증하기 시작합니다. 우리는 추가적인 시나리오 테스트를 진행하고, 혹시 모를 상황을 대비해 엣지 케이스를 더 살펴보며, 수정 사항을 한 번 더 확인해 출시 전까지 중요한 문제가 빠지지 않았는지 점검합니다.

업데이트가 라이브로 배포되면, 우리의 초점은 출시 이후의 피드백으로 옮겨갑니다. 커뮤니티의 대화를 모니터링하고, EA 포럼에 등록된 보고를 추적하며, 문제의 범위와 심각성을 이해하는 데 도움이 되는 패턴을 찾습니다. 우리는 여러분의 피드백을 매우 중요하게 여기며, 여러분의 보고를 개발자들이 수정 작업을 진행할 수 있도록 버그로 정리합니다. 이러한 모든 정보는 개발 파이프라인으로 바로 전달되어, 이후 수정 작업을 어떻게 진행할지와 미래 계획을 세우는 데 반영됩니다.

QA는 무엇을 할 수 없을까요?

QA는 많은 부분을 담당하고 있지만, 분명한 한계도 있습니다. QA는 어떤 기능이나 콘텐츠가 만들어질지, 혹은 그것들이 어떻게 작동해야 하는지를 결정하지 않습니다. 우리의 역할은 가능한 한 객관성을 유지하는 것입니다. 우리는 개발자와 협의하여, 만들어진 결과물이 의도한 품질 기준에 도달했는지를 판단하는 데 어떤 데이터를 사용할 수 있는지 정합니다. 모드와 관련된 문제 역시 우리의 통제 범위 밖에 있지만, 현재 인기 있는 모드에 대해서는 꾸준히 파악하고 있으며, 플레이어 보고에서 더 깊은 호환성 문제를 시사하는 패턴이 있는지도 살펴봅니다.

QA는 매우 다양한 시나리오를 테스트하지만, 모든 비디오 게임이나 소프트웨어에는 사실상 무한에 가까운 가능성이 존재합니다. The Sims 4를 실행하는 순간부터 여러분이 내리는 모든 선택이 또 다른 분기를 만들어 내며, 그 결과 여러분만의 고유한 플레이 경험이 완성됩니다. 여기에 이 게임을 플레이하는 사람이 얼마나 많은지도 떠올려 보세요(정말 많습니다!). 비슷한 목적지에 도달하더라도, 같은 여정을 걷는 시머는 단 한 명도 없습니다. 그리고 우리는 바로 그 점을 사랑합니다. 이러한 다양성 때문에, 안타깝게도 일부 문제는 결국 빠져나갈 수밖에 없습니다. 그런 일이 발생하면, 우리는 여러분의 피드백을 듣고 이를 버그로 등록한 뒤, 테스트 모델을 발전시켜 계속해서 더 나아지려 합니다.

QA는 최근 어떤 변화를 만들었나요?

우리는 커뮤니티에서 가장 많은 표를 받은 수정 사항을 더 빠르게, 그리고 한꺼번에 더 많이 배포하는 데 집중해 왔습니다. 이를 가능하게 하는 핵심 중 하나는 QA가 여러분의 보고를 실행 가능한 버그로 바꿀 수 있다는 점입니다. 2025년 1월에는 새로운 EA 포럼으로 업데이트했습니다. (시간이휙! 지나가네요) 이 변화 덕분에 더 나은 텔레메트리, 즉 데이터를 확보할 수 있었고, 여러분이 중요하게 생각하는 보고가 무엇인지 더 잘 이해할 수 있게 되었습니다. 백엔드 데이터는 더 정확한 정보를 더 빠르게 얻는 데 도움이 됩니다. 플레이어 입장에서는 보고서에 상태가 표시되어, 그 보고가 흐름 속에서 어떻게 진행되는지 확인할 수 있습니다. 이 상태 표시는 또한 우리가 내부에서 보고를 재현하기 위해 여러분의 도움이 필요할 때를 표시하는 데도 유용합니다. 그게 바로 “Needs Info” 상태입니다. 더 나은 정보, 더 나은 소통, 그리고 더 많은 세이브 파일 덕분에 우리는 개발자에게 더 종합적인 버그를 전달할 수 있었습니다.

세이브 파일은 오래전부터 수집해 왔지만, 최근에는 해당 세이브가 처음 보내진 버그를 해결하는 데서 끝나지 않고, 그 세이브를 활용해 어떻게 테스트 범위를 더 확장할 수 있을지에 특별히 더 집중하고 있습니다. 여러분이 보고한 버그를 해결하는 것만으로는 충분하지 않습니다. 우리는 데이터를 통해 여러분이 게임을 어떻게 플레이하고 있는지에 대한 이해를 넓혀가고 있습니다!

(심호흡, 이 문장은 진짜 길어요) 커뮤니티에서 어떤 문제가 여러분에게 가장 큰 불편을 주고 있는지 측정하고 모니터링하는 방식이 개선되었고, 특히 상위 20개 이슈에 초점을 맞췄습니다. 여기에 방대한 플레이어 세이브 컬렉션의 활용 확대와, 투표 그 이상으로 서로 다른 기간의 데이터를 살펴볼 수 있는 확장된 도구들이 더해지면서, 커뮤니티 최다 득표 40개 보고 중 27개를 수정했습니다!

이 과정이 완벽하지 않다는 것도 알고 있으며, 우리는 늘 더 나은 방향을 찾고 있습니다. (이 부분에서 여러분의 피드백이 정말 큰 도움 이 되었어요!) 저에게 QA는 하나의 예술이고, 우리는 우리의 매체와 함께 진화하려고 합니다. The Sims 4의 QA 팀으로서, 우리는 스스로 기대하는 기준을 충족하기 위해 계속해서 프로세스를 발전시키며, 여러분께 더 나은 품질의 결과물을 제공하기 위해 노력하고 있습니다.

QA와 시머가 함께 일하는 방법

플레이어 보고는 우리가 대규모로 어떤 일이 벌어지고 있는지 이해하는 데 아주 중요한 부분입니다. 비교해 보면 우리는 소수지만, 여러분은 군단 이죠! QA에는 이런 오래된 말이 있습니다. “최고의 플레이테스트는 게임을 출시하는 날이다!” 실제로 게임에 얼마나 많은 테스트 시간을 들였든, 출시 당일에 받는 피드백이 항상 가장 강력합니다. 어딘가에서는 분명 우리가 한 번도 생각하지 못한 행동을 누군가가 해낼 테니까요. 그래서 여러분의 보고가 정말 중요합니다. (그리고 제가 시머들이 이렇게 적극적으로 제보해 주는 걸좋아하는 이유이기도 해요!)

우리는 보고를 분석해 패턴을 찾고, 발생 빈도를 파악하고, 잠재적인 심각도를 식별하는 전담 팀을 운영하고 있습니다. EA 포럼에서 여러분이 공유해 주는 모든 정보는 읽고 참고하며, 우리 쪽에서도 동일한 버그를 발생시키기 위해 활용합니다. 여러분이 세이브 파일, 영상, 그리고 또는 단계별 재현 방법을 공유해 주면, 우리 팀이 버그를 추적하고 재현 가능하게 만드는 데 큰 도움이 됩니다. 결국 QA의 역할은 버그를 등록하고, 도구를 활용해 가능한 근본 원인을 해석해 개발자가 들어가서 고칠 수 있게 만드는 것이지만, 이렇게 참여도가 높은 커뮤니티가 있다는 것이 우리에게 얼마나 큰 도움이 되는지 아무리 강조해도 부족합니다.

때로는 버그가 겉으로 보이는 것보다 훨씬 까다롭습니다. 그래서 명확하고 잘 정의된 “재현 단계”는 QA가 개발자와, 또 우리끼리 소통할 때 사용하는 핵심 도구입니다. 목표는 100% 재현이지만, 항상 가능하진 않습니다. 커뮤니티에서 보고된 문제를 재현하려고 우리가 만든 천 개의 세이브에서 천 가지 시나리오를 시도해 볼 수도 있지만, 솔직히 실제로 겪고 있는 사람들에게서 직접 정보를 받는 것만큼 좋은 건 없습니다. 왜냐하면 결국 “버그가 있다”라고 말하는 것만으로는 부족하고, QA는 그 버그가 존재한다는 걸 증명 해야 하며, 우리는 그것이 어떻게 발생하는지 알아내는 방식으로 증명하기 때문입니다.

진심 어린 감사의 말씀

다시 한번 The Sims 4 커뮤니티에 대한 저희 팀의 감사한 마음을 전하고 싶습니다. 품질을 중요하게 생각하고 자신의 경험을 기꺼이 공유해 주는 플레이어가 있다는 것은 정말 큰 행운이며, 덕분에 저희는 게임을 더 나은 방향으로 개선할 수 있는 기회를 얻고 있습니다. QA는 완벽한 작업이 아니며, 팀으로 함께 협력할 때 가장 좋은 결과를 만들어냅니다. 다양한 배경에서 나온 관점이 많을수록, 버그를 찾아내는 능력도 더 좋아집니다. 그러니 무언가 이상하거나, 망가진 것 같거나, 그냥 느낌이 안 좋다면 꼭 제보해 주세요. 여러분의 정보는 정말 큰 차이를 만듭니다!