출처 :

How Rovo helps teams start work 30% faster - Work Life by Atlassian

작성자 : 
Michael Siers
Sr. Data Scientist, Jira AI
발행일: 2026년 02월 19일


Rovo의 AI 기능을 Jira에 활용한 사용자들의 생산성 변화를 파악하기 위해 1년간의 사용 데이터를 분석했습니다. 

그 결과 Rovo의 AI 기능을 도입한 사용자들은 업무 시작 속도가 30% 더 빨라졌고, 매달 하루의 생산성 향상을 경험했습니다.

이 추가적인 시간은 회고 진행, 팀 건강 상태 점검 등 다양한 활동에 활용할 수 있습니다.


이 글에서는 이러한 결과에 도달하기까지 어떤 분석 단계를 거쳤는지 자세히 소개합니다!



Jira에서 Rovo란 무엇인가요?


Rovo는 300만 명 이상의 사용자가 사용하는 Atlassian의 AI 앱입니다.

Rovo는 Atlassian 제품군 전반에서 동작하며 .Jira를 위한 다양한 기능을 제공합니다.

자세한 내용은 아래 데모 영상을 통해 확인해 보세요.






Jira에서 ‘생산성’을 정의하는 방법과 어려움


Jira는 계획부터 유지관리까지 작업 항목의 전체 라이프사이클과 그 사이의 모든 과정을 추적하는 데 사용됩니다.

Jira 작업 항목 생성부터 완료까지 걸린 시간, 동료에게 피드백을 요청한 시점부터 해당 피드백을 반영하는 시점까지의 시간 등 각 단계 간 진행에 소요된 시간을 측정하는 다양한 지표가 존재합니다.

업무 항목 라이프사이클에서 두 개의 특정 단계 간 전환을 기준으로 측정했을 때 많은 잠재적 노이즈를 줄일 수 있었습니다.

그래서 생산성을 다음과 같이 정의했습니다:


  • Lead Time to Start - Jira 작업 항목이 생성된 시점부터 “In Progress” 상태로 전환될 때까지 걸린 시간


Rovo가 Jira에 제공하는 AI 기능들이 고객의 이러한 지표를 크게 개선한다는 가설을 세웠습니다.

또한 다음과 같은 보조 지표를 사용해 동일한 분석을 반복했습니다:


  • Number of work items moved into In Progress - “In Progress” 상태로 이동한 Jira 작업 항목의 수


이 두 가지 지표를 정확히 정의하려면 Jira에서 Status와 Status category의 차이를 이해하는 것이 중요합니다.

Jira 보드에는 다양한 Status가 있으며 이는 보드 화면에서 컬럼으로 표시됩니다.

각 상태는 “To Do”, “In Progress”, “Done”이라는 세 가지 카테고리 중 하나에 매핑됩니다.

위 두 지표는 Jira 작업 항목이 Status category “To Do”에서 “In Progress”로 처음 이동한 시점을 기준으로 측정합니다.

작업 항목을 “In Progress”에서 다시 “To Do”로 이동시키는 것도 가능하기 때문에 “To Do”에서 “In Progress”로 이동하는 첫 이동 시점을 측정 대상으로 선택했습니다.


<status category를 활용해 Lead Time to Start를 측정하는 방식을 시각적으로 보여주는 예시>


연구 설계


대조군과 실험군 두 그룹을 비교하기 위해 준실험(quasi-experiment) 접근 방식을 사용했습니다.


  • 대조군(Control): Jira에서 Rovo AI 기능을 전혀 사용하지 않은 사용자

  • 실험군(Test): Jira에서 Rovo AI 기능을 정기적으로 사용하게 되었으며 45일 동안 그 상태를 유지한 사용자


준실험(Quasi-experiments)은 전통적인 통계 실험과 중요한 차이가 있습니다.

바로 실험군과 대조군에 무작위 배정이 이루어지지 않는다는 점입니다.

전통적인 실험에서는 이러한 무작위성이 공정한 표본을 만들어 주지만 준실험에서는 표본을 공정하게 만들기 위해 여러 변수를 통제해야 합니다.

이러한 이유로 대조군과 실험군 모두에 다음과 같은 필터를 적용했습니다:


  • Jira에서 최소 180일 이상의 사용 이력이 있는 사용자가 생성한 작업 항목만 포함했습니다.

  • Jira Premium 또는 Enterprise의 유료 라이선스를 사용하는 사용자만 포함했습니다.

  • 좌석 수(seat size)에서 발생할 수 있는 이상치를 줄이기 위해 50석에서 1,000석 사이의 유료 라이선스만 포함했습니다.

  • 이상치를 줄이기 위해 윈저화(winsorization) 기법을 적용했습니다.

이는 Lead Time to Start 값의 하위 10%와 상위 10% 구간을 제외하는 간단한 방법입니다.

Atlassian에서는 사용자가 Jira를 창의적인 방식으로 활용하는 경우가 많아 매우 극단적인 이상치가 발생하는 경우가 있어 이러한 처리가 자주 필요합니다.


그다음 정규화된 타임라인을 정의했습니다.

“Day 0”는 사용자가 Rovo Jira AI 사용자가 된 날을 의미하며 “Day 45”는 그로부터 45일 후를 의미합니다.

여기서 한 가지 의문이 생길 수 있습니다.

Rovo Jira AI를 한 번도 사용하지 않은 대조군의 경우 Day 0를 어떻게 정의했는지가 궁금할 수 있습니다.

두 그룹을 공정하게 비교하기 위해 대조군 사용자에게도 Day 0를 부여할 필요가 있었습니다.

대조군과 실험군의 샘플 수가 동일했기 때문에 실험군의 모든 “Day 0” 날짜를 가져와 랜덤으로 섞은 뒤 이를 대조군 사용자에게 할당했습니다.

이렇게 함으로써 비교되는 날짜가 동일한 분포에서 무작위로 선택되도록 했습니다.

대조군 사용자는 Rovo Jira AI 사용자가 된 적이 없기 때문에 실험군 사용자의 날짜를 랜덤으로 섞어 대조군 사용자에게 할당했습니다.


<가설을 보여주는 개념도>


방법론의 마지막 단계에서는 Day 0부터 Day 45까지의 상대적 변화를 두 그룹 간에 비교했습니다.

유의수준 0.05와 검정력 0.8을 적용한 양측 t-검정을 사용해 두 그룹을 비교했습니다.


분석 결과


“In Progress” 상태로 이동한 작업 항목 30% 증가

Rovo AI를 Jira에 도입한 사용자는 45일 후 "진행 중" 상태로 이동한 작업 항목 수가 평균 30% 증가한 것으로 나타났습니다. 이는 통계적으로 유의미한 결과(p<0.01)입니다.

반면, Rovo AI를 전혀 사용하지 않은 사용자는 이러한 차이를 경험하지 못했습니다.


사용자가 업무를 35% 더 빠르게 시작

또한 Jira에서 Rovo AI를 45일 동안 사용한 사용자들은 Rovo AI를 전혀 도입하지 않은 사용자들과 비교했을 때 Lead Time to Start의 상대적 변화에서 통계적으로 유의미한 차이를 보였습니다.

두 그룹 모두 Lead Time to Start가 감소했지만 Rovo AI 도입 사용자들은 대조군 대비 약 1.4배 더 큰 감소 효를 보였습니다.


다시 말해, Jira에서 Rovo AI를 도입한 사용자들은 Lead Time to Start가 35% 단축되는 효과를 경험했습니다.

일반적인 사용자 기준으로 보면, 이는 28일마다 약 하루 정도의 시간을 절약하는 효과에 해당합니다.


앞으로의 계획


이는 Jira AI가 실제 환경에 미치는 영향을 측정하는 첫 번째 단계일 뿐입니다.

앞으로는 작업 항목 작성이 더 잘되고 있는지, 보드 관리가 더 쉬워졌는지, 스프린트가 더 원활하게 운영되고 있는지와 같은 질문들을 살펴볼 예정입니다.

신중한 실험과 실제 고객 사용 데이터를 결합해 단순한 기대를 넘어 모든 새로운 AI 기능이 팀에 실질적인 가치를 제공하도록 하는 것이 목표입니다.

이 과정을 계속 지켜보거나 직접 기능을 사용해 보고 싶다면 Jira에서 Rovo에 대해 더 알아보세요.





  • 레이블 없음