보잉Boeing의 프로세스 개선 사례

보잉사는 1991년부터 소프트웨어 프로세스 개선툴로 SW-CMM을 사용하고 있으며, 이미 200개 이상의 조직이 심사를 받았고 높은 레벨(레벨 3이상)에 도달한 조직을 다수 보유하고 있습니다. 12,000명이상의 사람이 SW-CMM 훈련을 받았으며, SEPG기반구조가 잘 정착되어 있습니다.

부가적으로 1997년부터 직원 실무개선을 위해 People-CMM을 사용하고 있으며, 1998년부터 개선 비율의 촉진을 위해 PSP/TSP 기법을 도입했습니다.

<그림1, 보잉사의 성숙도 레벨>

보잉사는 높은 레벨을 취득한 조직을 다수 보유하고 있습니다만, 레벨의 분포도는 그림1과 같이 레벨1과 2에 집중되어 있습니다. 레벨1은 심사가 필요없는 업무를 수행하기 때문에 실제 심사를 받지 않은 조직입니다. 따라서, 보잉사의 성숙도 레벨은 전체적으로 2~3의 수준에 집중되어 있으며, 이는 일반적인 대부분의 조직이 레벨4 이상의 레벨을 취득할 이유가 없기 때문에 이런 현상이 나타났습니다. 레벨4 이상의 레벨을 취득한 조직은 당사의 핵심 업무를 수행하는 핵심core 조직입니다.

레벨취득의 결과 소프트웨어 예측과 결과에 대한 편차의 통계를 보면, 예측치는 -145%까지 빗나갔습니다. 이는 2년짜리 프로젝트의 경우 무려 3년이 딜레이 되었다는 이야기와 같습니다. 하지만, 레벨3을 취득한 조직에서는 -20%까지만 예측이 빚나갔습니다. 이는 2년짜리 프로젝트의 경우 4개월 정도의 딜레이가 나타났으을 의미합니다.

<그림2, 소프트웨어 예측치>

또한, 계획된 일정 계획과 실제 진행에 적은 격차만을 보이고 있습니다.

<그림3, 일정성과>

그렇다면, "결함율은 감소하였나? "라는 질문의 답은, "그렇다." 입니다. 레벨을 취득하지 않은 레벨1조직에 비하여 레벨2조직은 16%의 결함율 감소가, 레벨3조직은 28%의 인도후 결함율 감소가 보여졌습니다. 이는 1/3에 가까운 유지보수 비용 절감을 의미합니다.

<그림4, 인도후 결함>

이에 따라, 프로젝트 완료시간이 레벨 3조직에서는 36%가 빨라졌으며, 시스템 당 지원인력이 62%감소하여 생산성이 향상되었습니다.

<그림5, 프로젝트 주기>

<그림6, 생산성>

이렇듯, 프로개스 개선의 효과는 뚜렷합니다. 레벨2를 거쳐 레벨 3에 도달하면, 생산성이 비약적으로 높아지고 인도되는 제품에 어느정도의 확신을 가질 수 있기 때문에 많은 부분에서 비지니스적 이득을 가시적으로 또는 비가시적으로 제공해 줍니다. 게다가 많은 부분 계획대로 작업이 진행되기 때문에 관리차원에서의 효율성을 제공하여 예측가능한 환경을 가질수 있게 됩니다.

하지만, 앞에 거론한 프로세스 개선의 효과는 전체 레벨 5단계 중에서 중간단계인 3단계까지의 이야기에 지나지 않습니다. 많은 관리자들은 위와같은 성과를 보이는 레벨3단계에서 안주하고자 하는 경향을 보입니다. 게다가 레벨4,5단계의 관련 참고 데이터는 대외비로 많이 막아져 있기 때문에(물론 낮은 레벨에 관련된 자료도 막혀있습니다.) 올라서기 힘이 듭니다. 그래서 많은 조직들이 레벨 3에서 개선노력을 중단하고 오래 지나지 않아 다시 하위레벨로 돌아가는 현실에 마주하게 됩니다.

프로세스 개선은 레벨3에 도달했을때 비로서 시작되는 것입니다. 고급 레스토랑에 가서 에피타이저만 먹고 나오면 좀 그렇지 않습니까?  뭐 패밀리 레스토랑은 그게 더 낫기도 하더군요... 하여튼.

레벨4에 도달하게 되면, 일정 계획을 예측한것과 실제와의 편차가 레벨3에 비하여 85% 향상됩니다. 이는 산술적으로 2년 프로젝트가 3주이상 지연되지 않는다는 의미입니다. 레벨5에 올라서면 실제 2~3일이상의 지연이 나타나지 않는다고 합니다.

<그림7, 일정편차>

게다가 소프트웨어를 재사용하는 비율이 레벨4부터는 절반을 넘어서게 됩니다. 이는 직접적인 비용cost감소로 이어집니다. 단, 여기서 말하는 소프트웨어는 문서등의 소프트한것들 모두 포함한 통계입니다. 실제 소스코드의 재활용은 레벨4에서부터 1/4을 넘어서게 됩니다. 그래도, 대단한 것입니다. 소스의 수정없이 바로 재사용되는 것입니다.

<그림8, 비용감소 = 소프트웨어 재사용 증가>

또한, 인도하기 전에 테스트를 통하여 검출되는 결함의 수정은 초기에 발견되는 결함을 수정하는 것 보다 몇배 더 많은 비용이 소요됩니다. 고 레벨의 조직에서는 인도이전 검출 결함의 수가 크게 줄어드는 개선 효과를 보았고, 이를 통하여 재작업이 감소되었으며 비용 감소에 직접적인 역할을 하였습니다.

<그림9, 비용감소 = 재 작업 감소>

인도 이전의 결함율 개선 이외에, 공식검토와 동료검토등을 통하여 사전에 재작업 율을 31% 감소시키는 효과를 거두었습니다.

<그림10, 검토와 인스펙션 이익률>

"그러면, 직원들은 어떠한가? 일이야 직원이 하는것이고, 생산성이 높아지고 비용 효율이 높아져도 직원들이 갑갑해하고 회사를 싫어하면 어떻하나..." 라는 질문에 최소한 보잉에서는 "걱정하지 말아라, 적어도 우리회사에서는 직원들이 좋아했다."라고 대답하고 있습니다. 개선 이후에 회사가 싫다고 하는 직원은 없어졌습니다.

<그림 11, 직원만족도>

지금까지의 내용을 종합해 보면 다음과 같습니다.

◎ 최상위 성숙된 조직은 계획한 사업 목표를 달성 또는 초과한다.
◎ 결함의 90% 가 인도 이전에 제거된다.
◎ 프로젝트의 94% 가 일정 예측치를 달성한다.
◎ 소프트웨어 재 사용률이 64%에 달한다.
◎ 시험 시간이 94% 감소한다.
◎ 레벨 3 이상에서 조직 생산성이 70% 증가한다.
◎ 레벨 3 이상에서 고객 만족도가 12% 증가한다.
◎ 레벨 3 이상에서 직원 만족도가 20% 증가한다.
◎ 직원 이직률은 업계가 12%인데 반해, 3% 이다.

그렇다고 해서, 취업 준비생 분들이 CMMI레벨이 높은 회사로 취업하는 것을 추천하지는 않습니다. 물론 레벨이 높은 회사로 취업하면 좋긴 하지만, 실제 레벨과 취득레벨이 많이 다른것이 현실입니다. 실제로 얼마전 신문기사에서 "모기업이 몇개월만에 레벨5를 취득했다."는 기사를 보았습니다. 어떻게 그렇게 하였는지는 모르겠지만, 실제 레벨취득시 소요되는 도달 시간은 다음 그림 12와 같습니다.

<그림12, 성숙레벨도달시간>

다 합치니 10년정도 되는군요. 모르겠습니다. 마법의 손이 존재하는 것인지도 모르겠습니다. 하지만 확실한것은 소프트웨어 프로세스 개선시 레벨취득이 목적이 되어서는 안되며, CMMI백서가 성경책이 되어서도 안된다는 것 입니다.@

*** 본 글은 미국 보잉사의 존부씨께서 발표하시는 PPT자료를 글로 풀어 놓은 것입니다. CUG(CAM User Group)에 의해서 한글로 번역되었으며, 국내에서는 CAM(Continuous Appraisal Method)의 배포를 위한 교육자료로 제공되었습니다.