Alguma evidência empírica sobre a eficácia do CMMI?

9

Gostaria de saber se existem estudos que examinem a eficácia de projetos de software em organizações orientadas para o CMMI. Por exemplo, as organizações CMMI são mais propensas a concluir projetos dentro do prazo e / ou orçamento do que as organizações não-CMMI?

CMMI significa "Integração do modelo de maturidade de capacidade". Foi desenvolvido pelo Instituto de Engenharia de Software da Universidade Carnegie-Mellon (SEI-CMU).

Não é uma certificação , mas existem várias empresas que "avaliarão" sua organização em vários níveis de CMMI, como o nível 2 e o nível 3. (Eu acredito que o nível 1 do CMMI é um animal hobbesiano e gratuito para todos que ninguém aspira Em outras palavras, todo mundo tem pelo menos o nível 1 do CMMI, mesmo que você nunca tenha ouvido falar do CMMI antes.)

Definitivamente, não sou especialista, mas acredito que uma organização pode ser avaliada pelos níveis de CMMI em diferentes escopos de trabalho: por exemplo, entrega de serviços, desenvolvimento de software, foobaring etc. Minha pergunta está focada na avaliação de desenvolvimento de software: é uma organização que foi avaliado no CMMI Nível X para projetos de software com maior probabilidade de concluir um projeto de software dentro do prazo e do orçamento do que outra organização que não foi avaliada no CMMI Nível X?

No entanto, na ausência de dados concretos sobre o CMMI orientado a software, eu estaria interessado no efeito que as avaliações do CMMI têm em outras atividades também.

Eu fiz a pergunta originalmente porque vi vários estudos conduzidos em software (por exemplo, os ensaios do The Mythical Man Month referem-se a vários estudos empíricos, assim como o Code Complete de McConnell), então eu sei que existem organizações que realizam estudos empíricos de desenvolvimento de software .

development-process cmmi Mark E. Haase
fonte
11
Integração do modelo de maturidade de capacidade? Curiosamente, olhando para cmmifaq.info/#1 , parece-me que sua pergunta é catastroficamente simplificada demais. O CMMI trata da melhoria de processos, que sempre lhe custará mais tempo e dinheiro no curto prazo. A obtenção de um retorno sobre esse investimento e quando dependerá muito da situação atual da organização e de muitos fatores de confusão.
9788 Robert
11
Como o CMM (antecessor moral do CMMi) existe desde o início / meados dos anos 90, você pensaria que alguém teria "circulado de volta" para verificar se a certificação CMMi * Nível X realmente faz a diferença. Afinal, esse retorno é parte da melhoria do processo que o CMM e o CMMi devem promover.
11788 Bruce Ediger
11
@ BruceEdiger - Suspeito de três fatores que impedem que isso aconteça com muita frequência. A primeira é que muitas empresas adotam a "moda do ano" com relação a melhorias. Eles fazem CMM por um tempo, depois Kaizan, etc, etc. Eles nunca realmente entendem nada disso, e nunca fazem perguntas difíceis porque procuram uma bala mágica. O segundo fator é que, se você tem algo que funciona, a empresa pode decidir que não deve falar por medo de dar uma vantagem à concorrência. A terceira é que eles estão tão ocupados com o trabalho que nunca se preocupam em mencioná-lo.
22612 Michael Kohne
CMMI não é um processo de desenvolvimento. É uma maneira de descrever um processo de desenvolvimento. Trabalhei em vários locais certificados pela CMMI. Cada um deles tem processos de desenvolvimento radicalmente diferentes, mas cada um foi certificado.
Sinal
@ Michel Kohne: justo, mas o CMM e o CMMi são promulgados por pesquisadores de engenharia de software. Parece que alguém cujo trabalho é realizar pesquisas tentaria validar (ou obter validação independente) as conclusões de seus experimentos.
precisa

Respostas:

3

O SEI publicou algum material sobre os impactos do CMMI em vários aspectos do desenvolvimento de software. Existem algumas amostras de benefícios que as empresas obtiveram ao adotar o CMMI ou o SW-CMM. Além disso, algumas empresas forneceram suas histórias de sucesso ao SEI. De particular interesse pode ser o relatório técnico Demonstrando o impacto e os benefícios do CMMI: uma atualização e resultados preliminares . Embora todos sejam comissários de curadoria do SEI, tenho a tendência de confiar nesses dados, já que o SEI é um centro de pesquisa e desenvolvimento financiado pelo governo federal, com vínculos significativos com as comunidades acadêmicas e governamentais, e não com uma entidade comercial / com fins lucrativos.

Você também pode estar interessado na edição de janeiro / fevereiro de 2012 do CrossTalk , um periódico para engenharia de software do setor de defesa. Esta edição concentra-se especificamente nos benefícios de atingir alta maturidade do CMMI (normalmente definida como Nível 4 e Nível 5) e revela dados de alguns contratados de defesa sobre o impacto no custo, cronograma e qualidade do projeto (todos positivos) à medida que eles se mudam para os altos níveis de maturidade.

Thomas Owens
fonte
4
O SEI também foi um dos principais players na criação do CMMI e tem muito a ganhar ao vê-lo prosperar. Não acho que a quantidade de material pró-CMMI em seu site seja um acidente.
21812 Wyatt Barnett
2
Da mesma maneira todos os "estudos" touting a grandeza do Windows foram pagos pela Microsoft, então é claro que eles vão achar que o Windows é a melhor ..
Wayne Molina
Acho que entendemos um pouco do assunto aqui. Viés à parte, não vejo muitos dados empíricos em nenhum desses links - eles são todos orientados para estudos de caso. Em particular, nenhum deles possui um grupo de controle que não implementou o CMMI.
Mark E. Haase
@mehaase Eles são empíricos. Quando se trata de melhoria de processos, é mais valioso comparar sua própria organização antes da mudança com a sua própria organização após a mudança devido à consistência entre produto, tecnologia, conhecimento e habilidades ...
Thomas Owens
2
Justo. Eles são, literalmente, "empíricos", no sentido de que são baseados na observação e não na dedução, mas ainda não existem grupos de controle. O problema com a abordagem antes e depois é que pode haver correlações entre a eficácia organizacional e o nível do CMMI, mas você não sabe para que lado a causalidade é executada. Talvez as organizações realmente interessadas em melhorar suas habilidades tenham maior probabilidade de adotar o CMMI, mas essa organização motivada pode ter sido capaz de se aprimorar mesmo sem o CMMI.
Mark E. Haase