Jakieś empiryczne dowody na skuteczność CMMI?

Zastanawiam się, czy są jakieś badania, które badają skuteczność projektów oprogramowania w organizacjach zorientowanych na CMMI. Na przykład, czy organizacje CMMI częściej kończą projekty na czas i / lub budżet niż organizacje niemające CMMI?

CMMI oznacza „Capability Maturity Model Integration”. Został opracowany przez Software Engineering Institute na Carnegie-Mellon University (SEI-CMU).

To nie jest certyfikat , ale istnieją różne firmy, które będą „oceniać” Twoją organizację na różnych poziomach CMMI, takich jak poziom 2 i 3. (Wierzę, że CMMI poziom 1 jest zwierzęcą, hobbesowską darmową formą, na którą nikt nie aspiruje innymi słowy, każdy ma co najmniej poziom CMMI 1, nawet jeśli nigdy wcześniej nie słyszałeś o CMMI.)

Zdecydowanie nie jestem ekspertem, ale wierzę, że organizacja może być oceniana pod kątem poziomów CMMI w różnych zakresach pracy: tj. Świadczenie usług, rozwój oprogramowania, foobaring itp. Moje pytanie dotyczy oceny rozwoju oprogramowania: czy organizacja jest które zostało ocenione na poziomie CMMI X dla projektów oprogramowania, które z większym prawdopodobieństwem ukończą projekt oprogramowania na czas i budżet niż inna organizacja, która nie została oceniona na CMMI poziomu X?

Jednak ze względu na brak twardych danych na temat CMMI zorientowanych programowo, byłbym zainteresowany wpływem ocen CMMI na inne działania.

Początkowo zadałem to pytanie, ponieważ widziałem różne badania dotyczące oprogramowania (np. Eseje w The Mythical Man Month odnoszą się do licznych badań empirycznych, podobnie jak kod McConnell Complete), więc wiem, że istnieją organizacje przeprowadzające badania empiryczne dotyczące tworzenia oprogramowania .

development-process cmmi Mark E. Haase
źródło

Możliwość integracji modelu dojrzałości? Anegdotycznie, patrząc na cmmifaq.info/#1 , wydaje mi się, że twoje pytanie jest katastrofalnie uproszczone. CMMI polega na ulepszaniu procesów, które zawsze będą kosztować więcej czasu i pieniędzy w krótkim okresie. To, czy otrzymasz zwrot z tej inwestycji, i kiedy, będzie w dużym stopniu zależeć od aktualnego stanu rzeczy organizacji i wielu mylących czynników.

Robert Harvey

Ponieważ CMM (moralny poprzednik CMMi) istnieje od początku / połowy lat 90., można by pomyśleć, że ktoś „cofnąłby się”, aby sprawdzić, czy uzyskanie certyfikatu CMMi * Poziom X rzeczywiście robi różnicę. W końcu to krążenie jest częścią ulepszenia procesu, które CMM i CMMi powinny promować.

Bruce Ediger,

@BruceEdiger - Podejrzewam, że trzy czynniki zapobiegają temu bardzo często. Po pierwsze, wiele firm przyjmuje „modę roku” w odniesieniu do ulepszeń. Robią CMM przez jakiś czas, potem Kaizan itp. Nigdy tak naprawdę niczego nie rozumieją i nigdy nie zadają trudnych pytań, ponieważ szukają magicznej kuli. Drugim czynnikiem jest to, że jeśli masz coś, co działa, firma może zdecydować, że nie powinna mówić z obawy przed podniesieniem konkurencji. Po trzecie, są tak zajęci pracą, że nigdy nie zawracają sobie tym głowy.

Michael Kohne

CMMI nie jest procesem programistycznym. Jest to sposób na opisanie procesu rozwoju. Pracowałem w wielu certyfikowanych lokalizacjach CMMI. Każdy z nich ma radykalnie różne procesy rozwoju, ale każdy ma certyfikat.

Podpisz

@Micheal Kohne: dość uczciwe, ale CMM i CMMi są promulgowane przez badaczy inżynierii oprogramowania. Wydaje się, że osoba, której zadaniem jest prowadzenie badań, faktycznie próbowałaby zweryfikować (lub uzyskać niezależną weryfikację) wniosków z eksperymentu (eksperymentów).

Bruce Ediger,

Odpowiedzi:

SEI opublikowała materiały dotyczące wpływu CMMI na różne aspekty rozwoju oprogramowania. Istnieje kilka przykładów korzyści, które firmy zauważyły dzięki przyjęciu CMMI lub SW-CMM. Ponadto niektóre firmy przedstawiły swoje historie sukcesu SEI. Szczególnie interesujący może być raport techniczny Demonstrujący wpływ i zalety CMMI: aktualizacja i wstępne wyniki . Chociaż wszystkie są wyselekcjonowane przez SEI, mam tendencję do ufania tym danym, ponieważ SEI jest finansowanym ze środków federalnych centrum badań i rozwoju, ze znaczącymi powiązaniami ze społecznościami akademickimi i rządowymi, a nie podmiotem komercyjnym / nastawionym na zysk.

Być może zainteresuje Cię także wydanie CrossTalk , które jest czasopismem poświęconym inżynierii oprogramowania dla przemysłu obronnego. Ten problem koncentruje się w szczególności na korzyściach związanych z osiągnięciem wysokiej dojrzałości CMMI (zwykle definiowanej jako Poziom 4 i Poziom 5) i ujawnia dane od kilku kontrahentów związanych z obronnością na temat wpływu na koszty projektu, harmonogram i jakość (wszystkie pozytywne) w miarę ich przechodzenia do wysokie poziomy dojrzałości.

Thomas Owens
źródło

SEI był również jednym z głównych graczy w tworzeniu CMMI i ma sporo do zyskania, widząc, że prosperuje. Nie sądzę, aby ilość materiałów pro-CMMI na ich stronie internetowej była wypadkiem.

Wyatt Barnett

W ten sam sposób wszystkie te „badania” reklamujące wielkość systemu Windows zostały opłacone przez Microsoft, więc oczywiście stwierdzą, że Windows jest najlepszy ..,

Wayne Molina,

Wydaje mi się, że mamy tutaj trochę tematu. Odchylając się na bok, nie widzę wiele w danych empirycznych w żadnym z tych łączy - wszystkie są zorientowane na studia przypadków. W szczególności żaden z nich nie ma grupy kontrolnej, która nie wdrożyła CMMI.

Mark E. Haase,

@mehaase Są empiryczne. Jeśli chodzi o usprawnianie procesów, bardziej wartościowe jest porównywanie własnej organizacji przed zmianą we własnej organizacji po zmianie ze względu na spójność produktu, technologii, wiedzy i umiejętności ...

Thomas Owens

Słusznie. Są dosłownie „empiryczne” w tym sensie, że opierają się na obserwacji, a nie dedukcji, ale nadal nie ma grup kontrolnych. Problem z podejściem przed i po polega na tym, że mogą istnieć korelacje między efektywnością organizacyjną a poziomem CMMI, ale nie wiesz, w jaki sposób przebiega przyczynowość. Być może organizacje, które naprawdę są zainteresowane doskonaleniem swoich umiejętności, są bardziej skłonne do przyjęcia CMMI, ale taka zmotywowana organizacja mogłaby się poprawić nawet bez CMMI.

Mark E. Haase