Martti Rousi studerade under ledning av Lauri Voipio, Seppo Kimanen, Timo Hanhinen och Arto Noras. Han utexaminerades vid Sibelius-Akademin med utmärkta vitsord år 1983. Åren 1985–86 studerade han vid Indiana University under ledning av Janos Starker.

Rousi vann cellotävlingen i Åbo år 1982. Han vann andrapriset vid Tšaikovski cellotävling år 1986.

År 1989–92 var Rousi konstnärlig ledare vid festspelet i Lemi-Villmanstrand. Åren 1992–2009 ledde han musikfestivalen i Åbo. År 2010 var han konstnärlig ledare vid Sibafest och 2012–2014 i Sysmän suvisoitto. År 2018 började han som ledare vid Helsinki cellofest.

Rousi har uppträtt som solist och kammarmusiker både i Finland och utomlands, till exempel med Köpenhamn filharmoniker, Shanghai filharmoniker, Moskva filharmoniker och München kammarorkester. Han har också arbetat som juryledamot i många cellotävlingar.

År 1995 utnämndes Martti Rousi som professor vid Sibelius-Akademin. Han är också gästprofessor vid Shanghai konservatorium. Han spelar på en cello av Carlo Giuseppe Testore (från år 1698) och en av Jean-Babtiste Lefevre (från år 1760).