Suure-Jaani linn asub Viljandi maakonna loodeosas Sakala kõrgustiku loodenõlval. Maakonnakeskusesse Viljandisse on 25 kilomeetrit. Suure-Jaani on Viljandimaa põhjaosa piirkondlik keskus ja maanteesõlm. Südalinnast väljuvad teed Viljandi, Vändra, Olustvere ja Võhma suunas. Kirdest möödub linnast ümbersõiduteena Mudiste-Vändra-Eidapere tugimaantee.
Linn hõlmab põhja-lõunasuunalise pikliku 2,24 ruutkilomeetri suuruse maa-ala. Linna keskosa läbib lai, lamedapõhjaline, laugete vergudega lammorg, milles voolab Ängi (Suure-Jaani) oja. Linna keskel on oja üles paisutatud, moodustades 5,9 ha pindalaga Suure-Jaani järve. Linna põhjapiiril voolab järsuveerulise oru põhjas Lõhavere oja.
Linna pindala on 224 hektarit, millest aktiivses kasutuses on 152 hektarit (68%).
Administratiivselt piirab linna igast küljest Suure-Jaani vald.