Syn profesora medycyny, sam poszedł w ślady ojca. Po ukończeniu studiów medycznych, pracował w latach 1775-1786 jako lekarz w swoim rodzinnym mieście Edynburgu.
W roku 1772, w wieku 23 lat, jeszcze jako student, udowodnił, że powietrze jest mieszaniną co najmniej 2 gazów, oraz wyizolował azot z powietrza. W tym celu przeprowadził eksperyment składający się z trzech części: najpierw umieścił mysz w zamkniętym słoju, do czasu aż mysz umarła.
Następnie zapalił świecę w szklanym słoju do czasu, aż przestała się palić.
Trzecia część eksperymentu polegała na spalaniu fosforu w słoiku.
Gazy pozostałe wewnątrz słoja były następnie przepuszczane przez ług potasowy, który absorbował dwutlenek węgla powstały przy spalaniu.
W efekcie w zamkniętym słoju pozostało powietrze, które nie podtrzymywało spalania, oraz było szkodliwe dla życia, w tym sensie, że ani roślina, ani zwierzę nie mogły w nim żyć.
Rutherford nazwał to: "mefitycznym powietrzem" (mefityczny oznacza cuchnący, dławiący) i przedstawił to odkrycie w swojej rozprawie doktorskiej De aere fixo dicto aut mephitico.
W 1778 roku dokładniej opisał cząsteczkę tlenu.
W roku 1786 został mianowany profesorem botaniki i opiekunem Królewskich Ogrodów Botanicznych w Edynburgu, gdzie pracował aż do śmierci.
