Grzegorz urodził się w 335 r. w Cezarei Kapadockiej. Jego ojciec był retorem w szkole wymowy. Był młodszym bratem św. Bazylego, którego przypominał wyglądem zewnętrznym. Chrzest przyjął jako młodzieniec. Po ojcu obrał sobie zawód retora i wstąpił w związek małżeński. Po śmierci małżonki poświęcił się ascezie. Za namową św. Bazylego przyjął święcenia kapłańskie i wstąpił do założonego przez niego klasztoru położonego nad Morzem Czarnym. Stamtąd powołano go w roku 371 na biskupa Nyssy (obecnie Nevsehir w Turcji). W 380 roku został wybrany metropolitą Sebasty (współcześnie Sivas).
Grzegorz znany był jako żarliwy kaznodzieja i interpretator Słowa Bożego. Uczestniczył w Soborze w Konstantynopolu (381 r.), gdzie był głównym autorem słów uzupełniających Nicejski Symbol Wiary, dotyczących nauki o Duchu Świętym. Sobór ten nazwał Grzegorza „filarem Kościoła”. Dla potomnych pozostał w pamięci jako człowiek otwarty i miłujący pokój, współczujący biednym i chorym. Był jednym z najwybitniejszych teologów Kościoła Wschodniego. Pozostawił po sobie bogatą spuściznę pism religijnych, m.in. ascetycznych i mistycznych, oraz komentarzy biblijnych. Papież św. Pius V (+ 1572) zaliczał go do doktorów Kościoła wschodniego, choć na żadnej oficjalnej liście doktorów Kościoła Grzegorz nie figuruje. Św. Grzegorz z Nyssy razem z bratem św. Bazylim i przyjacielem św. Grzegorzem z Nazjanzu nazywani są ojcami kapadockimi.
Zmarł w wieku ok. 60 lat w dniu 10 stycznia ok. 395 roku.