Γεννήθηκε στη Σίφνο το 1870 αλλά μεγάλωσε στην Κωνσταντινούπολη. Φοίτησε στη Μεγάλη Του Γένους Σχολή κι αποφοίτησε το 1888 με άριστα. Ενόσω ήταν μαθητής μελετούσε αρχαίους συγγραφείς και ξένη λογοτεχνία, μάθαινε ξένες γλώσσες και έγραφε στίχους. Η μεγάλη του κλίση στα φιλολογικά μαθήματα τον οδήγησαν για σπουδές στη Φιλοσοφική Σχολή Αθηνών και το 1892 τελειόφοιτος, αναγκάστηκε να επιστρέψει στη Πόλη και να διοριστεί δάσκαλος σε διάφορα σχολεία. Το 1894 διορίστηκε σχολάρχης Αρτάκης. Ίδρυσε μαζί με τον γιατρό Φαληρέα και την διηγηματογράφο Αλεξάνδρα Παπαδοπούλου, το φιλολογικό περιοδικό Φιλολογική Ηχώ. Στο περιοδικό βλέπουν το φως της δημοσιότητας αρκετά σκόρπια ποιήματά του, κυρίως σονέτα. Ταυτόχρονα συνεργάζεται με το περιοδικό Νέα Εστία, δημοσιεύοντας ποιήματά του, τα οποία προκαλούν άλλοτε ενθουσιασμό και άλλοτε αποδοκιμασίες λόγω των νεοτερισμών που φέρνει κυρίως στη γλώσσα.

Οι σφαγές των Αρμενίων (1895), τον αναγκάζουν να φύγει από τη Πόλη και να έρθει για μόνιμη εγκατάσταση στην Αθήνα. Από το 1897 μέχρι το 1911 μετατίθεται σε πολλές πόλεις, ως καθηγητής, σχολάρχης και γυμνασιάρχης. Το 1911 ταξιδεύει γι’ ανώτερες σπουδές, στην Ιταλία, τη Γαλλία και τη Γερμανία, ως υπότροφος του Κράτους. Επιστρέφοντας προάγεται σε Επιθεωρητή Μέσης Εκπαίδευσης κι αναλαμβάνει τη Διεύθυνση Γραμμάτων και Καλών Τεχνών Υπουργείου Παιδείας. Το 1919 τιμήθηκε με το Αριστείο Γραμμάτων. Το 1925 δεν δέχτηκε θέση καθηγητή στο Πανεπιστήμιο Αθηνών και αρνήθηκε επανειλημμένα να υποβάλει υποψηφιότητα για την Ακαδημία Αθηνών.

Μεταξύ 1930-33 ανέλαβε τη διεύθυνση του επανασυσταθέντος Εθνικού Θεάτρου. Από τη θέση αυτή επιχείρησε τη σκηνική αναβίωση του αρχαίου θεάτρου με τη συνεργασία του Άγγελου Σικελιανού με τις Δελφικές Εορτές και άλλες ρηξικέλευθες παραστάσεις.                                  

Η ποίησή του είναι φ ανερά επηρεασμένη από το γαλλικό παρνασσισμό και εντυπωσιάζει με την περίτεχνη επεξεργασία των στίχων και της γλώσσας. Ο ίδιος ωστόσο χαρακτηρίζει το έργο του λυρικό, αρνούμενος τις επιδράσεις από τον γαλλικό παρνασσισμό. Σε μια προσπάθεια να πετύχει την ισορροπία και το μέτρο στράφηκε σταδιακά στο συμβολισμό, όπως και ο Παλαμάς και οι άλλοι ποιητές αυτής της γενιάς. Αντιπροσωπευτικά κείμενα της στροφής αυτής είναι τα «Ιντερμέδια» (1899-1901).

Ο Γρυπάρης μελέτησε επίσης πολύ το δημοτικό τραγούδι και προσπάθησε να το γνωρίσει από κάθε άποψη. Κάποια μάλιστα από τα ποιήματά του, όπως ο «Πραματευτής» μπορούν να θεωρηθούν και παραλλαγές δημοτικών τραγουδιών.

Στα ωριμότερα ποιήματά του ανήκουν τα τρία «Ελεγεία» (1902-1909), από τα οποία σημαντικότερο θεωρείται το τρίτο, οι «Εστιάδες» (1909). Με αυτό κλείνει η δημιουργική περίοδος του ποιητή, του οποίου το έργο συγκεντρώθηκε στη μοναδική συλλογή του Σκαραβαίοι και Τερακότες (1919), οπότε του απονεμήθηκε το Εθνικό Αριστείο.  Ο καθηγητής Κώστας Στεργιόπουλος γράφει για την ποίηση του Γρυπάρη:  «Ο μύθος γίνεται αφορμή για το ποίημα που ο ποιητής το κατασκευάζει και το στολίζει για να ξαφνιάζει παράξενα». Μετά από την έκδοση της συλλογής του, ο ποιητής στράφηκε στις μεταφράσειςαρχαίων τραγικών που διακρίνονται για τη φιλολογική τους ενημέρωση και τη νοηματική τους σαφήνεια.

Πέθανε στην Αθήνα κατά τη διάρκεια της κατοχής λόγω λιμού.