Ο Ανδρέας Καρκαβίτσας γεννήθηκε στα Λεχαινά της Ηλείας το 1865 και ήταν ο πρωτότοκος γιος του Δημητρίου Καρκαβίτσα και της Άννας Σκαλτσά. Είχε τέσσερις αδερφούς και τέσσερις αδερφές. Τα πρώτα γράμματα τα έμαθε στη γενέτειρά του και δεκατριών χρόνων πήγε στην Πάτρα για γυμνασιακές σπουδές. Στην Πάτρα μελέτησε ελληνική μυθολογία και ελληνική λογοτεχνία, κυρίως τους Επτανήσιους και τους πεζογράφους της Α΄ Αθηναϊκής Σχολής. Την περίοδο αυτή χρονολογείται ο άτυχος έρωτάς του για την Ιολάνδη Βασιλειάδη, από τη μορφή της οποίας θεωρείται πως εμπνεύστηκε την ηρωίδα της Λυγερής (1896). Το 1883 γράφτηκε στην Ιατρική Σχολή του Πανεπιστημίου Αθηνών απ’ όπου αποφοίτησε πέντε χρόνια αργότερα.

Στην Αθήνα ο Καρακαβίτσας ήρθε σε επαφή με τους λογοτεχνικούς κύκλους που συνεργάζονταν στα περιοδικά της εποχής (Εβδομάς, Εφημερίς κ.τ.λ.)  και γνωρίστηκε με τον Κωστή Παλαμά, τον Κωνσταντίνο Χατζόπουλο και τον Γρηγόριο Ξενόπουλο. Παράλληλα, άρχισε να μελετάει Έλληνες και ξένους συγγραφείς και επηρεάστηκε από την Νεοελληνική Μυθολογία του Νικόλαου Πολίτη και τη Νανά του Εμίλ Ζολά. 

Η προκήρυξη του διαγωνισμού διηγήματος της Εστίας τον ώθησε στο χώρο της ηθογραφίας και ταξίδεψε σε χωριά της Ρούμελης για να συλλέξει λαογραφικά και ιστορικά στοιχεία τα οποία χρησιμοποίησε στα πρώτα έργα του. Το 1889 στρατεύτηκε και κατά τη διάρκεια της θητείας του στο Μεσολόγγι γνώρισε τις άθλιες συνθήκες ζωής της ελληνικής υπαίθρου. Τις εντυπώσεις του κατέγραψε σε μια σειρά οδοιπορικών σημειώσεων, που αξιοποίησε στη νουβέλα του Ο Ζητιάνος το 1897. Υπηρέτησε επίσης ως έφεδρος δόκιμος γιατρός και το 1891 μετά τη λήξη της στρατιωτικής του θητείας διορίστηκε υγειονομικός γιατρός στο ατμόπλοιο Αθήναι, με το οποίο ταξίδεψε στη Μεσόγειο, τη Μαύρη Θάλασσα, τα παράλια της Μικράς Ασίας και τον Ελλήσποντο.

Οι εμπειρίες του από αυτήν την περίοδο της ζωής του περιέχονται στο ταξιδιωτικό ημερολόγιο Σ’ Ανατολή και Δύση και αξιοποιήθηκαν στη συλλογή διηγημάτων Λόγια της Πλώρης (1899). Από τον Αύγουστο του 1896 και ως το 1921 υπήρξε μόνιμος αξιωματικός του ελληνικού στρατού φθάνοντας ως το βαθμό του γενικού αρχίατρου. Από τη θέση αυτή συνέχισε να ταξιδεύει με συνεχείς μεταθέσεις που επιδίωξε ο ίδιος (την έντονη αυτή επιθυμία του για τα ταξίδια ονόμαζε ο ίδιος αειφυγία). Υπήρξε μέλος της Εθνικής Εταιρίας που προωθούσε τη Μεγάλη Ιδέα και η ήττα στον ελληνοτουρκικό πόλεμο του 1897  στάθηκε για τον Καρκαβίτσα μια μεγάλη απογοήτευση.

Μέλος του Στρατιωτικού Συνδέσμου το 1909, συμμετείχε στο κίνημα στο Γουδί, στράφηκε όμως στη συνέχεια εναντίον του Βενιζέλου. Πήρε μέρος στους Βαλκανικούς πολέμους ως στρατιωτικός γιατρός και το 1916 αντιτάχτηκε στο κίνημα Εθνικής Αμύνης με αποτέλεσμα να τεθεί σε περιορισμό και να εξοριστεί στη συνέχεια ση Μυτιλήνη. Στο στράτευμα επανήλθε το 1920 και αποστρατεύτηκε δυο χρόνια αργότερα με δική του αίτηση. Οι κακουχίες της εξορίας συνέβαλαν στον κλονισμό της υγείας του και το 1922 πέθανε από φυματίωση του λάρυγγα.

Η πορεία του Ανδρέα Καρκαβίτσα στα Γράμματα ξεκίνησε στα πλαίσια της φθίνουσας περιόδου του Αθηναϊκού Ρομαντισμού. Από την περίοδο αυτή σώζονται χειρόγραφα από ποιητικά και πεζά έργα του στην καθαρεύουσα. Πολύ σύντομα όμως ασπάστηκε τα κηρύγματα του Ψυχάρη και στράφηκε στη δημοτική και έγινε δημοφιλής στους λογοτεχνικούς κύκλους, δημοσιεύοντας από το 1885 άρθρα ποικίλου περιεχομένου, διηγήματα και νουβέλες σε πολλά αθηναϊκά λογοτεχνικά περιοδικά και εφημερίδες. Τις εκδόσεις των έργων του φρόντιζε ο ίδιος διορθώνοντας και συμπληρώνοντας τις αρχικές μορφές των κειμένων του. Το 1898 βραβεύτηκε στο διαγωνισμό της Εστίας για το διήγημα Πάσχα στα Πέλαγα και το 1911 τιμήθηκε με το αργυρό Σταυρό.

Η πεζογραφία του κινήθηκε αρχικά στα πλαίσια της ειδυλλιακής ηθογραφίας με αρκετά λαογραφικά στοιχεία και πέρασε σταδιακά προς τον ρεαλισμό με στοιχεία κοινωνικού προβληματισμού, με ορόσημο τη Λυγερή (πρώτη δημοσίευση 1890), όπου διακρίνεται καθαρά η αμφισβήτηση της αγνής κοινωνίας του χωριού μέσα από το πρόσωπο της ηρωίδας. Ο Καρκαβίτσας με τη  Λυγερή και αργότερα με τον Ζητιάνο (1896) μεταβαίνει από την ειδυλλιακή πραγματικότητα των πρώτων του διηγημάτων του στη ρεαλιστική ανατομία των δομών της αγροτικής κοινωνίας. Ειδικότερα στον Ζητιάνο η καταγγελτική διάθεση του Καρκαβίτσα είναι αρκετά έντονη. Ο ήρωας του, ο Τζιριτόκωστας, επαγγελματίας ζητιάνος, αξιοποιεί με τον καλύτερο τρόπο τις προλήψεις των χωρικών, τους εξαπατά και τους εκμεταλλεύεται. Η υποκρισία, το συμφέρον και η κακία αποτελούν τα κύρια στοιχεία που συνθέτουν το ήθος αυτού του ανθρώπου. Με ανατριχιαστικό τρόπο περιγράφεται η διαδικασία με την οποία ο κεντρικός ήρωας στρεβλώνει τα άκρα του παιδιού που  έχει ως βοηθό του, έτσι ώστε να γίνει ανάπηρο και να προκαλεί τον οίκτο.

Τα μεταγενέστερα διηγήματά του, που τα συγκέντρωσε σε δύο τόμους: Λόγια της Πλώρης (1899, τα ναυτικά) και Παλιές αγάπες (1900) ανήκουν στην ίδια περιοχή του ηθογραφικού διηγήματος. Η συλλογή των είκοσι θαλασσινών διηγημάτων του Καρκαβίτσα (Λόγια της πλώρης) παρουσιάζει ολοζώντανους χαρακτήρες Ελλήνων ναυτικών που ριψοκινδυνεύουν στη θάλασσα όχι μόνο για το ψωμί, αλλά και για την προαιώνια ανάγκη του Έλληνα να ταξιδεύει. Με επική δύναμη και δραματικότητα ο Καρκαβίτσας αναπαριστά τους επικίνδυνους αγώνες των θαλασσινών ζωντανεύοντας το μεγαλείο του αγώνα του ναυτικού με τη θάλασσα. Στις Παλιές αγάπες ο Καρκαβίτσας στιγματίζει την κακομοιριά και τη μικροψυχία των ανθρώπων της εποχής του. Το τελευταίο του έργο είναι Ο Αρχαιολόγος (1904), που αποτελεί μιαν αλληγορική παρουσίαση της σχέσης της Ελλάδας με το παρελθόν και τους ξένους γείτονές της.

Γύρω στο 1905 η λογοτεχνική παραγωγή του παρουσίασε σημαντική κάμψη που διάρκεσε ως το τέλος της ζωής του με μοναδική εξαίρεση τη διετία 1918-1920, οπότε ξεκίνησε η ενασχόλησή του με τη συγγραφή σχολικών αναγνωσμάτων σε συνεργασία με τον Επαμεινώνδα Παπαμιχαήλ. Πριν το θάνατό του εξέδωσε δυο ακόμη συλλογές παλιότερων διηγημάτων του με στρατιωτική θεματογραφία (Διηγήματα για τα παλικάρια μας και Διηγήματα του γυλιού), ενώ δεν κατόρθωσε να ολοκληρώσει τον Αρματωλό, μυθιστόρημα που είχε ξεκινήσει από το 1894.

Στο λογοτεχνικό έργο του Καρκαβίτσα κυριαρχεί η δημοτική γλώσσα στη μετριοπαθή της έκφραση. Η συμβολή του συγγραφέα στο αγώνα για την υπεράσπιση της δημοτικής χρονολογείται ήδη από το 1892 (τέσσερα χρόνια μετά την έκδοση του έργου του Ψυχάρη Το ταξίδι μου), όταν στον πρόλογο της έκδοσης της πρώτης συλλογής διηγημάτων τοποθετήθηκε υπέρ της δημοτικής. Στη συνέχεια πήρε μέρος στην ίδρυση της εταιρίας «Η Εθνική Γλώσσα» (1905) και ήταν μέλος του Εκπαιδευτικού Ομίλου και της Λαογραφικής Εταιρίας του Νικόλαου Πολίτη. Ωστόσο ποτέ δεν ασπάστηκε τις ακρότητες του Ψυχάρη και προσπάθησε να σταθεί ανάμεσα στις ακραίες θέσεις του γλωσσικού ζητήματος.

Ο Ανδρέας Καρκαβίτσας ανήκει στην κατηγορία των πεζογράφων της γενιάς του 1880 που στράφηκαν με ενθουσιασμό προς τη ζωή των ανθρώπων της υπαίθρου. Ήδη στον πρόλογο της συλλογής του Διηγήματα μιλάει με ενθουσιασμό για τις παραδόσεις και τα έθιμα, που «κατά σωρούς σε περιτριγυρίζουν, σε προκαλούν».  Στα πρώτα αυτά διηγήματα φάνηκε ο διφυής χαρακτήρας του ιδανιστή και πραγματιστή, όπως τον αποκάλεσε ο Παλαμάς, πεζογράφου Καρκαβίτσα: «Ο κ. Καρκαβίτσας είναι εν ταυτώ πραγματιστής και ιδανιστής. Πραγματιστής, διότι παραλαμβάνει το υλικόν του από το ακένωτον μεταλλείον της γύρω του λαλούσης φύσεως, των ηθών, των εθίμων, των παραδόσεων, των προλήψεων, των χαρακτήρων του ελληνικού λαού· [...]. Ιδανιστής, διότι στρέφεται προς το ποιητικόν παρελθόν, διότι εξωραΐζει το παρόν, εμπνέεται από το ηρωϊκόν, αγαπά το μέγα, και δεν αποστέργει το φανταστικόν. Και ενώ αναλαμβάνει να στρέψει την προσοχήν μας προς την πραγματικότητα, και ταύτης μας παρέχει προμελετημένην και ακριβή εικόνα, μας απολυτρώνει εν ταυτώ από το άχθος της πραγματικότητος και μας φέρνει ν’ αναπνεύσωμεν μακράν αυτής, και να την λησμονήσωμεν, εις ασυνήθεις κόσμους».