Lorsque James Thomas Callender a publié des allégations en 1802 alléguant que Sally Hemings n'était pas seulement l'esclave de Thomas Jefferson, mais sa "concubine", ce fut le début mais pas la fin de spéculations publiques sur la filiation des enfants de Hemings.
Sally Hemings était une esclave appartenant à Jefferson qui est venue à lui par l'intermédiaire de sa femme, Martha Wayles Skelton Jefferson. Elle était peut-être la demi-sœur de Martha Jefferson, engendrée par le père de Martha, John Wayles. La mère de Sally, Betsy (ou Betty), était elle-même la fille d'un capitaine de navire blanc et d'une esclave noire, de sorte que Sally n'avait peut-être qu'un seul grand-parent noir. Néanmoins, les lois de l'époque ont fait de Sally et de ses enfants, peu importe qui était le père, également des esclaves.
Les dates de naissance de six enfants de Sally Hemings ont été enregistrées par Thomas Jefferson dans ses lettres et registres. Les descendants de Madison Hemings et Eston Hemings sont connus.
Les preuves sont mitigées pour un fils qui est peut-être né à Hemings à son retour de Paris. Les descendants de Thomas Woodson prétendent qu'il était ce fils.
Une façon d'évaluer la probabilité que Jefferson soit le père des enfants Hemings est de voir si Jefferson était présent à Monticello et si cela se situe dans une «fenêtre de conception» raisonnable pour chaque enfant..
Le tableau suivant résume les dates de naissance connues et les dates de présence de Jefferson à Monticello dans cette "fenêtre de conception":
Nom | Date de naissance | Jefferson à Monticello | Date de mort |
Harriet | 5 octobre 1795 | 1794 et 1795 - toute l'année | Décembre 1797 |
Beverly | 1 avril 1798 | 11 juillet - 5 décembre 1797 | probablement après 1873 |
Thenia? | sur 7 décembre 1799 | 8 mars - 21 décembre 1799 | peu de temps après la naissance |
Harriet | Mai 1801 | 29 mai - 24 novembre 1800 | probablement après 1863 |
Madison | Janvier (19?), 1805 | 4 avril - 11 mai 1804 | 28 novembre 1877 |
Eston | 21 mai 1808 | 4 août - 30 septembre 1807 | 3 janvier 1856 |
Deux des enfants documentés de Sally (une première Harriet et une fille peut-être appelée Thenia) sont morts en bas âge (plus, peut-être, l'enfant nommé Tom qui est né peu de temps après le retour de Paris).
Deux autres, Beverly et Harriet, ont "couru" en 1822, n'ont jamais été officiellement libérés, mais ont disparu dans la société blanche. Beverly est probablement décédée après 1873 et Harriet après 1863. Leurs descendants ne sont pas connus, et les historiens ne savent pas non plus quels noms ils ont utilisés après leur "évasion". Jefferson a déployé un minimum d'efforts pour les suivre après leur départ, prêtant foi à la théorie selon laquelle il les avait laissés exprès. En vertu d'une loi de Virginie de 1805, s'il les avait libérés ou tout esclave, cet esclave ne pourrait pas rester en Virginie.
Madison et Eston, le plus jeune des enfants, tous deux nés après les révélations de Callendar en 1803, ont été libérés par testament de Jefferson et ont pu rester en Virginie pendant un certain temps, car Jefferson avait demandé un acte spécial de la législature de Virginie pour leur permettre de séjour contraire à la loi de 1805. Tous deux ont travaillé comme commerçants et musiciens et se sont retrouvés en Ohio.
Les descendants d'Eston ont à un moment donné perdu la mémoire d'être directement descendus de Jefferson et de Sally Hemings, et n'étaient pas au courant d'un héritage noir.
La famille de Madison comprend les descendants de trois de ses filles.
Eston est décédé le 3 janvier 1856 et Madison est décédée le 28 novembre 1877.