Fils d'un éminent ministre du comté d'Upson, en Géorgie, John Brown Gordon est né le 6 février 1832. À un jeune âge, il a déménagé avec sa famille dans le comté de Walker où son père avait acheté une mine de charbon. Formé localement, il a ensuite fréquenté l'Université de Géorgie. Bien qu'étudiant solide, Gordon a inexplicablement quitté l'école avant d'obtenir son diplôme. Déménageant à Atlanta, il a lu le droit et est entré au barreau en 1854. Pendant son séjour dans la ville, il a épousé Rebecca Haralson, fille du député Hugh A. Haralson. Incapable d'attirer des clients à Atlanta, Gordon s'est déplacé vers le nord pour superviser les intérêts miniers de son père. Il était dans cette position lorsque la guerre civile a commencé en avril 1861.
Partisan de la cause confédérée, Gordon a rapidement soulevé une entreprise d'alpinistes connue sous le nom de «Raccoon Roughs». En mai 1861, cette compagnie a été incorporée au 6e régiment d'infanterie de l'Alabama avec Gordon comme capitaine. Bien qu'il n'ait reçu aucune formation militaire officielle, Gordon a été promu major peu de temps après. Initialement envoyé à Corinth, MS, le régiment a ensuite été envoyé en Virginie. Alors qu'il était sur le terrain pour la première bataille de Bull Run en juillet, il a vu peu d'action. Se montrant un officier compétent, Gordon reçut le commandement du régiment en avril 1862 et fut promu colonel. Cela a coïncidé avec un déplacement vers le sud pour s'opposer à la campagne de la péninsule du major-général George B. McClellan. Le mois suivant, il a dirigé habilement le régiment pendant la bataille de Seven Pines à l'extérieur de Richmond, en Virginie..
Fin juin, Gordon est retourné au combat alors que le général Robert E. Lee commençait les batailles de sept jours. Attaquant les forces de l'Union, Gordon s'est rapidement forgé une réputation d'intrépidité au combat. Le 1er juillet, une balle de l'Union l'a blessé à la tête lors de la bataille de Malvern Hill. Récupérant, il rejoint l'armée à temps pour la campagne du Maryland en septembre. Au service de la brigade du brigadier-général Robert Rodes, Gordon a aidé à tenir une route enfoncée clé ("Bloody Lane") pendant la bataille d'Antietam le 17 septembre. Au cours des combats, il a été blessé cinq fois. Finalement abattu par une balle qui a traversé sa joue gauche et sa mâchoire, il s'est effondré avec son visage dans sa casquette. Gordon a raconté plus tard qu'il se serait noyé dans son propre sang s'il n'y avait pas eu une balle dans son chapeau.
Pour sa performance, Gordon est promu brigadier-général en novembre 1862 et, après son rétablissement, reçoit le commandement d'une brigade dans la division du major-général Jubal Early du lieutenant-général Thomas "Stonewall" Jackson's Second Corps. Dans ce rôle, il a vu l'action près de Fredericksburg et de Salem Church pendant la bataille de Chancellorsville en mai 1863. Avec la mort de Jackson après la victoire des Confédérés, le commandement de son corps passa au lieutenant-général Richard Ewell. Le fer de lance de l'avance ultérieure de Lee vers le nord en Pennsylvanie, la brigade de Gordon atteignit la rivière Susquehanna à Wrightsville le 28 juin..
L'avance de Gordon à Wrightsville a marqué la pénétration la plus à l'est de la Pennsylvanie pendant la campagne. Avec son armée déployée, Lee a ordonné à ses hommes de se concentrer à Cashtown, en Pennsylvanie. Alors que ce mouvement progressait, les combats ont commencé à Gettysburg entre les troupes dirigées par le lieutenant-général A.P.Hill et la cavalerie de l'Union sous le commandement du brigadier-général John Buford. À mesure que la bataille prenait de l'ampleur, Gordon et le reste de la division Early s'approchèrent de Gettysburg par le nord. Déployé pour la bataille le 1er juillet, sa brigade a attaqué et mis en déroute la division du brigadier-général Francis Barlow sur Blocher's Knoll. Le lendemain, la brigade de Gordon a soutenu une attaque contre la position de l'Union sur East Cemetery Hill mais n'a pas pris part aux combats..
Après la défaite confédérée à Gettysburg, la brigade de Gordon se retira au sud avec l'armée. Cet automne, il a participé aux campagnes non concluantes de Bristoe and Mine Run. Avec le début de la campagne Overland du lieutenant-général Ulysses S. Grant en mai 1864, la brigade Gordon participe à la bataille du désert. Au cours des combats, ses hommes ont repoussé l'ennemi à Saunders Field et lancé une attaque réussie sur la droite de l'Union. Reconnaissant l'habileté de Gordon, Lee l'a élevé à la tête de la division Early dans le cadre d'une réorganisation plus large de l'armée. Les combats ont repris quelques jours plus tard au palais de justice de la bataille de Spotsylvania. Le 12 mai, les forces de l'Union ont lancé un assaut massif contre le saillant de la mule. Avec les forces de l'Union écrasant les défenseurs confédérés, Gordon a précipité ses hommes en avant pour tenter de rétablir la situation et de stabiliser les lignes. Alors que la bataille faisait rage, il a ordonné à Lee de revenir à l'arrière alors que l'emblématique chef confédéré tentait personnellement de mener une attaque en avant..
Pour ses efforts, Gordon a été promu général de division le 14 mai. Alors que les forces de l'Union continuaient de pousser vers le sud, Gordon a dirigé ses hommes à la bataille de Cold Harbor début juin. Après avoir infligé une défaite sanglante aux troupes de l'Union, Lee a ordonné à Early, maintenant à la tête du Second Corps, d'emmener ses hommes dans la vallée de Shenandoah dans le but de retirer certaines forces de l'Union. Marchant avec Early, Gordon a participé à l'avancée dans la vallée et à la victoire à la bataille de Monocacy dans le Maryland. Après avoir menacé Washington, DC et forcé Grant à détacher des forces pour contrer ses opérations, Early s'est retiré dans la vallée où il a remporté la deuxième bataille de Kernstown fin juillet. Fatigué des déprédations de Early, Grant envoya le général de division Philip Sheridan dans la vallée avec une grande force.
Attaquant le sud de la vallée, Sheridan a affronté Early et Gordon à Winchester le 19 septembre et a vaincu les Confédérés. Retraités vers le sud, les Confédérés sont à nouveau battus deux jours plus tard à Fisher's Hill. Tentant de rétablir la situation, Early et Gordon ont lancé une attaque surprise contre les forces de l'Union à Cedar Creek le 19 octobre. Malgré leur succès initial, ils ont été gravement vaincus lorsque les forces de l'Union se sont rassemblées. Rejoining Lee au siège de Petersburg, Gordon a été placé aux commandes des restes du Second Corps en décembre 20.
Au fur et à mesure que l'hiver progressait, la position confédérée à Pétersbourg devenait désespérée alors que la force de l'Union continuait de croître. Devant forcer Grant à contracter ses lignes et voulant perturber un assaut potentiel de l'Union, Lee a demandé à Gordon de planifier une attaque sur la position de l'ennemi. À partir du saillant de Colquitt, Gordon avait l'intention d'assaillir Fort Stedman dans le but de se diriger vers l'est en direction de la base d'approvisionnement de l'Union à City Point. Allant de l'avant à 4 h 15 le 25 mars 1865, ses troupes ont pu rapidement prendre le fort et ouvrir une brèche de 1 000 pieds dans les lignes de l'Union. Malgré ce succès initial, les renforts de l'Union ont rapidement scellé la brèche et à 7 h 30, l'attaque de Gordon avait été contenue. Contre-attaquant, les troupes de l'Union forcent Gordon à se replier sur les lignes confédérées. Avec la défaite confédérée à Five Forks le 1er avril, la position de Lee à Petersburg est devenue intenable.
Attaqués par Grant le 2 avril, les troupes confédérées ont commencé à battre en retraite vers l'ouest avec le corps de Gordon agissant comme arrière-garde. Le 6 avril, le corps de Gordon faisait partie d'une force confédérée vaincue lors de la bataille de Sayler's Creek. En reculant encore, ses hommes sont finalement arrivés à Appomattox. Le matin du 9 avril, Lee, espérant atteindre Lynchburg, a demandé à Gordon de dégager les forces de l'Union de leur ligne de progression. Attaquant, les hommes de Gordon repoussent les premières troupes de l'Union qu'ils rencontrent mais sont arrêtés par l'arrivée de deux corps ennemis. Ses hommes étant plus nombreux et épuisés, il a demandé des renforts à Lee. Faute d'hommes supplémentaires, Lee a conclu qu'il n'avait pas d'autre choix que de se rendre. L'après-midi, il a rencontré Grant et a rendu l'armée de Virginie du Nord.
De retour en Géorgie après la guerre, Gordon fit campagne sans succès pour le poste de gouverneur en 1868 sur une solide plate-forme anti-reconstruction. Défait, il accède à la fonction publique en 1872 lorsqu'il est élu au Sénat américain. Au cours des quinze années suivantes, Gordon a servi deux mandats au Sénat ainsi qu'un mandat de gouverneur de Géorgie. En 1890, il devint le premier commandant en chef des United Confederate Veterans et publia plus tard ses mémoires, Réminiscences de la guerre civile en 1903. Gordon est décédé à Miami, FL le 9 janvier 1904, et a été enterré au cimetière d'Oakland à Atlanta.