Le Karabiner 98k était le dernier d'une longue lignée de fusils conçus pour l'armée allemande par Mauser. Remontant ses racines au modèle Lebel 1886, le Karabiner 98k est le plus directement issu du Gewehr 98 (modèle 1898) qui a introduit pour la première fois un chargeur interne à cinq cartouches métalliques. En 1923, le Karabiner 98b a été présenté comme le fusil principal des militaires allemands de l'après-Première Guerre mondiale. Le traité de Versailles interdisant aux Allemands de produire des fusils, le Karabiner 98b a été étiqueté carabine malgré le fait qu'il s'agissait essentiellement d'un Gewehr 98 amélioré..
En 1935, Mauser a décidé de mettre à niveau le Karabiner 98b en modifiant plusieurs de ses composants et en raccourcissant sa longueur totale. Le résultat fut le Karabiner 98 Kurz (Short Carbine Model 1898), mieux connu sous le nom de Karabiner 98k (Kar98k). Comme ses prédécesseurs, le Kar98k était un fusil à verrou, qui limitait sa cadence de tir et était relativement lourd. Un changement a été le passage à l'utilisation de supports stratifiés plutôt que de morceaux de bois uniques, car les tests ont montré que les stratifiés en contreplaqué résistaient mieux à la déformation. Entré en service en 1935, plus de 14 millions de Kar98k ont été produits à la fin de la Seconde Guerre mondiale.
Le Karabiner 98k a été utilisé dans tous les théâtres de la Seconde Guerre mondiale qui impliquaient l'armée allemande, comme l'Europe, l'Afrique et la Scandinavie. Bien que les Alliés se soient orientés vers l'utilisation de fusils semi-automatiques, tels que le M1 Garand, la Wehrmacht a conservé le Kar98k à verrou avec son petit chargeur à cinq coups. Cela était largement dû à leur doctrine tactique qui mettait l'accent sur la mitrailleuse légère comme base de la puissance de feu d'une escouade. De plus, les Allemands préféraient souvent utiliser des mitraillettes, comme le MP40, en combat rapproché ou en guerre urbaine..
Au cours de la dernière année et demie de la guerre, la Wehrmacht a commencé à retirer progressivement le Kar98k au profit du nouveau fusil d'assaut Sturmgewehr 44 (StG44). Bien que la nouvelle arme ait été efficace, elle n'a jamais été produite en nombre suffisant et le Kar98k est resté le principal fusil d'infanterie allemand jusqu'à la fin des hostilités. En outre, la conception a également été mise en service par l'Armée rouge qui a acheté des licences pour les fabriquer avant la guerre. Bien que peu aient été produits en Union soviétique, les Kar98k capturés ont été largement utilisés par l'Armée rouge pendant sa pénurie d'armes au début de la guerre.
Après la Seconde Guerre mondiale, des millions de Kar98k ont été capturés par les Alliés. En Occident, beaucoup ont été consacrés à la reconstruction des nations pour réarmer leurs forces armées. La France et la Norvège ont adopté l'arme et les usines de Belgique, de Tchécoslovaquie et de Yougoslavie ont commencé à produire leurs propres versions du fusil. Ces armes allemandes prises par l'Union soviétique ont été conservées en cas de guerre future avec l'OTAN. Au fil du temps, bon nombre d'entre eux ont été donnés à des mouvements communistes naissants à travers le monde. Beaucoup d'entre eux se sont retrouvés au Vietnam et ont été utilisés par les Nord-Vietnamiens contre les États-Unis pendant la guerre du Vietnam.
Ailleurs, le Kar98k a ironiquement servi avec la Haganah juive et plus tard, les Forces de défense israéliennes à la fin des années 40 et 50. Ces armes qui ont été obtenues à partir de stocks allemands capturés avaient toute l'iconographie nazie supprimée et remplacée par des marquages IDF et hébreux. L'armée israélienne a également acheté d'importants stocks de versions du fusil produites en République tchèque et en Belgique. Dans les années 90, les armes ont de nouveau été déployées pendant les conflits en ex-Yougoslavie. Bien qu'il ne soit plus utilisé par les militaires aujourd'hui, le Kar98k est populaire auprès des tireurs et des collectionneurs.