Sur la base de découvertes archéologiques, il a été postulé que l'activité des hominidés au Japon pourrait dater de 200 000 av. lorsque les îles étaient reliées au continent asiatique. Bien que certains savants doutent de cette date précoce pour l'habitation, la plupart conviennent que vers 40 000 av. la glaciation avait reconnecté les îles avec le continent.
Sur la base de preuves archéologiques, ils conviennent également qu'entre 35 000 et 30 000 av. L'Homo sapiens avait migré vers les îles d'Asie de l'Est et du Sud-Est et avait des modèles bien établis de chasse et de cueillette et de fabrication d'outils en pierre. Des outils en pierre, des sites d'habitation et des fossiles humains de cette période ont été trouvés dans toutes les îles du Japon.
Des modes de vie plus stables ont donné lieu à environ 10000 av. au néolithique ou, comme certains chercheurs le prétendent, à la culture mésolithique. Ancêtres peut-être éloignés des aborigènes Aïnous du Japon moderne, les membres de la culture hétérogène Jomon (environ 10000-300 av.J.-C.) ont laissé les archives archéologiques les plus claires. En 3000 av.J.-C., le peuple Jomon fabriquait des figurines et des récipients en argile décorés de motifs réalisés en imprimant l'argile humide avec des cordes et des bâtons tressés ou non tressés (Jomon signifie `` motifs de cordes tressées '') avec une sophistication croissante. Ces personnes utilisaient également des outils, des pièges et des arcs en pierre taillée et étaient des chasseurs, des cueilleurs et des pêcheurs côtiers et pratiquant des eaux profondes. Ils pratiquaient une forme d'agriculture rudimentaire et vivaient dans des grottes et plus tard dans des groupes d'habitations temporaires à fosse peu profonde ou de maisons hors sol, laissant de riches cuisines pour une étude anthropologique moderne.
À la fin de la période Jomon, un changement spectaculaire s'était produit selon les études archéologiques. La culture naissante avait évolué vers une riziculture sophistiquée et un contrôle gouvernemental. De nombreux autres éléments de la culture japonaise peuvent également dater de cette période et refléter une migration mêlée du continent nord-asiatique et des régions du sud du Pacifique. Parmi ces éléments figurent la mythologie shintoïste, les coutumes du mariage, les styles architecturaux et les développements technologiques, tels que la laque, les textiles, la métallurgie et la verrerie.
La période culturelle suivante, les Yayoi (du nom de la section de Tokyo où les recherches archéologiques ont découvert ses traces) ont prospéré entre environ 300 av. et 250 après J.-C. du sud de Kyushu au nord de Honshu. Les plus anciennes de ces personnes, qui auraient migré de Corée vers le nord de Kyushu et se sont mêlées aux Jomon, ont également utilisé des outils en pierre taillée. Bien que la poterie des Yayoi était plus avancée technologiquement, elle était plus simplement décorée que la vaisselle Jomon.
Les Yayoi fabriquaient des cloches, des miroirs et des armes cérémoniels en bronze non fonctionnels et, au premier siècle de notre ère, des outils et des armes agricoles en fer. À mesure que la population augmentait et que la société devenait plus complexe, ils tissaient du tissu, vivaient dans des villages d'agriculteurs permanents, construisaient des bâtiments en bois et en pierre, accumulaient des richesses grâce à la propriété foncière et au stockage des céréales, et développaient des classes sociales distinctes. Leur culture de riz humide irrigué était similaire à celle du centre et du sud de la Chine, nécessitant de lourds apports de main-d'œuvre humaine, ce qui a conduit au développement et à la croissance éventuelle d'une société agraire hautement sédentaire.
Contrairement à la Chine, qui a dû entreprendre des travaux publics massifs et des projets de contrôle de l'eau, conduisant à un gouvernement hautement centralisé, le Japon avait une eau abondante. Au Japon, les développements politiques et sociaux locaux étaient donc relativement plus importants que les activités de l'autorité centrale et d'une société stratifiée.
Les premiers documents écrits sur le Japon proviennent de sources chinoises de cette période. Wa (la prononciation japonaise d'un ancien nom chinois pour le Japon) a été mentionnée pour la première fois en 57 après JC. Les premiers historiens chinois ont décrit Wa comme une terre de centaines de communautés tribales dispersées, et non pas la terre unifiée avec une tradition de 700 ans comme indiqué dans le Nihongi, qui place la fondation du Japon à 660 av..
Des sources chinoises du troisième siècle ont rapporté que le peuple Wa vivait de légumes crus, de riz et de poisson servis sur des plateaux en bambou et en bois, avait des relations vassales-maîtres, percevait des taxes, avait des greniers et des marchés provinciaux, battait des mains dans le culte dans les sanctuaires shintoïstes), a connu de violentes luttes de succession, construit des tumulus en terre et observé le deuil. Himiko, une femme dirigeante d'une ancienne fédération politique connue sous le nom de Yamatai, a prospéré au cours du troisième siècle. Pendant que Himiko régnait en tant que chef spirituel, son frère cadet menait des affaires d'État, qui comprenaient des relations diplomatiques avec le tribunal de la dynastie chinoise Wei (220 à 65 après J.-C.).