中国南北朝时代的「宋书」记载，从5世纪初开始约1世纪的期间，倭国的五王曾向中国的南朝朝贡，企图获得高贵的称号。当时我倭王的信中都要求得到对朝鲜半岛的统治权。据中国吉林省辑安的高句丽的好太王碑记载，当时大和朝廷曾控制朝鲜半岛的南部，同北部的高句丽交过战。这些侵略的目的主要是想获得朝鲜的先进技术和资源等。
5世纪后半期，高句丽的势力不断发展，而且南部各国的独立性不断提高，日本在朝鲜的据点任那发生危险，终于在562年为新罗所灭。
当时中国已由隋朝于589年实行了统一，大和朝廷由于失去了朝鲜，为了避免和强大的新罗对抗，同时也为了吸收大陆的先进文化，直接寻求同隋朝的交往。607年，小野妹子作为遣隋使赴中国。据中国古书「隋书」中的记载，在日本给隋朝的国书中所表明的态度于倭之五王的时代有所不同，这次是主张对等的立场。隋炀帝于第二年向日本派去了裴清作为对遣隋使的答谢。
日本大化改新后，在朝鲜半岛上新罗得到唐的支援，在公元660年灭亡了于日本关系密切的百济。齐明天皇为了日本在半岛上的势力，曾支援待在日本百济的王子，出兵朝鲜，但在663年白村江战役中败于新罗于唐的联军，而彻底退出了朝鲜半岛，新罗又进一步灭亡了高句丽，于676年统一了朝鲜半岛。日本政府在白村江战役后，为了加强对马，长门，筑紫等沿海地方的防御，在九州的太宰府的北面构筑了水城。
柰良时代，日本于统一朝鲜的新罗曾多次交换使节，但由于日本想把新罗当作属国来看待，双方的关系恶化，遣唐使船直接使向中国的江南地方。另外，7世纪在中国东北兴起的渤海国因于新罗对抗，曾多次向日本派出使节。
10世纪初，高丽代替新罗在朝鲜半岛上兴起。
10世纪后半期，这时中国已是唐王朝的末期，由于内部动荡的结果，文化已经衰退。菅原道真曾被任命为遣唐大使，但他提出唐朝衰退和航海困难的理由，建议废止遣唐使。唐朝于公元907年灭亡，之后经历了五代的内乱后重新统一为宋。日本于宋朝虽没有正式的邦交，但商船来往的非常频繁。中国东北部的渤海国自柰良时代以来一直同日本保持亲密关系，公元926年为辽所灭。公元1019年（宽仁3年），在中国东北部至日本海沿岸一带居住，后来建立金国的女真人突然入侵壹歧，对马和九州北部，这称为「刀伊入寇」，是当时的一件大事。刀伊被大宰权帅，藤原隆家等大宰府官吏奋战击退。