日本与中国自古交往密切，尽管唐末停派“遣唐使”以后官方关系衰减，但民间贸易和僧侣的往来却更趋繁盛。南宋中叶兴起的武士政权——镰仓幕府（1186年建立）在对华贸易和文化交流方面仍采取积极态度，特别是热衷于引进中国的禅宗，日本与南宋的民间交往极其频繁。然而由于此时中国南北分裂，而中日间的交流早已改取横渡东海直航两浙（主要是明州——今宁波）的南路，不再走经由朝鲜半岛西岸到辽东或山东的北路，加上日本政府对官方外交的冷淡，因而与统治北中国的金朝几无交往，也没有和代金而起的蒙古发生接触。直到至元七年（1270），日相营原九成在《赠蒙古国中书省牒》中还说：“蒙古之号，于今未闻。”
蒙古前四汗时期，对马蹄所不及的海国日本也未曾留意。至元二年（1265），高丽人赵彝向忽必烈报告说，日本与本国邻近，汉唐以来都通使中国，可令高丽向导与之通使。忽必烈十分企慕中原盛世君主那种天下一统、万国来朝的功业，即于次年遣黑的、殷弘出使日本，命高丽王派官导送。使者至巨济岛，高丽陪送官以海上风涛险恶劝止之，遂折回。四年，再遣黑的等出使，高丽王派潘阜代替蒙古使臣去日本传书，滞留太宰府达五月，被遣还。五年，忽必烈严令高丽王派大臣陪送黑的等赴日，“期于必达”。使者抵日本对马岛，被拒，只捕得岛民塔二郎、弥二郎回朝复命。忽必烈让这两个日本人游览燕京后，命高丽派使臣送其回国，并传递了用中书省名义写给日本国的信。日本国相营原九成起草了复牒，但被镰仓幕府否决，未交付来使。
七年末，忽必烈以日本屡次拒使，诏发兵屯田于高丽“以为进取之计”，同时遣赵良弼为国信使，持国书去日本“招谕”。八年九月，使团百余人至其国，被阻留于太宰府西守护所，不准赴京都。其官员屡次逼取国书，良弼坚持亲到京都面见国王呈递，只抄录副本与之。日本朝廷初拟答复，但幕府仍采取断然拒绝态度。使团滞留至次年初返回，日本守护所派弥四郎等十二人同来，良弼还至高丽后命随员送他们到大都。忽必烈与朝臣商议后决定不予接见，遣回，并命赵良弼再使日本。十年春，良弼仍不得要领而还。
十一年初，元廷决定发兵侵日，命高丽造大战船三百艘，“期限急迫，疾如雷电，民甚苦之”；立征东元帅府，以忻都、洪茶丘、刘复亨为都、副元帅，聚兵高丽，加造战船。十月，蒙、汉军及高丽军共二万五千余人，乘大小战船900 艘发合浦（今马山），侵袭对马、一岐两岛后，进至博多湾，攻击沿岸诸地；二十日，于今津等港口上陆，日本守军进行了顽强抵抗，死伤甚重，而元军亦疲，未能深入，退回战船，其夜博多湾台风起，战船多坏，只得仓卒撤还。此役发生在日本龟山天皇文永十一年，日本史上称为“文永之役”。
至元十二年，忽必烈遣礼部侍郎杜世忠等出使日本，但一去即杳无音讯（他们于当年四月至日本，九月被镰仓幕府杀害，四年后，逃回的高丽水手才报告了这一消息）。当时元朝正进行灭宋战争，经略日本事暂时搁置。十六年，尽取江南，即准备再举征日，命高丽及江南四省造战船，并命南宋降臣范文虎筹划征日事宜，显然意在驱使新附军由南路进取日本。范文虎受命后，派属下周福、栾忠与一来宋日僧同去日本传递诏书，同时奏请待所遣人回报日本是否从命，再决定进兵。十七年初，元廷获悉使臣杜世忠等已被害。范文虎所遣二人也一去不返（到日本不久即被杀）。于是决定进行大规模侵日战争，特立行省专任其事，大臣阿剌罕与高丽王王皞任右、左丞相，忻都、洪茶丘、范文虎右丞，李庭左丞，张禧参政；拟定方略：忻都、茶丘率蒙、汉、高丽军四万发合浦，范文虎等率新附军十万发江南，会师一岐岛，共同进兵其国，志在必取。
十八年五月，忻都、茶丘与高丽元帅金方庆率东路军四万多，乘战船900 艘出发，攻对马、一岐；六月初，不待江南军来会即进至筑前志贺岛登陆。日本已有防备，在博多湾沿岸阵地构筑工事，以精锐部队开进志贺岛与元军激战。元军未能取胜，退屯鹰岛，月末移军一岐。范、李、张等率江南军十万，乘战船3500艘，六月十八日由庆元（今宁波）出发，航行七昼夜抵平户岛，其先遣军至一岐约东路军来会。七月，两军主力均进泊鹰岛（音译“打可岛”。或作“竹岛”，系音讹致误），行省官商议进攻太宰府，但他们果如临行陛辞时忽必烈所担心的那样，相互不和，议事争执不决，以致“逗留不进”几一月。八月一日，夜半“飓风大作，波涛如山”，元军船多“缚舰为寨”，紧靠在一起，致相“震撼击撞，舟坏且尽，军士号呼溺死者如麻”。忻都、茶丘、范文虎等将帅“各自择坚好舟乘之”，弃军自归。留下来的元军大部分被日军消灭，一部分被俘。十四万多元军得归者仅五分之一，大张旗鼓的第二次侵日之役（事在日本后宇多天皇弘安四年，日本史上称为“弘安之役”）以惨败告终了。其后忽必烈又准备再征日本，下令造船和拘刷水手，激起受害最深的江南人民的激烈反抗，朝臣也多言不利，不得不中止。
至元二十年，忽必烈遣提举官王君治与补陀寺僧如智持诏“宣谕”日本，洋中遇飓风吹回补陀山。次年，再遣江西行省参政王积翁与如智出使日本，积翁拘任氏船以行，途中又因事鞭之，将至对马岛，被任氏所杀。两次遣使均未达。大德三年（1299），元成宗遣补陀寺学识渊博的临济宗高僧宁一山（一山一宁）搭乘日本商船使日，到达太宰府，因是敌国使者，幕府执权北条贞时下令囚禁于伊豆修善寺，后知他是有道高僧，即迎住镰仓建长寺（后被日本上皇邀主京都南源寺，直到去世，门徒众多），尊礼有加，但对与元朝通使事则仍予拒绝。
尽管元朝与日本交过战，通使关系一直未能建立，元代中、日的经济和文化交流仍然十分繁盛，双方政府都不但不加禁限，且有意促成。至元十四年，有日商持金来换铜钱，元朝给予准许。次年，令沿海官司通日本国人市舶。十六年，日本大商船四艘载商人、水手二千余人至庆元，经查明确是来经商的，即许其交易而还。从至元末年到至正末年的七十多年中，中日间有商船（主要是日本商船）和僧侣等人员（他们大体都搭乘商船）来往、年份可考者即有近五十年，而且往往一年中不止一批，此外还有许多年份不明或失载者。大德八年，元朝“置千户所戍定海，以防岁至倭船”，也可见几乎年年都有日本船来。由于经营中日贸易获利甚巨，日本幕府为了筹集建寺经费和其他目的，有时也批准派出官方商船，如1325年为修建长寺、1328年为造镰仓大佛、1341年为建天龙寺所派商船即是。
元代中日交通的主要港口是庆元，这里置有市舶司掌对外贸易。庆元路属县定海（今镇海）是日本商船停泊之所，经检查、抽分后即许日商登岸市易，一时十分繁荣：“贾区市墟，陈列分错，咿哑争奇，踏歌转舞”。此外，日本商船也时常开到福建贸易，元中叶以后似乎逐渐增多，故天历元年（1328）命江浙行省选廉吏征收“日本舶商至福建博易者”之税（《元史·文宗本纪》）。交易的商舶，中国输出者主要是瓷器、香药、经卷、书籍、绘画、什器、绫罗锦缎以及铜钱等；从日本输入者主要有黄金、刀剑、木材、扇子、螺钿等。
来元日本人除商人外，以禅僧为最多。禅宗在日本因得到幕府和武士阶级的尊崇而大为兴盛，来华参礼禅学中心江南诸名刹（主要是“五山十刹”）和高僧大德，在日本禅林中蔚为风气，而商船往来频繁，又为僧人来华提供了方便。据考，仅史册留名的元代来华日僧就多达二百二十余人。泰定三年（1326），元朝一次就“遣日本僧瑞兴等40人还国”（《元史·泰定帝本纪》），即是明证。许多日本僧长期留居中国，历访名山大刹或住寺进修，从高僧习禅，与文人结交，切磋文学、书画。他们中不少人不仅禅学精湛，文章、书画亦佳。如古源邵元，住元20年，居少林寺甚久，其为该寺住持所撰道行碑（现存）文笔老练，不亚汉人宿儒；雪村友梅（一山一宁弟子）住元20年，曾拜访赵孟頫切磋书艺，其书法笔势雄浑，使赵为之惊叹，而当时赵的书画是最受日本人推重的。同时，有不少元朝高僧被邀请去日本，最著名者如清拙正澄、明极楚俊、竺仙梵仙等人，都留居日本直到去世。赴日元僧和来元日僧对发展中日文化交流起了重大作用，由他们传入日本的不仅有大量释藏、经史、诗文等典籍，还有中国禅林和文士的风气和生活方式，如日本的茶道就是由元代传入的“唐式茶会”发展而来的。日本禅寺的兴旺和学习中国文化的热情促进了刻书业的发展。元后期，有大批中国雕刻工匠（主要来自闽浙）到日本从事刻版事业，京都和镰仓“五山”以及他处禅寺刊印的书籍许多是出于他们之手。其中以莆田县俞良甫最有名，在他雕版的《新刊五百家注音辨唐柳先生文集》卷终，特刻上一段记载祖籍及在日侨居和刻书情况的题记，甚为珍贵（此书现存东京静嘉堂文库）。