岳飞出身于一个农民家庭。祖上世世代代都在黄土地上勤恳耕作。父亲岳和是个忠厚的庄稼人。他家省吃俭用，常常用节省的粮食帮助饥民度过荒年。邻居有侵占岳家耕地的，岳和干脆割给他；有借钱不还的，也就不要了。
这种忠厚治家的传统直接影响了岳飞。传说岳飞降生时，有一只像大雁一样的大鸟飞鸣而过，所以父亲为他起名叫鹏举。岳飞没满月，黄河决口，母亲姚氏抱着岳飞坐到一个大沙瓮里，才幸免于难。
岳飞小时候，家里很贫穷。母亲含辛茹苦，亲自教他读书。没有钱买纸笔，就用树枝作笔，沙地作纸，在地上练习写字。他寡言少语，但学习十分用功。尤其喜欢读《左氏春秋》《孙吴兵法》，崇拜诸葛孔明等济世名臣。
他小时还曾写联寄志：“诸葛大名垂宇宙，元戎小队出郊圻。”表明他将来要像诸葛武侯那样报效国家，拯救人民，建功立业。他曾游历泰山，写下“流水崇山怀作者，春兰幽竹契风人”，寄托了他对祖国大好河山的热爱和对名人志士的仰慕。