债务。当他20岁从美国回到伦敦后不久，就拐走了卡尔马瑟侯爵夫人，花天酒地，大肆挥霍着侯爵夫人从她父亲那里继承得来的每年4000英镑的收入。但是，4000英镑到底维持不了他的奢侈生活和巨额赌债。两人只好离开英国，又逃到法国去。在那里生下女儿奥古丝塔，她就是诗人拜伦的同父异母姐姐，是拜伦一生中最亲密的朋友，对拜伦的生活和创作产生过重要的影响。生下女儿不久，卡尔马瑟侯爵夫人就病死了。
这位失去4000英镑收入的浪荡子又悄然回到英国，看上了一个出身于苏格兰贵族家庭的名叫凯瑟琳?戈登的少女，虽然她相貌不佳，却拥有着23000镑的财产——其中3000镑是现金——这对他来说太有诱惑力了，因为它能偿还过去的赌博欠债。1784年5月，他们在巴思温泉结婚，这位夫人就是拜伦的母亲。新婚夫妇回到北苏格兰戈登的家中，可是，
他的赌博、好酒和游荡生活很快又把戈登家的财产挥霍荡尽了。夫妇俩变卖了土地和家产，移住到法国，生活一天天地贫困起来。
1787年夏，已有身孕的约翰?拜伦夫人因怀念自己的故乡，单身回到了伦敦，这位俭朴的苏格兰妇女在伦敦一条街上租了房子安顿下来，可她丈夫为了躲债依然在法国流浪，没钱的时候就常常来信向手头并不宽裕的妻子索讨。在拜伦3岁的时候，他的父亲终于在“没有衬衫、没有一文钱，惟一的一件衣服也早已百孔千疮”的潦倒境遇中死去，据说是自杀的。、丈夫的死对妻子是个惨重的打击，加上生活的日益拮据和自己的不幸遭遇，使拜伦母亲的性格变得十分暴躁乖戾，喜怒无常。拜伦的幼年就是在贫困的境遇中跟着脾气不好的母亲在北苏格兰度过的。
拜伦是跛脚的。造成这个残疾，有两种说法，一说是天生的；另一说是因为母亲残暴，一时气极把
他打成这个样子的。除此之外，拜伦可以说是一个美少年，他有一双清澈的眼睛，一头褐色的卷曲头发，皮肤白皙，人们都很喜欢他。尤其是拜伦的嗓音很好，说话声十分悦耳。因此在后来剑桥大学中，同学们都叫他“好嗓子绅士”。
惟独跛足这一生理缺陷，常常使他感到自卑和痛苦。
幼年时，每当他在街上走过，总会听到人们这样议论他：“啊，多么漂亮的孩子啊，可惜是一个跛脚。”
这时拜伦马上就会脸红起来，认为说话的人侮辱了自己，就抹着眼泪，一边大声说：“不许你这样说我！”一边就向对方扑去。 爱上读书
四岁半的时候，拜伦被送进阿伯丁学校读书。他好学、聪颖，记忆力特别好，但也像所有的孩子一样顽皮，有时还搞一些恶作剧。他的善良、正直和义气很快受到小伙伴们的喜爱，但他时而亲切时而暴烈的性子又使他们吃惊。“一个十分讨人喜欢的孩子，可是难以驾驭，”一个老师曾这样评价他。
除了在学校读书，母亲还为他请了历史和拉丁语的家庭教师，拜伦的历史癖就从这时候形成了。他早熟，喜欢读各种书籍，尤其是历史书籍，他常常恳求母亲把关于罗马、希腊、土耳其的历史故事书从公共图书馆里借回家来。每当夜色降临，小拜伦就带着新奇、甜蜜和一点点恐怖的感觉去读书、去遥想，在遥远的历史长河中徜徉、留连。古人在军事上的辉煌战绩曾多次激起拜伦内心的英雄梦想，他有一次对小伙伴说：“我总有一天会召集一支部队，士兵们身穿黑衣，骑着红马，他们将被称为‘拜伦的黑骑兵’。你们一定会听到我们了不起的奇迹的。”
拜伦的母校——剑桥大学
当时的拜伦怎么也不会想到，30年之后这一奇迹真的出现了，他果然成为一支希腊联军的总司令，钢盔、宝剑和黑色斗篷陪伴着他走到了人生的尽头。
拜伦是个聪颖的学生，却不太用功，成绩也不突出，但他看的书却非常多。他后来回忆说：“人们从未看到我读书，老是懒洋洋的，恶作剧或作游戏，事实上我在吃饭时读，在床上读，在没有人读书时读，自我5岁以来，就读了所有的读物。”读了《圣经》以后，拜伦对神秘传奇的东方世界产生了浓厚的兴趣，他还特别喜欢阿拉伯的《一千零一夜》。
拜伦在学校，除了以善于谈吐和广为读书闻名外，他的好斗也是出了名的。每当有人嘲笑他的残疾而欺侮他时，他总能以非常的勇气打败对手。如果他挨了一下打，他必定要回敬两下的。这种勇气和斗争是他一生的最大特色。
拜伦曾经去过的伦敦格兰奇斯特村
拜伦宣称他一生没有宗教信仰，但是在幼年时候却受到他的拉丁语家庭教师，一个加尔文教的虔信者的深刻影响。在拜伦的幼年头脑中不分昼夜地被灌