继而连三的大破直鲁奉三家的联军。到了次年1928年4月，鲁系军阀张宗昌和新直系军阀孙传芳彻底失败，向北伐军投降。加上之前已经被北伐军击败的直系军阀吴佩孚，北洋军阀最有实力的四大军阀其中三家都被北伐军消灭，仅剩奉系张作霖一家依靠东北老巢顽抗。北伐大局已定，蒋介石领导的国民政府将是未来中国的合法政府，中央军也会是未来政府的军队。
杨虎城看到中央军问鼎中原已成定局，随即离开皖北，把军务交由第二师师长孙蔚如代理，携同妻子谢葆真（共产党员），秘书米暂沉（共产党员），王一山，李百朋，白志钧，刘子潜等赴南京。
但此时蒋介石并不知道杨虎城要来南京，他北上河南指挥讨伐奉军残部去了。
杨虎城在南京没有见到蒋介石，随即游玩了南京，上海，杭州几个大城市。杨虎城是陕西土军阀，以前看到最大的城市就是20万人口的西安。眼见南方几个城市的发达和繁荣，杨虎城非常惊叹，自称开了眼界，也开始明白中原军阀强大的原因。
此时北洋军阀中实力最强的奉系军阀还没有跨，国民政府主要任务还是联合西北冯玉祥，山西阎锡山等北方军阀一同北伐。出于联合冯玉祥打奉系的主张，蒋并没有太看重只有几千兵力的杨虎城，也不方便在此时拉走冯玉祥的部队。
在杨虎城在南京的一个月时间里，蒋介石发手令，让杨虎城的第10军归冯玉祥部将方振武指挥，继续属于西北军编制，参加北伐。由此杨虎城灰心失望，认为国府对其不在乎，这条路似乎走不通。
此时在幕僚的建议下，他决定去正式结交一下中国的第三股势力，也就是中共。
需要说明的是，之前杨虎城就开始了和中共的接触工作。早在5年前，杨虎城就开始和中共的接触，并且将中共党员，文人魏野畴等人收为自己的心腹幕僚。
这些人中算是魏野畴最精明干练，富有政治远见，是不可多得的人才。魏在之后的一系列作战中为杨虎城出谋献策，也协助其苦守西安。在西安保卫战最危险的时候，城内外通讯中断（杨虎城部当时没有无线电设备），魏野畴奉命冒着极大危险化妆出城求援，通报城内情况，是杨的左膀右臂。 败退皖北以后，杨虎城迫于形势压力，更加紧和中共联系。刚到太和县城，杨虎城就将当时河南省主席鹿钟麟派来的秘书南汉宸收到自己麾下。
南汉宸也是一名能力很强的中共党员。他和杨虎城一样，早期参加辛亥革命，加入义勇敢死队反清，也算九死一生。推翻清政府以后，南汉宸复原回到故乡山西，开始经商为生。南汉宸经济能力非常出色，无奈当时是乱世，兵匪官盗横行，
商人正是他们敲骨吸髓的对象。南汉宸苦心经营的煤矿公司在军阀压榨下跨了，他只能在1923年再次投军，加入了冯玉祥麾下。1926年，冯玉祥在北京革命以后被各大军阀围追堵截，被迫宣布亲苏，前往苏联求援。在获得苏联大量援助的前提下，也容纳了中共在其部队里面的发展。当时中共著名人物刘伯坚就在冯部内做政治部副部长，他看出南汉宸不是个平凡人物，将其推荐加入中共，后推荐南去了苏联。
南汉宸太和县还带来了武勉之、刘子华、高敬轩、昌绍先、谢祥荫等共产党员，组成了一个中共皖北特委。
杨虎城当时也想乘着在太和县休整的机会整训一下军队，由南汉宸和魏野畴组成了第十军军事政治干部学校，负责训练杨部几百名低级军官。其中也包括中共的一些政治宣传。 这些让冯钦哉等中高级军官严重不满，他们让杨虎城提防共产党，认为共产党和国民党都是一路货色，目的是想吃掉他们的部队。
果真，中共到达杨虎城部以后，开始进行了一定程度的土地革命，让地方地主乡绅身为恐惧。
杨虎城此时也做了一件事情，在西安围城期间，杨虎城的第一任妻子罗佩兰患肺结核病逝，年仅25岁。罗和杨本是包办婚姻，结婚以后两人感情很好，但由于杨虎城从军戎马，
基本不在家。两人结婚直到罗佩兰去世，共10年时间，罗跟杨虎城其实没有享过一天的福。杨虎城先后得罪皖系，直系，陕西军阀省长刘镇华等陕西实权派，罗被迫带着家属长期流亡，不敢回家。在西安围城战期间罗病重，仍然让人购买粮食运送到前线。但战斗结束以后，杨虎城为了躲避冯玉祥隐居起来，人人都找不到踪迹。罗佩兰误以为杨虎城被冯玉祥所害，焦急之下水米不进，就此发病身亡。
当时杨虎城还有一个妾，也是家里包办的，叫做张蕙兰。嫁给杨虎城的时候只有14岁，她很贤惠，在罗佩兰死后几十年一直照料杨的子女和杨母。
当时军阀很少没有三妻四妾的，甚至还有几十房姨太太的，也自然很少有做鳏夫的。
在元配罗佩兰死后快两年后，杨虎城和中共派到他部队的妇女会主任谢葆真结婚。谢葆真是西安人，当年也只有16岁，比杨虎城小了20岁。她和杨虎城是由上级党员吴岱峰介绍的，两人结婚也是经过中共河南省委批准的。
关于谢葆真有多种说法，有人认为杨虎城喜欢谢葆真的青春活泼，聪明伶俐，加上又是陕西老乡，有共同语言。有人认为杨虎城找谢葆真是为了加深和中共苏联的联系，就像冯玉祥让大儿子在1920年加入共产党一样。另一种说法是张学良说的，他认为谢葆真嫁给杨虎城的时候就带着党交给的任务，也就是作为枕边人鼓动杨虎城帮助中共。
据后来杨虎城身边秘书回忆：结婚后谢经常利用杨虎城夫人的身份，为共产党组织活动提供方便。当时，党组织许多秘密会议就在我家里召开，每次党内同志到来，杨虎城知道谢有事，总是借故避开。----------在日本的谢和杨！谢葆真后来和杨虎城一起关押长达9年。谢被长期牢狱生活压垮导致精神崩溃，患了精神分裂症，在1947年去世。
杨虎城想利用中共，他向中共提出了入党的申请。可惜中共高层怎么可能是泛泛之辈。当时正好处于中共的瞿秋白的所谓盲动主义路线，要求各地中共组织举行起义和革命。驻扎在皖北的南汉宸和魏野畴自然也接到了命令。
魏野畴找到杨虎城，很直白的说出希望杨部参加红军革命的问题。
此时的杨虎城自然不可能答应。
杨虎城首先根本没有这个觉悟，也不可能把自己苦心经营10多年的队伍交给中共。
就内部来说，不但冯钦哉，孙蔚如，李子高，马青苑等高级军官，包括团长营长等中低级军官也都是旧军人，本来对中共就非常厌恶。他们从军也多是从各自利益出发，就算杨虎