前凉建兴十六年戊子(328年)。
　　前赵与后赵长达六年的战争，进入生死对决阶段。
　　张骏平定高昌，后赵石虎攻打前赵刘曜的战争，也进入了关键阶段。一年中，前后二赵，此起彼伏，互有胜负。但到十一月，前、后赵形势反转。刘曜因追击纵深太过，孤军深入后赵境内千里，后援空虚，粮草不及。后赵石勒认为反攻的机会来临，大为喜悦，用手指天随后又拍着额头说:“这是天意!”便命令士卒脱下重甲，马匹衔枚禁声，从隐秘的小道日夜兼行，由巩县和訾县之间穿出。
　　刘曜初次得胜，得意忘形，只顾与宠爱的嬖臣饮酒博戏，寻欢作乐，不料，石勒已经渡河，率领步、骑兵四万人攻入了洛阳城。刘曜急忙陈兵十万于洛阳西门。石勒遂命石虎引兵自洛阳城北而西攻刘曜中军，命石堪率兵自城西而北，攻刘曜前锋，石勒自出洛阳阊阖门，夹击刘曜，前赵军队大溃。刘曜在退兵时马陷石渠，坠于冰上，身上受伤十余处，为石堪生俘。石勒于是大败前赵军队，斩首五万多级，杀了刘曜，宣告了前赵的正式灭亡。
　　前凉建兴十七年己丑(329年)正月，刘熙得知皇父刘曜被杀的消息，大为恐惧，与南阳王刘胤商议，准备向西据守秦州。尚书胡勋说:“如今虽丧失君王，国土仍然完整，将士也未叛离，暂且应当集中力量抵御敌军。力有不支时再逃不晚。”刘胤发怒，认为这是扰乱军心，竟将他斩首，随即率文武百官逃奔上邽(今甘肃天水)。各地方军事长官也都放弃原本镇守的城池跟从，关中顿时大乱。据守长安的将军蒋英、辛恕，率士众数十万人投降后赵，后赵派石生从洛阳挥师入关，攻占了长安。八月，南阳王、大单于刘胤又帅数万人马，从上邽发兵长安。刘胤军驻扎于仲桥，石生婴城自守，石虎帅二万骑前往救援。九月，后赵大军大破前赵于义渠，刘胤逃回上邽。石虎军一举击溃上邽守卒，活捉刘熙、刘胤等文武百官三千多人，全部杀害。又在洛阳坑害五千多五郡屠各人。匈奴刘氏经此劫难，损失惨重，几乎灭族。
　　前赵灭亡的消息传到姑臧，张骏认为这是东进扩地，收复大河之南秦、雍失地的一个千载难逢的机会。张骏第二次开始“大搜讲武，将袭秦雍”，又在姑臧城外大肆阅兵练武，准备袭击后赵的秦、雍诸郡，攻打长安。当然，这次张骏不敢草率，汲取上次惨败的教训，整整训练整备了一年军马。
　　到前凉建兴十八年（330年）五月，张骏乘后赵不备，正式出兵收复旧地。凉州大军南出广武，渡过大河，如入无人之境，以最小的代价，相继收复了金城、枹罕、陇西等河南地区，直到狄道。然后，置武卫、石门、候和、滋川、甘松等五个屯军护军，占据了五个重要军事据点。自此，大河以南的土地全部收复，前凉疆域，又恢复到了昔日最大状态。前凉以狄道为界，与后赵分境而治，而后赵隔龙山与前凉对峙。
　　张骏此举，将南安、陇西与湟中联系起来，构成了一道沿洮水向西，联结甘松（今白龙江北）、西强山（今西倾山），联通西平郡的弧形防线，带山河以为固，为稳步推进保据河西的政治军事战略，并与后赵周旋，奠定了基础。
　　前凉与后赵没有了中间缓冲，直接相遇。与后赵如何搞好国家关系，是战是和，是做藩属，还是平等相处，就成了确保前凉安全，摆在张骏面前的一道必答题。开始时，前凉还有戒备之心，认为前凉收复旧山河，后赵必来攻打。切实加强了武卫、石门、候和、滋川、甘松等五个屯军的守边力量。后来发现后赵自己也是顾东顾不了西，也确实没有西进攻打凉州的意思。后赵只是想与前凉建立藩属国的关系，让前凉向他称藩称臣，进贡朝廷，便极力拉拢前凉张骏。
　　同年六月，后赵石勒派遣使者孟毅至姑臧，提着官爵威逼前凉称藩称臣来了，拜授张骏为征西大将军，凉州牧，加九锡。
　　但这不符合张骏的为君之道，家国理想。他连叔叔张茂投降前赵，建立的藩属国关系，都能如扔破鞋子一样扔了，怎么可能接受你后赵的藩属呢。在张骏心中，汉家的正朔只有一个，那就是东晋。前凉不管与东晋的道路，是畅通，还是断绝，心中的信仰与旗帜，永远不会倒地。
　　这后赵，还真与前赵一样，也不征求前凉的意见，就恬不知耻地把前凉当藩属国对待了，还学汉家皇帝，拿捏着皇室不封异姓为“王”的特权，只封张骏为“凉州牧”，连个“假凉王”都不给封。
　　但在实力对比上，此时的后赵，气势正盛，国力强大，前凉根本不是后赵的对手。公开反目，只有自讨苦吃。张骏的想法，是与后赵建立国与国的关系，平起平坐，修好睦邻，不起战事，而要他向后赵称藩称臣，那是前凉的耻辱，张骏的耻辱，绝对不可能的。所以，张骏不但拒绝了后赵的拜授，还直接扣留了后赵使臣孟毅，不让他返回长安（“耻之为臣，不受。留毅不遣”）。
　　此后，张骏以仇池为通道，每岁与东晋建康通使不绝。
　　九月，后赵石勒正式称帝，改元“建平”。至此，中国北方几乎全部归于赵土，成了北方强国。此时，后赵使者被张骏扣押，石勒虽然非常气愤，想发兵报复，但误以为前凉敢扣他的人，就说明实力不俗，也不敢对前凉轻举妄动。前凉与后赵本来可以相安无事了，但紧接着，发生匈奴休屠王羌部落叛变后赵事件，休屠王羌被大将石生击溃后，其部落首领逃奔凉州。休屠王羌的主动降凉，反而给前凉张骏平添了一个麻烦，成了张骏的烫手山芋。
　　对前凉来说，有人来投降，大好事也，有利于提升前凉的影响力。但是，这个投降者，又恰恰是后赵的叛臣。张骏本就扣押了后赵的使臣，休屠王羌再来投降，必然惹怒石勒。张骏害怕后赵借此生事，攻打凉州。而东晋每岁只接受凉州贡物，但鞭长莫及，制约不了后赵，帮不了前凉的忙。张骏自感无力抗拒后赵，只得装怂，赶紧释放了后赵使臣孟毅，向后赵伸出了愿意改善两国关系的橄榄枝。同时，为防意外，张骏不得不向后赵屈辱地低下了头颅，派长史马诜为使者，带着凉州精美贡物，向石勒称臣入贡（“长史马诜称臣入贡于赵”）。
　　当一个国家因弱而不得不低头时，那滋味绝不好受。
　　张骏这才深深地体会到了叔叔张茂当年投降前赵时的心情。
　　后赵见前凉来称藩臣，不计前嫌，喜出望外，握手言和。
　　事实上，张骏有点多虑了。后赵摧毁前赵之后，并不以前凉为敌，他的精力集中用于对付东晋和前燕，压根就顾不上西部的前凉。张骏见后赵自顾不暇，对前凉并无西进之意，凉州暂时安全，对自己丧失胆气，判断失误，主动向后赵称臣之举，又后悔不已。又想，当年的叔叔张茂，是否也出现了这样的判断性失误，才投降了前赵。凡智者，不可能同时跌进两个相同的泥坑，张氏两代，却犯了相同的失误，这是否是命，是定数。但事已至此，只能自认缺钙，失了骨气，每年还得进贡了东晋，再进贡后赵。他刚继任就不想当东晋与前赵的双面人，现在，形势却发生重大变化，不得不当了东晋与后赵的双面人。
　　好在张骏摸清了后赵的底线，凉州暂时并无危险，终于长疏了一口气，用不着再担惊受怕，考虑是否因不尊东晋“王室”而招非议，便渐生居傲之心，专心致志地经营起前凉霸业来了。从330年开始，张骏放开手脚，集中精力，卧薪尝胆，开始在政治、经济、农桑、外交、军事、文教等方面，采取了一系列措施，对前凉固本培元，强筋健体。凉州无战事，风调雨顺，在张骏的精心治理下，百姓安居乐业，经济发展很快，国力大大增强。逐步奠定了与后赵叫板的资本。
　　前凉建兴二十一年（333年）癸巳，张骏经过近十年的苦心经营，前凉的景象已是今非昔比，张骏统辖西域，在高昌推行郡县制，首次把汉家的郡县制推行到了西域，功德无量。群僚以为建邦命氏的时机基本成熟，就劝张骏正式称“凉王”，领秦、凉二州牧，依照魏武帝曹操、晋文帝司马昭的旧例，设置公卿百官。