順治十五年1658年，張煌言與鄭成功會師，準備一同進入長江，部隊在羊山駐紮時，遇到了颶風，只好退回。
到了順治十六年1659年，鄭成功再次大規模出兵，張煌言也一同前往，部隊在崇明島駐紮。
在此之前，張煌言已有過多次長江口海戰經驗，他建議說：「 崇明島是長江和海洋的門戶，我們應該先在這裏建立穩固營地，這樣進退都有依托。 」
但是，鄭成功並沒有采納他的建議。
當時，清軍在長江布防，他們在金山和焦山之間拉起了鐵索，還在長江兩岸安置了大炮。
張煌言帶著十七艘戰船，剪斷鐵索，沖破封鎖，成功渡江。
另一邊，鄭成功攻破了瓜洲，想要攻取鎮江，但他擔心南京的清軍會趕來增援。
張煌言建議說：「我們的水軍可以先攻打觀音門，這樣南京就自顧不暇，無法派兵救援了。」
觀音門，就是南京北門。
鄭成功覺得可行，便把這個任務交給了張煌言。
這時候，張煌言率領的軍隊，人數不到一萬，船只也不滿百艘，直接向西進發。
他先攻占了儀真，隨即向六合進發。
聽說鄭成功已經攻下了鎮江，張煌言就寫信給鄭成功，建議應該先安定長江兩岸的郡縣，然後用陸軍進攻南京。
但鄭成功又沒有聽從他的建議。
這邊，張煌言自己率部向觀音門發起進攻，另外，他派出將領帶幾十艘輕舟沿江直上去攻打蕪湖，並分兵去攻掠江浦。
此時，鄭成功的水軍也到了，正好蕪湖已經歸降，鄭成功便催促張煌言前去安撫百姓，並部署軍隊，分路攻城掠地，向各郡縣釋出檄文。
於是，太平、寧國、池州、徽州、廣德以及它們所屬的縣城都請求歸降，張煌言一共得到了四個府、三個州、二十四個縣。
張煌言所經過的地方，他都嚴格約束軍隊，秋毫無犯。
在經過各郡縣時，他都會去拜謁孔廟，坐在明倫堂上，接待當地長官，考察他們的政績，決定升降，就像巡按視察一樣，遠近的百姓都積極響應。
當張煌言正在徽州接受投降時，他聽到鄭成功戰敗的訊息，於是迅速返回蕪湖集結人馬，希望聯合瓜洲、鎮江的軍隊共同防守。
但後來，聽說鄭成功已放棄了瓜洲、鎮江，入海去了，張煌言的軍隊就潰散了。
清朝的南江總督郎廷佐派出水軍，切斷了張煌言順江東下的道路，並寫信招降張煌言。
張煌言拒不回應，他帶著剩下的士兵經過繁昌，計劃進入鄱陽湖。
他們在銅陵駐紮時，清軍從湖廣方向過來了，張煌言與他們交戰失敗，只剩下幾百名殘兵，便退到無為縣，燒掉船只，上岸登陸。
他們從銅城出發，經過霍山、英山，翻越東溪嶺，這時候，清軍騎兵追上來了，跟隨張煌言的人都逃散了。
張煌言孤身戰鬥，突圍而出，他改換了衣服，在夜裏行走，來到了高滸埠。
有父老鄉親認出了他，就把他藏在家裏好幾天以躲避追兵，然後引導他走小路，渡江到了建德、祁門，在亂山之中穿行。
這一次，連續多日苦戰加上長途奔波勞累，張煌言得了瘧疾，但他繼續堅持行走。
直到休寧，他才找到船，順流而下來到嚴州。
而後，又走山路，經東陽、義烏，到了天台，抵達海邊。
然後，張煌言開始收集舊部，鄭成功也分兵來增援他。
於是，他在長亭鄉駐紮下來，修建堤壩阻擋潮水，開墾田地來供養軍隊。
張煌言派出使者，向遠在西南的南明君主桂王報告此次戰敗情況，桂王下詔慰問，並加封他為兵部尚書。
順治十七年1660年，他移軍到臨門。
到了順治十八年1661年，為有效遏制東南抗清勢力，清廷商議對策，頒布「遷海令」，遷徙海邊的居民，斷絕他們對南明的糧餉接濟。
從此，張煌言再也無法得到軍餉，只好在南田開墾荒地自給自足。
當鄭成功攻打台灣時，張煌言寫信勸阻，他認為，如果內陸完全失敗，即使占據台灣，也絕非長久之計，但鄭成功並沒有聽從。
這時，由於鄭成功主力去往台灣，清朝在東南方向壓力驟減，於是，清軍乘勢向西南出擊，攻下雲南，並俘虜了桂王。
在這個時期，張煌言派遣他的門客羅綸前往台灣，催促鄭成功出兵。
但鄭成功表示，台灣剛剛安定下來，無法立即行動。
於是，張煌言又派遣使者，前往（湖北）鄖陽山中，遊說「十三家兵」，讓他們去擾動湖廣地區，以緩解雲南的軍事壓力。
十三家兵，是由郝永忠、劉體純等人領導，他們原本是李自成的部將，後來逃亡到茅麓山並占據此地，但此時因軍力疲弱，他們不敢輕易出動。
眼看桂王政權覆滅，張煌言已無能為力。
到了康熙元年1662年，張煌言又將軍隊轉移到沙堤。
其實，鄭成功自從攻打江寧失敗回來後，就有了奪取台灣圖謀建國的打算。
鄭成功給予魯王在金門的待遇日漸微薄，而魯王是張煌言最早在浙江擁戴的君主，他每年仍然在為魯王籌備供品。
但同時，他又擔心鄭成功會產生疑心，所以近十年時間都不敢去拜見魯王。
而當聽說桂王失敗身亡的訊息後，張煌言便上表給魯王，打算輔佐他號召天下。
不久，鄭成功去世，張煌言率軍返回臨門。
此時又有人提議讓魯王擔任監國，張煌言便派人去勸說魯王，還用五代十國李存勖錦囊三矢的故事來激勵他。
這時候，浙江總督趙廷臣再次招攬張煌言，張煌言卻以書信婉拒。
此時，張煌言所率的孤軍，日漸勢弱，有人建議前往雞籠島，但煌言並未采納。
康熙二年1663年，魯王去世了，煌言深感悲痛，他說：「我這個孤臣，一直在海上漂泊，之所以和部下們相依為命，不願離去，就是因為魯王還在。如今，我還能指望什麽呢？」
於是，在康熙三年1664年，張煌言解散了他的軍隊，隱居在懸澳。
懸澳位於海中，荒涼而無人煙，有個南汊港可供船只通行，北面靠山，人難以攀登。
張煌言在那裏搭起茅屋居住，身邊只有羅綸和幾名部下，以及一名侍者和一名船夫。
趙廷臣與提督張傑商議捉拿張煌言，他們找到了張煌言以前的部下，讓他偽裝成普陀山的和尚，暗中觀察張煌言的行蹤。
在得知張煌言的藏身之處後，清兵半夜攀嶺而入，成功捉拿了張煌言、羅綸以及部下葉金、王發和侍者湯冠玉。
張煌言被帶到杭州後，趙廷臣以賓客之禮相待。
九月乙未日，張煌言在杭州弼教坊被殺，臨死前，他舉目望向吳山，嘆道：「真是好山色啊！」
他寫下了絕命詞，然後端坐受刑，羅綸等人也一同遇難。
張煌言的妻子董氏和兒子張萬祺，之前已被捕，並被關押在杭州，他們先於張煌言離世。
