刘秀称帝，建立了东汉，当时公孙述也在西蜀自称皇帝，刘秀派大司马吴汉率军前去讨伐，张堪被任命为蜀郡太守，与吴汉一起出征。 吴汉的军队走了许多天，军粮补充不及时，当赶到蜀郡时，军粮只够吃七天了。吴汉担忧粮食断绝了，不能打败公孙述，便想逃跑。于是派军士暗中准备船只，想从江上逃走。张堪听到风声，急忙去见吴汉，对他说：“将军千万不能走，胜利就在眼前。公孙述目前已经是瓮中之鳖，只要我们坚持住，一定能打败他！”吴汉被他说服，采纳了他的计谋，使用少量兵马向公孙述挑战。公孙述亲自出城应战，不到几个回合，就被汉军刺死在城下。吴汉和张堪顺利地攻入成都。 张堪是一个道德高尚、办事公正的人，自幼熟读经史，德行出众，曾有“圣童”的美称。他进入成都后，查点府库，封存珍宝，一件件地登记造册。然后报告给光武皇帝刘秀。他自己和部下对官府和百姓的财产秋毫无犯，成都的百姓都非常赞扬他的清廉。 张堪做了两年太守后，被任命为骑都尉，领兵击退匈奴的进犯。不久他又做了渔阳太守。他认真管理郡内的官吏，严惩贪官污吏，奖赏有功绩的官兵，又在狐奴地区开垦稻田八千顷，鼓励百姓耕种。在很短的时间内，百姓富足，郡内安定，军民都过得快乐无比。他在渔阳做了八年太守，郡内没有发生一次动乱，匈奴也不敢再来侵扰。渔阳的百姓对太守非常敬仰，编了一首民谣颂扬他。 桑无附枝，麦穗两岐。张君为政，乐不可支。“乐不可支”这个成语便由此而来，原意是快乐到无法支撑的地步，现在多用来形容快乐到了极点。