一行的曾祖张公谨是唐太宗李世民的功臣，曾显赫一时，但其家族到武则天时代已经衰败。幼年时代的张遂喜欢读书，尤其喜欢钻研数学和天文，所以到了青年时代就精通了天文、历法和阴阳五行，并以学识的渊博闻名于都城长安，具有“后生颜子”的称谓。青年时代的张遂，正逢唐朝政局混乱、武氏家族权势熏天的时期。因张遂不愿与飞扬跋扈的政客为伍，更不愿为武则天的侄子武三思所拉拢利用，遂逃避到河南嵩山削发为僧，取名一行。在这期间，他先后在河南嵩山和浙江天台山研读天文、数学和佛经典籍，翻译和著述了多种佛经，在佛教界名声大振。到了神龙元年（公元705年），武则天退位后，李唐王朝因仰慕他的学识和声名，多次召他回京，均遭拒绝。太极元年（公元712年），唐玄宗李隆基即位，结束了战乱，并采取了一系列改革措施和发展经济的措施，国势有所好转。开元五年（公元717年），李唐王朝已走向稳定繁荣，为了整理和编纂国书，唐玄宗亲派一行的族叔专程前往荆州把一行聘请到京城长安，并让他主持编制历法的工作。经过几年的准备，一行于开元十三年（公元725年）开始编历。经过两年多的紧张工作，于开元十五年（公元727年）九月，一行终于在长安华严寺将历法初稿编修完毕，但由于劳累过度，从此染疾不起。唐玄宗闻讯，急召京师大德高僧为他诵经祈祷，亦不见效。这年十月，一行圆寂，年方44岁。