今犍为县地，秦时属蜀郡。自汉至隋，大部分时间隶于犍为郡。

汉武帝建元六年（前135），开“西南夷”，置犍为郡，郡治鄨（今贵州省遵义市西）。元光五年（前130），郡治移南广（今云南省盐津县东）。汉昭帝始元元年（前86），移治僰道（今宜宾市），后移至武阳（今彭山县境）。犍为郡初领县十二，即僰道、江阳、武阳、南安、资中、符县、牛鞞、南广、朱提、存阝馬阝、堂瑯、汉阳（见《华阳国志》《汉书·地理志》）。今犍为县地当时隶于南安县（治所为今乐山市市中区）。

南齐时，犍为郡治由武阳迁僰道，仍辖南安、冶官等县（见《齐书》）。今犍为县地属南安、冶官等地。至永元二年（500），废冶官县，县地仍属南安。

梁武帝大同十年（544），改僰道为戎州（治所今宜宾市），辖今犍为县地（见《梁书·地理志》）。

北周武帝保定三年（563），在原南安县境设置沉犀郡，立武阳县（见《北周书》）。这是今县境置县政权的开始。郡、县治均在今犍为县境（见《隋书》《太平寰宇记》《元和郡县图志》）。

隋文帝开皇三年（583），废北周所置沉犀郡，改武阳县为犍为县，属戎州，这是今县境称犍为县之始。县治所在今治东南十五里。据《元和志》载，“西北至（嘉）州一百五十六里”“大江，在县西十步”“大鹿山，在县北一里”“沉犀故城，在县东南三里”。据此，当在今河口对岸之宝乘寺地带，现为孝姑镇永平村境。炀帝大业十一年（615），治所未变，并分出北部县地设置玉津县，以江有璧玉津得名。治所在县北九十里之冠英场（见《清一统志》）。同年，复置冶官县，今县地东北部属之。

唐高祖武德元年（618），犍为县属戎州，高宗上元元年（674），改属嘉州。玄宗天宝元年（742）改嘉州为犍为郡。肃宗乾元元年（758），犍为郡复为嘉州，犍为县均先后隶之，治所未变（《旧唐书·地理志》）。乾元元年之后，再无犍为郡，只有犍为县。

后蜀明德三年（936），铁山獠族攻城，犍为县治由岷江东岸迁至西岸。“县南临大江”“在州东南一百二十里”，其地当在今犍为治所（见《寰宇记》《清一统志》）。

北宋初，犍为县仍隶嘉州。太祖乾德四年（966），废玉津县为镇，并入犍为县。真宗大中祥符四年（1011），县治所移惩非镇（见《宋史·地理志》），其地即今清溪镇。南宋宁宗庆元二年（1196），犍为县属嘉定府。

元世祖至元十三年（1276），嘉定府置总管府，属四川行中书省，领县七，犍为即其一。至元二十年（1283）升嘉定府为嘉定府路，元代犍为县治《元史·地理志》失载，但据《明史·地理志》所记可以推知，县治在玉津镇（今乐山市五通桥区冠英镇）。

明太祖洪武四年（1371），改嘉定府路为嘉定府。洪武九年（1376），降嘉定府为州，直隶四川布政使司，领县六，犍为即其一。洪武中，县治从玉津镇（在今乐山市五通桥区冠英镇）迁惩非镇（见《明史·地理志》）。后又移治今县城玉津镇。

清初，州县依旧。清康熙八年（1669）置建昌上南道，领嘉定州。犍为县属嘉定州。

雍正十二年（1734）升嘉定州为府。犍为县属嘉定府，治所未变。

民国元年（1912），废道制，府、州、厅由省直辖。置县公署，设县知事。犍为县仍属嘉定府，县治在今玉津镇。

民国2年（1913），划全省为七道。将府、州、厅一律改称为县，以道辖县。犍为县属上川南道。

民国3年（1914），改上川南道为建昌道，犍为县属建昌道。

民国19年（1930），撤销道制，以省辖县，犍为县直属四川省。

民国24年（1935），划全省为18个行政督察区，另设西康行政督察区。犍为县属第五行政督察区。直至民国38年（1949），犍为县隶属未变。

中华人民共和国成立后，1950年将四川划为川东、川南、川西、川北四个行政公署，行署下设专区，犍为县属川南行政公署乐山专区。

1953年撤销行署，成立四川省，省以下仍设专区。犍为县属乐山专区。

1968年，乐山专区改称乐山地区，犍为县属乐山地区。

1985年5月，撤销乐山地区，改为乐山市，犍为县属乐山市。