Rok 1954 je ve znamení velkého nárůstu výpůjček, který způsobil zrušení poplatku za jednotlivé výpůjčky. Registrovaný čtenář platil pouze roční paušál, a to od 15 let věku 5 korun. Na náměstí před zemědělskou školou se v tomto roce objevuje letní čítárna s 15 tituly periodik a v té samé době vzniká také pobočka okresní lidové knihovny přímo v této škole. O čtyři roky později ale zase zaniká. Dál narůstají problémy s prostory, a proto se již začíná uvažovat o nástavbě budovy.

V březnu roku 1955 tu poprvé pořádají Měsíc knihy. O dva roky později dochází k rozhodnutí o nástavbě knihovny: nebude. Chybí na ni materiál. Řešení přinesl rok 1960, kdy bylo alespoň vybudováno nové oddělení pro děti, kam se nastěhovaly i gramodesky.

Záhy se však ty samé problémy s nedostatkem místa vrátily. V roce 1964 je sice plán nástavby kina Oko ONV přijat, ale nikdy nebyl zrealizován. O rok později se knihovna přejmenování na Okresní knihovnu Tábor.

V roce 1969 se mění ředitel. Antonín Rejlek odchází do důchodu a na jeho místo nastupuje první žena – pracovnice knihovny Blanka Fischerová (Sýkorová). V následujícím roce se musela vypořádat s čistkami: z fondu musela zmizet „závadná" literatura.

Marie Michaela Šechtlová, malířka a výtvarnice, Tábor:
Knihovny bývaly můj svět, četla jsem knihy po řadách. Nyní je to s časem horší. Knihovně bych proto popřála, aby jí čtenáři neodpadli tak jako já, aby četli a četli pořád. Také jí přeju, by měla čím dál více knih.