Вперше назва «Козятин» (зараз — територія села Козятин) згадується у 1731 році в Люстації Житомирського повіту Київського воєводства. В селі нараховувалось 5 селянських хат.
Виникнення міста тісно пов’язано з будівництвом Києво-Балтської (Одеської) залізниці в 70-х роках XIX століття. Вже в липні 1870 року було закінчено прокладання гілки від станції Козятин, що дістала назву від однойменного села, до Бердичева. Поблизу станції будувалось робітниче селище, для якого у 1874 році було затверджено перший план. 7 липня того ж року Козятин було віднесено до категорії містечок Бердичівського повіту Київської губернії. З ростом кількості робітників, умови їх праці не поліпшувались, тому в 1871 і 1885 рр. відбувалися страйки стрілочників, що добились певних поступок.
Православні села Козятин мали власні церкви Святого Луки (Свято-Лукинську церкву) та Свято-Вознесенську церкву. Католики відвідували церкву Святого Антонія в селі Білопілля.
На початку 80-х рр. XIX ст. в містечку було лише 76 дворів. У 1888 р. відбулось затвердження другої частини плану розвитку міста, яка передбачала відведення земель під забудову житловими будинками (на відміну від першої частини плану, що передбачав забудову переважно службовими будинками залізниці).
Дізнавшись про революційні події в 1905 році, козятинські залізничники одними з перших приєднуються до Всеросійського жовтневого політичного страйку, проте жандарми застосували проти страйкуючих зброю і виступ був придушений.
У грудні 1917 року у Козятині розміщувалася ставка генерала Павла Скоропадського. 24 січня наступного року в місті було встановлено радянську владу, що протрималась до березня, коли станцію зайняли австро-німецькі війська. 11 грудня 1918 року в Козятині Директорія підписує з представниками німецького командування, яке підтримувало гетьмана Скоропадського, угоду про евакуацію німецько-австрійської армії з України, після чого починається наступ військ Директорії на Київ з подальшим зреченням Скоропадського від влади.
7 березня 1919 року в місто увійшов Таращанський полк Червоної армії, проте у квітні 1920 року під час польсько-радянської війни місто було захоплене поляками під час так званого Козятинського рейду. Проте згодом воно було знову повернуто більшовикам, начальником гарнізону було призначено Григорія Котовського.
Навесні 1921 року в Козятині був організований антибільшовицький повстанський комітет, який очолив особистий друг Симона Петлюри Балагута-Бойко. Діяльність комітету припинилася після зміцнення радянської влади на Правобережній Україні, орієнтовно влітку-восени того ж року.
У 1923 році місто стало районним центром Бердичівської округи, а в 1932 році, зі зміною адміністративно-територіального поділу, Козятин став районним центром Вінницької області. У 1938 році Козятин увійшов до категорії міст з міською радою, підпорядкованою райвиконкому.
Під час Другої світової війни з 15 липня 1941 року до 28 грудня 1943 року Козятин був зайнятий німецько-нацистськими військами. Діяло гетто, куди нацистами насильно зганялися євреї для компактного мешкання. За цей час було закатовано 98 чоловіків, 140 жінок і 147 дітей, вивезено на каторгу до Німеччини 107 чоловік. В грудні 1943 у боях Червоної армії за місто особливо відзначилися підрозділи 69-го гвардійського танкового полку 1-го Українського фронту під командуванням Івана Бойка, за що він отримав звання Героя Радянського Союзу.
У грудні 1962 році територія Козятинського району була закріплена в нинішніх межах.
1992 року в місті утворилася громада УПЦ КП.
Вже за незалежної України, у липні 2000 року, Верховна Рада України прийняла рішення про включення Козятина до категорії міст обласного підпорядкування.
