К.А. Говорский родился около 1811 г. в Киеве, в семье униатского священника. Окончил Литовскую греко-католическую духовную семинарию в Жировичах, затем учился в Санкт-Петербургской духовной академии, где получил степень кандидата. 1 сентября 1835 г. был назначен учителем в Белорусскую униатскую духовную семинарию (с 1840 г. – Полоцкая духовная семинария). Здесь он преподавал библейскую и всеобщую историю, церковную археологию, каноническое право и еврейский язык.
В начале 1850-х гг. Ксенофонт Антонович написал ряд статей, посвященных истории полоцких памятников культовой архитектуры, однако ни одна из них так и не была опубликована. В тоже время он проводил и археологические исследования в окрестностях Полоцка. 18 июня 1852 г. К.А. Говорский совершил поездку в Полоцк для обследования некоторых археологических памятников. Его результаты были опубликованы в «Витебских губернских ведомостях», а затем в «Журнале Министерства народного просвещения». Именно эта археологическая публикация и стала первой печатной работой К.А. Говорского. 14 сентября того же года исследователь совершил вторую поездку, во время которой занимался изучением и описанием остатков так называемой Ольгердовой дороги по направлению из Полоцка на Вильно, а также провёл раскопки ряда курганных захоронений в Полоцком и Лепельском уездах. Найденные при изучении курганов артефакты были переданы им в Петербургское археологическое общество. К.А. Говорский был первым, кто при раскопках курганов на территории современной Беларуси изучал не только остатки погребений, но и строение самой курганной насыпи. В своих изысканиях он обратил внимание на ориентацию останков трупосожжения («обгорелые кости расположены в длину по одному направлению всегда от востока к западу»), дал описание процесса погребения («для сожжения трупов сперва делали более или менее высокую земляную насыпь», «трупы возлагаемы были на костер рядом, один подле другого, поверх их клали дрова и таким образом тела предавались сожжению», «угли и золу потом засыпали землей»), верно определил назначение глиняных горшков в погребениях и время возникновения курганов. В публикациях описания своих исследований К.А. Говорский дополнял народными преданиями о курганах, которые записывал во время научных поездок.
По свидетельству А.М. Сементовского, память о раскопках, проводившихся Ксенофонтом Антоновичем, была жива в народе и после его смерти:
«...Весьма любопытно, что, не смотря на недавность изысканий Говорского, личность его и труды сделались уже легендарными. Так ученый Говорский превратился в кладоискателя Бугорского, в уста коего народ вложил следующие, будто бы прочтенные им из какой-то старинной книги помещику Обремпальскому слова о бездедовичских курганах:
Есть озеро большое — Крыж,
И малое — Медвежье ухо,
Под Ушач реку
Там тридцать волотовок больших,
И тридцать волотовок меньших
В больших — жолнеры на коне,
А в малых рыцари в броне»
В конце 50-х гг. XIX в. Ксенофонт Антонович Говорский переехал в Витебск, где заведовал делами Витебского губернского статистического комитета и редактировал неофициальную часть газеты «Витебские губернские ведомости». В этой газете он опубликовал ряд своих статей по истории религии и археологии, а также важные для истории Беларуси документы, оригиналы которых сегодня утеряны.
Ксенофонт Говорский был известен как основатель и редактор-издатель ежемесячного историко-литературного журнала «Вестник Юго-западной и Западной России», который с 1862 г. издавался в Киеве. В 1864 г. он переехал в Вильно, где с августа того же года начал издавать журнал под названием «Вестник Западной России». Вокруг журнала вскоре сложилось сообщество учёных, журналистов и писателей, озабоченных проблемой сохранения целостности русского народа и противостояния полонизации и сепаратизму в западных губерниях. Впоследствии это общественно-политическое течение было названо «западнорусизмом». Известные исследователи дореволюционного периода развития археологии и краеведения на белорусских землях Л.В. Алексеев и Г.А. Кохановский, отмечая заслуги Говорского в вопросах изучения курганных памятников и публикации актов и документов, в тоже время указывали на большое влияние общественно-политических взглядов учёного на выводы, которые он делал в своих трудах, особенно связанных с религиозной историей.
Умер К.А. Говорский в Вильно 29 июня 1871 г. и был похоронен на Евфросиниевском кладбище.