В ночь со 2 на 3 июля 1998 года был найден убитым на собственной даче в деревне Клоково Наро-Фоминского района Московской области. По официальной версии, в спящего Рохлина стреляла его жена, Тамара Рохлина, причиной была названа семейная ссора; противники официальной версии утверждали, что к ликвидации могли были причастны спецслужбы по вышестоящему указанию. В ноябре 2000 года Наро-Фоминский городской суд признал Тамару Рохлину виновной в умышленном убийстве своего мужа. Похоронен 7 июля 1998 года на Троекуровском кладбище. | 
