Если есть привязка DataGridView к источнику данных, то нужно очистить источник данных. Например, удалить все строки из таблицы или все элементы из списка. Также можно попробовать установить источник данных в null:

dataGridView.DataSource = null;

Если строки добавлялись в gridView вручную, то удалять их тоже нужно вручную, как-то так:

dataGridView.Rows.Clear();