Есть много встраиваемых (embedded) движков баз данных, которые идеально подходят для таких задач. В случае их приминения, все данные хранятся в одном файле, который просто копируется в ходе установки приложения. В остальном работа ведётся как в случае обычной базы, только в connection string нужно указывать путь к файлу с данными.