予約配信で配信前後に別のカバー画像を表示することは可能ですか？

はい、可能です。

VODのエンコード処理終了後に最初のカバー画像を登録しておき、VOD配信の開始後にカバー画像を変更することにより変更可能です。