在竞业限制协议中，用人单位与劳动者之间通常会对竞业限制违约金作出约定，旨在填补劳动者的竞业行为造成用人单位的利益损失。那么，当劳动者主张违约金畸高的情况下，法院应当如何审查认定呢？