Pierwsze wzmianki o pałacu pochodzą z połowy XIV w., wówczas właścicielem dawnej twierdzy był Lúček z Čech. Z czasem właściciele zmieniali się, pałac miało w posiadaniu wiele szlacheckich rodów z Czech i Moraw, np. rody z Kunštátu, z Kravař, z Boskovic i z Pernštejna. W 1768 r. majątek Čechy pod Kosířem zakupił Emanuel Teles da Silva de Menezes e Castro, hrabia Tarouca. Ród Silva-Tarouca pochodzący z Półwyspu Iberyjskiego, doszukiwał się swoich przodków w królach starożytnego Alba Longa i zarządzał pałacowym majątkiem do II wojny światowej. Ród ten odcisnął swój znak w postaci obecnego klasycystycznego wyglądu pałacu i rozsławił miejscowość poprzez obecność jednego z najbardziej znaczących czeskich malarzy – Josefa Mánesa.
W 1945 r. pałac został wywłaszczony przez państwo czechosłowackie i w jego wnętrzu utworzono dom dziecka. W lipcu 1957 r. otwarto tu Izbę Pamięci Josefa Mánesa.
Obecnie właścicielem pałacu i parku jest kraj ołomuniecki, a zarządcą Vlastivědné muzeum v Olomouci (Muzeum Etnograficzne w Ołomuńcu). Od 2016 r. pałac jest dostępny dla zwiedzających.