26. července 1911 na sv. Annu se od blesku chytila usedlost čís. 10 Antonína Špačka. Oheň se rozšířil po celém stavení takovou rychlostí, že se již přivolaným hasičským sborům z Bedřichova, Rašova, Strhařů, Brumova, Dlouhé Lhoty, Černovic nepodařilo oheň uhasit. Jen stěží byl vyveden dobytek, vše lehlo popelem.
Anna Špačková, žena Ant. Špačka, chtěla na paměť neštěstí a k poctě své patronky postavit u svého domu malou kapličku se sochou sv. Anny. Roku 1912 objednali manželé Špačkovi z Tyrol sochu sv. Anny. Ta byla prozatím umístěna v chrámu Páně v Bedřichově, než pro ni bude v obci vystavěn stánek.
Původní zvonička, která stála na místě nynější kaple, byla již značně sešlá. Před ní stály 4 lípy, téměř stoleté. Na vystavění občané platili čtyřsetprocentní přirážku, ale mnozí ještě přidávali.
V únoru 1914 byly skáceny lípy, z nichž dvě hrozily roztržením. 15. 6. 1914 se započalo se stavbou nové kaple, kterou řídil František Holcner, zednický mistr z Olešnice, zdejší rodák. Rozpočet zněl 1 433,82 korun. Jak vyplývá ze schůze obecního výboru ze dne 2.července 1913, jednu polovici nákladů na kapli bude hradit obec, na to skácí se kus lesa, druhou polovici ponesou všichni občané kozárovští, kteří daň v obci platí dle přímé daně. Dříve, nežli byla stavba dokončena, započala 1.světová válka.
2. srpna 1914, když tesaři dávali vazbu, byla vyhlášena mobilizace. Řemeslná výroba byla samozřejmě pozastavena.
Rekonstrukce kaple sv. Anny
V roce 1997 byla provedena oprava střešní krytiny kaple, která spočívala ve výměně eternitu za měď. Tuto opravu prováděl pan Antonín Konečný ze Záoboří se svými kolegy. Celkové náklady na tuto opravu činily 115.041,70 Kč. Měděný plech a pásoviny byly zakoupeny v Předklášteří u Tišnova v hodnotě 57.941,70 Kč.
V roce 2010 proběhla celková oprava kaple, která spočívala v následujících opravách: Kolem kaple byl vyhlouben výkop a do něj uloženo potrubí za účelem odvodnění. Kolem kaple byly potom položeny obrubníky a dosypány kačírkem. Omítky byly osekány do výšky cca 1,5 m a to jak vně, tak i vevnitř a nataženy nové sanační omítky. Další poškození fasády byla opravena. Okna i dveře byly vyměněny za plastové nákladem 151.292,- Kč. Tyto práce prováděla firma Decro Bzenec. Zednické práce prováděla firma Dirda Lomnice. Dále byla provedena oprava venkovních schodů a celková výmalba jak vnitřku, tak vnějších omítek. Tyto práce prováděl pan Stanislav Konečný z Rašova.
Na tuto opravu byla čerpána dotace z fondů EU ve výši 531.720,- a obec se podílela částkou 59.080,- Kč, takže celkové náklady činily 590.800,- Kč.
Při této příležitosti byl opraven i venkovní kříž před kaplí nákladem 2.412,- Kč, kterou provedl pan Ploc ze Žernovníka.
Před kapli na oplocení byl nainstalován reflektor k osvícení kaple.
V měsíci květnu 2014 byla provedena výměna el. rozvodů směrem na půdu ke zvonění a hlavního měření spotřeby v kapli, neboť na základě revizní zprávy bylo toto krajně nevyhovující.