我想請問大家離職時特別休假的算法 - 過年

我今年6月底剛離職。
但我不是臨時離職，我在半個月前就告知老闆我要離職的事。
結果我領薪水時，發現我6月薪水被扣得亂七八糟。
我在那間公司工作時，
老闆從來沒有按月或按年把特別休假天數明細算給我。
結果到我要離職時，發現颱風、過年初五都被扣特休。
(但勞動節放假時我們照常上班，他並沒有讓我們補休)
到今年6月我滿4年，老闆只有算7天特休給我。
加加減減，我還超休5.5天。
但他5.5天不是只有扣在6月，
他除了底薪扣掉我5.5天外，
全勤是從2月開始扣，扣到5月。
也就是說，我2月休假2天，他就扣我全勤1500元，
3月也扣我1500元，4月扣750元，5月扣750元。
（我們1個月全勤1500元）
所以我全勤總共被扣4500元。
連底薪被扣的部分加一加大概被扣7000多元...
想請問大家，這樣扣合理嗎？
我應不應該再去找他理論呢？
還有我6月中有新一年度的特別休假10天，但我6月底就離職，
他算7天給我，這算是他的“恩惠”，還是這本來就應該算在內呢？
請大家幫幫我吧～