有給休暇

（質問）
うつ病となり、初めて精神科を訪れて長期休暇を取得しました。その後、躁うつ病となり、さらに長期休暇を取得したことから有給休暇がなくなりました。
昨年、できるだけ休まずに有給休暇を20日残したので、今年は有給休暇が40日あります。１月の週末（金曜）に各１日、２月にも同様に各１日の有給休暇を申請したところ申請どおり承認されました。これで週４日の勤務が続くことになりますので、心身ともにストレスが解消された感じがします。
職場の上司は、口々に精神病扱いします。あらかじめ計画的に有給休暇を申請したとはいえ、職場の中で不利益を被ることになるでしょうか。