如果祖墳在大陸~台灣只有牌位,清明節要回去拜嗎? - 過年

請問 知道的大大們 :
我公公是從大陸跟著國軍撤退來台灣的...
他爸爸很早就死了...在大陸的墓也不曉得在那裡..
只在台灣這邊有立個牌位...
我公公他有個哥哥在大陸...所以大陸老家那邊應該也有
祖先的牌位 ,
我們是有回公公家時就會燒香拜拜...
想請問清明節需要特地回去拜嗎 ?
因為有一年小孩過年感冒沒回去...那年清明也沒回去...
小孩後來有些狀況... 問了人說祖先不高興沒回去...

謝謝各位了!
Update:
對不起...可能是我說的不夠清楚...
想請問樓下神龍 :
我說的是不回台灣的婆家拜拜可以嗎(清明節),
我大概一年回去個 3 次,
如果照您講的說有條副魂在神主牌位,
可是我公公他在大陸的哥哥一定有在家立牌位,
這樣台灣家中再立一個, 也是有祖先魂魄在上面嗎 ?

我說的小孩不平安是說那一年春節跟清明都沒回去 (台灣婆家).
謝謝~
謝謝~