繼承土地後的拆屋還地問題 - 生活

隔壁鄰居約於民國八十年間蓋了房子，那時我家的土地是我爺爺
的名字，後來八十五年時爺爺過世後將那塊地分割給我爸跟我叔叔
，我爸分到跟鄰居相鄰的土地。
在分割完土地後，我們有去做土地的鑑界，才發現到隔壁鄰居所蓋的擋土牆侵佔到我們的土地，那時候我們有向對方索討屬於我們的土地，但對方辯稱當時在興建房屋之時有跟我爺爺他們協議好了，但並無任何證據可證明。
而後來就有馬上提出相關的告訴，但由於那時候告訴的形式錯誤（我爸他們是以竊盜去告，結果被駁回）之後因我們在外租屋，所以也就沒有再進一步動作，一直到了九十六年，因為我爸他想搬回祖厝，可是又不甘心土地被對方惡意侵占，於是再次對鄰居提起民訴的拆屋還地。
但這次對方以民法的第796條裡面的，我們並無在他們興建當時及時提出異議為由，且藉口已往生的爺爺曾跟他們口頭約定好，另外則是我們已經多年未提出異議來答辯。
我想請問的就是，若是在繼承土地之後始發現所分得土地遭到侵占，那倘若對方建築物已興建好了，是否就真的如同796條裡面的"建築完成後不得請求移去或變更"??
另外對方並無任何明確證據可證明我們在他興建的同時知悉他有侵佔到我們的土地，因其侵占的部分是在交界處，並不是很大的面積，但造成我們現在所得的土地面積歪斜。
此外就是，我家間隔了許久才又提出民訴，是否已失去追溯期？
還麻煩有經驗的善心人給予意見＜(_ _)＞
已更新項目:
恩，不好意思，我不太清楚您說的"我的爺爺何時的"指的是什麼?
鄰居在80年興建房屋時，我們並不知道他的擋土牆已經越界，因為其實越界的部分面積並不算大，只是影響了我們這方的土地方正。
2 個已更新項目:
而是在85年爺爺過世之後，我爸依他分得的土地範圍去申請鑑界才發現遭到鄰居侵占，當時也就馬上提出告訴，只是結果如上所述。
因我有查到一則案例是土地重新買賣之後，現任地主發現遭人侵占，進而提出拆屋還地的告訴成功。
3 個已更新項目:
所以想請教大家，繼承時才發現遭侵佔的情況，是否依然受到796條的"不即提出異議"限制？
另一點是發現的當時有提出刑事告訴，之後隔了近12年才又提出民事告訴，這樣有受到時效的限制嗎？
4 個已更新項目:
會對鄰居提出民事告訴的原因是
對方堅持不願處理,有嘗試和解過可是對方根本沒誠意談
並且對我們家口出惡言,還很大聲的說"有本事就去告!"
也因為他們態度過於囂張,所以我爸後來也就不想和解
堅持要隔壁拆掉那擋土牆.....
不過時效問題也是我所擔心的....感覺上拖太久了