心中有愛的人，不會傷害別人這句話 - 生活

請問如題，
那難道因為我們自己本身心中有愛，
對於別人的傷害，
我只能承受嗎？
我所謂的傷害為言語傷害，不實謠言抹黑且是鄰居，
解釋過了，但那些人仍然…
有時看了我真的很想揍他們一拳，
但因本身還有自制力，不想淪為同樣的人，
但真的很氣，
Update:
to河涿：
謝謝~
雖然覺得他可憐，但我就是無法釋懷，
因為他們欺善，像我們這條街仍有更誇張的人，他們不敢得罪，
只敢來唸我這小貓，
我知道問心無愧，但我討厭被人抹黑，以致於我的形象差，因平時我也沒和那種人往來，
有時候會覺得他們這種人，我還要在他們內心有很印象， 連自己不明白這是什麼道理，
至於法律，因錄音錄不到，且在外的人，明哲保身，也沒人會出面當我的証人，
所以......
Update 2:
更正抱歉~河涿-->河豚
Update 3:
to：河豚
但我已經失敗，而且一塌糊塗
因為我每天都在生氣，
一開始當然可以不生氣，不理他們，
但久了每天都聽見，真的難不動怒，且又住隔壁，
一定會聽見的，
他們又很故意，在我在家時刻意說，
請問我要如何做？
真的謝謝您的建解，因為我真的想不開，想不透，
為什麼有人這麼無聊，
小到連我晚上睡覺上廁所，她都可以唸，（因隔音差）
而且那些聽的人，不會覺得她很無聊嗎？
甚至於我什麼時候出門，幾點回家，洗澡吹頭髮，
關窗戶，到樓上，也可以說我在躲她怕她，
總之看我不順眼，
那種人，我之前曾和她道歉，但她也說沒事，
Update 4:
一堆小事，就如我現在在電腦前，也可以唸，
那我覺得真好笑，如果我玩電腦是壞事，那她兒子不就罪大惡極，（因他兒子開網咖），
還有站在別人家門口，鬼祟看我在做什麼，然後說我很吵，這什麼道理，在人家門口，說吵，我只是正常活動，且也沒有其他人來抗議，晚上連電視都開很小聲，而她們自己曾經晚麻將，唱卡啦ok,那又算什麼？！
每次看看，然後說”又不知在幹麻”，那我覺得更好笑，不知我在做什麼憑什麼判定我在做壞事或在弄她，
因我們家的小門可以直接看到裡面，如果把外面庭院燈關，晚上她們從外看不清楚屋內，
但曾經做過，結果也是說什麼怕她們看之類難聽的話，
所以苦惱，每天這樣真的受夠，
Update 5:
to：河豚
謝謝~
的確如果”惱羞成怒””害怕默認”我會選後者，但確讓謠言無止盡誇大，
有時候真的覺得他們吃飽太閒，干他們屁事？！
但無法做到寬宏，因為我不是聖人，
請問您是如何做到，看待他們的行為？
才能做到寬容？