共同監護可以改為單獨監護嗎？ - 過年

去年先生在大陸外遇了（但我沒去抓姦），和我協議離婚後，
他給了我贍養費（他說這是道義和良心），小孩的監護權是共同監護，兒子目前兩歲7個月，
從出生到現在都是我帶的，除了十月份離婚後，他要求我去上班，把孩子帶去給我大姑帶，兒子在大姑家其實前後住不滿一個月我就帶回來了。現在兒子都和我居住！
他光看到他姑姑來就趴在地上不敢動，怕被帶走！
他在上海工作，三個月回來一次（十天）。
現在離婚也有半年了，我沒有向他討小孩的扶養費，(他們家人都覺得我是要錢的)，他也都沒有打電話來問過這個小孩好不好，
中間我們曾開庭過一次，那時是怕他未經我同意就把孩子帶去大陸，所以向法院申請了"假處分"，法院也下令禁止他在未改定監護或是協議之前就帶孩子出國!而現在我面臨到要和他進行調解~
「他爸媽說他們要帶孫子、扶養費不用我出」
但是他爸爸媽媽(一個洗腎、一個年老，都沒有和我孩子單獨相處的經驗，卻硬說小孩從離婚後就是住他們板橋家，明明就是他女兒在內壢帶)
過年的時候我連兒子的壓歲錢都沒法存，因為是共同監護，
連開戶都要有他爸的證明，但是打給他不是沒回應就是關機的！
他有三次婚姻紀錄，41歲，台幹，薪水八萬，三個月回來一次，
他要工作，所以小孩一定是給他爸媽或是姐姐!
我28歲，目前24小時專職帶小朋友，沒收入只靠家人和贍養費。
因為贍養費夠存活到我等孩子再大一點去上幼稚園，我就可以去上班的時候。
我真的無法將共同監護改為單獨監護嗎？
我該蒐集什麼樣的資料才是有利於我呢？
請大家幫幫一個只單純想照顧孩子的媽媽好嗎？
謝謝
已更新項目:
樓下JUNIE與ALEX
請問一下你有向法院提出改定監護權之訴嗎??
A:有
(但是現在法院先叫我們先進行調解，調解不成再開始進行訴訟)
他說他不會人財兩失的，小孩他自己會帶(但是他在上班，勢必把小孩給第三人來照顧)
我們是已經離婚了!協議書上就是寫共同監護，其餘什麼都沒寫!
已協議共同監護，是否他沒有對這孩子有任何過失，改單獨判給我的機會是很小的呢？他就只有離婚後半年來，一通給孩子的電話都沒有!連他開庭回來的十天，他也沒來看過小孩!
他很有把握小孩是歸他的!只因為他有錢!
2 個已更新項目:
我沒有他外遇的證據