Sejarah pembinaan masjid ini bermula pada tahun 1950an, tapak asal masjid ini merupakan tanah wakaf lama dimana ia dibina berdekatan dengan sebuah telaga untuk memudahkan jemaah mengambil wuduk. Pada  waktu ini,  jumlah penduduk tidak ramai dan mencukupi untuk menjalankan ibadah solat Jumaat. Keinginan kuat penduduk dikariah ini menjadikan usaha pembinaan masjid ini menjadi kenyataan, mereka bergotong royong dan menyumbang sumber kewangan bagi menjayakan hasrat ini. Masjid ini dibina dengan mengunakan peralatan kampong sahaja dengan ruangan dalaman masjid yang kecil dan terhad. Masjid ini telah diberi nama Masjid Kampung Ayer Merbau.

Sekitar tahun 1956, masjid ini telah dipindahkan ke tapak sekarang. Tapak masjid ini dibina atas tanah yang diwakafkan oleh pewakaf bernama hjh Lambut@Rahmah bt Rahiman . Masjid ini dibina sekitar tahun 1960an ketika zaman Tun Ghafar Baba menjadi Ketua Menteri Melaka. Pembinaan masjid ini adalah sumbangan derma daripada penduduk kampong dengan jumlah terkumpul bernilai  RM 2800.00. Bahan-bahan  binaan masjid ini, mengunakan atap yang diperbuat daripada zink dan dindingnya daripada papan.  Kerajaan Negeri Melaka juga menyediakan peruntukan bagi kerja-kerja baik pulih dan juga pembesaran masjid. 

Pada tahun 1999, sekali lagi masjid ini sekali lagi mengalami pengubahsian dengan  peruntukan daripada Kerajaan Negeri Melaka kerana terdapat banyak kerosakan.  Perancangan asal adalah untuk membuat kerja-kerja ubahsuai masjid sahaja tetapi bila melihat kepada banyak kerosakan pada bangunan masjid,  maka kerajaan negeri telah menyediakan peruntukan sebanyak RM 66,000.00. Hasilnya, masjid telah mampu menampung jemaah seramai kira-kira 450 orang pada satu-satu masa

Seterusnya pada bulan September 2004, masjid ini telah sekali lagi diubahsuai kerana  pertambahan dua (2) taman baru yang dibina disekitar kariah ini. Alhamdulillah, sekali lagi Kerajaan Negeri Melaka telah bersetuju menyediakan peruntukan sebanyak kira-kira RM 300,000.00  bagi tujuan pembesaran masjid. Proses ubahsuai masjid  ini  memakan  masa lebih kurang  enam bulan untuk disiapkan.  Sepanjang tempoh  tersebut, ahli kariah  menggunakan Balai Raya sebagai masjid sementara untuk menunaikan solat fardhu dan pelbagai aktiviti lain. Bangunan masjid ini dijangka mampu menampung jemaah seramai 650 orang.

Masjid ini telah ditukar nama kepada masjid Al-Marbawi. Masjid ini terletak di dalam kariah Kampung Ayer Merbau  di daerah Jasin. Alamat surat menyurat  adalah KM24, Kampung Ayer Merbau, 77200 Bemban, Melaka.  

Alhamdulilah, sejarah asal pembinaan masjid ini telah dapat dikongsikan kepada pendudukan kariah dan insyallah Masjid al-Marbawi akan terus melaksanakan penambahbaikan secara berterusan dan dinukilkan sebagai satu  sejarah.