Habib Anis lahir di Garut Jawa Barat, Indonesia pada tanggal 5 Mei 1928. Ayah beliau adalah Habib Alwi. Sedangkan ibu beliau adalah syarifah Khadijah. Ketika beliau berumur 9 tahun, keluarga beliau pindah ke Solo. Setelah berpindah-pindah rumah di kota Solo, ayah beliau menetap di kampung Gurawan, Pasar Kliwon Solo.Sejak kecil, Habib Anis dididik oleh ayah sendiri, juga bersekolah di madrasah Ar-Ribathah, yang juga berada di samping sekolahannya. Pada usia 22 tahun, beliau menikahi Syarifah Syifa binti Thaha Assagaf, setahun kemudian lahirlah Habib Ali.
Tepat pada tahun itu juga, beliau menggantikan peran ayah beliau, Habib Alwi yang meninggal di Palembang. Habib Ali bin Alwi Al Habsyi adik beliau menyebut Habib Anis waktu itu seperti “anak muda yang berpakaian tua”.
Habib Anis merintis kemaqamannya sendiri dengan kesabaran dan istiqamah, sehingga besar sampai sekarang. Selain kegiatan di Masjid seperti pembacaan Maulid simthud-Durar dan haul Habib Ali Al-Habsyi setiap bulan Maulud, juga ada khataman Bukhari pada bulan sya’ban, khataman Ar-Ramadhan pada bulan Ramadhan. Sedangkan sehari-hari beliau mengajar di zawiyah pada tengah hari.
Pada waktu muda, Habib Anis adalah pedagang batik, dan memiliki kios di pasar Klewer Solo. Kios tersebut ditunggui Habib Ali adik beliau. Namun ketika kegiatan di masjid Ar-Riyadh semakin banyak, usaha perdagangan batik dihentikan. Habib Anis duduk tekun sebagai ulama.
Dari perkawinan dengan Syarifah Syifa Assagaf, Habib Anis dikaruniai enam putera yaitu Habib Ali, Habib Husein, Habib Ahmad, Habib Alwi, Habib Hasan, dan Habib AbdiLlah. Semua putera beliau tinggal di sekitar Gurawan.
Dalam masyarakat Solo, Habib Anis dikenal bergaul lintas sektoral dan lintas agama. Dan beliau netral dalam dunia politik.
Dalam sehari-hari Habib Anis sangat santun dan berbicara dengan bahasa jawa halus kepada orang jawa, berbicara bahasa sunda tinggi dengan orang sunda, berbahasa indonesia baik dengan orang luar jawa dan sunda, serta berbahasa arab Hadrami kepada sesama Habib.
Penampilan beliau rapi, senyumnya manis menawan, karena beliau memangsumeh (murah senyum) dan memiliki tahi lalat di dagu kanannya. Beberapa kalangan menyebutnya The smilling Habib.
Habib Anis sangat menghormati tamu, bahkan tamu tersebut merupakan doping semangat hidup beliau. Beliau tidak membeda-bedakan apahkah tamu tersebut berpangakat atau tidak, semua dijamunya dengan layak. Semua diperlakukan dengan hormat.
Seorang tukang becak (Pak Zen) 83 tahun yang sering mangkal di Masjid Ar-Riyadh mengatakan, Habib Anis itu ulama yang loman