Menurut catatan sejarah, nama Kramat Jati tertulis mulai tahun 1891.

Disebut sebagai Wijk V atau kampung di bawah Meester Cornelis, yang terdiri dari beberapa kampung, antara lain : Legok-Bidaratjina, Post Bidaratjina, Tandjoenglengkong, Tjipinang Tjempedak, Tjiawang, Tjililitanketjil, dan Kramatdjati.

Dalam sejarah Kramat Jati, pada masa penjajahan Belanda dan Jepang, daerah Kramat Jati belum termasuk wilayah Batavia atau Jakarta, melainkan bagian dari Afdeeling Meester Cornelis atau Jatinegara.

Setelah masa pemerintahan kemerdekaan RI, berlandaskan UU No. 22 tahun 1948, Kramat Jati merupakan daerah kawedanan (distrik) yang dikepalai oleh seorang wedana.

Kawedanan merupakan wilayah administrasi ke-pemerintahan yang berada di bawah kabupaten dan di atas kecamatan, yang berlaku pada masa Hindia-Belanda dan beberapa tahun setelah kemerdekaan Indonesia.

Setiap Kawedanan dibagi menjadi beberapa kecamatan. Pada masa itu Kramat Jati merupakan wilayah yang luas, terdiri dari 4 kecamatan dan 52 kelurahan. Saat ini wilayah Kramat Jati hanya memiliki tujuh kelurahan.

Menurut legenda masyarakat setempat, dahulu di kawasan tersebut banyak tumbuh pohon jati yang tinggi besar dan berumur hingga ratusan tahun.

Oleh penduduk sekitar, di antara pohon jati tua yang ada di sana, dikeramatkan atau dianggap mempunyai kekuatan magis.

Banyak orang, bahkan dari luar kawasan itu, mendatangi pohon jati yang dianggap keramat dan berdoa agar keinginannya terkabul.

Melihat fenomena itu, para tokoh agama, khususnya Islam, mengecam keras tindakan itu. Hal tersebut karena tindakan mengkeramatkan pohon jati bertentangan dengan akidah agama.

Walau begitu, masih saja banyak orang berdatangan. Kemudian beberapa pohon jati yang dikeramatkan itu perlahan ditebang dan sempat menjadi bahan pergunjingan masyarakat.

Orang-orang pun menyebut kawasan itu sebagai Kramat Jati atau daerah bekas pohon jati yang dikeramatkan.

Konon hingga tahun 1950-an masih tersisa satu pohon jati yang tumbuh besar. Lokasi tempat pohon itu sendiri sekarang berada di depan jalan raya RS. POLRI Soekanto.