試製一号戦車に改良を施した試製二号戦車は、当初計画された目標を概ね達成していたが、その改造工事が1930年4月に完了するのも待たず、すでに陸軍技術本部は同年3月から新しい重戦車の設計に着手していた。
これは試製二号戦車をベースとして各部に改修を加えたいわばブラッシュアップ版であり、ちょうど2年後の1932年3月に大阪工廠において試作車が完成した。
本車は1932年（皇紀2592年）に完成したにも関わらず、「試製九一式重戦車」として制式化された。

なお資料によっては、本車を「試製二号戦車」としているものもある。
試製九一式重戦車は新設計といっても、主砲塔に加えて車体前後に副砲塔を備え、多数の小直径転輪を並べた足周りなど、基本的な形状や外形寸法は試製二号戦車とほとんど変わらなかった。
しかし武装や装甲を始め、機能および内部装置など全てに新しいアイデアを採り入れ、また試験の経験を盛り込んだ改良が加えられていた。

エンジンは試製一号、二号戦車で用いられた国内開発のV型8気筒液冷ガソリン･エンジンに代わり、ドイツのBMW社（Bayerische Motoren Werke：バイエルン発動機製作所）製のIV型 航空機用直列6気筒液冷ガソリン・エンジンを改造したものが搭載され、路上最大速度が25km/hに向上した。
車体と砲塔の前面など主要部の装甲は、射距離50mで37mm砲弾の直射に抗堪すると当時考えられた20mm厚とされた。

また車長と操縦手の外部視察装置として、ストロボスコープが採用されていた。
試製九一式重戦車は開発方針に示された要求を充足し、諸性能や機能共に満足する水準にあったが、日本陸軍の整備方針が重戦車よりも軽量の主力戦車を多数揃えることが有利であるとする方向に傾いたため、本車の量産は実施されなかった。

試製九一式重戦車の武装は試製一号、二号戦車とほとんど同じで、車体中央部の戦闘室上に搭載された主砲塔に九〇式五糎七戦車砲を1門、戦闘室の前方と後方に搭載された副砲塔に7.7mm重機関銃を各1挺ずつ装備した。

唯一の相違点は主砲塔の後部にも7.7mm重機関銃が1挺追加された点で、これは以降の日本軍戦車にも受け継がれている。
なお主砲の九〇式五糎七戦車砲は、後に18.2口径長の7cm戦車砲（型式不明）に換装されている。

試製九一式重戦車の装甲厚は車体と砲塔の前面など主要部で20mmに強化されており、射距離50mで37mm砲弾の直射に抗堪できるようになった。
その反面車体重量は試製二号戦車の16tから18tに増加しているが、エンジンの出力が強化されたため機動力は逆に向上している。

試製九一式重戦車のエンジンは、試製一号、二号戦車に用いられた国産のV型8気筒液冷ガソリン･エンジンに代えて、ドイツのBMW社製のIV型 航空機用直列6気筒液冷ガソリン・エンジンを改造したものが搭載された。
このエンジンは224hpを発揮し出力が大幅に向上したため、試製九一式重戦車は路上で25km/hの最大速度を発揮することができた。