После окончания школы в 1892 году он поступил и пять лет спустя окончил командное училище. Затем Мацуи принимал участие в боевых действиях в ходе Русско-японской войны. В 1906 году Иванэ окончил Высшую военную академию Императорской армии.

С 1919 года Мацуи командовал 29-м полком Императорской армии Японии. Во время интервенции в Советской России он служил офицером штаба японского экспедиционного корпуса.

В 1922 году Иванэ Мацуи был переведён на службу в армейское разведывательное управление (РУ), где был назначен на должность начальника агентурного управления в г. Харбин (Маньчжурия). Далее для выслуги строевого ценза командовал 35-й бригадой.

В 1925—1928 годах он служил начальником армейской разведки, а также был помощником начальника Генштаба, имел звание генерал-майора. До 1930 года Мацуи командовал 11-й дивизией Императорской армии Японии.

В 1931—1932 годах Мацуи находился в составе делегации Японской империи на Всемирной конференции по разоружению в Женеве в качестве старшего специалиста японского Генштаба.

В 1933—1934 годах он был командующим войсками Японии на Тайване (генерал армии). С 1933 года — член Высшего военного совета, кавалер Ордена Восходящего солнца 1-го кл., один из учредителей «Великой Азиатской ассоциации». В отставке с 1935 года.

После начала китайского конфликта был призван из запаса, приняв командование экспедиционными силами в Шанхае и организовав успешный штурм этого города. Японский историк Х. Ёсида считает, что Мацуи вернулся на действительную службу по личному приказу императора, который знал о дружбе генерала с тогдашним президентом Китая Чан Кайши.

Осенью 1937 года экспедиционные силы в Шанхае и 10-я армия в Китае были слиты в Центральный фронт под командованием генерала Мацуи. В конце 1937 года Центральный фронт начал наступление на г. Нанкин, завершившееся взятием столицы и задокументированными военными преступлениями японской армии.

Генерал Мацуи из-за болезни не присутствовал в Нанкине во время резни, но международный резонанс вынудил правительство Японии сместить командование Центрального фронта. 17 декабря 1937 года армейские части и соединения под командованием генерала Мацуи и принца Асака провели военный парад в г. Нанкин. После занятия столицы Центральный фронт реорганизован, войдя в состав экспедиционных сил Центрального Китая.

В 1938 году Мацуи был отозван в Японию и повторно вышел в отставку; после этого он уехал на родину в г. Атами (преф. Сидзуока).

После капитуляции Японии, находясь в отставке, арестован оккупационными властями и обвинён в совершении военных преступлений.

В 1948 году в ходе Токийского процесса Мацуи был признан виновным в совершении военных преступлений второй и третьей категорий и приговорён к смертной казни. Приговор приведён в исполнение 23 декабря 1948 года в токийской тюрьме Сугамо.