Библиотека иностранной литературы, где в те годы работало большое число иностранцев, в основном коммунистов, вынужденных бежать из Германии, Австрии, Венгрии, Чехословакии, Испании – являлась привлекательным местом для поисков «иностранных шпионов». Широкие связи библиотеки с заграницей также не могли не вызвать подозрений у бдительного ока чекистов.
В 1937–38 годах несколько сотрудников библиотеки были арестованы, в том числе заместитель директора ГЦБИЛ, чешский коммунист Ондрачек, который был приговорен к 10 годам в исправительно-трудовом лагере и скончался в 1939 году в Норильлагере. Но, в отличие от многих других советских учреждений, массовых «чисток» не последовало. Были, конечно, и доносчики, по злобе или из идейных соображений клеветавшие на сотрудников библиотеки, но массового доносительства не было, а руководство ГЦБИЛ сумело отвести от работников подозрения «компетентных органов».
Именно в это время на работу в ГЦБИЛ и пришел Я.И.Менцендорф, который вначале был принят в справочно-библиографический отдел, возглавлял отдел комплектования, а в 1940 году был назначен заместителем директора по научной части. В должности заместителя директора Яков Иванович проработал до января 1952 года, которую был вынужден оставить в силу возраста и дававшего о себе знать заболевания, обострившегося в последние годы в связи арестом дочери Нинель в 1947 году и дальнейшей ссылки*, а также смерти матери в 1951 году. Но Я.И.Менцендорф не ушел из Библиотеки, он продолжил работать главным библиографом вплоть до своей смерти в 1959 году.
Я.И.Менцендорф стал для М.И.Рудомино одним из доверенных сотрудников, ее соратником и помощником, "чей профессионализм, честность и преданность делу не раз спасали ... Библиотеку". Из воспоминаний Л.З.Копелева: "Некоторые сотрудники говорили: "Наша Маргарита хитрая — взяла себе такого помощника, и сама уже о бдительности может не беспокоиться. У Якова Ивановича комар носа не подточит. Он раньше любого главлита знает, какую книжку перевести в спецхран, какие фамилии вычеркивать из каталогов" (М.И.Рудомино "Книги моей судьбы. Воспоминания ровесницы ХХ века". С.191).
___________________
* Отец и дочь больше не виделись. Дочери Я.И.Менцендорфа разрешили вернуться в Москву только в 1960 году, уже после смерти отца.