Проблемы с OCR воркерами и отладка на ГПУ

Заддосили мне OCR воркеры 🙈

Сервис два часа плевался ошибками и ничего не распознавал. Разгадка оказалась проста. Когда я тестил, то у меня спокойно в карточку 24 гб влезало два экземпляра воркеров и vllm контейнеров для инференса нейронки. Короче, в параллель можно сразу две странички шатать.

Так вот, оказалось, что там было очень на тоненького, и оставалось лишь 500мб места. И вот этого уже не хватило, когда туда стали одновременно слать большие картинки.

А вообще, отлаживать что-то на ГПУ — то еще развлечение, скажу я вам. Особенно с китайскими моделями, у которых из работающей документации только какие-то манускрипты иероглифами, найденными в байдунете (я не прикалываюсь, ее без китайских доков вообще не запустить было). Это для тех, кто думает, что че там поднимать модельки, все просто же 🙂

Подписывайтесь на Telegram Глеб Кудрявцев про AI кодинг.