Погодите ка... у меня нет мозгов но есть идея, как обычно
У нвидии есть какойто nvcomp, который что то сжимает прям на видюхе и оно поддерживает например lz4
Можно ли сделать что то типа zram compression но для vram? 
@WildPowerHammer А мне нравится.
@drq вопрос в том, будет ли это сильно быстрее, чем оффлоад в обычную оперативку. Современные PCIe вроде довольно быстрые...
@mo @drq @WildPowerHammer
Кстати говоря, когда-то были в OpenGL расширения, позволявшие сжимать текстуры с потерями: https://en.wikipedia.org/wiki/S3_Texture_Compression
Но после этого объёмы видеопамяти заметно выросли и копать в эту сторону перестали.
Сейчас, когда видеокарты в очередной раз нашли новую сферу применения, к идее могли бы и вернуться, но, опять же, не факт, что это будет быстрее.
@m0xee так что логичным шагом видится аппаратная поддержка 4-, или даже 2-битовых чисел (да, до такого тоже сжимают, и оно даже сохраняет работоспособность!). Ну и всякого между желательно
@mo @drq @WildPowerHammer
Ну да, идея упаковки в занимающий меньше места тип, пожертвовав точностью не нова, например выбросив из того же IEEE 754 часть мантиссы. Не знаю правда как это работает на видеокарте, но не думаю, что сильно отлично от обычного центрального процессора, и не знаю что там есть для этого в аппаратной части, всё же, машинное обучение — не моё.
@m0xee собственно, для моделей это называется «квантование», когда float16 упаковывают в 8, или даже меньше бит
@drq @WildPowerHammer