> Нейросети _дорисовывают_ картинку (звук, etc.), а не восстанавливают её.Чё? Зачем её восстанавливать? Если у нас недостаточного разрешения изображения, то можно попробовать поднять разрешение посредством многократного фотографирования и объединения фотографий (типа как здесь[1]). Тут, по идее, нейросетки не нужны, но если в силу каких-то причин изображение от раза к разу смещается на матрице, то могут оказаться полезными для вычленения ключевых точек, дабы точнее разные фотки наложить друг на друга. А, ну да, тебе придётся фотографии разных слоёв потом сводить, и вот тут выделение ключевых точек может помочь, потому что между фотками микросхема скорее всего поменяла положение. Но с другой стороны, это можно сделать и руками -- там не так много слоёв, чтобы париться об этом.
[1] https://www.msn.com/en-us/news/technology/teen-captures-extr...
Там проблема в другом возникает. Глянь на фотки Z80[2], там где он в достаточном увеличении показывает. Ты убъёшься эти картинки переводить в готовую схематику. Либо ты будешь рукой перерисовывать эту растровую графику в каком-то редакторе схем, возможно специально созданным под эту задачу. Либо ты попытаешься сделать это программно. Но если это делать алгоритмически, ты возможно убъёшься об стену. Мне сложно сказать навскидку -- сложность этих задач очень обманчива навскидку, может там можно обойтись наложением фильтров, чтобы выделить то, что надо, а может не удастся. Но нейросетка тебе вполне может помочь перейти от жонглирования отдельными пикселями в программе, к жонглированию "элементами", типа "эмиттер", "коллектор", "база". Может быть, чтобы проверить схему, тебе придётся подняться на шаг выше -- от элементов транзисторов к логическим вентилям, и даже к блокам типа "NAND-вентиль" или "триггер". Опять же, на мой взгляд, есть шансы на то, что этот переход на другой уровень абстракции возможен алгоритмически, но есть шансы и на то, что ты утонешь в особых случаях. Но это же задача классификации -- надо вычленять куски схемы и классифицировать их. Значит нейросетка может помочь.
[2]https://www.youtube.com/watch?v=aHx-XUA6f9g
Нейросетки хороши в распознавании. Они хороши в распознавании даже того, что формализовать не удаётся. Именно поэтому они и нужны: если я могу формализовать что-то, то я могу записать это на C, мне не нужна нейросетка. А вот если не могу, то... Глянь на tcec[3]. Видишь там сейчас у них 8 движков бьются? Это топовые восемь движков по миру. Они все содержат в себе нейросетку для оценки позиции. Как минимум NNUE, которая относительно простая и резвая. Движки без нейросеток в этот этап чемпионата не могут забраться, хотя шахматных движков как грязи.
[3] https://tcec-chess.com/
> Причём и для этого им нужен нехеровый такой датасет, а
> откуда его взять в случае схем процессоров?
Ручками. Берёшь фотку и проделываешь всю работу руками. Классифицируешь глазами. Автоматически получаешь датасет. Когда он будет из себя что-то представлять, можно натренировать нейросетку, которая будет тебе помогать искать то, что она не может классифицировать, а то, что она думает, что может она будет классифицировать, ты будешь проверять. Это позволит тебе собирать датасет в разы (если не на порядок) быстрее. Можно несколько таких итераций навернуть, если хочется.
Но вообще, я поискал, и нашёл[4]. Глянь, они тензорфлоу в депендансах не тянут, то есть даже без нейросетки обходятся. А ты говоришь "нейросетка не поможет".
[4] https://github.com/DegateCommunity/Degate
