я отчетливо помню времена лет 12 назад когда я не мог решить задачи 1.001, 2.001 из Сканави даже с 3й попытки, когда я начинал осваивать школьную математику для сдачи на 100 баллов. у меня ушло месяца 2 чтобы научиться решать подобные алгебраические задачи из Сканави без ошибок. ... своё лицо через 12 лет (2036й год) глядя на возможности ИИ представили?
Ну то есть вы подгоняли пока на i-й раз она не даст правильный ответ, который вы знаете. Вот важен % правильных решений на одном типе задач. Для этого есть куча популярных датасетов типа GSM8k, MATH и по ним есть метрики известных моделей, в том числе GPT4, но не омни новой тк она как раз новая и пока бенчмарка нет
@@kvoloshenko Никак. LLM вообще в целом не предназначены для решения мат. задачи и инженерии, а то, что мы люди даем им эти задачи - это вопрос к нам. Поэтому тут нет и какого-то определенного правила. Ну максимум вы можете делать 5 генераций и среди них собрать статистику было ли там правильное решение или нет. Это чуть лучше чем подгонка.
Я думаю у вас разные ответы из за показателя температуры. При высокой температуре он не всегда берет самый лучший вариант, а наоборот стремится к разнообразным ответам.
Хреново решает простую задачу: Разложение числа на сумму степеней. Всё дальше полный абзац, разлодение делает, но после проверки на калькуляторе оказалось что там другое число получается в сумме.
А вам уже доступна новая модель о1? Если да, то хотелось бы повторить все тоже самое но с ней, т.к. в рекламе кричат что она заточена в т.ч. и на математические задачи….
Все ссылки здесь: t.me/AiExp01/95
я отчетливо помню времена лет 12 назад когда я не мог решить задачи 1.001, 2.001 из Сканави даже с 3й попытки, когда я начинал осваивать школьную математику для сдачи на 100 баллов. у меня ушло месяца 2 чтобы научиться решать подобные алгебраические задачи из Сканави без ошибок.
...
своё лицо через 12 лет (2036й год) глядя на возможности ИИ представили?
Ну то есть вы подгоняли пока на i-й раз она не даст правильный ответ, который вы знаете. Вот важен % правильных решений на одном типе задач. Для этого есть куча популярных датасетов типа GSM8k, MATH и по ним есть метрики известных моделей, в том числе GPT4, но не омни новой тк она как раз новая и пока бенчмарка нет
Допустим есть задача с неизвестным ответом, как быть уверенным, что модель решила ее верно? Выбрать ответ, который выпадает чаще?
@@kvoloshenko Никак. LLM вообще в целом не предназначены для решения мат. задачи и инженерии, а то, что мы люди даем им эти задачи - это вопрос к нам. Поэтому тут нет и какого-то определенного правила. Ну максимум вы можете делать 5 генераций и среди них собрать статистику было ли там правильное решение или нет. Это чуть лучше чем подгонка.
@@avatarcybertronics2584 ну если было уравнение, то можно подставить полученные корни и вычислить...
Я думаю у вас разные ответы из за показателя температуры. При высокой температуре он не всегда берет самый лучший вариант, а наоборот стремится к разнообразным ответам.
Да, только температура там в коде стоит на нуле
@@kvoloshenko Странно, при нуле ответ должен быть строго детерменирован. Что же (( значит не все так как описывали
@@igormel5137 Нет, не детерменирован даже при нулевой температуре. Там еще seed нужно задавать.
Теперь не только в грузинских , но и американских школах 2 * 2 равно не 4, а «так сэм восэм» 😂
Определенно всё движется в это направлении, начиная с первых калькуляторов в школе на уроке
Хреново решает простую задачу: Разложение числа на сумму степеней. Всё дальше полный абзац, разлодение делает, но после проверки на калькуляторе оказалось что там другое число получается в сумме.
А вам уже доступна новая модель о1? Если да, то хотелось бы повторить все тоже самое но с ней, т.к. в рекламе кричат что она заточена в т.ч. и на математические задачи….