В ollama сообщает, что не доступен tool calling
#2
by Remzalp - opened
Когда развернул модель Q4_K_M, при попытке использовать её с инструментами получаю сообщение, что модель не поддерживает tools, возможно метаданные некорректные вшиты? Потому что в описании есть четкий пример запуска с инструментами (на чистом питоне не пробовал запускать). У кого-то еще есть такая проблема?
Через ollama у меня тоже не получилось. После правки шаблона - худо бедно заработало, но в system prompt нужно подробнее описывать, что нужно делать.
Как у меня получилось сделать:
- В терминале выводим шаблон чата: ollama show --modelfile название_модели
- Копируем весь шаблон и вставляем в квен, дипсик или в любой онлайн АИ и просим, чтобы он адаптировал шаблон под вызов инструментов в оллама
- Создаем новый modelfile и вставляем туда новый шаблон, сгенерированный из п.2
- Создаем в оллама новую модель через терминал: ollama create gigachat -f F:\modelfile
Если есть способ проще или правильнее - буду благодарен :)