Ollama for Mac - Download

Я устал нарушать ограничения скорости API OpenAI во время написания кода поздно ночью, и каждый раз, когда я пытался резюмировать длинный документ, мой браузер зависал. Именно тогда я нашел Ollama для Mac — Скачать для Mac. Оказывается, вы действительно можете запускать приличные LLM прямо на своем ноутбуке, не отправляя ничего в облако. Сначала я был настроен скептически — как что-то бесплатное может делать то, что делают платные инструменты? Но после установки такой модели, как llama3, я просто набрал подсказку и получил ответ менее чем за секунду. Никакого ожидания. Никаких утечек данных.

Хорошие вещи

Локальный запуск моделей меняет правила игры с точки зрения конфиденциальности. Мне не нужно беспокоиться о том, что мой код или личные заметки плавают на чужом сервере. А командная строка на удивление проста — как только вы освоитесь, переключение между моделями будет выполняться всего в одной строке. Я использовал Mistral-Small, а затем перешел на phi3 без проблем. Приложение с графическим интерфейсом (которое они недавно добавили) по-прежнему является базовым, но намного лучше, чем чистый CLI, если вы не работаете с терминалом. Я уже подключил его к скрипту Python, который автоматически генерирует тестовые примеры, и он просто работает. Никаких ключей API, никаких счетов. Это также открытый исходный код, так что вы можете заглянуть под капот, если вам интересно. Для бесплатного инструмента такой уровень контроля кажется редкостью.

Не очень хорошо

Это не идеально. В macOS Big Sur у меня произошел странный сбой при загрузке большой модели — ничего серьезного, но достаточно, чтобы заставить меня перезапустить приложение. Кроме того, документация не слишком удобна для новичков. Если вы никогда раньше не использовали CLI, вы можете наткнуться на стену, пытаясь установить модель. И да, графический интерфейс все еще довольно простой. Никакой необычной истории чата, никаких тем, ничего кричащего. По сути, вы используете терминал с некоторыми дополнительными кнопками. Кроме того, он не предназначен для интенсивной многозадачности — одновременной работы с несколькими моделями? Не особо поддерживается. Поэтому, если вы выполняете сложную автоматизацию или вам нужны расширенные функции, вам, вероятно, захочется добавить что-то еще.

Итог

Если вы разработчик или любитель, которому нужен локальный искусственный интеллект, не платя ни копейки, вам абсолютно стоит попробовать Ollama for Mac — Download for Mac. Это не для всех — особенно, если вам нужен отполированный и понятный интерфейс — но для тех, кто заботится о конфиденциальности и не против небольшой работы с терминалом, это надежный бесплатный вариант. Попробуйте. Он не получит никаких наград за дизайн, но свою работу выполняет.