Идеальным вариантом было бы выполнение моделей ИИ в автономном режиме, но для этого обычно требуется мощное и дорогое оборудование. Однако это не всегда так: модель DeepSeek R1 представляет собой практичный вариант для устройств с ограниченными возможностями, а также она невероятно проста в установке.
Быстрые ссылки
Что значит запустить ИИ-чат-бот локально?
При использовании онлайн-чат-ботов на основе искусственного интеллекта, таких как ChatGPT, ваши запросы обрабатываются на серверах OpenAI, а это значит, что вашему устройству не придется выполнять тяжелую работу. Для общения с чат-ботами на базе искусственного интеллекта вам понадобится постоянное подключение к Интернету, и у вас никогда не будет полного контроля над своими данными. Крупные языковые модели, на которых работают чат-боты на основе искусственного интеллекта, такие как ChatGPT, Gemini, Claude и т. д., предъявляют очень высокие эксплуатационные требования из-за их зависимости от графических процессоров с большим объемом видеопамяти (VRAM). По этой причине большинство моделей ИИ основаны на облачных технологиях.
Локальный ИИ-чат-бот устанавливается непосредственно на ваше устройство, как и любое другое программное обеспечение. Это значит, что для использования ИИ-чат-бота вам не нужно постоянное подключение к интернету, и вы можете отправить запрос в любое время. DeepSeek-R1 — это большая модель на родном языке, которую можно установить на многих устройствах. Его упрощенная модель 7B (семь миллиардов параметров) представляет собой уменьшенную, оптимизированную версию, которая хорошо работает на устройствах среднего класса, позволяя мне генерировать ответы ИИ без облачной обработки. Проще говоря, это означает более быстрые ответы, лучшую конфиденциальность и полный контроль над моими данными.
Как установить DeepSeek-R1 на ноутбук
Запустить DeepSeek-R1 на вашем устройстве относительно просто, но имейте в виду, что вы используете менее мощную версию веб-чат-бота на основе искусственного интеллекта от ДипСик. Чат-бот на основе искусственного интеллекта DeepSeek использует около 671 миллиарда параметров, при этом он содержит ДипСик-Р1 Примерно по 7 миллиардам параметров.
Вы можете загрузить и использовать DeepSeek-R1 на своем компьютере, выполнив следующие действия:
- Перейти к Сайт Оллама И скачайте последнюю версию. Затем установите его на свое устройство, как любое другое приложение.
- Откройте Терминал и введите следующую команду:
ollama run deepseek-r1:7b
Это загрузит модель DeepSeek-R1 7B на ваш компьютер, что позволит вам вводить запросы в Терминал и получать ответы. Если у вас возникли проблемы с производительностью или сбои, попробуйте использовать менее требовательную модель, заменив 7b б 1.5b В указанном выше порядке.
Хотя эта модель отлично работает в Терминале, если вам нужен полнофункциональный пользовательский интерфейс с правильным форматированием текста, например ChatGPT, вы также можете использовать такое приложение, как Чат.
Локальный запуск DeepSeek не идеален, но он работает
Как упоминалось ранее, ответы не будут такими качественными (или быстрыми!), как у онлайн-чат-бота DeepSeek, поскольку он использует более мощную модель и обрабатывает все данные в облаке. Но давайте посмотрим, как себя покажут модели меньшего размера.
Решение математических задач
Чтобы проверить эффективность модели из 7 миллиардов факторов, я дал ей уравнение и попросил решить его интеграл. Я был очень доволен его работой, особенно с учетом того, что базовые модели часто испытывают трудности с математикой. Этот эксперимент демонстрирует способность больших языковых моделей решать задачи исчисления, что открывает большие перспективы в таких областях, как физика и инженерия.
Это не самая сложная проблема, но именно это делает запуск большой языковой модели локально настолько полезным. Речь идет о наличии легкодоступного инструмента для мгновенной обработки простых запросов вместо того, чтобы полагаться во всем на облако. Такой подход повышает скорость отклика и снижает зависимость от интернет-подключения, что имеет решающее значение в интерактивных приложениях ИИ.
Исправление ошибок в коде
Одним из лучших вариантов использования локальной модели DeepSeek-R1 является помощь в проектах ИИ. Это очень полезно, особенно когда я пишу код в самолетах, где нет доступа к Интернету, и мне приходится активно использовать большие языковые модели для отладки. Чтобы проверить его эффективность, я предоставил ему этот код с простой, намеренно добавленной ошибкой.
Он легко справился с кодом, но стоит отметить, что я запускал его на MacBook Air M1 с объемом объединенной памяти всего 8 ГБ. (Унифицированная память — это память, совместно используемая центральным процессором, графическим процессором и другими частями системы на кристалле.)
При открытой среде IDE и нескольких открытых вкладках браузера производительность моего MacBook существенно снизилась — мне пришлось принудительно закрыть все окна, чтобы вернуть ему работоспособность. Если у вас 16 ГБ оперативной памяти или даже графический процессор среднего уровня, вы, скорее всего, не столкнетесь с этими проблемами.
Я также тестировал его с более крупными кодовыми базами, но он зацикливается, поэтому я бы не рекомендовал полагаться на него как на полную замену более мощным моделям. Однако он по-прежнему полезен для быстрого создания небольших фрагментов кода.
Решайте головоломки
Мне также было любопытно посмотреть, насколько хорошо модель справляется с головоломками и логическими рассуждениями, поэтому я протестировал ее с помощью следующей задачи: Монти Холл, которую я легко решил, но я действительно начал ценить DeepSeek по другой причине.
Как показано на рисунке, он не просто дает вам ответ, но и проводит вас через весь процесс мышления, объясняя, как вы пришли к решению. Это показывает, что он обдумывает проблему, а не просто вспоминает запомненный ответ из своих обучающих данных. Это свидетельствует о том, что DeepSeek способен обрабатывать информацию и выводить решения способом, имитирующим человеческое мышление, что является важным шагом в разработке моделей ИИ.
Поиски
Одним из самых больших недостатков локального запуска большой языковой модели является разрыв в знаниях. Поскольку у него нет доступа к Интернету, найти достоверную информацию о недавних событиях может быть сложно. Это ограничение было очевидно в моих тестах, но оно усугубилось, когда я попросил дать краткий обзор оригинального iPhone — ответ был неточным и непреднамеренно смешным.
Очевидно, что первый iPhone не вышел с iOS 5, а несуществующий «iPhone 3» еще не появился. Он почти во всём ошибся. Я проверил это, задав несколько других базовых вопросов, но неточность сохранилась.
بعد Утечка данных DeepSeekЯ почувствовал уверенность, зная, что могу запустить эту модель локально, не беспокоясь о том, что мои данные будут скомпрометированы. Хоть это и не идеально, наличие автономного помощника на основе искусственного интеллекта является огромным преимуществом. Мне бы хотелось видеть больше подобных моделей, интегрированных в потребительские устройства, такие как смартфоны, особенно после Мое разочарование в Apple Intelligence.
