Рой беспилотников, общающихся в чате с помощью большой языковой модели.

И этот дед забыл принять таблетки. Да что ж такое!

ааа не знаете сколько стоит такой форсинг на ютубе? Предлагают его видео последние пару недель, несмотря на то что подобные ролики не смотрю.

Смотреть не стал, но модели роевого поведения для решения отдельных задачек типа логистических это же давно уже?

Идея зенитных кодексов «Аль-Эфесби» описана почти 14 лет назад.

Так этож любой айти чат, в который случайно попадает девушка с титьками на аве и начинается рой беспилотников, общающихся в чате с помощью большой языковой модели.

go на дасте я саздал

Рой беспилотников

Деды™ без нинужных чатов пущали общающийся рой КР П-700 «Гранит» ещё в прошлом веке ©.

Интересно, что там за беспилотники такие, на которых LLM-ки крутятся… Здоровенные бандуры должны быть

Были бы излишки вычислительных ресурсов, а чем их занять - всегда найдется

Тоже обратил внимание. Здоровенные бандуры роем в городской парк не запустишь.

Так они всем роем впряглись в сервак с аккумуляторами и тащуть. Сервак жужжит и греется.

Речь о том, что для нормальной работы более-менее адекватных LLM-ок нужно неплохое такое железо, которое будет неслабо весить. Я уж молчу про потребление электричества таким «дроном», он будет работать в режиме «минуту полетал - сутки заряжается».

И общается сам с собой…

И чипы нынче специализированные грозились начать выпускать, и обрезать лишнее никто не мешает. Они же не должны вести беседу с любопытствующими раздолбаями на любую тему, а всего лишь выполнять задачи определенного круга

Так нет ничего лишнего. На видюхе при ML разве что цепи и логика связанная с монитором не задействуются, все остальное работает на 146%. С процессором и ОЗУ то же самое. А ASICов под LLM-ки пока не завезли.

Мы слишком мало знаем о том, что такое минимально необходимый набор ИИ узкой специализации ) Там и человеческий язык не обязателен и объем данных для обучения может быть на много порядков меньше, и скорость совсем не требуется. Так что весь процесс сбора данных и обучения можно при желании запихнуть в один не слишком жрущий чип.

Да и асики для этого давно в ходу:

https://towardsdatascience.com/how-to-make-your-own-deep-learning-accelerator-chip-1ff69b78ece4

https://hardforum.com/threads/harvard-dropouts-raise-5-million-for-llm-hw-accelerator.2028400/

https://symmetricaldatasecurity.blogspot.com/2023/07/chiplet-asic-supercomputers-for-llms.html

Мы слишком мало знаем о том, что такое минимально необходимый набор ИИ узкой специализации

В видео речь шла конкретно про LLM, для них есть вполне конкретные оценки как теоретические, так и практические.

Так что весь процесс сбора данных и обучения можно при желании запихнуть в один не слишком жрущий чип.

О как! Чего ж никто не запихнул до сих пор?

https://towardsdatascience.com/how-to-make-your-own-deep-learning-accelerator-chip-1ff69b78ece4

Не открывается, лень в FoxyProxy прописывать.

https://hardforum.com/threads/harvard-dropouts-raise-5-million-for-llm-hw-accelerator.2028400/

Отчисленные студенты Гарварда ничем не подкрепленными обещаниями подняли бабла на хайповой теме. Le classique.

https://symmetricaldatasecurity.blogspot.com/2023/07/chiplet-asic-supercomputers-for-llms.html

Хорошая статья, описывающая потенциальную архитектуру таких ASICов и теоретические оценки их эффективности. Движение в правильном направлении, но от таких статей до работающих устройств обычно лет 10-15 проходит.

В видео речь шла конкретно про LLM

Эта аббревиатура не означает чего-то строго ограниченного

О как! Чего ж никто не запихнул до сих пор?

Вот те на. Вовсю запихивают, если не в один, то в несколько основных, оптимизированных под эти цели. Нвидиа свой gh200 давненько представила.

Поскольку вы, как истинный лоровец, ленитесь искать информацию, а надеетесь, что вам найдут, разжуют, да еще и запихнут в рот, преодолевая ваше сопротивление и желание повозражать, то вот из первой ссылки:

Currently, there are more than 100 companies all over the world building ASICs (Application Specific Integrated Circuit) or SOC’s (System on Chip) targeted towards deep learning applications. There is a long list of companies here. In addition to these startup big companies like Google (TPU), Facebook, Amazon (Inferentia), Tesla etc are all developing custom ASIC’s for deep learning training and inference. These can be categorized into two types —

Training and Inference — These ASIC’s are designed to handle both training the deep neural network and also performing inference. Training a large neural network like Resnet-50 is a much more compute-intensive task involving gradient descent and back-propagation. Compared to training inference is very simple and requires less computation. NVidia GPU’s, which are most popular today for deep learning, can do both training and inference. Some other examples are Graphcore IPU, Google TPU V3, Cerebras, etc. OpenAI has great analysis showing the recent increase in compute required for training large networks.

Inference — These ASICs are designed to run DNN’s (Deep neural networks) which have been trained on GPU or other ASIC and then trained network is modified (quantized, pruned etc) to run on a different ASIC (like Google Coral Edge TPU, NVidia Jetson Nano). Most people say that the market for deep learning inference is much bigger than the training. Even very small microcontrollers (MCU’s) based on ARM Cortex-M0, M3, M4 etc can do inference as shown by the TensorFlow Lite team.Making any chip (ASIC, SOC etc) is a costly, difficult and lengthy process typically done by teams of 10 to 1000’s of people depending on the size and complexity of the chip. Here I am only providing a brief overview specific to deep learning inference accelerator. If you have already designed chips you may find this too simple. If you are still interested, read on!

беспилотники такие, на которых LLM-ки крутятся…

Для PoC можно и ресурсы большого брата использовать.

Рой беспилотников, общающихся в чате с помощью большой языковой модели.

Оверинженеринг на жотп-хайпе. А так, за этим будущее. Скоро дроны будут воевать с дронами, а солдаты будут rts киберкотлетами.

Вот еще попалось пару статей про хуавеевский чип, причем этому чипу уже 5 лет

https://servernews.ru/993066

https://multiplatform.ai/huaweis-ascend-910b-a-challenger-to-nvidia-in-the-ai-chip-market/

Эта аббревиатура не означает чего-то строго ограниченного

Large Language Model (LLM)

Зачем вообще беспилотникам, общающимся друг с другом, языковая модель? Тут скорее неграмотные журналисты обозвали обычную, обученную нейросеть(возможно маленькую и специализированную) - LLM.

Зачем вообще беспилотникам, общающимся друг с другом, языковая модель?

Кто знает, это вообще может оказаться экономичнее - использовать готовые чипы и готовые наработки с языковыми моделями, а боевые задания выдавать в виде обычного голосового приказа ) Как минимум уйдет пару промежуточных звеньев технических специалистов между генералом и дроноэскадрильей )

а боевые задания выдавать в виде обычного голосового приказа ) Как минимум уйдет пару промежуточных звеньев технических специалистов между генералом и дроноэскадрильей )

В такой схеме языковая модель нужна только у отдающего приказ, а вот оно уже передаст рою в нужном виде. Приказ же будет не через громкоговоритель в облака транслироваться. Зачем усложнять?

Еще раз на всякий случай поясню о чем речь. Сейчас на первый план вышла сложность, цена и время разработки. Если речь об оружии, то обычно оно должно летать уже вчера, может сейчас, максимум завтра. На языковые модели разработок уже немеряно, почти наверняка есть готовые - бери используй. А в каком состоянии разработки узкотехнического применения - хз. Может там принялись за разработку какого-то военно-технического языка и застряли в отладке, или не успели изготовить специализированные чипы в достаточном количестве. Поэтому не исключена ситуация, когда выгоднее запихнуть уже раскрученные модели во все самолетики и пусть они общаются по человечески )

Но это, само собой, лишь версия

Когда уже языковой чат приделают к рою npc в игрульках? Вроде бы не так сложно должно быть, а получиться должно весело.

Солдаты там будут в роли ГСЧ в лучшем случае, человек не поспеет за машиной.

Паять будут и менять запчасти.

Эта аббревиатура не означает чего-то строго ограниченного

Это обозначает «большая языковая модель». Успешных архитектур LLM сейчас полторы штуки, ни одна из них не реализована в ASIC.

Нвидиа свой gh200 давненько представила.

Обычный ARMовый суперкомпьютер с GPGPU.

Все остальное - это чипы общего назначения для DNN. LLM они тоже, вероятно, могут ускорять, но под них не заточены.

Ну как бы да, но тогда основная фишка - децентрализация - как бы теряется

Успешных архитектур LLM сейчас полторы штуки, ни одна из них не реализована в ASIC.

Вам лично докладывают разработчики? Если быв вы прочитали ссылки выше, вы бы обратили внимание, что эти чипы все расходятся по заказчикам без афиширования. Я не собираюсь борьтся с вашими убеждениями, не хотите читать и искать информацию - это ваше личное дело.

Все остальное - это чипы общего назначения для DNN.

Да-да.

Я привык основывать свое мировоззрение на фактологической информации, а не досужих домыслах. Так можно и до рептилоидов с Нибиру докатиться - а что, тоже ведь кто-то где-то что-то пописывает на эту тему…

Тогда конечно в вашем мировоззрении информации негусто.