مدل‌های بنیادی

یک مدل بنیادی (به انگلیسی: foundation model) که مدل پایه‌ای‌ (به انگلیسی: base model) هم نامیده می‌شود،^[۱] یک مدل یادگیری ماشینی بزرگ (ML) است که بر روی حجم وسیعی از داده‌ها در مقیاس بزرگ آموزش داده شده (اغلب به صورت یادگیری خودنظارتی یا یادگیری نظارتی ضعیف)^[۲] که می‌تواند تبدیل به مدلی شود که با با طیف گسترده‌ای از وظایف دستی سازگار گردد.^[۳]^[۴] مدل‌های بنیادی تحول اساسی در نحوه ساخت سیستم‌های هوش مصنوعی داشته‌اند از جمله آنها می‌توان به بات مکالمه و سایر هوش مصنوعی کاربر-محور اشاره کرد. مرکز تحقیقات مدل‌های بنیادی (CRFM) از مؤسسه هوش مصنوعی انسان محور استنفورد (HAI) این اصطلاح را رایج کرد.^[۳]

نمونه‌های اولیه مدل‌های بنیادی، مدل‌های زبانی بزرگ (LLM) از پیش آموزش‌دیده‌شده مثل مدل زبانی برت شرکت گوگل^[۵] و مدل‌های اولیه پایه خانواده جی‌پی‌تی شرکت اوپن‌ای‌آی است. چنین مدل‌های گسترده‌ای می‌توانند با استفاده از مجموعه داده‌های مختلف، وظیفه‌های خاصی را انجام دهند مانند کمک‌های پزشکی و…^[۶]

فراتر از متن، چندین مدل پایه بصری و چندوجهی نیز ساخته شده‌است از جمله دال-ئی^[۷] مدل‌های بنیادی بصری (VFM) با مدل‌های زبانی بزرگ مبتنی بر متن ترکیب شده‌اند تا مدل‌های پیچیده‌ای برای کار خاص ایجاد کنند.^[۸]

منابع

مشارکت‌کنندگان ویکی‌پدیا. «Foundation models». در دانشنامهٔ ویکی‌پدیای انگلیسی، بازبینی‌شده در ۱۰ ژوئن ۲۰۲۳.

↑ Perrigo, Billy (13 April 2023). "The A to Z of Artificial Intelligence". Time. Retrieved 22 May 2023.
↑ Goled, Shraddha (7 May 2021). "Self-Supervised Learning Vs Semi-Supervised Learning: How They Differ". Analytics India Magazine. Retrieved 22 May 2023.
↑ ^۳٫۰ ^۳٫۱ "Introducing the Center for Research on Foundation Models (CRFM)". Stanford HAI. Retrieved 11 June 2022.
↑ Goldman, Sharon (2022-09-13). "Foundation models: 2022's AI paradigm shift". VentureBeat. Retrieved 2022-10-24.
↑ Rogers, Anna; Kovaleva, Olga; Rumshisky, Anna (2020). "A Primer in BERTology: What we know about how BERT works". arXiv:2002.12327 [cs.CL].
↑ Steinberg, Ethan; Jung, Ken; Fries, Jason A.; Corbin, Conor K.; Pfohl, Stephen R.; Shah, Nigam H. (January 2021). "Language models are an effective representation learning technique for electronic health record data". Journal of Biomedical Informatics. 113: 103637. doi:10.1016/j.jbi.2020.103637. ISSN 1532-0480. PMC 7863633. PMID 33290879.
↑ Tackling multiple tasks with a single visual language model, 28 April 2022, retrieved 13 June 2022
↑ Chenfei Wu; et al. "Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Models". Cornell University. Retrieved 22 May 2023.

[1] Perrigo, Billy (13 April 2023). "The A to Z of Artificial Intelligence". Time. Retrieved 22 May 2023.

[2] Goled, Shraddha (7 May 2021). "Self-Supervised Learning Vs Semi-Supervised Learning: How They Differ". Analytics India Magazine. Retrieved 22 May 2023.

[CRFM-3] ۳٫۰ ^۳٫۱ "Introducing the Center for Research on Foundation Models (CRFM)". Stanford HAI. Retrieved 11 June 2022.

[4] Goldman, Sharon (2022-09-13). "Foundation models: 2022's AI paradigm shift". VentureBeat. Retrieved 2022-10-24.

[5] Rogers, Anna; Kovaleva, Olga; Rumshisky, Anna (2020). "A Primer in BERTology: What we know about how BERT works". arXiv:2002.12327 [cs.CL].

[6] Steinberg, Ethan; Jung, Ken; Fries, Jason A.; Corbin, Conor K.; Pfohl, Stephen R.; Shah, Nigam H. (January 2021). "Language models are an effective representation learning technique for electronic health record data". Journal of Biomedical Informatics. 113: 103637. doi:10.1016/j.jbi.2020.103637. ISSN 1532-0480. PMC 7863633. PMID 33290879.

[deepmind_20220428-7] Tackling multiple tasks with a single visual language model, 28 April 2022, retrieved 13 June 2022

[8] Chenfei Wu; et al. "Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Models". Cornell University. Retrieved 22 May 2023.

[۱]

[۲]

[۳]

[۴]

[۵]

[۶]

[۷]

[۸]