diff --git a/src/abstract.tex b/src/abstract.tex index 309efb5..e7560c7 100644 --- a/src/abstract.tex +++ b/src/abstract.tex @@ -1,22 +1,22 @@ \begin{abstract} \section*{Abstract} -In our increasingly data-oriented world, machine learning applications such as \acp*{llm} for language processing, \acp*{cnn} for image recognition or \acp*{rnn} for processing sequential data are becoming more and more important. +In our increasingly data-oriented world, machine learning applications such as \acp*{llm} for natural language processing are becoming more and more important. An important component of these new systems are \acp*{dnn}. -Specialized processors such as \acp*{gpu} or \acp*{tpu} were used in the past to accelerate the operation of such \acsp*{dnn}. -However, it has become apparent that the performance of \acsp*{dnn} is increasingly limited less by the computing power provided, but rather by the limited memory bandwidth of the \acp*{dram}. -One possible solution to this problem is the use of \ac*{pim}, i.e., the processing of data directly in memory. -This paper examines which applications are suitable for the use of \acs*{pim} and what effects on the performance can be expected. +To accelerate such \acsp*{dnn}, specialized processors such as \acp*{gpu} or \acp*{tpu} are mainly used, which can perform the required arithmetic operations more efficiently than \acp*{cpu}. +However, it turns out that the achievable performance of \acsp*{dnn} is less and less limited by the available computing power and more and more by the finite memory bandwidth of \acp*{dram}. +A possible solution to this problem is the use of \ac*{pim}, which offloads some of the data processing directly into memory. +In this thesis, the real-world \acs*{pim} implementation \acl*{fimdram} of the major memory manufacturer Samsung is analyzed with the help of a newly developed software model and using the gem5 simulation platform and the DRAMSys memory simulator. \vspace{1.0cm} \section*{Zusammenfassung} -In unserer zunehmend datenorientierten Welt gewinnen Anwendungen des maschinellen Lernens wie \acp*{llm} zur Verarbeitung von Sprache, \acp*{cnn} zur Bilderkennung oder \acp*{rnn} zur Verarbeitung von sequenziellen Daten an immer größerer Bedeutung. -Ein wichtiger Bestandteil dieser neuen Systeme sind \acp*{dnn}. -Zur Beschleunigung der Berechnung solcher \acsp*{dnn} wurden in der Vergangenheit spezialisierte Prozessoren wie \acp*{gpu} oder \acp*{tpu} eingesetzt. -Es zeigt sich allerdings, dass die Leistung von \acsp*{dnn} zunehmend weniger durch die bereitgestellte Rechenleistung begrenzt wird, sondern vielmehr durch die begrenzte Speicherbandbreite des \acp*{dram}. -Eine mögliche Lösung für dieses Problem ist die Nutzung von \ac*{pim}, also die Verarbeitung von Daten direkt im Speicher. -In dieser Arbeit wird untersucht, welche Anwendungen sich für die Nutzung von \acs*{pim} eignen und welche Auswirkungen auf die Leistung zu erwarten sind. +In unserer zunehmend datenorientierten Welt gewinnen Anwendungen des maschinellen Lernens wie \acp*{llm} zur Verarbeitung von natürlicher Sprache an immer größerer Bedeutung. +Eine wichtige Komponente dieser neuen Systeme sind \acp*{dnn}. +Zur Beschleunigung solcher \acsp*{dnn} werden vorwiegend spezialisierte Prozessoren wie \acp*{gpu} oder \acp*{tpu} eingesetzt, die die erforderten Rechenoperationen effizienter ausführen können als \acp*{cpu}. +Es zeigt sich jedoch, dass die Leistung von \acsp*{dnn} zunehmend weniger durch die erreichbare Rechenleistung als vielmehr durch die endliche Speicherbandbreite des \acp*{dram} begrenzt wird. +Eine mögliche Lösung für dieses Problem ist die Verwendung von \ac*{pim}, das einen Teil der Datenverarbeitung direkt in den Speicher verlagert. +In dieser Arbeit wird die reale \acs*{pim}-Implementierung \acl*{fimdram} des großen Speicherherstellers Samsung mithilfe eines neu entwickelten Softwaremodells und unter Verwendung der Simulationsplattform gem5 und des Speichersimulators DRAMSys analysiert. \end{abstract}