汉字最早于公元四世纪从中国经由朝鲜半岛传入日本，最开始传入日本的汉字作品为古汉语文籍和佛教经典，如《论语》、《千字文》等。
在汉字传入日本之前，日语中并没有形成文字，因此在汉字传入日本之后，日本便开始学习和使用汉字。
在早期的汉字使用方式上，主要为记载中文文献、佛教经典等，其字形、读音、字意基本和汉语中一致，与此同时，日本也渐渐出现了使用汉字来书写的书籍，如日本最早的书籍《古事记》和《日本书记》便是使用的汉字。
随着汉字的逐渐普及，日本人开始更多的使用汉字来记录日语，同时也开始使用汉字进行创作，此时日本人对汉字的使用逐渐分为两个方向，即使用汉字的字意或仅仅使用汉字的读音，分别对应“表意汉字”和“表音汉字”，如日本最早的诗歌集《万叶集》中变使用了大量的表音汉字。
这些表音的汉字往往只使用了汉字的读音，根据其读音来表示日语中对应的事物，因此与表意的汉字相对，这些汉字被称为“假名”，由于《万叶集》中对表音汉字的使用最多，因此仅使用汉字读音这样的书写形式便被称为“万叶假名”。
随着表音汉字的使用越来越多，使用完整的汉字来书写一个音节便显得过于繁琐，因此基于对书写速度的要求便出现了将汉字简化了的“假名”，包括将汉字草书化了的“平假名”，和将汉字符号化了的“片假名”。这些假名往往只具备表音功能，不具备实际意义，如片假名最初便是僧侣们为了经文的训读而添加的符号。
随着日语中对汉字的使用逐渐增多，日本人也根据实际需要创造了一些汉字（即和制汉字/国字），同时针对已有对的汉字字形也做了调整，因此现代日语中存在“旧体汉字”（类似繁体字）、“新体汉字”（类似简体字）、“和制汉字”。
汉字在传入日本时，其发音也同时传入了日本，部分汉字在使用时直接使用了其汉语中的发音，部分汉字则结合其字意，使用了日语中已存在的发音，如【山】在汉字传入日本之前日语中的发音即为【yama】，这两种读音便分别对应日文汉字的“音读”和“训读”。
音读： 使用中国的读音，即直接使用该汉字在汉语中的读音
训读： 使用日本的读音，即使用该汉字对应日本事物的读音
当不同的汉字存在相同的组成部分时，读音可能是相同的，如：
当某个汉字的汉语拼音相同时，其在日语中的发音可能也是相同的，如：