Буквенные обозначения высоты ноты
В этой главе мы напишем музыкальный секвенсор. Мы будем переводить нотную запись в midi-файл с помощью библиотеки HCodecs. Она предоставляет возможность создания midi-файлов по описанию в Haskell. При этом описание напоминает описание самого формата midi. Мы же хотим подняться уровнем выше и описывать музыку нотами и композицией нот.
Для начала зададимся выясним: а что же такое музыка с точки зрения нашего секвенсора? Мы ищем представление музыки, термины, в которых было бы удобно мыслить композитору. При этом необходимо понимать, что наш поиск ограничен средствами низкоуровневого представления музыки. В нашем случае это midi-файл. Так например мы можем сразу отбросить представление в виде сигналов, последовательности сэмплов, поскольку мы не сможем реализовать это представление в рамках midi. За ответом обратимся к истории.
В европейской традиции принято описывать музыку в виде нотной записи. Нотный лист состоит из серии нотных станов. Нотный стан состоит из пяти линеек. Каждая линейка обозначает определённую высоту. Нота состоит из обозначения длительности и высоты. Разные длительности обозначаются штрихами и цветом ноты, а высоте соответствует расположение на нотном стане.
Буквенные обозначения высоты ноты
По длительности ноты различают на: целые, половины, четверти, восьмые, шестнадцатые и так далее. Каждая последующая длительность в два раза меньше предыдущей. Длительность измеряется в долях от такта. Такты обозначаются сплошной линией, которая перечёркивает все пять линеек нотного стана. По высоте ноты, зависят от двух целых чисел, это номер октавы и номер ступени лада. В ладе обычно всего 12 ступеней. Их обозначают разными именами. Например в латинской нотации их обозначают так:
| 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 |
|---|---|---|---|---|---|---|---|---|---|---|---|
$C$ |
$C#$ |
$D$ |
$D#$ |
$E$ |
$F$ |
$F#$ |
$G$ |
$G#$ |
$A$ |
$A#$ |
$B$ |
$C$ |
$Db$ |
$D$ |
$Eb$ |
$E$ |
$F$ |
$Gb$ |
$G$ |
$Ab$ |
$A$ |
$Bb$ |
$B$ |
$do$ |
$re$ |
$mi$ |
$fa$ |
$sol$ |
$la$ |
$ti$ |
В самом нижнем ряду расположены имена нот. Во втором и четвёртом – обозначения нот с диезами и с бемолями. Одна и та же нота может обозначаться по-разному. Буквами обозначают ноты тональности до мажор (это семь букв для семи нот), а остальные ноты получают повышением на один шаг с помощью знака диез $#$ или понижением на один шаг с помощью знака бемоль $b$.
Также ноты различают по громкости. В европейской традиции считается, что громкость изменяется не часто в сравнении с высотой и длительностью, поэтому для обозначения громкости введены специальные символы, которые пишутся под нотным станом, только когда громкость изменяется.
Из этого обзора мы поняли, что единицей музыкальной записи является нота, она состоит из обозначения длительности, высоты и громкости. Высота в свою очередь состоит из обозначения октавы и ступени лада. Теперь давайте посмотрим крупным планом на протокол midi.
Протокол midi появился в ответ на бурное развитие синтезаторов. Каждый из синтезаторов предлагал свои тембры, при этом люди задумались, а нужна ли синтезатору клавиатура? Вопрос кажется абсурдным, если мы думаем об одном синтезаторе, но представьте, что у вас их десять, в каждом свой чем-то особенный тембр. При этом нам нужно десять разных тембров, но мы вынуждены таскать за собой десять примерно одинаковых клавиатур. Для того чтобы отделить тембр от управления (нажатия на клавиши игроком) был придуман протокол midi. Протокол midi описывает специфическую для нажатия на клавиши информацию. Производители тембров или генераторов тона, могут научить генератор тона понимать midi. При этом мы можем сделать отдельную клавиатуру, которая не имеет собственного генератора тона, но умеет посылать сообщения протокола midi, так мы сможем управлять десятью генераторами тона от разных производителей с помощью одной клавиатуры. Такие клавиатуры называют midi-клавиатурами.
Познакомимся с терминологией midi. Протокол midi рассчитан на управление синтезаторами в режиме реального времени. Можно сказать, что midi-файл – это история концерта или выступления, низкоуровневая нотная запись. Каждое движение игрока кодируется событием. Например нажатие на клавишу, отпускание клавиши, сила давления на клавишу в определённый момент времени, нажатие педали, поворот реле или смена тембра.
Протокол midi изначально задумывался как расширяемый протокол. Каждый производитель тембров имеет возможность добавить какие-то особенные настройки. При этом те сообщения, которые данный генератор тона не понимает просто игнорируются. Наш секвенсор будет понимать такие события как нажатие на клавишу и отпускание клавиши. Также у нас будут разные инструменты.
Установим библиотеку HCodecs с Hackage:
cabal install HCodecs
Теперь заглянем на страницу документации этого пакета (на сайте Hackage), нас интересует модуль Codec.Midi, ведь мы хотим создавать именно midi-файлы. Здесь мы видим описание протокола midi, закодированное в типах. Посмотрим на тип Message, он описывает midi-сообщения. В первую очередь нас интересуют конструкторы:
NoteOn {
channel :: !Channel,
key :: !Key,
velocity :: !Velocity }
NoteOff {
channel :: !Channel,
key :: !Key,
velocity :: !Velocity }
Восклицательные знаки перед типами означают взрывные шаблоны, о которых мы говорили в главах о ленивых вычислениях. Конструктор NoteOn обозначает нажатие клавиши на канале Channel с высотой Key и уровнем громкости Velocity. Конструктор NoteOff обозначает отпускание клавиши, параметры имеют тот же смысл, что и в случае NoteOn.
Думаю что такое высота и громкость примерно понятно, но что такое канал? Считается, что один исполнитель может управлять сразу несколькими генераторами тона. Управление распределяется по каналам. На каждом канале мы можем управлять отдельным инструментом. Немного о высоте и громкости. Они кодируются целыми числами из диапазона от 0 до 127. Ноте до первой октавы ($C$) соответствует цифра 60, ноте ля первой октавы ($A$) соответствует номер 69. Одно число кодирует сразу и октаву и ступень лада.
Может показаться странным параметр Velocity в конструкторе NoteOff, он обозначает отпускание клавиши с определённой громкостью. Обычно этот параметр игнорируется и в него записывают среднее значение 64 или начальное значение 0.
Также мы будем играть разными инструментами. Инструменты в протоколе midi называются программами. Мы можем установить определённый инструмент на данном канале с помощью сообщения:
ProgramChange {
channel :: !Channel,
preset :: !Preset }
Целое число Preset указывает на код инструмента. Теперь посмотрим, что же такое midi-файл:
data Midi = Midi {
fileType :: FileType,
timeDiv :: TimeDiv,
tracks :: [Track Ticks] }
midi-файл состоит из трёх значений. Это обозначение типа файла:
data FileType = SingleTrack | MultiTrack | MultiPattern
По типу midi-файлы могут различаться на файлы с одним треком, файлы с несколькими треками, и файлы, которые содержат группы треков, которые называют узорами (pattern). По смыслу трек соответствует партии инструмента.
Тип TimeDiv кодирует скорость записи сообщений. Различают два варианта:
data TimeDive = TicksPerBeat Int
| TicksPerSecond Int Int
Первый конструктор говорит о том, что разрешение времени закодировано в формате PPQN, он указывает на число ударов в одной четвертной длительности. Второй конструктор говорит о том, что разрешение кодируется в формате SMPTE, оно указывает на число кадров в секунде.
Теперь посмотрим, что такое трек:
type Track a = [(a, Message)]
Трек это список событий с временными отсчётами. Время в midi отсчитывается относительно предыдущего события. Например в следующей записи три события произошли одновременно и затем спустя 10 тактов произошли ещё два события:
[(0, e1), (0, e2), (0, e3), (10, e4), (0, e5)]
Писать музыку в виде событий midi очень неудобно, пусть даже и через HCodecs, необходимо придумать надстройку над протоколом midi. Я долго думал об этом и в итоге пришёл к выводу, что наиболее простой и податливый способ представления музыки на нотном уровне реализован в языке Csound. Там ноты представлены в виде последовательности событий. Каждое событие начинается в определённый момент и длится некоторое время. Событие содержит код инструмента и набор параметров, которые могут включать в себя громкость, высоту звука и какие-то специфические для данного инструмента настройки. Обязательными параметрами события являются лишь номер инструмента, который играет ноту, начало события и длительность события. Мы ослабим эти ограничения. Событие будет содержать лишь время начала, длительность и некоторое содержание.
data Event t a = Event {
eventStart :: t,
eventDur :: t,
eventContent :: a
} deriving (Show, Eq)
Параметр t символизирует время, а параметр a – некоторое содержание события. Мы будем говорить, что в некоторый момент времени произошло значение типа a и оно длилось некоторое время. Треком мы будем называть набор событий, которые длятся определённой время:
data Track t a = Track {
trackDur :: t,
trackEvents :: [Event t a]
}
Первый параметр указывает на общую длительность трека, а второй содержит события, которые произошли. Мы явно указываем длительность трека для того, чтобы иметь возможность представить тишину. Значение тишины будет выглядеть так:
silence t = Track t []
Этим мы говорим, что ничего не произошло в течение t единиц времени.
Наши события привязаны ко времени. Мы можем ввести линейные операции, которые будут изменять расположение событий во времени. Самый простой способ изменения положения это задержка. Мы можем задержать появление события, прибавив какое-нибудь число ко времени начала события:
delayEvent :: Num t => t -> Event t a -> Event t a
delayEvent d e = e{ eventStart = d + eventStart e }
Ещё одно простое преобразование заключается в изменении масштаба времени, в музыке или анимации этой операции соответствует перемотка. Событие начинает происходить быстрее или медленнее:
stretchEvent :: Num t => t -> Event t a -> Event t a
stretchEvent s e = e{
eventStart = s * eventStart e,
eventDur = s * eventDur e }
Для изменения масштаба времени мы умножили временные параметры на число s. Эти операции мы можем перенести и на значения типа Track.
delayTrack :: Num t => t -> Track t a -> Track t a delayTrack d (Track t es) = Track (t + d) (map (delayEvent d) es) stretchTrack :: Num t => t -> Track t a -> Track t a stretchTrack s (Track t es) = Track (t * s) (map (stretchEvent s) es)
У нас есть аналогичные операции преобразования во времени для событий и треков, это говорит о том, что мы можем ввести специальный класс, который объединит в себе эти операции. Назовём его классом Temporal (временной):
class Temporal a where
type Dur a :: *
dur :: a -> Dur a
delay :: Dur a -> a -> a
stretch :: Dur a -> a -> a
В этом классе определён один тип, который обозначает размерность времени, и три метода в дополнении к методам delay и stretch мы добавим метод dur, мы будем считать, что всё что происходит во времени конечно и с помощью метода dur мы всегда можем узнать протяжённость значения их класса Temporal во времени. Для определения этого класса нам придётся подключить расширение TypeFamilies. Теперь мы легко можем определить экземпляры класса Temporal для Event и Track:
instance Num t => Temporal (Event t a) where
type Dur (Event t a) = t
dur = eventDur
delay = delayEvent
stretch = stretchEvent
instance Num t => Temporal (Track t a) where
type Dur (Track t a) = t
dur = trackDur
delay = delayTrack
stretch = stretchTrack
Определим две полезные в музыке операции: параллельную и последовательную композицию треков. В параллельной композиции мы играем два трека одновременно:
(=:=) :: Ord t => Track t a -> Track t a -> Track t a Track t es =:= Track t' es' = Track (max t t') (es ++ es')
Теперь общая длительность трека равна длительности большего из треков, а события включают в себя события каждого из треков. С помощью преобразований во времени мы можем определить последовательную композицию, для этого мы сместим второй трек на длину первого и сыграем их одновременно:
(+:+) :: (Ord t, Num t) => Track t a -> Track t a -> Track t a (+:+) a b = a =:= delay (dur a) b
При этом у нас как раз и получится, что мы сначала сыграем целиком трек a, а затем трек b. Теперь определим аналоги операций =:= и +:+ для списков:
chord :: (Num t, Ord t) => [Track t a] -> Track t a chord = foldr (=:=) (silence 0) line :: (Num t, Ord t) => [Track t a] -> Track t a line = foldr (+:+) (silence 0)
Мы можем определить в терминах этих операций цикличный повтор событий:
loop :: (Num t, Ord t) => Int -> Track t a -> Track t a loop n t = line $ replicate n t
Мы можем сделать тип трек экземпляром класса Functor:
instance Functor (Event t) where
fmap f e = e{ eventContent = f (eventContent e) }
instance Functor (Track t) where
fmap f t = t{ trackEvents = fmap (fmap f) (trackEvents t) }
Мы можем также определить экземпляр для класса Monoid. Параллельная композиция будет операцией объединения, а нейтральным элементом будет тишина, которая длится ноль единиц времени:
instance (Ord t, Num t) => Monoid (Track t a) where
mappend = (=:=)
mempty = silence 0
С помощью типа Track мы можем описывать всё, что имеет свойство случаться во времени и длиться, мы можем описывать наборы событий. Операции из класса Temporal и операции последовательной и параллельной композиции дают нам возможность собирать сложные наборы событий из простейших. Но для того чтобы это стало музыкой, нам не хватает нот.
Так построим их. Поскольку мы собираемся играть музыку в midi, наши ноты будут содержать только три основных параметра, это номер инструмента, громкость и высота. Длительность ноты будет кодироваться в событии, эта информация уже встроена в тип Track.
data Note = Note {
noteInstr :: Instr,
noteVolume :: Volume,
notePitch :: Pitch,
isDrum :: Bool }
Итак нота содержит код инструмента, громкость и высоту и ещё один параметр. По последнему параметру можно узнать сыграна нота на барабане или нет. В midi ноты для ударных обрабатываются особым образом. Десятый канал выделен под ударные, при этом номер инструмента игнорируется, а вместо этого высота звука кодирует номер ударного инструмента. Теперь определимся с типами параметров:
type Instr = Int type Volume = Int type Pitch = Int
Целые числа соответствуют целым числам в протоколе midi. Значения для типов Volume и Pitch лежат в диапазоне от 0 до 127.
Введём специальное обозначение для музыкального типа Track:
type Score = Track Double Note
Музыкантам ближе буквенные обозначения для нот нежели коды midi. Определим удобные синонимы:
note :: Int -> Score note n = Track 1 [Event 0 1 (Note 0 64 (60+n) False)]
Эта функция строит трек, который содержит одну ноту. Нота длится одну целую длительность играется на инструменте с кодом 0, на средней громкости. Параметр функции задаёт смещение от ноты до первой октавы. Определим остальные ноты:
a, b, c, d, e, f, g,
as, bs, cs, ds, es, fs, gs,
af, bf, cf, df, ef, ff, gf :: Score
c = note 0; cs = note 1; d = note 2; ds = note 3;
...
Первая буква содержит буквенное обозначение ноты, а вторая либо s (от англ. sharp диез) или f (от англ. flat бемоль). Все эти ноты находятся в первой октаве, но смещением высоты на 12 единиц мы легко можем смещать эти ноты в любую другую октаву:
higher :: Int -> Score -> Score
higher n = fmap (\a -> a{ notePitch = 12*n + notePitch a })
lower :: Int -> Score -> Score
lower n = higher (-n)
high :: Score -> Score
high = higher 1
low :: Score -> Score
low = lower 1
С помощью этих функций мы легко можем смещать группы нот в любую октаву. Функция higher принимает число октав, на которые необходимо сместить вверх высоту во всех нотах трека. Смещение высоты на 12 определяет смещение на одну октаву. Остальные функции определены в через функцию higher.
Пока что наши ноты длятся 1 единицу времени. Но нам бы хотелось иметь в распоряжении и другие длительности. Ноты других длительностей мы можем легко получать с помощью функции stretch, мы просто изменим масштаб времени и длительность всех нот изменится. Определим несколько синонимов:
bn, hn, qn, en, sn :: Score -> Score -- (brewis note) (half note) (quater note) bn = stretch 2; hn = stretch 0.5; qn = stretch 0.25; -- (eighth note) (sizth note) en = stretch 0.125; sn = stretch 0.0625;
Эти преобразования отвечают длительностям нот в европейской музыкальной традиции.
Пока мы умеем создавать ноты средней громкости, но мы можем определить преобразователи на манер тех, что изменяли высоту звука октавами:
louder :: Int -> Score -> Score
louder n = fmap $ \a -> a{ noteVolume = n + noteVolume a }
quieter :: Int -> Score -> Score
quieter n = louder (-n)
Изначально мы создаём ноты, которые играются на инструменте с кодом 0, в протоколе General Midi этот номер соответствует роялю. Но с помощью класса Functor мы легко можем изменить инструмент:
instr :: Int -> Score -> Score
instr n = fmap $ \a -> a{ noteInstr = n, isDrum = False }
drum :: Int -> Score -> Score
drum n = fmap $ \a -> a{ notePitch = n, isDrum = True }
Согласно протоколу midi в случае ударных инструментов высота звука кодирует инструмент. Поэтому в функции drum мы изменяем именно поле notePitch. Создадим также несколько синонимов для создания нот, которые играются на барабанах. В этом случае нам не важна высота звука но важна громкость:
bam :: Int -> Score bam n = Track 1 [Event 0 1 (Note 0 n 35 True)]
Номер 35 кодирует “бочку”.
Слово silence верно отражает смысл, но оно слишком длинное. Давайте определим несколько синонимов:
rest :: Double -> Score rest = silence wnr = rest 1; bnr = bn wnr; hnr = hn wnr; qnr = qn wnr; enr = en wnr; snr = sn wnr;
Теперь мы можем составить какую нибудь мелодию:
q = line [c, c, hn e, hn d, bn e, chord [c, e]]
Мы можем составлять мелодии, но пока мы не умеем их интерпретировать. Для этого нам нужно написать функцию:
render :: Score -> Midi
Мы реализуем простейший случай. Будем считать, что у нас только 15 инструментов, а все остальные инструменты – ударные. Мы запишем нашу музыку на один трек midi-файла, распределив 15 неударных инструментов по разным каналам. Ещё одно упрощение заключается в том, что мы зададим фиксированное разрешение по времени для всех возможных мелодий. Будем считать, что 96 ударов для одной четверти нам достаточно. Принимая во внимания эти посылки мы можем написать такую функцию:
import qualified Codec.Midi as M render :: Score -> Midi render s = M.Midi M.SingleTrack (M.TicksPerBeat divisions) [toTrack s] divisions :: M.Ticks divisions = 96 toTrack :: Score -> M.Track toTrack = undefined
Мы загрузили модуль Codec.Midi под псевдонимом M, так мы сможем отличать низкоуровневые определения от тех, что мы определили сами. Теперь перед каждым именем из модуля Codec.Midi необходимо писать приставку M.
В нашей упрощённой реализации на одном канале может играть только один инструмент. В самом начале мы назначим инструмент на канал с помощью сообщения ProgramChange. Для этого нам необходимо понять какому инструменту какой канал соответствует. В библиотеке HCodecs каналы идут от нуля до 15. Девятый канал предназначен для ударных. Представим, что у нас есть функция, которая распределяет нотную запись по инструментам:
type MidiEvent = Event Double Note groupInstr :: Score -> ([[MidiEvent]], [MidiEvent])
Эта функция принимает нотную запись, а возвращает пару. Первый элемент содержит список списков нот для неударных инструментов, каждый подсписок содержит ноты только для одного инструмента. Второй элемент пары содержит все ноты для ударных инструментов. Представим также, что у нас есть функция, которая превращает эту пару в набор midi-сообщений:
mergeInstr :: ([[MidiEvent]], [MidiEvent]) -> M.Track Double
Наши отсчёты времени записаны в виде значений типа Double, Нам необходимо перейти к целочисленным Ticks. Представим, что такая функция у нас уже есть:
tfmTime :: M.Track Double -> M.Track M.Ticks
Тогда функция toTrack примет вид:
toTrack :: Score -> M.Track M.Ticks toTrack = tfmTime . mergeInstr . groupInstr
Все три составляющие функции пока не определены. Начнём с функции tfmTime. Нам необходимо отсортировать события во времени для того, чтобы мы смогли перейти из абсолютных отсчётов во времени в относительные. Специально для этого в библиотеке HСodecs определена функция:
fromAbsTime :: Num a -> Track a -> Track a
Также нам понадобится функция:
type Time = Double fromRealTime :: TimeDiv -> Trrack Time -> Track Ticks
Она проводит квантование во времени. С помощью неё мы преобразуем отсчёты в Double в целочисленные отсчёты. С помощью этих функций мы можем определить функцию timeDiv так:
import Data.List(sortBy)
import Data.Function (on)
...
tfmTime :: M.Track Double -> M.Track M.Ticks
tfmTime = M.fromAbsTime . M.fromRealTime timeDiv .
sortBy (compare `on` fst)
В этой функции мы сначала сортируем события во времени, затем переходим от абсолютных единиц к относительным и в самом конце производим квантование по времени. Функция sortBy сортирует элементы согласно некоторой функции упорядочивания:
sortBy :: (a -> a -> Ordering) -> [a] -> [a]
Она принимает функцию упорядочивания и список. Мы воспользовались этой функцией, потому что нам необходимо отсортировать элементы списка сообщений по значению временных отсчётов. Функцию упорядочивания мы составляем с помощью специальной функции on, которая определена в модуле Data.Function. С этой функцией мы уже сталкивались, когда говорили о функциях высшего порядка, она принимает функцию двух аргументов и функцию одного аргумента и словно “подкладывает” вторую функцию под первую:
Prelude Data.Function> :t on on :: (b -> b -> c) -> (a -> b) -> a -> a -> c
Теперь напишем функцию mergeInstr. Она устанавливает инструменты на каналы и преобразует события в последовательность midi-сообщений. При этом мы различаем сообщения для ударных и сообщения для всех остальных инструментов:
mergeInstr :: ([[MidiEvent]], [MidiEvent]) -> M.Track Double
mergeInstr (instrs, drums) = concat $ drums' : instrs'
where instrs' = zipWith setChannel ([0 .. 8] ++ [10 .. 15]) instrs
drums' = setDrumChannel drums
setChannel :: M.Channel -> [MidiEvent] -> M.Track Double
setChannel = undefined
setDrumChannel :: [MidiEvent] -> M.Track Double
setDrumChannel = undefined
Имя instrs' указывает на последовательность списков сообщений для каждого неударного инструмента. Функция setChannel принимает номер канала и список событий. По ним она строит список midi-сообщений. Определим эту функцию:
setChannel :: M.Channel -> [MidiEvent] -> M.Track Double
setChannel ch ms = case ms of
[] -> []
x:xs -> (0, M.ProgramChange ch (instrId x)) : (fromEvent ch =<< ms)
instrId = noteInstr . eventContent
fromEvent :: M.Channel -> MidiEvent -> M.Track Double
fromEvent = undefined
Первым событием мы присоединяем событие, которое устанавливает на данном канале определённый инструмент. По построению программы все ноты в переданном списке играются на одном и том же инструменте, поэтому мы узнаём идентификатор инструмента из первого элемента списка. У нас появилась новая неопределённая функция fromEvent она переводит сообщение в список midi-сообщений:
fromEvent :: M.Channel -> MidiEvent -> M.Track Double
fromEvent ch e = [
(eventStart e, noteOn n),
(eventStart e + eventDur e, noteOff n)]
where n = clipToMidi $ eventContent e
noteOn n = M.NoteOn ch (notePitch n) (noteVolume n)
noteOff n = M.NoteOff ch (notePitch n) 0
clipToMidi :: Note -> Note
clipToMidi n = n {
notePitch = clip $ notePitch n,
noteVolume = clip $ noteVolume n }
where clip = max 0 . min 127
Определив эти функции, мы легко можем написать и функцию setDrumChannel она переводит сообщения для ударных инструментов в midi-сообщения:
setDrumChannel :: [MidiEvent] -> M.Track Double
setDrumChannel ms = fromEvent drumChannel =<< ms
where drumChannel = 9
Для ударных инструментов выделен отдельный канал. Считается, что все они происходят на 10 канале. Поскольку в библиотеке HCodecs первый канал называется нулевым, мы будем записывать все сообщения на девятый канал.
Мы переводим событие в два midi-сообщения, первое говорит о том, что мы начали играть ноту, а второе говорит о том, что мы закончили её играть. Функция clipToMidi приводит значения для высоты и громкости в диапазон midi.
Нам осталось определить только одну функцию. Эта функция распределяет события по инструментам. Сначала мы разделим события на те, что играются на ударных и неударных инструментах, а затем разделим “неударные” ноты по инструментам:
import Control.Arrow(first, second)
import Data.List(sortBy, groupBy, partition)
...
groupInstr :: Score -> ([[MidiEvent]], [MidiEvent])
groupInstr = first groupByInstrId .
partition (not . isDrum . eventContent) . trackEvents
where groupByInstrId = groupBy ((==) `on` instrId) .
sortBy (compare `on` instrId)
В этом определении мы воспользовались двумя новыми стандартными функциями из модуля Data.List. Функция partition разделяет список на пару списков. В первом списке находятся все те элементы, для которых заданный предикат вернул True, а во втором списке – все остальные элементы исходного списка:
Prelude Data.List> :t partition partition :: (a -> Bool) -> [a] -> ([a], [a])
Функция groupBy превращает список в список списков:
Prelude Data.List> :t groupBy groupBy :: (a -> a -> Bool) -> [a] -> [[a]]
Если бинарная функция на соседних элементах исходного списка вернула True, то они помещаются в один подсписок. Эта функция используется для того чтобы сгруппировать элементы списка по какому-нибудь признаку. При этом для того чтобы сгруппировать элементы по идентификатору инструмента, мы сначала отсортировали события по значению идентификатора. После этого значения с одинаковыми идентификаторами стали соседними и мы сгруппировали их с помощью groupBy.
Функция first применяет функцию к первому элементу пары. Вот мы и закончили, можно послушать результаты. На самом деле остались два нюанса. В функции setChannel мы полагаем, что мелодия начинается в момент времени t = 0, но на практике это может оказаться не так, мы можем сместить ноты функцией delay в отрицательную сторону. Тогда первые ноты будут содержать отрицательное время начала события. Но мы можем исправить эту ситуацию, сместив все ноты на время самой первой ноты, конечно смещать необходимо только в том случае если время окажется отрицательным:
alignEvents :: [MidiEvent] -> [MidiEvent]
alignEvents es
| d < 0 = map (delay (abs d)) es
| otherwise = es
where d = minimum $ map eventStart es
Вызовем эту функцию сразу после функции trackEvents в функции groupInstr. Второй нюанс заключается в том, что каждый трек в midi-файле должен заканчиваться специальным сообщением, в библиотеке HCodecs оно обозначается с помощью конструктора TrackEnd. В самом конце необходимо добавить сообщение (0, TrackEnd):
toTrack :: Score -> M.Track M.Ticks toTrack = addEndMsg . tfmTime . mergeInstr . groupInstr addEndMsg :: M.Track M.Ticks -> M.Track M.Ticks addEndMsg = (++ [(0, M.TrackEnd)])
Теперь мы можем проверить, что у нас получилось. Создадим файл:
module Main where
import System
import Track
import Score
import Codec.Midi
out = (>> system "timidity tmp.mid") .
exportFile "tmp.mid" . render
В функции out мы переводим нотную запись в значение типа Midi, затем сохраняем это значение в файле tmp.mid и в самом конце запускаем файл с помощью проигрывателя timidity. Вместо timidity вы можете воспользоваться вашим любимым проигрывателем midi-файлов. Теперь загрузим модуль Main в интерпретатор. Послушаем ноту до:
*Main> out c
Далее следуют сообщения из проигрывателя timidity и долгожданный звук. Мы слышим ноту до, сыгранную на рояле. Наберём какую-нибудь мелодию:
*Main> let x = line [c, hn e, hn e, low b, c] *Main> out x
Сыграем в два раза быстрее, на другом инструменте:
*Main> out $ instr 15 $ hn x
Сыграем канон. Канон это когда одна и та же мелодия ведётся в разных голосах с запаздыванием. Сыграем двухголосный канон:
*Main> out $ instr 80 (loop 3 x) =:= delay 2 (instr 65 $ low $ loop 3 x)
Номера инструментов можно посмотреть по справке к протоколу General Midi. Это дополнение к протоколу midi определяет какие номера каким инструментам должны соответствовать. Звучит ужасно, но звучит!
Опираясь на примитивы композиции, которые мы определил в модуле Score, мы можем написать мелодию. Ниже приведён небольшой пример. Инструменты:
closedHiHat = drum 42; rideCymbal = drum 59; cabasa = drum 69; maracas = drum 70; tom = drum 45; flute = instr 73; piano = instr 0;
Ударная секция:
b1 = bam 100
b0 = bam 84
drums1 = loop 80 $ chord [
tom $ line [qn b1, qn b0, hnr],
maracas $ line [hnr, hn b0]
]
drums2 = quieter 20 $ cabasa $ loop 120 $ en $ line [b1, b0, b0, b0, b0]
drums3 = closedHiHat $ loop 50 $ en (line [b1, loop 12 wnr])
drums = drums1 =:= drums2 =:= drums3
Уже сейчас мы можем загрузить эту партию в интерпретатор и послушать, вызвав out drums. Аккорды к мелодии:
c7 = chord [c, e, b] gs7 = chord [low af, c, g] g7 = chord [low g, low bf, f] harmony = piano $ loop 12 $ lower 1 $ bn $ line [bn c7, gs7, g7]
Мелодия:
ac = louder 5
mel1 = bn $ line [bnr, subMel, ac $ stretch (1+1/8) e, c,
subMel, enr]
where subMel = line [g, stretch 1.5 $ qn g, qn f, qn g]
mel2 = loop 2 $ qn $ line [subMel, ac $ bn ds, c, d, ac $ bn c, c, c, wnr,
subMel, ac $ bn g, f, ds, ac $ bn f, ds, ac $ bn c]
where subMel = line [ac ds, c, d, ac $ bn c, c, c]
mel3 = loop 2 $ line [pat1 (high c) as g, pat1 g f d]
where pat1 a b c = line [pat a, loop 3 qnr, wnr,
pat b, qnr, hnr, pat c, qnr, hnr]
pat x = en (x +:+ x)
mel = flute $ line [mel1, mel2, mel3]
Добавим в конце звук тарелки:
cha = delay (dur mel1 + dur mel2) $ loop 10 $ rideCymbal $ delay 1 b1
Соберём всё вместе и послушаем:
res = chord [
drums,
harmony,
high mel,
louder 40 cha,
rest 0]
main = out res
В конце стоит фиктивный элемент rest 0 для того чтобы было удобно глушить инструменты комментированием.
Реализация, которую мы рассмотрели не эффективна, Мы могли бы определить тип Track и по-другому. Мы очень часто пользуемся операцией delay через операцию line. Так в выражении:
q = line [s1, s2, line [loop 2 s3, s4], s5]
Мы будем несколько раз обходить элемент s3 для каждого применения line. К примеру сначала мы смести все элементы на 3, потом сместим на 5, потом на 10, но вместо этого мы могли бы сразу сместить все элементы на 18 за один проход. Для этого мы можем закодировать преобразования событий во времени в типе Track:
data Track t a = Track {
trackDur :: t,
trackEvents :: TList t a
data TList t a = Empty | Single a | Append (TList t a) (TList t a)
| TFun (Tfm t) (TList t a)
data Tfm t = Tfm !t !t
Тип TList позволяет проводить быстрое объединение списков. Дополнительный конструктор TFun обозначает линейное преобразование списка во времени. Линейное преобразование кодируется двумя числами, это масштаб и смещение. Мы считаем, что события в конструкторе Single начинаются в момент времени 0 и длятся 1 единицу времени. Так например событие, которое произошло на 2 единице времени и длилось 4 единицы можно представить так:
TFun (4 2) (Single a)
Значение Tfm k d обозначает линейную функцию
$f(x) = k x + d$
Для того чтобы получить настоящие отсчёты по времени мы применяем её к временным координатам “не преобразованного” события, то есть события Event 0 1 a.
Единственное, что нам нужно для того чтобы встроить этот вариант в библиотеку это написать функцию:
fromTList :: TList t a -> [Event t a]
И конечно переопределить все функции композиции. Но все сложные функции, которые отвечают за перевод из Track в Midi останутся прежними.
В этой главе мы построили секвенсор для создания midi-файлов. Мы воспользовались библиотекой HCodecs и создали над ней небольшую надстройку.
В нашей библиотеке примитивными конструкциями были события, параллельная композиция (одновременное воспроизведение) и преобразование событий во времени (сдвиг и масштабирование). Все остальные операции выражались через эти простейшие операции. Отметим, что есть и другие подходы. Например в библиотеках Haskore и Euterpea примитивными конструкциями является единичное событие (без отметок во времени) и параллельная и последовательная композиции. Подход, который мы рассмотрели в более общем виде реализован в библиотеках temporal-music-notation и temporal-music-notation-demo.
Попробуйте написать какую-нибудь мелодию.
Подумайте каких операций не хватает. Например было бы удобно иметь возможность вырезать из мелодии куски. Так в примере у нас остались хвосты от ударной секции, определите операцию, которая позволяет убрать лишнее.