Pertumbuhan arus lalu lintas kendaraan di berbagai wilayah seperti perkotaan danperdesaan semakin tinggi diakibatkan oleh semakin meningkatnya kebutuhan alat transportasi. Pertumbuhan arus lalu lintas kendaraan di berbagai wilayah seperti perkotaan dan perdesaan semakin tinggi diakibatkan oleh semakin meningkatnya kebutuhan alat transportasi. Kondisi tersebut menyebabkan banyak para ilmuan berupaya untuk meningkatkan kualitas dari moda transportasi secara terus-menerus sehingga semakin mudah, aman dan praktis untuk digunakan. Akibatnya saat ini telah muncul ide transportasi tanpa pengemudi untuk memenuhi kebutuhan tersebut. Bentuk alat transportasi tersebut tidak hanya kendaraan pribadi, namun lebih diharapkan berupa kendaraan masal seperti bus atau kereta. Hal ini tentunya akan menjadi bentuk tantangan baru dalam memasuki era Mobility In Society 5.0 yang diperkirakan akan segera dihadapi juga oleh negara kita. Ada beberapa aspek yang harus diperhatikan dalam mendesain tranportasi otonom atau kendaraan listrik otonom agar tidak menimbulkan kecelakaan yang dapat membahayakan pengendara dan lingkungan sekitar. Diantaranya adalah keberadaan sistem pendeteksi para pejalan kaki. Sistem ini sangat penting karena seperti halnya kendaraan konvensional, kendaraan otonom juga harus menghindari pejalan kaki, namun kali ini dengan tanpa bantuan pengemudi. Untuk mengatasi hal tersebut di atas, maka pada penelitian ini sistem software yang memiliki fungsi untuk dapat mendeteksi pejalan kaki dari segala arah menggunakan kamera 360° dikembangkan. Sistem ini juga memanfaatkan teknologinya deep learning. Desain dan realisasi sistem ini melalui beberapa tahapan yang dimulai dari instalasi software pendukung pada NVIDIA jetson AGX xavier, pengambilan data video dengan kamera 360° untuk membuat dataset sebanyak 19.038 gambar, melatih SSD MobileNet V2 dengan dataset tersebut, hingga proses pengujian secara real-time dan offline. Hasilnya, dengan mengujikan 548 gambar 360° yang ternormalisasi secara offline untuk kondisi siang hari terdapat 60,40% gambar yang dapat terdeteksi sempurna, sedangkan untuk 514 gambar 360° ternormalisasi untuk kondisi sore hari diperoleh 62,25% gambar terdeteksi sempurna. Sedangkan pada pengujian real-time diperoleh confident level 90% untuk pendeteksian pejalan kaki pada siang hari, dan 85% pada sore hari.

Seiring dengan perkembangan zaman, setiap produsen mobil selalu menciptakan produkterbarunya lebih canggih. Ide ini kemudian melahirkan konsep kendaraan listrik otonom (KLO). Hal ini dimaksudkan untuk selalu menghadirkan kendaraan yang dapat memenuhi selera konsumen yang terus berkembang, disamping juga ramah lingkungan Kehadiran kendaraan listrik otonom pastinya akan dialami oleh Indonesia yang masyarakatnya sudah mulai bergantung pada alat transportasi mobil. Oleh sebab itu situasi ini mengharuskan kita bersiap menghadapi era Mobility in Society 5.0, dimana kita harus dapat menguasai teknologi pendukungnya. Kendaraan litrik otonom dapat terealisasi jika sistemnya mampu mendeteksi objek dengan baik. Oleh sebab itu pada penelitian ini dilakukan pengembangan sistem pendeteksi pejalan kaki berbasis deep learning dan memanfaatkan gambar 360°. Sistem software deteksi objek yang dibangun menggunakan Single Shot Multibox Detector (SSD) MobilenetV1, sedangkan hardware yang digunakan untuk pengembangan ini adalah Jetson AGX Xavier. Proses pengembangan yang dilakukan dimulai dari pengambilan gambar 360° ternormalisasi berisi informasi pejalan kaki di area kampus Universitas Nurtanio yang dipergunakan sebagai dataset dan data pengujian, melatih SSD MobileNetV1 dengan dataset tersebut (19.038), dan menguji model software terlatih secara real-time maupun offline.Hasil pengujian offline terhadap 735 gambar 360° pada kondisi siang hari menunjukan bahwa55,5% gambar dapat terdeteksi sempurna, sedangkan dari 595 gambar 360° pada kondisi sore hari, 51,2% gambar dapat terdeteksi sempurna. Pada pengujian secara real-time diperoleh kepastian bahwa 98% pejalan kaki pada siang hari terdeteksi, sedangkan pada sore hari hanya 95%. Waktu proses rata-rata pada sebuah gambar kondisi siang hari adalah 32,81283 ms jika menggunakan CPU, sedangkanjika menggunakan GPU adalah 32,79766 ms. Untuk sebuah gambar dengan informasi yang sama pada kondisi sore hari diperoleh waktu proses 37,42598 ms jika menggunakan CPU, sedangkan jika menggunakan GPU adalah 37,45174 ms.

Untuk memetakan suatu objek berupa kontur suatu daerah akan terasa sulit jikamenggunakan sistem sensor pasif seperti kamera karena keterbatasannya untuk menembus awan, kabut dan cuaca yang tidak menentu. Oleh sebab itu diperlukannya teknologi yang lebih baik untuk dapat memetakan suatu objek dari atas permukaan bumi atau udara. Synthetic Aperture Radar (SAR) adalah teknik pemetaan dengan menggunakan radar untuk menghasilkan peta kontur bumi dengan resolusi tinggi, atau menggambarkan suatu objek serta menyajikan informasi dalam bentuk citra atau gambar. SAR dapat bekerja dalam kondisi cuaca apapun, baik dalam keadaan hujan, salju atau bahkan kabut sekalipun. Kemampuan SAR lainnya adalah untuk dapat mendeteksi objek dengan tingkat keakuratanyang cukup baik. Beradasarkan hal tersebut di atas, penelitian dan pengembangan teknologi SAR sangat diperlukan. Pada penelitian ini studi awal mengenai teknologi SAR telah dilakukan. Penelitian tersebut dimaksudkan untuk dapat melengkapi kemampuan drone atau unmanned aerial vehicle (UAV) baik untuk pencitraan kontur bumi maupun aktifitas terkait society 5.0. Sehingga aplikasinya dapat digunakan untuk keperluan pertanian modern, kehutanan, kelautan, dan kegiatan pengamatan perbatasan. Tujuannya adalah untuk mensimulasikan pendeteksian objek yang berada di permukaan tanah. Terdapat dua metoda pendeteksian objek berbasis SAR yang disimulasikan, yaitu Range Migration Algoritma dan Back Projection Algoritma. Simulasi ini dibangun dengan menggunakan komputer dengan prosesor AMD A8, memori 8 GB dan softperaware MATLAB 2019. Hasil simulasi memperlihatkan bahwa disain system untuk kedua algoritman tersebut dapat bekerja baik pada frekuensi 4 GHz dengan range resolusi 3m. Citra yang ditampilkan pada simulasi ini dalam bentuk 2-D. Sedangkan waktu pemrosesan rata-rata dari ke dua algoritma tersebut untuk dapat melakukan pendeteksian objek adalah 103.2 detik.